CN114677665A - 驾驶场景注意力量化方法、装置、电子设备及存储介质 - Google Patents
驾驶场景注意力量化方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114677665A CN114677665A CN202210227332.8A CN202210227332A CN114677665A CN 114677665 A CN114677665 A CN 114677665A CN 202210227332 A CN202210227332 A CN 202210227332A CN 114677665 A CN114677665 A CN 114677665A
- Authority
- CN
- China
- Prior art keywords
- gazing
- driver
- driving
- interest
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000005728 strengthening Methods 0.000 title claims abstract description 16
- 239000000203 mixture Substances 0.000 claims abstract description 26
- 238000009826 distribution Methods 0.000 claims description 52
- 230000007704 transition Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000011160 research Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008447 perception Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 210000001508 eye Anatomy 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供一种驾驶场景注意力量化方法、装置、电子设备及存储介质,该述方法包括:获取驾驶人的注视区域;驾驶人包括若干驾驶风格的驾驶人;利用高斯混合模型对注视区域进行划分,得到若干注视兴趣区域;基于注视兴趣区域,计算各个驾驶风格的驾驶人的权重;根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。该方案构建的注意力量化规律,准确性高,可重复性强,考虑更全面,更具有覆盖性。
Description
技术领域
本发明属于智能驾驶技术领域,特别涉及一种驾驶场景注意力量化方法、装置、电子设备及存储介质。
背景技术
自动驾驶汽车环境感知***面临着由数据维度高、冗余度高引起的计算量大和实时性差等问题,对***性能和算力提出了较高的要求,而过高的硬件成本投入会减缓该功能模块的落地和量产,成为自动驾驶汽车环境感知研究领域的公认难题之一。该领域现有的应对方案多着眼于提出轻量化的运算架构,或对数据进行降维处理以减轻计算任务量,此类方法对提高***的计算效率产生了有效作用,但其舍弃的是检测准确性和鲁棒性。
类人化自动驾驶决策逻辑研究,以优秀驾驶人为样本,采集其驾驶特性数据并建立专家***学习机制,智能汽车通过学习数据实现安全、高效、舒适的类人驾驶方式,已成为自动驾驶汽车研究的热点之一。在智能汽车的机器视觉研究中,考虑到视觉是驾驶人获得外部信息的主要来源,研究驾驶人注意力特性及其量化方法,对促进类人化自动驾驶环境感知***、驾驶辅助***、驾驶人行为检测***等技术发展具有重要意义。
目前的研究及量化方法多为特定场景下驾驶人注意力特性的研究,而未考虑到不同驾驶人风格以及道路特征对注意力特性的影响,缺乏其覆盖性和准确性。
发明内容
本说明书实施例的目的是提供一种驾驶场景注意力量化方法、装置、电子设备及存储介质。
为解决上述技术问题,本申请实施例通过以下方式实现的:
第一方面,本申请提供一种驾驶场景注意力量化方法,该方法包括:
获取驾驶人的注视区域;驾驶人包括若干驾驶风格的驾驶人;
利用高斯混合模型对注视区域进行划分,得到若干注视兴趣区域;
基于注视兴趣区域,计算各个驾驶风格的驾驶人的权重;
根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。
在其中一个实施例中,注视区域包括若干注视点;
利用高斯混合模型对注视区域进行划分,得到若干注视兴趣区域,包括:
利用高斯混合模型对若干注视点进行聚类,得到聚类结果;
根据聚类结果,结合驾驶人驾驶习惯,得到若干注视兴趣区域。
在其中一个实施例中,基于注视兴趣区域,计算各个驾驶风格的驾驶人的权重,包括:
获取每个注视兴趣区域的注视点的个数及注视区域的注视点总数;
根据每个注视兴趣区域的注视点的个数及注视区域的注视点总数,确定注视各个注视兴趣区域的概率;
获取每个注视兴趣区域的平均注视持续时间;
根据注视每个注视兴趣区域的概率及平均注视持续时间,确定各个驾驶风格的驾驶人的熵率值;
根据各个驾驶风格的驾驶人的熵率值,确定各个驾驶风格的驾驶人的权重。
在其中一个实施例中,根据各个驾驶风格的驾驶人的熵率值,确定各个驾驶风格的驾驶人的权重,包括:
根据各个驾驶风格的驾驶人的熵率值,确定所有驾驶风格的驾驶人的熵率值总和;
根据每个驾驶风格的驾驶人的熵率值及熵率值总和,确定每个驾驶风格的驾驶人的权重。
在其中一个实施例中,驾驶人驾驶时包括不同道路工况;
根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率,包括:
确定不同道路工况下不同驾驶风格的驾驶人的注视一步转移概率集合;
根据注视一步转移概率集合,确定不同道路工况下不同驾驶风格的驾驶人对各个注视兴趣区域的第一注视平稳分布概率集合;
根据第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。
在其中一个实施例中,根据注视一步转移概率集合,确定不同道路工况下不同驾驶风格的驾驶人对各个注视兴趣区域的第一注视平稳分布概率集合,包括:
基于马尔科夫链,对注视一步转移概率集合建立方程组;
对方程组求解,得到第一注视平稳分布概率集合。
在其中一个实施例中,根据第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率,包括:
对第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,进行加权平均,得到不同工况下驾驶人对各个注视兴趣区域的第二注视平稳分布概率集合;
分别对各个工况下的第二注视平稳分布概率集合进行加和平均,得到注视概率。
第二方面,本申请提供一种驾驶场景注意力量化装置,该装置包括:
获取模块,用于获取驾驶人的注视区域;驾驶人包括若干驾驶风格的驾驶人;
划分模块,用于利用高斯混合模型对注视区域进行划分,得到若干注视兴趣区域;
权重计算模块,用于基于注视兴趣区域,计算各个驾驶风格的驾驶人的权重;
概率确定模块,用于根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。
第三方面,本申请提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面的驾驶场景注意力量化方法。
第四方面,本申请提供一种可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面的驾驶场景注意力量化方法。
由以上本说明书实施例提供的技术方案可见,该方案:构建的注意力量化规律,准确性高,可重复性强,考虑更全面,更具有覆盖性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的驾驶场景注意力量化方法的流程示意图;
图2为本申请提供的采用高斯混合模型将注视点聚类的示意图;
图3为本申请提供的划分的注视兴趣区域示意图;
图4为本申请提供的根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率的流程示意图;
图5为本申请提供的驾驶场景注意力量化装置的结构示意图;
图6为本申请提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本说明书保护的范围。
以下描述中,为了说明而不是为了限定,提出了诸如特定***结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的***、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
在不背离本申请的范围或精神的情况下,可对本申请说明书的具体实施方式做多种改进和变化,这对本领域技术人员而言是显而易见的。由本申请的说明书得到的其他实施方式对技术人员而言是显而易见得的。本申请说明书和实施例仅是示例性的。
关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等,均为开放性的用语,即意指包含但不限于。
本申请中的“份”如无特别说明,均按质量份计。
相关技术中,研究驾驶人注意力特性的方法多基于单一场景下对不同熟练程度的驾驶人注意力进行研究,而对于多场景下考虑驾驶人风格的注意力研究仍缺乏其量化方法。且由于复杂混行交通条件,以互相耦合的道路、天时、交通流等场景为主对象,其随时间变化时变的非线性衍变过程会诱发驾驶注意力变化,难以用简单的数学方程准确的描述其变化趋势,也是自动驾驶环境感知中困难所在。
针对上述缺陷,本申请提出的驾驶场景注意力量化方法,可以兼顾驾驶人风格与道路特征,得到的注意力量化规律具有覆盖性,更全面。
下面结合附图和实施例对本发明进一步详细说明。
参照图1,其示出了适用于本申请实施例提供的驾驶场景注意力量化方法的流程示意图。
如图1所示,驾驶场景注意力量化方法,可以包括:
S110、获取驾驶人的注视区域。其中,驾驶人包括若干驾驶风格的驾驶人。
具体的,驾驶人的注视区域是指驾驶人视线范围内的区域,可以通过眼动仪(例如头戴式眼动仪)获取得到,眼动仪用于记录人在处理视觉信息时的眼动轨迹特征,通过眼动轨迹的记录中可以提取例如注视、注视时间和次数等数据。通过眼动仪可以得到驾驶人前方虚拟二维坐标系(x-y轴),该坐标系记录的是二维平面上的眼球运动状态分布数据(即注视点轨迹),x轴和y轴坐标的单位可以是像素。
各个驾驶人的驾驶风格不同,可以将驾驶人的驾驶风格大体分为保守型驾驶风格、正常型驾驶风格和激进型驾驶风格等其他类型。下述实施例中驾驶风格以保守型驾驶风格、正常型驾驶风格和激进型驾驶风格三种类型为例示出。
传统驾驶人注视区域划分方法为视野平分法和录像回放法。但前者准确度低,可信度差;后者的统计工作量大,不适用于较大样本,为了克服视野平分法的缺陷,采用聚类方法对注视点在视野平面上位置的解析坐标进行聚类,不仅划分速度快、工作量小,且注视区域划分结果比较准确。现今研究大多数通过K-means聚类的方式增加传统视野平分法的精确度以及可信度,但K-means对圆形分布的数据有比较好的效果,而实际的注视点分布不总是圆形的,则需要用其它形状聚类边界,用以解决非圆形的边界。高斯混合模型利用椭圆形边界做到了这一点,使划分结果更精确。
S120、利用高斯混合模型对注视区域进行划分,得到若干注视兴趣区域,可以包括:
利用高斯混合模型对若干注视点进行聚类,得到聚类结果;
根据聚类结果,结合驾驶人驾驶习惯,得到若干注视兴趣区域。
具体的,①选择高斯混合成分个数为k,并随机初始化每个高斯混合成分的参数αi、μi、Σi,其中,i∈{1,2,…,k}。
为明确显示高斯分布与相应参数的依赖关系,将高斯分布的概率密度函数记为p(c|μ,Σ):
由于样本点(即注视点)为二维,因此n的取值为2。
则每个高斯混合成分的概率密度函数w(c)为:
w(c)=αi·p(c|μi,Σi)
②基于高斯混合成分的个数和高斯混合成分的参数,计算样本点cj(x,y)由每个高斯混合成分生成的后验概率γji:
其中,j∈{1,2,…,m},m为样本点的个数(即注视点的个数);zj∈{1,2,…,k}表示生成样本的高斯混合成分。
③基于后验概率,迭代更新高斯混合分布的参数:
直到更新次数达到预设迭代次数(预设迭代次数可以根据实际需求进行设定),停止迭代更新。可以理解的,还可以通过其他方式判断是否停止迭代更新,例如通过更新后后验概率的变化,判断是否停止迭代更新,即当更新后后验概率的变化不大时,停止迭代更新。
④迭代停止后,将样本点归于后验概率最大的一类,完成注视点的聚类,得到聚类结果。
聚类结果结合驾驶人驾驶习惯,将注视区域划分为d个注视兴趣区域,其中,d=k。
示例性的,利用高斯混合模型将驾驶人注视点进行聚类,最终聚为5类,如图2所示。
将得到的聚类结果与驾驶人习惯相结合,把注视区域划分为5个注视兴趣区域:0、1、2、3、4。将各个注视兴趣区域命名为:0:前方左侧车道远处,1:前方右侧车道远处,2:前方车道近处,3:左后视镜,4:右后视镜,如图3所示。
S130、基于注视兴趣区域,计算各个驾驶风格的驾驶人的权重,可以包括:
获取每个注视兴趣区域的注视点的个数及注视区域的注视点总数;
根据每个注视兴趣区域的注视点的个数及注视区域的注视点总数,确定注视各个注视兴趣区域的概率;
获取每个注视兴趣区域的平均注视持续时间;
根据注视每个注视兴趣区域的概率及平均注视持续时间,确定各个驾驶风格的驾驶人的熵率值;
根据各个驾驶风格的驾驶人的熵率值,确定各个驾驶风格的驾驶人的权重。
具体的,熵率值常被用来表征***所处状态的不确定性程度(即***的混乱程度),具体地,使用熵率值量化***内部信息的不确定度。
因此,本申请利用熵率值表征驾驶人行车过程中视觉分布的概率,即驾驶人在各个ROI(region of interest,兴趣区域)之间注意力转移的不确定性。而熵率值越大,表示其驾驶人视觉扫描范围越广,越有利于行车安全。故可通过熵率值来表征不同驾驶风格驾驶人的权重。熵率值的计算公式为:
其中,n为驾驶风格的总数,例如,本申请中驾驶风格包括保守型驾驶风格、正常型驾驶风格和激进型驾驶风格三种类型,则n=3,示例性的,E1为激进型驾驶风格的驾驶人的熵率值,E2为正常型驾驶风格的驾驶人的熵率值,E3为保守型驾驶风格的驾驶人的熵率值;Emax为最大熵率值,Emax=log2D,D为驾驶人每一次单独视觉扫描时注视兴趣区域的个数,D=d;Pi为注视第i个注视兴趣区域的概率,Pi=第i个注视兴趣区域的注视点的个数/注视区域的注视点总数;ti为第i个注视兴趣区域的平均注视持续时间,单位为s。
不同风格驾驶人权重比:
ω1:ω2:ω3=E1:E2:E3
S140、根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。
具体的,驾驶人驾驶时包括不同道路工况,例如城市拥堵路况和城市畅通路况等。根据《城市道路交通运行评价指标体系》规定,8<TPI(交通道路运行指数)<10且该路段无施工及交通事故发生时,该道路为城市拥堵路况;而0<TPI<2且该路段无施工及交通事故发生时,该道路为城市畅通路况。
在一个实施例中,如图4所示,S140根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率,可以包括:
S1401、确定不同道路工况下不同驾驶风格的驾驶人的注视一步转移概率集合;
S1402、根据注视一步转移概率集合,确定不同道路工况下不同驾驶风格的驾驶人对各个注视兴趣区域的第一注视平稳分布概率集合,可以包括:
基于马尔科夫链,对注视一步转移概率集合建立方程组;
对方程组求解,得到第一注视平稳分布概率集合。
S1403、根据第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率,可以包括:
对第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,进行加权平均,得到不同工况下驾驶人对各个注视兴趣区域的第二注视平稳分布概率集合;
分别对各个工况下的第二注视平稳分布概率集合进行加和平均,得到注视概率。
具体的,马尔可夫链是一个无后效性随机过程,当前状态仅与前一时刻状态有关,与过去状态无关,与驾驶人的注视转移特性契合,即驾驶人当前时刻t的注视点位置仅与前一时刻t-1的注视点位置相关。
马尔科夫链在t时刻时的f步转移概率Pij(t,t+f)可表示为P{Xt+f=j|Xt=i},f≥1。将f步转移概率Pij(t,t+f)记为Pij(f),当f=1时,Pij(1)(可以简写为Pij)则称为一步转移概率(i,j∈0,1,2,…,d-1),而驾驶人由当前i注视兴趣区域转移到j注视兴趣区域时的频数为aij。在统计估算方法中,当样本量足够大时,可以用频率近似描述概率,所以可用各注视兴趣区域之间的转移频率近似估计转移概率,即通过这样,可得驾驶人在不同道路工况下不同驾驶风格的驾驶人在不同注视兴趣区域之间的注视一步转移概率矩阵(即注视一步转移概率集合),结果如表1;
表1注视一步转移概率矩阵
示例性的,PAa01表示在城市拥堵路况下激进型驾驶风格的驾驶人的注视点从0注视兴趣区域转移到1注视兴趣区域的概率,以此类推。
设{Xn,n≥0}为齐次马尔科夫链,状态空间为I={1,2,…,d},转移概率为Pij,存在概率分布{πi,j∈I},若有
则称{πi,j∈I}为马尔科夫链的平稳分布。而驾驶人在长期驾驶后,对各个注视兴趣区域的注视点分布概率会趋于稳定,即可用上述马尔科夫链平稳分布的定义,对不同驾驶风格驾驶人在多场景(即不同道路工况或称为不同道路特征)下的注视一步转移概率集合建立d元一次方程组:
利用数值分析软件对方程组进行求解,得出驾驶人在不同道路特征下不同驾驶风格的驾驶人对各注视兴趣区域的第一注视平稳分布概率集合,如表2所示:
表2第一注视平稳分布概率集合
示例性的,PAa1表示激进型驾驶风格的驾驶人在城市拥堵路况下关注1注视兴趣区域的概率,以此类推。
利用加权平均的方法将上述第一注视平稳分布概率集合与熵率值求出的各个驾驶风格的驾驶人的权重进行结合,求出不同工况下驾驶人对各个注视兴趣区域的第二注视平稳分布概率集合Pan,Pbn,n=0,1,2,…,d-1:
Pan=ω1PAan+ω2PBan+ω3PCan
Pbn=ω1PAbn+ω2PBbn+ω3PCbn
城市拥堵工况:[Pa0,Pa1,…,Pan],Pa0表示城市拥堵路况下驾驶人关注0注视兴趣区域的概率,Pa1表示城市拥堵路况下驾驶人关注1注视兴趣区域的概率,以此类推。
城市畅通工况:[Pb0,Pb1,…,Pbn],Pb0表示城市畅通路况下驾驶人关注0注视兴趣区域的概率,Pb1表示城市畅通路况下驾驶人关注1注视兴趣区域的概率,以此类推。
最后再对两个场景下相对应的驾驶人第二注视平稳分布概率集合进行加和平均,得到各注视兴趣区域的注视概率,即[P0,P1,…Pn]。例如:
本申请实施例提供的驾驶场景注意力量化方法,采用高斯混合模型,将驾驶人注视点离散数据进行聚类,并将聚类结果与驾驶人***稳分布概率集合、第二注视平稳分布概率集合,然后用加权平均的方法将驾驶人驾驶风格与场景相结合,得出包含驾驶风格的注意力量化规律。通过本申请实施例构建的注意力量化规律,准确性高,可重复性强,考虑更全面,更具有覆盖性。
本申请实施例提供的驾驶场景注意力量化方法的应用价值:在目标检测模块运算前加入驾驶场景差异化视觉注意力分布权值,使环境感知***能够把目标检测的侧重点参照类人化场景注意力分布特征,减少对前方非重点区域的算力分配,为自动驾驶汽车环境感知***类人感知提供支持,有助于解决环境感知***存在的数据维数灾难、数据冗余问题。
应用举例:
①用于行人检测模块:首先根据该量化方法确定前方场景各侧重区域的概率,依据概率确定其所被分配的权重,然后通过权重,对各侧重区域像素值进行不同程度的增加,最后将处理后的图片输入到行人检测模块,从而减少对非侧重区域的算力分配,有助于解决数据冗余问题。
②用于危险路段交通信号牌的设置:首先根据量化方法可确定驾驶人对各个区域的分配概率,然后将交通信号牌放置在驾驶人重要观察区域,从而最后达到对驾驶人提醒与警示的作用,有助于避免危险路段交通事故的发生。
参照图5,其示出了根据本申请一个实施例描述的驾驶场景注意力量化装置的结构示意图。
如图5所示,驾驶场景注意力量化装置500,可以包括:
获取模块510,用于获取驾驶人的注视区域;驾驶人包括若干驾驶风格的驾驶人;
划分模块520,用于利用高斯混合模型对注视区域进行划分,得到若干注视兴趣区域;
权重计算模块530,用于基于注视兴趣区域,计算各个驾驶风格的驾驶人的权重;
概率确定模块540,用于根据各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。
可选的,注视区域包括若干注视点;划分模块520还用于:
利用高斯混合模型对若干注视点进行聚类,得到聚类结果;
根据聚类结果,结合驾驶人驾驶习惯,得到若干注视兴趣区域。
可选的,权重计算模块530还用于:
获取每个注视兴趣区域的注视点的个数及注视区域的注视点总数;
根据每个注视兴趣区域的注视点的个数及注视区域的注视点总数,确定注视各个注视兴趣区域的概率;
获取每个注视兴趣区域的平均注视持续时间;
根据注视每个注视兴趣区域的概率及平均注视持续时间,确定各个驾驶风格的驾驶人的熵率值;
根据各个驾驶风格的驾驶人的熵率值,确定各个驾驶风格的驾驶人的权重。
可选的,权重计算模块530还用于:
根据各个驾驶风格的驾驶人的熵率值,确定所有驾驶风格的驾驶人的熵率值总和;
根据每个驾驶风格的驾驶人的熵率值及熵率值总和,确定每个驾驶风格的驾驶人的权重。
可选的,驾驶人驾驶时包括不同道路工况;概率确定模块540还用于:
确定不同道路工况下不同驾驶风格的驾驶人的注视一步转移概率集合;
根据注视一步转移概率集合,确定不同道路工况下不同驾驶风格的驾驶人对各个注视兴趣区域的第一注视平稳分布概率集合;
根据第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,确定各个注视兴趣区域的注视概率。
可选的,概率确定模块540还用于:
基于马尔科夫链,对注视一步转移概率集合建立方程组;
对方程组求解,得到第一注视平稳分布概率集合。
可选的,概率确定模块540还用于:
对第一注视平稳分布概率集合及各个驾驶风格的驾驶人的权重,进行加权平均,得到不同工况下驾驶人对各个注视兴趣区域的第二注视平稳分布概率集合;
分别对各个工况下的第二注视平稳分布概率集合进行加和平均,得到注视概率。
本实施例提供的一种驾驶场景注意力量化装置,可以执行上述方法的实施例,其实现原理和技术效果类似,在此不再赘述。
图6为本发明实施例提供的一种电子设备的结构示意图。如图6所示,示出了适于用来实现本申请实施例的电子设备300的结构示意图。
如图6所示,电子设备300包括中央处理单元(CPU)301,其可以根据存储在只读存储器(ROM)302中的程序或者从存储部分308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中,还存储有设备300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
以下部件连接至I/O接口305:包括键盘、鼠标等的输入部分306;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分307;包括硬盘等的存储部分308;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口306。可拆卸介质311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器310上,以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地,根据本公开的实施例,上文参考图1描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行上述驾驶场景注意力量化方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分309从网络上被下载和安装,和/或从可拆卸介质311被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、笔记本电脑、行动电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
作为另一方面,本申请还提供了一种存储介质,该存储介质可以是上述实施例中前述装置中所包含的存储介质;也可以是单独存在,未装配入设备中的存储介质。存储介质存储有一个或者一个以上程序,前述程序被一个或者一个以上的处理器用来执行描述于本申请的驾驶场景注意力量化方法。
存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
Claims (10)
1.一种驾驶场景注意力量化方法,其特征在于,所述方法包括:
获取驾驶人的注视区域;所述驾驶人包括若干驾驶风格的驾驶人;
利用高斯混合模型对所述注视区域进行划分,得到若干注视兴趣区域;
基于所述注视兴趣区域,计算各个驾驶风格的驾驶人的权重;
根据所述各个驾驶风格的驾驶人的权重,确定各个所述注视兴趣区域的注视概率。
2.根据权利要求1所述的方法,其特征在于,所述注视区域包括若干注视点;
所述利用高斯混合模型对所述注视区域进行划分,得到若干注视兴趣区域,包括:
利用所述高斯混合模型对所述若干注视点进行聚类,得到聚类结果;
根据所述聚类结果,结合所述驾驶人驾驶习惯,得到所述若干注视兴趣区域。
3.根据权利要求1所述的方法,其特征在于,所述基于所述注视兴趣区域,计算各个驾驶风格的驾驶人的权重,包括:
获取每个所述注视兴趣区域的注视点的个数及所述注视区域的注视点总数;
根据所述每个所述注视兴趣区域的注视点的个数及所述注视区域的注视点总数,确定注视各个所述注视兴趣区域的概率;
获取每个所述注视兴趣区域的平均注视持续时间;
根据注视每个所述注视兴趣区域的概率及所述平均注视持续时间,确定各个驾驶风格的驾驶人的熵率值;
根据所述各个驾驶风格的驾驶人的熵率值,确定所述各个驾驶风格的驾驶人的权重。
4.根据权利要求3所述的方法,其特征在于,所述根据所述各个驾驶风格的驾驶人的熵率值,确定所述各个驾驶风格的驾驶人的权重,包括:
根据所述各个驾驶风格的驾驶人的熵率值,确定所有驾驶风格的驾驶人的熵率值总和;
根据每个驾驶风格的驾驶人的熵率值及所述熵率值总和,确定每个驾驶风格的驾驶人的权重。
5.根据权利要求1所述的方法,其特征在于,所述驾驶人驾驶时包括不同道路工况;
所述根据所述各个驾驶风格的驾驶人的权重,确定各个所述注视兴趣区域的注视概率,包括:
确定不同道路工况下不同驾驶风格的驾驶人的注视一步转移概率集合;
根据所述注视一步转移概率集合,确定不同道路工况下不同驾驶风格的驾驶人对各个所述注视兴趣区域的第一注视平稳分布概率集合;
根据所述第一注视平稳分布概率集合及所述各个驾驶风格的驾驶人的权重,确定各个所述注视兴趣区域的注视概率。
6.根据权利要求5所述的方法,其特征在于,所述根据所述注视一步转移概率集合,确定不同道路工况下不同驾驶风格的驾驶人对各个所述注视兴趣区域的第一注视平稳分布概率集合,包括:
基于马尔科夫链,对所述注视一步转移概率集合建立方程组;
对所述方程组求解,得到所述第一注视平稳分布概率集合。
7.根据权利要求5所述的方法,其特征在于,所述根据所述第一注视平稳分布概率集合及所述各个驾驶风格的驾驶人的权重,确定各个所述注视兴趣区域的注视概率,包括:
对所述第一注视平稳分布概率集合及所述各个驾驶风格的驾驶人的权重,进行加权平均,得到不同工况下驾驶人对各个所述注视兴趣区域的第二注视平稳分布概率集合;
分别对各个工况下的所述第二注视平稳分布概率集合进行加和平均,得到所述注视概率。
8.一种驾驶场景注意力量化装置,其特征在于,所述装置包括:
获取模块,用于获取驾驶人的注视区域;所述驾驶人包括若干驾驶风格的驾驶人;
划分模块,用于利用高斯混合模型对所述注视区域进行划分,得到若干注视兴趣区域;
权重计算模块,用于基于所述注视兴趣区域,计算各个驾驶风格的驾驶人的权重;
概率确定模块,用于根据所述各个驾驶风格的驾驶人的权重,确定各个所述注视兴趣区域的注视概率。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的驾驶场景注意力量化方法。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的驾驶场景注意力量化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210227332.8A CN114677665A (zh) | 2022-03-08 | 2022-03-08 | 驾驶场景注意力量化方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210227332.8A CN114677665A (zh) | 2022-03-08 | 2022-03-08 | 驾驶场景注意力量化方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114677665A true CN114677665A (zh) | 2022-06-28 |
Family
ID=82072818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210227332.8A Pending CN114677665A (zh) | 2022-03-08 | 2022-03-08 | 驾驶场景注意力量化方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677665A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116350190A (zh) * | 2023-05-29 | 2023-06-30 | 中国第一汽车股份有限公司 | 一种驾驶能力确定方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
CN104038752A (zh) * | 2014-06-04 | 2014-09-10 | 上海师范大学 | 基于三维高斯混合模型的多视点视频直方图颜色校正 |
CN110852281A (zh) * | 2019-11-13 | 2020-02-28 | 吉林大学 | 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法 |
CN111709264A (zh) * | 2019-03-18 | 2020-09-25 | 北京市商汤科技开发有限公司 | 驾驶员注意力监测方法和装置及电子设备 |
CN112426124A (zh) * | 2020-11-23 | 2021-03-02 | 天津大学 | 一种基于眼动数据的车辆驾驶效率监测方法 |
-
2022
- 2022-03-08 CN CN202210227332.8A patent/CN114677665A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101937578A (zh) * | 2010-09-08 | 2011-01-05 | 宁波大学 | 一种虚拟视点彩色图像绘制方法 |
CN104038752A (zh) * | 2014-06-04 | 2014-09-10 | 上海师范大学 | 基于三维高斯混合模型的多视点视频直方图颜色校正 |
CN111709264A (zh) * | 2019-03-18 | 2020-09-25 | 北京市商汤科技开发有限公司 | 驾驶员注意力监测方法和装置及电子设备 |
CN110852281A (zh) * | 2019-11-13 | 2020-02-28 | 吉林大学 | 基于高斯混合隐马尔科夫模型的驾驶员换道意图识别方法 |
CN112426124A (zh) * | 2020-11-23 | 2021-03-02 | 天津大学 | 一种基于眼动数据的车辆驾驶效率监测方法 |
Non-Patent Citations (11)
Title |
---|
侯海晶: "高速公路驾驶人换道意图识别方法研究", 中国博士电子期刊网, no. 08, 15 August 2013 (2013-08-15) * |
吴付威;山岩;付锐;王畅;: "高速公路干扰跟车时驾驶人注意力分配特性", 中国安全科学学报, no. 01, 15 January 2017 (2017-01-15) * |
尚俊雅;茹强;杨世安;: "基于马尔可夫链的隧道出口驾驶人注视特性研究", 汽车实用技术, no. 06, 30 March 2017 (2017-03-30) * |
崔洪军;由婷婷;李霞;朱敏清;闫寒;: "高速公路隧道入口段照明动态阈值区间研究", 交通信息与安全, no. 03, 28 June 2018 (2018-06-28) * |
杨鹏飞;付锐;于鹏程;: "虚拟城市道路场景中的驾驶人应激感知反应时间特性", 长安大学学报(自然科学版), no. 02, 15 March 2013 (2013-03-15) * |
江治东;阎莹;刘国盼;康可心;: "高速公路驾驶人换道意图识别模型", 道路交通与安全, no. 02, 2 June 2016 (2016-06-02) * |
邢大伟: "驾驶人视觉感知特性及其建模研究", 中国博士电子期刊网, 15 October 2019 (2019-10-15) * |
邵枫;蒋刚毅;郁梅;陈偕雄;: "一种基于区域分割与跟踪的多视点视频校正算法", 光子学报, no. 08, 15 August 2007 (2007-08-15) * |
韩磊;朱守林;高明星;李航天;刘鑫;: "注视熵和马尔科夫链的弯道诱导设施信息量研究", 中国安全科学学报, no. 08, 15 August 2020 (2020-08-15) * |
韩磊等: "注视熵和马尔科夫链的弯道诱导设施信息量研究", 中国安全科学报, vol. 30, no. 8, 31 August 2020 (2020-08-31), pages 122 - 128 * |
高铭: "基于深度学习的复杂交通环境下目标跟踪与轨迹预测研究", 中国优秀硕士电子期刊网, no. 08, 15 August 2020 (2020-08-15) * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116350190A (zh) * | 2023-05-29 | 2023-06-30 | 中国第一汽车股份有限公司 | 一种驾驶能力确定方法、电子设备及存储介质 |
CN116350190B (zh) * | 2023-05-29 | 2023-08-18 | 中国第一汽车股份有限公司 | 一种驾驶能力确定方法、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634181B (zh) | 用于检测地面点云点的方法和装置 | |
CN113672845A (zh) | 一种车辆轨迹的预测方法、装置、设备及存储介质 | |
CN108897836B (zh) | 一种机器人基于语义进行地图构建的方法和装置 | |
CN110134126B (zh) | 轨迹匹配方法、装置、设备和介质 | |
Baker et al. | Performance assessment of model-based tracking | |
CN111605555A (zh) | 车辆驾驶策略的推荐方法、装置、介质及电子设备 | |
Shen et al. | Nighttime driving safety improvement via image enhancement for driver face detection | |
CN112949751B (zh) | 车辆图像聚类及轨迹还原方法 | |
CN114677665A (zh) | 驾驶场景注意力量化方法、装置、电子设备及存储介质 | |
CN111913183A (zh) | 车辆侧向避障方法、装置、设备及车辆 | |
CN110874853A (zh) | 目标运动的确定方法、装置、设备及存储介质 | |
CN111241385A (zh) | 信息处理方法、装置以及计算机***和介质 | |
CN112396657A (zh) | 一种基于神经网络的深度位姿估计方法、装置及终端设备 | |
Bouaynaya et al. | On the optimality of motion-based particle filtering | |
Trongtirakul et al. | Transmission map optimization for single image dehazing | |
CN110033383B (zh) | 一种数据处理方法、设备、介质以及装置 | |
CN116645308A (zh) | 图像处理方法、装置、计算机存储介质及电子设备 | |
CN110335308A (zh) | 基于视差约束与双向环形检验的双目视觉里程计计算方法 | |
CN113450385B (zh) | 一种夜间工作工程机械视觉跟踪方法、装置及存储介质 | |
CN114332785A (zh) | 基于卡口相机的人脸抠图方法、装置、设备及存储介质 | |
CN114821034A (zh) | 目标检测模型的训练方法、装置、电子设备及介质 | |
CN114119139A (zh) | 一种信息推荐方法、装置、存储介质及电子设备 | |
CN116451985B (zh) | 一种城市电量节能控制方法、装置、电子设备及存储介质 | |
Barranco et al. | A multi-resolution approach for massively-parallel hardware-friendly optical flow estimation | |
CN109344761B (zh) | 一种视频状态确定方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |