CN111858927A - 数据测试方法、装置、电子设备及存储介质 - Google Patents
数据测试方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN111858927A CN111858927A CN202010518935.4A CN202010518935A CN111858927A CN 111858927 A CN111858927 A CN 111858927A CN 202010518935 A CN202010518935 A CN 202010518935A CN 111858927 A CN111858927 A CN 111858927A
- Authority
- CN
- China
- Prior art keywords
- data
- scene
- scene classification
- piece
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 95
- 238000011156 evaluation Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 22
- 238000010586 diagram Methods 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 19
- 238000007781 pre-processing Methods 0.000 claims description 9
- 239000000126 substance Substances 0.000 claims description 2
- 239000000463 material Substances 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013100 final test Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了数据测试方法、装置、电子设备及存储介质,涉及自动驾驶领域,其中的方法可包括:获取第一数据集,运行第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果;分别确定第一数据集中的各条数据所属的场景分类;针对各场景分类,分别将该场景分类中的各条数据映射到预先生成的该场景分类对应的统计图中,根据映射结果及该场景分类中的各条数据的判断结果,生成该场景分类对应的测试评价指标。应用本申请所述方案,可节省人力物力,提升处理效率等。
Description
技术领域
本申请涉及计算机应用技术,特别涉及自动驾驶领域的数据测试方法、装置、电子设备及存储介质。
背景技术
无人车测试中,除了常见的道路测试外,还需要进行基于仿真平台的虚拟化测试,从而可以更低的成本、更高的效率、更全面的覆盖来有效验证无人车的性能。
目前,通常采用基于海量数据进行回放式随机测试的方式,即通过数据回放模式,随机性的进行实验,通过人工分析等得出测试结果,但这种方式需要耗费较大的人力物力,且效率低下。
发明内容
本申请提供了数据测试方法、装置、电子设备及存储介质。
一种数据测试方法,包括:
获取第一数据集,运行所述第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果;
分别确定出所述第一数据集中的各条数据所属的场景分类;
针对各场景分类,分别将所述场景分类中的各条数据映射到预先生成的所述场景分类对应的统计图中,根据映射结果及所述场景分类中的各条数据的判断结果,生成所述场景分类对应的测试评价指标。
一种数据测试装置,包括:第一测试模块以及第二测试模块;
所述第一测试模块,用于获取第一数据集,运行所述第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果;
所述第二测试模块,用于分别确定出所述第一数据集中的各条数据所属的场景分类,针对各场景分类,分别将所述场景分类中的各条数据映射到预先生成的所述场景分类对应的统计图中,根据映射结果及所述场景分类中的各条数据的判断结果,生成所述场景分类对应的测试评价指标。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行如以上所述的方法。
上述申请中的一个实施例具有如下优点或有益效果:无需进行人工分析等处理,可实现对于数据测试结果的快速自动化评价,并提供了可量化的测试评价指标,即可通过具体的测试评价指标定量的描述测试结果,从而节省了人力物力,并提升了处理效率等。应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1为本申请所述数据测试方法实施例的流程图;
图2为本申请所述数据测试方法的整体实现过程示意图;
图3为本申请所述数据测试装置实施例30的组成结构示意图;
图4为根据本申请实施例所述方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请中提出了一种数据测试方法,针对待处理的第一数据集,可运行其中的各条数据,并可根据运行结果分别对各条数据进行判断,从而得到各条数据是否通过的判断结果,还可分别确定出各条数据所属的场景分类,进而可基于预先生成的不同场景分类对应的统计图,根据得到的判断结果及场景分类结果,实现对于数据测试结果的快速自动化评价等。
以下即首先对生成不同场景分类对应的统计图的方式进行说明。
获取第二数据集,第二数据集中可包括通过道路测试、实地采集、人工创造等方式累积得到的海量数据。
可分别确定出第二数据集中的各条数据所属的场景分类。比如,可采用场景模式识别和类别挖掘等方式将第二数据集中的各条数据分别划分到所属的场景分类。具体包括哪些场景分类可根据实际需要而定,如可包括左转场景、变道场景等。对于一条数据来说,其可能只属于一个场景分类,也可能属于多个场景分类,对于后续处理并无影响。通过场景分类,实现了数据的有效拆分,从而提升了海量数据的处理效率等。
统计图的具体形式可根据实际需要而定,如可为热力图或有一定透明度且可累加的散点图等,以下以热力图为例进行说明。
针对各场景分类,可分别根据该场景分类中的各条数据生成该场景分类对应的热力图。优选地,针对任一场景分类,可分别从该场景分类对应的场景参数中选定感兴趣的第一场景参数和第二场景参数,将第一场景参数的取值区间平均划分为M个连续的子区间,将第二场景参数的取值区间平均划分为N个连续的子区间,M和N均为大于一的正整数,根据该场景分类中的各条数据的第一场景参数的取值及第二场景参数的取值,分别确定出各条数据所属的区间组合,其中,所述区间组合由第一场景参数对应的一个子区间及第二场景参数对应的一个子区间组成,任意两个区间组合均不相同,进而可基于确定结果生成该场景分类对应的热力图。
不同场景分类对应的场景参数也可不同。针对任一场景分类,可分别从该场景分类对应的场景参数中选定感兴趣的第一场景参数和第二场景参数,即可无需用到所有的场景参数,而是选定一些关键/典型的场景参数,通常为两个即可,分别对应于热力图的横轴和纵轴。比如,对于变道场景,可选定变道时间和变道速度两个场景参数,假设一条数据的时长为2分钟,其中从60秒开始进行变道到1分15秒时变道结束,那么变道时长则为15秒,变道速度可以是指变道过程中的速度平均值等。
对于选定的第一场景参数和第二场景参数,可将第一场景参数的取值区间平均划分为M个连续的子区间,并将第二场景参数的取值区间平均划分为N个连续的子区间,M和N均为大于一的正整数,具体取值均可根据实际需要而定。
通过子区间之间的组合,可以得到多个区间组合。比如,M和N的取值均为100,即可分别得到第一场景参数对应的100个子区间,分别为子区间1~子区间100,并可分别得到第二场景参数对应的100个子区间,分别为子区间101~子区间200,那么子区间1和子区间101可组合得到一个区间组合,子区间1和子区间102可组合得到一个区间组合,子区间2和子区间101也可组合得到一个区间组合等。针对任一场景分类,可根据该场景分类中的各条数据的第一场景参数的取值及第二场景参数的取值,分别确定出各条数据所属的区间组合,进而可基于确定结果生成该场景分类对应的热力图。优选地,针对各区间组合,可分别确定出属于该区间组合的数据条数与该场景分类中的数据条数的比值,将第一场景参数和第二场景参数分别作为横轴和纵轴,根据各区间组合对应的比值绘制出热力图,如何绘制热力图为现有技术。
通过热力图的方式,可以将不同场景分类下的数据进行可视化展示,便于直观理解及分析等。
在生成热力图后,还可进行热力区的划分,即对于任一场景分类,可针对设定的至少一个热力分位值,分别进行以下处理:根据该热力分位值对该场景分类对应的热力图进行划分,得到该热力分位值下的核心热力区和非核心热力区。
比如,热力分位值为90分位,可按照属于各区间组合的数据条数从大到小的顺序,对各区间组合进行排序,之后,可将排序后处于第一位的区间组合和排序后处于第二位的区间组合对应的比值(即上述属于该区间组合的数据条数与该场景分类中的数据条数的比值)相加,并将相加后的数值与90%进行比较,若相加后的数值小于90%,可继续将排序后处于下一位的区间组合对应的比值与所述数值相加,并将相加后的数值与90%再次进行比较等,依此类推,若相加后的数值等于90%,可停止处理,将最新相加的比值对应的区间组合及其之前的区间组合对应的区域作为核心热力区,若相加后的数值大于90%,那么可将最新相加的比值对应的区间组合之前的区间组合对应的区域作为核心热力区,核心热力区之外的区域即为非核心热力区。按照同样的方式,可分别得到60分位、70分位、80分位等热力分位值下的核心热力区和非核心热力区。
热力分位值的个数及取值均可根据实际需要而定。通过热力分位值的灵活设定,可实现对于测试结果的有目的的细化评价等。
完成上述处理之后,即可进行针对海量数据的数据测试。第一数据集中包括的即为需要进行数据测试的海量数据。
图1为本申请所述数据测试方法实施例的流程图。如图1所示,包括以下具体实现方式。
在101中,获取第一数据集,运行第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果。
在102中,分别确定出第一数据集中的各条数据所属的场景分类。
在103中,针对各场景分类,分别将该场景分类中的各条数据映射到预先生成的该场景分类对应的统计图中,根据映射结果及该场景分类中的各条数据的判断结果,生成该场景分类对应的测试评价指标。
针对第一数据集,可首先运行其中的各条数据,优选地,可在分布式云计算平台中运行,并可通过并行化方式实现提速,如何运行数据为现有技术。
另外,可根据运行结果分别对各条数据进行判断,从而得到各条数据是否通过的判断结果,如可根据设定的规则判断每条数据中无人车的行为是否合理合法或符合预期,并根据设定的规则给出是否通过的判断结果。
还可分别确定出第一数据集中的各条数据所属的场景分类。在实际应用中,可预先完成各条数据的场景分类,即进行预分类,也可在需要使用时再进行场景分类,场景分类的方式与生成热力图时的场景分类方式相同。
针对各场景分类,可分别将该场景分类中的各条数据映射到该场景分类对应的热力图中。优选地,针对该场景分类中的各条数据,可分别根据该数据的第一场景参数的取值及第二场景参数的取值,将该数据映射到该场景分类对应的热力图中的对应位置。
之后,可根据映射结果及该场景分类中的各条数据的判断结果,生成该场景分类对应的测试评价指标。优选地,对于任一场景分类,可针对设定的至少一个热力分位值中的每个热力分位值,分别进行以下处理:统计映射之后该场景分类中的各条数据中位于该热力分位值下的核心热力区中的数据条数,根据统计结果及该场景分类中的各条数据的判断结果,生成该热力分位值下该场景分类对应的测试评价指标,优选地,可计算位于核心热力区中且判断结果为通过的数据条数与位于核心热力区中的数据条数的比值,得到该热力分位值下的核心热力区的通过率,将所述核心热力区的通过率作为该热力分位值下该场景分类对应的测试评价指标。
比如,位于核心热力区中且判断结果为通过的数据条数为480条,位于核心热力区中的数据条数为500条,那么核心热力区的通过率则为480/500。
进一步地,对于任一场景分类,针对设定的至少一个热力分位值中的每个热力分位值,还可分别进行以下处理:统计映射之后该场景分类中的各条数据中位于该热力分位值下的非核心热力区中的数据条数,计算位于非核心热力区中且判断结果为通过的数据条数与位于非核心热力区中的数据条数的比值,得到该热力分位值下的非核心热力区的通过率,将所述非核心热力区的通过率作为该热力分位值下该场景分类对应的测试评价指标,即可将核心热力区的通过率和非核心热力区的通过率均作为该热力分位值下该场景分类对应的测试评价指标,从而进一步丰富了测试评价指标,为用户提供了更多的有价值的评价信息等。
假设设定的热力分位值为一个,为90分位,那么可得到该热力分位值下不同场景分类对应的测试评价指标。假设设定的热力分位值为三个,分别为70分位、80分位和90分位,那么可分别得到70分位这一热力分位值下不同场景分类对应的测试评价指标、80分位这一热力分位值下不同场景分类对应的测试评价指标以及90分位这一热力分位值下不同场景分类对应的测试评价指标。
另外,还可整合不同场景分类对应的测试评价指标,从而得到最终的测试结果。
基于上述介绍可以看出,本实施例所述方法中无需进行人工分析等处理,可实现对于数据测试结果的快速自动化评价,并提供了可量化的测试评价指标,即可通过具体的测试评价指标定量的描述测试结果,从而节省了人力物力,提升了处理效率,并使得在同样的热力图、海量数据测试场景下,不同无人车***之间的通过率等有了可量化、可对比的结果等。
图2为本申请所述数据测试方法的整体实现过程示意图。如图2所示,本申请所述方法主要包括热力图生成以及海量数据测试两个环节,各环节的具体实现请参照前述相关说明,不再赘述。另外,还可生成包含判断结果的关联热力图,即将各条数据分别映射到热力图上后,还可将对应的判断结果标记在热力图上,从而形成关联热力图,便于人工理解等。
需要说明的是,对于前述的方法实施例,为了简单描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本申请所述方案进行进一步说明。
图3为本申请所述数据测试装置实施例30的组成结构示意图。如图3所示,包括:第一测试模块301以及第二测试模块302。
第一测试模块301,用于获取第一数据集,运行第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果。
第二测试模块302,用于分别确定出第一数据集中的各条数据所属的场景分类,针对各场景分类,分别将该场景分类中的各条数据映射到预先生成的该场景分类对应的统计图中,根据映射结果及该场景分类中的各条数据的判断结果,生成该场景分类对应的测试评价指标。
可以看出,为实现本实施例所述方案,需要预先生成不同场景分类对应的统计图。为此,图3所示装置中可进一步包括:预处理模块300,用于获取第二数据集,分别确定出第二数据集中的各条数据所属的场景分类,针对各场景分类,分别根据该场景分类中的各条数据生成该场景分类对应的统计图。
第二数据集中可包括通过道路测试、实地采集、人工创造等方式累积得到的海量数据。可采用场景模式识别和类别挖掘等方式将各条数据分别划分到所属的场景分类。
针对各场景分类,预处理模块300可分别根据该场景分类中的各条数据生成该场景分类对应的统计图,如热力图。优选地,针对任一场景分类,预处理模块300可分别从该场景分类对应的场景参数中选定感兴趣的第一场景参数和第二场景参数,将第一场景参数的取值区间平均划分为M个连续的子区间,将第二场景参数的取值区间平均划分为N个连续的子区间,M和N均为大于一的正整数,根据该场景分类中的各条数据的第一场景参数的取值及第二场景参数的取值,分别确定出各条数据所属的区间组合,其中,所述区间组合由第一场景参数对应的一个子区间及第二场景参数对应的一个子区间组成,任意两个区间组合均不相同,进而可基于确定结果生成该场景分类对应的热力图。优选地,预处理模块300可针对各区间组合,分别确定出属于该区间组合的数据条数与该场景分类中的数据条数的比值,将第一场景参数和第二场景参数分别作为横轴和纵轴,根据各区间组合对应的比值绘制出热力图。
在生成热力图后,预处理模块300还可进行热力区的划分,即对于任一场景分类,可针对设定的至少一个热力分位值,分别进行以下处理:根据该热力分位值对该场景分类对应的热力图进行划分,得到该热力分位值下的核心热力区和非核心热力区。
相应地,对于任一场景分类,第二测试模块302可针对该场景分类中的各条数据,分别根据该数据的第一场景参数的取值及第二场景参数的取值,将该数据映射到该场景分类对应的热力图中的对应位置。
另外,对于任一场景分类,第二测试模块302还可针对至少一个热力分位值,分别进行以下处理:统计映射之后该场景分类中的各条数据中位于该热力分位值下的核心热力区中的数据条数,根据统计结果及该场景分类中的各条数据的判断结果,生成该热力分位值下该场景分类对应的测试评价指标。优选地,第二测试模块302可计算位于核心热力区中且判断结果为通过的数据条数与位于核心热力区中的数据条数的比值,得到该热力分位值下的核心热力区的通过率,将所述核心热力区的通过率作为该热力分位值下该场景分类对应的测试评价指标。
进一步地,对于任一场景分类,第二测试模块302还可针对至少一个热力分位值,分别进行以下处理:统计映射之后该场景分类中的各条数据中位于该热力分位值下的非核心热力区中的数据条数,计算位于非核心热力区中且判断结果为通过的数据条数与位于非核心热力区中的数据条数的比值,得到该热力分位值下的非核心热力区的通过率,将所述非核心热力区的通过率作为该热力分位值下该场景分类对应的测试评价指标。
后续,第二测试模块302还可整合不同场景分类对应的测试评价指标,得到最终的测试结果。
图3所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
总之,采用本申请装置实施例所述方案,无需进行人工分析等处理,可实现对于数据测试结果的快速自动化评价,并提供了可量化的测试评价指标,即可通过具体的测试评价指标定量的描述测试结果,从而节省了人力物力,提升了处理效率,并使得在同样的热力图、海量数据测试场景下,不同无人车***之间的通过率等有了可量化、可对比的结果等;而且,通过场景分类,实现了数据的有效拆分,从而进一步提升了海量数据的处理效率等;另外,通过热力图等方式,可以将不同场景分类下的数据进行可视化展示,便于直观理解及分析等;再有,通过热力分位值的灵活设定,可实现对于测试结果的有目的的细化评价等。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图4所示,是根据本申请实施例所述方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图4所示,该电子设备包括:一个或多个处理器Y01、存储器Y02,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示图形用户界面的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图4中以一个处理器Y01为例。
存储器Y02即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的方法。
存储器Y02作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的方法对应的程序指令/模块。处理器Y01通过运行存储在存储器Y02中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的方法。
存储器Y02可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器Y02可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器Y02可选包括相对于处理器Y01远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、区块链网络、局域网、移动通信网及其组合。
电子设备还可以包括:输入装置Y03和输出装置Y04。处理器Y01、存储器Y02、输入装置Y03和输出装置Y04可以通过总线或者其他方式连接,图4中以通过总线连接为例。
输入装置Y03可接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置Y04可以包括显示设备、辅助照明装置和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器、发光二极管显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,阴极射线管或者液晶显示器监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网、广域网、区块链网络和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (16)
1.一种数据测试方法,其特征在于,包括:
获取第一数据集,运行所述第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果;
分别确定出所述第一数据集中的各条数据所属的场景分类;
针对各场景分类,分别将所述场景分类中的各条数据映射到预先生成的所述场景分类对应的统计图中,根据映射结果及所述场景分类中的各条数据的判断结果,生成所述场景分类对应的测试评价指标。
2.根据权利要求1所述的方法,其特征在于,
该方法进一步包括:获取第二数据集,分别确定出所述第二数据集中的各条数据所属的场景分类;针对各场景分类,分别根据所述场景分类中的各条数据生成所述场景分类对应的统计图。
3.根据权利要求2所述的方法,其特征在于,
所述根据所述场景分类中的各条数据生成所述场景分类对应的统计图包括:
分别从所述场景分类对应的场景参数中选定感兴趣的第一场景参数和第二场景参数,将所述第一场景参数的取值区间平均划分为M个连续的子区间,将所述第二场景参数的取值区间平均划分为N个连续的子区间,M和N均为大于一的正整数;
根据所述场景分类中的各条数据的所述第一场景参数的取值及所述第二场景参数的取值,分别确定出各条数据所属的区间组合;其中,所述区间组合由所述第一场景参数对应的一个子区间及所述第二场景参数对应的一个子区间组成,任意两个区间组合均不相同;
基于确定结果生成所述场景分类对应的热力图。
4.根据权利要求3所述的方法,其特征在于,
所述基于确定结果生成所述场景分类对应的热力图包括:针对各区间组合,分别确定出属于所述区间组合的数据条数与所述场景分类中的数据条数的比值;将所述第一场景参数和所述第二场景参数分别作为横轴和纵轴,根据各区间组合对应的比值绘制出所述热力图;
所述将所述场景分类中的各条数据映射到预先生成的所述场景分类对应的统计图中包括:针对所述场景分类中的各条数据,分别根据所述数据的所述第一场景参数的取值及所述第二场景参数的取值,将所述数据映射到所述场景分类对应的热力图中的对应位置。
5.根据权利要求4所述的方法,其特征在于,
该方法进一步包括:对于任一场景分类,针对设定的至少一个热力分位值,分别进行以下处理:根据所述热力分位值对所述场景分类对应的热力图进行划分,得到所述热力分位值下的核心热力区和非核心热力区;
所述根据映射结果及所述场景分类中的各条数据的判断结果,生成所述场景分类对应的测试评价指标包括:对于任一场景分类,针对所述至少一个热力分位值,分别进行以下处理:统计映射之后所述场景分类中的各条数据中位于所述热力分位值下的核心热力区中的数据条数,根据统计结果及所述场景分类中的各条数据的判断结果,生成所述热力分位值下所述场景分类对应的测试评价指标。
6.根据权利要求5所述的方法,其特征在于,
所述根据统计结果及所述场景分类中的各条数据的判断结果,生成所述热力分位值下所述场景分类对应的测试评价指标包括:
计算位于所述核心热力区中且判断结果为通过的数据条数与位于所述核心热力区中的数据条数的比值,得到所述热力分位值下的核心热力区的通过率,将所述核心热力区的通过率作为所述热力分位值下所述场景分类对应的测试评价指标。
7.根据权利要求6所述的方法,其特征在于,
该方法进一步包括:对于任一场景分类,针对所述至少一个热力分位值,分别进行以下处理:统计映射之后所述场景分类中的各条数据中位于所述热力分位值下的非核心热力区中的数据条数,计算位于所述非核心热力区中且判断结果为通过的数据条数与位于所述非核心热力区中的数据条数的比值,得到所述热力分位值下的非核心热力区的通过率,将所述非核心热力区的通过率作为所述热力分位值下所述场景分类对应的测试评价指标。
8.一种数据测试装置,其特征在于,包括:第一测试模块以及第二测试模块;
所述第一测试模块,用于获取第一数据集,运行所述第一数据集中的各条数据,并根据运行结果分别对各条数据进行判断,得到各条数据是否通过的判断结果;
所述第二测试模块,用于分别确定出所述第一数据集中的各条数据所属的场景分类,针对各场景分类,分别将所述场景分类中的各条数据映射到预先生成的所述场景分类对应的统计图中,根据映射结果及所述场景分类中的各条数据的判断结果,生成所述场景分类对应的测试评价指标。
9.根据权利要求8所述的装置,其特征在于,
所述装置中进一步包括:预处理模块,用于获取第二数据集,分别确定出所述第二数据集中的各条数据所属的场景分类,针对各场景分类,分别根据所述场景分类中的各条数据生成所述场景分类对应的统计图。
10.根据权利要求9所述的装置,其特征在于,
所述预处理模块针对任一场景分类,分别从所述场景分类对应的场景参数中选定感兴趣的第一场景参数和第二场景参数,将所述第一场景参数的取值区间平均划分为M个连续的子区间,将所述第二场景参数的取值区间平均划分为N个连续的子区间,M和N均为大于一的正整数,根据所述场景分类中的各条数据的所述第一场景参数的取值及所述第二场景参数的取值,分别确定出各条数据所属的区间组合,其中,所述区间组合由所述第一场景参数对应的一个子区间及所述第二场景参数对应的一个子区间组成,任意两个区间组合均不相同,基于确定结果生成所述场景分类对应的热力图。
11.根据权利要求10所述的装置,其特征在于,
所述预处理模块针对各区间组合,分别确定出属于所述区间组合的数据条数与所述场景分类中的数据条数的比值,将所述第一场景参数和所述第二场景参数分别作为横轴和纵轴,根据各区间组合对应的比值绘制出所述热力图;
所述第二测试模块针对所述场景分类中的各条数据,分别根据所述数据的所述第一场景参数的取值及所述第二场景参数的取值,将所述数据映射到所述场景分类对应的热力图中的对应位置。
12.根据权利要求11所述的装置,其特征在于,
所述预处理模块进一步用于,对于任一场景分类,针对设定的至少一个热力分位值,分别进行以下处理:根据所述热力分位值对所述场景分类对应的热力图进行划分,得到所述热力分位值下的核心热力区和非核心热力区;
所述第二测试模块对于任一场景分类,针对所述至少一个热力分位值,分别进行以下处理:统计映射之后所述场景分类中的各条数据中位于所述热力分位值下的核心热力区中的数据条数,根据统计结果及所述场景分类中的各条数据的判断结果,生成所述热力分位值下所述场景分类对应的测试评价指标。
13.根据权利要求12所述的装置,其特征在于,
所述第二测试模块计算位于所述核心热力区中且判断结果为通过的数据条数与位于所述核心热力区中的数据条数的比值,得到所述热力分位值下的核心热力区的通过率,将所述核心热力区的通过率作为所述热力分位值下所述场景分类对应的测试评价指标。
14.根据权利要求13所述的装置,其特征在于,
所述第二测试模块进一步用于,对于任一场景分类,针对所述至少一个热力分位值,分别进行以下处理:统计映射之后所述场景分类中的各条数据中位于所述热力分位值下的非核心热力区中的数据条数,计算位于所述非核心热力区中且判断结果为通过的数据条数与位于所述非核心热力区中的数据条数的比值,得到所述热力分位值下的非核心热力区的通过率,将所述非核心热力区的通过率作为所述热力分位值下所述场景分类对应的测试评价指标。
15.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010518935.4A CN111858927B (zh) | 2020-06-09 | 2020-06-09 | 数据测试方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010518935.4A CN111858927B (zh) | 2020-06-09 | 2020-06-09 | 数据测试方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111858927A true CN111858927A (zh) | 2020-10-30 |
CN111858927B CN111858927B (zh) | 2023-11-24 |
Family
ID=72987348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010518935.4A Active CN111858927B (zh) | 2020-06-09 | 2020-06-09 | 数据测试方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111858927B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115509909A (zh) * | 2022-09-26 | 2022-12-23 | 北京百度网讯科技有限公司 | 测试方法、装置、电子设备和存储介质 |
CN115981179A (zh) * | 2022-12-30 | 2023-04-18 | 西安深信科创信息技术有限公司 | 一种自动驾驶仿真测试场景测试指标生成方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105954040A (zh) * | 2016-04-22 | 2016-09-21 | 百度在线网络技术(北京)有限公司 | 应用于无人驾驶汽车的测试方法和装置 |
CN106528398A (zh) * | 2015-09-15 | 2017-03-22 | 网易(杭州)网络有限公司 | 游戏软件性能的可视分析方法 |
US20180354512A1 (en) * | 2017-06-09 | 2018-12-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Driverless Vehicle Testing Method and Apparatus, Device and Storage Medium |
CN110059146A (zh) * | 2019-04-16 | 2019-07-26 | 珠海金山网络游戏科技有限公司 | 一种数据采集方法、服务器、计算设备及存储介质 |
CN110300370A (zh) * | 2019-07-02 | 2019-10-01 | 广州纳斯威尔信息技术有限公司 | 一种重建wifi指纹地图室内定位方法 |
US20190378035A1 (en) * | 2018-06-11 | 2019-12-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, device and medium for classifying driving scenario data |
US20200089820A1 (en) * | 2018-09-14 | 2020-03-19 | Sino IC Technology Co.,Ltd. | Ic test information management system based on industrial internet |
CN111122175A (zh) * | 2020-01-02 | 2020-05-08 | 北京百度网讯科技有限公司 | 测试自动驾驶***的方法以及装置 |
-
2020
- 2020-06-09 CN CN202010518935.4A patent/CN111858927B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106528398A (zh) * | 2015-09-15 | 2017-03-22 | 网易(杭州)网络有限公司 | 游戏软件性能的可视分析方法 |
CN105954040A (zh) * | 2016-04-22 | 2016-09-21 | 百度在线网络技术(北京)有限公司 | 应用于无人驾驶汽车的测试方法和装置 |
US20180354512A1 (en) * | 2017-06-09 | 2018-12-13 | Baidu Online Network Technology (Beijing) Co., Ltd. | Driverless Vehicle Testing Method and Apparatus, Device and Storage Medium |
US20190378035A1 (en) * | 2018-06-11 | 2019-12-12 | Baidu Online Network Technology (Beijing) Co., Ltd. | Method, apparatus, device and medium for classifying driving scenario data |
US20200089820A1 (en) * | 2018-09-14 | 2020-03-19 | Sino IC Technology Co.,Ltd. | Ic test information management system based on industrial internet |
CN110059146A (zh) * | 2019-04-16 | 2019-07-26 | 珠海金山网络游戏科技有限公司 | 一种数据采集方法、服务器、计算设备及存储介质 |
CN110300370A (zh) * | 2019-07-02 | 2019-10-01 | 广州纳斯威尔信息技术有限公司 | 一种重建wifi指纹地图室内定位方法 |
CN111122175A (zh) * | 2020-01-02 | 2020-05-08 | 北京百度网讯科技有限公司 | 测试自动驾驶***的方法以及装置 |
Non-Patent Citations (1)
Title |
---|
张静;董楠;: "基于运动行为统计图的异常行驶车辆检测", 机电产品开发与创新, no. 03 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115509909A (zh) * | 2022-09-26 | 2022-12-23 | 北京百度网讯科技有限公司 | 测试方法、装置、电子设备和存储介质 |
CN115509909B (zh) * | 2022-09-26 | 2023-11-07 | 北京百度网讯科技有限公司 | 测试方法、装置、电子设备和存储介质 |
CN115981179A (zh) * | 2022-12-30 | 2023-04-18 | 西安深信科创信息技术有限公司 | 一种自动驾驶仿真测试场景测试指标生成方法及装置 |
CN115981179B (zh) * | 2022-12-30 | 2023-11-21 | 安徽深信科创信息技术有限公司 | 一种自动驾驶仿真测试场景测试指标生成方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111858927B (zh) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111753914B (zh) | 模型优化方法和装置、电子设备及存储介质 | |
CN108090208A (zh) | 融合数据处理方法及装置 | |
CN111143686B (zh) | 资源推荐方法及装置 | |
CN110704509A (zh) | 数据分类方法、装置、设备及存储介质 | |
CN112035549B (zh) | 数据挖掘方法、装置、计算机设备及存储介质 | |
CN110675644A (zh) | 道路红绿灯的识别方法、装置、电子设备及存储介质 | |
CN111506803B (zh) | 内容推荐方法、装置、电子设备及存储介质 | |
CN111858927A (zh) | 数据测试方法、装置、电子设备及存储介质 | |
CN111539347A (zh) | 用于检测目标的方法和装置 | |
CN105260171A (zh) | 一种虚拟道具的生成方法及装置 | |
CN111444438B (zh) | 召回策略的准召率的确定方法、装置、设备及存储介质 | |
CN111652153A (zh) | 场景自动识别方法、装置、无人车及存储介质 | |
US11443621B2 (en) | Method and apparatus for adjusting channelization of traffic intersection | |
CN112380131A (zh) | 模块测试方法、装置及电子设备 | |
CN113408561A (zh) | 模型生成方法、目标检测方法、装置、设备及存储介质 | |
CN111291082B (zh) | 数据聚合处理方法、装置、设备及存储介质 | |
CN110706147A (zh) | 图像处理的环境确定方法、装置、电子设备和存储介质 | |
CN110852780A (zh) | 数据分析方法、装置、设备和计算机存储介质 | |
CN114064834A (zh) | 目标地点确定方法及装置、存储介质和电子设备 | |
CN110995687B (zh) | 一种猫池设备识别方法、装置、设备及存储介质 | |
CN111597700B (zh) | 信控算法评估方法、装置、电子设备及可读存储介质 | |
CN113990068B (zh) | 交通数据的处理方法、装置、设备以及存储介质 | |
CN108345620B (zh) | 品牌信息处理方法、装置、存储介质及电子设备 | |
CN113515560A (zh) | 车辆故障的分析方法、装置、电子设备及存储介质 | |
CN114218504A (zh) | 阻断路段识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211018 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, *** building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |