CN112269827B - 数据处理方法、装置、计算机设备及计算机可读存储介质 - Google Patents
数据处理方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112269827B CN112269827B CN202011285120.2A CN202011285120A CN112269827B CN 112269827 B CN112269827 B CN 112269827B CN 202011285120 A CN202011285120 A CN 202011285120A CN 112269827 B CN112269827 B CN 112269827B
- Authority
- CN
- China
- Prior art keywords
- data
- driving
- scene
- processor
- travel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了一种数据处理方法、装置、计算机设备及计算机可读存储介质,属于数据处理技术领域。本申请通过在获取到行驶数据后,通过数据挖掘算法,从获取到的行驶数据中识别出特征具有关联性的至少一组行驶数据,从而得到各组行驶数据对应的标签,标签能够指示行驶数据的特征,进而通过在获取到限定特定行驶场景的场景条件参数后,将场景条件参数对应的标签所标记的行驶数据,和场景条件参数所限定的特定行驶场景关联起来,以便后续直接基于场景条件参数即可获取到仅对应于某一特定驾驶场景的行驶数据,提高数据处理效率。
Description
技术领域
本申请涉及数据处理技术领域,特别涉及一种数据处理方法、装置、计算机设备及计算机可读存储介质。
背景技术
自动驾驶车辆依靠人工智能、视觉计算、雷达、监控装置和全球定位***的协同合作,让车辆在没有人操作的情况下,自动安全地行驶在道路上。通过各个自动驾驶车辆在行驶过程中采集数据,进而基于采集到的数据对自动驾驶车辆进行训练,从而提高自动驾驶车辆的识别准确性和决策准确性,提高自动驾驶的安全性。
目前在对自动驾驶车辆行驶过程中采集到的数据进行处理时,主要是对获取到的数据进行数据清洗,进而对清洗后得到的数据进行存储,作为后续对自动驾驶车辆的行驶过程进行分析,或者,对自动驾驶车辆进行训练时所使用的训练数据。
在上述实现过程中,数据清洗虽然能够清洗掉一些不合法的数据,降低一定的数据量,但经过数据清洗得到的数据量仍然是非常庞大的,从这些清洗后的数据中获取到某种特定驾驶场景下的数据是非常困难的,从而导致数据处理效率较低。
发明内容
本申请实施例提供了一种数据处理方法、装置、计算机设备及计算机可读存储介质,可以提高数据处理效率。该技术方案如下:
一方面,提供了一种数据处理方法,该方法包括:
获取自动驾驶车辆的多个行驶数据,该行驶数据包括至少一个与行驶场景相关的特征;
通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据;
确定该至少一组行驶数据中的每一组行驶数据的标签,该标签用于指示该每一组行驶数据中的该特征;
获取用于限定特定行驶场景的场景条件参数,识别出与该场景条件参数相对应的该标签,并将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据包括:
通过该数据挖掘算法,从该行驶数据中识别出具有相同特征的该至少一组行驶数据。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据包括:
将该行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,该数据挖掘脚本对应于该特征;
该至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对该行驶数据进行处理,得到其特征具有关联性的一组行驶数据,该任一处理器处理得到的一组行驶数据具有该任一处理器对应的数据挖掘脚本对应的特征。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据之前,该方法还包括:
根据该行驶数据的数据类型,对该行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行该数据挖掘算法。
在一种可能的实现方式中,该获取自动驾驶车辆的多个行驶数据包括下述至少一项:
在该自动驾驶车辆的行驶过程中,在线获取该行驶数据;
在该自动驾驶车辆完成行驶后,离线下载行驶过程中所获取的该行驶数据。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据的步骤之前,该方法还包括:
对该行驶数据进行数据清洗处理,该数据清洗处理用于删除该行驶数据中错误的或不合法的行驶数据。
在一种可能的实现方式中,该将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联之后,该方法还包括:
将该行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集。
在一种可能的实现方式中,该获取用于限定特定行驶场景的场景条件参数包括:
接收由用户输入的限定特定行驶场景的该场景条件参数。
一方面,提供了一种数据处理装置,该装置包括:
获取模块,用于获取自动驾驶车辆的多个行驶数据,该行驶数据包括至少一个与行驶场景相关的特征;
识别模块,用于通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据;
确定模块,用于确定该至少一组行驶数据中的每一组行驶数据的标签,该标签用于指示该每一组行驶数据中的该特征;
关联模块,用于获取用于限定特定行驶场景的场景条件参数,识别出与该场景条件参数相对应的该标签,并将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联。
在一种可能的实现方式中,该识别模块,用于通过该数据挖掘算法,从该行驶数据中识别出具有相同特征的该至少一组行驶数据。
在一种可能的实现方式中,该识别模块,用于将该行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,该数据挖掘脚本对应于该特征;该至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对该行驶数据进行处理,得到其特征具有关联性的一组行驶数据,该任一处理器处理得到的一组行驶数据具有该任一处理器对应的数据挖掘脚本对应的特征。
在一种可能的实现方式中,该装置还包括:
分类模块,用于根据该行驶数据的数据类型,对该行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行该数据挖掘算法。
在一种可能的实现方式中,该获取模块,用于下述至少一项:
在该自动驾驶车辆的行驶过程中,在线获取该行驶数据;
在该自动驾驶车辆完成行驶后,离线下载行驶过程中所获取的该行驶数据。
在一种可能的实现方式中,该装置还包括:
数据清洗模块,用于对该行驶数据进行数据清洗处理,该数据清洗处理用于删除该行驶数据中错误的或不合法的行驶数据。
在一种可能的实现方式中,该装置还包括:
存储模块,用于将该行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集。
在一种可能的实现方式中,该关联模块,用于接收由用户输入的限定特定行驶场景的该场景条件参数。
一方面,提供了一种计算机设备,该计算机设备包括一个或多个处理器和一个或多个存储器,该一个或多个存储器中存储有至少一条程序代码,该程序代码由该一个或多个处理器加载并执行以实现该数据处理方法所执行的操作。
一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该程序代码由处理器加载并执行以实现该数据处理方法所执行的操作。
一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,以实现该数据处理方法所执行的操作。
本申请提供的方案,通过在获取到行驶数据后,通过数据挖掘算法,从获取到的行驶数据中识别出特征具有关联性的至少一组行驶数据,从而得到各组行驶数据对应的标签,标签能够指示行驶数据的特征,进而通过在获取到限定特定行驶场景的场景条件参数后,将场景条件参数对应的标签所标记的行驶数据,和场景条件参数所限定的特定行驶场景关联起来,以便后续直接基于场景条件参数即可获取到仅对应于某一特定驾驶场景的行驶数据,提高数据处理效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的实施环境示意图;
图2是本申请实施例提供的一种数据处理方法的流程图;
图3是本申请实施例提供的一种数据处理方法的流程图;
图4是本申请实施例提供的一种数据处理过程的示意图;
图5是本申请实施例提供的一种数据处理装置的结构示意图;
图6是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的一种数据处理方法的实施环境示意图,参见图1,该实施环境包括外部存储设备101和计算机设备102,或者,该实施环境包括计算机设备102和车载终端103,下面分别对这两种实施环境进行介绍:
对于第一种实施环境,外部存储设备101为移动硬盘、硬盘、软盘、光盘等中的至少一种。外部存储设备通过有线通信方式与计算机设备102进行通信,进而将外部存储设备101中存储的多个行驶数据上传至计算机设备102。计算机设备102为台式计算机、计算机集群、一台服务器、多台服务器、云服务器、云计算平台和虚拟化中心中的至少一种。计算机设备102通过有线通信方式与外部存储设备101进行通信。计算机设备102接收外部存储设备101发送的多个行驶数据,进而对该多个行驶数据进行处理后存储。可选地,上述计算机设备的数量更多或更少,本申请实施例对此不加以限定。当然,计算机设备102还能够包括其他功能性设备,以便提供更全面且多样化的服务。
对于第二种实施环境,车载终端103通过无线通信方式与计算机设备102进行通信,进而将车载终端103中存储的多个行驶数据上传至计算机设备102。计算机设备102为台式计算机、计算机集群、一台服务器、多台服务器、云服务器、云计算平台和虚拟化中心中的至少一种。计算机设备102通过无线通信方式与车载终端103进行通信。计算机设备102接收车载终端103发送的多个行驶数据,进而对该多个行驶数据进行处理后存储。可选地,上述计算机设备的数量更多或更少,本申请实施例对此不加以限定。当然,计算机设备102还能够包括其他功能性设备,以便提供更全面且多样化的服务。
图2是本申请实施例提供的一种数据处理方法的流程图,参见图2,该方法包括:
201、计算机设备获取自动驾驶车辆的多个行驶数据,该行驶数据包括至少一个与行驶场景相关的特征。
202、计算机设备通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据。
203、计算机设备确定该至少一组行驶数据中的每一组行驶数据的标签,该标签用于指示该每一组行驶数据中的该特征。
204、计算机设备获取用于限定特定行驶场景的场景条件参数,识别出与该场景条件参数相对应的该标签,并将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联。
本申请实施例提供的方案,通过在获取到行驶数据后,通过数据挖掘算法,从获取到的行驶数据中识别出特征具有关联性的至少一组行驶数据,从而得到各组行驶数据对应的标签,标签能够指示行驶数据的特征,进而通过在获取到限定特定行驶场景的场景条件参数后,将场景条件参数对应的标签所标记的行驶数据,和场景条件参数所限定的特定行驶场景关联起来,以便后续直接基于场景条件参数即可获取到仅对应于某一特定驾驶场景的行驶数据,提高数据处理效率。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据包括:
通过该数据挖掘算法,从该行驶数据中识别出具有相同特征的该至少一组行驶数据。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据包括:
将该行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,该数据挖掘脚本对应于该特征;
该至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对该行驶数据进行处理,得到其特征具有关联性的一组行驶数据,该任一处理器处理得到的一组行驶数据具有该任一处理器对应的数据挖掘脚本对应的特征。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据之前,该方法还包括:
根据该行驶数据的数据类型,对该行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行该数据挖掘算法。
在一种可能的实现方式中,该获取自动驾驶车辆的多个行驶数据包括下述至少一项:
在该自动驾驶车辆的行驶过程中,在线获取该行驶数据;
在该自动驾驶车辆完成行驶后,离线下载行驶过程中所获取的该行驶数据。
在一种可能的实现方式中,该通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据的步骤之前,该方法还包括:
对该行驶数据进行数据清洗处理,该数据清洗处理用于删除该行驶数据中错误的或不合法的行驶数据。
在一种可能的实现方式中,该将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联之后,该方法还包括:
将该行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集。
在一种可能的实现方式中,该获取用于限定特定行驶场景的场景条件参数包括:
接收由用户输入的限定特定行驶场景的该场景条件参数。
图3是本申请实施例提供的一种数据处理方法的流程图,参见图3,该方法包括:
301、计算机设备获取自动驾驶车辆的多个行驶数据,该行驶数据包括至少一个与行驶场景相关的特征。
在一种可能的实现方式中,在该自动驾驶车辆的行驶过程中,计算机设备在线获取该行驶数据。
其中,该在线获取过程也即是在自动驾驶过程中实时获取自动驾驶车辆所采集到的数据的过程。例如,在自动驾驶车辆的行驶过程中,自动驾驶车辆的车载终端在行驶过程中实时采集外界环境和车辆自身的数据,作为该行驶数据,在采集到一个行驶数据后,即将采集到的行驶数据发送给计算机设备,以便计算机设备获取到当前采集到的行驶数据,以此类推,使得计算机设备获取到自动驾驶车辆的行驶过程中的多个行驶数据。
在另一种可能的实现方式中,在该自动驾驶车辆完成行驶后,计算机设备离线下载行驶过程中所获取的该行驶数据。
其中,该离线下载过程也即是在自动驾驶车辆的行驶过程中实时采集行驶数据,并对采集到的行驶数据进行存储,进而在自动驾驶车辆完成行驶后,将已存储的行驶数据一次性传输给计算机设备,以便计算机设备一次性获取到在自动驾驶车辆的行驶过程中采集到的多个行驶数据。例如,在自动驾驶车辆完成行驶后,相关技术人员将自动驾驶车辆中用于存储多个行驶数据的移动硬盘***计算机设备,计算机设备在与移动硬盘相连后,自动获取移动硬盘中存储的行驶数据。
需要说明的是,该特征与行驶场景相关,能够用于指示行驶数据对应的行驶场景。例如,该特征包括红绿灯、高速路、分岔路口、隧道、坡道、下雨、车辆并线、跟车等,可选地,该特征包括其他内容,本申请实施例对此不加以限定。
在更多可能的实现方式中,计算机设备在获取到多个行驶数据后,对该行驶数据进行数据清洗处理,该数据清洗处理用于删除该行驶数据中错误的或不合法的行驶数据。该数据清洗处理包括检查数据一致性,处理无效值和缺失值等,可选地,该数据清洗处理包括其他类型的处理操作,本申请实施例对此不加以限定。
通过对获取到的行驶数据进行数据清洗处理,能够有效去除行驶数据中的错误数据和无效数据,提高数据质量,使得数据清洗处理后的数据更适合进行数据挖掘。此外,由于已经从行驶数据中去除了这些错误数据和无效数据等,因而在进行数据挖掘时也无需对这些数据进行挖掘,减少计算机设备的处理压力,提高数据挖掘的速度和效率。
需要说明的是,计算机设备在对多个行驶数据进行数据清洗处理后,将经过数据清洗处理的行驶数据存储至大数据***,进而通过大数据***执行下述步骤302至步骤305,来对行驶数据进行处理。
302、计算机设备将该行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,该数据挖掘脚本对应于该特征。
需要说明的是,在本申请实施例中,数据挖掘是指从大量的数据中通过算法搜索隐藏于其中的信息的过程。数据挖掘算法包括但不限于统计、在线分析处理、情报检索、机器学习、专家***和模式识别等方法,该数据挖掘算法通过数据挖掘脚本实现。该计算机设备包括至少一个处理器,一个处理器对应于一种数据挖掘脚本,一种数据挖掘脚本对应于一个与行驶场景相关的特征,不同的处理器通过不同的数据挖掘脚本,来识别不同特征,进而确定不同行驶场景对应的行驶数据。此外,由于一个数据挖掘脚本对应于一个特征,而每个特征都对应有相应的行驶场景,但同一个行驶场景可能对应于多个特征,因而基于不同特征确定出的行驶场景可能是相同的,也即是,基于不同数据挖掘脚本识别出的行驶数据可能是相同的。该数据挖掘脚本包括多种类型,如用于确定并线场景的行驶数据的并线场景挖掘脚本、用于确定跟车场景的行驶数据的跟车场景挖掘脚本、用于确定上坡场景的行驶数据的上坡场景挖掘脚本等,可选地,该数据挖掘脚本包括其他类型,本申请实施例对此不加以限定。
需要说明的是,上述仅为几种示例性的数据挖掘脚本,在更多可能的实现方式中,根据对数据的需求设计不同的数据挖掘脚本,来获取相应的数据,以便后续基于获取到的数据进行分析或对自动驾驶车辆进行训练等。
可选地,在将行驶数据输入至少一个处理器之前,计算机设备根据该行驶数据的数据类型,对该行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行数据挖掘算法,也即是数据挖掘脚本。通过对行驶数据进行前置分类,相当于对行驶数据进行了初步筛选,在后续处理过程中,处理器只需对相应类型的行驶数据进行处理,减少了处理器需要处理的数据量,降低了处理器的处理压力,从而提高处理器的处理效率。
例如,对于自动驾驶车辆在行驶过程中采集到的车速、加速度、油量、油耗及定位信息等瞬时数据,以及里程、轨迹、行驶时长、停车时长等非瞬时性数据,计算机设备能够根据其对应的数据类型,将瞬时数据和非瞬时性数据区分开来,进而通过不同的处理器来对这两种类型的行驶数据进行处理。
需要说明的是,上述仅为一种对行驶数据信息前置分类的示例性方法,在更多可能的实现方式中,采用其他方式来对行驶数据进行前置分类,本申请实施例对此不加以限定。
303、计算机设备的至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对该行驶数据进行处理,得到其特征具有关联性的一组行驶数据,该任一处理器处理得到的一组行驶数据具有该任一处理器对应的数据挖掘脚本对应的特征。
在一种可能的实现方式中,计算机设备的至少一个处理器中任一处理器通过与其对应的数据挖掘脚本,对该行驶数据进行处理,得到其特征与该任一处理器对应的数据挖掘脚本对应的特征相同的一组行驶数据。
需要说明的是,计算机设备能够将该行驶数据同时输入多个处理器,由则这多个处理器通过各自对应的数据挖掘脚本,并行对该行驶数据进行处理,得到多组行驶数据,对于每组行驶数据而言,这组行驶数据中的所有行驶数据都具有与对其进行处理的处理器对应的数据挖掘脚本的特征,也即是,每组行驶数据内的数据对应的特征都是相关或相同的,因而这多组行驶数据具有不同的特征。
例如,计算机设备将行驶数据输入用于执行并线场景挖掘脚本的处理器,通过用于执行并线场景挖掘脚本的处理器来对行驶数据进行处理,即可得到具有并线特征的一组行驶数据,也即是,在这组行驶数据中,自动驾驶车辆有并线操作或者别的车辆并入自动驾驶车辆正在行驶的车道;将行驶数据输入用于执行跟车场景挖掘脚本的处理器,通过用于执行跟车场景挖掘脚本的处理器来对行驶数据进行处理,即可得到具有跟车特征的一组行驶数据,也即是,在这组行驶数据中,自动驾驶车辆有跟车操作;将行驶数据输入用于执行上坡场景挖掘脚本的处理器,通过用于执行上坡场景挖掘脚本的处理器来对行驶数据进行处理,即可得到具有上坡特征的一组行驶数据,也即是,在这组行驶数据中,自动驾驶车辆在某一段路中坡度超过一个阀值,以此类推,即可得到不同特征分别对应的行驶数据。
304、计算机设备确定该至少一组行驶数据中的每一组行驶数据的标签,该标签用于指示该每一组行驶数据中的该特征。
需要说明的是,标签也即是用来描述信息的数据,是从行驶数据中抽取出来的、用于说明其特征的数据。
在一种可能的实现方式中,计算机设备在确定出不同特征对应的行驶数据后,基于各组行驶数据对应的特征,确定各组行驶数据对应的标签,进而得到每一组行驶数据的标签。
305、计算机设备获取用于限定特定行驶场景的场景条件参数,识别出与该场景条件参数相对应的该标签,并将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联。
在一种可能的实现方式中,用户将用于限定特定行驶场景的场景条件参数输入计算机设备,计算机设备获取到该场景条件参数,进而识别与该场景条件参数对应的标签,将该场景条件参数对应的标签所标记的至少一组行驶数据与特定行驶场景进行关联存储,实现行驶数据与特定行驶场景的关联。
例如,用户希望提取“晚上慢速上坡”的行驶场景对应的行驶数据,则用户将“夜晚”、“慢速”、“上坡”的场景条件参数输入计算机设备,以便计算机设备获取到这些场景条件参数,进而对这些场景条件参数对应的标签进行识别,识别出“夜晚”对应的标签为“环境亮度低于××”,“慢速”对应的标签为“速度低于××”,“上坡”对应的标签为“坡度高于××”,进而对这些标签对应的行驶数据与“晚上慢速上坡”的特定行驶场景进行关联存储。
可选地,计算机设备在将行驶数据与特定行驶场景关联后,将该行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集,以便后续在查找某一特定行驶场景的数据时,直接根据标签确定出该标签对应的数据集,进而获取到该标签对应的所有数据,无需逐个数据进行查找,提高数据处理效率。
参见图4,图4是本申请实施例提供的一种数据处理过程的示意图,该图展示处理上述步骤301至步骤305的数据处理过程。计算机设备获取自动驾驶车辆在行驶过程中采集到的行驶数据,也即是实现行驶数据的收集,进而对手机到的数据进行数据清洗处理,通过不同的处理器(Processor1、Processor2、Processor3、...、ProcessorN)来对经过数据清洗处理后的数据进行数据挖掘,从而实现行驶数据与特定驾驶场景的关联。
需要说明的是,本申请实施例提供的方案,能够用于对商用车在自动驾驶过程中采集到的行驶数据进行处理,还能够用于对乘用车在自动驾驶过程中采集到的行驶数据进行处理,可选地,本申请实施例提供的方案还能够用于其他场景,本申请实施例对此不加以限定。
本申请实施例提供的方案,通过在获取到行驶数据后,通过数据挖掘算法,从获取到的行驶数据中识别出特征具有关联性的至少一组行驶数据,从而得到各组行驶数据对应的标签,标签能够指示行驶数据的特征,进而通过在获取到限定特定行驶场景的场景条件参数后,将场景条件参数对应的标签所标记的行驶数据,和场景条件参数所限定的特定行驶场景关联起来,以便后续直接基于场景条件参数即可获取到仅对应于某一特定驾驶场景的行驶数据,提高数据处理效率。本申请实施例提供的方案,根据自动驾驶过程中搜集到的大量的行驶数据,在数据经过数据清洗进入大数据***之后,通过多种数据挖掘脚本对数据进行多种类型的离线挖掘,基于对自动驾驶的大量数据的离线挖掘,为多个行驶数据打上对应的标签,能够对自动驾驶数据进行深度分析,能够准确定位数据中的问题和场景,并对挖掘出的数据进行分类处理,以便后续直接获取某一类的行驶数据,提高数据获取效率。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图5是本申请实施例提供的一种数据处理装置的结构示意图,参见图5,该装置包括:
获取模块501,用于获取自动驾驶车辆的多个行驶数据,该行驶数据包括至少一个与行驶场景相关的特征;
识别模块502,用于通过数据挖掘算法,从该行驶数据中识别出其特征具有关联性的至少一组行驶数据;
确定模块503,用于确定该至少一组行驶数据中的每一组行驶数据的标签,该标签用于指示该每一组行驶数据中的该特征;
关联模块504,用于获取用于限定特定行驶场景的场景条件参数,识别出与该场景条件参数相对应的该标签,并将该标签所标记的该至少一组行驶数据与该特定行驶场景相关联。
本申请实施例提供的装置,通过在获取到行驶数据后,通过数据挖掘算法,从获取到的行驶数据中识别出特征具有关联性的至少一组行驶数据,从而得到各组行驶数据对应的标签,标签能够指示行驶数据的特征,进而通过在获取到限定特定行驶场景的场景条件参数后,将场景条件参数对应的标签所标记的行驶数据,和场景条件参数所限定的特定行驶场景关联起来,以便后续直接基于场景条件参数即可获取到仅对应于某一特定驾驶场景的行驶数据,提高数据处理效率。
在一种可能的实现方式中,该识别模块502,用于通过该数据挖掘算法,从该行驶数据中识别出具有相同特征的该至少一组行驶数据。
在一种可能的实现方式中,该识别模块502,用于将该行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,该数据挖掘脚本对应于该特征;该至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对该行驶数据进行处理,得到其特征具有关联性的一组行驶数据,该任一处理器处理得到的一组行驶数据具有该任一处理器对应的数据挖掘脚本对应的特征。
在一种可能的实现方式中,该装置还包括:
分类模块,用于根据该行驶数据的数据类型,对该行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行该数据挖掘算法。
在一种可能的实现方式中,该获取模块501,用于下述至少一项:
在该自动驾驶车辆的行驶过程中,在线获取该行驶数据;
在该自动驾驶车辆完成行驶后,离线下载行驶过程中所获取的该行驶数据。
在一种可能的实现方式中,该装置还包括:
数据清洗模块,用于对该行驶数据进行数据清洗处理,该数据清洗处理用于删除该行驶数据中错误的或不合法的行驶数据。
在一种可能的实现方式中,该装置还包括:
存储模块,用于将该行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集。
在一种可能的实现方式中,该关联模块,用于接收由用户输入的限定特定行驶场景的该场景条件参数。
需要说明的是:上述实施例提供的数据处理装置在进行数据处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的数据处理装置与数据处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图6是本申请实施例提供的一种服务器的结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)601和一个或多个的存储器602,其中,该一个或多个存储器602中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器601加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器600还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器600还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由处理器执行以完成上述实施例中的数据处理方法。例如,该计算机可读存储介质可以是只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该服务器执行上述实施例中提供的数据处理方法的方法步骤。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (16)
1.一种数据处理方法,其特征在于,所述方法包括:
获取自动驾驶车辆的多个行驶数据,所述行驶数据包括至少一个与行驶场景相关的特征;
将所述行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,所述数据挖掘脚本对应于所述特征;
所述至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对所述行驶数据进行处理,得到其特征具有关联性的一组行驶数据,所述任一处理器处理得到的一组行驶数据具有所述任一处理器对应的数据挖掘脚本对应的特征;
确定所述至少一组行驶数据中的每一组行驶数据的标签,所述标签用于指示所述每一组行驶数据中的所述特征;
获取用于限定特定行驶场景的场景条件参数,识别出与所述场景条件参数相对应的所述标签,并将所述标签所标记的所述至少一组行驶数据与所述特定行驶场景相关联。
2.根据权利要求1所述的方法,其特征在于,所述通过数据挖掘算法,从所述行驶数据中识别出其特征具有关联性的至少一组行驶数据包括:
通过所述数据挖掘算法,从所述行驶数据中识别出具有相同特征的所述至少一组行驶数据。
3.根据权利要求1所述的方法,其特征在于,所述通过数据挖掘算法,从所述行驶数据中识别出其特征具有关联性的至少一组行驶数据之前,所述方法还包括:
根据所述行驶数据的数据类型,对所述行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行所述数据挖掘算法。
4.根据权利要求1所述的方法,其特征在于,所述获取自动驾驶车辆的多个行驶数据包括下述至少一项:
在所述自动驾驶车辆的行驶过程中,在线获取所述行驶数据;
在所述自动驾驶车辆完成行驶后,离线下载行驶过程中所获取的所述行驶数据。
5.根据权利要求1所述的方法,其特征在于,所述通过数据挖掘算法,从所述行驶数据中识别出其特征具有关联性的至少一组行驶数据的步骤之前,所述方法还包括:
对所述行驶数据进行数据清洗处理,所述数据清洗处理用于删除所述行驶数据中错误的或不合法的行驶数据。
6.根据权利要求1所述的方法,其特征在于,所述将所述标签所标记的所述至少一组行驶数据与所述特定行驶场景相关联之后,所述方法还包括:
将所述行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集。
7.根据权利要求1所述的方法,其特征在于,所述获取用于限定特定行驶场景的场景条件参数包括:
接收由用户输入的限定特定行驶场景的所述场景条件参数。
8.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取自动驾驶车辆的多个行驶数据,所述行驶数据包括至少一个与行驶场景相关的特征;
识别模块,用于将所述行驶数据输入用于执行数据挖掘脚本的至少一个处理器中,其中,所述数据挖掘脚本对应于所述特征;所述至少一个处理器中的任一处理器通过与其对应的数据挖掘脚本,对所述行驶数据进行处理,得到其特征具有关联性的一组行驶数据,所述任一处理器处理得到的一组行驶数据具有所述任一处理器对应的数据挖掘脚本对应的特征;
确定模块,用于确定所述至少一组行驶数据中的每一组行驶数据的标签,所述标签用于指示所述每一组行驶数据中的所述特征;
关联模块,用于获取用于限定特定行驶场景的场景条件参数,识别出与所述场景条件参数相对应的所述标签,并将所述标签所标记的所述至少一组行驶数据与所述特定行驶场景相关联。
9.根据权利要求8所述的装置,其特征在于,所述识别模块,用于通过所述数据挖掘算法,从所述行驶数据中识别出具有相同特征的所述至少一组行驶数据。
10.根据权利要求8所述的装置,其特征在于,所述装置还包括:
分类模块,用于根据所述行驶数据的数据类型,对所述行驶数据进行前置分类,并将同一数据类型的行驶数据输入同一处理器执行所述数据挖掘算法。
11.根据权利要求8所述的装置,其特征在于,所述获取模块,用于下述至少一项:
在所述自动驾驶车辆的行驶过程中,在线获取所述行驶数据;
在所述自动驾驶车辆完成行驶后,离线下载行驶过程中所获取的所述行驶数据。
12.根据权利要求8所述的装置,其特征在于,所述装置还包括:
数据清洗模块,用于对所述行驶数据进行数据清洗处理,所述数据清洗处理用于删除所述行驶数据中错误的或不合法的行驶数据。
13.根据权利要求8所述的装置,其特征在于,所述装置还包括:
存储模块,用于将所述行驶数据中对应于同一特定行驶场景的行驶数据,存储为一个数据集。
14.根据权利要求8所述的装置,其特征在于,所述关联模块,用于接收由用户输入的限定特定行驶场景的所述场景条件参数。
15.一种计算机设备,其特征在于,所述计算机设备包括一个或多个处理器和一个或多个存储器,所述一个或多个存储器中存储有至少一条程序代码,所述程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求7任一项所述的数据处理方法所执行的操作。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述程序代码由处理器加载并执行以实现如权利要求1至权利要求7任一项所述的数据处理方法所执行的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011285120.2A CN112269827B (zh) | 2020-11-17 | 2020-11-17 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011285120.2A CN112269827B (zh) | 2020-11-17 | 2020-11-17 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112269827A CN112269827A (zh) | 2021-01-26 |
CN112269827B true CN112269827B (zh) | 2022-09-20 |
Family
ID=74340031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011285120.2A Active CN112269827B (zh) | 2020-11-17 | 2020-11-17 | 数据处理方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112269827B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112905849A (zh) * | 2021-02-18 | 2021-06-04 | 中国第一汽车股份有限公司 | 一种车辆数据处理的方法及装置 |
CN117149860A (zh) * | 2023-10-31 | 2023-12-01 | 安徽中科星驰自动驾驶技术有限公司 | 一种自动驾驶车辆的行驶数据挖掘方法及*** |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111367968A (zh) * | 2020-03-16 | 2020-07-03 | 斑马网络技术有限公司 | 驾驶数据处理方法、装置、设备及存储介质 |
CN111923919A (zh) * | 2019-05-13 | 2020-11-13 | 广州汽车集团股份有限公司 | 车辆控制方法、装置、计算机设备和存储介质 |
-
2020
- 2020-11-17 CN CN202011285120.2A patent/CN112269827B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111923919A (zh) * | 2019-05-13 | 2020-11-13 | 广州汽车集团股份有限公司 | 车辆控制方法、装置、计算机设备和存储介质 |
CN111367968A (zh) * | 2020-03-16 | 2020-07-03 | 斑马网络技术有限公司 | 驾驶数据处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112269827A (zh) | 2021-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112269827B (zh) | 数据处理方法、装置、计算机设备及计算机可读存储介质 | |
CN111121797B (zh) | 道路筛选方法、装置、服务器及存储介质 | |
CN111507226A (zh) | 道路图像识别模型建模方法、图像识别方法及电子设备 | |
CN110717918A (zh) | 行人检测方法和装置 | |
CN114418021B (zh) | 模型优化方法、装置及计算机程序产品 | |
CN112598192A (zh) | 一种车辆进入物流园区的预测方法、装置、存储介质及终端 | |
CN113780435A (zh) | 车辆损伤检测方法、装置、设备及存储介质 | |
CN115830399A (zh) | 分类模型训练方法、装置、设备、存储介质和程序产品 | |
CN114238740A (zh) | 一种确定代理主体代理品牌的方法及装置 | |
CN113609956B (zh) | 训练方法、识别方法、装置、电子设备以及存储介质 | |
CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
CN114973152A (zh) | 基于神经网络的小分子可循环压裂液储存罐的监控方法、装置、介质 | |
CN113344121A (zh) | 训练招牌分类模型和招牌分类的方法 | |
CN114639076A (zh) | 目标对象检测方法、装置、存储介质以及电子装置 | |
US20240233369A9 (en) | Utilizing machine learning models to classify vehicle trajectories and collect road use data in real-time | |
CN116958176B (zh) | 图像分割方法、装置、计算机设备及介质 | |
CN117194698B (zh) | 一种基于oar语义知识库的任务处理***和方法 | |
CN117218515B (zh) | 一种目标检测方法、装置、计算设备和存储介质 | |
CN116958856A (zh) | 路段图像的提供方法、装置、终端及存储介质 | |
CN117708379A (zh) | 视频检索方法、装置、***、电子设备及存储介质 | |
CN116959026A (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 | |
CN115481036A (zh) | 一种驾驶模型的测试方法、装置、设备及介质 | |
CN117332302A (zh) | 一种驾驶场景的分类方法、装置、电子设备及存储介质 | |
CN115730097A (zh) | 基于人员重识别的人脸归档方法、装置、设备及介质 | |
CN117830696A (zh) | 分类模型的训练方法、分类方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |