CN110765075A - 自动驾驶数据的存储方法和设备 - Google Patents
自动驾驶数据的存储方法和设备 Download PDFInfo
- Publication number
- CN110765075A CN110765075A CN201911015987.3A CN201911015987A CN110765075A CN 110765075 A CN110765075 A CN 110765075A CN 201911015987 A CN201911015987 A CN 201911015987A CN 110765075 A CN110765075 A CN 110765075A
- Authority
- CN
- China
- Prior art keywords
- file
- file storage
- storage system
- stored
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种自动驾驶数据的存储方法和设备，涉及自动驾驶领域。具体实现方案为：接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息；根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***；向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。和现有技术中将所有文件存储一个文件存储***的方法相比，上述方案可将不同的文件存储在适合的文件存储***中，提高了文件存储***的稳定性以及性能。而且，终端将待存储文件直接上传至目标文件存储***，无需服务端的中转，提高了存储效率。
Description
技术领域
本发明涉及数据存储技术，尤其涉及一种自动驾驶数据的存储方法和设备。
背景技术
数据是自动驾驶技术的核心驱动力，自动驾驶领域的数据量非常庞大，有大量客户端产生的数据，大量传感数据以及大量模块运行日志数据等。如何对这些数据进行统一管理和高效存储是自动驾驶领域的重要研究课题。
现有的存储平台在设计时仅布局一个通用的文件存储***，所有的文件都存储在该文件存储***中。然而，并不是所有的文件都适合存储于当前的文件存储***，比如：小文件就不适合存储于分布式文件***HDFS，会占用HDFS的命名空间。如果将所有的文件都存储于一个文件存储***无疑会影响文件存储***的稳定性以及性能。
发明内容
本发明提供一种自动驾驶数据的存储方法和设备，用以提高文件存储***的稳定性和性能。
第一方面，本发明提供一种自动驾驶数据的存储方法，包括：
接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息；
根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***；
向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
上述方案可将不同的文件存储在适合的文件存储***中，提高了文件存储***的稳定性以及性能。而且，终端将待存储文件直接上传至目标文件存储***，无需服务端的中转，提高了存储效率。
可选的，所述根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***之前，还包括：
判断所述配置信息中是否携带文件存储***的指定信息，所述指定信息用于指示存储所述待存储文件的文件存储***的类型；
所述根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***，包括：
根据判断结果，从至少两个文件存储***中确定所述目标文件存储***。
可选的，所述根据判断结果，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***，包括：
若所述配置信息中携带所述指定信息，则根据所述指定信息，确定所述目标文件存储***。
根据指定信息确定目标文件存储***可将待存储文件存储至指定的文件***中，使得文件存储***和所存储的文件的属性更加匹配，提高了文件存储***性能。
可选的，所述根据判断结果，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***，包括：
若所述配置信息中未携带所述指定信息，则从所述配置信息中获取所述待存储文件的存储位置；
根据所述存储位置，确定存储所述待存储文件的目标文件存储***。
可选的，所述根据所述存储位置，确定存储所述待存储文件的目标文件存储***，包括：
根据所述存储位置，判断所述待存储文件是否已经存储在所述至少两个文件存储***中的第一文件存储***中，所述第一文件存储***包括：分布式文件***HDFS；
若否，则根据所述至少两个文件存储***的容量，确定所述目标文件存储***。
可选的，所述根据所述至少两个文件存储***的容量，确定所述目标文件存储***，包括：
若所述至少两个文件存储***中只有一个文件存储***的容量是充足的，则将所述至少两个文件存储***中容量充足的文件存储***确定为所述目标文件存储***；从而可将待存储文件存储到容量充足的文件存储***中，提高了文件存储***性能。
若所述至少两个文件存储***中所有文件存储***的容量均充足，则从所述配置信息中获取所述待存储文件的大小，并根据所述待存储文件的大小，确定所述目标文件存储***。
可选的，所述根据所述待存储文件的大小，确定所述目标文件存储***，包括：
若所述待存储文件的大小大于预设阈值，则确定所述第一文件存储***确定为所述目标文件存储***；
若所述待存储文件的大小小于或等于所述预设阈值，则确定所述至少两个文件存储***中的第二文件存储***为所述目标文件存储***，所述第二文件存储***包括：分布式存储***HBase。从而使文件存储***和所存储的文件的大小更加匹配，提高了文件存储***性能。
可选的，所述根据所述待存储文件的大小，确定所述目标文件存储***，包括：
若所述待存储文件的大小小于或者等于预设阈值，则根据所述配置信息，判断所述待存储文件是否需要和前端进行交互；
若是，则确定所述至少两个文件存储***中的第三文件存储***为所述目标文件存储***，所述第三文件存储***包括：分布式文件存储数据库MONGO。
可选的，所述通知消息中携带所述目标文件存储***的标识以及生成的存储地址，所述通知消息用于指示所述终端根据所述目标文件存储***的标识以及所述存储地址，将所述待存储文件存储至所述目标文件存储***中。
可选的，上述方法还包括：
接收终端发送的存储完成消息，所述存储完成消息用于指示对所述待存储文件的索引信息进行存储；
根据所述存储完成消息，将所述待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
可选的，上述方法，还包括：
接收终端发送的检索关键字；
根据所述检索关键字，检索得到所述索引信息；
将所述索引信息发送给所述终端，以使所述终端根据所述索引信息从所述目标文件存储***中下载所述待存储文件。使得终端可以根据索引信息自行从目标文件存储***下载文件，省去了服务端中转文件的过程，提高了文件下载效率。
第二方面，本发明提供一种自动驾驶数据的存储装置，包括：
接收模块，用于接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息；
确定模块，用于根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***；
发送模块，用于向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
可选的，上述存储装置，还包括：
判断模块，用于所述确定模块根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***之前，判断所述配置信息中是否携带文件存储***的指定信息，所述指定信息用于指示存储所述待存储文件的文件存储***的类型；
相应的，所述确定模块具体用于：
根据判断结果，从至少两个文件存储***中确定所述目标文件存储***。
可选的，所述确定模块具体用于：
若所述配置信息中携带所述指定信息，则根据所述指定信息，确定所述目标文件存储***。
若所述配置信息中未携带所述指定信息，则从所述配置信息中获取所述待存储文件的存储位置；
根据所述存储位置，确定存储所述待存储文件的目标文件存储***。
可选的，所述确定模块具体用于：
根据所述存储位置，判断所述待存储文件是否已经存储在所述至少两个文件存储***中的第一文件存储***中，所述第一文件存储***包括：分布式文件***HDFS；
若否，则根据所述至少两个文件存储***的容量，确定所述目标文件存储***。
可选的，所述确定模块具体用于：
若所述至少两个文件存储***中只有一个文件存储***的容量是充足的，则将所述至少两个文件存储***中容量充足的文件存储***确定为所述目标文件存储***；
若所述至少两个文件存储***中所有文件存储***的容量均充足，则从所述配置信息中获取所述待存储文件的大小，并根据所述待存储文件的大小，确定所述目标文件存储***。
可选的，所述确定模块具体用于：
若所述待存储文件的大小大于预设阈值，则确定所述第一文件存储***确定为所述目标文件存储***；
若所述待存储文件的大小小于或等于所述预设阈值，则确定所述至少两个文件存储***中的第二文件存储***为所述目标文件存储***，所述第二文件存储***包括：分布式存储***HBase。
可选的，所述确定模块具体用于：
若所述待存储文件的大小小于或者等于预设阈值，则根据所述配置信息，判断所述待存储文件是否需要和前端进行交互；
若是，则确定所述至少两个文件存储***中的第三文件存储***为所述目标文件存储***，所述第三文件存储***包括：分布式文件存储数据库MONGO。
可选的，所述通知消息中携带所述目标文件存储***的标识以及生成的存储地址，所述通知消息用于指示所述终端根据所述目标文件存储***的标识以及所述存储地址，将所述待存储文件存储至所述目标文件存储***中。
可选的，上述存储装置还包括：存储模块；
所述接收模块还用于：接收终端发送的存储完成消息，所述存储完成消息用于指示对所述待存储文件的索引信息进行存储；
所述存储模块用于：根据所述存储完成消息，将所述待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
可选的，上述装置还包括：检索模块；
所述接收模块还用于接收终端发送的检索关键字；
所述检索模块用于根据所述检索关键字，检索得到所述索引信息；
所述发送模块还用于将所述索引信息发送给所述终端，以使所述终端根据所述索引信息从所述目标文件存储***中下载所述待存储文件。
第三方面，本发明提供一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述自动驾驶数据的存储方法。
第四方面，本发明提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述自动驾驶数据的存储方法。
第五方面，本发明提供一种存储平台，包括上述电子设备和至少两个文件存储***。
本发明提供的自动驾驶数据的存储方法和设备，和现有技术中将所有文件存储一个文件存储***的方法相比，可将不同的文件存储在适合的文件存储***中，提高了文件存储***的稳定性以及性能。而且，终端将待存储文件直接上传至目标文件存储***，无需服务端的中转，提高了存储效率。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是为本发明提供的自动驾驶数据的存储方法的一种可选的应用场景图；
图2是本发明提供的自动驾驶数据的存储方法的实施例一的流程示意图；
图3为本发明提供的自动驾驶数据的存储方法的实施例二的流程示意图；
图4为本发明提供的实施例二的又一流程示意图；
图5为本发明提供的自动驾驶数据的存储方法的实施例三的流程示意图；
图6为本发明提供的自动驾驶数据的存储装置的结构示意图；
图7为本发明提供的电子设备的硬件结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在文件存储方面，现有的存储平台在设计时仅布局一个通用的文件存储***，所有的文件都存储在该文件存储***中。用户需要存储和下载文件时，必须先将文件中转到存储平台提供的服务端，然后再由服务端传到文件存储***或者本地。然而，这种存储平台的设计存在以下问题：并不是所有的文件都适合存储于当前的文件存储***，比如：小文件就不适合存储于分布式文件***HDFS，会占用HDFS的命名空间。如果将所有的文件都存储于一个文件存储***无疑会影响文件存储***的稳定性以及性能。另外，服务端中转文件的过程影响整体的存储和下载的效率。
基于现有技术存在的上述技术问题，本发明提供一种自动驾驶数据的存储方法，在接收到终端发送的文件存储请求后，根据该文件存储请求中携带的待存储文件的配置信息，从至少两个文件存储***中确定出用于存储该待存储文件的目标文件存储***，然后向终端发送通知消息，以使终端根据该通知消息直接将待存储文件存储至上述目标文件存储***中。和现有技术中将所有文件存储一个文件存储***的方法相比，本发明的方案可将不同配置的文件存储在适合的文件存储***中，提高了文件存储***的稳定性以及性能。而且，本发明的方案允许终端将待存储文件直接上传至目标文件存储***，无需服务端的中转，提高了存储效率。
图1为本发明提供的自动驾驶数据的存储方法的一种可选的应用场景图。图1所示应用场景中包括终端、服务器和至少两个文件存储***。
其中，终端上安装有客户端，用户可通过该客户端完成文件的存储和下载。具体的，用户需要存储文件时，可通过该客户端触发文件存储请求，客户端进一步将该文件存储请求发送给服务器，使得服务器通过执行本发明的方案从至少两个文件存储***中确定出适合存储待存储文件的目标文件存储***，并向客户端返回通知消息，使得客户端根据该通知消息直接将待存储文件存储至上述目标文件存储***中。另一方面，用户需要下载文件时，可通过上述客户端输入检索关键字，客户端进一步将该检索关键字发送给服务器，使得服务器可根据该检索关键字检索得到对应的索引信息，服务器将该索引信息返回给客户端后，客户端便可根据该索引信息直接从对应的文件存储***中下载文件。上述文件存储过程实现了文件的分类存储，提高了各个文件存储***的稳定性和性能；文件下载过程中通过索引信息实现文件的检索，提高了检索效率以及便捷度；而且上述存储和下载过程均是客户端和文件存储***直接交互完成的，无需服务端的中转，极大地提高了存储和下载过程的效率。
可选的，上述终端可以是智能手机、平板电脑或者计算机等可以实现和用户的交互的设备。上述服务器可以是云服务器或者实体服务器等。图1中至少两个文件存储***以文件存储***1、文件存储***2和文件存储***N示意。上述至少两个文件存储***可以包括：分布式文件***HDFS、分布式存储***HBase以及分布式文件存储数据库MONGO等，可选的，分布式文件存储数据库MONGO也可布局在服务器上。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明提供的自动驾驶数据的存储方法的实施例一的流程示意图。本实施例提供的自动驾驶数据的存储方法可由图1所示场景图中服务器执行。如图2所示，本实施例提供的自动驾驶数据的存储方法，包括：
S201、接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息。
S202、根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***。
具体的，当用户需要存储文件时，可通过终端上安装的客户端触发文件存储请求，该文件存储请求携带有待存储文件的配置信息。该配置信息可以包括：文件存储***的指定信息、待存储文件的存储位置、至少两个文件存储***中每个文件存储***的容量以及待存储文件的大小等。客户端将包含该配置信息的文件存储请求发送给服务器，使得服务器根据该配置信息，从至少两个文件存储***中选择适合存储待存储文件的***作为目标文件存储***。
S203、向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
具体的，服务器在S202中确定了目标文件存储***后，向终端发送通知消息，该通知消息可携带目标文件存储***的标识以及生成的存储地址，终端接收到该通知消息后，可根据目标文件存储***的标识以及所述存储地址，将所述待存储文件存储至所述目标文件存储***中。
本实施例提供一种自动驾驶数据的存储方法，在接收到终端发送的文件存储请求后，根据该文件存储请求中携带的待存储文件的配置信息，从至少两个文件存储***中确定出用于存储该待存储文件的目标文件存储***，然后向终端发送通知消息，以使终端根据该通知消息直接将待存储文件存储至上述目标文件存储***中。和现有技术中将所有文件存储一个文件存储***的方法相比，本实施例的方法可将不同的文件存储在适合的文件存储***中，提高了文件存储***的稳定性以及性能。而且，终端将待存储文件直接上传至目标文件存储***，无需服务端的中转，提高了存储效率。
图3为本发明提供的自动驾驶数据的存储方法的实施例二的流程示意图。本实施例对上述实施例S202中根据配置信息确定目标文件存储***的可实现方式进行了详细说明。具体的，本实施例提供的自动驾驶数据的存储方法，包括：
S301、接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息。
参见上文描述，配置信息可以包括：文件存储***的指定信息、待存储文件的存储位置、至少两个文件存储***中每个文件存储***的容量以及待存储文件的大小等。
S302、判断所述配置信息中是否携带文件存储***的指定信息。指定信息用于指示存储所述待存储文件的文件存储***的类型。
在得到判断结果后，根据该判断结果，从至少两个文件存储***中确定所述目标文件存储***，具体的，若判断结果为是，则执行S303；若判断结果为否，则执行S304。
S303、根据所述指定信息，确定所述目标文件存储***。
以自动驾驶汽车上的传感器数据为例，假设自动驾驶汽车运行了4个小时，其中只有2分钟的数据存在异常，用户在使用数据时只会希望得到这2分钟的异常数据，不会希望一次性拿到4小时的数据，针对这种类型的数据就需要存储到分布式存储***HBase中，这种类型的数据在配置时可明确配置指定信息，该指定信息用于指示存储待存储文件的文件存储***的类型为HBase。服务器接收到上述数据的文件存储请求后，在判断得到配置信息有上述指定信息的情况下，直接将HBase确定为目标文件存储***，并生成HBase的存储地址发送给终端，使得终端根据该存储地址将待存储文件直接存储至HBase中。
相同的，若指定信息指示存储所述待存储文件的文件存储***的类型为HDFS，则服务器直接将HDFS确定为目标文件存储***。
S304、从所述配置信息中获取所述待存储文件的存储位置。
在得到待存储文件的存储位置后，根据该存储位置，确定存储待存储文件的目标文件存储***。具体的，根据上述存储位置确定目标文件存储***的实现方式包括S305。
S305、根据所述存储位置，判断所述待存储文件是否已经存储在第一文件存储***中。
若是，则说明待存储文件在第一文件存储***中已经存在，无需再存储一次，本次存储过程不再继续；若否，则根据所述至少两个文件存储***的容量，确定所述目标文件存储***。
可选的，上述第一文件存储***可以是分布式文件***HDFS。
具体的，上述根据文件存储***的容量确定目标文件存储***的可实现方式包括：若所述至少两个文件存储***中只有一个文件存储***的容量是充足的，执行S306；若所述至少两个文件存储***中所有文件存储***的容量均充足，执行S307。
S306、将所述至少两个文件存储***中容量充足的文件存储***确定为所述目标文件存储***。
S307、从所述配置信息中获取所述待存储文件的大小。
获取到待存储文件的大小后，将待存储文件的大小和预设阈值进行比较，若所述待存储文件的大小大于预设阈值，执行S308；若所述待存储文件的大小小于或等于所述预设阈值，执行S309。
S308、确定第一文件存储***确定为所述目标文件存储***。
其中，第一文件存储***为HDFS。
S309、确定第二文件存储***为所述目标文件存储***。
其中，第二文件存储***为HBase。
图4为实施例二的又一流程示意图。参见图4所示，在S307中获取到待存储文件的大小后，在判断得到待存储文件的大小小于或者等于预设阈值时，执行S3010。
S3010、根据所述配置信息，判断所述待存储文件是否需要和前端进行交互。
若判断结果为是，执行S3011。
S3011、确定所述至少两个文件存储***中的第三文件存储***为所述目标文件存储***。
其中，第三文件存储***可以为分布式文件存储数据库MONGO。
在通过S302-S3011，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***后，执行S3012-S3014。
S3012、向所述终端发送通知消息。
其中，通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
S3013、接收终端发送的存储完成消息。
其中，存储完成消息用于指示对所述待存储文件的索引信息进行存储。
S3014、根据所述存储完成消息，将所述待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
具体的，服务器在接收到终端发送的存储完成消息后，可确定待存储文件已经存储完毕，这时可以将待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
具体的，索引信息的存储结构设计可分为4部分：rowkey,sys，meta和data。
其中，sys中的数据主要包括***自动计算出来的数据，比如：创建时间、更新时间、更新用户、请求host、请求ip、文件类型和文件原始路径。“创建时间”指的是文件放入存储***的时间。其中，“更新时间”指的是文件被更改的时间。“更新用户”指的是更改文件的用户名称。“请求host”指的是更改文件的主机名称。“请求ip”指的是更改文件的主机ip。“文件类型”指的是本地文件、字符串或者已经存储于HDFS上的文件。“文件原始路径”指的是本地文件所在的机器路径。meta中的数据是用户自定义的用来描述待存储文件的一些特性的数据。data中的数据主要用来记录文件的存储集群、路径以及文件存储于何种类型的文件存储***。rowkey是***全局唯一标识一条数据的key。上述存储结构的设计可以实现：1、可以统一存储自动驾驶所有数据；2、针对不同类型的数据可以进行灵活扩展；3、分布式存储***可以实现水平扩容支撑大规模数据。
本实施例提供的自动驾驶数据的存储方法，对服务器根据配置信息确定目标文件存储***的可实现方式进行了详细说明，服务器通过配置信息来确定的目标文件存储***的方法可将待存储文件存储到适合的文件存储***中，提高了文件存储******的稳定性和性能。
图5为本发明提供的自动驾驶数据的存储方法的实施例三的流程示意图。在上述实施例的基础上，本实施例对自动驾驶数据的下载过程进行了详细描述。本实施例提供的自动驾驶数据的存储方法，包括：
S501、接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息。
S502、根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***。
S503、向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
S504、接收终端发送的存储完成消息，所述存储完成消息用于指示对所述待存储文件的索引信息进行存储。
S505、根据所述存储完成消息，将所述待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
上述S501-S505的实现方式可参见上述实施例，本发明在此不再赘述。
S506、接收终端发送的检索关键字。
S507、根据所述检索关键字，检索得到所述索引信息。
S508、将所述索引信息发送给所述终端，以使所述终端根据所述索引信息从所述目标文件存储***中下载所述待存储文件。
和现有技术通过服务端中转需要下载的文件相比，本实施例中终端根据服务器返回的索引信息直接从目标文件存储***下载文件，省去了服务端中转文件的过程，提高了文件下载效率。
本实施例提供的自动驾驶数据的存储方法，对自动驾驶数据的下载过程进行了描述，服务器向终端返回索引信息后，使得终端可以根据该索引信息自行从目标文件存储***下载文件，省去了服务端中转文件的过程，提高了文件下载效率。
图6为本发明提供的自动驾驶数据的存储装置的结构示意图。如图6所示，本发明提供的自动驾驶数据的存储装置，包括：
接收模块601，用于接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息；
确定模块602，用于根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***；
发送模块603，用于向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
可选的，上述存储装置，还包括：
判断模块604，用于所述确定模块根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***之前，判断所述配置信息中是否携带文件存储***的指定信息，所述指定信息用于指示存储所述待存储文件的文件存储***的类型；
相应的，所述确定模块602具体用于：
根据判断结果，从至少两个文件存储***中确定所述目标文件存储***。
可选的，所述确定模块602具体用于：
若所述配置信息中携带所述指定信息，则根据所述指定信息，确定所述目标文件存储***。
若所述配置信息中未携带所述指定信息，则从所述配置信息中获取所述待存储文件的存储位置；
根据所述存储位置，确定存储所述待存储文件的目标文件存储***。
可选的，所述确定模块602具体用于：
根据所述存储位置，判断所述待存储文件是否已经存储在所述至少两个文件存储***中的第一文件存储***中，所述第一文件存储***包括：分布式文件***HDFS；
若否，则根据所述至少两个文件存储***的容量，确定所述目标文件存储***。
可选的，所述确定模块602具体用于：
若所述至少两个文件存储***中只有一个文件存储***的容量是充足的，则将所述至少两个文件存储***中容量充足的文件存储***确定为所述目标文件存储***；
若所述至少两个文件存储***中所有文件存储***的容量均充足，则从所述配置信息中获取所述待存储文件的大小，并根据所述待存储文件的大小，确定所述目标文件存储***。
可选的，所述确定模块602具体用于：
若所述待存储文件的大小大于预设阈值，则确定所述第一文件存储***确定为所述目标文件存储***；
若所述待存储文件的大小小于或等于所述预设阈值，则确定所述至少两个文件存储***中的第二文件存储***为所述目标文件存储***，所述第二文件存储***包括：分布式存储***HBase。
可选的，所述确定模块602具体用于：
若所述待存储文件的大小小于或者等于预设阈值，则根据所述配置信息，判断所述待存储文件是否需要和前端进行交互；
若是，则确定所述至少两个文件存储***中的第三文件存储***为所述目标文件存储***，所述第三文件存储***包括：分布式文件存储数据库MONGO。
可选的，所述通知消息中携带所述目标文件存储***的标识以及生成的存储地址，所述通知消息用于指示所述终端根据所述目标文件存储***的标识以及所述存储地址，将所述待存储文件存储至所述目标文件存储***中。
可选的，上述存储装置还包括：存储模块605；
所述接收模块还用于：接收终端发送的存储完成消息，所述存储完成消息用于指示对所述待存储文件的索引信息进行存储；
所述存储模块用于：根据所述存储完成消息，将所述待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
可选的，上述装置还包括：检索模块606；
所述接收模块还用于接收终端发送的检索关键字；
所述检索模块用于根据所述检索关键字，检索得到所述索引信息；
所述发送模块还用于将所述索引信息发送给所述终端，以使所述终端根据所述索引信息从所述目标文件存储***中下载所述待存储文件。
本实施例提供的自动驾驶数据的存储装置，可用于执行上述任一方法实施例中的步骤，其实现原理和技术效果类似，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图7所示，是根据本申请实施例的自动驾驶数据的存储方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图7中以一个处理器701为例。
存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的自动驾驶数据的存储方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的自动驾驶数据的存储方法。
存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的自动驾驶数据的存储方法对应的程序指令/模块(例如，附图6所示的接收模块601、确定模块602、发送模块603、判断模块604、存储模块605和检索模块606)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的自动驾驶数据的存储方法。
存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据自动驾驶数据的存储方法所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至实现自动驾驶数据的存储的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。
输入装置703可接收输入的数字或字符信息，以及产生与实现自动驾驶数据的存储的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，可将不同的文件存储在适合的文件存储***中，和现有技术中将所有文件存储一个文件存储***的方法相比，提高了文件存储***的稳定性以及性能。而且，终端将待存储文件直接上传至目标文件存储***，无需服务端的中转，提高了存储效率。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (15)
1.一种自动驾驶数据的存储方法，其特征在于，包括：
接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息；
根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***；
向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
2.根据权利要求1所述的方法，其特征在于，所述根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***之前，还包括：
判断所述配置信息中是否携带文件存储***的指定信息，所述指定信息用于指示存储所述待存储文件的文件存储***的类型；
所述根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***，包括：
根据判断结果，从至少两个文件存储***中确定所述目标文件存储***。
3.根据权利要求2所述的方法，其特征在于，
所述根据判断结果，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***，包括：
若所述配置信息中携带所述指定信息，则根据所述指定信息，确定所述目标文件存储***。
4.根据权利要求2所述的方法，其特征在于，
所述根据判断结果，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***，包括：
若所述配置信息中未携带所述指定信息，则从所述配置信息中获取所述待存储文件的存储位置；
根据所述存储位置，确定存储所述待存储文件的目标文件存储***。
5.根据权利要求4所述的方法，其特征在于，所述根据所述存储位置，确定存储所述待存储文件的目标文件存储***，包括：
根据所述存储位置，判断所述待存储文件是否已经存储在所述至少两个文件存储***中的第一文件存储***中，所述第一文件存储***包括：分布式文件***HDFS；
若否，则根据所述至少两个文件存储***的容量，确定所述目标文件存储***。
6.根据权利要求5所述的方法，其特征在于，所述根据所述至少两个文件存储***的容量，确定所述目标文件存储***，包括：
若所述至少两个文件存储***中只有一个文件存储***的容量是充足的，则将所述至少两个文件存储***中容量充足的文件存储***确定为所述目标文件存储***；
若所述至少两个文件存储***中所有文件存储***的容量均充足，则从所述配置信息中获取所述待存储文件的大小，并根据所述待存储文件的大小，确定所述目标文件存储***。
7.根据权利要求6所述的方法，其特征在于，所述根据所述待存储文件的大小，确定所述目标文件存储***，包括：
若所述待存储文件的大小大于预设阈值，则确定所述第一文件存储***确定为所述目标文件存储***；
若所述待存储文件的大小小于或等于所述预设阈值，则确定所述至少两个文件存储***中的第二文件存储***为所述目标文件存储***，所述第二文件存储***包括：分布式存储***HBase。
8.根据权利要求6所述的方法，其特征在于，所述根据所述待存储文件的大小，确定所述目标文件存储***，包括：
若所述待存储文件的大小小于或者等于预设阈值，则根据所述配置信息，判断所述待存储文件是否需要和前端进行交互；
若是，则确定所述至少两个文件存储***中的第三文件存储***为所述目标文件存储***，所述第三文件存储***包括：分布式文件存储数据库MONGO。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述通知消息中携带所述目标文件存储***的标识以及生成的存储地址，所述通知消息用于指示所述终端根据所述目标文件存储***的标识以及所述存储地址，将所述待存储文件存储至所述目标文件存储***中。
10.根据权利要求9所述的方法，其特征在于，还包括：
接收终端发送的存储完成消息，所述存储完成消息用于指示对所述待存储文件的索引信息进行存储；
根据所述存储完成消息，将所述待存储文件的索引信息存储至分布式文件存储数据库MONGO中。
11.根据权利要求9所述的方法，其特征在于，还包括：
接收终端发送的检索关键字；
根据所述检索关键字，检索得到所述索引信息；
将所述索引信息发送给所述终端，以使所述终端根据所述索引信息从所述目标文件存储***中下载所述待存储文件。
12.一种自动驾驶数据的存储装置，其特征在于，包括：
接收模块，用于接收终端发送的文件存储请求，所述文件存储请求携带待存储文件的配置信息；
确定模块，用于根据所述配置信息，从至少两个文件存储***中确定存储所述待存储文件的目标文件存储***；
发送模块，用于向所述终端发送通知消息，所述通知消息用于指示所述终端将所述待存储文件存储至所述目标文件存储***中。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。
15.一种存储平台，其特征在于，包括权利要求13所述的电子设备和至少两个文件存储***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015987.3A CN110765075A (zh) | 2019-10-24 | 2019-10-24 | 自动驾驶数据的存储方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911015987.3A CN110765075A (zh) | 2019-10-24 | 2019-10-24 | 自动驾驶数据的存储方法和设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110765075A true CN110765075A (zh) | 2020-02-07 |
Family
ID=69333310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911015987.3A Pending CN110765075A (zh) | 2019-10-24 | 2019-10-24 | 自动驾驶数据的存储方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765075A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367857A (zh) * | 2020-03-03 | 2020-07-03 | 中国联合网络通信集团有限公司 | 数据存储方法、装置、ftp服务器及存储介质 |
| CN112416858A (zh) * | 2020-11-09 | 2021-02-26 | 深圳市珍爱捷云信息技术有限公司 | 文档存储方法、装置、电子设备和计算机可读存储介质 |
| CN113553304A (zh) * | 2021-07-28 | 2021-10-26 | 北京亮道智能汽车技术有限公司 | 一种针对自动驾驶的数据存储*** |
| CN114040223A (zh) * | 2021-11-05 | 2022-02-11 | 湖北亿咖通科技有限公司 | 一种图像处理方法及*** |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944124A (zh) * | 2010-09-21 | 2011-01-12 | 卓望数码技术（深圳）有限公司 | 分布式文件***管理方法、装置以及对应的文件*** |
| CN106886610A (zh) * | 2017-04-11 | 2017-06-23 | 广东浪潮大数据研究有限公司 | 一种分布式文件***的文件管理方法及装置 |
| US10360076B1 (en) * | 2016-10-06 | 2019-07-23 | Sprint Communications Company L.P. | Prioritized rebalancing of distributed file system |
-
2019
- 2019-10-24 CN CN201911015987.3A patent/CN110765075A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101944124A (zh) * | 2010-09-21 | 2011-01-12 | 卓望数码技术（深圳）有限公司 | 分布式文件***管理方法、装置以及对应的文件*** |
| US10360076B1 (en) * | 2016-10-06 | 2019-07-23 | Sprint Communications Company L.P. | Prioritized rebalancing of distributed file system |
| CN106886610A (zh) * | 2017-04-11 | 2017-06-23 | 广东浪潮大数据研究有限公司 | 一种分布式文件***的文件管理方法及装置 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111367857A (zh) * | 2020-03-03 | 2020-07-03 | 中国联合网络通信集团有限公司 | 数据存储方法、装置、ftp服务器及存储介质 |
| CN112416858A (zh) * | 2020-11-09 | 2021-02-26 | 深圳市珍爱捷云信息技术有限公司 | 文档存储方法、装置、电子设备和计算机可读存储介质 |
| CN113553304A (zh) * | 2021-07-28 | 2021-10-26 | 北京亮道智能汽车技术有限公司 | 一种针对自动驾驶的数据存储*** |
| CN114040223A (zh) * | 2021-11-05 | 2022-02-11 | 湖北亿咖通科技有限公司 | 一种图像处理方法及*** |
| CN114040223B (zh) * | 2021-11-05 | 2023-11-24 | 亿咖通(湖北)技术有限公司 | 一种图像处理方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111753997B (zh) | 分布式训练方法、***、设备及存储介质 | |
| CN110765075A (zh) | 自动驾驶数据的存储方法和设备 | |
| CN111258609A (zh) | Kubernetes集群的升级方法、装置、电子设备和介质 | |
| CN111045985B (zh) | 文件存储处理方法、服务器、电子设备及存储介质 | |
| CN112073994A (zh) | 用于空中升级的方法、装置、电子设备及可读存储介质 | |
| CN112000394B (zh) | 用于访问小程序的方法、装置、设备以及存储介质 | |
| CN111835856A (zh) | 文件下载的方法、装置、设备以及存储介质 | |
| CN111752960B (zh) | 数据处理方法和装置 | |
| EP3816817B1 (en) | Method and apparatus for importing data into graph database, electronic device and medium | |
| CN111913884A (zh) | 分布式测试方法、装置、设备、***和可读存储介质 | |
| CN112565356B (zh) | 数据存储方法、装置以及电子设备 | |
| CN112583904A (zh) | 文件上传方法、装置、设备以及存储介质 | |
| CN111966471B (zh) | 访问方法、装置、电子设备及计算机存储介质 | |
| CN111796851A (zh) | 客户端基础库更新方法、装置、电子设备和存储介质 | |
| CN110750419B (zh) | 离线任务的处理方法、装置、电子设备及存储介质 | |
| CN111767442A (zh) | 数据更新方法、装置、搜索服务器、终端及存储介质 | |
| CN111782633B (zh) | 数据处理方法、装置及电子设备 | |
| CN113163257B (zh) | 投屏方法、装置、设备及存储介质 | |
| CN112446728B (zh) | 广告召回方法、装置、设备及存储介质 | |
| CN112379954A (zh) | 应用程序的数据处理方法、装置、设备及存储介质 | |
| CN110703990A (zh) | 数据归档存储方法、装置、电子设备及存储介质 | |
| CN111340222A (zh) | 神经网络模型搜索方法、装置以及电子设备 | |
| CN111026438A (zh) | 小程序包和页面关键信息的提取方法、装置、设备及介质 | |
| CN110531952B (zh) | 语音技能的处理方法、装置及设备 | |
| US20220284902A1 (en) | Delay estimation method and apparatus for smart rearview mirror, and electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20211026 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, *** building, 10 Shangdi 10th Street, Haidian District, Beijing 100085 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200207 |