CN109598348A - 一种图像样本获取、模型训练方法及*** - Google Patents
一种图像样本获取、模型训练方法及*** Download PDFInfo
- Publication number
- CN109598348A CN109598348A CN201710896985.4A CN201710896985A CN109598348A CN 109598348 A CN109598348 A CN 109598348A CN 201710896985 A CN201710896985 A CN 201710896985A CN 109598348 A CN109598348 A CN 109598348A
- Authority
- CN
- China
- Prior art keywords
- image
- image data
- processing
- cpu
- dedicated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种图像样本获取、模型训练方法及***,图像样本获取方法应用于与多个机械臂通信连接的处理设备,处理设备包括用于读取图像数据的多个第一专用CPU和用于图像数据处理的多个第二专用CPU,每个机械臂上安装有摄像头,该方法包括:实时获取每个摄像头采集的图像数据并存储;多个第一专用CPU分别循环执行读取处理;多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。可见,处理设备采用流式处理方式,可以实时处理图像数据,获取图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
Description
技术领域
本发明涉及模型训练技术领域,特别是涉及一种图像样本获取、模型训练方法及***。
背景技术
随着基于数据驱动的机械臂抓取技术的不断推广,对于机械臂抓取精度的要求也越来越高。图像样本的获取是基于数据驱动的机械臂抓取技术中的一个重要组成部分,只有获取大量的图像样本,才能通过这些图像样本训练得到精准的用于机械臂抓取的机器学习模型。
目前,图像样本的获取方式一般包括:通过安装于机械臂的摄像头采集图像数据,根据机器学习模型训练的需要,对图像数据进行处理,例如,图像颜色变化、矩阵变换等处理,得到图像样本。通过相同的方式得到大量图像样本后,即可训练得到用于机械臂抓取的机器学习模型。
采用上述图像样本获取方式,在训练完成机器学习模型后,如果机械臂安装的摄像头采集到新的图像数据,那么必须对新的图像数据进行处理得到对应的图像样本,合并到上述大量图像样本中,然后重新进行机器学习模型的训练,十分耗费模型训练时间。
发明内容
本发明实施例的目的在于提供一种图像样本获取、模型训练方法及***,以缩短模型训练时间。具体技术方案如下:
第一方面,本发明实施例提供了一种图像样本获取方法,应用于与多个机械臂通信连接的处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU和用于图像数据处理的多个第二专用CPU,每个机械臂上安装有摄像头,所述方法包括:
实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
可选的,所述多个第二专用CPU分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
可选的,所述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
可选的,所述预设处理方式包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
可选的,所述实时获取每个摄像头采集的图像数据并存储的步骤,包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
第一方面,本发明实施例提供了一种模型训练方法,应用于与多个机械臂通信连接的处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU、用于图像数据处理的多个第二专用CPU和GPU,每个机械臂上安装有摄像头,所述方法包括:
实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
可选的,所述GPU的数量为多个;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,包括:
每个GPU获取预设样本数量的图像样本,利用所获取的图像样本对所述机器学习模型进行训练,并基于其余GPU的训练结果,调整所述机器学习模型的参数。
可选的,所述多个第二专用CPU分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
可选的,所述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,包括:
所述GPU从所述最终结果队列中,获取所述图像样本;
利用所获取的图像样本对所述机器学习模型进行参数训练。
可选的,所述预设处理方式包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
可选的,所述实时获取每个摄像头采集的图像数据并存储的步骤,包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
第三方面,本发明实施例提供了一种图像样本获取***,所述***包括与多个机械臂通信连接的存储设备及处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU和用于图像数据处理的多个第二专用CPU,每个机械臂上安装有摄像头,其中:
所述存储设备,用于实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
可选的,所述多个第二专用CPU分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述第一组CPU,用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果;
所述第N组CPU,用于获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
可选的,第一组CPU,具体用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列;
第N组CPU,具体用于从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
可选的,所述多个第二专用CPU,用于采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
可选的,所述存储设备,具体用于实时获取每个摄像头采集的图像数据;存储所述图像数据,并调整所有图像数据的存储顺序。
第四方面,本发明实施例提供了一种模型训练***,所述***包括与多个机械臂通信连接的存储设备及处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU、用于图像数据处理的多个第二专用CPU和GPU,每个机械臂上安装有摄像头,其中:
所述存储设备,用于实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
所述GPU,用于获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
可选的,所述GPU的数量为多个;
所述GPU,具体用于每个GPU获取预设样本数量的图像样本,利用所获取的图像样本对所述机器学习模型进行训练,并基于其余GPU的训练结果,调整所述机器学习模型的参数。
可选的,所述多个第二专用CPU分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述第一组CPU,用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果
所述第N组CPU,用于获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
可选的,第一组CPU,具体用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列;
第N组CPU,具体用于从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列;
所述GPU,具体用于所述GPU从所述最终结果队列中,获取所述图像样本;利用所获取的图像样本对所述机器学习模型进行参数训练。
可选的,所述多个第二专用CPU,具体用于采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
可选的,所述存储设备,具体用于实时获取每个摄像头采集的图像数据;存储所述图像数据,并调整所有图像数据的存储顺序。
本发明实施例还提供了一种处理设备,包括处理器、通信接口、存储器、通信总线、多个第一专用CPU和多个第二专用CPU,其中,处理器,通信接口,存储器,多个第一专用CPU和多个第二专用CPU通过通信总线完成相互间的通信,所述处理设备与多个机械臂通信连接,每个机械臂上安装有摄像头;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实时获取每个摄像头采集的图像数据并存储;
多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
本发明实施例还提供了另一种处理设备,包括处理器、通信接口、存储器、通信总线、多个第一专用CPU、多个第二专用CPU和GPU,其中,处理器,通信接口,存储器,多个第一专用CPU和多个第二专用CPU通过通信总线完成相互间的通信,所述处理设备与多个机械臂通信连接,每个机械臂上安装有摄像头;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,获取每个摄像头采集的图像数据并存储;
多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
GPU,用于获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述图像样本获取方法步骤。
本发明实施例还提供了另一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练方法步骤。
本发明实施例提供的方案中,处理设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。可见,处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取图像样本用于机器学习模型训练,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种图像样本获取方法的流程图;
图2为图1所示实施例中预设处理方式的一种示意图;
图3为本发明实施例所提供的一种模型训练方法的流程图;
图4为本发明实施例所提供的一种图像样本获取***的结构示意图;
图5为本发明实施例所提供的一种模型训练***的结构示意图;
图6为本发明实施例所提供的第一种处理设备的结构示意图;
图7为本发明实施例所提供的第二种处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了缩短机器学习模型的训练时间,本发明实施例提供了一种图像样本获取方法及***、模型训练方法及***、处理设备及计算机可读存储介质。
下面首先对本发明实施例所提供的一种图像样本获取方法进行介绍。
本发明实施例所提供的一种图像样本获取方法可以应用于与多个机械臂通信连接的处理设备,该处理设备可以包括用于读取图像数据的多个第一专用CPU(CentralProcessing Unit,中央处理器)和用于图像数据处理的多个第二专用CPU。每个机械臂上安装有摄像头,以采集图像数据。
如图1所示,一种图像样本获取方法,应用于与多个机械臂通信连接的处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU和用于图像数据处理的多个第二专用CPU,每个机械臂上安装有摄像头,所述方法包括:
S101,实时获取每个摄像头采集的图像数据并存储;
S102,所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
S103,所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
可见,本发明实施例提供的方案中,处理设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
在上述步骤S101中,处理设备可以实时获取每个摄像头采集的图像数据,并将图像数据进行存储,例如,可以存储于硬盘中。可以理解的是,每个安装于机械臂的摄像头均在采集图像数据,处理设备存储的是摄像头采集的所有图像数据。
在上述步骤S102中,多个第一专用CPU可以分别循环执行读取处理,其中,该读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据。也就是说,每个第一专用CPU不断从所存储的图像数据中读取第一预设图像数量的图像数据。
多个第二专用CPU则可以按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。其中,该预设的数据处理方式是根据机器学习模型训练的需要预设的,例如,可以包括图像数据向矩阵的转换处理、像素值处理、特征区域标定处理等图像处理方式,在此不做具体限定。
其中,上述第一预设图像数量可以根据第一专用CPU的处理能力以及图像数据所占的内存等因素确定,例如,可以为10、15、20等,在此不做具体限定。在一种实施方式中,第一专用CPU从所存储的图像数据中读取的第一预设图像数量的图像数据,以最大程度地满足每个第二专用CPU的处理能力,使每个第二专用CPU的资源得到最大程度地利用。
例如,每个第二专用CPU可以同时处理5个图像数据,共有10个第二专用CPU,那么第一专用CPU每次从所存储的图像数据中读取的第一预设图像数量的图像数据至少为50个,这样可以充分利用每个第二专用CPU的处理能力,使资源利用率最大化。
需要说明的是,上述步骤S101-步骤S103并不是一定按照步骤S101-步骤S103的顺序执行,而是同时执行步骤S101-步骤S103,形成流式处理的方式,只要每个摄像头采集图像数据,那么处理设备便可以实时获取每个摄像头采集的图像数据并存储,与此同时,步骤S102及步骤S103也都在进行,达到动态平衡的状态,可以实时处理每个摄像头采集的图像数据,源源不断地获取用于机器学习模型训练的图像样本,进而可以不断地训练机器学习模型,大大缩短模型训练时间。
作为本发明实施例的一种实施方式,为了进一步提高资源利用率,提升数据处理速度,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU。
相应的,上述预设处理方式可以包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
由于图像数据所需的处理方式可能为多种不同的处理方式,所以为了满足快速准确地的处理需求,可以按照图像数据所需的处理方式将上述多个第二专用CPU分为N组,一般情况下,对第二专用CPU的分组数量与所需的处理方式的种类的数量相同,也就是说,这样每一组CPU可以对图像数据进行一种处理。例如,图像数据所需的处理方式为5种,那么便可以将上述多个第二专用CPU可以分为5组,每一组CPU对图像数据进行一种处理。
对于每一组CPU所包括的第二专用CPU的数量,也就是第一预设数量、第二预设数量…第N预设数量,可以根据第一预设图像处理方式至第N预设图像处理方式的具体种类及所需的内存等因素进行确定。如果某种预设图像处理方式所需内存较大,那么其对应的第二专用CPU的数量便可以多一些,如果某种预设图像处理方式所需内存较小,那么其对应的第二专用CPU的数量便可以少一些。
举例而言,需要对图像数据进行的处理方式包括4种,即第一预设图像处理方式至第四预设图像处理方式,该4种处理方式所需内存依次增加,为了保证所有第二专用CPU在进行数据处理时的资源利用率最高,根据第二专用CPU的处理能力及每种处理方式所需内存计算得到,该四种处理方式所需第二专用CPU的数量比例为1:2:3:4,那么,如果第二专用CPU的数量为80个,那么第一组CPU可以包括8个第二专用CPU,第二组CPU可以包括16个第二专用CPU,第三组CPU可以包括24个第二专用CPU,第四组CPU可以包括36个第二专用CPU。
需要说明的是,上述N组CPU对经过前一组CPU处理得到的处理结果进行的处理也是同时进行的,也就是说,第一组CPU不断对多个第一专用CPU已读取的图像数据进行处理,得到第一处理结果,与此同时,第二组CPU至第N组CPU也在从上一组CPU处理得到的处理结果中获取处理结果,并对获取的处理结果采用预设图像处理方式进行处理。
可见,本实施例中,将多个第二专用CPU分为N组,可以保证稳定地对图像数据进行处理,保证每个第二专用CPU均可以以最高的处理速度进行图像数据的处理,提高资源利用率,也就可以缩短后续模型训练的时间。
作为本发明实施例的一种实施方式,上述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,可以包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
由于多个第二专用CPU分为N组,且同时进行数据处理,所以为了使处理流程更加顺利稳定,避免出现混乱而导致处理错误,如图2所示,第一组CPU按照第一预设图像处理方式,对多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果后,可以将该第一处理结果放入第一结果队列,进而,第二组CPU可以从第一结果队列中获取第一处理结果,并按照第二预设图像处理方式对获取的第一处理结果进行处理,依此类推,第N组CPU则可以从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,然后将这些图像样本放入最终结果队列。后续便可以利用最终结果队列中的图像样本进行机器学习模型的训练。
可见,本实施例中,每组CPU可以将处理结果放入相应的处理结果队列中,下一组CPU便可以从处理结果队列中获取处理结果进行处理,可以使处理流程更加顺利稳定,避免出现混乱而导致处理错误。
作为本发明实施例的一种实施方式,上述预设处理方式可以包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
在一种实施方式中,多个第二专用CPU可以采用预设图像预设处理方式对多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本。
其中,预设图像预设处理方式可以包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。也就是说,每个第二专用CPU可以对第一专用CPU已读取的图像数据进行N种预设处理。例如,预设图像处理方式共有5种,即第一预设图像处理方式至第五预设图像处理方式,那么每个第二专用CPU获取第一专用CPU已读取的图像数据后,便可以对该图像数据按照第一预设图像处理方式进行处理,然后对得到的处理结果按照第二预设图像处理方式进行处理,依此类推,最后按照第五预设图像处理方式进行处理,得到图像样本。
获得上述图像样本后,第二专用CPU可以将图像样本放入最终结果队列,以便后续进行机器学习模型训练时使用。
作为本发明实施例的一种实施方式,上述实时获取每个摄像头采集的图像数据并存储的步骤,可以包括:
实时获取每个摄像头采集的图像数据;存储所述图像数据,并调整所有图像数据的存储顺序。
处理设备可以实时获取每个摄像头采集的图像数据,然后存储所获取的图像数据,并调整所有图像数据的存储顺序。具体来说,由于机械臂的数量一般较多,摄像头采集的图像数据的数量也就较多,在第一专用CPU读取图像数据时,处理设备中还存储有未被读取的图像数据,同时处理设备也在不断获取图像数据,进而,处理设备在存储获取到的图像数据后,可以将获取的图像数据与已存储的未被读取的图像数据的存储顺序进行调整。
这样,第一专用CPU在读取图像数据时,便可以读取到处理设备刚刚存储的图像数据,也可以读取到当前时刻之前处理设备存储的图像数据,这样,如果机械臂上安装的摄像头的采集环境等因素发生变化,经过第二专用CPU处理得到的图像样本中可以包括采集环境等因素变化后采集的数据对应的图像样本,进而,采用这些图像样本训练得到的机械学习模型即可以满足当前机械臂使用环境和状况的需要,起到新旧图像样本混合的作用,可以提高训练得到的机械学习模型的准确度。
为了缩短机器学习模型的训练时间,本发明实施例还提供了一种模型训练方法。
下面对本发明实施例所提供的一种模型训练方法进行介绍。
本发明实施例所提供的一种模型训练方法可以应用于与多个机械臂通信连接的处理设备,该处理设备可以包括用于读取图像数据的多个第一专用CPU、用于图像数据处理的多个第二专用CPU和GPU(Graphics Processing Unit,图形处理器)。每个机械臂上安装有摄像头,以采集图像数据。
如图3所示,一种模型训练方法,应用于与多个机械臂通信连接的处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU、用于图像数据处理的多个第二专用CPU和GPU,每个机械臂上安装有摄像头,所述方法包括:
S301,实时获取每个摄像头采集的图像数据并存储;
S302,所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
S303,所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
S304,所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
可见,本发明实施例提供的方案中,处理设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,GPU获取图像样本,利用所获取的图像样本对机器学习模型进行参数训练。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
在上述步骤S301中,处理设备可以实时获取每个摄像头采集的图像数据,并将图像数据进行存储,例如,可以存储于硬盘中。可以理解的是,每个安装于机械臂的摄像头均在采集图像数据,处理设备存储的是摄像头采集的所有图像数据。
在上述步骤S302中,多个第一专用CPU可以分别循环执行读取处理,其中,该读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据。也就是说,每个第一专用CPU不断从所存储的图像数据中读取第一预设图像数量的图像数据。
多个第二专用CPU则可以按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。其中,该预设的数据处理方式是根据机器学习模型训练的需要预设的,例如,可以包括图像数据向矩阵的转换处理、像素值处理、特征区域标定处理等图像处理方式,在此不做具体限定。
其中,上述第一预设图像数量可以根据第一专用CPU的处理能力以及图像数据所占的内存等因素确定,例如,可以为10、15、20等,在此不做具体限定。在一种实施方式中,第一专用CPU从所存储的图像数据中读取的第一预设图像数量的图像数据,以最大程度地满足每个第二专用CPU的处理能力,使每个第二专用CPU的资源得到最大程度地利用。
例如,每个第二专用CPU可以同时处理5个图像数据,共有10个第二专用CPU,那么第一专用CPU每次从所存储的图像数据中读取的第一预设图像数量的图像数据至少为50个,这样可以充分利用每个第二专用CPU的处理能力,使资源利用率最大化。
在上述步骤S304中,GPU可以获取第二专用CPU处理得到的图像样本,利用所获取的图像样本对预先构建的机器学习模型进行参数训练,进而便可以得到所需的机器学习模型。
需要说明的是,上述步骤S301-步骤S304并不是一定按照步骤S301-步骤S303的顺序执行,而是同时执行步骤S301-步骤S304,形成流式处理的方式,只要每个摄像头采集图像数据,那么处理设备便可以实时获取每个摄像头采集的图像数据并存储,与此同时,步骤S302-步骤S304也都在进行,达到动态平衡的状态,可以实时处理每个摄像头采集的图像数据,源源不断地获取用于机器学习模型训练的图像样本,并不断地训练机器学习模型,大大缩短模型训练时间。
作为本发明实施例的一种实施方式,上述GPU的数量可以为多个;
上述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,可以包括:
每个GPU获取预设样本数量的图像样本,利用所获取的图像样本对所述机器学习模型进行训练,并基于其余GPU的训练结果,调整所述机器学习模型的参数。
处理设备可以包括多个GPU,在这种情况下,每个GPU可以获取预设样本数量的图像样本,并利用所获取的图像样本对机器学习模型进行训练。其中,预设样本数量可以根据GPU的处理能力,以及每个图像样本的数据量等因素进行确定,例如,可以为5、10、15等,在此不做具体限定。当然,每个GPU获取的图像样本的数量,以能够充分利用GPU的资源为最佳,这样可以进一步提高资源利用率,缩短模型训练时间。
由于上述多个GPU同时对机器学习模型进行训练,所以每个GPU对机器学习模型进行训练时,可以基于其余GPU的训练结果,调整机器学习模型的参数。多个GPU之间可以通过通信总线和通信接口等进行通信,以获知其余GPU的训练结果,并基于该训练结果调整机器学习模型的参数。
例如,处理设备包括4个GPU,那么该4个GPU同时获取图像样本,同时利用获取的图像样本进行机器学习模型的训练,并互相通信,得到其余GPU的训练结果,进而,调整机器学习模型的参数。
可见,本实施例中,处理设备包括多个GPU,多个GPU同时对机器学习模型进行训练,进一步提高模型训练效率,缩短模型训练时间。
作为本发明实施例的一种实施方式,为了进一步提高资源利用率,提升数据处理速度,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU。
相应的,上述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
由于图像数据所需的处理方式可能为多种不同的处理方式,所以为了满足快速准确地的处理需求,可以按照图像数据所需的处理方式将上述多个第二专用CPU分为N组,一般情况下,对第二专用CPU的分组数量与所需的处理方式的种类的数量相同,也就是说,这样每一组CPU可以对图像数据进行一种处理。例如,图像数据所需的处理方式为5种,那么便可以将上述多个第二专用CPU可以分为5组,每一组CPU对图像数据进行一种处理。
对于每一组CPU所包括的第二专用CPU的数量,也就是第一预设数量、第二预设数量…第N预设数量,可以根据第一预设图像处理方式至第N预设图像处理方式的具体种类及所需的内存等因素进行确定。如果某种预设图像处理方式所需内存较大,那么其对应的第二专用CPU的数量便可以多一些,如果某种预设图像处理方式所需内存较小,那么其对应的第二专用CPU的数量便可以少一些。
举例而言,需要对图像数据进行的处理方式包括4种,即第一预设图像处理方式至第四预设图像处理方式,该4种处理方式所需内存依次增加,为了保证所有第二专用CPU在进行数据处理时的资源利用率最高,根据第二专用CPU的处理能力及每种处理方式所需内存计算得到,该四种处理方式所需第二专用CPU的数量比例为1:2:3:4,那么,如果第二专用CPU的数量为80个,那么第一组CPU可以包括8个第二专用CPU,第二组CPU可以包括16个第二专用CPU,第三组CPU可以包括24个第二专用CPU,第四组CPU可以包括36个第二专用CPU。
需要说明的是,上述N组CPU对经过前一组CPU处理得到的处理结果进行的处理也是同时进行的,也就是说,第一组CPU不断对多个第一专用CPU已读取的图像数据进行处理,得到第一处理结果,与此同时,第二组CPU至第N组CPU也在从上一组CPU处理得到的处理结果中获取处理结果,并对获取的处理结果采用预设图像处理方式进行处理。
可见,本实施例中,将多个第二专用CPU分为N组,可以保证稳定地对图像数据进行处理,保证每个第二专用CPU均可以以最高的处理速度进行图像数据的处理,提高资源利用率,缩短模型训练的时间。
作为本发明实施例的一种实施方式,上述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,可以包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
由于多个第二专用CPU分为N组,且同时进行数据处理,所以为了使处理流程更加顺利稳定,避免出现混乱而导致处理错误,第一组CPU按照第一预设图像处理方式,对多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果后,可以将该第一处理结果放入第一结果队列,进而,第二组CPU可以从第一结果队列中获取第一处理结果,并按照第二预设图像处理方式对获取的第一处理结果进行处理,依此类推,第N组CPU则可以从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,然后将这些图像样本放入最终结果队列。
相应的,上述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,可以包括:
所述GPU从所述最终结果队列中,获取所述图像样本;利用所获取的图像样本对所述机器学习模型进行参数训练。
第N组CPU采用第N预设图像处理方式对所获取的处理结果进行处理,并将得到的每个图像样本放入最终结果队列,进而,GPU可以从该最终结果队列中,获取图像样本,进而利用所获取的图像样本对机器学习模型进行参数训练。
可见,本实施例中,每组CPU可以将处理结果放入相应的处理结果队列中,下一组CPU便可以从处理结果队列中获取处理结果进行处理,GPU可以从最终结果队列中获取图像样本,进行机器学习模型的参数训练,可以使处理流程更加顺利稳定,避免出现混乱而导致处理错误。
作为本发明实施例的一种实施方式,上述预设处理方式包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
在一种实施方式中,多个第二专用CPU可以采用预设图像预设处理方式对多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本。
其中,预设图像预设处理方式可以包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。也就是说,每个第二专用CPU可以对第一专用CPU已读取的图像数据进行N种预设处理。例如,预设图像处理方式共有5种,即第一预设图像处理方式至第五预设图像处理方式,那么每个第二专用CPU获取第一专用CPU已读取的图像数据后,便可以对该图像数据按照第一预设图像处理方式进行处理,然后对得到的处理结果按照第二预设图像处理方式进行处理,依此类推,最后按照第五预设图像处理方式进行处理,得到图像样本。
获得上述图像样本后,第二专用CPU可以将图像样本放入最终结果队列,以便在进行机器学习模型训练时,GPU可以从最终结果队列中获取图像样本,对机器学习模型进行参数调整。
作为本发明实施例的一种实施方式,上述实时获取每个摄像头采集的图像数据并存储的步骤,可以包括:
实时获取每个摄像头采集的图像数据;存储所述图像数据,并调整所有图像数据的存储顺序。
处理设备可以实时获取每个摄像头采集的图像数据,然后存储所获取的图像数据,并调整所有图像数据的存储顺序。具体来说,由于机械臂的数量一般较多,摄像头采集的图像数据的数量也就较多,在第一专用CPU读取图像数据时,处理设备中还存储有未被读取的图像数据,同时处理设备也在不断获取图像数据,进而,处理设备在存储获取到的图像数据后,可以将获取的图像数据与已存储的未被读取的图像数据的存储顺序进行调整。
这样,第一专用CPU在读取图像数据时,便可以读取到处理设备刚刚存储的图像数据,也可以读取到当前时刻之间处理设备存储的图像数据,这样,如果机械臂上安装的摄像头的采集环境等因素发生变化,经过第二专用CPU处理得到的图像样本中可以包括采集环境等因素变化后采集的数据对应的图像样本,进而,采用这些图像样本训练得到的机械学习模型即可以满足当前机械臂使用环境和状况的需要,起到新旧图像样本混合的作用,可以提高训练得到的机械学习模型的准确度。
相应于上述图像样本获取方法,本发明实施例还提供了一种图像样本获取***。
下面对本发明实施例所提供的一种图像样本获取***进行介绍。
如图4所示,一种图像样本获取***,所述***包括与多个机械臂通信连接的存储设备410及处理设备420,所述处理设备420包括用于读取图像数据的多个第一专用CPU4201和用于图像数据处理的多个第二专用CPU4202,每个机械臂上安装有摄像头,其中:
所述存储设备410,用于实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU4201,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU4202,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
可见,本发明实施例提供的方案中,存储设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
作为本发明实施例的一种实施方式,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
上述第一组CPU,用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果;
上述第N组CPU,用于获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
作为本发明实施例的一种实施方式,上述第一组CPU,具体用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列;
第N组CPU,具体用于从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
作为本发明实施例的一种实施方式,上述多个第二专用CPU,用于采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
作为本发明实施例的一种实施方式,上述存储设备,具体用于实时获取每个摄像头采集的图像数据;存储所述图像数据,并调整所有图像数据的存储顺序。
存储设备可以实时获取每个摄像头采集的图像数据,然后存储所获取图像数据,并调整所有图像数据的存储顺序。具体来说,由于机械臂的数量一般较多,摄像头采集的图像数据的数量也较多,在第一专用CPU读取图像数据时,存储设备中还存储有未被读取的图像数据,同时存储设备也在不断获取图像数据,进而,存储设备在存储获取到的图像数据后,可以将获取的图像数据与已存储的未被读取的图像数据的存储顺序进行调整。
这样,第一专用CPU在读取图像数据时,便可以读取到存储设备刚刚存储的图像,也可以读取到当前时刻之前存储设备存储的图像数据,这样,如果机械臂上安装的摄像头的采集环境等因素发生变化时,经过第二专用CPU处理得到的图像样本中可以包括采集环境等因素变化后采集的数据对应的图像样本,进而,采用这些图像样本训练得到的机械学习模型即可以满足当前机械臂使用环境和状况的需要,起到新旧图像样本混合的作用,可以提高训练得到的机械学习模型的准确度。
相应于上述模型训练方法,本发明实施例还提供了一种模型训练***。
下面对本发明实施例所提供的一种模型训练***进行介绍。
如图5所示,一种模型训练***,所述***包括与多个机械臂通信连接的存储设备510及处理设备520,所述处理设备520包括用于读取图像数据的多个第一专用CPU5201、用于图像数据处理的多个第二专用CPU5202和GPU5203,每个机械臂上安装有摄像头,其中:
所述存储设备510,用于实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU5201,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU5202,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
所述GPU5203,用于获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
可见,本发明实施例提供的方案中,存储设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,GPU获取图像样本,利用所获取的图像样本对机器学习模型进行参数训练。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
作为本发明实施例的一种实施方式,上述GPU的数量可以为多个;
所述GPU,具体用于每个GPU获取预设样本数量的图像样本,利用所获取的图像样本对所述机器学习模型进行训练,并基于其余GPU的训练结果,调整所述机器学习模型的参数。
作为本发明实施例的一种实施方式,上述多个第二专用CPU分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
上述第一组CPU,用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果
上述第N组CPU,用于获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
作为本发明实施例的一种实施方式,上述第一组CPU,具体用于按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列;
第N组CPU,具体用于从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列;
所述GPU,具体用于所述GPU从所述最终结果队列中,获取所述图像样本;利用所获取的图像样本对所述机器学习模型进行参数训练。
作为本发明实施例的一种实施方式,上述多个第二专用CPU,具体用于采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
作为本发明实施例的一种实施方式,上述存储设备,具体用于实时获取每个摄像头采集的图像数据;存储所述图像数据,并调整所有图像数据的存储顺序。
存储设备可以实时获取每个摄像头采集的图像数据,然后存储所获取图像数据,并调整所有图像数据的存储顺序。具体来说,由于机械臂的数量一般较多,摄像头采集的图像数据的数量也较多,在第一专用CPU读取图像数据时,存储设备中还存储有未被读取的图像数据,同时存储设备也在不断获取图像数据,进而,存储设备在存储获取到的图像数据后,可以将获取的图像数据与已存储的未被读取的图像数据的存储顺序进行调整。
这样,第一专用CPU在读取图像数据时,便可以读取到存储设备刚刚存储的图像,也可以读取到当前时刻之前存储设备存储的图像数据,这样,如果机械臂上安装的摄像头的采集环境等因素发生变化时,经过第二专用CPU处理得到的图像样本中可以包括采集环境等因素变化后采集的数据对应的图像样本,进而,采用这些图像样本训练得到的机械学习模型即可以满足当前机械臂使用环境和状况的需要,起到新旧图像样本混合的作用,可以提高训练得到的机械学习模型的准确度。
本发明实施例还提供了一种处理设备,如图6所示,包括处理器601、通信接口602、存储器603、通信总线604、多个第一专用CPU605和多个第二专用CPU606,其中,处理器601,通信接口602,存储器603,多个第一专用CPU605和多个第二专用CPU606通过通信总线604完成相互间的通信,所述处理设备与多个机械臂通信连接,每个机械臂上安装有摄像头;
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实时获取每个摄像头采集的图像数据并存储;
多个第一专用CPU605,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
多个第二专用CPU606,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
可见,本发明实施例提供的方案中,处理设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
上述处理设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述处理设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
其中,上述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,可以包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
其中,上述预设处理方式可以包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
其中,上述实时获取每个摄像头采集的图像数据并存储的步骤,包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
本发明实施例还提供了另一种处理设备,如图7所示,包括处理器701、通信接口702、存储器703、通信总线704、多个第一专用CPU705、多个第二专用CPU706和GPU707,其中,处理器701,通信接口702,存储器703,多个第一专用CPU705和多个第二专用CPU706通过通信总线704完成相互间的通信,所述处理设备与多个机械臂通信连接,每个机械臂上安装有摄像头;
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,获取每个摄像头采集的图像数据并存储;
多个第一专用CPU705,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
多个第二专用CPU706,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
GPU707,用于获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
可见,本发明实施例提供的方案中,处理设备实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,GPU获取图像样本,利用所获取的图像样本对机器学习模型进行参数训练。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
上述处理设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述处理设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
其中,上述GPU的数量可以为多个;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,包括:
每个GPU获取预设样本数量的图像样本,利用所获取的图像样本对所述机器学习模型进行训练,并基于其余GPU的训练结果,调整所述机器学习模型的参数。
其中,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
其中,上述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,可以包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列;
上述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,可以包括:
所述GPU从所述最终结果队列中,获取所述图像样本;
利用所获取的图像样本对所述机器学习模型进行参数训练。
其中,上述预设处理方式可以包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
其中,上述实时获取每个摄像头采集的图像数据并存储的步骤,可以包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
可见,本发明实施例所提供的方案中,计算机程序被处理器执行时,实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
其中,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
其中,上述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,可以包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
其中,上述预设处理方式可以包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
其中,上述实时获取每个摄像头采集的图像数据并存储的步骤,包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
本发明实施例还提供了另一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
可见,本发明实施例所提供的方案中,计算机程序被处理器执行时,实时获取每个摄像头采集的图像数据并存储,多个第一专用CPU分别循环执行读取处理,多个第二专用CPU按照预设的数据处理方式,对多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,GPU获取图像样本,利用所获取的图像样本对机器学习模型进行参数训练。处理设备采用流式处理方式,可以实时处理每个摄像头采集的图像数据,获取用于机器学习模型训练的图像样本,在获取新的图像数据时不需要重新训练机器学习模型,大大缩短模型训练时间。
其中,上述GPU的数量可以为多个;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,包括:
每个GPU获取预设样本数量的图像样本,利用所获取的图像样本对所述机器学习模型进行训练,并基于其余GPU的训练结果,调整所述机器学习模型的参数。
其中,上述多个第二专用CPU可以分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
其中,上述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,可以包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列;
上述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练的步骤,可以包括:
所述GPU从所述最终结果队列中,获取所述图像样本;
利用所获取的图像样本对所述机器学习模型进行参数训练。
其中,上述预设处理方式可以包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
其中,上述实时获取每个摄像头采集的图像数据并存储的步骤,可以包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
需要说明的是,对于上述***、处理设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种图像样本获取方法,其特征在于,应用于与多个机械臂通信连接的处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU和用于图像数据处理的多个第二专用CPU,每个机械臂上安装有摄像头,所述方法包括:
实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
2.如权利要求1所述的方法,其特征在于,所述多个第二专用CPU分为N组,其中,第一组CPU包括第一预设数量的第二专用CPU,第N组CPU包括第N预设数量的第二专用CPU;
所述预设处理方式包括:第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本。
3.如权利要求2所述的方法,其特征在于,所述第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,第N组CPU获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本的步骤,包括:
第一组CPU按照第一预设图像处理方式,对所述多个第一专用CPU已读取的图像数据进行处理,得到每个图像数据对应的第一处理结果,将所述第一处理结果放入第一结果队列,第N组CPU从第(N-1)结果队列中获取第(N-1)处理结果,并采用第N预设图像处理方式对所获取的处理结果进行处理,得到每个图像数据对应的图像样本,将所述图像样本放入最终结果队列。
4.如权利要求1所述的方法,其特征在于,所述预设处理方式包括:
所述多个第二专用CPU采用预设图像预设处理方式对所述多个第一专用CPU已读取的图像数据进行数据处理,得到每个图像数据对应的图像数样本,其中,所述预设图像预设处理方式包括:第一预设图像处理方式、第二预设图像处理方式至第N预设图像处理方式。
5.如权利要求1-4任一项所述的方法,其特征在于,所述实时获取每个摄像头采集的图像数据并存储的步骤,包括:
实时获取每个摄像头采集的图像数据;
存储所述图像数据,并调整所有图像数据的存储顺序。
6.一种模型训练方法,其特征在于,应用于与多个机械臂通信连接的处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU、用于图像数据处理的多个第二专用CPU和GPU,每个机械臂上安装有摄像头,所述方法包括:
实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU分别循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
所述GPU获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
7.一种图像样本获取***,其特征在于,所述***包括与多个机械臂通信连接的存储设备及处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU和用于图像数据处理的多个第二专用CPU,每个机械臂上安装有摄像头,其中:
所述存储设备,用于实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
8.一种模型训练***,其特征在于,所述***包括与多个机械臂通信连接的存储设备及处理设备,所述处理设备包括用于读取图像数据的多个第一专用CPU、用于图像数据处理的多个第二专用CPU和GPU,每个机械臂上安装有摄像头,其中:
所述存储设备,用于实时获取每个摄像头采集的图像数据并存储;
所述多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
所述多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
所述GPU,用于获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
9.一种处理设备,其特征在于,包括处理器、通信接口、存储器、通信总线、多个第一专用CPU和多个第二专用CPU,其中,处理器,通信接口,存储器,多个第一专用CPU和多个第二专用CPU通过通信总线完成相互间的通信,所述处理设备与多个机械臂通信连接,每个机械臂上安装有摄像头;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实时获取每个摄像头采集的图像数据并存储;
多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的。
10.一种处理设备,其特征在于,包括处理器、通信接口、存储器、通信总线、多个第一专用CPU、多个第二专用CPU和GPU,其中,处理器,通信接口,存储器,多个第一专用CPU和多个第二专用CPU通过通信总线完成相互间的通信,所述处理设备与多个机械臂通信连接,每个机械臂上安装有摄像头;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,获取每个摄像头采集的图像数据并存储;
多个第一专用CPU,分别用于循环执行读取处理,其中,所述读取处理为:从所存储的图像数据中读取第一预设图像数量的图像数据;
多个第二专用CPU,用于按照预设的数据处理方式,对所述多个第一专用CPU已读取的图像数据进行数据处理,获得每个图像数据对应的图像样本,其中,所述预设的数据处理方式是根据机器学习模型训练的需要预设的;
GPU,用于获取所述图像样本,利用所获取的图像样本对所述机器学习模型进行参数训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710896985.4A CN109598348B (zh) | 2017-09-28 | 2017-09-28 | 一种图像样本获取、模型训练方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710896985.4A CN109598348B (zh) | 2017-09-28 | 2017-09-28 | 一种图像样本获取、模型训练方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109598348A true CN109598348A (zh) | 2019-04-09 |
CN109598348B CN109598348B (zh) | 2023-06-06 |
Family
ID=65955444
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710896985.4A Active CN109598348B (zh) | 2017-09-28 | 2017-09-28 | 一种图像样本获取、模型训练方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109598348B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111787185A (zh) * | 2020-08-04 | 2020-10-16 | 成都云图睿视科技有限公司 | 一种vpu平台下的多路摄像头数据实时处理的方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103067633A (zh) * | 2011-10-20 | 2013-04-24 | 东友科技股份有限公司 | 可提升作业速度的作业方法及其适用的图像处理设备 |
WO2015192812A1 (en) * | 2014-06-20 | 2015-12-23 | Tencent Technology (Shenzhen) Company Limited | Data parallel processing method and apparatus based on multiple graphic procesing units |
CN105205169A (zh) * | 2015-10-12 | 2015-12-30 | 中国电子科技集团公司第二十八研究所 | 一种分布式图像索引与检索方法 |
CN105677752A (zh) * | 2015-12-30 | 2016-06-15 | 深圳先进技术研究院 | 一种流式计算和批处理计算相结合处理***及方法 |
CN106534784A (zh) * | 2016-11-22 | 2017-03-22 | 苏州航天***工程有限公司 | 一种用于视频分析数据结果集的采集分析存储统计*** |
CN106603690A (zh) * | 2016-12-27 | 2017-04-26 | 东华互联宜家数据服务有限公司 | 数据分析装置、数据分析处理***和数据分析方法 |
CN106873945A (zh) * | 2016-12-29 | 2017-06-20 | 中山大学 | 基于批处理和流式处理的数据处理架构及数据处理方法 |
CN107067365A (zh) * | 2017-04-25 | 2017-08-18 | 中国石油大学(华东) | 基于深度学习的分布嵌入式实时视频流处理***及方法 |
-
2017
- 2017-09-28 CN CN201710896985.4A patent/CN109598348B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103067633A (zh) * | 2011-10-20 | 2013-04-24 | 东友科技股份有限公司 | 可提升作业速度的作业方法及其适用的图像处理设备 |
WO2015192812A1 (en) * | 2014-06-20 | 2015-12-23 | Tencent Technology (Shenzhen) Company Limited | Data parallel processing method and apparatus based on multiple graphic procesing units |
US20160321777A1 (en) * | 2014-06-20 | 2016-11-03 | Tencent Technology (Shenzhen) Company Limited | Data parallel processing method and apparatus based on multiple graphic processing units |
CN105205169A (zh) * | 2015-10-12 | 2015-12-30 | 中国电子科技集团公司第二十八研究所 | 一种分布式图像索引与检索方法 |
CN105677752A (zh) * | 2015-12-30 | 2016-06-15 | 深圳先进技术研究院 | 一种流式计算和批处理计算相结合处理***及方法 |
CN106534784A (zh) * | 2016-11-22 | 2017-03-22 | 苏州航天***工程有限公司 | 一种用于视频分析数据结果集的采集分析存储统计*** |
CN106603690A (zh) * | 2016-12-27 | 2017-04-26 | 东华互联宜家数据服务有限公司 | 数据分析装置、数据分析处理***和数据分析方法 |
CN106873945A (zh) * | 2016-12-29 | 2017-06-20 | 中山大学 | 基于批处理和流式处理的数据处理架构及数据处理方法 |
CN107067365A (zh) * | 2017-04-25 | 2017-08-18 | 中国石油大学(华东) | 基于深度学习的分布嵌入式实时视频流处理***及方法 |
Non-Patent Citations (4)
Title |
---|
欧阳建权 等: "基于Storm的在线序列极限学习机的气象预测模型", 《计算机研究与发展》 * |
欧阳建权 等: "基于Storm的在线序列极限学习机的气象预测模型", 《计算机研究与发展》, vol. 54, no. 8, 31 August 2017 (2017-08-31), pages 1736 - 1743 * |
章清锋: "基于分布式流计算框架的动态光场采集与绘制***", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
章清锋: "基于分布式流计算框架的动态光场采集与绘制***", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 October 2015 (2015-10-15), pages 19 - 46 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111787185A (zh) * | 2020-08-04 | 2020-10-16 | 成都云图睿视科技有限公司 | 一种vpu平台下的多路摄像头数据实时处理的方法 |
CN111787185B (zh) * | 2020-08-04 | 2023-09-05 | 成都云图睿视科技有限公司 | 一种vpu平台下的多路摄像头数据实时处理的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109598348B (zh) | 2023-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Martin et al. | Augmented reality in education 4.0 | |
CN110263921A (zh) | 一种联邦学习模型的训练方法及装置 | |
US8347044B2 (en) | Multi-processor based programmable logic controller and method for operating the same | |
JP6833916B2 (ja) | データ処理装置、人工知能チップ及び電子機器 | |
CN104881666B (zh) | 一种基于fpga的实时二值图像连通域标记实现方法 | |
CN111008561B (zh) | 一种牲畜的数量确定方法、终端及计算机存储介质 | |
CN109740657A (zh) | 一种用于图像数据分类的神经网络模型的训练方法与设备 | |
CN103098077A (zh) | 实时视频帧预处理硬件 | |
JP2022520390A (ja) | 画像認識方法、認識モデルのトレーニング方法及びその装置、並びにコンピュータプログラム | |
CN109407603A (zh) | 一种控制机械臂抓取物体的方法及装置 | |
CN112541584B (zh) | 深度神经网络模型并行模式选择方法 | |
CN110969600A (zh) | 一种产品缺陷检测方法、装置、电子设备及存储介质 | |
CN106373112A (zh) | 图像处理方法、装置和电子设备 | |
CN110293549A (zh) | 机械臂控制方法、装置及神经网络模型训练方法、装置 | |
CN113724128A (zh) | 一种训练样本的扩充方法 | |
CN112748941A (zh) | 基于反馈信息的目标应用程序的更新方法和装置 | |
CN109670578A (zh) | 神经网络首层卷积层数据处理方法、装置及计算机设备 | |
CN109741244A (zh) | 图片生成方法及装置、存储介质及电子设备 | |
CN109598348A (zh) | 一种图像样本获取、模型训练方法及*** | |
CN109741296A (zh) | 产品质量检测方法及装置 | |
CN106375658B (zh) | 一种甚高精度图像处理vlsi验证方法 | |
CN107483868A (zh) | Vbo信号的处理方法、fpga及激光电视 | |
EP3306462B1 (en) | Display device, and display signal input system and display signal input method thereof | |
CN115690592B (zh) | 图像处理方法和模型训练方法 | |
CN105702233B (zh) | 一种图像数据取窗方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |