CN110235137A - 学习数据获取设备和方法、程序和存储介质 - Google Patents

学习数据获取设备和方法、程序和存储介质 Download PDF

Info

Publication number
CN110235137A
CN110235137A CN201780069751.0A CN201780069751A CN110235137A CN 110235137 A CN110235137 A CN 110235137A CN 201780069751 A CN201780069751 A CN 201780069751A CN 110235137 A CN110235137 A CN 110235137A
Authority
CN
China
Prior art keywords
learning data
learning
equipment
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780069751.0A
Other languages
English (en)
Inventor
安藤丹一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN110235137A publication Critical patent/CN110235137A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Manipulator (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明涉及学习数据获取设备和方法、程序和存储介质。所述学习数据获取设备被配置为获取关于机器学习的学习对象的学习数据,并且包括:学习数据获取部,其根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及修改指示部,其根据所述学习条件信息来对所述学习数据获取部获取学习数据的设置进行修改。通过根据所述学习条件信息修改各种设置,可节省本地计算机或服务器的***资源,并且可提高学习数据获取效率。

Description

学习数据获取设备和方法、程序和存储介质
技术领域
本发明涉及深度学习领域,更具体地,涉及用于获取与机器学习的学习对象有关的学习数据的学习数据获取设备和方法、程序和存储介质。
背景技术
近年来,以深度学习为代表的人工智能(AI)技术不断进步,并且诸如基于输入数据(例如,相机图像和传感器数据)对分析对象进行分类和预测的技术开始普及。通过使用诸如深度学习技术的AI技术,机器可获得诸如通过自动学习对分析对象进行分类的能力。
随着AI技术的快速发展,作为学习结果而由机器获得的能力越来越宽泛。因此,更多的用户希望使用诸如深度学习技术的学习来训练机器,以获得期望的能力。
最近,已提出了一种能够通过机器学习并使用图像数据作为学习数据来对图像中所涉及的对象进行分类或标识的装置(例如,专利文献1中的分类机)。
现有技术文献
专利文献
专利文献1:日本特开2016-40650号公报
发明内容
·要解决的技术问题
当进行深度学习时,应该基于大量的学习数据来进行学习。通常,如果用于学习的学习数据较少,则所获得的能力可应对的范围变窄。然而,由于深度学习类型的学习会花费大量时间和***资源,所以无法添加太多数据。因此,普通用户无法决定应该准备什么类型的学习数据或者应该准备学习数据到什么程度以使得可获得期望的能力。在准备学习数据时存在浪费时间和精力的问题。
例如,在上述专利文献1中公开了一种能够执行图像的高精度分类的学习机器(分类机)。为了构成这种学习机器,需要采集大量的各种学习数据,并且按需要根据学习机器要获得的能力将那些学习数据输入到学习机器。然而,将人工地完成那些大量的各种学习数据的采集和输入,从而浪费了时间和人力。
具体地,当采集学习数据时,用于对学习对象执行操作的对象操作设备的配置、从学习对象处采集数据的数据采集设备等可能需要修改,这给用户带来了很大的负担。
因此,采集学习数据的自动化变得极其重要。
本发明要解决的技术问题之一是提供可自动地或半自动地获取学习数据的设备、方法、程序和存储介质。
·技术问题的解决方案
根据本发明的实施方式,提供了一种学习数据获取设备,以获取关于机器学习的学习对象的学习数据,并且所述学习数据获取设备可包括:学习数据获取部,其根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及修改指示部,其根据所述学习条件信息来对学习数据获取部获取学习数据的设置进行修改。
此外,学习数据获取部可包括:操作部,其控制对象操作设备或数据采集设备,其中对象操作设备对学习对象执行操作,所述数据采集设备从学习对象处采集数据;以及输入输出部,其接收由所述数据采集设备采集的数据,并输出根据所述数据生成的学习数据。
在上述学习数据获取设备中,所述学习条件信息可包括关于所述对象操作设备或所述数据采集设备的操作信息,并且所述修改指示部可根据所述操作信息,对所述操作部操作所述对象操作设备或所述数据采集设备的设置进行修改。
在上述学习数据获取设备中,所述学习条件信息包括关于所述对象操作设备或所述数据采集设备的操作信息,所述输入输出部还可接收关于所述对象操作设备或所述数据采集设备的状态信息,并且所述修改指示部可根据所述操作信息和所述状态信息,对所述操作部操作所述对象操作设备或所述数据采集设备的设置进行修改。
此外,所述对象操作设备可包括第一操作部和第二操作部,并且所述第一操作部和所述第二操作部都能够操作学习对象,其中,所述修改指示部可对所述操作部操作所述对象操作设备的设置进行修改,以从使用所述第一操作部来操作学习对象切换为使用所述第二操作部来操作学习对象。
类似地,在上述学习数据获取设备中,所述数据采集设备可包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,其中,所述修改指示部可对所述操作部操作所述数据采集设备的设置进行修改,以从使用所述第一采集部采集数据切换为使用所述第二采集部采集数据。
类似地,在上述学习数据获取设备中,所述数据采集设备可包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,并且所述第一采集部和所述第二采集部在从学习对象处采集数据之前执行选自充电、准备存储空间和设定采集参数中的至少一个的初始化操作,其中,所述修改指示部可对所述操作部操作所述数据采集设备的设置进行修改,以从所述第一采集部的初始化操作切换为所述第二采集部的初始化操作。
此外,所述数据采集设备可按照第一通信方式和第二通信方式中的一种方式将所采集的数据提供给所述输入输出部,并且所述修改指示部可对所述学习数据获取部的设置进行修改,以从使用所述第一通信方式切换为使用所述第二通信方式。
在上述学习数据获取设备中,此外,所述学习数据获取部还可包括:管理部,所述管理部管理所述操作部和所述输入输出部,所述学习条件信息包括第一学习条件信息和第二学习条件信息,并且所述修改指示部可对所述管理部的设置进行修改,以从根据所述第一学习条件信息获取学习数据切换为根据所述第二学习条件信息获取学习数据。
在上述学习数据获取设备中,此外,所述学习数据获取部还可包括:管理部,所述管理部管理所述操作部和所述输入输出部,所述学习条件信息包括用于获取学习数据的程序的信息,并且所述程序包括第一程序和第二程序,并且所述修改指示部可对所述管理部的设置进行修改,以从使用所述第一程序获取学习数据切换为使用所述第二程序获取学习数据。
此外,上述学习数据获取设备还可包括:学习条件信息生成部,其从外部接收所述学习条件信息或根据所述委托信息生成所述学习条件信息,并将所述学习条件信息发送到所述学习数据获取部和所述修改指示部。
此外,上述学习数据获取设备还可包括:学习数据存储部,其存储学习数据。
根据本发明的另一实施方式,提供了一种学习数据获取方法,以获取关于机器学习的学习对象的学习数据,并且所述学习数据获取方法可包括以下步骤:根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及根据所述学习条件信息来对获取学习数据的设置进行修改。
此外,获取关于学习对象的学习数据的步骤可包括以下步骤:控制对象操作设备或数据采集设备,其中所述对象操作设备对学习对象执行操作,所述数据采集设备从学习对象处采集数据;以及接收从所述数据采集设备处采集的数据,并输出根据所述数据生成的学习数据。
在上述学习数据获取方法中,所述学习条件信息可包括关于所述对象操作设备或所述数据采集设备的操作信息,并且对获取学习数据的设置进行修改的步骤可包括:根据所述操作信息,对操作所述对象操作设备或所述数据采集设备的设置进行修改。
另选地,在上述学习数据获取方法中,所述学习条件信息可包括关于所述对象操作设备或所述数据采集设备的操作信息,接收关于所述对象操作设备或所述数据采集设备的状态信息,其中,根据所述操作信息和所述状态信息,对操作所述对象操作设备或所述数据采集设备的设置进行修改。
此外,所述对象操作设备可包括第一操作部和第二操作部,并且所述第一操作部和所述第二操作部都能够操作学习对象,其中,对操作所述对象操作设备的设置进行修改的步骤可包括以下步骤:从使用所述第一操作部操作学习对象切换为使用所述第二操作部操作学习对象。
类似地,所述数据采集设备可包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,其中,对操作所述数据采集设备的设置进行修改的步骤可包括以下步骤:从使用所述第一采集部采集数据切换为使用所述第二采集部采集数据。
类似地,所述数据采集设备可包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,并且所述第一采集部和所述第二采集部在从学习对象处采集数据之前执行选自充电、准备存储空间和设定采集参数中的至少一个的初始化操作,其中,对操作所述数据采集设备的设置进行修改的步骤可包括以下步骤:从所述第一采集部的初始化操作切换为所述第二采集部的初始化操作。
此外,上述学习数据获取方法还可包括:以第一通信方式和第二通信方式中的一种方式从所述数据采集设备处接收所采集的数据,其中,对操作所述数据采集设备的设置进行修改的步骤可包括以下步骤:从使用所述第一通信方式切换为使用所述第二通信方式。
此外,上述学习数据获取方法还可包括:所述学习条件信息可包括第一学习条件信息和第二学习条件信息,并且对获取学习数据的设置进行修改的步骤可包括以下步骤:从根据所述第一学习条件信息获取学习数据切换为根据所述第二学习条件信息获取学习数据。
在上述学习数据获取方法中,所述学习条件信息可包括用于获取学习数据的程序的信息,并且所述程序包括第一程序和第二程序,其中,对关于获取学习数据的设置进行修改的步骤可包括以下步骤:从使用所述第一程序获取学习数据切换为使用所述第二程序获取学习数据。
此外,上述学习数据获取方法还可包括以下步骤:接收所述学习条件信息;或者根据所述委托信息生成所述学习条件信息。
此外,上述学习数据获取方法还可包括以下步骤:存储学习数据。
根据本发明的另一实施方式,提供了一种程序,以获取关于机器学习的学习对象的学习数据,所述程序可使得处理器能够执行上述学习数据获取方法。
根据本发明的另一实施方式,提供了一种存储介质,并且所述存储介质可存储上述程序。
·本发明的效果
根据本发明的实施方式的学习数据获取设备和方法、程序和存储介质可根据学习条件信息来对获取学习数据的设置进行修改,以能够在获取学习数据的处理期间自动地配置对象操作设备、数据采集设备等,并且极大地减轻了用户的负担。
此外,与用户人工地配置或修改与获取学习数据有关的各种设备相比,根据本发明的实施方式的学习数据获取设备或方法可提高配置精度、改进学习数据质量以及避免在修改处理中可能出现的人为错误。此外,根据本发明的实施方式的学习数据获取设备或方法可节省本地计算机或服务器的***资源,并且可提高学习数据获取效率。
附图说明
本文所示的附图构成说明书的一部分,以进一步理解本发明。本发明的例示性示例及其说明用于解释本发明,并不构成对本发明的不恰当限制。在附图中,
图1是示出作为实现根据本发明的例示性实施方式的学习数据获取设备的硬件构造的PC的示意图;
图2是示出根据本发明的例示性实施方式的学习数据获取设备的功能模块的框图;
图3是示出根据本发明的例示性实施方式的对象操作设备的功能模块的框图;
图4是示出根据本发明的例示性实施方式的学习数据获取设备中所包括的学习数据获取部的功能模块的框图;
图5是示出根据本发明的例示性实施方式的学习数据获取方法的流程图;
图6是示出根据本发明的例示性实施方式的学习数据获取设备的第一应用示例的功能模块的框图;
图7是第一应用示例的学习数据获取方法的一个示例的流程图;
图8是示出使用利用根据本发明的例示性实施方式的学习数据获取方法获取的学习数据执行深度学习的一个示例的示意图;
图9是示出根据本发明的例示性实施方式的学习数据获取设备的第二应用示例的功能模块的框图;以及
图10是第二应用示例的学习数据获取方法的一个示例的流程图。
具体实施方式
为了使得本领域技术人员更好地理解本发明,下面将结合本发明的附图清楚且完整地描述本发明的实施方式。显然,描述了本发明的一些但非所有的实施方式。基于本发明的实施方式,本领域技术人员在不付出创造性劳动的情况下所获得的所有其它实施方式落入本发明的保护范围内。
图1是示出作为实现根据本发明的例示性实施方式的学习数据获取设备200的硬件构造的PC(个人计算机)100的示例的示意图。如图1所示,这种PC 100可包括被配置为执行总体控制的CPU 110、被配置为存储***软件的只读存储器(ROM)120、被配置为存储写入/读出数据的随机存取存储器(RAM)130、被配置为存储各种程序和数据的存储部140、作为输入输出的接口的接口部150以及被配置为实现通信功能的通信部160。另选地,CPU 110可由诸如微处理器MCU或可编程逻辑器件FPGA的处理器代替。接口部150可包括诸如输入/输出接口(I/O接口)、通用串行总线(USB)端口(其可用作I/O接口的端口中的一个端口)和网络接口的各种接口。本领域普通技术人员可理解,图1所示的结构仅是例示性的,它不限制学习数据获取设备200的硬件构造。例如,PC 100还可包括比图1所示的部件更多或更少的部件,或者具有不同于图1所示配置的配置。
应该注意的是,上述CPU 100可包括一个或更多个处理器和/或其它数据处理电路,所述一个或更多个处理器和/或其它数据处理电路的全部或部分可被具体实现为软件、硬件、固件或任何其它组合。此外,所述一个或更多个处理器和/或其它数据处理电路可以是单个独立的处理模块,或者全部或部分地组合在PC 100的其它部件的任一个部件中。
存储部140可用于存储应用软件的软件程序和模块,例如,与本发明稍后要描述的、用于获取与机器学习的学习对象有关的学习数据的方法相对应的程序命令/数据,此外,存储部140还可用于存储用户委托学习的委托信息、学习数据等。CPU 110通过运行存储在存储部140中的软件程序和模块来实现上述用于获取学习数据的方法。存储部140可包括非易失性存储器,例如一个或更多个磁存储装置、闪存或其它非易失性固态存储器。在一些示例中,存储部140还可包括相对于CPU 110远程地设置的存储器,并且这些远程存储器可经由网络连接到PC 100。上述网络的示例包括但不限于互联网、内联网、局域网、移动通信网络及其组合。
接口部150可包括触摸显示器(也称为“触摸屏”)。在一些示例中,上述触摸显示器可呈现图形用户界面(GUI),并且用户可通过利用手指或触摸笔触摸屏幕和/或通过手势来与GUI进行人机交互,以输入委托学习的委托信息等。此外,用户也可通过上述触摸显示器所示的图像来获悉学习数据采集的情况。用于执行上述人机交互功能的可执行命令被配置/存储在一个或更多个处理器可执行计算机程序产品或可读存储器介质中,例如,可执行命令可被存储在存储部140中。
通信部160用于经由网络接收或发送数据。上述网络的示例可包括PC 100的通信供应商所提供的无线网络。在一个示例中,通信部160可包括网络接口控制器(NIC),该NIC可通过基站与其它网络装置连接,以使得它可与互联网进行通信。在一个示例中,通信部160可以是射频(RF)模块,该模块被配置为以无线方式与互联网进行通信。
本领域技术人员可理解,作为实现根据本发明的例示性实施方式的学***板PC、移动互联网装置(MID)和PAD的终端装置。另选地,作为实现根据本发明的例示性实施方式的学习数据获取设备200的硬件构造的示例,图1中的、接口部150以外的各种部件也可位于服务器侧或位于云端上。
图2是示出根据本发明的例示性实施方式的学习数据获取设备200的功能模块的框图。学习数据获取设备200用于获取与机器学习的学习对象有关的学习数据。例如,作为学习对象的示例可以是食品加工厂中的生产线上的甜点。通过获取关于甜点的图像和甜点的合格品/次品信息作为学习数据,可使得生产线上的检测装置能够利用该学习数据通过现有深度学习方法进行学习,以获得判断甜点是合格品还是次品的能力。
如图2所示,根据本发明的例示性实施方式的学习数据获取设备200包括:学习数据获取部210,其可根据学习条件信息获取关于学习对象的学习数据,该学习条件信息是根据用户委托学习的委托信息生成的信息;以及修改指示部220,其可根据学习条件信息来对学习数据获取部获取学习数据的设置进行修改。
通过提供修改指示部220,学习数据获取设备200可根据获取学习数据的要求自动地完成更换操作,而无需人工参与,例如,当需要更换对象操作设备300的机械臂并且从数据采集设备400的多个相机中选择合适的相机,以使得可提高对象操作设备300和/或数据采集设备400的配置精度时,所获得的学习数据的质量得到提高,并且避免了在部件修改处理期间可能出现的人为错误。此外,通过与各种连接的部件的操作协作,根据本发明的实施方式的学习数据获取设备200可节省本地计算机或服务器的***资源,并且提高学习数据获取效率。
本发明提到的“委托信息”可包括由用户提供的用于委托学习的各种类型的信息。在一个可选实施方式中,例如,它可包括学习对象的信息和学习目标的信息。作为一个示例,例如,当在食品加工厂的生产线上判断甜点是合格品还是次品时,学习目标可以是使得生产线上的检测装置能够获得判断甜点是合格品还是次品的能力,或者学习目标可以是使得生产线上的检测装置能够获得对甜点进行分类的能力、分级的能力等。当然,委托信息仍可包括各种类型的其它信息,只要可实现本发明的目的即可。例如,委托信息可包括与用户(委托方)有关的信息等。
此外,如图1所示,根据本发明的例示性实施方式的学习数据获取设备200还可包括:学习条件信息生成部230,其从外部接收学习条件信息或根据委托信息生成学习条件信息,并将学习条件信息发送到学习数据获取部210和修改指示部220;以及学习数据存储部240,其存储学习数据。
通过提供学习条件信息生成部230,用户可直观地输入委托信息,但是不需要具有对深度学习技术的深入理解,因此,简化了用户操作,并且降低了用户使用深度学习技术的难度。例如,上述接口部150可包括触摸显示器,该触摸显示器可显示可与用户进行交互的GUI。作为示例,GUI可提示用户输入关于学习目标的精度的信息,例如,学习目标是使得装置能够具有区分合格品/次品的能力或者使得装置能够具有将产品分级为一等品/二等品/三等品/次品的能力。学习条件信息生成部230可确定学习条件信息中的与学习数据的量有关的信息、通过检测样本而获得的检测结果的数据类型的信息等。
本领域普通技术人员可理解,根据本发明的例示性实施方式的学习数据获取设备200也可不包括学习条件信息生成部230,例如,学习数据获取部210和修改指示部220可直接从学习数据获取设备200的外部接收学习条件信息。或者可选地,修改指示部220可不直接从学习条件信息生成部230接收学习条件信息,例如,学习数据获取部210从学习条件信息生成部230或外部接收学习条件信息,并且将从学习条件信息提取的一部分信息提供给修改指示部220。同样,根据本发明的例示性实施方式的学习数据获取设备200也可不包括学习数据存储部240,学习数据获取设备200将所获取的学习数据提供给外部存储装置或进行深度学习的装置。
本发明提到的“学习条件信息”是根据用户提供的委托学习的委托信息生成的信息。在一个可选实施方式中,例如,学习数据获取设备200可包括被配置为存储学习条件信息的学习条件信息数据库(图中未示出),并且当接收到委托信息时,学习条件信息生成部230在学习条件信息数据库中检索与委托信息相对应的学习条件信息。另选地,学习数据获取设备200可预先存储被配置为生成学习条件信息的程序,并且当接收到委托信息时,学习条件信息生成部230使用该程序来生成与委托信息相对应的学习条件信息。可预先基于相关的深度学习技术来提供学习条件信息数据库或者用于生成学习条件信息的程序。
学习条件信息可包括与学习对象有关的学习数据的各种类型的信息。在一个可选实施方式中,例如,学习条件信息可包括关于学习对象、学习目标、对象操作设备、数据采集设备、学习数据等的信息。作为示例,学习条件信息可包括关于对象操作设备300的信息,例如,对象操作设备300的类型(例如,机器人)、硬件配置(例如,具有多个机械臂)、控制方法(例如,控制过程、参数信息等)。学习数据获取部210可根据学习条件信息向对象操作设备300提供控制信息,以使得对象操作设备300可对学习对象执行操作。
本发明提到的“对象操作设备”可对学习对象执行操作,以使得学习对象采取各种动作以生成学习数据,或者实现学习对象的各种状态等。此外,可选地,本发明提到的“对象操作设备”还可对数据采集设备执行操作,以使得数据采集设备采取各种动作以从学习对象处采集数据,或者实现各种状态等。
图3是示出根据本发明的例示性实施方式的对象操作设备300的功能模块的框图。如图3所示,对象操作设备300可包括控制部310、通信部320和执行部330。控制部310通常根据来自学习数据获取设备200的控制信息来控制对象操作设备300的各种部件的操作。执行部330可对学习对象和/或数据采集设备执行操作。通信部320可通过局域网500与外部进行通信,例如,从学习数据获取设备200处接收控制信息、将对象操作设备的状态信息发送到学习数据获取设备200等。可选地,通信部320也可通过各种其它通信方式(例如,互联网、内联网、移动通信网络及其组合)发送/接收信息。
作为示例,例如,当在食品加工厂的生产线上判断甜点是合格品还是次品时,对象操作设备300例如可以是机器人,并且执行部330例如可以是该机器人的一个或更多个机械臂,而数据采集设备400可包括用于拍摄甜点的一个或更多个相机以及对承载甜点的承载台的方向进行感测的方向传感器。根据通信部320从学习数据获取设备200接收到的控制信息,控制部310控制执行部330,以操作一个或更多个相机的姿态,并使承载甜点的承载台的方向发生预定改变,以拍摄甜点的期望图像。
在图2中,示出了对象操作设备300将其状态信息(例如,使用了哪一机械臂)提供给学习数据获取设备200,但是本发明不限于此。也可通过数据采集设备400将对象操作设备300的状态信息提供给学习数据获取设备200。
图4是示出根据本发明的例示性实施方式的学习数据获取设备200中所包括的学习数据获取部210的功能模块的框图。如图4所示,学习数据获取部210可包括:操作部211,其控制对象操作设备300对学习对象执行操作或者数据采集设备400从学习对象处采集数据;输入输出部212,其接收由数据采集设备400采集的数据,并输出根据该数据生成的学习数据;以及管理部213,其管理学习数据获取部210的各种部件(例如,操作部211、输入输出部212)。
作为示例,例如,输入输出部212从学习条件信息生成部230处接收学习条件信息并将其提供给管理部213。根据预先存储的程序或数据库,管理部213可分析学习条件信息、生成对应的操作命令并将该操作命令提供给操作部211。操作部211根据该操作命令将控制信息提供给对象操作设备300和/或数据采集设备400,以控制对象操作设备300和/或数据采集设备400的操作。
此外,学习条件信息可包括关于对象操作设备300或数据采集设备400的操作信息,并且根据该操作信息,修改指示部220可对操作部211操作对象操作设备300和/或数据采集设备400的设置进行修改。作为示例,操作信息表示数据采集设备400包括多个相机,并且修改指示部220可根据操作信息向管理部213提供修改信息,以对操作部211操作数据采集设备400的设置进行修改,使得操作部211向第一相机提供控制信息可被修改为操作部211向第二相机提供控制信息。
因此,当需要时,学习数据获取设备200可根据客户委托要求来修改对象操作设备300和/或数据采集设备400的操作,以简化用户操作、提高学习数据获取效率以及节省本地计算机或服务器的***资源。
作为另一示例,例如,输入输出部212可接收来自学习条件信息生成部230的学习条件信息以及来自对象操作设备300和/或数据采集设备400的状态信息,并将上述信息提供给管理部213。根据预先存储的程序或数据库,管理部213可分析学习条件信息、生成对应的操作命令并将其提供给操作部211。操作部211根据该操作命令将控制信息提供给对象操作设备300和/或数据采集设备400,以控制对象操作设备300和/或数据采集设备400的操作。
此外,输入输出部212可将对象操作设备300和/或数据采集设备400的状态信息提供给修改指示部220。修改指示部220可根据操作信息和状态信息来对操作部211操作对象操作设备300和/或数据采集设备400的设置进行修改。作为示例,例如,操作信息表示数据采集设备400包括多个相机,并且状态信息表示相机中的一个相机处于故障状态。修改指示部220可根据操作信息和状态信息向管理部213提供修改信息,以对操作部211操作数据采集设备400的设置进行修改,使得操作部211向处于故障状态的相机提供控制信息可被修改为操作部211向没有故障的其它相机提供控制信息。
因此,当需要时,学习数据获取设备200可不仅根据客户委托要求,而且根据所使用的对象操作设备300和/或数据采集设备400的具体情况来修改对象操作设备300和/或数据采集设备400的操作,以简化用户操作、提高学习数据获取效率以及节省本地计算机或服务器的***资源。
上文仅仅为了说明根据本发明的例示性实施方式的学习数据获取设备200的功能模块。本领域普通技术人员可理解,上述功能模块的划分仅仅是逻辑功能划分,而在实际实现中可存在多种不同的划分方式,例如,修改指示部220的部分或全部可被组合或集成到学习数据获取部210中。上述功能模块可物理地集成或分离,它们可位于一个地方,也可分布到多个网络单元上,可根据实际要求选择合适的实现方式。
下面结合图5说明根据本发明的例示性实施方式的学习数据获取方法。图5是示出根据本发明的例示性实施方式的学习数据获取方法的流程图。如图5所示,在步骤S501中,学习条件信息生成部230从外部接收学习条件信息或根据用户输入的委托信息生成学习条件信息,并将学习条件信息提供给学习数据获取部210和修改指示部220,然后所述方法前进至步骤S502。
在步骤S502中,学习数据获取部210根据学习条件信息向对象操作设备300和/或数据采集设备400提供控制信息,以使得对象操作设备300和/或数据采集设备400采取对应的动作,然后所述方法前进至步骤S503。在步骤S503中,学习数据获取部210接收由数据采集设备400采集的数据,并与其它数据(例如,学习对象的状态信息,例如合格品/次品)组合生成学习数据,然后所述方法前进至步骤S504。
在步骤S504中,学习数据获取部210确定是否已生成预定量的学习数据。如果还未生成预定量的学习数据(判断结果为“否”),则返回到所述方法的步骤S502,以继续生成下一学习数据;如果已生成预定量的学习数据(判断结果为“是”),则所述方法前进至步骤S505。
在步骤S505中,修改指示部220确定是否已对学习数据获取部210获取学习数据的设置进行了修改。如果需要修改但还未进行修改(判断结果为“否”),则所述方法前进至步骤S506。在步骤S506中,修改指示部220根据学习条件信息对学习数据获取部210获取学习数据的设置进行修改,然后返回到所述方法的步骤S502,以继续在修改的环境下生成学习数据;如果已进行修改(判断结果为“是”),则意味着此时已在各个修改的环境下获取了学习数据,流程结束。
在如图5所示的根据本发明的例示性实施方式的学习数据获取方法中,在步骤S504中,学习数据获取部210确定是否已生成预定量的学习数据。预定量的信息可以是部分学习条件信息。例如,在获取用于训练机器以获得分级能力的学习数据的情况下,可根据用户输入的委托信息中的分级精度信息来确定所需的学习数据的量,并且所述量信息可充当用于控制学习数据的生成的学习条件信息的一部分。
可选地,在步骤S504中,代替判断所述量,也可判断时间。例如,在步骤S504中,学习数据获取部210可判断是否已执行了预定时间的学习数据的生成。如果未执行预定时间的生成(判断结果为“否”),则返回到所述方法的步骤S502,以继续生成下一学习数据;如果已执行预定时间的生成(判断结果为“是”),则所述方法前进至步骤S505。
基于上述学习数据获取方法,用户仅需要输入委托信息,并且可在不过多参与生成学习数据的处理的情况下获得期望的学习数据。这大大简化了用户的操作,以使得用户也可利用深度学习技术,而无需理解诸如深度学习算法的知识。
[第一应用示例]
当使用生产线上的抓取装置抓取物品时,存在抓取失败的可能性。在第一应用示例中,容器C1中的物品可被不规则地布置,例如,它们可层叠,并且物品本身的形状也可是不规则的。因此,通过机械臂抓取的物品部分和用于执行抓取操作的机械臂的类型均将影响抓取物品的成功率。在第一应用示例中,期望获得学习数据来进行深度学习以提高抓取成功率。生产线上的抓取装置可使用学习数据进行学习以改进抓取成功。
在获取学习数据的处理期间,根据诸如用户所输入的不同委托信息的因素,学习内容相应地将是不同的,并且应该根据学习内容更换机器人的机械臂。例如,在高精度机械臂与低精度机械臂之间进行切换。通常,高精度机械臂可以实现更精确的抓取操作,但是其操作时间将比低精度机械臂短。又如,在手指机械臂与吸盘机械臂之间进行切换。通常,手指机械臂在抓取不规则物品或易碎物品时更有利,但是其操作效率将低于吸盘机械臂。
作为用户所输入的委托信息的示例,例如,委托信息中可包括关于用户偏好的信息。当用户期望时间的偏好时,低精度机械臂可用于抓取物品;当用户期望抓取成功率的偏好时,高精度机械臂可用于抓取物品。作为用户所输入的委托信息的另一示例,例如,委托信息中可包括物品类型的信息。当物品是不规则物品或易碎物品时,手指机械臂可用于抓取物品;当物品是规则物品时,吸盘机械臂可用于抓取物品。
例如,用户所输入的委托信息还可包括各种其它类型的信息。例如,可包括关于学习数据的精度的信息。当用户期望获得低精度学习数据时,可仅判断抓取结果是成功的还是失败的;当用户期望获得高精度学习数据时,例如,抓取结果可以是选自未损拾放、受损拾放和失败拾放中的一个。
图6是示出根据本发明的例示性实施方式的学习数据获取设备200的第一应用示例的功能模块的框图。在图6中,学习数据获取设备600等同于学习数据获取设备200,学习数据获取部610等同于学习数据获取部210,连接修改部620等同于修改指示部220,机器人控制设备630和机器人631等同于对象操作设备300,拍摄部640、传感器部641和检测部642等同于数据采集设备400。
学习数据获取部610根据学习条件信息向机器人控制设备630提供控制信息,以使得机器人控制设备630基于控制信息向机器人631发送控制命令,以控制机器人631的动作。机器人631可包括驱动部6311和机械臂部6312,并且驱动部6311从机器人控制设备630接收控制命令,以驱动机械臂部6312执行抓取操作。机械臂部6312例如可包括多个机械臂,例如,图6示出了两个机械臂,机械臂A1和机械臂A2。驱动部6311可根据控制命令在多个机械臂之间进行切换。机械臂部6312抓取放在容器C1中的物品,并将该物品放到容器C2中。
学习数据获取部610根据学习条件信息向拍摄部640发送拍摄指令,并且拍摄部640拍摄容器C1中的物品,以获取该物品的图像数据。在获取一个学习数据的处理期间,拍摄部640的拍摄操作和机器人631的抓取操作是协同的。例如,学习数据获取部610可首先控制拍摄部640拍摄容器C1中的物品的一张照片、根据该照片确定要抓取的一个物品并计算机器人的最佳坐标。然后,学习数据获取部610可控制机器人朝着最佳坐标移动,并使用机器人的机械臂执行抓取操作,此后,使用拍摄部640拍摄最佳坐标周围的图像,以获得图像数据。图像数据可作为学习数据的一部分被提供给学习数据获取部610。
拍摄部640可包括多个相机,并且所述多个相机从不同的方向同时拍摄要抓取的物品,以获得要抓取的物品在不同方向的多个照片。另选地,拍摄部640可仅仅包括一个相机,并且该相机顺序地从不同的方向拍摄要抓取的物品,以获得要抓取的物品在不同方向的多个照片。可在拍摄部640中将多个照片合成为关于要抓取的物品的全景照片并作为学习数据的一部分提供给学习数据获取部610;另选地,照片直接被拍摄部640提供给学习数据获取部610,并被学习数据获取部610处理成学习数据的一部分。
传感器部641检测由机械臂部6312执行的抓取动作,并将检测值提供给检测部642。检测部642根据这个检测值生成检测信息并将该检测信息提供给学习数据获取部610。学习数据获取部610将检测信息作为学习数据的一部分。例如,传感器部642可包括诸如IR传感器、重量传感器和图像传感器的各种类型的已知传感器部件。作为替代,也可人工地判断和输入由机械臂部6312执行的抓取动作的结果。
连接修改部620根据学习条件信息对学习数据获取部610获取学习数据的设置进行修改。例如,学习条件信息可包括上述物品类型的信息。如图6所示,连接修改部620接收学习条件信息,根据学习条件信息生成对机械臂部6312中所使用的机械臂进行修改的修改信息,并将修改信息提供给学习数据获取部610。因此,学习数据获取部610向机器人控制设备630提供包括修改机械臂的命令的控制信息,以从使用机械臂A1执行抓取操作修改为使用机械臂A2执行抓取操作。
因此,当需要使用多个机械臂来对学习对象执行操作时,不需要人工地更换机械臂,而是可按照连接修改部620提供修改信息的方式自动地完成机械臂的更换,因此,节省了人力,并且避免了人为错误。此外,学习数据获取设备600、对象操作设备300和数据采集设备400可协同地操作,从而提高了获取学习数据的效率,并且节省了***资源。
尽管图6未示出,学习数据获取部610可接收关于机器人631、拍摄部640和/或传感器部641的状态信息,例如,机器人631的当前使用的机械臂的标识信息、拍摄部640所使用的相机的方向信息和拍摄参数、传感器部641中的传感器的精度信息等。学习数据获取部610可将信息提供给连接修改部620,以充当用于生成修改信息的条件中的一个。可选地,连接修改部620还可直接接收关于机器人631、拍摄部640和/或传感器部641的状态信息,而不经由学习数据获取部610传输。
图6示出了连接修改部620对机器人的机械臂进行修改的示例,然而,可选地,也可通过连接修改部620对学习数据获取部610操作拍摄部640和/或传感器部641的设置进行修改。例如,在拍摄部640包括多个相机的情况下,连接修改部620可指示由所述多个相机中的一个、多个或全部执行拍摄。例如,在所述多个相机当中的一个相机发生故障的情况下,连接修改部620可指示从利用多个相机拍摄然后合成全景图像数据的方式切换为利用一个相机从多个方向拍摄然后合成全景图像数据的方式。类似地,在传感器部641包括多个传感器的情况下,连接修改部620可指示通过所述多个传感器中的一个、多个或全部来执行检测。
因此,类似地,当需要使用多个相机和/或多个传感器来执行针对学习对象的数据采集时,无需人工地配置或更换相机和/或传感器,而是可按照连接修改部620提供修改信息的方式自动地完成配置和更换,因此,节省了人力,并且避免了人为错误。此外,学习数据获取设备600、对象操作设备300和数据采集设备400可协同地操作,从而提高了获取学习数据的效率,并且节省了***资源。
图7是第一应用示例的学习数据获取方法的一个示例的流程图。在此示例中,通过多种类型的机械臂执行学习数据的采集。如图7所示,在步骤S701中,学习数据获取部610指示拍摄部640拍摄容器C1中的物品的图像,并且根据该图像确定物品当中要抓取的物品,然后所述方法前进至步骤S702。在步骤S702中,学习数据获取部610根据要抓取的物品在图像中的位置和方向来计算用于抓取要抓取的物品的机械臂A1的最佳坐标,并将该最佳坐标作为控制信息的一部分提供给机器人控制设备630,然后所述方法前进至步骤S703。在步骤S703中,机器人控制设备630根据最佳坐标来移动机器人631,然后所述方法前进至步骤S704。在步骤S704中,机器人631使用机械臂A1来抓取要抓取的物品,然后所述方法前进至步骤S705。
在步骤S705中,传感器部641检测容器C2中的物品,并向检测部642发送检测值。检测部642根据这个检测值确定机械臂A1的抓取操作是否是成功的,并将表示成功与否的检测信息提供给学习数据获取部610,然后所述方法前进至步骤S706。在步骤S706中,学习数据获取部610再次指示拍摄部640执行拍摄,并提取最佳坐标周围的图像作为拍摄数据,然后所述方法前进至步骤S707。在步骤S707中,学习数据获取部610将拍摄数据(所提取的图像)与检测信息(判断结果)组合以生成学习数据,并存储或向外输出学习数据。然后,所述方法前进至步骤S708。
在步骤S708中,学习数据获取部610确定是否已执行预定次数的学习数据采集。如果还未执行预定次数的学习数据采集(S708:否),则返回到所述方法的步骤S701,并且执行下一学习数据采集;如果已执行预定次数的学习数据采集(S708:是),则所述方法前进至步骤S709。
在步骤S709中,连接修改部620确定是否已通过预定类型的机械臂执行了学习数据采集,例如,是否已分别通过机械臂A1和与机械臂A1的类型不同的机械臂A2执行了学习数据采集。如果判断结果为“否”(S709:否),则执行所述方法的步骤S710;如果判断结果为“是”(S709:是),则流程结束。
在步骤S710中,连接修改部620向学习数据获取部610提供修改信息,以使得学习数据获取部610向机器人控制设备630提供控制信息,以将使用机械臂A1抓取物品的操作修改为使用机械臂A2抓取物品的操作,此后,返回到所述方法的步骤S701,并且执行下一组学习数据的采集。
因此,学习数据获取部610可获取分别与多个机械臂相对应的多组学习数据。图8是示出使用利用上述学习数据获取方法获取的学习数据进行深度学习的一个示例的示意图。在此示例中,各个学习数据包括拍摄数据(所提取的图像)和检测信息(判断结果)。如图8所示,深度学习网络800包括输入层、中间层和输出层。学习数据作为输入数据输入到该深度学习网络800的输入层中。作为输入数据的一部分的物品图像可以是通过利用单个相机拍摄而获得的图像数据,并且也可以是在利用多个相机拍摄之后合成的图像数据(例如,物品的全景图像数据)。可存在多个中间层,从而使用深度学习技术分析图像数据。输出层可与抓取成功率相对应。例如,当第一输出层的输出为1时,它表示抓取成功率为A。这种深度学习网络800可被包括在生产线上的检测装置(图中未示出)中。
通过图8所示的学习,生产线上的抓取装置可获知各个机械臂在不同情况(例如,不同物品)下的抓取成功率和使用时间,以使得机械臂的使用被优化。例如,检测装置可通过自动地判断要抓取的物品以及根据用户偏好来选择合适的机械臂,以获得抓取成功率和处理时间的最佳组合。
类似地,通过图8所示的学习,抓取装置也可通过自动地判断要抓取的物品以及根据用户偏好,从用于拍摄物品的多个相机中选择合适的相机,并且从用于检测物品的多个传感器中选择合适的传感器,以优化数据采集。
[第二应用示例]
在使用太阳能板来发电的发电厂中,确保太阳能板的正常操作是非常重要的。在第二应用示例中,具有GPS的无人机被用于监测太阳能板的表面,以能够预先判断太阳能板的异常,并且可在太阳能板损坏之前采取措施(例如更换或维护)。因此,期望获得太阳能板的表面的图像数据作为学习数据的一部分,以使得发电厂的监测装置利用学习数据进行深度学习,可提取太阳能板的特征量,并且可通过使用无人机周期性地拍摄太阳能板来预先判断太阳能板的异常。
当使用具有GPS的无人机监测太阳能板的表面时,应该对无人机执行初始化操作,例如,应该检测无人机的电池的电力状况,并且对电力不足的无人机进行充电;应该检测无人机的存储空间以判断是否可满足拍摄要求,并且当存储空间不足时,执行删除数据的操作;应该设定拍摄路径,并且将路径信息存储在无人机的存储部中,等等。当多个无人机被用于监测时,将存在如何有序且自动地完成所有无人机的操作的问题。在第二应用示例中,通过提供连接修改部920来解决此问题。
图9是示出根据本发明的例示性实施方式的学习数据获取设备200的第二应用示例的功能模块的框图。在图9中,学习数据获取设备900等同于学习数据获取设备200,学习数据获取部910等同于学习数据获取部210,连接修改部920等同于修改指示部220,无人机控制设备940、传感器部941和检测部942、无人机943和无人机944等同于数据采集设备400。图9示出了无人机943和无人机944,但是本发明不限于此,可根据实际需要来确定无人机的数量。
学习数据获取部910根据学习条件信息向无人机控制设备940提供控制信息,以使得无人机控制设备940基于控制信息向无人机943和无人机944发送控制命令,以控制无人机943和无人机944的动作。无人机943包括驱动部9431和拍摄部9432,此外,它还可包括未示出的电力部、飞行器部、存储部等。驱动部6431从无人机控制设备940接收控制命令,以控制拍摄部9432和未示出的电力部、飞行器部、存储部等的操作。拍摄部9432可拍摄太阳能板S,以获取太阳能板S的表面的图像数据。例如,拍摄部9432可包括可见光相机和IR相机,以使得可同时获取可见光图像数据和IR图像数据。电力部可具有蓄电池,以向无人机943提供电力。飞行器部可在驱动部9431的指令下执行飞行操作。存储部可存储控制程序信息、飞行路线信息、拍摄部9432所拍摄的图像数据等。类似地,无人机944可具有与无人机943相同或相似的构造,例如,可包括驱动部9441和拍摄部9442。
传感器部942检测太阳能板S的操作情况,例如,传感器部942可包括对太阳能板S的输出电压或输出电流进行检测的检测电阻器。传感器部942将通过检测获得的检测值提供给检测部941,检测部941根据该检测值生成检测信息并将该检测信息提供给学习数据获取部910,并且学习数据获取部910将检测信息作为学习数据的一部分。
连接修改部920根据学习条件信息来对学习数据获取部910获取学习数据的设置进行修改。例如,学习条件信息可包括要监测的太阳能板S的数量的信息。连接修改部920可根据这种数量信息来对学习数据获取部910的与用于获取学习数据的无人机的数量有关的设置进行修改。作为另一示例,例如,学习条件信息可包括关于检测精度/时间的用户偏好信息。连接修改部920可根据用户偏好信息来对学习数据获取部910的与用于获取学习数据的图像数据有关的设置进行修改,例如,仅使用可见光图像数据,或者同时使用可见光图像数据和IR图像数据。
当多个无人机被用于监测时,连接修改部920可通过对学习数据获取部910初始化无人机的设置进行修改来有序且自动地完成所有无人机的初始化操作。因此结合图10进行说明。
图10是第二应用示例的学习数据获取方法的一个示例的流程图。如图10所示,在步骤S1001中,连接修改部920根据学习条件信息确定哪一无人机被用于拍摄太阳能板S。例如,连接修改部920根据被包括在学习条件信息中的与需要监测的太阳能板S的数量有关的信息来确定使用2个无人机进行拍摄;又如,连接修改部920根据被包括在学习条件信息中的与学习数据的精度有关的信息来确定使用具有合适的拍摄精度的无人机。在本示例中,连接修改部920确定使用无人机943和无人机944进行拍摄,然后所述方法前进至步骤S1002。在步骤S1002中,学习数据获取部910获取无人机943和无人机944的当前状态信息,并将该状态信息提供给连接修改部920。例如,状态信息包括电力信息、存储空间信息、采集参数信息等,然后所述方法前进至步骤S1003。
在步骤S1003中,连接修改部920根据状态信息来确定无人机943和无人机944的初始化操作的顺序。例如,在无人机943和无人机944的状态信息如下表所示的情况下,连接修改部920确定首先对无人机943执行初始化操作,然后对无人机944执行初始化操作,以减少总初始化操作的时间,因为用于准备可用存储空间的时间通常比用于对无人机进行充电的时间短。在首先完成无人机943的初始化的情况下,可指示无人机943立即起飞以拍摄太阳能板S,而无需等待两个无人机均完成初始化操作。
标识符 电力 可用存储空间 拍摄精度 ……
无人机943 xxx 90% 30% ……
无人机944 yyy 10% 90% ……
此后,所述方法前进至步骤S1004。在步骤S1004中,学习数据获取部910指示无人机控制设备940对无人机943执行初始化操作。例如,初始化操作包括充电、准备存储空间或设置采集参数等。在完成无人机943的初始化操作之后,所述方法前进至步骤S1005。在步骤S1005中,连接修改部920确定是否已对选择使用的所有无人机执行了初始化操作。在还未对选择使用的所有无人机执行初始化操作的情况下(S1005:否),所述方法前进至步骤S1006,并且连接修改部920将修改信息提供给学习数据获取部910,以对下一无人机执行初始化操作。在已对选择使用的所有无人机执行了初始化操作的情况下(S1005:是),流程结束。
在第二应用示例中,连接修改部620可在无人工参与的情况下,根据用户要求和所使用的无人机的特定条件以最佳顺序执行无人机的初始化操作,因此,提高了获取学***,并且节省了初始化操作所需的时间。
[第三应用示例]
在上述第二应用示例中,连接修改部920根据学习条件信息来对学习数据获取部910初始化无人机的设置进行修改,但本发明不限于此。例如,连接修改部920可根据学习条件信息来对学习数据获取部910的关于无人机与无人机控制设备之间的通信方式的设置进行修改。
具体地,无人机943和无人机944可按照无线通信方式(例如,蓝牙、NFC、Wifi等)和有线通信方式(例如,电缆通信、光缆通信)中的任一种与无人机控制设备940进行通信。此外,无人机943和无人机944可在初始化处理期间或在完成拍摄后返回到指定地点之后与无人机控制设备940进行通信,并且还可在拍摄太阳能板S的处理期间与无人机控制设备940实时进行通信。连接修改部920可向学习数据获取部910提供修改信息,以对学习数据获取部910的关于无人机的通信方式的设置进行修改。例如,学习条件信息可包括太阳能板S的位置信息。当太阳能板S到无人机控制设备940的距离超过无线通信范围时,连接修改部920可生成指示使用有线通信方式进行通信的修改信息,并将该修改信息提供给学习数据获取部910。学习数据获取部910可预先向无人机控制设备940发送控制信息,以指示无人机控制设备940在无人机完成拍摄并返回到指定地点之后以有线方式反馈拍摄的图像数据。
作为另一示例,连接修改部920还可根据学习条件信息来对学习数据获取部910的管理部(图中未示出)的关于学习条件信息的设置进行修改。
例如,针对用户所输入的委托信息,可生成用于在直接太阳辐射下获取太阳能板S的图像数据的第一学习条件信息以及用于在傍晚或夜间获取太阳能板S的图像数据的第二学习条件信息。通过使用第一学习条件信息和第二学习条件信息,学习数据获取部910可使得无人机能够使用不同的控制程序、不同的飞行路线或不同的图像精度来进行拍摄。连接修改部920可根据学习条件信息中的切换条件(例如,时间等)来修改管理部的设置,以从控制无人机根据第一学习条件信息获取学习数据切换为控制无人机根据第二学习条件信息获取学习数据。
作为另一示例,连接修改部920还可根据学习条件信息来对学习数据获取部910的管理部(图中未示出)的关于控制程序的设置进行修改。
无人机控制设备940可通过根据具有GPS的无人机的位置和太阳能板所位于的地点的地图信息指定地图上的多个地点来设定用于拍摄太阳能板S的无人机的飞行路线,并且还可设定使无人机在根据指定的飞行路线飞行之后返回到由无人机控制设备指定的位置的飞行路线。基于诸如用户偏好(例如,时间偏好)的信息,可存在生成飞行路线的多个控制程序。在这种情况下,连接修改部920可根据学习条件信息(例如,包括用户偏好信息)对学习数据获取部910的管理部(图中未示出)的关于无人机控制设备940用来生成无人机飞行路线的控制程序的设置进行修改,以使得可在多个控制程序之间进行切换。
作为具体的切换方式,例如,无人机控制设备940可判断在它可利用无线LAN通信的范围内是否存在无人机,并在修改之后向该无人机发送由控制程序生成的新的飞行路线,以更新该无人机的飞行路线。在更新之后,无人机再次根据修改的飞行路线来飞行,以能够沿着修改的飞行路线采集图像数据。
在上述应用示例中,无人机控制设备940可被包括在学习数据获取设备中。为了提高采集学习数据的效率,可使得多个无人机能够同时飞行以进行拍摄。无人机控制设备940可将各个无人机在完成飞行之后的着陆位置设定为无人机控制设备940本身、充电设备、通信设备等所位于的地点。例如,无人机控制设备940可包括机器人,并且该机器人被用于在着陆之后将无人机连接到充电设备。在结束充电之后,无人机控制设备940可控制无人机再次飞行。此外,机器人还可将无人机USB或LAN与通信设备连接,以采集在飞行期间拍摄的图像数据。
在上述应用示例中,连接修改部920可根据由用户提供的委托信息来安排多个无人机的初始化操作、拍摄操作、数据反馈操作等,以使得可提高监测太阳能板S的自动化水平,并且可提高学习数据获取效率。
如果以软件功能单元的形式实现并作为独立产品销售或使用,上述学习数据获取设备200、600、900或其部分可被存储在一个计算机可读存储介质中。基于这样的理解,本发明的技术方案基本上可以以软件产品的形式具体实施,或者对现有技术做出贡献的部分或本技术方案的一部分可以以软件产品的形式具体实施,并且该计算机软件产品被存储在一个存储介质中,该计算机软件产品包括用于使一个计算机装置(可以是个人计算机、服务器或网络装置等)执行本发明的各种示例的方法的步骤的全部或部分的若干命令。上述存储介质包括可存储程序代码的各种介质,例如U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、软盘或激光磁盘等,并且还可包括可从服务器或云端下载的数据流。
以上仅是本发明的优选实施方式。应该指出,对于本领域普通技术人员而言,在不脱离本发明的原理的情况下,还可进行若干改进和修改,并且这些改进和修改也应该被视为本发明的保护范围。
参考标记列表
100 PC
110 CPU
120 ROM
130 RAM
140 存储部
150 接口部
160 通信部
200、600、900 学习数据获取设备
210、610、910 学习数据获取部
220 修改指示部
620、920 连接修改部
230 学习条件信息生成部
240 学习数据存储部
300 对象操作设备
310 控制部
320 通信部
330 执行部
400 数据采集设备
500 局域网
211 操作部
212 输入输出部
213 管理部
630 机器人控制设备
631 机器人
640 拍摄部
641、941 传感器部
642、942 检测部
6311 驱动部
6312 机械臂部
A1、A2 机械臂
C1、C2 容器
800 深度学习网络
940 无人机控制设备
943、944 无人机
9431、9441 驱动部
9432、9442 拍摄部
S 太阳能板

Claims (26)

1.一种学习数据获取设备,所述学习数据获取设备被配置为获取关于机器学习的学习对象的学习数据,其特征在于,所述学习数据获取设备包括:
学习数据获取部,所述学习数据获取部根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及
修改指示部,所述修改指示部根据所述学习条件信息来对所述学习数据获取部获取学习数据的设置进行修改。
2.根据权利要求1所述的学习数据获取设备,其中,所述学习数据获取部包括:
操作部,所述操作部控制对象操作设备或数据采集设备,其中所述对象操作设备对学习对象执行操作,所述数据采集设备从学习对象处采集数据;以及
输入输出部,所述输入输出部接收由所述数据采集设备采集的数据,并输出根据所述数据生成的学习数据。
3.根据权利要求2所述的学习数据获取设备,其中
所述学习条件信息包括关于所述对象操作设备或所述数据采集设备的操作信息,并且
所述修改指示部根据所述操作信息,对所述操作部操作所述对象操作设备或所述数据采集设备的设置进行修改。
4.根据权利要求2所述的学习数据获取设备,其中
所述学习条件信息包括关于所述对象操作设备或所述数据采集设备的操作信息,
所述输入输出部还接收关于所述对象操作设备或所述数据采集设备的状态信息,并且
所述修改指示部根据所述操作信息和所述状态信息,对所述操作部操作所述对象操作设备或所述数据采集设备的设置进行修改。
5.根据权利要求3或4所述的学习数据获取设备,其中,所述对象操作设备包括第一操作部和第二操作部,并且所述第一操作部和所述第二操作部都能够操作学习对象,其中
所述修改指示部对所述操作部操作所述对象操作设备的设置进行修改,以从使用所述第一操作部来操作学习对象切换为使用所述第二操作部来操作学习对象。
6.根据权利要求3或4所述的学习数据获取设备,其中,所述数据采集设备包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,其中
所述修改指示部对所述操作部操作所述数据采集设备的设置进行修改,以从使用所述第一采集部采集数据切换为使用所述第二采集部采集数据。
7.根据权利要求3或4所述的学习数据获取设备,其中,所述数据采集设备包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,并且所述第一采集部和所述第二采集部在从学习对象处采集数据之前执行选自充电、准备存储空间和设定采集参数中的至少一个的初始化操作,其中
所述修改指示部对所述操作部操作所述数据采集设备的设置进行修改,以从所述第一采集部的初始化操作切换为所述第二采集部的初始化操作。
8.根据权利要求3或4所述的学习数据获取设备,其中
所述数据采集设备以第一通信方式和第二通信方式中的一种方式将所采集的数据提供给所述输入输出部,并且
所述修改指示部对所述学习数据获取部的设置进行修改,以从使用所述第一通信方式切换为使用所述第二通信方式。
9.根据权利要求2所述的学习数据获取设备,其中
所述学习数据获取部还包括:管理部,所述管理部管理所述操作部和所述输入输出部,
所述学习条件信息包括第一学习条件信息和第二学习条件信息,并且
所述修改指示部对所述管理部的设置进行修改,以从根据所述第一学习条件信息获取学习数据切换为根据所述第二学习条件信息获取学习数据。
10.根据权利要求2所述的学习数据获取设备,其中
所述学习数据获取部还包括:管理部,所述管理部管理所述操作部和所述输入输出部,
所述学习条件信息包括用于获取学习数据的程序的信息,并且所述程序包括第一程序和第二程序,并且
所述修改指示部对所述管理部的设置进行修改,以从使用所述第一程序获取学习数据切换为使用所述第二程序获取学习数据。
11.根据权利要求1至10中的任一项所述的学习数据获取设备,所述学习数据获取设备还包括:
学习条件信息生成部,所述学习条件信息生成部从外部接收所述学习条件信息或根据所述委托信息生成所述学习条件信息,并将所述学习条件信息发送到所述学习数据获取部和所述修改指示部。
12.根据权利要求1至11中的任一项所述的学习数据获取设备,所述学习数据获取设备还包括:
学习数据存储部,所述学习数据存储部存储学习数据。
13.一种学习数据获取方法,所述学习数据获取方法被配置为获取关于机器学习的学习对象的学习数据,其特征在于,所述学习数据获取方法包括以下步骤:
根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及
根据所述学习条件信息来对获取学习数据的设置进行修改。
14.根据权利要求13所述的学习数据获取方法,其中,获取关于学习对象的学习数据的步骤包括以下步骤:
控制对象操作设备或数据采集设备,其中所述对象操作设备对学习对象执行操作,所述数据采集设备从学习对象处采集数据;以及
接收从所述数据采集设备处采集的数据,并输出根据所述数据生成的学习数据。
15.根据权利要求14所述的学习数据获取方法,其中
所述学习条件信息包括关于所述对象操作设备或所述数据采集设备的操作信息,并且
对获取学习数据的设置进行修改的步骤包括以下步骤:根据所述操作信息,对操作所述对象操作设备或所述数据采集设备的设置进行修改。
16.根据权利要求14所述的学习数据获取方法,所述学习数据获取方法还包括:
接收关于所述对象操作设备或所述数据采集设备的状态信息,其中
所述学习条件信息包括关于所述对象操作设备或所述数据采集设备的操作信息,并且
根据所述操作信息和所述状态信息,对操作所述对象操作设备或所述数据采集设备的设置进行修改。
17.根据权利要求15或16所述的学习数据获取设备,其中,所述对象操作设备包括第一操作部和第二操作部,并且所述第一操作部和所述第二操作部都能够操作学习对象,其中
对操作所述对象操作设备的设置进行修改的步骤包括以下步骤:从使用所述第一操作部操作学习对象切换为使用所述第二操作部操作学习对象。
18.根据权利要求15或16所述的学习数据获取方法,其中,所述数据采集设备包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,其中
对操作所述数据采集设备的设置进行修改的步骤包括以下步骤:从使用所述第一采集部采集数据切换为使用所述第二采集部采集数据。
19.根据权利要求15或16所述的学习数据获取方法,其中,所述数据采集设备包括第一采集部和第二采集部,所述第一采集部和所述第二采集部都能够从学习对象处采集数据,并且所述第一采集部和所述第二采集部在从学习对象处采集数据之前执行选自充电、准备存储空间和设定采集参数中的至少一个的初始化操作,其中
对操作所述数据采集设备的设置进行修改的步骤包括以下步骤:从所述第一采集部的初始化操作切换为所述第二采集部的初始化操作。
20.根据权利要求15或16所述的学习数据获取方法,所述学习数据获取方法还包括以下步骤:以第一通信方式和第二通信方式中的一种方式从所述数据采集设备处接收所采集的数据,其中
对操作所述数据采集设备的设置进行修改的步骤包括以下步骤:从使用所述第一通信方式切换为使用所述第二通信方式。
21.根据权利要求13或14所述的学习数据获取方法,其中,所述学习条件信息包括第一学习条件信息和第二学习条件信息,其中,
对获取学习数据的设置进行修改的步骤包括以下步骤:从根据所述第一学习条件信息获取学习数据切换为根据所述第二学习条件信息获取学习数据。
22.根据权利要求13或14所述的学习数据获取方法,其中,所述学习条件信息包括用于获取学习数据的程序的信息,并且所述程序包括第一程序和第二程序,其中
对获取学习数据的设置进行修改的步骤包括以下步骤:从使用所述第一程序获取学习数据切换为使用所述第二程序获取学习数据。
23.根据权利要求13至22中的任一项所述的学习数据获取方法,所述学习数据获取方法还包括以下步骤:
接收所述学习条件信息;或者
根据所述委托信息生成所述学习条件信息。
24.根据权利要求13至23中的任一项所述的学习数据获取方法,所述学习数据获取方法还包括以下步骤:
存储学习数据。
25.一种被配置为获取关于机器学习的学习对象的学习数据的程序,其特征在于,所述程序使得处理器能够执行如下操作:
根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及
根据所述学习条件信息来对获取学习数据的设置进行修改。
26.一种存储介质,其特征在于,所述存储介质存储用于获取关于机器学习的学习对象的学习数据的程序,所述程序被用于实现如下操作:
根据学习条件信息来获取关于学习对象的学习数据,所述学习条件信息是根据用户委托学习的委托信息生成的信息;以及
根据所述学习条件信息来对获取学习数据的设置进行修改。
CN201780069751.0A 2017-02-24 2017-02-24 学习数据获取设备和方法、程序和存储介质 Pending CN110235137A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2017/051076 WO2018154359A1 (en) 2017-02-24 2017-02-24 Learning data acquiring apparatus and method, program, and storing medium

Publications (1)

Publication Number Publication Date
CN110235137A true CN110235137A (zh) 2019-09-13

Family

ID=58314478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780069751.0A Pending CN110235137A (zh) 2017-02-24 2017-02-24 学习数据获取设备和方法、程序和存储介质

Country Status (3)

Country Link
US (1) US20190370689A1 (zh)
CN (1) CN110235137A (zh)
WO (1) WO2018154359A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987657A (zh) * 2019-12-17 2021-06-18 株式会社安川电机 生产***、生产方法和信息存储介质
CN115136088A (zh) * 2020-02-21 2022-09-30 三菱电机株式会社 可编程显示器、控制***及解析方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4088884A1 (en) * 2021-05-12 2022-11-16 Hilti Aktiengesellschaft Method of acquiring sensor data on a construction site, construction robot system, computer program product, and training method

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005111603A (ja) * 2003-10-07 2005-04-28 Lazona Inc ロボットおよびロボット管理装置
US20100103286A1 (en) * 2007-04-23 2010-04-29 Hirokatsu Akiyama Image pick-up device, computer readable recording medium including recorded program for control of the device, and control method
US20100138026A1 (en) * 2008-03-08 2010-06-03 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
CN102270141A (zh) * 2011-08-21 2011-12-07 中国海洋大学 一种可配置的数据采集软件***及设计方法
WO2013105900A1 (en) * 2012-01-10 2013-07-18 K-One Industries Pte Ltd Flexible assembly line for tray packaging
US20140180738A1 (en) * 2012-12-21 2014-06-26 Cloudvu, Inc. Machine learning for systems management
US20140314284A1 (en) * 2013-02-11 2014-10-23 Emotient Data acquisition for machine perception systems
US20140358825A1 (en) * 2013-05-29 2014-12-04 Cloudvu, Inc. User interface for machine learning
CN105122277A (zh) * 2013-03-15 2015-12-02 阿莉西娅.萨吉-多莱夫 智能机器的网络
US20160110657A1 (en) * 2014-10-14 2016-04-21 Skytree, Inc. Configurable Machine Learning Method Selection and Parameter Optimization System and Method
CN105630648A (zh) * 2015-12-02 2016-06-01 武汉物联远科技有限公司 基于多维数据深度学习的数据中心智能控制方法及***
CN105893583A (zh) * 2016-04-01 2016-08-24 北京鼎泰智源科技有限公司 基于人工智能的数据采集方法及***
CN106067028A (zh) * 2015-04-19 2016-11-02 北京典赞科技有限公司 基于gpu的自动化机器学习的建模方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092698B2 (en) * 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US20150242760A1 (en) * 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
JP6472621B2 (ja) 2014-08-12 2019-02-20 株式会社Screenホールディングス 分類器構築方法、画像分類方法および画像分類装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005111603A (ja) * 2003-10-07 2005-04-28 Lazona Inc ロボットおよびロボット管理装置
US20100103286A1 (en) * 2007-04-23 2010-04-29 Hirokatsu Akiyama Image pick-up device, computer readable recording medium including recorded program for control of the device, and control method
US20100138026A1 (en) * 2008-03-08 2010-06-03 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
CN102270141A (zh) * 2011-08-21 2011-12-07 中国海洋大学 一种可配置的数据采集软件***及设计方法
WO2013105900A1 (en) * 2012-01-10 2013-07-18 K-One Industries Pte Ltd Flexible assembly line for tray packaging
US20140180738A1 (en) * 2012-12-21 2014-06-26 Cloudvu, Inc. Machine learning for systems management
US20140314284A1 (en) * 2013-02-11 2014-10-23 Emotient Data acquisition for machine perception systems
CN105122277A (zh) * 2013-03-15 2015-12-02 阿莉西娅.萨吉-多莱夫 智能机器的网络
US20140358825A1 (en) * 2013-05-29 2014-12-04 Cloudvu, Inc. User interface for machine learning
US20160110657A1 (en) * 2014-10-14 2016-04-21 Skytree, Inc. Configurable Machine Learning Method Selection and Parameter Optimization System and Method
CN106067028A (zh) * 2015-04-19 2016-11-02 北京典赞科技有限公司 基于gpu的自动化机器学习的建模方法
CN105630648A (zh) * 2015-12-02 2016-06-01 武汉物联远科技有限公司 基于多维数据深度学习的数据中心智能控制方法及***
CN105893583A (zh) * 2016-04-01 2016-08-24 北京鼎泰智源科技有限公司 基于人工智能的数据采集方法及***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ARNON LOTEM ET AL.: "Coevolution of learning and dataacquisition mechanisms:a model for cognitive evolution", 《BIOLOGICAL SCIENCES》, pages 2686 - 2694 *
PINTO LERREL ET AL.: "Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》 *
PINTO LERREL ET AL.: "Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours", 《2016 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND AUTOMATION》, 21 May 2016 (2016-05-21), pages 1 - 2 *
唐远尧: "基于ZigBee的无线数据采集***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
唐远尧: "基于ZigBee的无线数据采集***设计与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 December 2011 (2011-12-15), pages 11 - 68 *
段勇;盛栋梁;于霞;: "基于Kinect传感器的移动机器人环境检测及行为学习", 高技术通讯, no. 01, pages 12 - 19 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112987657A (zh) * 2019-12-17 2021-06-18 株式会社安川电机 生产***、生产方法和信息存储介质
US11958196B2 (en) 2019-12-17 2024-04-16 Kabushiki Kaisha Yaskawa Denki Production system and information storage medium
CN115136088A (zh) * 2020-02-21 2022-09-30 三菱电机株式会社 可编程显示器、控制***及解析方法
CN115136088B (zh) * 2020-02-21 2023-04-18 三菱电机株式会社 可编程显示器、控制***及解析方法

Also Published As

Publication number Publication date
WO2018154359A1 (en) 2018-08-30
US20190370689A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN105739512B (zh) 无人机自动巡检***及方法
JP6700198B2 (ja) マルチロボットシステム、及びその制御方法
CN107450587B (zh) 一种无人机精细化巡检的智能飞行控制方法及***
CN106909167B (zh) 一种多机多站联合立体任务***及方法
Song et al. Persistent UAV service: An improved scheduling formulation and prototypes of system components
CN108600379A (zh) 一种基于深度确定性策略梯度的异构多智能体协同决策方法
CN110023863A (zh) 平衡无人驾驶交通工具之间的电力使用的地理区域监测***和方法
CN109997161A (zh) 协作地利用多个无人驾驶交通工具的地理区域监测***和方法
CN112997223A (zh) 设施监视***和方法
CN110023864A (zh) 通过在无人驾驶交通工具之间互换工具***的地理区域监测***和方法
CN109996732A (zh) 可互换地将工具***与无人驾驶交通工具耦合的***和方法
CN110134147A (zh) 一种植保无人机的自主路径规划方法及装置
CN110235137A (zh) 学习数据获取设备和方法、程序和存储介质
CN112203809B (zh) 信息处理装置和方法、机器人控制装置和方法及存储介质
CN107015572A (zh) 目标追踪***及方法
CN110969660B (zh) 一种基于三维立体视觉和点云深度学习的机器人上料***
CN109906412A (zh) 利用可互换工具***的地理区域监测***和方法
CN110036366A (zh) 利用跨多个无人驾驶交通工具的计算共享的地理区域监测***和方法
CN106249751A (zh) 一种倾斜三维航测数据的采集***、采集方法及控制终端
CN106231191A (zh) 全自动空中全景数据采集***、方法及控制终端
JP6712682B1 (ja) 配置場所の決定方法、輸送システム、及び情報処理装置
CN104062945B (zh) 一种自动检测控制方法及***
CN110673647A (zh) 全向避障方法及无人飞行器
CN110334633A (zh) 识别巡检数据并更新识别模型的方法、装置及存储介质
CN109218683A (zh) 无人机监控***和电力场所监控***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination