CN112840360A - 信息处理方法及信息处理*** - Google Patents

信息处理方法及信息处理*** Download PDF

Info

Publication number
CN112840360A
CN112840360A CN201980067672.5A CN201980067672A CN112840360A CN 112840360 A CN112840360 A CN 112840360A CN 201980067672 A CN201980067672 A CN 201980067672A CN 112840360 A CN112840360 A CN 112840360A
Authority
CN
China
Prior art keywords
data
reasoner
contribution
training
added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980067672.5A
Other languages
English (en)
Inventor
D·古多夫斯基
A·霍奇金森
山口拓也
筑泽宗太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN112840360A publication Critical patent/CN112840360A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

由计算机执行的信息处理方法，取得第1数据和第2数据，该第2数据不包含于在推理器的训练中使用的训练数据(S1)；使用向推理器输入第1数据而得到的第1关联数据，计算第1贡献，上述推理器是通过利用训练数据的机器学习进行训练而得到的，上述第1贡献是第1数据的各部分对于向推理器输入第1数据而从推理器输出的第1输出数据的贡献(S2)；使用向推理器输入第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是第2数据的各部分对于向推理器输入第2数据而从推理器输出的第2输出数据的贡献(S3)；按照第1贡献与第2贡献的类似度，决定是否应将第2数据追加到推理器的训练数据(S4)。

Description

信息处理方法及信息处理***
技术领域
本发明涉及信息处理方法及信息处理***。
背景技术
在利用机器学习的图像识别处理中，有如下技术：通过将相对于既有的学习图像而言图像特征量的类似度低的图像追加到训练数据，使图像的识别精度提高(参照专利文献1)。
另外，识别处理也被称作推理处理。推理处理中，除了识别处理以外还包括检测处理。
现有技术文献
专利文献
专利文献1：日本特开2017－224184号公报
发明内容
发明要解决的课题
但是，在专利文献1那样的以往技术中，根据推理器而有推理的性能不怎么提高的情况。换言之，有学习的效率不好的问题。
所以，本发明提供一种能够使推理器的推理的性能有效地提高的信息处理方法等。
用来解决课题的手段
有关本发明的一技术方案的信息处理方法，是由计算机执行的信息处理方法，取得第1数据和第2数据，上述第2数据是未包含于在推理器的训练中使用的训练数据的数据；使用向述推理器输入上述第1数据而得到的第1关联数据，计算第1贡献，上述推理器是通过利用上述训练数据的机器学习进行训练而得到的，上述第1贡献是上述第1数据的各部分对于向上述推理器输入上述第1数据而从上述推理器输出的第1输出数据的贡献；使用向上述推理器输入上述第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是上述第2数据的各部分对于向上述推理器输入上述第2数据而从上述推理器输出的第2输出数据的贡献；按照上述第1贡献与上述第2贡献的类似度，决定是否应将上述第2数据追加到上述推理器的训练数据。
另外，这些包含性或具体的技术方案也可以由***、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由***、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
发明效果
本发明的信息处理方法能够使推理器的推理的性能有效地提高。
附图说明
图1是表示识别器的处理的概念图。
图2是表示在基于用于模型的生成的机器学习进行的训练中使用的训练数据的例子的说明图。
图3是表示识别器的识别结果的例子的说明图。
图4是表示实施方式的处理***的结构的第一例的框图。
图5是表示实施方式的处理***的结构的第二例的框图。
图6是具体地表示实施方式的由计算部进行的贡献度的计算和类似度的计算的说明图。
图7是表示实施方式的由决定部进行的追加数据的决定方法的第一例的说明图。
图8是表示实施方式的由决定部进行的追加数据的决定方法的第二例的说明图。
图9是表示实施方式的由决定部进行的追加数据的决定方法的第三例的说明图。
图10是表示实施方式的处理***执行的处理的第一例的流程图。
图11是表示实施方式的处理***执行的处理的第二例的流程图。
图12是表示实施方式的变形例1的处理***执行的处理的流程图。
图13是表示实施方式的变形例2的处理***执行的处理的流程图。
具体实施方式
(作为本发明的基础的认识)
本发明者关于在“背景技术”栏中记载的推理处理，发现会发生以下的问题。
为了使执行利用机器学习的推理处理的推理器的性能提高，训练数据的扩充是有效的。训练数据包括图像和作为该图像表示的信息的标签。在训练数据的扩充中，通常使用追加未包含于在推理器的训练中使用的训练数据的新的数据后的新的训练数据。为了追加新的数据，需要对已知的图像赋予标签的作业。赋予标签的作业例如手动进行。
这里，已知的图像能够容易地准备，但现状是在这样的已知的图像中难以确定哪个是对于推理器的推理的性能的提高或推理器的误动作的修正有效的数据。因此，为了推理的性能的提高或误动作的修正，不论是否是对推理的性能的提高或误动作的修正有贡献的图像都大量追加新的数据。但是，为了生成并追加大量的数据，需要大量进行向图像赋予标签的作业等，以工作量或时间的观点看效率不好。
这样，现状中有使推理器的推理的性能提高时的效率不好的问题。
对此，在上述那样的以往技术中，选择图像特征量的类似度低的图像作为训练数据。
但是，即使图像特征量的类似度低，也并不一定对于使用该图像训练的推理器而言是有效的数据。因此，根据推理器，有推理的性能不怎么提高的情况。换言之，依然有学习效率不好的问题。
所以，本发明提供一种能够使推理器的推理的性能有效地提高的信息处理方法等。
为了解决这样的问题，有关本发明的一技术方案的信息处理方法，是由计算机执行的信息处理方法，取得第1数据和第2数据，上述第2数据是未包含于在推理器的训练中使用的训练数据的数据；使用向上述推理器输入上述第1数据而得到的第1关联数据，计算第1贡献，上述推理器是通过利用上述训练数据的机器学习进行训练而得到的，上述第1贡献是上述第1数据的各部分对于向上述推理器输入上述第1数据而从上述推理器输出的第1输出数据的贡献；使用向上述推理器输入上述第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是上述第2数据的各部分对于向上述推理器输入上述第2数据而从上述推理器输出的第2输出数据的贡献；按照上述第1贡献与上述第2贡献的类似度，决定是否应将上述第2数据追加到上述推理器的训练数据。
根据上述技术方案，将具有与第1数据类似的贡献的第2数据决定为应追加到训练数据。贡献表示在由推理器进行的推理的处理中对推理的结果带来影响。因此，对于该推理器而言，能够选出对推理的结果带来的影响与第1数据类似的第2数据。并且，如果使用被选出的第2数据作为训练数据而训练该推理器，则容易抑制该推理器对于第1数据及与该第1数据类似的数据做出误推理。此外，通过将对于该推理器而言有效的数据追加到训练数据，能够避免随意地追加大量的数据。因此，根据上述技术方案，能够有效地使由推理器进行的推理的性能提高。
例如，上述第1数据也可以是上述推理器的误推理数据。
根据上述技术方案，将具有与误推理数据类似的贡献的第2数据决定为应追加到训练数据。并且，如果使用基于该决定追加上述第2数据后的训练数据来训练推理器，则能够抑制对与误推理的数据类似的数据再次做出误推理。因此，根据上述技术方案，能够有效地使由推理器进行的推理的性能提高。
例如也可以是，在决定为应追加上述第2数据的情况下，使用追加上述第2数据后的上述推理器的训练数据，训练上述推理器。
根据上述技术方案，通过基于应将第2数据追加到训练数据的决定而追加了第2数据的训练数据，对推理器进行训练。由此，能够实际地抑制对于与第1数据类似的数据再次做出误推理。因此，根据上述技术方案，能够有效地使由推理器进行的推理的性能提高。
例如也可以是，在决定是否应将上述第2数据追加到上述推理器的训练数据时，以将多个上述第2数据中的、上述第1贡献与上述第2贡献的类似度高的上述第2数据比其他的上述第2数据更优先地追加到上述推理器的训练数据的方式，决定是否应将上述第2数据追加到上述推理器的训练数据。
根据上述技术方案，可以从预先准备的多个第2数据中，选择贡献与第1数据更加类似的第2数据，做出应追加到训练数据的决定。因此，根据上述技术方案，能够更有效地使由推理器进行的推理的性能提高。
例如也可以是，在决定是否应将上述第2数据追加到上述推理器的训练数据时，计算包含关于多个上述第1数据各自的上述第1贡献的多个上述第1贡献；按照使用包含计算出的上述多个上述第1贡献各自与上述第2贡献的类似度在内的多个类似度计算的代表值，决定是否应将上述第2数据追加到上述推理器的训练数据。
根据上述技术方案，在有多个第1数据的情况下，使用根据关于多个第1数据分别计算的多个类似度计算的代表值，决定应追加到训练数据的第2数据。在有多个第1数据的情况下，计算出多个类似度，但关于应将哪个第2数据追加到训练数据，难以使用多个类似度决定。所以，通过使用根据多个类似度计算的代表值，能够容易地决定应将哪个第2数据追加到训练数据。因此，根据上述技术方案，能够更容易地使由推理器进行的推理的性能提高。
例如也可以是，上述多个类似度包含上述多个上述第1贡献各自与多个上述第2贡献各自的类似度，多个上述第2贡献包含关于多个上述第2数据各自的上述第2贡献；在计算上述代表值时，按上述多个上述第1数据的每一个，从上述多个类似度中选择规定数量的类似度；按上述多个第2数据的每一个，使用所选择的上述规定数量的类似度计算上述代表值；在决定是否应将上述第2数据追加到上述推理器的训练数据时，按照计算出的多个上述代表值，决定是否应将该第2数据追加到上述推理器的训练数据。
根据上述技术方案，在有多个第1数据的情况下，能够抑制贡献仅与特定的第1数据类似的第2数据被决定为追加到训练数据。在有多个第1数据的情况下，有贡献仅与特定的第1数据类似的第2数据被决定为追加到训练数据的情况。在此情况下，虽然能够抑制关于与该特定的第1数据类似的数据再次做出误推理，但关于多个第1数据中的除了该特定的第1数据以外的第1数据，不能抑制再次做出误推理，关于多个第1数据不能均等地抑制误推理。根据上述技术方案，关于多个第1数据能够均等地抑制误推理。因此，根据上述技术方案，关于多个第1数据能够均等地使由推理器进行的推理的性能有效地提高。
例如，上述推理器也可以是识别器或检测器。
根据上述技术方案，能够抑制由识别器进行的识别处理中的误识别、或由检测器进行的检测处理中的误检测。因此，根据上述技术方案，能够有效地使由识别器进行的识别的精度或由检测器进行的检测的精度提高。
例如也可以是，上述第1数据及上述第2数据是感测数据。
根据上述技术方案，能够有效地使以感测数据为对象的推理的性能提高。
例如也可以是，上述第1关联数据是上述第1输出数据；上述第2关联数据是上述第2输出数据。
根据上述技术方案，能够作为第1关联数据而使用第1输出数据，更容易地使由推理器进行的推理的性能有效地提高。
例如，也可以将表示被决定为应追加到上述推理器的训练数据的上述第2数据的信息经由提示装置提示。
根据上述技术方案，提示表示被决定为应追加到训练数据的第2数据的信息。提示装置基于上述信息将第2数据向用户提示，从用户受理关于表示第2数据的信息的标签的输入。使用这样被输入的标签，进行向训练数据的数据追加。因此，能够基于从用户受理应追加的数据的标签，更有效地使由推理器进行的推理的性能提高。
此外，有关本发明的一技术方案的信息处理***具备：取得部，取得第1数据和第2数据，上述第2数据是未包含于在推理器的训练中使用的训练数据的数据；计算部，(a)使用向上述推理器输入上述第1数据而得到的第1关联数据，计算第1贡献，上述推理器是通过利用上述训练数据的机器学习进行训练而得出的，上述第1贡献是上述第1数据的各部分对于向上述推理器输入上述第1数据而从上述推理器输出的第1输出数据的贡献，(b)使用向上述推理器输入上述第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是上述第2数据的各部分对于向上述推理器输入上述第2数据而从上述推理器输出的第2输出数据的贡献；以及决定部，按照上述第1贡献与上述第2贡献的类似度，决定是否应将上述第2数据追加到上述推理器的训练数据。
根据上述技术方案，起到与上述信息处理方法同样的效果。
另外，这些包含性或具体的技术方案也可以由***、装置、集成电路、计算机程序或计算机可读取的CD－ROM等的记录介质实现，也可以由***、装置、集成电路、计算机程序及记录介质的任意的组合来实现。
以下，参照附图对实施方式具体地进行说明。
另外，以下说明的实施方式都表示包含性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、在表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素进行说明。
(实施方式)
在本实施方式中，对能够有效地使推理器的推理的性能提高的信息处理***及信息处理方法等进行说明。
首先，参照图1～图3说明识别器10的动作的概要。
图1是表示识别器10的处理概念图。
如图1所示，识别器10是如果输入数据被输入则执行对于输入数据的识别处理、并将其执行结果作为输出数据输出的装置。以输入数据是图像的情况为例进行说明，但输入数据除了图像以外，也可以使用声音或文章。在输入数据是图像的情况下，识别处理是识别在作为输入数据的图像中表示有什么的处理。
另外，识别器10是推理器的一例。推理器的另一例是检测器。检测器是如果输入数据被输入则执行对于输入数据的检测处理、并将其执行结果作为输出数据输出的装置。在输入数据是图像的情况下，检测处理例如是在作为输入数据的图像中检测特定的被摄体的处理。
输入数据是作为识别器10的识别对象的图像数据。
识别器10是通过基于机器学习的训练来生成的识别模型，用于执行识别处理。识别器10在内部具有多个参数，是通过被设定适当的参数并被训练成针对输入数据输出适当的输出数据而生成的。识别器10例如是神经网络的数理模型，更具体地讲，也可以使用SSD(Single Shot multibox Detector)、Faster－RCNN(Faster Region－basedConvolutional Neural Network)或YOLO(You Only Look Once)等那样的与物体检测方法对应的识别模型。
输出数据是识别器10输出的数据，表示识别器10的识别结果。输出数据具体而言表示在作为输入数据的图像中表示有什么。
图2是表示在用于识别器10的生成的基于机器学习的训练中使用的训练数据的例子的说明图。这里，作为例子而说明识别器10取得描绘有0至9的10个数字的图像作为输入数据，识别在该图像中描绘的数字并输出的情况。
如图2所示，训练数据包括图像和标签的多个组。
训练数据中包含的图像是描绘有0至9的10个数字的图像。在训练数据中，包括以各种样式描绘有1个数字的图像，例如包括几千个～几万个图像。
关于标签，与该标签成组的每个图像被赋予1个标签，表示在该图像中描绘的数字。
识别器10通过使用图2所示的训练数据的机器学习而生成。具体而言，识别器10是通过调整内部参数以在训练数据中包含的图像作为输入数据被输入的情况下输出与被输入的图像成组的标签的数值而生成的。
图3是表示识别器10的识别结果的例子的说明图。在图3中表示当向识别器10输入了输入数据时输出的输出数据的例子。
例如，示出了识别器10在被输入了图3所示的输入数据1(即描绘有“5”的图像)的情况下作为输出数据而输出了“5”。此外，示出了识别器10在被输入了图3所示的输入数据2(即描绘有“1”的图像)的情况下作为输出数据而输出了“1”。
这些分别表示识别器10识别出了与在被输入的图像中描绘的数字相同的数字，意味着识别器10做出了正确的识别。
另一方面，例如示出了识别器10在被输入了图3所示的输入数据3(即描绘有“4”的图像)的情况下作为输出数据而输出了“7”。此外，示出了识别器10在被输入了图3所示的输入数据4(即描绘有“1”的图像)的情况下作为输出数据而输出了“9”。
这些分别表示识别器10识别出了与在被输入的图像中描绘的数字不同的数字，意味着识别器10做出了误识别。
在弄清楚识别器10做出了误识别的情况下，想到要防止这样的误识别。为了防止这样的误识别，训练数据的扩充是有效的。在训练数据的扩充中，进行使用追加未包含于在识别器10的训练中使用的训练数据的新的数据后的新的训练数据来生成识别器10的处理。
但是，难以决定应追加的新的数据。例如，在被输入了图3所示的输入数据3(即描绘有“4”的图像)的情况下，为了使得作为输出数据而输出“4”，可以考虑在训练数据中追加包含描绘有“4”或“7”且与输入数据3不同的图像的数据，但难以确定具体追加怎样的图像是适当的。
本实施方式的处理***是在如上述那样识别器10做出了误识别的情况下，适当地决定其后为了防止这样的误识别而应将怎样的数据追加到训练数据，从而能够有效地使识别器10的识别的精度提高的信息处理***。
以下，对本实施方式的处理***进行说明。
首先，对本实施方式的处理***进行说明。
图4是表示本实施方式的处理***的结构的第一例的框图。
如图4所示，处理***20A是具备取得部51、计算部52和决定部53的信息处理***。
取得部51通过计算机取得第1数据和未包含于在推理器的训练中使用的训练数据的第2数据。
计算部52通过计算机，(a)使用向利用机器学习训练出的推理器输入第1数据而得到的第1关联数据，计算第1贡献，该第1贡献是第1数据的各部分对于向推理器输入第1数据而从推理器输出的第1输出数据的贡献；(b)使用向推理器输入第2数据而得到的第2关联数据，计算第2贡献，该第2贡献是第2数据的各部分对于向推理器输入第2数据而从推理器输出的第2输出数据的贡献。
决定部53通过计算机，按照第1贡献与第2贡献的类似度，决定是否应将第2数据追加到推理器的训练数据。
接着，对本实施方式的处理***更详细地进行说明。
图5是表示本实施方式的处理***的结构的第二例的框图。
如图5所示，处理***20具备控制部21、储存部22、计算部23、决定部24和训练部25。处理***20与识别器10连接，向识别器10输入数据或从识别器10取得数据。此外，处理***20与管理装置30连接。处理***20例如由计算机实现。
控制部21是将输入数据向识别器10输入、并且取得识别器10输出的输出数据的处理部。
具体而言，控制部21通过至少向识别器10提供第1数据和第2数据，向识别器10输入。这里，第1数据例如是评价用数据，是被输入到识别器10中、识别器10做出了误识别的数据(以下也称作误识别数据)。控制部21例如如以下这样得到误识别数据。
控制部21比较将已知描绘在图像中的数字的图像(也称作评价用图像)作为输入数据向识别器10输入而得到的作为输出数据的数字和在作为上述输入数据的图像中描绘的数字。控制部21在这些数字不一致的情况下，将上述输入数据设为由识别器10做出了误识别的数据、即误识别数据。控制部21这样取得误识别数据。
此外，第2数据是未包含于在识别器10的训练(换言之，为了识别器10的生成而进行的训练)中使用的训练数据的数据。控制部21取得存储在储存部22中的图像作为第2数据。第2数据由于是之后被追加到训练数据的候选，所以也称作候选数据。
储存部22是储存有图像的存储装置。储存在储存部22中的图像上未赋予标签。储存在储存部22中的图像由控制部21作为第2数据取得。
另外，第1数据及第2数据的具体例是感测数据，更具体地讲，是通过由相机进行的感测(摄像)取得的图像数据。
计算部23是计算输入数据的各部分对于将输入数据向识别器10输入而输出的输出数据的贡献的处理部。具体而言，计算部23使用向识别器10输入第1数据而得到的第1关联数据，计算第1贡献，该第1贡献是第1数据的各部分对于向识别器10输入第1数据而从识别器10输出的第1输出数据的贡献。此外，计算部23使用向识别器10输入第2数据而得到的第2关联数据，计算第2贡献，该第2贡献是第2数据的各部分对于向识别器10输入第2数据而从识别器10输出的第2输出数据的贡献。
这里，在第1数据是图像的情况下，“第1数据的各部分”是构成第1数据的各像素。此外，“第1数据的各部分对于第1输出数据的贡献”是表示构成第1数据的各像素对于识别器10识别出作为其识别结果的数字的处理做出了何种程度贡献的量。将对该量进行了数值化的值也称作贡献的程度、即贡献度。关于“第2数据的各部分”及“第2数据的各部分对于第2输出数据的贡献”也是同样的。
另外，第1关联数据及第2关联数据的具体例是第1输出数据及第2输出数据。此外，第1关联数据及第2关联数据也可以是将第1数据及第2数据分别输入到推理器中的情况下的推理器的中间层分别输出的数据。该中间层也可以是距最终层(换言之输出层)较近的层。
决定部24是按照计算部23计算出的第1贡献和第2贡献的类似度、决定是否应将第2数据追加到识别器10的训练数据的处理部。决定部24在决定为应将第2数据追加到训练数据的情况下，向管理装置30提供表示第2数据的信息。
训练部25是生成识别器10的处理部。训练部25具有训练数据保存部26，通过使用保存在训练数据保存部26中的训练数据的机器学习而生成识别器10。具体而言，识别器10通过调整内部参数以在作为输入数据被输入了保存在训练数据保存部26中的训练数据的图像的情况下、作为输出数据输出在训练数据上对该图像赋予了标签的数值而生成。
此外，训练部25向训练数据保存部26追加新的训练数据(也称作追加数据)。训练部25从管理装置30受理将追加数据追加的指示(也称作追加指示)。追加指示中包含有确定第2数据的信息和作为描绘在该第2数据中的数字的标签。训练部25基于包含在追加指示中的信息，从储存部22取得第2数据，将所取得的第2数据和包含在追加指示中的标签作为组，追加到训练数据。训练部25在没有由决定部24做出应追加第2数据的决定的情况下，使用在追加新的训练数据后保存在训练数据保存部26中的训练数据，对识别器10进行训练。
管理装置30在从决定部24提供了表示第2数据的信息的情况下，将该信息向用户U提示。这里，管理装置30对应于提示装置。用户U基于被提示的信息，判断描绘在第2数据中的数字，将判断出的数字作为标签向管理装置30输入。
管理装置30从用户U受理表示包含在第2数据中的数字的标签。管理装置30将包含确定第2数据的信息和标签的追加指示向训练部25发送。管理装置30通过这样发送的追加指示，进行训练部25的训练数据的生成。
图6是具体地表示本实施方式的由计算部23进行的贡献度的计算和类似度的计算的说明图。
图6所示的图像31是向识别器10输入的输入数据的一例，例如是识别器10误识别的数据。即，假设图像31虽然是描绘有“4”的图像，但识别器10将图像31识别为与“4”不同的数字“7”。
计算部23取得将图像31向识别器10输入而得到的关联数据。关联数据是识别器10的输出数据。计算部23基于关联数据计算贡献度35。贡献度35是输入数据的各部分对于输出数据的贡献的程度。例如，贡献度35是按照构成图像31的每个像素，贡献于图像31被识别器10识别为规定的数字的程度。另外，规定的数字既可以是识别器10作为输出数据而输出的“7”，也可以是描绘在输入数据中的“4”。贡献度35通过灰阶表现。白色表示贡献度最高的像素，黑色表示贡献度最低的像素，灰色表示越接近于白色则为贡献度越高的像素。
图6所示的图像32是向识别器10输入的输入数据的一例，是虽然储存在储存部22中、但未包含于训练数据的图像的一例。图像32是描绘有“4”的图像，但未赋予标签。
计算部23取得将图像32向识别器10输入而得到的关联数据，并且基于关联数据计算贡献度36。关联数据也还是识别器10的输出数据。例如，贡献度36是按照图像32中包含的每个像素，贡献于图像32被识别器10识别为规定的数字的程度。另外，规定的数字与如上述那样向识别器10输入图像31而输出了关联数据时使用的规定的数字相同。
计算部23计算贡献度35和贡献度36的类似度。类似度的计算通过周知的技术进行，作为具体例，在池化(Pooling)为固定维度的向量后，通过计算内积或余弦距离来进行。另外，计算部23也可以通过适当的运算来变更数值范围，以将类似度用规定的数值范围表现。这里，假设将类似度通过1～10的整数以10个等级表现。类似度1意味着类似度最低，类似度10意味着类似度最高。
图7是表示本实施方式的由决定部24进行的追加数据的决定方法的第一例的说明图。在图7中，作为一例，表示在有1个误识别数据的情况下，决定应将包含在储存部22中的多个图像P、Q、R及S中的哪个追加到训练数据的方法。
计算部23计算上述1个误识别数据的贡献度与包含在储存部22中的作为多个候选数据的图像P、Q、R及S的贡献度各自的类似度。这里，假设关于图像P、Q、R及S的贡献度的类似度分别为6、7、5及1(参照图7的(a))。
决定部24在决定是否应将候选数据追加到训练数据时，做出上述决定，以在包含在储存部22中的多个候选数据中将1个误识别数据的贡献度与关于该候选数据的贡献度的类似度高的候选数据更优先地追加到训练数据。
例如，决定部24从贡献度的类似度大的数据起，依次分配优先级1、2、…。这里，优先级是其数值越小，意味着越优先。具体而言，决定部24将类似度是最大的7的图像Q的优先级设为1，将类似度是7之后大的6的图像P的优先级设为2，以下同样，将图像R及S的优先级分别设为3及4。
并且，决定部24从类似度高的图像起依次选择规定个数、即从优先级小的图像起依次选择规定个数的图像，追加到训练数据。例如，在追加到训练数据的图像的个数是2的情况下，决定部24关于图像P及Q决定为应追加到训练数据以使优先级是1及2的图像Q及P成为训练数据，而关于图像R及S决定为不应追加到训练数据。
另外，在误识别数据有多个的情况下，基于多个误识别数据，决定应追加到训练数据的图像。关于这样的情况下的追加数据的决定方法，以下说明两个例子。
(1)利用全部候选数据的类似度的例子
图8是表示本实施方式的由决定部24进行的追加数据的决定方法的第二例的说明图。
在图8中，作为一例，表示了在有3个误识别数据A、B及C的情况下，决定应将包含在储存部22中的作为多个候选数据的图像P、Q、R及S中的哪个追加到训练数据的方法。
计算部23计算上述3个误识别数据A、B及C的贡献度和包含在储存部22中的作为多个候选数据的图像P、Q、R及S各自的贡献度的类似度。这里，假设误识别数据A的贡献度和关于图像P、Q、R及S各自的贡献度的类似度为6、7、5及1。此外，假设误识别数据B的贡献度和关于图像P、Q、R及S各自的贡献度的类似度为2、2、3及4。此外，假设误识别数据C的贡献度和关于图像P、Q、R及S各自的贡献度的类似度为1、3、1及3(参照图8)。
决定部24计算包括关于多个误识别数据各自的贡献度的多个贡献度，按照根据包括计算出的多个贡献度各自与关于候选数据的贡献度的类似度在内的多个类似度计算的代表值，做出上述决定。
例如，多个类似度的代表值可以使用多个类似度中的最大值。在图8的例子中，关于图像P的类似度的代表值，是作为误识别数据A、B及C各自的贡献度和图像P的贡献度的类似度的6、2及1的最大值即6。同样，关于图像Q、R及S的类似度的代表值分别是7、5及4。
并且，决定部24从类似度的代表值高的数据起依次将规定个数的数据决定为应追加到训练数据。关于决定应追加到训练数据的数据的处理，与误识别数据是1个的情况(参照图7)是同样的，所以省略说明。
另外，作为多个类似度的代表值，也可以使用多个类似度的平均值。
这样，在有多个误识别数据的情况下，能够利用全部候选数据的类似度来决定应追加到训练数据的图像。
(2)按每个误识别数据利用规定个数的候选数据的类似度的例子
图9是表示实施方式的由决定部24进行的追加数据的决定方法的第三例的说明图。
在图9中表示了在计算出图8所示的类似度后按每个误识别数据利用规定个数的候选数据的方法。
这里，多个类似度包括多个第1贡献各自与多个第2贡献各自的类似度，多个第2贡献包含关于多个第2数据各自的第2贡献。
并且，决定部24在计算代表值时，按多个第1数据的每一个，从多个类似度中选择规定数量的类似度，并按多个第2数据的每一个，使用所选择的规定数量的类似度计算代表值。并且，决定部24在决定是否应将第2数据追加到训练数据时，按照计算出的多个代表值，决定是否应将该第2数据追加到训练数据。
例如，在规定数量是2的情况下，决定部24关于误识别数据A、B及C分别选择2个类似度。2个类似度的选择方式，例如可以采用更优先地选择类似度较大的数据的方法，说明该方法，但并不限于此。
决定部24关于误识别数据A，作为比较大的2个类似度而选择类似度7(对应于图像Q)和类似度6(对应于图像P)。这里，关于未被选择的数据即图像R及S，记载“N/A”以表示不考虑类似度(参照图9)。
同样，决定部24关于误识别数据B，作为比较大的2个类似度而选择类似度4(对应于图像S)和类似度3(对应于图像R)。此外，决定部24关于误识别数据C，作为比较大的2个类似度而选择类似度3(对应于图像Q)及类似度3(对应于图像S)。
并且，决定部24使用如上述那样决定的类似度计算类似度的代表值。具体而言，决定部24关于图像P、Q、R及S，将没有选择的数据即记载为“N/A”的数据排除，将类似度的代表值计算为6、7、3及4。
并且，决定部24从类似度的代表值高的数据起依次选择规定个数的数据，追加到训练数据。关于选择应追加到训练数据的数据的处理，与误识别数据是1个的情况(参照图7)是同样的，所以省略说明。
通过这样，能够抑制贡献度仅与特定的误识别数据类似的候选数据被决定为追加到训练数据中。根据误识别数据与储存在储存部22中的图像P、Q、R及S的类似度，有贡献仅与误识别数据A、B及C中的误识别数据A类似的候选数据被追加到训练数据的情况(参照图8)。在此情况下，虽然能够抑制对于与误识别数据A类似的图像再次做出误推理，但关于与误识别数据B及C类似的图像没有抑制再次做出误推理。所以，通过如上述那样将没有选择的数据排除而计算类似度的代表值，关于多个误识别数据A、B及C能够均等地抑制误推理。
说明如以上那样构成的处理***的处理的方法即信息处理方法。
图10是表示本实施方式的处理***执行的处理的第一例的流程图。
图10所示的处理是由计算机执行的信息处理方法。
如图10所示，在步骤S1中，取得第1数据和未包含于在推理器的训练中使用的训练数据的第2数据。
在步骤S2中，使用向利用机器学习训练出的推理器输入第1数据而得到的第1关联数据，计算第1贡献，该第1贡献是第1数据的各部分对于向推理器输入第1数据而从推理器输出的第1输出数据的贡献。
在步骤S3中，使用向推理器输入第2数据而得到的第2关联数据，计算第2贡献，该第2贡献是第2数据的各部分对于向推理器输入第2数据而从推理器输出的第2输出数据的贡献。
在步骤S4中，按照第1贡献与第2贡献的类似度，决定是否应将第2数据追加到推理器的训练数据。
图11是表示本实施方式的处理***执行的处理的流程图。
在步骤S101中，控制部21取得评价用数据，将所取得的评价用数据作为输入数据向识别器10输入，取得输出数据。此外，计算部23取得将上述输入数据向识别器10输入而得到的关联数据。
在步骤S102中，控制部21判定在步骤S101中取得的输出数据与对评价用数据赋予的标签是否一致，在判定为不一致的情况下，将在步骤S101中输入到识别器10中的评价用数据鉴别为误识别数据。
在步骤S103中，计算部23针对在步骤S102中鉴别出的误识别数据，使用在步骤S101中取得的关联数据，计算输入数据的各部分对于在步骤S101中取得的输出数据的贡献度。
在步骤S104中，控制部21取得储存在储存部22中的数据作为候选数据，将所取得的候选数据作为输入数据向识别器10输入，取得输出数据。此外，计算部23取得将上述输入数据向识别器10输入而得到的关联数据。
在步骤S105中，计算部23针对在步骤S104中输入到识别器10中的候选数据，使用在步骤S104中取得的关联数据，计算输入数据的各部分对于在步骤S104中取得的输出数据的贡献度。
在步骤S106中，计算部23计算在步骤S103中计算出的贡献度与在步骤S104中计算出的贡献度的类似度。
在步骤S107中，决定部24在候选数据中将与误识别数据的贡献度的类似度高的数据决定为追加数据。决定部24将确定所决定的追加数据的信息向管理装置30发送，并向用户U提示。用户U参照追加数据，向管理装置30输入对追加数据赋予的标签。管理装置30将被输入的标签向训练部25经由通信线路发送等而提供。
在步骤S108中，训练部25从管理装置30经由通信线路接收等而取得对追加数据赋予的标签。
在步骤S109中，训练部25将赋予了标签的追加数据追加到训练数据。
在步骤S110中，训练部25使用在步骤S109中追加了追加数据的训练数据，通过机器学习生成识别器10。一旦结束步骤S110，就结束图11所示的一系列的处理。
通过以上的处理，处理***能够有效地使由识别器10进行的识别的精度提高。
(变形例1)
在本变形例中，关于能够有效地使由推理器进行的推理的性能提高的信息处理方法，说明能够使识别器10的性能提高到规定以上的技术。
有关本变形例的处理***的结构与实施方式的处理***20的结构相同(参照图5)。
关于有关本变形例的处理***执行的处理，对与实施方式的处理***20的处理不同的部分进行说明。另外，在有关本变形例的处理***执行的处理中，对于与实施方式的处理***20的处理(参照图11)相同的处理赋予相同的标号，省略详细的说明。
图12是表示本变形例的处理***执行的处理的流程图。
图12所示的步骤S101～步骤S110与图11所示的处理相同。
在步骤S111中，控制部21进行在步骤S110中生成的识别器10的性能的评价。在性能的评价中，控制部21将评价用数据作为输入数据向识别器10输入，取得输出数据。并且，计算对评价用数据预先赋予的标签与输出数据一致的比例作为性能值。例如，在评价用数据的个数是100，关于100个中的95个评价用数据，标签与输出数据一致，关于100个中的5个评价数据，标签与输出数据不一致的情况下，作为性能值而计算出“95％”。
在步骤S112中，控制部21判定在步骤S111中评价的性能是否是规定以上。具体而言，控制部21进行在步骤S111中计算出的性能值与规定值(例如90％)的大小比较，在判定为性能值是规定值以上的情况下，判定为性能是规定以上。在判定为识别器10的性能是规定以上的情况下(在步骤S112中“是”)，结束图12所示的一系列的处理，在不是那样的情况下(在步骤S112中“否”)，再次执行步骤S101。
通过这样，追加训练数据直到识别器10的性能成为规定以上，能够使识别器10的性能提高到规定以上。
另外，在规定次数以上连续在步骤S112中判定为性能值不是规定以上的情况下，也可以不执行步骤S101而将处理中止。在此情况下，也可以提示表示中止了处理的错误消息。
通过以上的一系列的处理，处理***在有效地使由识别器进行的识别的精度提高时，能够使识别器的性能提高到规定以上。
(变形例2)
在本变形例中，关于能够有效地使由推理器进行的推理的性能提高的信息处理方法，说明反复执行推理的性能的提高的技术。
图13是表示本变形例的处理***执行的处理的流程图。
有关本变形例的处理***的结构与实施方式的处理***20的结构相同(参照图5)。
关于有关本变形例的处理***执行的处理，对与实施方式的处理***20的处理不同的部分进行说明。另外，在有关本变形例的处理***执行的处理中，对于与实施方式的处理***20的处理(参照图11)相同的处理赋予相同的标号，省略详细的说明。
图13是表示本变形例的处理***执行的处理的流程图。
这里，前提是在储存部22中反复储存新的图像。例如，假设储存部22经由通信线路储存由车载相机每隔几分钟进行感测而得到的图像。
在步骤S121中，控制部21判定在储存部22中是否储存有规定数量以上的数据。在判定为储存有的情况下(在步骤S121中“是”)，执行步骤S122，在不是那样的情况下(在步骤S121中“否”)，再次执行步骤S121。即，控制部21在步骤S121中待机，直到在储存部22中储存规定数量以上的数据。另外，规定数量例如假设为1000左右。
图13所示的步骤S101～步骤S110与图11所示的处理相同。
在步骤S122中，控制部21将储存在储存部22中的数据删除。
一旦结束步骤S122，控制部21就再次执行步骤S121。通过这样，处理***20在储存部22中通过其他手段储存数据的状况下，每当规定数量以上的数据被储存到储存部22中，就通过步骤S101～S110的处理将追加数据追加到训练数据。
通过以上的一系列的处理，处理***当有效地使由识别器进行的识别的精度时，能够反复使识别的精度提高。
如以上这样，实施方式及各变形例所示的信息处理方法将具有与第1数据类似的贡献的第2数据决定为应追加到训练数据。贡献表示在由推理器进行的推理的处理中对推理的结果带来影响。因此，对于该推理器而言，能够选出对推理的结果带来的影响与第1数据类似的第2数据。并且，如果使用被选出的第2数据作为训练数据而训练该推理器，则容易抑制该推理器对于第1数据及与该第1数据类似的数据做出误推理。此外，通过将对于该推理器而言有效的数据追加到训练数据，能够避免随意地追加大量的数据。因此，根据上述技术方案，能够有效地使由推理器进行的推理的性能提高。
此外，将具有与误推理数据类似的贡献的第2数据决定为应追加到训练数据。并且，如果使用基于该决定追加了上述第2数据的训练数据来训练推理器，则能够抑制对与误推理的数据类似的数据再次做出误推理。因此，根据上述技术方案，能够有效地使由推理器进行的推理的性能提高。
此外，通过基于应将第2数据追加到训练数据的决定而追加了第2数据的训练数据，来对推理器进行训练。由此，能够实际地抑制对于与第1数据类似的数据再次做出误推理。因此，根据上述技术方案，能够有效地使由推理器进行的推理的性能提高。
此外，可以从预先准备的多个第2数据中，选择贡献与第1数据更加类似的第2数据，做出应追加到训练数据的决定。因此，根据上述技术方案，能够更有效地使由推理器进行的推理的性能提高。
此外，在有多个第1数据的情况下，使用根据关于多个第1数据分别计算的多个类似度计算的代表值，决定应追加到训练数据的第2数据。在有多个第1数据的情况下，计算出多个类似度，但关于应将哪个第2数据追加到训练数据，难以使用多个类似度决定。所以，通过使用根据多个类似度计算的代表值，能够容易地决定应将哪个第2数据追加到训练数据。因此，根据上述技术方案，能够更容易地使由推理器进行的推理的性能提高。
此外，在有多个第1数据的情况下，能够抑制贡献仅与特定的第1数据类似的第2数据被决定为追加到训练数据。在有多个第1数据的情况下，有贡献仅与特定的第1数据类似的第2数据被决定为追加到训练数据的情况。在此情况下，虽然能够抑制关于与该特定的第1数据类似的数据再次做出误推理，但关于多个第1数据中的除了该特定的第1数据以外的第1数据，没有抑制再次做出误推理，关于多个第1数据不能均等地抑制误推理。根据上述技术方案，关于多个第1数据能够均等地抑制误推理。因此，根据上述技术方案，关于多个第1数据能够均等地使由推理器进行的推理的性能有效地提高。
此外，能够抑制由识别器进行的识别处理中的误识别、或由检测器进行的检测处理中的误检测。因此，根据上述技术方案，能够有效地使由识别器进行的识别的精度或由检测器进行的检测的精度提高。
此外，能够有效地使以感测数据为对象的推理的性能提高。
此外，作为第1关联数据而使用第1输出数据，能够更容易地使由推理器进行的推理的性能有效地提高。
此外，提示表示被决定为应追加到训练数据的第2数据的信息。提示装置基于上述信息将第2数据向用户提示，从用户受理关于表示第2数据的信息的标签的输入。使用这样被输入的标签，进行向训练数据的数据的追加。因此，能够基于从用户受理应追加的数据的标签，更有效地使由推理器进行的推理的性能提高。
另外，在上述实施方式及各变形例中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等的程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。这里，实现上述实施方式及各变形例的处理***等的软件是以下这样的程序。
即，该程序是使计算机执行信息处理方法的程序，该信息处理方法是由计算机执行的信息处理方法，取得第1数据和第2数据，上述第2数据未包含于在推理器的训练中使用的训练数据；使用向通过利用上述训练数据的机器学习来训练出的上述推理器输入上述第1数据而得到的第1关联数据，计算第1贡献，改第1贡献是上述第1数据的各部分对于向上述推理器输入上述第1数据而从上述推理器输出的第1输出数据的贡献；使用向上述推理器输入上述第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是上述第2数据的各部分对于向上述推理器输入上述第2数据而从上述推理器输出的第2输出数据的贡献；按照上述第1贡献与上述第2贡献的类似度，决定是否应将上述第2数据追加到上述推理器的训练数据。
以上，基于实施方式对有关本发明的一个或多个技术方案的处理***等进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式施以本领域技术人员想到的各种变形后的形态、或将不同实施方式的构成要素组合而构建的别的形态也包含在一个或多个技术方案的范围中。
产业上的可利用性
本发明能够用于有效地使由推理器进行的推理的性能提高的处理***。
标号说明
10 识别器
20、20A 处理***
21 控制部
22 储存部
23、52 计算部
24、53 决定部
25 训练部
26 训练数据保存部
30 管理装置
31、32、P、Q、R、S 图像
35、36 贡献度
51 取得部
A、B、C 误识别数据
U 用户

Claims (11)

1.一种信息处理方法，由计算机执行，其中，
取得第1数据和第2数据，上述第2数据未包含于在推理器的训练中使用的训练数据；
使用向上述推理器输入上述第1数据而得到的第1关联数据，计算第1贡献，上述推理器是通过利用上述训练数据的机器学习进行训练而得到的，上述第1贡献是上述第1数据的各部分对于向上述推理器输入上述第1数据而从上述推理器输出的第1输出数据的贡献；
使用向上述推理器输入上述第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是上述第2数据的各部分对于向上述推理器输入上述第2数据而从上述推理器输出的第2输出数据的贡献；
按照上述第1贡献与上述第2贡献的类似度，决定是否应将上述第2数据追加到上述推理器的训练数据。
2.如权利要求1所述的信息处理方法，其中，
上述第1数据是上述推理器的误推理数据。
3.如权利要求1或2所述的信息处理方法，其中，
在决定为应追加上述第2数据的情况下，使用追加上述第2数据后的上述推理器的训练数据来训练上述推理器。
4.如权利要求1～3中任一项所述的信息处理方法，其中，
在决定是否应将上述第2数据追加到上述推理器的训练数据时，
以将多个上述第2数据中的、上述第1贡献与上述第2贡献的类似度高的上述第2数据比其他的上述第2数据更优先地追加到上述推理器的训练数据的方式，决定是否应将上述第2数据追加到上述推理器的训练数据。
5.如权利要求1～4中任一项所述的信息处理方法，其中，
在决定是否应将上述第2数据追加到上述推理器的训练数据时，
计算包含关于多个上述第1数据各自的上述第1贡献的多个上述第1贡献；
按照使用包含计算出的上述多个上述第1贡献各自与上述第2贡献的类似度的多个类似度来计算的代表值，决定是否应将上述第2数据追加到上述推理器的训练数据。
6.如权利要求5所述的信息处理方法，其中，
上述多个类似度包含上述多个上述第1贡献各自与多个上述第2贡献各自的类似度，多个上述第2贡献包含关于多个上述第2数据各自的上述第2贡献；
在计算上述代表值时，
按上述多个上述第1数据的每一个，从上述多个类似度中选择规定数量的类似度；
按上述多个第2数据的每一个，使用所选择的上述规定数量的类似度计算上述代表值；
在决定是否应将上述第2数据追加到上述推理器的训练数据时，
按照计算出的多个上述代表值，决定是否应将该第2数据追加到上述推理器的训练数据。
7.如权利要求1～6中任一项所述的信息处理方法，其中，
上述推理器是识别器或检测器。
8.如权利要求1～7中任一项所述的信息处理方法，其中，
上述第1数据及上述第2数据是感测数据。
9.如权利要求1～8中任一项所述的信息处理方法，其中，
上述第1关联数据是上述第1输出数据；
上述第2关联数据是上述第2输出数据。
10.如权利要求1～9中任一项所述的信息处理方法，其中，
将表示被决定为应追加到上述推理器的训练数据的上述第2数据的信息经由提示装置提示。
11.一种信息处理***，其中，具备：
取得部，取得第1数据和第2数据，上述第2数据未包含于在推理器的训练中使用的训练数据；
计算部，(a)使用向上述推理器输入上述第1数据而得到的第1关联数据，计算第1贡献，上述推理器是通过利用上述训练数据的机器学习进行训练而得到的，上述第1贡献是上述第1数据的各部分对于向上述推理器输入上述第1数据而从上述推理器输出的第1输出数据的贡献，(b)使用向上述推理器输入上述第2数据而得到的第2关联数据，计算第2贡献，上述第2贡献是上述第2数据的各部分对于向上述推理器输入上述第2数据而从上述推理器输出的第2输出数据的贡献；以及
决定部，按照上述第1贡献与上述第2贡献的类似度，决定是否应将上述第2数据追加到上述推理器的训练数据。
CN201980067672.5A 2019-03-14 2019-11-25 信息处理方法及信息处理*** Pending CN112840360A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962818144P 2019-03-14 2019-03-14
US62/818,144 2019-03-14
JP2019-164054 2019-09-09
JP2019164054 2019-09-09
PCT/JP2019/045997 WO2020183807A1 (ja) 2019-03-14 2019-11-25 情報処理方法、および、情報処理システム

Publications (1)

Publication Number Publication Date
CN112840360A true CN112840360A (zh) 2021-05-25

Family

ID=72426007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980067672.5A Pending CN112840360A (zh) 2019-03-14 2019-11-25 信息处理方法及信息处理***

Country Status (5)

Country Link
US (1) US11995150B2 (zh)
EP (1) EP3940626A4 (zh)
JP (1) JP7348945B2 (zh)
CN (1) CN112840360A (zh)
WO (1) WO2020183807A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024516330A (ja) * 2022-02-15 2024-04-12 三菱電機株式会社 類似寄与検出方法及び類似寄与検出システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862522B1 (en) * 2010-12-14 2014-10-14 Symantec Corporation Incremental machine learning for data loss prevention
WO2012164245A1 (en) * 2011-06-01 2012-12-06 Bae Systems Plc Heterogeneous data fusion using gaussian processes
JP6306528B2 (ja) * 2015-03-03 2018-04-04 株式会社日立製作所 音響モデル学習支援装置、音響モデル学習支援方法
JP6629678B2 (ja) 2016-06-16 2020-01-15 株式会社日立製作所 機械学習装置
WO2018002953A1 (en) * 2016-06-28 2018-01-04 Indian Institute Of Technology Bombay Integrated decision support system and method for deriving inferences from data sets
US10599977B2 (en) * 2016-08-23 2020-03-24 International Business Machines Corporation Cascaded neural networks using test ouput from the first neural network to train the second neural network
JP6823523B2 (ja) * 2017-03-31 2021-02-03 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
US20180365575A1 (en) * 2017-07-31 2018-12-20 Seematics Systems Ltd System and method for employing inference models based on available processing resources
CN108021931A (zh) * 2017-11-20 2018-05-11 阿里巴巴集团控股有限公司 一种数据样本标签处理方法及装置
IL256480B (en) * 2017-12-21 2021-05-31 Agent Video Intelligence Ltd A system and method for use in training machine learning
US11373257B1 (en) * 2018-04-06 2022-06-28 Corelogic Solutions, Llc Artificial intelligence-based property data linking system
US11200461B2 (en) * 2018-12-21 2021-12-14 Capital One Services, Llc Methods and arrangements to identify feature contributions to erroneous predictions

Also Published As

Publication number Publication date
EP3940626A1 (en) 2022-01-19
JP7348945B2 (ja) 2023-09-21
EP3940626A4 (en) 2022-05-04
JPWO2020183807A1 (zh) 2020-09-17
US11995150B2 (en) 2024-05-28
US20210241021A1 (en) 2021-08-05
WO2020183807A1 (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
US9684850B2 (en) Biological information processor
US9002101B2 (en) Recognition device, recognition method, and computer program product
CN110852755B (zh) 针对交易场景的用户身份识别方法和装置
US20150278710A1 (en) Machine learning apparatus, machine learning method, and non-transitory computer-readable recording medium
US9135525B2 (en) Character recognition apparatus, character recognition method, and computer-readable medium
US20220245405A1 (en) Deterioration suppression program, deterioration suppression method, and non-transitory computer-readable storage medium
JP6004015B2 (ja) 学習方法、情報処理装置および学習プログラム
WO2015146113A1 (ja) 識別辞書学習システム、識別辞書学習方法および記録媒体
TWI615809B (zh) 用於評價圖像信號處理器中實施的分類器的系統和方法
CN109615080B (zh) 无监督模型评估方法、装置、服务器及可读存储介质
CN112840360A (zh) 信息处理方法及信息处理***
JP2015225410A (ja) 認識装置、方法及びプログラム
CN109902729B (zh) 基于序列状态演进的行为预测方法及装置
CN116597405A (zh) 一种用于车载图像的图像标签关系模型训练方法和装置
CN111523649B (zh) 针对业务模型进行数据预处理的方法及装置
CN112699908B (zh) 标注图片的方法、电子终端、计算机可读存储介质及设备
WO2020101036A1 (ja) 教師信号生成装置、モデル生成装置、物体検出装置、教師信号生成方法、モデル生成方法、およびプログラム
JP6831221B2 (ja) 学習装置及び学習方法
CN117313900B (zh) 用于数据处理的方法、设备和介质
JP6511942B2 (ja) 情報処理装置および情報処理プログラム
US20230139211A1 (en) Model generation apparatus, model generation method, image processing apparatus, image processing method, and recording medium
US20220222582A1 (en) Generation method, computer-readable recording medium storing generation program, and information processing apparatus
CN117313899A (zh) 用于数据处理的方法、设备和介质
JP4633271B2 (ja) 辞書学習方法及び辞書学習プログラム
JP5936160B1 (ja) パターン認識装置とその学習方法、及びパターン認識学習用プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination