CN113424208A - 学习装置、推测装置、数据生成装置、学习方法以及学习程序 - Google Patents

学习装置、推测装置、数据生成装置、学习方法以及学习程序 Download PDF

Info

Publication number
CN113424208A
CN113424208A CN202080013551.5A CN202080013551A CN113424208A CN 113424208 A CN113424208 A CN 113424208A CN 202080013551 A CN202080013551 A CN 202080013551A CN 113424208 A CN113424208 A CN 113424208A
Authority
CN
China
Prior art keywords
data
encoder
learning
training
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080013551.5A
Other languages
English (en)
Inventor
冈本大和
桥本敦史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN113424208A publication Critical patent/CN113424208A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明能够构建导入成本比较低廉，而且对于与数据的获取相关的属性的差异稳健的学习完毕的模型。本发明的一方面涉及的学习装置针对各学习数据集，执行对第二编码器和第二元识别器进行训练以使第二元识别器的识别结果适合于元数据的第一训练步骤、对各编码器和推测器进行训练以使推测器的推测结果适合于正解数据的第二训练步骤、对第一元识别器进行训练以使第一元识别器的识别结果适合于元数据的第三训练步骤、以及对第一编码器进行训练以使第一元识别器的识别结果不适合于元数据的第四训练步骤。交替地反复执行第三训练步骤和第四训练步骤。

Description

学习装置、推测装置、数据生成装置、学习方法以及学习程序
技术领域
本发明涉及学习装置、推测装置、数据生成装置、学习方法以及学习程序。
背景技术
正在开发使用通过设置于道路上的摄像机等各种传感器得到的数据来推测与交通相关的各种事件的***。例如，在专利文献1中，提出了根据表示区域状况的区域信息，对应急车辆、输送手段、移动销售等预测与规定的对象相关的需求的方法。具体而言，使用由区域信息、以及表示与该区域信息所对应的规定对象相关的需求的正解数据构成的学习数据，实施回归模型、神经网络等的机器学习。利用通过该机器学习构建的学习完毕的模型，根据表示区域状况的区域信息来预测与规定的对象相关的需求。
根据通过机器学习构建的学习完毕的模型，能够对与所提供的训练数据同种的未知数据执行回归、分类等的推测(包含预测)任务。其中，学习完毕的模型的推测精度可依赖于获得所提供的学习数据(详细而言为训练数据)的条件等的获取属性。例如，假设将从设定于道路的传感器得到的数据用作训练数据，预测该道路的交通流的场景。在该场景下，数据中出现的道路的交通流的特性可能因各种因素而不同。
作为因素的一例，当观测对象不同时，数据中出现的交通流的特性可能根本上不同。例如，交通流的特性可能因分叉点、汇合点、直线道路、弯曲道路等的道路属性而不同。另外，即使在观测相同地点(即，观测对象相同)的情况下，得到的数据中出现的交通流的特性也可能因为获取数据的方法而不同。例如，在通过在道路附近从侧方进行测定而得到的数据和通过从稍微远离道路的上方的位置进行测定而得到的数据中，数据中出现的交通流的状态可能不同。
因此，学习完毕的模型的推测精度可依赖于获得训练数据的条件等的获取属性。例如，假设构建了被训练为根据由观测没有分叉和汇合的直线道路的传感器得到的数据预测该道路的交通流的学习完毕的模型。该情况下，若针对由观测包含汇合点的弯曲道路的传感器得到的数据利用了该学习完毕的模型，则该学习完毕的模型作出错误预测的可能性高。同样地，假设构建了被训练为根据由从远离道路的上方的位置观测该道路的传感器得到的数据预测该道路的交通流的学习完毕的模型。该情况下，若针对由从侧方观测相同道路的其他传感器得到的数据利用了该学习完毕的模型，则该学习完毕的模型作出错误预测的可能性高。即，如果训练数据的获取属性与作为推测任务的对象的未知数据的获取属性不同，则学习完毕的模型有可能无法适当地进行推测。
相对于此，可以考虑在考虑到所有假设因素的基础上构建学习完毕的模型。例如，可以考虑将在多个地点得到的数据用于一个模型的机器学习。然而，该情况下，虽然能够构建被训练为预测包含该多个地点的区域中的交通流的学习完毕的模型，但该模型的结构变得复杂，难以将学习完毕的模型转用于其他区域。进而，学习数据变得庞大，存在学习不收敛的可能性。
因此，优选采取某种对策以能够将通过训练数据得到的学习的成果应用于获取属性不同的未知数据，而不是为了受理与所有因素对应的输入而使模型的结构变得复杂。作为该尝试之一，已知有域适应(ドメイン適応)。域适应是使利用在某个域中获得的学习数据学会了执行规定任务的能力的学习完毕的模型适应于在其他域中获得的数据的方法。在非专利文献1中，提出了该域适应的方法的一种。
具体而言，在非专利文献1中，首先，准备由作为训练数据的源图像数据以及表示该源图像数据中映现的对象物的正解数据(标签)的组合构成的数据集。另外，准备与之对应的源提取器以及分类器。然后，作为预学习，根据所准备的数据集训练源提取器以及分类器。源提取器被训练为从所输入的图像数据中提取特征量。分类器被训练为根据从源图像数据提取出的特征量，对该源图像数据中映现的对象物进行分类。
接着，准备作为推测任务的对象的对象图像数据。另外，准备与之对应的对象提取器、和用于识别源提取器及对象提取器的输出的识别器。然后，训练识别器以识别由源提取器从源图像数据提取出的特征量和由对象提取器从对象图像数据提取出的特征量，与此相对，敌对性地训练对象提取器以使得该识别器的识别错误。通过该对抗性学习，对象提取器被训练为将对象图像数据映射到与源提取器通用的特征空间，即提取与源提取器共通的特征。由此，能够将通过源图像数据训练的分类器也应用于对象图像数据。也就是说，通过利用训练后的对象提取器和分类器，能够与源图像数据同样地对对象图像数据中映现的对象物进行分类。
现有技术文献
专利文献
专利文献1：日本特开2019-028489号公报
非专利文献
非专利文献1：Eric Tzeng，et al.“Adversarral Discriminative DomainAdaptation”arXiv preprint arXiv:1702.05464,2017.
发明内容
发明所要解决的技术问题
根据非专利文献1的方法，即使在作为推测任务的对象的未知数据与训练数据之间获取属性不同的情况下，也能够期待学习完毕的模型能够针对该未知数据适当地执行推测任务。然而，本申请发明人发现，该非专利文献1中的现有方法存在如下问题。即，在该方法中，由于按照获取对象图像数据的每个域生成对象提取器，因而存在导入成本高这一问题。
另外，根据推测任务，可能考虑到与数据的获取相关的属性的差异更好。例如，假设构建根据从观测道路的传感器得到的数据预测该道路上发生拥堵的可能性的学习完毕的模型的场景。在该情形下，训练数据中包含从分别观测单车道和双车道的道路的各传感器得到的数据，进一步假设学习完毕的模型通过该训练数据得到了双车道的道路比单车道发生拥堵的可能性低这样的见解。该情况下，对于从观测三车道的道路的传感器得到的未知数据，虽然与获取相关的属性与训练数据不同，但学习完毕的模型有可能能够以较高的精度进行该道路的拥堵预测。
相对于此，在现有的方法中，通过对象提取器的对抗性学习，将与获取对象图像数据的域所特有的现象相关的信息损失。进而，与在获取对象图像数据的域和获取源图像数据的域中共通的现象相关的全部信息未必都反映到对象提取器的学习中，与该共通的现象相关的一部分信息有可能损失。因此，在现有的方法中，由于产生这样的信息损失，从而存在学习完毕的模型的推测任务的精度有可能变低这一问题点。
此外，这样的问题点并非构建用于根据由观测道路的状况的传感器得到的数据推测该道路的状况的学习完毕的模型的场景特有的。在构建用于对规定数据进行规定的推测任务的学习完毕的模型的所有场景中都会产生该问题。构建用于进行规定的推测任务的学习完毕的模型的场景例如是构建用于根据由观察对象者的状态的传感器得到的数据推测该对象者的状态的学习完毕的模型的场景、构建用于推测通过摄像机得到的图像数据中映现的人物的属性的学习完毕的模型的场景、构建用于根据由车载数据得到的数据推测对车辆发出的指令的学习完毕的模型的场景、构建用于根据顾客信息推测推荐的命中率的学习完毕的模型的场景、构建用于推测图像数据中映现的产品的状态的学习完毕的模型的场景等。这些场景中利用的规定数据例如是图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等。即使在这些场景下，在现有的方法中，由于是按照获取对象数据的每个域生成对象提取器，因而也存在导入成本高这一问题点。另外，在对象提取器的学习中，由于产生信息的损失，从而存在学习完毕的模型的推测任务的精度有可能变低这一问题点。
本发明的一个方面是鉴于上述实际情况而提出的，其目的在于提供一种用于构建导入成本比较低廉、且对与数据的获取相关的属性的差异稳健(Robust)的学习完毕的模型的技术。
用于解决问题的技术方案
本发明为了解决上述问题而采用以下的构成。
即，本发明的一方面涉及的学习装置具备：数据获取部，获取多个学习数据集，所述多个学习数据集分别由训练数据、表示与所述训练数据的获取相关的属性的元数据、以及表示所述训练数据中包含的特征的正解数据的组合构成；以及学习处理部，实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习；所述第一编码器被构成为将所提供的输入数据转换为第一特征量；所述第二编码器被构成为将所述输入数据转换为第二特征量；所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；所述机器学习的实施包括：第一训练步骤，针对所述各学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述训练数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及第四训练步骤，针对所述各学习数据集对所述第一编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据；所述学习处理部交替地反复执行所述第三训练步骤和所述第四训练步骤。
在该构成涉及的学习装置中，通过四个训练步骤进行学习模型的各部分的机器学习。在第一训练步骤中，第二编码器和第二元识别器针对各学习数据集被训练为通过将训练数据提供给第二编码器而从第二元识别器得到的识别结果适合于元数据。根据该训练的结果，通过第二编码器得到的第二特征量包括与该获取相关的属性所对应的成分，使得第二元识别器能够适当地识别与训练数据的获取相关的属性。在第二训练步骤中，第一编码器、第二编码器以及推测器针对各学习数据集被训练为通过将训练数据提供给第一编码器和第二编码器而从推测器得到的推测结果适合于正解数据。根据该训练的结果，通过第一编码器和第二编码器得到的第一特征量和第二特征量中包含训练数据中包含的特征、即与推测任务的正解对应的成分。
在第三训练步骤中，对第一元识别器进行训练，以使通过将训练数据提供给第一编码器而从第一元识别器得到的识别结果适合于元数据。相对于此，在第四训练步骤中，对第一编码器进行训练，以使通过将训练数据提供给第一编码器而从第一元识别器得到的识别结果不适合于元数据。即，在第三训练步骤和第四训练步骤中，实施第一编码器和第一元识别器的对抗性学习。由此，与第一元识别器的识别性能提高相对应，通过第一编码器得到的第一特征量中不包含与训练数据的获取相关的属性所对应的成分，使得该第一元识别器的识别失败。
即，该构成涉及的机器学习的结果是，关于训练数据中包含的特征，相对于通过第二编码器的编码得到的第二特征量中容易包含与元数据对应的成分，而通过第一编码器的编码得到的第一特征量中容易包含与元数据以外的信息对应的成分。推测器被训练为根据这两方的特征量推测训练数据中包含的特征。因此，通过利用学习完毕的第一编码器、第二编码器以及推测器，能够根据获取数据的域所特有的信息以及共通的信息这两方，执行推测数据中包含的特征的任务。因此，在获取数据的域所特有的信息对推测任务有益的情形下，能够提高学习完毕的模型的推测精度。
另外，在与数据的获取相关的属性所特有的信息对推测任务的精度造成不良影响的情况下，只要不利用通过第二编码器得到的第二特征量，而根据通过第一编码器得到的第一特征量推测数据中包含的特征即可。由此，在执行推测任务时，能够排除与元数据对应的成分的影响。因此，即使在与数据的获取相关的属性所特有的信息会给推测任务的精度造成不良影响的情形(例如，推测获取数据的域中共通出现的现象的情形)下，也能够提高学习完毕的模型的推测精度。
此外，通过将输入数据输入学习完毕的第二编码器而从该第二编码器作为第二特征量得到的输出值，与推测该输入数据的域(即，与数据的获取相关的属性)的结果对应。若该推测的结果正确，则通过将从第二编码器得到的输出值输入第二元识别器而从第二元识别器得到的输出值(元数据的识别结果)适合于与输入数据的获取相关的属性。因此，可以将未知数据输入第二编码器，根据从第二元识别器得到的识别结果是否适合于与未知数据的获取相关的属性来确定是否能够通过上述学习完毕的模型适当地执行推测任务。由此，在提供了学习完毕的模型无法适当地执行推测任务的未知数据时，能够避免针对该未知数据通过该学习完毕的模型执行推测任务。另外，在不同域的数据中存在多个学习完毕的模型的情况下，能够针对未知数据选择适当的学习完毕的模型。
进而，在该构成中，准备了第一编码器和第二编码器这两个编码器。第一编码器发挥提取包含与元数据以外的信息对应的成分的特征量(第一特征量)的作用。第二编码器发挥提取与元数据对应的特征量(第二特征量)的作用。能够对于从不同的域得到的数据共通地利用第一编码器和第二编码器。因此，根据该构成，可以不针对获取数据的每个域准备提取器。
因此，根据该构成，能够省略针对获取数据的每个域准备学习完毕的提取器的麻烦。另外，在与数据的获取相关的属性所特有的信息对推测任务有用的情形和造成不良影响的情形的两者中，可以构建能够较高精度地执行推测任务的学习完毕的模型。进而，可以利用学习完毕的第二编码器和第二元识别器，评价学习完毕的模型是否能够针对未知数据适当地执行推测任务。根据该评价的结果，能够防止针对不能适当地执行推测任务的未知数据利用学习完毕的模型，或者能够选择适于未知数据的学习完毕的模型。因此，根据该构成，能够构建导入成本比较低廉，而且对与数据的获取相关的属性的差异稳健的学习完毕的模型。
此外，第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器分别具备用于运算的运算参数，该运算参数通过机器学习进行调整。这样的第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的种类分别只要是能够进行机器学习的模型(学习器)，便也可以没有特别限定，可以根据实施方式适当地选择。第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器分别可以使用例如神经网络、支持向量机、回归模型、决策树模型等。在第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器分别使用神经网络的情况下，各神经元间的连接的权重、各神经元的阈值等是上述运算参数的一例。各特征量的数据形式也可以没有特别限定，可以根据实施方式适当地选择。
训练数据的种类也可以没有特别限定，可以根据实施方式适当地选择。训练数据例如可以利用图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等。传感器例如可以是图像传感器(摄像机)、红外线传感器、声音传感器(麦克风)、超声波传感器、光传感器、压力传感器、气压传感器、温度传感器等。另外，传感器例如可以是环境传感器、生命传感器、车载传感器、家庭安防传感器等。环境传感器例如可以是气压计、温度计、湿度计、声压计、声音传感器、紫外线传感器、照度计、雨量计、气体传感器等。生命传感器例如可以是血压计、脉搏计、心率计、心电仪、肌电仪、体温计、皮肤电反应计、微波传感器、脑电图仪、脑磁图仪、活动量计、血糖值测定器、眼电位传感器、眼球运动测量器等。车载传感器例如可以是图像传感器、激光传感器、微波传感器等。家庭安防传感器例如可以是图像传感器、红外线传感器、活性度(声音)传感器、气体(CO2等)传感器、电流传感器、智能电表(测量家电、照明等的电力使用量的传感器)等。训练数据可以由多个不同种类的数据构成。该情况下，第一编码器和第二编码器可以分别按照训练数据的种类来准备。即，第一编码器和第二编码器可以分别具备多个部分编码器。各部分编码器可以构成为受理对应种类的训练数据的输入，并将所输入的对应种类的训练数据转换为特征量。
元数据构成为表示与训练数据的获取相关的属性。与该训练数据的获取相关的属性可以包含能够识别获得训练数据的某些条件的所有信息。例如，与该训练数据的获取相关的属性也可以包含与获得训练数据的时间相关的属性。与时间相关的属性例如也可以包含时间段的类别、星期的类别、平日及休息日的类别、月的类别、季节的类别等。时间段的类别既可以通过早晨、中午、夜晚等区分来表现，也可以如7点至9点等这样通过规定的时间的区分来表现。
另外，在通过传感器得到训练数据的情况下，与训练数据的获取相关的属性可以包含与传感器相关联的所有种类的信息。例如，与训练数据的获取相关的属性可以包括与传感器的利用形态相关的属性、与传感器的规格相关的属性、与传感器的观测环境相关的属性等。与传感器的利用形态相关的属性例如也可以包含与传感器的动作设定相关的属性、与传感器的设置状况相关的属性等。与传感器的动作设定相关的属性例如也可以包含测量范围的设定值、测量范围的分辨率的设定值、采样频率的设定值等。与传感器的设置状况相关的属性例如也可以包括传感器的设置角度、传感器的周围的温度、传感器与观测对象之间的距离、传感器的设置间隔等。与传感器的规格相关的属性例如也可以包含与传感器的性能相关的属性、与传感器的设备信息相关的属性、与传感器的初始设置条件相关的属性等。与传感器的性能相关的属性例如也可以包含传感器的灵敏度界限、动态范围、空间分辨率的可设定范围、采样频率的可设定范围等。与传感器的设备信息相关的属性例如也可以包含传感器的类别、传感器的名称、传感器的说明等。与传感器的初始设置条件相关的属性例如也可以包含设置场所的固有名词等信息。与传感器的观测环境相关的属性例如可以包括场所、天气、气温、湿度、照度等。
另外，在相对于对象物得到训练数据的情况下，与训练数据的获取相关的属性也可以包含与该对象物相关的所有种类的信息。在通过传感器得到训练数据的情况下，传感器的观测对象可以是该对象物。与训练数据的获取相关的属性例如也可以包含对象物的类别、用于识别对象物的识别信息等。在对象物为人物的情况下，与训练数据的获取相关的属性例如也可以包含人物(受试者)的标识符、性别、年龄、体格、人种等的识别信息(个人信息)。另外，在针对人物的某些行动得到训练数据的情况下，与训练数据的获取相关的属性也可以包含与人物的行动相关的所有种类的信息。
正解数据构成为表示训练数据所包含的特征、即相对于训练数据的推测任务的正解。训练数据中包含的特征只要能够成为分类、回归等的推测(包含预测)任务的对象，其种类便可以没有特别限定，可以根据实施方式适当地选择。特征的推测可以包括分类、回归等。特征可以包含能够根据数据推测的所有要素。推测特征可以包括预测未来的某些要素。该情况下，特征可以包含未来出现的要素的征兆。正解数据可以根据要学会的推测任务适当地决定。正解数据例如可以由表示特征的类别的信息、表示特征的表现概率的信息、表示特征的值的信息、表示特征的映现范围的信息等构成。此外，在第二训练步骤以外的训练步骤中，还可以利用不包含该正解数据的学习数据集、即由正解数据和元数据的组合构成的学习数据集。
在上述一方面涉及的学习装置中，所述多个学习数据集中包含的至少一个以上的第一学习数据集、以及至少一个以上的第二学习数据集可以从不同的域得到，以使各自的所述元数据表示的属性不同。根据该构成，能够构建对于与数据的获取相关的属性的差异稳健的学习完毕的模型。
此外，不同的域是指与训练数据的获取相关的属性不同，在元数据表示多个属性的情况下是指至少一部分属性不同。域例如规定获取数据的条件等与数据的获取相关的属性。作为一例，在假设通过摄像机获取数据的场景的情况下，若摄像机的朝向、摄像机的分辨率、环境的明亮度、拍摄对象等的拍摄条件不同，则与训练数据的获取相关的属性不同。该情况下，各个拍摄条件是不同的域的一例。
在上述一方面涉及的学习装置中，可以在所述第一训练步骤中，所述第二编码器被训练为所述第二特征量包含由所述元数据表示的与所述训练数据的获取相关的属性所对应的成分；在所述第四训练步骤中，所述第一编码器被训练为所述第一特征量包含与获取所述各学习数据集的所述训练数据的域中共通出现的信息对应的成分。根据该构成，能够构建对于与数据的获取相关的属性的差异稳健的学习完毕的模型。此外，域中共通出现的信息例如是不依赖于通过元数据表示的与训练数据的获取相关的属性的信息。作为一例，在提供了以不同的拍摄条件和背景拍摄数字而得到的图像数据的情况下，数字的类别为域中共通出现的信息。
在上述一方面涉及的学习装置中，可以在所述各训练步骤中，与所述训练数据一起将噪声输入所述各编码器，执行各训练。在多个学习数据集中的一部分训练数据与其他训练数据的随机性极为不同的情况下、或者与其他训练数据相比一部分训练数据中存在大的缺损的情况下，难以防止与该不同的特性对应的成分进入第一特征量。即，难以防止第一编码器学习该不同的特性。因此，在这些情况下，第一元识别器能够根据该不同的特性识别获取的属性，在第四训练步骤中，有可能难以将第一编码器训练为使第一元识别器的识别失败。相对于此，在该构成中，通过与训练数据一起将噪声输入各编码器，能够填补该不同的特性，由此能够适当地完成第四训练步骤。因此，根据该构成，即使在提供了上述那样的训练数据的情况下，也能够构建对于与数据的获取相关的属性的差异稳健的学习完毕的模型。
在上述一方面涉及的学习装置中，所述机器学习的实施还可以包括第五训练步骤，在所述第五训练步骤中，针对所述各学习数据集对所述第一编码器和所述第二编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一编码器作为所述第一特征量得到的输出值与通过将所述训练数据提供给所述第二编码器而从所述第二编码器作为所述第二特征量得到的输出值的交互信息量变少。根据该构成，通过第五训练步骤的成果，相对于与元数据对应的成分容易包含在第二特征量中，而与元数据以外的信息对应的成分更容易包含在第一特征量中且不易包含在第二特征量中。由此，能够将与元数据对应的成分以及与其以外的信息对应的成分适当地分配给第二特征量和第一特征量。由此，特别是在根据第一特征量推测获取数据的域中共通出现的现象的情形下，能够提高学习完毕的模型的推测精度。
在上述一方面涉及的学习装置中，可以在所述第四训练步骤中，针对所述各学习数据集，获取与所述元数据对应的虚拟元数据，该虚拟元数据由与对应的所述元数据不同的值构成。而且，对所述第一编码器进行训练以使所述识别结果不适合于所述元数据，可以通过对所述第一编码器进行训练以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述虚拟元数据而构成。根据该构成，能够简化第四训练步骤的处理。
在上述一方面涉及的学习装置中，所述虚拟元数据可以由与对应的学习数据集不同的学习数据集的元数据构成。根据该构成，能够抑制生成虚拟元数据的计算量，能够降低第四训练步骤的处理成本。
针对对象学习数据集选择获取用作虚拟元数据的元数据的其他学习数据集的方法也可以没有特别限定，可以根据实施方式适当地选择。例如，也可以从多个学习数据集中随机选择其他的学习数据集，并将所选择的学习数据集的元数据用作对象学习数据集的虚拟元数据。另外，例如也可以通过使学习数据集的训练数据与元数据的对应关系向任意方向偏移，从而将分配给对象学习数据集的其他学习数据集的元数据用作虚拟元数据。另外，例如也可以从多个学习数据集中选择一个学习数据集，将所选择的学习数据集的元数据用作所有学习数据集的虚拟元数据。
此外，生成虚拟元数据的方法也可以不限定于上述例子，可以根据实施方式适当地选择。除了该方法之外，例如，可以通过反转元数据的值而生成虚拟元数据。另外，例如虚拟元数据可以由与元数据的值不同的随机值(例如随机数)构成。多个学习数据集中也可以存在虚拟元数据与元数据一致的学习数据集。该情况下，可以将该学习数据集直接用于训练，也可以变更该学习数据集的虚拟元数据。
另外，将第一编码器训练为从第一元识别器得到的识别结果不适合于元数据的方法也可以不限于提供该虚拟元数据的方法。例如，也可以通过计算出第一元识别器的输出值与元数据之间的误差增大的方向的梯度，并反向传播计算出的梯度来训练第一编码器。
在上述一方面涉及的学习装置中，所述学习模型还可以包括解码器，所述解码器构成为根据所述第一特征量和所述第二特征量对所述输入数据进行解码。所述机器学习的实施还可以包括第六训练步骤，在所述第六训练步骤中，针对所述各学习数据集，对所述第一编码器、所述第二编码器以及所述解码器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而通过所述解码器得到的解码数据适合于所述训练数据。根据该构成，通过解码器的训练，保证能够根据第一特征量和第二特征量复原输入数据。即，能够保证在第一特征量和第二特征量中，与输入数据相关的信息没有缺损。因此，根据该构成，在上述任一情形下，都能够在转换为特征量的过程中抑制信息的缺损，因此，能够构建对于与数据的获取相关的属性的差异稳健，而且能够高精度地执行推测任务的学习完毕的模型。
在上述一方面涉及的学习装置中，在所述第一、第二以及第六训练步骤中，可以通过将所述训练数据提供给所述第二编码器而从所述第二编码器获得输出值作为所述第二特征量，与获得的该输出值一起将噪声输入所述第二元识别器、所述推测器以及所述解码器，执行各训练。根据该构成，通过实施对第二特征量赋予了噪声的训练，能够学习与数据的获取相关的属性不同的域。由此，能够构建对于与数据的获取相关的属性的差异稳健，而且能够高精度地执行推测任务的学习完毕的模型。此外，与第二特征量一起输入噪声的形态也可以不限定于上述例子。例如，也可以在第一、第二以及第六训练步骤中的至少任一个步骤中省略噪声的输入。
在上述一方面涉及的学习装置中，所述数据获取部也可以在所述学习处理部实施了所述学习模型的机器学习之后，通过将所述多个学习数据集中的至少任意一个的训练数据提供给所述第一编码器而从所述第一编码器获得输出值作为所述第一特征量，通过将所述训练数据提供给所述第二编码器而从所述第二编码器获得输出值作为所述第二特征量，以及通过将从所述第一编码器获得的所述输出值输入所述解码器，并且与从所述第二编码器得到的所述输出值一起将噪声输入所述解码器，从所述解码器获得输出数据作为所述解码数据。所述学习处理部也可以将获得的所述输出数据用作新的训练数据，再次实施所述学习模型的机器学习。根据该构成，通过将通过与第二特征量一起输入噪声而得到的解码数据作为新的训练数据使用于机器学习，能够学习与数据的获取相关的属性不同的域。由此，能够构建对于与数据的获取相关的属性的差异稳健，而且能够高精度地执行推测任务的学习完毕的模型。
此外，可以适当地获取与新的训练数据相关联的正解数据。例如，在由正解数据表示的特征不依赖于与训练数据的获取相关的属性的情况下，可以使与用于生成新的训练数据的原来的训练数据相关联的正解数据与新的训练数据相关联。另外，例如，也可以使推测器的推测结果作为正解数据与新的训练数据相关联。另外，例如，也可以生成新的正解数据，并使生成的新的正解数据与新的训练数据相关联。同样地，可以适当地获取与新的训练数据相关联的元数据。例如，也可以将通过与第二特征量一起输入噪声而从第二元识别器得到的识别结果作为元数据与新的训练数据相关联。另外，例如也可以生成新的元数据，并使所生成的新的元数据与新的训练数据相关联。
在上述一方面涉及的学习装置中，所述学习模型还可以包括其他的推测器，所述其他的推测器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量推测所述输入数据中包含的特征。所述机器学习的实施还可以包括第七训练步骤，在所述第七训练步骤中，针对所述各学习数据集对所述第一编码器和所述其他的推测器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述其他的推测器得到的推测结果适合于所述正解数据或表示所述训练数据中包含的其他特征的其他的正解数据。根据该构成，通过第七训练步骤的机器学习，能够保证第一特征量中包含与能够用于推测特征的信息对应的成分。由此，特别是在根据第一特征量推测获取数据的域中共通出现的现象的情形下，能够提高学习完毕的模型的推测精度。
此外，学习完毕的其他的推测器可以用于根据第一特征量执行推测任务。由其他的正解数据表示的其他特征优选为与由正解数据表示的特征不同，而且在域中共通出现的特征。在将第一编码器和其他的推测器训练为从其他的推测器得到的推测结果适合于正解数据的情形下，优选由正解数据表示的特征是在域中共通出现的特征。
上述各侧面涉及的学习装置可以适用于构建用于对规定的数据进行规定的推测任务的学习完毕的模型的所有场景。上述各侧面涉及的学习装置例如可以适用于：构建用于根据通过观测道路的状况的传感器得到的数据推测该道路的状况的学习完毕的模型的场景；构建用于根据通过观察对象者的状态的传感器得到的数据推测该对象者的状态的学习完毕的模型的场景；构建用于推测通过摄像机得到的图像数据中映现的人物的属性的学习完毕的模型的场景、构建用于根据由车载数据得到的数据推测对车辆发出的指令的学习完毕的模型的场景、构建用于根据顾客信息推测推荐的命中率的学习完毕的模型的场景、构建用于推测图像数据中映现的产品的状态的学习完毕的模型的场景等。
例如，在上述一方面涉及的学习装置中，所述训练数据可以是通过观察道路上行驶的车辆的传感器得到的感测数据。所述元数据可以作为与所述获取相关的属性而表示所述道路的属性、所述传感器的观察角度、所述传感器的设置间隔、所述传感器的种类或者它们的组合。所述正解数据可以作为所述特征而表示与所述道路的交通状况相关的信息。根据该构成，在根据通过观察道路的传感器得到的感测数据推测道路的交通状况的场景下，能够构建对于与数据的获取相关的属性的差异稳健的学习完毕的模型。
另外，例如在上述一方面涉及的学习装置中，所述训练数据可以是通过观察受试者的状态的传感器得到的感测数据。所述元数据可以作为与所述获取相关的属性而表示所述受试者的识别信息、与获得所述感测数据的时间相关的属性、与所述传感器的设置状况相关的属性、所述传感器的设置场所或者它们的组合。所述正解数据可以作为所述特征而表示所述受试者的状态。根据该构成，在构建用于根据通过观察对象者的状态的传感器得到的感测数据推测该对象者的状态的学习完毕的模型的场景下，能够构建对于与数据的获取相关的属性的差异稳健的学习完毕的模型。
另外，例如在上述一方面涉及的学习装置中，所述训练数据可以是映现产品的图像数据。所述元数据可以表示产品的属性、产品的拍摄条件、制造产品的工厂的属性或它们的组合。所述正解数据可以作为所述特征而表示产品的状态。根据该构成，在构建用于推测图像数据中映现的产品的状态的学习完毕的模型的场景下，能够构建对于与数据的获取相关的属性的差异稳健的学习完毕的模型。
此外，图像数据中显现的产品例如可以为电子设备、电子部件、汽车部件、药品、食品等的生产线上输送的产品。电子部件例如可以是基板、片状电容器、液晶、继电器的绕组等。汽车部件例如可以为连杆、转轴、发动机组、电动车窗开关、面板等。药品例如可以是包装完毕的片剂、未包装的片剂等。产品既可以是在制造过程完成后生成的最终品，也可以是在制造过程的中途生成的中间品，还可以是在经过制造过程之前准备的初始品。产品的状态例如可以是与缺陷相关的状态。该情况下，产品的状态可以通过产品中是否包含缺陷、产品中包含的缺陷的种类、产品中包含的缺陷的范围或它们的组合来表现。与此相应地，特征例如可以是与损伤、污垢、裂纹、压痕、毛刺、颜色不均、异物混入等产品的缺陷相关的特征。
另外，本发明的一方面涉及的学习装置具备：数据获取部，获取多个学习数据集，所述多个学习数据集分别由图像数据、表示与所述图像数据的获取相关的属性的元数据、以及表示所述图像数据中包含的特征的正解数据的组合构成；以及学习处理部，实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习；所述第一编码器被构成为将所提供的输入数据转换为第一特征量；所述第二编码器被构成为将所述输入数据转换为第二特征量；所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；所述机器学习的实施包括：第一训练步骤，针对所述各学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述图像数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述图像数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述图像数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及第四训练步骤，针对所述各学习数据集对所述第一编码器进行训练，以使通过将所述图像数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据；所述学习处理部交替地反复执行所述第三训练步骤和所述第四训练步骤。
另外，本发明的一方面涉及的学习装置具备：数据获取部，获取多个学习数据集，所述多个学习数据集分别由感测数据、表示与所述感测数据的获取相关的属性的元数据、以及表示所述感测数据中包含的特征的正解数据的组合构成；以及学习处理部，实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习；所述第一编码器被构成为将所提供的输入数据转换为第一特征量；所述第二编码器被构成为将所述输入数据转换为第二特征量；所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；所述机器学习的实施包括：第一训练步骤，针对所述各学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述感测数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述感测数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述感测数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及第四训练步骤，针对所述各学习数据集对所述第一编码器进行训练，以使通过将所述感测数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据；所述学习处理部交替地反复执行所述第三训练步骤和所述第四训练步骤。
另外，本发明的方式也可以不限于上述学习装置。本发明的一方面也可以是利用通过上述学习装置构建的学习完毕的学习模型的装置。例如，本发明的一方面也可以是构成为利用通过上述学习装置构建的学习完毕的学习模型，对规定的数据执行规定的推测任务的推测装置。该推测装置可以根据适用场景中的推测任务的种类而被称为预测装置、监视装置、诊断装置、检查装置等。另外，例如，本发明的一方面也可以是构成为利用包括通过上述学习装置构建的解码器的学习完毕的学习模型生成新的数据的数据生成装置。
例如，本发明的一方面涉及的推测装置具备：数据获取部，获取对象数据；推测部，利用通过上述任一方面涉及的学习装置训练后的所述第一编码器、所述第二编码器以及所述推测器，推测获得的对象数据中包含的特征；以及输出部，输出与所述特征的推测结果相关的信息。
另外，例如，本发明的一方面涉及的推测装置具备：数据获取部，获取对象数据；推测部，利用通过上述一方面涉及的学习装置训练后的所述第一编码器和所述其他的推测器，推测获得的对象数据中包含的特征；以及输出部，输出与所述特征的推测结果相关的信息。此外，其他的推测器也可以替换为与学习装置进行的学习装置的机器学习无关地构建的学习完毕的推测器。
另外，上述一方面涉及的推测装置还可以具备评价部，所述评价部利用通过所述学习装置训练后的所述第二编码器和所述第二元识别器识别与所述对象数据的获取相关的属性，并根据该识别的结果判定是否采用所述特征的推测结果。此外，不采用推测的结果可以包括在通过推测部执行了推测处理之后废弃该推测的结果、和不执行推测处理。
另外，例如，本发明的一方面涉及的推测装置具备：数据获取部，获取对象图像数据；推测部，利用通过上述任一方面涉及的学习装置训练后的所述第一编码器、所述第二编码器以及所述推测器，推测获得的对象图像数据中包含的特征；以及输出部，输出与所述特征的推测结果相关的信息。
另外，例如，本发明的一方面涉及的推测装置具备：数据获取部，获取对象图像数据；推测部，利用通过上述一方面涉及的学习装置训练后的所述第一编码器和所述其他的推测器，推测获得的对象图像数据中包含的特征；以及输出部，输出与所述特征的推测结果相关的信息。其他的推测器也可以替换为与学习装置进行的学习装置的机器学习无关地构建的学习完毕的推测器。
另外，上述一方面涉及的推测装置还可以具备评价部，所述评价部利用通过所述学习装置训练后的所述第二编码器和所述第二元识别器识别与所述对象图像数据的获取相关的属性，并根据该识别的结果判定是否采用所述特征的推测结果。此外，不采用推测的结果可以包括在通过推测部执行了推测处理之后废弃该推测的结果、和不执行推测处理。
另外，例如，本发明的一方面涉及的推测装置具备：数据获取部，获取对象感测数据；推测部，利用通过上述任一方面涉及的学习装置训练后的所述第一编码器、所述第二编码器以及所述推测器，推测获得的对象感测数据中包含的特征；以及输出部，输出与所述特征的推测结果相关的信息。
另外，例如，本发明的一方面涉及的推测装置具备：数据获取部，获取对象感测数据；推测部，利用通过上述一方面涉及的学习装置训练后的所述第一编码器和所述其他的推测器，推测获得的对象感测数据中包含的特征；以及输出部，输出与所述特征的推测结果相关的信息。其他的推测器也可以替换为与学习装置进行的学习装置的机器学习无关地构建的学习完毕的推测器。
另外，上述一方面涉及的推测装置还可以具备评价部，所述评价部利用通过所述学习装置训练后的所述第二编码器和所述第二元识别器识别与所述对象感测数据的获取相关的属性，并根据该识别的结果判定是否采用所述特征的推测结果。此外，不采用推测的结果可以包括在通过推测部执行了推测处理之后废弃该推测的结果、和不执行推测处理。
另外，例如，本发明的一方面涉及的数据生成装置具备：数据获取部，获取对象数据；数据生成部，通过将所述对象数据提供给通过上述一方面涉及的学习装置训练后的所述第一编码器而从所述第一编码器获取输出值作为所述第一特征量，并利用训练后的所述解码器，不提供从所述第二编码器获得的输出值，而根据从所述第一编码器获得的所述输出值对所述对象数据进行解码，从而生成解码数据；以及保存处理部，将所生成的所述解码数据保存至规定的存储区域中。
另外，例如，本发明的一方面涉及的数据生成装置具备：数据获取部，获取对象图像数据；数据生成部，通过将所述对象图像数据提供给通过上述一方面涉及的学习装置训练后的所述第一编码器而从所述第一编码器获取输出值作为所述第一特征量，并利用训练后的所述解码器，不提供从所述第二编码器获得的输出值，而根据从所述第一编码器获得的所述输出值对所述对象图像数据进行解码，从而生成解码数据；以及保存处理部，将所生成的所述解码数据保存至规定的存储区域中。
另外，例如，本发明的一方面涉及的数据生成装置具备：数据获取部，获取对象感测数据；数据生成部，通过将所述对象感测数据提供给通过上述一方面涉及的学习装置训练后的所述第一编码器而从所述第一编码器获取输出值作为所述第一特征量，并利用训练后的所述解码器，不提供从所述第二编码器获得的输出值，而根据从所述第一编码器获得的所述输出值对所述对象感测数据进行解码，从而生成解码数据；以及保存处理部，将所生成的所述解码数据保存至规定的存储区域中。
另外，作为上述各方式涉及的学习装置、推测装置以及数据生成装置各自的其他方式，本发明的一方面既可以是实现以上各构成的全部或其一部分的信息处理方法，也可以是程序，还可以是存储这样的程序的计算机及其他装置、机器等可读的存储介质。在此，计算机等可读的存储介质是指通过电、磁、光学、机械或化学作用存储程序等信息的介质。另外，本发明的一方面可以是由上述任一个方式涉及的学习装置、和任一方式涉及的推测装置及数据生成装置中的至少任一个构成的***。
例如，本发明的一方面涉及的学习方法由计算机执行如下步骤：获取多个学习数据集的步骤，所述多个学习数据集分别由训练数据、表示与所述训练数据的获取相关的属性的元数据、以及表示所述训练数据中包含的特征的正解数据的组合构成；以及实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习的步骤；所述第一编码器被构成为将所提供的输入数据转换为第一特征量；所述第二编码器被构成为将所述输入数据转换为第二特征量；所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；所述机器学习的实施包括：第一训练步骤，针对所述各学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述训练数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及针对所述各学习数据集，包括第四训练步骤，对所述第一编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据，并且，交替地反复执行所述第三训练步骤和所述第四训练步骤。
另外，例如本发明的一方面涉及的学习程序使计算机执行如下步骤：获取多个学习数据集的步骤，所述多个学习数据集分别由训练数据、表示与所述训练数据的获取相关的属性的元数据、以及表示所述训练数据中包含的特征的正解数据的组合构成；以及实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习的步骤；所述第一编码器被构成为将所提供的输入数据转换为第一特征量；所述第二编码器被构成为将所述输入数据转换为第二特征量；所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；所述机器学习的实施包括：第一训练步骤，针对所述各学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述训练数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及针对所述各学习数据集，包括第四训练步骤，对所述第一编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据，并且，交替地反复执行所述第三训练步骤和所述第四训练步骤。
(发明效果)
根据本发明，能够构建导入成本比较低廉，而且对与数据的获取相关的属性的差异稳健的学习完毕的模型。
附图说明
图1示意性地例示出本发明的适用场景的一例。
图2示意性地例示出实施方式涉及的学习装置的硬件构成的一例。
图3示意性地例示出实施方式涉及的推测装置的硬件构成的一例。
图4示意性地例示出实施方式涉及的数据生成装置的硬件构成的一例。
图5A示意性地例示出实施方式涉及的学习装置的软件构成的一例。
图5B示意性地例示出实施方式涉及的学习装置的软件构成的一例。
图5C示意性地例示出实施方式涉及的学习装置的软件构成的一例。
图5D示意性地例示出实施方式涉及的学习装置的软件构成的一例。
图6示意性地例示出实施方式涉及的推测装置的软件构成的一例。
图7示意性地例示出实施方式涉及的数据生成装置的软件构成的一例。
图8例示出实施方式涉及的学习装置的处理流程的一例。
图9例示出实施方式涉及的学习装置的机器学习的处理流程的一例。
图10例示出实施方式涉及的推测装置的处理流程的一例。
图11例示出实施方式涉及的数据生成装置的处理流程的一例。
图12示意性地例示出本发明的另一适用场景的一例。
图13A示意性地例示出另一方式涉及的预测装置的硬件构成的一例。
图13B示意性地例示出另一方式涉及的预测装置的软件构成的一例。
图14示意性地例示出本发明的另一适用场景的一例。
图15A示意性地例示出另一方式涉及的监视装置的硬件构成的一例。
图15B示意性地例示出另一方式涉及的监视装置的软件构成的一例。
图16示意性地例示出本发明的另一适用场景的一例。
图17示意性地例示出本发明的另一适用场景的一例。
图18A示意性地例示出另一方式涉及的检查装置的硬件构成的一例。
图18B示意性地例示出另一方式涉及的检查装置的软件构成的一例。
图19示意性地例示出本发明的另一适用场景的一例。
图20A示意性地例示出另一方式涉及的监视装置的硬件构成的一例。
图20B示意性地例示出另一方式涉及的监视装置的软件构成的一例。
图21示意性地例示出本发明的另一适用场景的一例。
图22A示意性地例示出另一方式涉及的监视装置的硬件构成的一例。
图22B示意性地例示出另一方式涉及的监视装置的软件构成的一例。
图23示意性地例示出本发明的另一适用场景的一例。
图24A示意性地例示出另一方式涉及的推荐装置的硬件构成的一例。
图24B示意性地例示出另一方式涉及的推荐装置的软件构成的一例。
具体实施方式
以下，根据附图对本发明的一方面涉及的实施方式(以下，也表述为“本实施方式”)进行说明。但是，以下说明的本实施方式在所有方面都仅为本发明的例示。当然，能够在不脱离本发明的范围的情况下进行各种改良和变形。也就是说，在实施本发明时，也可以适当地采用符合实施方式的具体构成。需要说明的是，本实施方式中利用自然语言来说明出现的数据，但是，更为具体而言，利用计算机可识别的模拟语言、命令、参数、机器语言等来指定。
§1适用例
首先，使用图1对本发明的适用场景的一例进行说明。图1示意性地例示出本发明的适用场景的一例。
如图1所示，本实施方式涉及的***具备学习装置1、推测装置2以及数据生成装置3。通过学习装置1和推测装置2构成推测***，该推测***实施学习模型5的机器学习，并利用该机器学习的成果推测对象数据所包含的特征。另外，通过学习装置1和数据生成装置3构成数据生成***，该数据生成***实施学习模型5的机器学习，并利用该机器学习的成果生成与对象数据关联的新的数据。
本实施方式涉及的学习装置1是构成为实施学习模型5的机器学习的计算机。具体而言，本实施方式涉及的学习装置1获取多个学习数据集121。各学习数据集121由训练数据122、表示与该训练数据122的获取相关的属性的元数据123、以及表示该训练数据122中包含的特征(即，相对于该训练数据122的推测任务的正解)的正解数据124的组合构成。
训练数据122的种类可以无特别限定，可以根据使学习模型5学会的推测任务适当地选择。训练数据122例如可以是图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等。在图1的例子中，假设为使学习模型5学会推测由传感器S得到的感测数据中包含的特征的能力的场景。因此，在本实施方式中，训练数据122是由传感器S或与之相同种类的传感器(以下，包括相同种类的传感器在内称为传感器S)得到的感测数据。
传感器S的种类也可以无特别限定，可以根据使学习模型5学会的推测任务适当地选择。传感器S例如可以是图像传感器(摄像机)、红外线传感器、声音传感器(麦克风)、超声波传感器、光传感器、压力传感器、气压传感器、温度传感器等。另外，传感器S例如可以是环境传感器、生命传感器、车载传感器、家庭安防传感器等。环境传感器例如可以是气压计、温度计、湿度计、声压计、声音传感器、紫外线传感器、照度计、雨量计、气体传感器等。生命传感器例如可以是血压计、脉搏计、心率计、心电仪、肌电仪、体温计、皮肤电反应计、微波传感器、脑电图仪、脑磁图仪、活动量计、血糖值测定器、眼电位传感器、眼球运动测量器等。车载传感器例如可以是图像传感器、激光传感器、微波传感器等。家庭安防传感器例如可以是图像传感器、红外线传感器、活性度(声音)传感器、气体(CO2等)传感器、电流传感器、智能电表(测量家电、照明等的电力使用量的传感器)等。
元数据123构成为表示与训练数据122的获取相关的属性。与该训练数据122的获取相关的属性可以包含能够识别获得了训练数据122的某些条件的所有信息。例如，与该训练数据122的获取相关的属性也可以包含与获得了训练数据122的时间相关的属性。与时间相关的属性例如也可以包括时间段的类别、星期的类别、平日及休息日的类别、月的类别、季节的类别等。时间段的类别既可以通过早晨、中午、夜晚等区分来表现，也可以如7点至9点等这样通过规定的时间的区分来表现。
另外，在本实施方式中，由于训练数据122通过传感器S得到，因此，与训练数据122的获取相关的属性可以包含与传感器S关联的所有种类的信息。例如，与训练数据122的获取相关的属性可以包含与传感器S的利用形态相关的属性、与传感器S的规格相关的属性、与传感器S的观测环境相关的属性等。与传感器S的利用形态相关的属性例如也可以包含与传感器S的动作设定相关的属性、与传感器S的设置状况相关的属性等。与传感器S的动作设定相关的属性例如也可以包含测量范围的设定值、测量范围的分辨率的设定值、采样频率的设定值等。与传感器S的设置状况相关的属性例如也可以包括传感器S的设置角度、传感器S的周围的温度、传感器S与观测对象之间的距离、传感器S的设置间隔等。与传感器S的规格相关的属性例如也可以包含与传感器S的性能相关的属性、与传感器S的设备信息相关的属性、与传感器S的初始设置条件相关的属性等。与传感器S的性能相关的属性例如也可以包含传感器S的灵敏度界限、动态范围、空间分辨率的可设定范围、采样频率的可设定范围等。与传感器S的设备信息相关的属性例如也可以包含传感器S的类别、传感器S的名称、传感器S的说明等。与传感器S的初始设置条件相关的属性例如也可以包含设置场所的固有名词等信息。与传感器S的观测环境相关的属性例如可以包括场所、天气、气温、湿度、照度等。
另外，在针对某个对象物得到训练数据122的情况下，与训练数据122的获取相关的属性也可以包含与该对象物相关的所有种类的信息。在本实施方式中，传感器S的观察对象可以为该对象物。与训练数据122的获取相关的属性例如也可以包含对象物的类别、用于识别对象物的识别信息等。在对象物为人物的情况下，与训练数据122的获取相关的属性例如也可以包含人物(受试者)的标识符、性别、年龄、体格、人种等的识别信息(个人信息)。另外，在针对人物的某些行动得到训练数据122的情况下，与训练数据122的获取相关的属性也可以包含与人物的行动相关的所有种类的信息。
正解数据124构成为表示训练数据122所包含的特征、即相对于训练数据122的推测任务的正解。训练数据122中包含的特征只要能够成为分类、回归等的推测(包含预测)任务的对象，其种类便可以没有特别限定，可以根据实施方式适当地选择。特征的推测可以包括分类、回归等。特征可以包含能够根据数据推测的所有要素。推测特征可以包括预测未来的某些要素。该情况下，特征可以包含未来出现的要素的征兆。正解数据124可以根据要学会的推测任务适当地决定。正解数据124例如可以由表示特征的类别的信息、表示特征的表现概率的信息、表示特征的值的信息、表示特征的映现范围的信息等构成。
作为一例，在预测道路的交通状况的场景下，作为观察道路上行驶的车辆的传感器，传感器S可以使用摄像机、超声波传感器、红外线传感器等。与此相应地，训练数据122可以是图像数据、表示每单位时间的车辆的通过台数的测量结果的数据、表示平均速度的测量结果的数据等。元数据123可以由表示道路的属性、传感器S的观察角度、传感器S的设置间隔、传感器S的种类等的信息构成。道路的属性例如可以通过是否为直线道路、是否为弯曲道路、是否有收费道路的收费站、是否为汇合点、是否为分叉点等来表示。正解数据124可以由与道路的交通状况相关的信息构成。交通状况既可以是根据训练数据122出现的当前的交通状况，也可以是未来的交通状况。与道路的交通状况相关的信息例如可以通过有无发生拥堵、拥堵发生的概率、发生的拥堵的持续时间、从传感器S的设置场所到规定场所为止的所需时间等来表现。有无发生拥堵也可以通过在规定时间后是否发生拥堵来表现。
本实施方式涉及的学习装置1使用所获得的多个学习数据集121实施学习模型5的机器学习。在本实施方式中，学习模型5包括第一编码器51、第二编码器52、第一元识别器53、第二元识别器54以及推测器55。第一编码器51构成为将所提供的输入数据转换为第一特征量。第二编码器52构成为将所提供的输入数据转换为第二特征量。各特征量的数据形式也可以没有特别限定，可以根据实施方式适当地选择。第一元识别器53构成为被输入第一编码器51的输出值(第一特征量)，根据所输入的第一特征量识别与输入数据的获取相关的属性。第二元识别器54构成为被输入第二编码器52的输出值(第二特征量)，根据所输入的第二特征量识别与输入数据的获取相关的属性。推测器55被输入第一编码器51及第二编码器52的输出值(第一特征量及第二特征量)，根据所输入的第一特征量及第二特征量推测输入数据所包含的特征。
在本实施方式中，实施机器学习包括第一～第四训练步骤。在第一训练步骤中，学习装置1针对各学习数据集121训练第二编码器52和第二元识别器54，以使通过将训练数据122提供给第二编码器52而从第二元识别器54得到的识别结果适合于元数据123。在第二训练步骤中，学习装置1针对各学习数据集121训练第一编码器51、第二编码器52以及推测器55，以使通过将训练数据122提供给第一编码器51和第二编码器52而从推测器55得到的推测结果适合于正解数据124。
在第三训练步骤中，学习装置1针对各学习数据集121训练第一元识别器53，以使通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果适合于元数据123。在第四训练步骤中，学习装置1针对各学习数据集121训练第一编码器51，以使得通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果不适合于元数据123。学习装置1交替地反复执行第三训练步骤和第四训练步骤。此外，以下为了便于说明，将通过各元识别器(53、54)得到的识别结果也记载为“元识别”。
本实施方式涉及的推测装置2是构成为利用学习完毕的学习模型5针对对象数据执行推测任务的计算机。在本实施方式中，推测装置2与传感器S连接。推测装置2从传感器S获取对象数据。推测装置2利用学习完毕的学习模型5推测获得的对象数据中包含的特征。然后，推测装置2输出与推测的结果相关的信息。
本实施方式涉及的数据生成装置3是构成为利用学习完毕的学习模型5生成与对象数据关联的新的数据的计算机。在本实施方式中，数据生成装置3与传感器S连接。数据生成装置3从传感器S获取对象数据。数据生成装置3利用学习完毕的学习模型5，生成与所获得的对象数据关联的新的数据。新的数据可以是从所获得的对象数据中提取的第一特征量和第二特征量中的至少任意一个。另外，新的数据也可以是通过后述的解码器生成的解码数据。数据生成装置3将所生成的新的数据保存于规定的存储区域。
如上所述，在本实施方式中，通过学习装置1的第一训练步骤，使得通过学习完毕的第二编码器52得到的第二特征量中包含与该获取相关的属性所对应的成分，以使第二元识别器54能够适当地识别与训练数据122的获取相关的属性。另外，通过第二训练步骤，使得通过学习完毕的第一编码器51和第二编码器52得到的第一特征量和第二特征量中包含与训练数据122所包含的特征(即，推测任务的正解)对应的成分。进而，在本实施方式中，通过第三训练步骤和第四训练步骤，实施第一编码器51和第一元识别器53的对抗性学习。由此，对应于第一元识别器53的识别性能的提高，在通过学习完毕的第一编码器51得到的第一特征量中不包含与训练数据122的获取相关的属性所对应的成分，以使该第一元识别器53的识别失败。
即，在本实施方式中，作为上述机器学习的结果，关于训练数据122所包含的特征，通过学习完毕的第二编码器52的编码而得到的第二特征量中容易包含与元数据123对应的成分。相对于此，在通过学习完毕的第一编码器51得到的第一特征量中，容易包含与训练数据122所包含的特征相关的、与元数据123以外的信息对应的成分。推测器55被训练为根据该两者的特征量推测训练数据122所包含的特征。作为一例，在预测上述道路的交通状况的场景下，第一特征量作为域共通的信息而包含与呈点状地产生的交通流的数量及其增减的变化趋势对应的成分。另一方面，第二特征量作为域特有的信息而包含与稳定地出现的地形引起的交通流的趋势、以及在多个地点共现的交通流的趋势对应的成分。推测器55能够根据该两者的信息，执行推测拥堵发生的概率、有无拥堵等的任务。因此，在本实施方式涉及的推测装置2中，通过利用学习完毕的第一编码器51、第二编码器52以及推测器55，能够根据获取对象数据的域所特有的信息及共通的信息两者执行推测对象数据所包含的特征的任务。因此，在获取对象数据的域所特有的信息对推测任务有益的情况下，能够提高对象数据所包含的特征的推测精度。
另外，在与对象数据的获取相关的属性所特有的信息会对推测任务的精度带来不良影响的情况下，推测装置2可以不利用通过学习完毕的第二编码器52得到的第二特征量，而根据通过学习完毕的第一编码器51得到的第一特征量推测对象数据所包含的特征。由此，在执行推测任务时，能够排除与对象数据的获取相关的属性所对应的成分的影响。因此，即使在与对象数据的获取相关的属性的信息会对推测任务的精度带来不良影响的情况下，也可以提高对象数据所包含的特征的推测精度。
此外，通过向学习完毕的第二编码器52输入输入数据而从该第二编码器52作为第二特征量得到的输出值，与推测该输入数据的域(即，与输入数据的获取相关的属性)的结果对应。若该推测的结果正确，则通过将从第二编码器52得到的输出值输入学习完毕的第二元识别器54，从该第二元识别器54得到的输出值(即，元识别的结果)适合于与输入数据的获取相关的属性。因此，在本实施方式涉及的推测装置2中，将对象数据输入第二编码器52，根据从第二元识别器54得到的元识别的结果是否适合于与对象数据的获取相关的属性，能够判定学习完毕的学习模型5是否能够针对该对象数据适当地执行推测任务。由此，在提供了学习完毕的学习模型5无法适当地执行推测任务的对象数据时，能够避免对该对象数据执行推测任务。另外，在根据从不同的域得到的学习数据集而存在学习完毕的多个学习模型5的情况下，能够针对对象数据选择适当的学习完毕的学习模型5。
进而，在本实施方式中，准备了第一编码器51和第二编码器52这两个编码器。第一编码器51发挥提取包含与数据的获取相关的属性以外的信息所对应的成分的特征量(第一特征量)的作用。第二编码器52发挥提取与相关数据的获取的属性所对应的特征量(第二特征量)的作用。能够对于从不同的域得到的对象数据共通地利用第一编码器51和第二编码器52。因此，在本实施方式中，也可以不按获取对象数据的每个域准备提取器。
因此，根据本实施方式，能够省略针对获取对象数据的每个域准备学习完毕的提取器的麻烦。另外，在与对象数据的获取相关的属性所特有的信息对推测任务有用的情形和带来不良影响的情形的两者中，可以构建能够较高精度地执行推测任务的学习完毕的学习模型5。进而，可以利用学习完毕的第二编码器52和第二元识别器54，对学习完毕的学习模型5是否能够针对对象数据适当地执行推测任务进行评价。根据该评价的结果，能够防止对不能适当地执行推测任务的对象数据利用学习完毕的学习模型5，或者能够针对对象数据选择适当的学习完毕的学习模型5。因此，根据本实施方式，能够构建导入成本比较低廉，且对于与对象数据的获取相关的属性的差异稳健的学习完毕的学习模型5。
此外，在图1的例子中，学习装置1、推测装置2以及数据生成装置3经由网络相互连接。网络的种类可以从例如因特网、无线通信网、移动通信网、电话网、专用网等中适当地进行选择。但是，在各装置1～3之间交换数据的方法也可以不限定于这样的例子，可以根据实施方式适当地选择。例如，在学习装置1、推测装置2以及数据生成装置3中，可以利用存储介质来交换数据。
另外，在图1的例子中，学习装置1、推测装置2以及数据生成装置3分别是独立的计算机。然而，本实施方式涉及的***的构成也可以不限定于这样的例子，可以根据实施方式适当地确定。例如，学习装置1、推测装置2以及数据生成装置3中的至少任意一对可以是一体的计算机。另外，例如学习装置1、推测装置2以及数据生成装置3中的至少任意一个可以由多台计算机构成。
§2构成例
[硬件构成]
接着，使用图2对本实施方式涉及的学习装置1的硬件构成的一例进行说明。图2示意性地例示出本实施方式涉及的学习装置1的硬件构成的一例。
如图2所示，本实施方式涉及的学习装置1是与控制部11、存储部12、通信接口13、输入装置14、输出装置15以及驱动器16电连接的计算机。需要说明的是，在图2中，将通信接口记载为“通信I/F”。
控制部11构成为包含作为硬件处理器的CPU(Central Processing Unit：中央处理器)、RAM(Random Access Memory：随机存取存储器)、ROM(Read Only Memory：只读存储器)等，并根据程序和各种数据执行信息处理。存储部12是存储器的一例，例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部12存储学习程序81、多个学习数据集121、学习结果数据128等的各种信息。
学习程序81是用于使学习装置1执行与识别模型5的机器学习相关的后述信息处理(图8、图9)的程序。学习程序81包含该信息处理的一系列的命令。多个学习数据集121用于该学习模型5的机器学习。学习结果数据128表示与学习完毕的学习模型5相关的信息。学习结果数据128作为学习程序81的执行结果而得到。之后详细进行叙述。
通信接口13例如为有线LAN(Local Area Network：局域网)模块、无线LAN模块等，且是用于经由网络进行有线或无线通信的接口。学习装置1通过利用该通信接口13，能够经由网络与其他的信息处理装置(例如推测装置2、数据生成装置3)进行数据通信。
输入装置14例如是鼠标、键盘等用于进行输入的装置。另外，输出装置15例如是显示器、扬声器等用于进行输出的装置。操作人员能够经由输入装置14及输出装置15操作学习装置1。输入装置14及输出装置15也可以由触摸面板显示器等呈一体地构成。
驱动器16例如是CD驱动器、DVD驱动器等，且是用于读入存储介质91中存储的程序的驱动装置。驱动器16的种类可以根据存储介质91的种类适当地选择。上述学习程序81及多个学习数据集121中的至少任意一个也可以存储于该存储介质91中。
存储介质91是以计算机及其他装置、机械等能够读取所记录的程序等信息的方式，通过电、磁、光学、机械或化学作用存储该程序等信息的介质。学习装置1也可以从该存储介质91获取上述学习程序81和多个学习数据集121中的至少任意一个。
在此，在图2中，作为存储介质91的一例，例示出CD、DVD等的盘式存储介质。但是，存储介质91的种类并不限定于盘式，也可以是盘式以外的类型。作为盘式以外的存储介质，例如可以举出闪存等的半导体存储器。
此外，关于学习装置1的具体的硬件构成，能够根据实施方式适当地省略、置换以及追加构成要素。例如，控制部11也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA(field-programmable gate array：现场可编程门阵列)、DSP(digital signalprocessor：数字信号处理器)等构成。存储部12也可以由控制部11所包含的RAM及ROM构成。也可以省略通信接口13、输入装置14、输出装置15以及驱动器16中的至少任意一个。学习装置1也可以由多台计算机构成。该情况下，各计算机的硬件构成既可以一致，也可以不一致。另外，学习装置1除了被设计为所提供的服务专用的信息处理装置之外，也可以是通用的服务器装置、通用的PC(Personal Computer：个人计算机)等。
＜推测装置＞
接着，使用图3对本实施方式涉及的推测装置2的硬件构成的一例进行说明。图3示意性地例示出本实施方式涉及的推测装置2的硬件构成的一例。
如图3所示，本实施方式涉及的推测装置2是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。此外，在图3中，将外部接口记载为“外部I/F”。本实施方式涉及的推测装置2的控制部21～驱动器26可以分别与上述学习装置1的控制部11～驱动器16同样地构成。
即，控制部21构成为包括作为硬件处理器的CPU、RAM、ROM等，并根据程序和数据执行各种信息处理。存储部22例如由硬盘驱动器、固态驱动器等构成。在本实施方式中，存储部22存储推测程序82、学习结果数据128等的各种信息。
推测程序82是用于使推测装置2执行利用学习完毕的学习模型5推测对象数据所包含的特征的后述信息处理(图10)的程序。推测程序82包含该信息处理的一系列的命令。之后详细进行叙述。
通信接口23例如是有线LAN模块、无线LAN模块等，且是用于经由网络进行有线或无线通信的接口。推测装置2可以利用该通信接口23，经由网络与其他的信息处理装置(例如学习装置1)进行数据通信。
输入装置24例如是鼠标、键盘等用于进行输入的装置。输出装置25例如是显示器、扬声器等用于进行输出的装置。操作人员可以经由输入装置24及输出装置25操作学习装置2。输入装置24及输出装置25也可以由触摸面板显示器等呈一体地构成。
驱动器26例如是CD驱动器、DVD驱动器等，且是用于读入存储介质92中存储的程序的驱动装置。上述推测程序82及学习结果数据128中的至少任意一个也可以存储于存储介质92中。另外，推测装置2也可以从存储介质92获取上述推测程序82和学习结果数据128中的至少任意一个。存储介质92的种类既可以是盘式，也可以是盘式以外的类型。
外部接口27例如是USB(Universal Serial Bus：通用串行总线)端口、专用端口等，且是用于与外部装置连接的接口。外部接口27的种类及数量可以根据所连接的外部装置的种类及数量适当地选择。在本实施方式中，推测装置2经由外部接口27与传感器S连接。
传感器S用于获取作为推测任务的对象的对象数据。传感器S的种类和配置场所也可以没有特别限定，可以根据所执行的推测任务的种类适当地决定。此外，与传感器S的连接方法可以不限定于这样的例子。例如，在传感器S具备通信接口的情况下，推测装置2也可以不经由外部接口27而是经由通信接口23与传感器S连接。
此外，关于推测装置2的具体的硬件构成，能够根据实施方式适当地省略、替换以及追加构成要素。例如，控制部21也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA、DSP等构成。存储部22也可以由控制部21所包含的RAM及ROM构成。也可以省略通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27中的至少任意一个。推测装置2也可以由多台计算机构成。该情况下，各计算机的硬件构成既可以一致，也可以不一致。另外，推测装置2除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。
＜数据生成装置＞
接着，使用图4对本实施方式涉及的数据生成装置3的硬件构成的一例进行说明。图4示意性地例示出本实施方式涉及的数据生成装置3的硬件构成的一例。
如图4所示，本实施方式涉及的学习装置3是与控制部31、存储部32、通信接口33、输入装置34、输出装置35、驱动器36以及外部接口37电连接的计算机。数据生成装置3的控制部31～外部接口37可以分别与上述推测装置2的控制部21～外部接口27同样地构成。
即，控制部31构成为包括作为硬件处理器的CPU、RAM、ROM等，并根据程序和数据执行各种信息处理。存储部32例如由硬盘驱动器、固态驱动器等构成。存储部32存储生成程序83、学习结果数据128等的各种信息。
生成程序83是用于使数据生成装置3执行利用学习完毕的学习模型5生成与对象数据关联的新数据的后述信息处理(图11)的程序。生成程序83包含该信息处理的一系列的命令。之后详细进行叙述。
通信接口33例如是有线LAN模块、无线LAN模块等，且是用于经由网络进行有线或无线通信的接口。数据生成装置3可以利用该通信接口33，经由网络与其他的信息处理装置(例如学习装置1)进行数据通信。
输入装置34例如是鼠标、键盘等用于进行输入的装置。输出装置35例如是显示器、扬声器等用于进行输出的装置。操作人员可以经由输入装置34及输出装置35操作数据生成装置3。输入装置34及输出装置35也可以由触摸面板显示器等呈一体地构成。
驱动器36例如是CD驱动器、DVD驱动器等，且是用于读入存储介质93中存储的程序的驱动装置。上述生成程序83及学习结果数据128中的至少任意一个也可以存储于存储介质93中。另外，数据生成装置3也可以从存储介质93获取上述生成程序83和学习结果数据128中的至少任意一个。存储介质93的种类既可以是盘式，也可以是盘式以外的类型。
外部接口37例如是USB端口、专用端口等，且是用于与外部装置连接的接口。外部接口37的种类及数量可以根据所连接的外部装置的种类及数量适当地选择。在本实施方式中，数据生成装置3经由外部接口37与传感器S连接。传感器S的种类和配置场所也可以无特别限定，可以根据实施方式适当地决定。此外，与传感器S的连接方法可以不限定于这样的例子。例如，在传感器S具备通信接口的情况下，数据生成装置3也可以不经由外部接口37而是经由通信接口33与传感器S连接。
此外，关于数据生成装置3的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。例如，控制部31也可以包含多个硬件处理器。硬件处理器可以由微处理器、FPGA、DSP等构成。存储部32也可以由控制部31所包含的RAM及ROM构成。也可以省略通信接口33、输入装置34、输出装置35、驱动器36以及外部接口37中的至少任意一个。数据生成装置3也可以由多台计算机构成。该情况下，各计算机的硬件构成既可以一致，也可以不一致。另外，数据生成装置3除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。
[软件构成]
＜学习装置＞
接着，使用图5A至图5D对本实施方式涉及的学习装置1的软件构成的一例进行说明。图5A至图5D示意性地例示出本实施方式涉及的学习装置1的软件构成及各模块的信息处理的过程的一例。
学习装置1的控制部11将存储于存储部12中的学习程序81加载至RAM中。然后，控制部11通过CPU解释加载至RAM中的学习程序81，并执行该学习程序81中包含的一系列的命令组，从而控制各构成要素。由此，如图5A至图5D所示，本实施方式涉及的学习装置1作为软件模块具备数据获取部111、学习处理部112以及保存处理部113的计算机进行动作。即，在本实施方式中，学习装置1的各软件模块通过控制部11(CPU)实现。
数据获取部111获取多个学习数据集121。在本实施方式中，各学习数据集121由训练数据122、表示与训练数据122的获取相关的属性的元数据123、表示训练数据122所包含的特征的正解数据124、以及表示训练数据122所包含的其他特征的其他的正解数据125的组合构成。多个学习数据集121中包含的至少一个以上的第一学习数据集、以及至少一个以上的第二学习数据集可以从不同的域获取，以使通过各个元数据123表示的属性不同。
通过其他的正解数据125表示的其他特征与通过正解数据124表示的特征不同，最好是在获取训练数据122的域中共通出现的特征。域中共通出现的信息例如是不依赖于通过元数据123表示的与训练数据122的获取相关的属性的信息。作为一例，假设为了构建外观检查中利用的学习完毕的模型，而将映现产品的图像数据作为训练数据122进行提供的场景。在该场景下，产品中有无产生缺陷是难以依赖于与图像数据的获取相关的属性的信息。因此，其他的正解数据125可以作为训练数据122中包含的其他特征而表示有无缺陷。该情况下，正解数据124可以作为训练数据122中包含的特征而表示例如缺陷的类别等这些以外的信息。在提供表示域中共通出现的特征的其他的正解数据125的情况下，优选正解数据124表示能够通过域特有的信息提高推测精度的特征。
学习处理部112使用所获得的多个学习数据集121实施学习模型5的机器学习。如上所述，学习模型5包括第一编码器51、第二编码器52、第一元识别器53、第二元识别器54以及推测器55。在本实施方式中，学习模型5除了这些以外还包含解码器56及其他的推测器57。第一编码器51和第二编码器52并列配置于输入侧。第一编码器51的输出与第一元识别器53、推测器55、解码器56以及其他的推测器57的输入连接。第二编码器52的输出与第二元识别器54、推测器55以及解码器56的输入连接。由此，第一编码器51的输出值(第一特征量)分别被输入至第一元识别器53以及其他的推测器57中。第二编码器52的输出值(第二特征量)被输入至第二元识别器54中。第一编码器51和第二编码器52的输出值(第一特征量和第二特征量)分别被输入至推测器55和解码器56中。
第一编码器51构成为将所提供的输入数据转换为第一特征量。第二编码器52构成为将所提供的输入数据转换为第二特征量。第一元识别器53构成为根据通过第一编码器51得到的第一特征量识别与输入数据的获取相关的属性。第二元识别器54构成为根据通过第二编码器52得到的第二特征量识别与输入数据的获取相关的属性。推测器55构成为根据通过第一编码器51和第二编码器52得到的第一特征量和第二特征量推测输入数据中包含的特征。解码器56构成为根据通过第一编码器51和第二编码器52得到的第一特征量和第二特征量对输入数据进行解码。其他的推测器57构成为根据通过第一编码器51得到的第一特征量推测输入数据所包含的特征(通过正解数据124表示的特征或者通过其他的正解数据125表示的其他特征)。
在学习阶段中，各学习数据集121的训练数据122是输入数据。另一方面，在利用阶段中，对象数据(后述的对象数据(221、321))是输入数据。输入数据可以如由图像数据和声音数据构成等这样由多个不同种类的数据构成。该情况下，第一编码器51和第二编码器52可以分别按照输入数据的种类进行准备。即，第一编码器51和第二编码器52可以分别具备多个部分编码器。各部分编码器可以构成为受理对应种类的数据的输入，并将所输入的对应种类的数据转换为特征量。该情况下，按输入数据的种类计算出第一特征量和第二特征量。计算出的各第一特征量被输入至第一元识别器53、推测器55、解码器56以及其他的推测器57中。另外，计算出的各第二特征量被输入至第二元识别器54、推测器55以及解码器56中。
如图5B和图5C所示，机器学习的处理包含上述第一训练步骤～第四训练步骤。如图5B所示，在第一训练步骤中，学习处理部112针对各学习数据集121训练第二编码器52和第二元识别器54，以使通过将训练数据122提供给第二编码器52而从第二元识别器54得到的识别结果适合于元数据123。通过第一训练步骤，能够将第二编码器52训练为第二特征量包含与通过元数据123表示的训练数据122的获取相关的属性所对应的成分。在第二训练步骤中，学习处理部112针对各学习数据集121训练第一编码器51、第二编码器52以及推测器55，以使通过将训练数据122提供给第一编码器51和第二编码器52而从推测器55得到的推测结果适合于正解数据124。
如图5C所示，在第三训练步骤中，学习处理部112针对各学习数据集121训练第一元识别器53，以使通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果适合于元数据123。在第四训练步骤中，学习处理部112针对各学习数据集121训练第一编码器51，以使得通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果不适合于元数据123。学习处理部112交替地反复执行第三训练步骤和第四训练步骤。通过第四训练步骤，能够将第一编码器51训练为第一特征量包含与获取各学习数据集121的训练数据122的域中共通出现的信息对应的成分。
如图5B所示，在本实施方式中，机器学习的处理除了这些第一训练步骤～第四训练步骤以外，还包含第五训练步骤～第七训练步骤。在第五训练步骤中，学习处理部112针对各学习数据集121训练第一编码器51和第二编码器52，以使通过将训练数据122提供给第一编码器51而从第一编码器51作为第一特征量得到的输出值与通过将训练数据122提供给第二编码器52而从第二编码器52作为第二特征量得到的输出值的交互信息量变少。在第六训练步骤中，学习处理部112针对各学习数据集121训练第一编码器51、第二编码器52以及解码器56，以使通过将训练数据122提供给第一编码器51和第二编码器52而通过解码器56得到的解码数据适合于训练数据122。
在第七训练步骤中，学习处理部112针对各学习数据集121训练第一编码器51和其他的推测器57，以使通过将训练数据122提供给第一编码器51而从其他的推测器57得到的推测结果适合于正解数据124或其他的正解数据125。当第七训练步骤中使用正解数据124而不使用其他的正解数据125时，可以从各学习数据集121省略该其他的正解数据125。该情况下，通过正解数据124表示的特征最好是在获取训练数据122的域中共通出现的特征。
保存处理部113生成与学习完毕的学习模型5相关的信息作为学习结果数据128。然后，保存处理部113将生成的学习结果数据128保存至规定的存储区域。规定的存储区域例如可以是控制部11内的RAM、存储部12、存储介质91、外部存储装置或它们的组合。
(各器的构成)
接着，对各器51～57的构成进行说明。各器51～57可以利用能够实施机器学习的任意的模型。如图5A所示，在本实施方式中，各器51～57由深度学习中使用的多层结构的神经网络构成。各器51～57具备输入层(511、521、531、541、551、561、571)、中间(隐藏)层(512、522、532、542、552、562、572)以及输出层(513、523、533、543、553、563、573)。
但是，各器51～57的构成也可以不限定于这样的例子，可以根据实施方式适当地决定。例如，中间层(512、522、532、542、552、562、572)的数量也可以不限定于一个，也可以是两个以上。另外，在各器51～57的至少任一个组合中，也可以是至少部分结构一致。或者，各器51～57的结构也可以不一致。
各层(511～513、521～523、531～533、541～543、551～553、561～563、571～573)具备一个或多个神经元(节点)。各层(511～513、521～523、531～533、541～543、551～553、561～563、571～573)所包含的神经元(节点)的数量也可以没有特别限定，可以根据实施方式适当地选择。
相邻层的神经元彼此适当地连接，各连接设定有权重(连接权)。另外，各神经元中设定有阈值，基本来说，根据各输入与各权重之积的和是否超过阈值来决定各神经元的输出。各层(511～513、521～523、531～533、541～543、551～553、561～563、571～573)所包含的各神经元间的连接的权重以及各神经元的阈值是各器51～57的运算参数的一例。
各器51～57的运算参数用于各器51～57的运算处理，通过机器学习的上述各训练步骤进行调整。具体而言，在第一训练步骤中，学习处理部112针对各学习数据集121，将训练数据122输入第二编码器52的输入层521，从第二元识别器54的输出层543获取输出值(元识别的结果)。学习处理部112调整第二编码器52和第二元识别器54的运算参数的值，以使获得的输出值与元数据123的误差减小。
在第二训练步骤中，学习处理部112针对各学习数据集121，将训练数据122输入各编码器(51、52)的输入层(511、512)，从推测器55的输出层553获取输出值(识别的结果)。学习处理部112调整第一编码器51、第二编码器52以及推测器55的运算参数的值，以使获得的输出值与正解数据124的误差变小。
在第三训练步骤中，学习处理部112针对各学习数据集121，将训练数据122输入第一编码器51的输入层511，从第一元识别器53的输出层533获取输出值(元识别的结果)。学习处理部112调整第一元识别器53的运算参数的值，以使获得的输出值与元数据123的误差减小。在第三训练步骤中，相对于第一元识别器53的运算参数的值被调整，而第一编码器51的运算参数的值固定不变。
相对于此，在第四训练步骤中，学习处理部112针对各学习数据集121，将训练数据122输入第一编码器51的输入层511，从第一元识别器53的输出层533获取输出值(元识别的结果)。学习处理部112调整第一编码器51的运算参数的值，以使获得的输出值与元数据123的误差变大。在第四训练步骤中，相对于第一编码器51的运算参数的值被调整，而第一元识别器53的运算参数的值固定不变。
此外，在第四训练步骤中，学习处理部112也可以针对各学习数据集121，获取与元数据123对应且由与对应的元数据123不同的值构成的虚拟元数据129。该情况下，训练第一编码器51以使从第一元识别器53得到的识别结果不适合于元数据123，可以通过训练第一编码器51以使通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果适合于虚拟元数据129来构成。换言之，学习处理部112可以针对各学习数据集121调整第一编码器51的运算参数的值，以使通过将训练数据122输入第一编码器51的输入层511而从第一元识别器53的输出层533得到的输出值与虚拟元数据129的误差变小。
在第五训练步骤中，学***方或取对数等规定的运算而进行计算。
在第六训练步骤中，学习处理部112针对各学习数据集121，将训练数据122输入各编码器(51、52)的输入层(511、521)，从解码器56的输出层563获取输出数据(复原数据)。学习处理部112调整第一编码器51、第二编码器52以及解码器56的运算参数的值，以使获得的输出数据与训练数据122的误差变小。
在第七训练步骤中，学习处理部112针对各学习数据集121，将训练数据122输入第一编码器51的输入层511，从其他的推测器57的输出层573获取输出值(推测的结果)。学习处理部112调整第一编码器51及其他的推测器57的运算参数的值，以使获得的输出值与正解数据124或者其他的正解数据125的误差变小。
此外，在交替地反复执行第三训练步骤和第四训练步骤时，也可以反复执行第一训练步骤、第二训练步骤以及第五训练步骤～第七训练步骤。换言之，学习处理部112也可以在反复通过第一～第七训练步骤调整运算参数的值的过程中，交替地反复通过第三训练步骤和第四训练步骤调整运算参数的值。或者，第一训练步骤、第二训练步骤以及第五训练步骤～第七训练步骤可以作为基于第三训练步骤和第四训练步骤的对抗性学习的预学习而执行。换言之，学习处理部112也可以在第一训练步骤、第二训练步骤以及第五训练步骤～第七训练步骤中的运算参数的值的调整完成之后，交替地反复通过第三训练步骤和第四训练步骤调整运算参数的值。
另外，第一训练步骤、第二训练步骤以及第五训练步骤～第七训练步骤可以单独执行。换言之，学习处理部112也可以分别执行第一训练步骤、第二训练步骤以及第五训练步骤～第七训练步骤各自的运算参数的值的调整。或者，第一训练步骤、第二训练步骤以及第五训练步骤～第七训练步骤中的至少任一个组合可以同时执行。例如，假设同时执行第一训练步骤和第二训练步骤的场景。在该场景下，学习处理部112可以将训练数据122输入各编码器(51、52)，从第二元识别器54和推测器55分别获取输出值。接着，学习处理单元112也可以算出第二元识别器54的输出值与元数据123的误差、以及推测器55的输出值与正解数据124的误差。然后，学习处理单元112也可以调整第一编码器51、第二编码器52、第二元识别器54以及推测器55的运算参数的值，以使误差减小。
另外，在本实施方式中，在上述第一～第七训练步骤中，可以将噪声61与训练数据122一起输入各编码器(51、52)。在此基础上，可以执行上述各训练。此外，与训练数据122一起输入噪声61的形态也可以不限定于上述例子。在第一～第七训练步骤中的至少任一步骤中，可以省略噪声61的输入。
另外，在本实施方式中，在第一、第二、第六训练步骤中，可以通过将训练数据122提供给第二编码器52而从第二编码器52获取输出值作为第二特征量。然后，可以将噪声62与获得的输出值(第二特征量)一起输入第二元识别器54、推测器55以及解码器56，并执行各训练。此外，与第二特征量一起输入噪声62的形态也可以不限定于上述例子。在第一、第二以及第六训练步骤中的至少任一步骤中，可以省略噪声62的输入。
进而，如图5D所示，在本实施方式中，数据获取部111也可以在学习处理部112实施了学习模型5的机器学习之后，将多个学习数据集121的至少任一个的训练数据122提供给第一编码器51，从而从第一编码器51获取作为第一特征量的输出值。另外，数据获取部111也可以通过将该训练数据122也提供给第二编码器52，从而从第二编码器52获取作为第二特征量的输出值。然后，数据获取部111可以通过将从第一编码器51获得的输出值(第一特征量)输入解码器56，并将噪声63与从第二编码器52获得的输出值(第二特征量)一起输入解码器56，从而从解码器56获取输出数据作为解码数据。与第二特征量一起输入噪声63的方法以及噪声63的种类也可以没有特别限定，可以与上述噪声62相同。学习处理部112也可以将获得的输出数据用作新的训练数据192，再次实施学习模型5的机器学习。此外，与学习数据集121同样地，可以使新的训练数据192与元数据193、正解数据194以及其他的正解数据195相关联。可以分别适当地获取元数据193、正解数据194以及其他的正解数据195。
保存处理部113生成表示通过上述机器学习构建的学习完毕的学习模型5的各器51～57的结构以及运算参数的值的信息作为学习结果数据128。各器51～57的结构例如可以根据神经网络中的输入层到输出层的层的数量、各层的种类、各层所包含的神经元的数量、相邻层的神经元彼此的连接关系等来确定。在***内各器51～57的结构通用化的情况下，可以从学习结果数据128中省略与该结构相关的信息。保存处理部113将生成的学习结果数据128保存至规定的存储区域。
＜推测装置＞
接着，使用图6对本实施方式涉及的推测装置2的软件构成的一例进行说明。图6示意性地例示出本实施方式涉及的推测装置2的软件构成的一例。
推测装置2的控制部21将存储在存储部22中的推测程序82加载至RAM中。然后，控制部21通过CPU解释加载至RAM中的推测程序82，并执行该推测程序82中包含的一系列的命令组，从而控制各构成要素。由此，如图6所示，本实施方式涉及的推测装置2作为软件模块具备数据获取部211、评价部212、推测部213以及输出部214的计算机进行动作。即，在本实施方式中，推测装置2的各软件模块与上述学习装置1同样地通过控制部21(CPU)实现。
数据获取部211获取作为推测任务的执行对象的对象数据221。在本实施方式中，数据获取部211从传感器S获取对象数据221。评价部212及推测部213通过保持学习结果数据128而具备学习完毕的学习模型5。推测部213也可以利用通过学习装置1训练后的第一编码器51、第二编码器52以及推测器55来推测获得的对象数据221中包含的特征。或者，推测部213也可以利用通过学习装置1训练后的第一编码器51及其他的推测器57来推测获得的对象数据221中包含的特征。输出部214输出与特征的推测结果相关的信息。
评价部212利用通过学习装置1训练后的第二编码器52和第二元识别器54，识别与对象数据221的获取相关的属性。然后，评价部212根据该识别的结果，判定是否采用推测部213推测特征的结果。不采用推测的结果可以包括在通过推测部213执行了推测处理之后废弃该推测的结果、和不执行推测处理。
此外，推测装置2(评价部212及推测部213)并非必须保持学习完毕的学习模型5的全部构成要素。可以省略学习完毕的学习模型5中推测装置2不利用的部分。该情况下，可以从推测装置2所保持的学习结果数据128中省略与该部分对应的信息。
＜数据生成装置＞
接着，使用图7对本实施方式涉及的数据生成装置3的软件构成的一例进行说明。图7示意性地例示出本实施方式涉及的数据生成装置3的软件构成的一例。
数据生成装置3的控制部31将存储在存储部32中的生成程序83加载至RAM中。然后，控制部31通过CPU解释加载至RAM中的生成程序83，并执行该生成程序83中包含的一系列的命令组，从而控制各构成要素。由此，如图7所示，本实施方式涉及的数据生成装置3作为软件模块具备数据获取部311、生成部312以及保存处理部313的计算机进行动作。即，在本实施方式中，数据生成装置3的各软件模块与上述学习装置1及推测装置2同样通过控制部31(CPU)实现。
数据获取部311获取作为生成新数据的源的对象数据321。在本实施方式中，数据获取部311从传感器S获取对象数据321。生成部312通过保持学习结果数据128而具备学习完毕的学习模型5。生成部312通过将对象数据321提供给通过学习装置1训练后的第一编码器51，从而从第一编码器51获取输出值作为第一特征量。然后，生成部312利用训练后的解码器56，不提供从第二编码器52获得的输出值(第二特征量)，而根据从第一编码器51获得的输出值(第一特征量)对对象数据321进行解码，从而生成解码数据。保存处理部313将所生成的解码数据作为新数据保存在规定的存储区域中。规定的存储区域例如可以是控制部31内的RAM、存储部32、存储介质93、外部存储装置或它们的组合。
此外，通过数据生成装置3生成的新数据也可以不限定于解码数据。数据生成装置3也可以利用第一编码器51和第二编码器52中的至少一方而生成第一特征量和第二特征量中的至少一方。该情况下，保存处理部313也可以将所生成的第一特征量和第二特征量的至少一方作为新数据保存在规定的存储区域中。
另外，数据生成装置3(生成部312)并非必须保持学习完毕的学习模型5的全部构成要素。可以省略学习完毕的学习模型5中数据生成装置3不利用的部分。该情况下，可以从数据生成装置3所保持的学习结果数据128中省略与该部分对应的信息。
＜其他＞
关于学习装置1、推测装置2以及数据生成装置3的各软件模块，在后述动作例中详细进行说明。此外，在本实施方式中，对学习装置1、推测装置2以及数据生成装置3的各软件模块均由通用的CPU实现的例子进行了说明。但是，以上的软件模块的一部分或全部也可以通过一个或多个专用的处理器实现。另外，关于学习装置1、推测装置2以及数据生成装置3各自的软件构成，也可以根据实施方式适当地省略、替换以及追加软件模块。
§3动作例
[学习装置]
接着，使用图8对学习装置1的动作例进行说明。图8是表示本实施方式涉及的学习装置1的处理流程的一例的流程图。以下说明的处理流程是学习方法的一例。但是，以下说明的处理流程仅为一例，各处理可以在可能的范围内进行变更。另外，对于以下说明的处理流程，可以根据实施方式适当地省略、替换以及追加步骤。
(步骤S101)
在步骤S101中，控制部11作为数据获取部111进行动作，获取多个学习数据集121。在本实施方式中，控制部11获取由训练数据122、元数据123、正解数据124以及其他的正解数据125的组合分别构成的多个学习数据集121。
各学习数据集121的获取方法也可以无特别限定，可以根据实施方式适当地选择。例如，准备传感器S，获取通过由所准备的传感器S在各种条件下进行观测而生成的感测数据作为训练数据122。观测的对象可以根据使学习模型5学习的推测任务适当地选择。针对获得的训练数据122，适当地获取元数据123、正解数据124以及其他的正解数据125。
元数据123也可以通过操作人员的输入来提供。或者，元数据123也可以从表示传感器S的利用方式、规格、观测环境等的参照信息得到。另外，正解数据124及其他的正解数据125也可以通过操作人员的输入来提供。或者，正解数据124及其他的正解数据125也可以根据通过学习完毕的推测器推测训练数据122中包含的特征的结果来提供。使获得的元数据123、正解数据124以及其他的正解数据125与训练数据122相关联。由此，能够生成各学习数据集121。
各学习数据集121既可以通过计算机的动作自动生成，也可以通过操作人员的操作手动生成。另外，各学习数据集121的生成既可以通过学习装置1进行，也可以通过学习装置1以外的其他计算机进行。在由学习装置1生成各学习数据集121的情况下，控制部11自动地、或者通过操作人员经由输入装置14的操作手动地执行上述一系列的处理，从而获取多个学习数据集121。另一方面，在由其他计算机生成各学习数据集121的情况下，控制部11例如经由网络、存储介质91等获取由其他计算机生成的多个学习数据集121。也可以由学习装置1生成多个学习数据集121中的一部分学习数据集，由一个或多个其他计算机生成其他的学习数据集。
此外，多个学习数据集121中包含的至少一个以上的第一学习数据集、及至少一个以上的第二学习数据集可以从不同的域获取，以使通过各个元数据123表示的属性不同。不同的域是指与训练数据122的获取相关的属性不同，在元数据123表示多个属性的情况下，至少一部分属性不同。域例如规定获取数据的条件等与数据的获取相关的属性。作为一例，在传感器S为摄像机的情况下，若摄像机的朝向、摄像机的分辨率、环境的明亮度、拍摄对象等的拍摄条件不同，则与训练数据122的获取相关的属性不同。该情况下，各个拍摄条件是不同的域的一例。
获得的学习数据集121的件数也可以无特别限定，可以根据实施方式适当地选择。当获取多个学习数据集121时，控制部11使处理进入下一步骤S102。
(步骤S102)
在步骤S102中，控制部11作为学习处理部112进行动作，使用获得的多个学习数据集121实施学习模型5的机器学习。在本实施方式中，学习模型5包括第一编码器51、第二编码器52、第一元识别器53、第二元识别器54、推测器55、解码器56以及其他的推测器57。控制部11通过第一～第七训练步骤训练学习模型5的各器51～57。各训练步骤的处理顺序也可以没有特别限定，可以根据实施方式适当地决定。
＜机器学习＞
进一步使用图9，对步骤S102中的机器学习的处理的一例详细进行说明。图9是例示本实施方式涉及的学习装置1的机器学习的处理流程的一例的流程图。本实施方式涉及的步骤S102的处理包括以下的步骤S201～S208的处理。但是，以下说明的处理流程仅为一例，各处理可以在可能的范围内进行变更。
在执行步骤S201之前，控制部11准备作为机器学习的处理对象的学习模型5。准备的学习模型5的各器51～57的结构及运算参数的初始值既可以通过模板提供，也可以通过操作人员的输入来提供。模板可以包含与神经网络的结构相关的信息、以及与神经网络的运算参数的初始值相关的信息。各器51～57的结构例如可以根据神经网络中的输入层到输出层的层的数量、各层的种类、各层所包含的神经元的数量、相邻层的神经元彼此的连接关系等来确定。在进行再学习时，控制部11也可以根据通过过去的机器学习得到的学习结果数据，准备作为处理对象的学习模型5。
(步骤S201)
在步骤S201中，控制部11针对各学习数据集121训练第二编码器52和第二元识别器54，以使通过将训练数据122提供给第二编码器52而从第二元识别器54得到的识别结果适合于元数据123。步骤S201是第一训练步骤的一例。在本实施方式中，控制部11将训练数据122用作输入数据，将元数据123用作教师数据，执行构成第二编码器52和第二元识别器54的神经网络的学习处理。在该学习处理中，可以使用批量梯度下降法、随机梯度下降法、小批量梯度下降法等。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入第二编码器52，执行第二编码器52和第二元识别器54的运算处理。即，控制部11将训练数据122输入第二编码器52的输入层521，从输入侧开始依次进行各层(521～523、541～543)所包含的各神经元的点火判定。通过该运算处理，控制部11从第二元识别器54的输出层543获取与根据第二特征量识别与训练数据122的获取相关的属性的结果对应的输出值。
在第二步骤中，控制部11根据损失函数计算从输出层543获得的输出值与元数据123的误差。损失函数可以使用均方误差、交叉熵误差等公知的损失函数。在第三步骤中，控制部11在计算出的误差变小的方向上计算该误差的梯度，通过误差反向传播(Backpropagation)法对计算出的梯度进行反向传播，从而算出各层(521～523、541～543)中包含的运算参数(例如，各神经元间的连接的权重、各神经元的阈值等)的误差。在第四步骤中，控制部11根据计算出的各误差更新运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调整第二编码器52和第二元识别器54的运算参数的值，以使从输出层543输出的输出值与元数据123的误差变小。反复的次数可以适当地决定。例如，也可以设定反复调整运算参数的值的规定次数。规定次数例如既可以通过设定值来提供，也可以通过操作人员的指定来提供。该情况下，控制部11反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。另外，例如，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入第二编码器52时，能够构建被训练为从第二元识别器54输出适合于元数据123的输出值的第二编码器52和第二元识别器54。该“适合”也可以包括根据阈值等而在输出层的输出值与教师数据之间产生可容许的差异。通过步骤S201的机器学习，第二编码器52能够被训练为第二特征量包含由元数据123表示的与训练数据122的获取相关的属性所对应的成分。当第二编码器52和第二元识别器54的训练完成时，控制部11使处理进入下一步骤S202。
(步骤S202)
在步骤S202中，控制部11针对各学习数据集121训练第一编码器51、第二编码器52以及推测器55，以使通过将训练数据122提供给第一编码器51和第二编码器52而从推测器55得到的推测结果适合于正解数据124。步骤S202是第二训练步骤的一例。在本实施方式中，控制部11将训练数据122用作输入数据，将正解数据124用作教师数据，执行构成第一编码器51、第二编码器52以及推测器55的神经网络的学习处理。在该学习处理中，各编码器(51、52)以及推测器55的运算参数的值的调整方法可以与上述步骤S201相同。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入各编码器(51、52)的输入层(511、512)，执行第一编码器51、第二编码器52以及推测器55的运算处理。通过该运算处理，控制部11从推测器55的输出层553获取与根据第一特征量和第二特征量推测训练数据122中包含的特征的结果对应的输出值。
在第二步骤中，控制部11根据损失函数计算出从输出层553获得的输出值与正解数据124的误差。在第三步骤中，控制部11在计算出的误差变小的方向上计算出该误差的梯度，并通过误差反向传播法对计算出的梯度进行反向传播，从而计算出各层(511～513、521～523、551～553)中包含的运算参数的误差。在第四步骤中，控制部11根据计算出的各误差更新运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调整第一编码器51、第二编码器52以及推测器55的运算参数的值，以使从输出层553输出的输出值与正解数据124的误差变小。控制部11也可以反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。或者，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入各编码器(51、52)时，能够构建被训练为从推测器55输出适合于正解数据124的输出值的第一编码器51、第二编码器52以及推测器55。当第一编码器51、第二编码器52以及推测器55的训练完成，控制部11使处理进入下一步骤S203。
(步骤S203)
在步骤S203中，控制部11针对各学习数据集121训练第一编码器51、第二编码器52以及解码器56，以使通过将训练数据122提供给第一编码器51和第二编码器52而从解码器56得到的解码数据适合于训练数据122。步骤S203是第六训练步骤的一例。在本实施方式中，控制部11将训练数据122用作输入数据和教师数据，执行构成第一编码器51、第二编码器52以及解码器56的神经网络的学习处理。在该学习处理中，各编码器(51、52)以及解码器56的运算参数的值的调整方法可以与上述步骤S201等相同。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入各编码器(51、52)的输入层(511、512)，执行第一编码器51、第二编码器52以及解码器56的运算处理。通过该运算处理，控制部11从解码器56的输出层563获取与根据第一特征量和第二特征量对训练数据122进行了解码的结果对应的输出数据。
在第二步骤中，控制部11根据损失函数计算从输出层563获得的输出数据与训练数据122的误差。在第三步骤中，控制部11在计算出的误差变小的方向上计算出该误差的梯度，并通过误差反向传播法对计算出的梯度进行反向传播，从而计算出各层(511～513、521～523、561～563)中包含的运算参数的误差。在第四步骤中，控制部11根据计算出的各误差更新运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调整第一编码器51、第二编码器52以及解码器56的运算参数的值，以使从输出层563输出的输出数据与训练数据122的误差变小。控制部11也可以反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。或者，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入各编码器(51、52)时，能够构建被训练为从解码器56输出适合于训练数据122的解码数据的第一编码器51、第二编码器52以及解码器56。当第一编码器51、第二编码器52以及解码器56的训练完成时，控制部11使处理进入下一步骤S204。
(步骤S204)
在步骤S204中，控制部11针对各学习数据集121训练第一编码器51和其他的推测器57，以使通过将训练数据122提供给第一编码器51而从其他的推测器57得到的推测结果适合于正解数据124或者其他的正解数据125。步骤S204是第七训练步骤的一例。在本实施方式中，控制部11将训练数据122用作输入数据，将正解数据124或者其他的正解数据125用作教师数据，执行构成第一编码器51及其他的推测器57的神经网络的学习处理。在该学习处理中，第一编码器51及其他的推测器57的运算参数的值的调整方法可以与上述步骤S201等相同。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入第一编码器51的输入层511，执行第一编码器51及其他的推测器57的运算处理。通过该运算处理，控制部11从其他的推测器57的输出层573获取与根据第一特征量推测训练数据122中包含的特征的结果对应的输出值。
在第二步骤中，控制部11根据损失函数计算出从输出层573获得的输出值与正解数据124或其他的正解数据125的误差。在第三步骤中，控制部11在计算出的误差变小的方向上计算出该误差的梯度，并通过误差反向传播法对计算出的梯度进行反向传播，从而计算出各层(511～513、571～573)中包含的运算参数的误差。在第四步骤中，控制部11根据计算出的各误差更新运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调整第一编码器51及其他的推测器57的运算参数的值，以使从输出层573输出的输出值与正解数据124或者其他的正解数据125的误差变小。控制部11也可以反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。或者，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入第一编码器51时，能够构建被训练为从其他的推测器57输出适合于正解数据124或者其他的正解数据125的输出值的第一编码器51及其他的推测器57。当第一编码器51及其他的推测器57的训练完成时，控制部11使处理进入下一步骤S205。
(步骤S205)
在步骤S205中，控制部11针对各学习数据集121训练第一编码器51和第二编码器52，以使通过将训练数据122提供给第一编码器51而从第一编码器51得到的输出值(第一特征量)与通过将训练数据122提供给第二编码器52而从第二编码器52得到的输出值(第二特征量)的交互信息量变少。步骤S205是第五训练步骤的一例。在本实施方式中，控制部11将训练数据122用作输入数据，以使交互信息量变小(例如，将交互信息量为0的情况用作教师数据)的方式执行构成第一编码器51和第二编码器52的神经网络的学习处理。在该学习处理中，第一编码器51和第二编码器52中的至少任意一方的运算参数的值的调整方法与上述步骤S201等基本相同。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入各编码器(51、52)的输入层(511、521)，执行各编码器(51、52)的运算处理。在该运算处理中，控制部11从各编码器(51、52)的输出层(513、523)获取与将训练数据122转换为各特征量的结果对应的输出值。
在第二步骤中，控制部11计算出从第一编码器51和第二编码器52得到的输出值(第一特征量和第二特征量)之间的交互信息量，并根据损失函数从交互信息量导出误差。交互信息量的计算方法可以采用公知的方法。另外，通过将损失函数定义为算出绝对值，也可以将交互信息量的值直接用作误差。或者，损失函数也可以定义为对交互信息量的值应用平方或取对数等规定的运算。在第三步骤中，控制部11在计算出的误差变小的方向上计算出该误差的梯度，并通过误差反向传播法对于针对第一编码器51和第二编码器52中的至少一方计算出的梯度进行反向传播。由此，控制部11计算出第一编码器51的各层511～513以及第二编码器52的各层521～523中的至少一方所包含的运算参数的误差。在第四步骤中，控制部11根据计算出的各误差更新运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调整第一编码器51和第二编码器52中的至少一方的运算参数的值，以使从第一编码器51的输出层513输出的输出值与从第二编码器52的输出层523输出的输出值的交互信息量变少。控制部11也可以反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。或者，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入各编码器(51、52)时，能够构建被训练为从各编码器(51、52)输出交互信息量少的输出值的各编码器(51、52)。当各编码器(51、52)的训练完成时，控制部11使处理进入下一步骤S206。
(步骤S206)
在步骤S206中，控制部11针对各学习数据集121训练第一元识别器53，以使通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果适合于元数据123。步骤S206是第三训练步骤的一例。在该步骤S206中，相对于对第一元识别器53的运算参数的值进行调整，而使第一编码器51的运算参数的值固定不变。在本实施方式中，控制部11将训练数据122用作输入数据，将元数据123用作教师数据，执行构成第一元识别器53的神经网络的学习处理。在该学习处理中，第一元识别器53的运算参数的值的调整方法除了使第一编码器51的运算参数的值固定不变这一点以外，可以与步骤S201等相同。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入第一编码器51的输入层511，执行第一编码器51和第一元识别器53的运算处理。通过该运算处理，控制部11从第一元识别器53的输出层533获取与根据第一特征量识别与训练数据122的获取相关的属性的结果对应的输出值。
在第二步骤中，控制部11根据损失函数计算出从输出层533输出的输出值与元数据123的误差。在第三步骤中，控制部11在计算出的误差变小的方向上计算出该误差的梯度，并通过误差反向传播法对计算出的梯度进行反向传播。控制部11使该梯度的反向传播在第一元识别器53的输入层531停止。由此，控制部11计算出第一元识别器53的各层531～533中包含的运算参数的误差。在第四步骤中，控制部11根据计算出的各误差，更新第一元识别器53的运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调节第一元识别器53的运算参数的值，以使从输出层533输出的输出值与元数据123的误差变小。控制部11也可以反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。或者，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入第一编码器51时，能够构建被训练为从第一元识别器53输出适合于元数据123的输出值的第一元识别器53。当第一元识别器53的训练完成时，控制部11使处理进入下一步骤S207。
(步骤S207)
在步骤S207中，控制部11针对各学习数据集121训练第一编码器51，以使通过将训练数据122提供给第一编码器51而从第一元识别器53得到的识别结果不适合于元数据123。步骤S207是第四训练步骤的一例。在该步骤S207中，相对于对第一编码器51的运算参数的值进行调整，而使第一元识别器53的运算参数的值固定不变。在本实施方式中，控制部11将训练数据122用作输入数据，以不适合于元数据123的方式(例如，将虚拟元数据129用作教师数据)执行构成第一编码器51的神经网络的学习处理。在该学习处理中，第一编码器51的运算参数的值的调整方法除了使第一元识别器53的运算参数的值固定不变这一点以外，可以与步骤S201等相同。
作为一例，在第一步骤中，控制部11针对各学习数据集121，将训练数据122输入第一编码器51的输入层511，执行第一编码器51和第一元识别器53的运算处理。通过该运算处理，控制部11从第一元识别器53的输出层533获取与根据第一特征量识别与训练数据122的获取相关的属性的结果对应的输出值。
在第二步骤中，控制部11针对各学习数据集121，获取虚拟元数据129，该虚拟元数据129与元数据123对应，且由与对应的元数据123不同的值构成。控制部11根据损失函数计算出从输出层533输出的输出值与获得的虚拟元数据129的误差。
虚拟元数据129可以以能够将第一编码器51训练为从第一元识别器53得到的识别结果不适合于元数据123的方式适当地提供。例如，虚拟元数据129可以由与对应的学习数据集121不同的其他学习数据集121的元数据123构成。即，控制部11可以选择与作为获取虚拟元数据129的对象的学习数据集121不同的其他学习数据集121，并将所选择的其他学习数据集121的元数据123用作对象学习数据集121的虚拟元数据129。
针对对象学习数据集121选择获取用作虚拟元数据129的元数据123的其他学习数据集121的方法也可以没有特别限定，可以根据实施方式适当地选择。例如，控制部11也可以从多个学习数据集121中随机选择其他的学习数据集121，并将所选择的学习数据集121的元数据123用作对象学习数据集121的虚拟元数据129。另外，例如，控制部11也可以通过使学习数据集121中的训练数据122与元数据123的对应关系向任意方向偏移，从而将分配给对象学习数据集121的其他学习数据集121的元数据123用作虚拟元数据129。另外，例如，控制部11也可以从多个学习数据集121中选择一个学习数据集121，并将所选择的学习数据集121的元数据123用作所有学习数据集121的虚拟元数据129。根据该方法，能够抑制生成虚拟元数据129的计算量，从而能够降低本步骤S207的处理成本。
此外，虚拟元数据129的生成方法也可以不限定于上述例子，可以根据实施方式适当地选择。除了上述从其他学习数据集121中选择的方法以外，例如，控制部11也可以通过将元数据123的值反转而生成虚拟元数据129。另外，例如，控制部11也可以生成由与元数据123的值不同的随机值(例如随机数)构成的虚拟元数据129。多个学习数据集121中也可以存在虚拟元数据129与元数据123一致的学习数据集121。该情况下，控制部11可以将该学习数据集121直接用于训练，也可以适当地变更该学习数据集121的虚拟元数据129。
在第三步骤中，控制部11在计算出的误差变小的方向上计算出该误差的梯度，并通过误差反向传播法将计算出的梯度从第一元识别器53的输出层533反向传播至第一编码器51的输入层511。在该过程中，控制部11省略第一元识别器53中包含的运算参数的误差的计算，而计算出第一编码器51中包含的运算参数的误差。在第四步骤中，控制部11根据计算出的各误差，更新第一编码器51的运算参数的值。
控制部11通过反复进行上述第一～第四步骤，针对各学习数据集121调节第一编码器51的运算参数的值，以使从输出层533输出的输出值与虚拟元数据129的误差变小。控制部11也可以反复进行上述第一～第四步骤，直到反复次数达到规定次数为止。或者，控制部11也可以反复进行上述第一～第四步骤，直到误差之和变为阈值以下为止。
该机器学习的结果是，对于各学习数据集121，当将训练数据122输入第一编码器51时，能够构建被训练为从第一元识别器53输出适合于虚拟元数据129的输出值的第一编码器51。即，通过利用该虚拟元数据129的机器学习，第一编码器51被训练为从第一元识别器53得到的识别结果不适合于元数据123。根据利用该虚拟元数据129的方法，控制部11能够与上述步骤S201等的处理同样地执行本步骤S207的处理。因此，能够简化本步骤S207的处理。通过本步骤S207的机器学习，第一编码器51能够被训练为第一特征量包含与各学习数据集121的训练数据122的获取相关的属性以外的信息、例如与获取训练数据122的域中共通出现的信息对应的成分。当第一编码器51的训练完成时，控制部11使处理进入下一步骤S208。
此外，将第一编码器51训练为从第一元识别器53得到的识别结果不适合于元数据123的方法也可以不限于利用该虚拟元数据129的方法。例如，在上述第二步骤中，控制部11也可以针对各学习数据集121计算出从输出层533输出的输出值与元数据123的误差。而且，在第三步骤中，控制部11也可以在计算出的误差变大的方向上计算出该误差的梯度，并通过误差反向传播法将计算出的梯度反向传播至第一编码器51的输入层511。在该过程中，控制部11可以计算出第一编码器51中包含的运算参数的误差。而且，在第四步骤中，控制部11也可以根据计算出的各误差更新第一编码器51的运算参数的值。通过该方法，控制部11也可以将第一编码器51训练为从第一元识别器53得到的识别结果不适合于元数据123。
(步骤S208)
在步骤S208中，控制部11判定是否反复进行步骤S201～步骤S207的处理。反复进行处理的基准可以根据实施方式适当地决定。例如，也可以设定反复进行处理的规定次数。规定次数例如既可以通过设定值来提供，也可以通过操作人员的指定来提供。该情况下，控制部11判定步骤S201～步骤S207的处理的执行次数是否达到规定次数。在判定为执行次数未达到规定次数时，控制部11使处理返回到步骤S201，反复进行步骤S201～步骤S207的处理。在本实施方式中，在反复进行该步骤S201～步骤S207的处理的过程中，交替地反复执行步骤S206和步骤S207。另一方面，在判定为执行次数达到了规定次数时，控制部11结束本实施方式涉及的机器学习的处理，使处理进入下一步骤S103。
(机器学习的结果)
通过以上的一系列训练步骤中的步骤S201，使得通过学习完毕的第二编码器52得到的第二特征量中包含与训练数据122的获取相关的属性所对应的成分，从而第二元识别器54能够适当地识别与训练数据122的获取相关的属性。另外，通过步骤S202，使得通过学习完毕的第一编码器51和第二编码器52得到的第一特征量和第二特征量中包含与训练数据122所包含的特征(即，推测任务的正解)对应的成分。进而，在本实施方式中，通过交替执行步骤S206和步骤S207的处理，实施第一编码器51和第一元识别器53的对抗性学习。
在步骤S206中，相对于对第一元识别器53的运算参数的值进行调整以使第一元识别器53的输出值适合于元数据123，而使第一编码器51的运算参数的值固定不变。另一方面，在步骤S207中，相对于对第一编码器51的运算参数的值进行调整以使第一元识别器53的输出值不适合于元数据123，而使第一元识别器53的运算参数的值固定不变。即，在步骤S206中，相对于该阶段的第一编码器51的、以不包含与元数据123对应的成分的方式将训练数据122转换为第一特征量的能力，有望提高从这样的第一特征量识别元数据123的第一元识别器53的能力。相对于此，在步骤S207中，有望以该阶段的第一元识别器53的元识别的能力为基准，提高以不包含与元数据123对应的成分的方式将训练数据122转换为第一特征量的第一编码器51的能力。
也就是说，通过交替地执行步骤S206和步骤S207的处理，第一编码器51和第一元识别器53各自的上述能力提高。由此，对应于第一元识别器53的识别性能的提高，在通过学习完毕的第一编码器51得到的第一特征量中不包含与训练数据122的获取相关的属性所对应的成分，以使该第一元识别器53的识别失败。第一特征量中包含元数据123以外的成分、例如与获取各学习数据集121的训练数据122的域中共通出现的信息对应的成分。
因此，在本实施方式中，步骤S201、步骤S202、步骤S206以及步骤S207的机器学习的结果是，通过学习完毕的第二编码器52的编码得到的第二特征量中容易包含与元数据123对应的成分。相对于此，在通过学习完毕的第一编码器51得到的第一特征量中，容易包含与训练数据122所包含的特征相关的、与元数据123以外的信息对应的成分。推测器55被训练为根据该两者的特征量推测训练数据122所包含的特征。因此，通过利用学习完毕的第一编码器51、第二编码器52以及推测器55，能够根据获取对象数据的域所特有的信息以及共通的信息两者，执行推测对象数据中包含的特征的任务。因此，在获取对象数据的域所特有的信息对推测任务有益的情况下，能够提高对象数据所包含的特征的推测精度。
另外，在与对象数据的获取相关的属性所特有的信息会对推测任务的精度带来不良影响的情况下，可以不利用通过学习完毕的第二编码器52得到的第二特征量，而根据通过学习完毕的第一编码器51得到的第一特征量推测对象数据中包含的特征。在本实施方式中，通过利用学习完毕的第一编码器51及其他的推测器57，能够排除与对象数据的获取相关的属性所对应的成分的影响而推测该对象数据中包含的特征。因此，根据本实施方式，即使在与对象数据的获取相关的属性的信息会给推测任务的精度带来不良影响的情形下，也能够提高对象数据中包含的特征的推测精度。
另外，通过利用步骤S203的机器学习与各编码器(51、52)一起训练解码器56，能够根据第一特征量和第二特征量复原输入数据。即，能够保证第一特征量和第二特征量中不会缺损与输入数据相关的信息。因此，根据本实施方式，能够在将输入数据转换为特征量的过程中抑制信息的缺损，因此，能够提高推测器55及其他的推测器57各自的推测任务的精度。
另外，通过步骤S204的机器学习，能够保证第一特征量中包含与能够用于推测由正解数据124或者其他的正解数据125表示的特征的信息对应的成分。由此，能够防止第一特征量成为对推测任务没有价值的信息，从而能够提高基于第一特征量的推测任务的精度。
另外，通过步骤S205的机器学习，第一特征量和第二特征量之间的交互信息量变少。由此，相对于第二特征量中容易包含与元数据123对应的成分，能够使得第一特征量中容易包含与元数据123以外的信息对应的成分，且第二特征量中难以包含与元数据123以外的信息对应的成分。也就是说，能够将与元数据123对应的成分以及与其以外的信息对应的成分适当地分配给第二特征量和第一特征量。因此，根据本实施方式，能够使得第一特征量容易包含元数据123以外的有用的信息，由此，能够提高基于第一特征量的推测任务的精度。
(其他)
学习模型5的机器学习的处理流程也可以不限定于上述例子，能够根据实施方式适当地省略、替换以及追加步骤。
(A)交替反复的流程
例如，在上述实施方式中，控制部11在反复执行步骤S201～步骤S207的一系列处理的过程中，交替地反复执行步骤S206和步骤S207的处理。然而，交替地反复执行步骤S206和步骤S207的处理的方法也可以不限定于上述例子。例如，控制部11也可以作为预学习而执行步骤S201～步骤S205的处理。该情况下，在通过步骤S201～步骤S205的处理进行的运算参数的值的调整完成之后，控制部11也可以交替地反复进行通过步骤S206和步骤S207进行的运算参数的值的调整。
(B)更新处理的流程
另外，在上述实施方式中，分别执行步骤S201～步骤S205的处理。但是，通过步骤S201～步骤S205的处理调整运算参数的值的方法也可以不限定于上述例子。例如，控制部11也可以同时执行步骤S201～步骤S205中的至少任一个的组合。例如，假设同时执行步骤S201和步骤S202的处理的场景。在该场景下，在第一步骤中，控制部11可以将训练数据122输入各编码器(51、52)，从第二元识别器54和推测器55分别获取输出值。在第二步骤中，控制部11可以计算出第二元识别器54的输出值与元数据123的误差、以及推测器55的输出值与正解数据124的误差。在第三步骤中，控制部11可以对各误差的梯度进行反向传播，计算出第一编码器51、第二编码器52、第二元识别器54以及推测器55中包含的运算参数的误差。然后，在第四步骤中，控制部11也可以根据计算出的各误差更新各运算参数的值。
(C)针对训练数据的噪声的追加
另外，在本实施方式中，在上述步骤S201～步骤S207中，控制部11也可以将噪声61与训练数据122一起输入各编码器(51、52)。在此基础上，控制部11也可以执行各步骤S201～步骤S207的处理。
与训练数据122一起输入噪声61的方法也可以没有特别限定，可以根据实施方式适当地选择。例如，控制部11可以对训练数据122赋予噪声61。然后，控制部11也可以将被赋予了噪声61的训练数据122输入各编码器(51、52)。
另外，例如，各编码器(51、52)的输入除了训练数据122的第一信道之外，还可以具备噪声61的第二信道。在本实施方式中，各编码器(51、52)的输入层(511、521)可以具备用于输入训练数据122的第一神经元(节点)以及用于输入噪声61的第二神经元(节点)。第一神经元是第一信道的一例，第二神经元是第二信道的一例。该情况下，控制部11通过将训练数据122输入各编码器(51、52)的第一信道，并将噪声61输入第二信道，从而能够与训练数据122一起输入噪声61。
噪声61的种类也可以没有特别限定，可以根据实施方式适当地选择。噪声61例如可以是随机的噪声等。此外，与训练数据122一起输入噪声61的形态也可以不限定于上述例子。在步骤S201～步骤S207中的至少任意一个中，可以省略噪声61的输入。
在多个学习数据集121中的一部分训练数据122与其他训练数据122的随机性极为不同的情况下、或者与其他训练数据122相比一部分训练数据122中存在大的缺损的情况下，难以防止与该不同的特性对应的成分进入第一特征量。即，难以防止第一编码器51学习该不同的特性。因此，在这些情况下，第一元识别器53能够根据该不同的特性识别获取的属性，从而在步骤S207中，有可能难以将第一编码器51训练为使第一元识别器53的识别失败。相对于此，通过与训练数据122一起输入噪声61，能够填补该不同的特性，由此，能够适当地完成步骤S207的处理。
(D)针对第二特征量的噪声的追加
另外，在本实施方式中，在步骤S201～步骤S203中，控制部11也可以通过将训练数据122提供给第二编码器52而从第二编码器52获取输出值(第二特征量)。然后，控制部11可以将噪声62与获得的输出值(第二特征量)一起输入第二元识别器54、推测器55以及解码器56，执行各步骤S201～步骤S203的训练。
与第二特征量一起输入噪声62的方法也可以没有特别限定，可以与上述噪声61同样地根据实施方式适当地选择。例如，控制部11可以对第二编码器52的输出值(第二特征量)赋予噪声62。然后，控制部11也可以将被赋予了噪声62的第二特征量分别输入第二元识别器54、推测器55以及解码器56。
另外，例如，除了第二特征量的第一信道之外，第二元识别器54、推测器55以及解码器56的输入还可以包括噪声62的信道。在本实施方式中，第二元识别器54、推测器55以及解码器56各自的输入层(541、551、561)可以具备用于输入第二特征量的第一神经元(节点)、以及用于输入噪声62的第二神经元(节点)。第一神经元是第一信道的一例，第二神经元是第二信道的一例。该情况下，控制部11可以通过将第二特征量输入第二元识别器54、推测器55以及解码器56各自的第一信道，并将噪声62输入第二信道，从而与第二特征量一起输入噪声62。除了这些信道以外，推测器55和解码器56分别还具备第一特征量的信道。在步骤S202和步骤S203的各个中，控制部11与上述输入一起将第一特征量输入推测器55和解码器56各自的该信道。
噪声62的种类也可以没有特别限定，可以与上述噪声61同样地根据实施方式适当地选择。噪声62例如可以是随机的噪声等。此外，与第二特征量一起输入噪声62的形态也可以不限定于上述例子。在步骤S201～步骤S203中的至少任意一个中，可以省略噪声62的输入。
通过与该第二特征量一起输入噪声62，并执行上述各训练，可以使第二元识别器54、推测器55以及解码器56分别学习与数据的获取相关的属性因为噪声62而不同的域。由此，能够构建对于与数据的获取相关的属性的差异稳健，而且能够高精度地执行推测任务的学习完毕的学习模型5(第二元识别器54、推测器55以及解码器56)。
(E)学习数据集
在上述实施方式中，可以从步骤S201、步骤S203、步骤S205～步骤S207的机器学习中使用的学习数据集121中省略正解数据124及其他的正解数据125。另外，也可以从步骤S202～步骤S205的机器学习中使用的学习数据集121中省略元数据123。也可以将分别省略了数据的学习数据集用于各步骤的机器学习。
(步骤S103)
返回图8，在步骤S103中，控制部11作为保存处理部113进行动作，生成表示学习完毕的学习模型5的各器51～57的结构以及运算参数的值的信息作为学习结果数据128。各器51～57的结构例如根据神经网络的层数、各层中包含的神经元的数量、相邻层的神经元彼此的连接关系等确定。在***内各器51～57的结构通用化的情况下，可以从学习结果数据128中省略与该结构相关的信息。控制部11将生成的学习结果数据128保存至规定的存储区域。
规定的存储区域例如可以是控制部11内的RAM、存储部12、存储介质91、外部存储装置或它们的组合。外部存储装置可以是例如NAS(Network Attached Storage：网络附加存储)等的数据服务器。该情况下，控制部11也可以利用通信接口13经由网络将学习结果数据128存储至数据服务器中。另外，外部存储装置也可以是例如与学习装置1连接的外置的存储装置。当保存了学习结果数据128时，控制部11结束本动作例涉及的一系列处理。
此外，所生成的学习结果数据128可以在任意的时刻提供给推测装置2和数据生成装置3。例如，控制部11也可以作为步骤S103的处理、或者与步骤S103的处理分开将学习结果数据128传送至推测装置2和数据生成装置3。推测装置2和数据生成装置3也可以分别通过受理该传送而获取学习结果数据128。另外，例如推测装置2和数据生成装置3也可以分别利用通信接口(23、33)，经由网络访问学习装置1或者数据服务器，从而获取学习结果数据128。学习结果数据128也可以分别预先嵌入推测装置2和数据生成装置3。
另外，控制部11也可以反复进行上述一系列处理。在该反复时，控制部11也可以利用学习完毕的第一编码器51、第二编码器52以及解码器56生成新的训练数据192。
具体而言，控制部11也可以在实施了学习模型5的机器学习之后作为数据获取部111进行动作，将多个学习数据集121中的至少任一个的训练数据122输入第一编码器51，执行第一编码器51的运算处理。由此，控制部11也可以从第一编码器51获取输出值(第一特征量)。另外，控制部11也可以将该训练数据122也输入第二编码器52中，并执行第二编码器52的运算处理，由此从第二编码器52获取输出值(第二特征量)。
然后，控制部11也可以将从第一编码器51获得的第一特征量输入解码器56，并将噪声63与从第二编码器52获得的第二特征量一起输入解码器56，执行解码器56的运算处理。由此，控制部11也可以从解码器56获取输出数据(解码数据)。与第二特征量一起输入噪声63的方法以及噪声63的种类也可以没有特别限定，可以与上述噪声62相同。
控制部11也可以作为学习处理部112进行动作，将获得的解码数据用作新的训练数据192，再次实施学习模型5的机器学习。此外，与学习数据集121同样地，可以使新的训练数据192与元数据193、正解数据194以及其他的正解数据195相关联。可以分别适当地获取元数据193、正解数据194以及其他的正解数据195。
作为获取元数据193的方法的一例，例如，控制部11可以将噪声63与从第二编码器52获得的第二特征量一起输入第二元识别器54，执行第二元识别器54的运算处理。控制部11也可以获取通过该运算处理从第二元识别器54得到的输出值(元识别的结果)作为元数据193，并使获得的元数据193与训练数据192相关联。另外，例如，控制部11也可以受理操作人员经由输入装置14的输入，并根据操作人员的输入生成元数据193。然后，控制部11也可以使所生成的元数据193与训练数据192相关联。
作为获取正解数据194的方法的一例，例如，控制部11也可以将第一特征量、第二特征量以及噪声63输入推测器55，执行推测器55的运算处理。控制部11也可以获取通过该运算处理从推测器55得到的输出值(识别的结果)作为正解数据194，并使获得的正解数据194与训练数据192相关联。另外，例如，控制部11也可以受理操作人员经由输入装置14的输入，并根据操作人员的输入生成正解数据194。然后，控制部11也可以使所生成的正解数据194与训练数据192相关联。另外，例如，在由与用于生成新的训练数据192的原来的训练数据122相关联的正解数据124表示的特征不依赖于与训练数据122的获取相关的属性的情况下，也可以将该正解数据124用作正解数据194。
作为获取其他正解数据195的方法的一例，例如，控制部11也可以受理操作人员经由输入装置14的输入，并根据操作人员的输入生成其他正解数据195。然后，控制部11也可以使所生成的其他正解数据195与训练数据192相关联。另外，例如，在由与用于生成新的训练数据192的原来的训练数据122相关联的其他正解数据125表示的特征不依赖于与训练数据122的获取相关的属性的情况下，也可以将该其他正解数据125用作其他正解数据195。
当针对训练数据192得到了元数据193时，控制部11可以在上述步骤S201、步骤S206以及步骤S207的机器学习的处理中使用该训练数据192。当针对训练数据192得到了正解数据194时，控制部11可以在上述步骤S202和步骤S204的机器学习的处理中使用该训练数据192。当针对训练数据192得到了其他正解数据195时，控制部11可以在上述步骤S204的机器学习的处理中使用该训练数据192。另外，即使在未得到元数据193、正解数据194以及其他正解数据195中的任一个的情况下，控制部11也可以在上述步骤S203和步骤S205的机器学习的处理中使用该训练数据192。
通过使用了训练数据192的机器学习，可以使学习模型5学习与数据的获取相关的属性因为噪声63而不同的域。由此，能够构建对于与数据的获取相关的属性的差异稳健，而且能够高精度地执行推测任务的学习完毕的学习模型5。此外，训练数据192的使用方法也可以不限定于上述例子。例如，控制部11也可以将训练数据192作为输入数据，将生成训练数据192时输入解码器56的第二特征量和噪声63用作教师数据，执行构成第二编码器52的神经网络的学习处理。这样，生成的训练数据192也可以使用于学习模型5的构成要素的部分机器学习。
[推测装置]
接着，使用图10对推测装置2的动作例进行说明。图10是表示本实施方式涉及的推测装置2的处理流程的一例的流程图。以下说明的处理流程是推测方法的一例。但是，以下说明的处理流程仅为一例，各处理可以在可能的范围内进行变更。另外，对于以下说明的处理流程，可以根据实施方式适当地省略、替换以及追加步骤。
(步骤S501)
在步骤S501中，控制部21作为数据获取部211进行动作，获取作为执行推测任务的对象的对象数据221。在本实施方式中，推测装置2经由外部接口27与传感器S连接。因此，控制部21经由外部接口27获取由传感器S生成的感测数据作为对象数据221。
但是，对象数据221的获取路径也可以不限定于上述例子，可以根据实施方式适当地决定。例如，也可以在与推测装置2不同的其他计算机上连接传感器S。该情况下，控制部21也可以从其他的计算机受理对象数据221的发送，从而获取对象数据221。当获取了对象数据221时，控制部21使处理进入下一步骤S502。
(步骤S502)
在步骤S502中，控制部21作为评价部212进行动作，利用通过学习装置1训练后的第二编码器52和第二元识别器54，识别与对象数据221的获取相关的属性。
在本实施方式中，控制部21参照学习结果数据128，进行学习完毕的第二编码器52和第二元识别器54的设定。接着，控制部21将获得的对象数据221输入第二编码器52，执行第二编码器52和第二元识别器54的运算处理。即，控制部21将对象数据221输入第二编码器52的输入层521，从输入侧开始依次进行各层(521～523、541～543)所包含的各神经元的点火判定。通过该运算处理，控制部21从第二元识别器54的输出层543获取识别与对象数据221的获取相关的属性的结果所对应的输出值。也就是说，控制部21通过获取第二元识别器54的输出值，能够识别与对象数据221的获取相关的属性。当识别出与对象数据221的获取相关的属性时，控制部21使处理进入下一步骤S503。
(步骤S503和步骤S504)
在步骤S503中，控制部21作为评价部212进行动作，根据识别与对象数据221的获取相关的属性的结果，判定是否采用推测器55或其他的推测器57对对象数据221中包含的特征的推测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象数据221的获取相关的属性的正解值时，控制部21判定为采用推测器55或其他的推测器57的推测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象数据221的获取相关的属性的正解值时，控制部21判定为不采用推测器55或者其他的推测器57的推测结果，省略步骤S505和步骤S506的处理，结束本动作例涉及的一系列处理。该情况下，控制部21也可以向输出装置25输出通知无法适当地对得到的对象数据221执行推测任务的可能性高的消息。
此外，可以适当地获取与对象数据221的获取相关的属性的正解值。控制部21例如也可以受理操作人员经由输入装置24的输入，并根据该操作人员的输入获取与对象数据221的获取相关的属性的正解值。另外，例如，控制部21也可以通过参照表示传感器S的利用方式、规格、观测环境等的参照信息，从而获取与对象数据221的获取相关的属性的正解值。该参照信息例如可以保持于控制部21内的RAM、存储部22、存储介质92、传感器S的存储区域、外部存储装置等规定的存储区域中。
(步骤S505)
在步骤S505中，控制部21作为推测部213进行动作，利用通过学习装置1训练后的第一编码器51、第二编码器52以及推测器55来推测获得的对象数据221中包含的特征。或者，控制部21利用通过学习装置1训练后的第一编码器51及其他的推测器57来推测获得的对象数据221中包含的特征。
当推测任务中利用第一编码器51、第二编码器52以及推测器55时，控制部21参照学习结果数据128，进一步进行学习完毕的第一编码器51和推测器55的设定。该设定处理可以与上述步骤S502同时执行。控制部21将对象数据221输入各编码器(51、52)的输入层(511、521)，执行第一编码器51、第二编码器52以及推测器55的运算处理。由此，控制部21从推测器55的输出层553获取与对象数据221中包含的特征的推测结果对应的输出值。
另一方面，当推测任务中利用第一编码器51及其他的推测器57时，控制部21参照学习结果数据128，进行学习完毕的第一编码器51及其他的推测器57的设定。该设定处理可以与上述步骤S502同时执行。控制部21将对象数据221输入第一编码器51的输入层511，执行第一编码器51及其他的推测器57的运算处理。由此，控制部21从其他的推测器57的输出层573获取与对象数据221中包含的特征的推测结果对应的输出值。
在与对象数据221的获取相关的属性所特有的信息对推测任务有用的情形下，优选通过前者的方法推测对象数据221中包含的特征。另一方面，在与对象数据221的获取相关的属性所特有的信息会给推测任务带来不良影响的情形下，优选通过后者的方法推测对象数据221中包含的特征。作为一例，假设根据通过观察道路上行驶的车辆的传感器得到的感测数据来推测该道路的交通状况的场景。在该场景下，例如，在推测拥堵发生的概率、到规定场所的所需时间等传感器的观察场所特有的交通状况时，优选通过前者的方法执行推测任务。另一方面，在推测观察时间点的有无发生拥堵、行驶的车辆台数的检测等对传感器的观察场所的依赖性比较低的交通状况时，优选通过后者的方法执行推测任务。当对象数据221中包含的特征的推测完成时，控制部21使处理进入下一步骤S506。
此外，在本步骤S505中利用的其他的推测器57也可以替换为通过并非学习装置1的上述一系列机器学习的其他机器学习训练后的另一个推测器。即，在后者的方法中，控制部21也可以不利用其他的推测器57而利用另一个推测器。可以通过将第一编码器51的输出值用作输入数据，将其他的正解数据125用作教师数据的机器学习，构建该另一个推测器。该另一个推测器的机器学习既可以通过学习装置1实施，也可以通过推测装置2实施，还可以通过与学习装置1和推测装置2不同的其他计算机实施。该情况下，推测装置2可以在任意时刻获取与另一个推测器相关的学习结果数据。
(步骤S506)
在步骤S506中，控制部21作为输出部214进行动作，输出与特征的推测结果相关的信息。
输出目的地和输出的信息的内容分别可以根据实施方式适当地决定。例如，控制部21也可以将对象数据221中包含的特征的推测结果直接输出至输出装置25。另外，例如，控制部21也可以根据推测结果执行某些信息处理。然后，控制部21也可以将该信息处理的执行结果作为与推测结果相关的信息输出。在该信息处理的执行结果的输出中，可以包括根据推测结果输出警告等特定的消息、根据推测结果对控制对象装置的动作进行控制，等等。输出目的地例如可以是输出装置25、控制对象装置等。当与推测结果相关的信息的输出完成时，控制部21结束本动作例涉及的一系列处理。
(其他)
(A)关于处理顺序
此外，在上述处理流程的一例中，控制部21在执行步骤S505的推测处理之前，判定是否采用推测处理的结果，在判定为不采用推测处理的结果时，省略步骤S505和步骤S506的处理的执行。但是，不采用推测处理的结果的方法也可以不限定于这样的例子。例如，控制部21也可以在执行了步骤S505的处理之后，执行步骤S502和步骤S503的处理。然后，在判定为不采用推测处理的结果时，控制部21也可以废弃步骤S505的处理的结果，省略步骤S506的处理的执行。另一方面，在判定为采用推测处理的结果时，控制部21也可以执行步骤S506的处理。
(B)存在多个学习模型5的情形
另外，在获得了多个学习完毕的学习模型5的情况下，控制部21也可以根据上述评价的结果，从多个学习完毕的学习模型5中选择能够针对对象数据221适当地执行推测任务的学习完毕的学习模型5。第二元识别器54的元识别的结果适合于与对象数据221的获取相关的属性的正解值的学习完毕的学习模型5能够针对对象数据221适当地执行推测任务。控制部21也可以将所选择的学习完毕的学习模型5利用于步骤S505的处理。
(C)其他的评价方法的一例
另外，在上述处理流程的一例中，利用学习完毕的第二编码器52和第二元识别器54评价是否能够针对对象数据221适当地执行推测任务。但是，该评价方法也可以不限定于这样的例子。例如，控制部21也可以利用学习完毕的第一编码器51、第二编码器52以及解码器56。
即，在上述步骤S502中，控制部21将获得的对象数据221输入各编码器(51、52)的输入层(511、521)，执行第一编码器51、第二编码器52以及解码器56的运算处理。由此，控制部21从解码器56的输出层563获取与根据第一特征量和第二特征量对对象数据221进行解码的结果对应的输出数据(解码数据)。
获得的解码数据越背离对象数据221，则表示无法针对对象数据221适当地执行推测任务的可能性越高。因此，控制部21也可以将获得的解码数据与对象数据221进行比较，基于比较的结果，根据解码数据是否适合于对象数据321来判定是否采用推测器55或其他的推测器57对对象数据221中包含的特征的推测结果。解码数据与对象数据221的比较可以通过任意的方法进行。例如，作为该比较处理，控制部21也可以计算出解码数据与对象数据221的一致度。该情况下，控制部21也可以根据解码数据与对象数据221的一致度在阈值以上这一情况，判定为采用推测器55或其他的推测器57的推测结果。另一方面，控制部21也可以根据解码数据与对象数据221的一致度小于阈值这一情况，判定为不采用推测器55或其他的推测器57的推测结果。阈值可以适当地设定。
[数据生成装置]
接着，使用图11对数据生成装置3的动作例进行说明。图11是表示本实施方式涉及的数据生成装置3的处理流程的一例的流程图。以下说明的处理流程是数据生成方法的一例。但是，以下说明的处理流程仅为一例，各处理可以在可能的范围内进行变更。另外，对于以下说明的处理流程，可以根据实施方式适当地省略、替换以及追加步骤。
(步骤S701)
在步骤S701中，控制部31作为数据获取部311进行动作，获取作为生成新数据的源的对象数据321。在本实施方式中，数据生成装置3经由外部接口37与传感器S连接。因此，控制部31经由外部接口37获取由传感器S生成的感测数据作为对象数据321。
但是，对象数据321的获取路径也可以不限定于上述例子，可以根据实施方式适当地决定。例如，也可以在与数据生成装置3不同的其他计算机上连接传感器S。该情况下，控制部31也可以从其他的计算机受理对象数据321的发送，从而获取对象数据321。当获得了对象数据321时，控制部31使处理进入下一步骤S702。
(步骤S702及步骤S703)
在步骤S702中，控制部31作为生成部312进行动作，通过将对象数据321提供给通过学习装置1训练后的第一编码器51而从第一编码器51获取输出值(第一特征量)。在接下来的步骤S703中，控制部31利用训练后的解码器56，不提供从第二编码器52获得的输出值(第二特征量)，而根据从第一编码器51获得的输出值(第一特征量)对对象数据321进行解码，由此生成解码数据。
在本实施方式中，控制部31参照学习结果数据128进行学习完毕的第一编码器51和解码器56的设定。控制部31将对象数据321输入第一编码器51的输入层511，执行第一编码器51的运算处理。由此，控制部31从第一编码器51的输出层513获取输出值(第一特征量)。
接着，控制部31将从第一编码器51获得的第一特征量输入解码器56的输入层561的对应神经元。另一方面，控制部31向解码器56的输入层561中接受第二特征量的输入的神经元(节点)输入与从对象数据321得到的第二特征量无关的数据。
例如，控制部31也可以将由零值构成的数值数据作为与第二特征量无关的数据输入至输入层561的对应神经元。另外，例如，控制部31也可以将由随机的值构成的数值数据作为与第二特征量无关的数据输入至输入层561的对应神经元。
另外，例如，控制部31也可以参照学习结果数据128，进一步进行学习完毕的第二编码器52的设定。而且，控制部31也可以将与对象数据321无关的数据输入第二编码器52，执行第二编码器52的运算处理。与对象数据321无关的数据例如可以是由零值构成的数值数据、由随机的值构成的数值数据、将对象数据321至少部分地转换后的数据、在与对象数据321不同的条件下获得的数据等。对象数据321的转换可以通过公知的数值转换方法进行。控制部31也可以将通过该运算处理从第二编码器52的输出层523得到的输出值，作为与从对象数据321得到的第二特征量无关的数据输入输入层561的对应神经元。
在将从第一编码器51获得的第一特征量以及与从对象数据321得到的第二特征量无关的数据输入输入层561的对应神经元之后，控制部31执行解码器56的运算处理。由此，控制部31不提供第二特征量，从解码器56的输出层563获取与根据第一特征量对对象数据321进行解码的结果对应的输出数据(解码数据)。当通过该运算处理生成了解码数据时，控制部31使处理进入下一步骤S704。
(步骤S704)
在步骤S704中，控制部31作为保存处理部313进行动作，将所生成的解码数据作为新数据保存在规定的存储区域中。规定的存储区域例如可以是控制部31内的RAM、存储部32、存储介质93、外部存储装置或它们的组合。外部存储装置例如也可以是NAS等的数据服务器。该情况下，控制部31也可以使用通信接口33经由网络将解码数据存储至数据服务器中。另外，外部存储装置例如也可以是与数据生成装置3连接的外置的存储装置。
所生成的解码数据相当于从对象数据321中排除与第二特征量相关的信息(即，与对象数据321的获取相关的属性所对应的信息)而得到的数据。也就是说，能够将本实施方式利用于从对象数据321生成将域所特有的信息排除后的数据的场景中。例如，在机器学习所使用的各学习数据集121中，在针对人物获得了训练数据122，且元数据123包含人物的个人信息时，能够生成将对象者的个人信息排除后的解码数据。所生成的解码数据例如可以利用于域中共通出现的特征的分析、或者构成为根据对象数据推测该特征的推测器的机器学习中。
控制部31可以将所生成的解码数据保存在规定的存储区域中，以便能够用于这些用途中的任一个。例如，控制部31也可以将所生成的解码数据保存在能够访问以这些用途中的任一个利用解码数据的计算机的存储区域中。当解码数据的保存完成时，控制部31结束本动作例涉及的一系列处理。
此外，通过数据生成装置3生成的新数据也可以不限定于解码数据。控制部31也可以利用第一编码器51和第二编码器52的至少一方生成第一特征量和第二特征量的至少一方。该情况下，控制部31也可以将所生成的第一特征量和第二特征量的至少一方作为新数据保存至规定的存储区域。
第一特征量容易包含与对象数据321的获取相关的属性以外的信息(例如，各域中共通出现的信息)所对应的成分。另一方面，第二特征量容易包含与对象数据321的获取相关的属性(即，域特有的信息)所对应的成分。因此，第一特征量例如可以利用于域中共通出现的特征的分析、或者构成为根据对象数据推测该特征的推测器的机器学习中。第二特征量例如可以利用于域所特有的信息的分析、或者构成为根据对象数据推测该特征的推测器的机器学习中。
另外，控制部31也可以通过与上述训练数据192同样的方法生成新的数据。即，控制部31也可以将对象数据321输入各编码器(51、52)的输入层(511、521)，执行各编码器(51、52)的运算处理。由此，控制部31也可以从各编码器(51、52)的输出层(513、523)获取各特征量。然后，控制部31也可以将第一特征量、第二特征量以及噪声输入解码器56的输入层561，执行解码器56的运算处理。由此，控制部31也可以从解码器56的输出层563获取解码数据。控制部31也可以将获得的解码数据保存于规定的存储区域。根据该生成方法，能够针对对象数据321生成将与获取相关的属性仅变更了与噪声相应量的新数据(解码数据)。数据生成装置3也可以获取上述学习装置1的训练数据122作为对象数据321，将通过该方法生成的解码数据作为训练数据192返回给学习装置1。由此，能够使学习装置1所保持的训练数据的量增加，通过将该训练数据用于机器学习，可以构建能够较高精度地执行推测任务的学习完毕的学习模型5。
另外，控制部31也可以通过与上述推测装置2同样的评价方法，评价各编码器(51、52)是否能够针对对象数据321适当地计算出特征量。在第二元识别器54的元识别的结果适合于与对象数据321的获取相关的属性的正解值、或者通过解码器56得到的解码数据适合于对象数据321的情况下，控制部31也可以采用通过上述一系列处理生成的数据。另一方面，在第二元识别器54的元识别的结果不适合于与对象数据321的获取相关的属性的正解值、或者通过解码器56得到的解码数据不适合于对象数据321的情况下，控制部31也可以省略与数据的生成相关的上述一系列处理。或者，控制部31也可以废弃通过上述一系列处理生成的数据。
[特征]
如上所述，在本实施方式中，通过步骤S201～步骤S208的机器学习，学习完毕的第一编码器51、第二编码器52以及推测器55能够学会根据获取对象数据的域所特有的信息以及共通的信息两者执行推测对象数据所包含的特征的任务的能力。另外，学习完毕的第一编码器51和其他的推测器57能够学会排除域所特有的信息的影响，而根据域共通的信息执行推测对象数据所包含的特征的任务的能力。因此，在推测装置2的步骤S505中，能够构建在与对象数据221的获取相关的属性所特有的信息对推测任务有用的情形以及会带来不良影响的情形两种情形下，都能较高精度地执行推测任务的学习完毕的学习模型5。
另外，在本实施方式中，能够对从不同的域得到的对象数据(211、311)共通地利用第一编码器51和第二编码器52。因此，在本实施方式中，能够省略针对获取对象数据(211、311)的每个域准备学习完毕的提取器的麻烦。
进而，通过利用学习完毕的第二编码器52和第二元识别器54，能够通过步骤S502～步骤S504的处理评价学习完毕的学习模型5是否能够针对对象数据221适当地执行推测任务。根据该评价的结果，能够防止对不能适当地执行推测任务的对象数据221利用学习完毕的学习模型5，或者对对象数据221选择适当的学习完毕的学习模型5。
因此，根据本实施方式，能够构建导入成本比较低廉，而且对于与对象数据的获取相关的属性的差异稳健的学习完毕的学习模型5。
§4变形例
以上，详细说明了本发明的实施方式，但上述说明在所有方面均仅为本发明的例示。能够在不脱离本发明的范围的情况下进行各种改良和变形，这是毋庸置疑的。例如，能够进行如下的变更。此外，以下针对与上述实施方式相同的构成要素使用相同的附图标记，对于与上述实施方式相同的点适当地省略说明。以下的变形例能够适当地进行组合。
＜4.1＞
上述实施方式涉及的学习装置1、推测装置2以及数据生成装置3适用于推测通过传感器S得到的感测数据中包含的特征的场景中。然而，上述实施方式的适用范围并不限定于上述例子。上述实施方式也可以适用于推测从传感器以外得到的数据所包含的特征的场景。上述实施方式能够适用于对规定的数据执行规定的推测任务的所有场景。以下，例示限定了适用场景的变形例。
(A)预测交通状况的场景
图12示意性地例示出第一变形例涉及的***的适用场景的一例。本变形例是将上述实施方式适用于预测道路中行驶的车辆的交通状况的场景中的例子。如图12所示，本实施方式涉及的***具备学习装置1、预测装置2A以及数据生成装置3。与上述实施方式同样地，学习装置1、预测装置2A以及数据生成装置3可以经由网络相互连接。本变形例涉及的***除了要处理的数据不同这一点以外，可以与上述实施方式同样地构成。
本变形例涉及的学习装置1除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行机器学习的信息处理。即，在步骤S101中，学习装置1获取用于学习交通状况的预测的多个学习数据集121A。与上述学习数据集121同样地，各学习数据集121A由训练数据122A、元数据123A、正解数据124A以及其他的正解数据125A的组合构成。训练数据122A、元数据123A、正解数据124A以及其他的正解数据125A分别对应于上述实施方式涉及的训练数据122、元数据123、正解数据124以及其他的正解数据125。
训练数据122A例如是通过观察道路中行驶的车辆的传感器SA或与其同种的传感器(以下，包括同种的传感器在内称为传感器SA)得到的感测数据。传感器SA只要能够观察道路中行驶的车辆，其种类也可以没有特别限定，可以根据实施方式适当地选择。传感器SA例如可以是摄像机、超声波传感器、红外线传感器等。训练数据122A例如可以由图像数据、表示每单位时间的车辆的通过台数的测量结果的数据、表示通过的车辆的平均速度的测量结果的数据等构成。
元数据123A作为与训练数据122A的获取相关的属性而表示例如道路的属性、传感器SA的观察角度、传感器SA的设置间隔、传感器SA的种类、或者它们的组合。道路的属性例如可以通过是否为直线道路、是否为弯曲道路、是否有收费道路的收费站、是否为汇合点、是否为分叉点等来表示。
正解数据124A和其他的正解数据125A分别作为训练数据122A所包含的特征而表示例如与道路的交通状况相关的信息。在本变形例中，正解数据124A和其他的正解数据125A分别可以表示与从获得训练数据122A的时间点起未来的时间点的道路的交通状况相关的信息。与道路的交通状况相关的信息例如可以包含有无发生拥堵、拥堵发生的概率、发生的拥堵的持续时间、从传感器SA的设置场所到规定的场所为止的所需时间等信息。有无发生拥堵也可以通过在规定时间后是否发生拥堵来表现。
此外，假设在多个道路区间分别设置有传感器SA，并收集通过各传感器SA得到的感测数据作为训练数据122A，以便预测各道路区间中的拥堵发生的概率的场景。在该场景下，当在第一道路区间与第二道路区间之间，在得到的训练数据122A中发生拥堵时的数据与未发生拥堵时的数据的比例差异较大时，有可能无法适当地实施学习模型5的机器学习。该情况下，为了调整数据的比例，可以实施删除一部分数据或追加新的数据等的预处理。
在步骤S102中，学习装置1使用分别由上述训练数据122A、元数据123A、正解数据124A以及其他的正解数据125A的组合构成的多个学习数据集121A，与上述实施方式同样地实施学习模型5A的机器学习。学习模型5A可以与上述实施方式涉及的学习模型5同样地构成。即，学习模型5A包括第一编码器51A、第二编码器52A、第一元识别器53A、第二元识别器54A、推测器55A、解码器56A以及其他的推测器57A。各器51A～57A对应于上述实施方式涉及的各器51～57。各器51A～57A的构成可以与上述实施方式涉及的各器51～57相同。
通过该机器学习，第二编码器52A被训练为将该训练数据122A转换为包含由元数据123A表示的与训练数据122A的获取相关的属性所对应的成分的第二特征量。第一编码器51A被训练为将该训练数据122A转换为包含与训练数据122A的获取相关的属性以外的信息、例如获取训练数据122A的域中共通出现的信息所对应的成分的第一特征量。学习模型5A中包含推测器55A或其他的推测器57A的部分获得根据通过传感器SA得到的感测数据预测交通状况的能力。另外，学习模型5A中包含解码器56A的部分获得生成与通过传感器SA得到的感测数据同种的解码数据的能力。
在步骤S103中，学习装置1生成与学习完毕的学习模型5A相关的信息作为学习结果数据128A，并将所生成的学习结果数据128A保存至规定的存储区域。所生成的学习结果数据128A可以在任意的时刻提供给预测装置2A和数据生成装置3。
数据生成装置3除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行与数据生成相关的信息处理。即，数据生成装置3执行上述步骤S701～步骤S704的处理。由此，数据生成装置3能够利用学习完毕的第一编码器51A和解码器56A，根据对象感测数据生成解码数据。解码数据相当于通过从该对象感测数据中排除与对象感测数据的获取相关的属性所对应的信息而得到的数据。另外，数据生成装置3也可以利用学习完毕的第一编码器51A、第二编码器52A以及解码器56A，生成将与获取相关的属性仅变更了与噪声相应的量的新数据(解码数据)。进而，数据生成装置3也可以利用学习完毕的第一编码器51A和第二编码器52A的至少一方，生成第一特征量和第二特征量的至少一方数据。
预测装置2A对应于上述推测装置2。预测装置2A除了要处理的数据不同这一点以外，可以与上述推测装置2同样地构成。在本变形例中，预测装置2A经由网络与传感器SA连接。预测装置2A从传感器SA获取对象感测数据。然后，预测装置2A利用通过学习装置1构建的学习完毕的学习模型5A，根据获得的对象感测数据预测对象道路的交通状况。
＜预测装置的硬件构成＞
图13A示意性地例示出本变形例涉及的预测装置2A的硬件构成的一例。如图13A所示，本变形例涉及的预测装置2A与上述推测装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。预测装置2A经由通信接口23与传感器SA连接。传感器SA可以适当地配置于监视交通状况的规定道路中。但是，预测装置2A的硬件构成也可以不限定于上述例子。关于预测装置2A的具体的硬件构成，能够根据实施方式适当地省略、替换以及追加构成要素。预测装置2A除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。
本变形例涉及的预测装置2A的存储部22存储预测程序82A、学习结果数据128A等的各种信息。预测程序82A和学习结果数据128A对应于上述实施方式涉及的推测程序82和学习结果数据128。预测程序82A和学习结果数据128A中的至少任意一个也可以存储于存储介质92中。另外，预测装置2A也可以从存储介质92获取预测程序82A和学习结果数据128A中的至少任一个。
＜预测装置的软件构成及动作例＞
图13B示意性地例示出本变形例涉及的预测装置2A的软件构成的一例。与上述实施方式相同，预测装置2A的软件构成通过由控制部21执行预测程序82A而实现。如图13B所示，除了对通过观察道路中行驶的车辆的传感器SA得到的感测数据进行处理这一点以外，预测装置2A的软件构成与上述推测装置2的软件构成相同。由此，预测装置2A与上述推测装置2的推测处理同样地执行与预测处理相关的一系列处理。
即，在步骤S501中，控制部21作为数据获取部211进行动作，从传感器SA获取反映对象道路中的交通状况的对象感测数据221A。在步骤S502中，控制部21作为评价部212进行动作，利用通过学习装置1训练后的第二编码器52A和第二元识别器54A，识别与对象感测数据221A的获取相关的属性。具体而言，控制部21参照学习结果数据128A，进行学习完毕的第二编码器52A和第二元识别器54A的设定。接着，控制部21将获得的对象感测数据221A输入第二编码器52A，并执行第二编码器52A和第二元识别器54A的运算处理。通过该运算处理，控制部21从第二元识别器54A获取与对象感测数据221A的获取相关的属性的识别结果所对应的输出值。
在步骤S503中，控制部21作为评价部212进行动作，根据与对象感测数据221A的获取相关的属性的识别结果，判定是否采用推测器55A或其他的推测器57A的预测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象感测数据221A的获取相关的属性的正解值时，控制部21判定为采用推测器55A或其他的推测器57A的预测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象感测数据221A的获取相关的属性的正解值时，控制部21判定为不采用推测器55A或者其他的推测器57A的预测结果，省略步骤S505和步骤S506的处理，结束本变形例的一系列处理。
在步骤S505中，控制部21作为预测部213A进行动作，利用通过学习装置1训练后的第一编码器51A、第二编码器52A以及推测器55A，并根据对象感测数据221A预测对象道路中的交通状况。或者，控制部21利用通过学习装置1训练后的第一编码器51A和其他的推测器57A，并根据对象感测数据221A预测对象道路中的交通状况。
具体而言，控制部21参照学习结果数据128A，进一步进行学习完毕的第一编码器51A和推测器55A的设定。控制部21将对象感测数据221A输入各编码器(51A、52A)，执行第一编码器51A、第二编码器52A以及推测器55A的运算处理。由此，控制部21从推测器55A获取与根据对象感测数据221A预测对象道路中的交通状况的结果对应的输出值。
或者，控制部21参照学习结果数据128A，进行学习完毕的第一编码器51A和其他的推测器57A的设定。控制部21将对象感测数据221A输入第一编码器51A，执行第一编码器51A和其他的推测器57A的运算处理。由此，控制部21从其他的推测器57A获取与根据对象感测数据221A预测对象道路中的交通状况的结果对应的输出值。
在步骤S506中，控制部21作为输出部214进行动作，输出与对象道路中的交通状况的预测结果相关的信息。输出目的地和输出信息分别可以与上述实施方式同样根据实施方式适当地决定。例如，控制部21也可以将交通状况的预测结果直接输出至输出装置25。另外，例如，控制部21也可以将交通状况的预测结果分发给对象道路的周边存在的车辆的车载装置或用户终端。分发的范围可以适当地决定。该情况下，控制部21可以从车辆的车载装置或用户终端获取位置信息，并根据获得的位置信息确定分发对象的车载装置或用户终端。
另外，假设例如通过步骤S505的处理预测对象道路中的交通堵塞的发生概率的场景。在该场景下，当对象道路中拥堵的发生概率在阈值以上时，控制部21也可以输出用于通知拥堵发生的概率高的消息。阈值可以适当地设定。另外，控制部21也可以向对象道路的周边存在的车辆的车载装置或用户终端分发该消息。该消息中也可以包含表示拥堵的发生概率比包含对象道路的路线低的备用路线的信息。进而，假设车辆具备控制自动驾驶的动作的控制装置的场景。在该场景下，控制部21也可以在对象道路中拥堵的发生概率在阈值以上时，将用于指示从避开对象道路的路线行驶的指令分发给对象道路的周边存在的车辆的控制装置。与此相应地，车辆的控制装置也可以控制车辆的自动驾驶以从避开对象道路的路线行驶。
根据本变形例，在根据感测数据预测交通状况的场景下，能够构建导入成本比较低廉，而且对与感测数据的获取相关的属性的差异稳健的学习完毕的学习模型5A。
作为一例，拥堵发生的概率或者有无拥堵的预测呈依赖于道路的属性的趋势。例如，与单车道的道路相比，双车道的道路发生交通堵塞的概率低。另外，例如与直线道路相比，汇合点多的道路中发生交通堵塞的概率高。因此，在预测拥堵发生的概率或者有无拥堵的场景下，认为获取数据的域所特有的信息对推测任务有用。相对于此，交通流的数量及其增减的变化趋势难以依赖于道路的属性，因此，在推测发生的拥堵的持续时间的场景下，认为获取数据的域所特有的信息对推测任务的精度带来不良影响。
因此，传感器SA例如可以是摄像机。摄像机既可以设置于道路上，也可以由在该道路上移动的人物保持。与此相应地，训练数据122A例如可以是图像数据。元数据123A例如可以设定为表示道路的属性及传感器SA的设置间隔。正解数据124A例如可以设定为表示拥堵发生的概率或者有无拥堵。其他的正解数据125B例如可以设定为表示发生的拥堵的持续时间。
通过根据该设定执行上述机器学习，第一特征量作为域共通的信息而包含与呈点状地发生的交通流的数量及其增减的变化趋势对应的成分。另一方面，第二特征量作为域特有的信息而包含与稳定地出现的地形引起的交通流的趋势、以及在多个地点共现的交通流的趋势对应的成分。稳定地出现的地形引起的交通流的趋势例如是在下凹部容易产生速度降低及拥堵等的趋势。另外，多个地点共现是指：某个地点的交通流会对其他地点的交通流造成影响，例如在高速道路的汇合地点发生了拥堵时，该汇合地点靠前的直线道路的地点也发生拥堵的可能性高，等等。
其结果，在预测装置2A中，通过利用学习完毕的第一编码器51A、第二编码器52A以及推测器55A，能够根据上述域所特有的信息以及共通的信息双方执行预测拥堵发生的概率或者有无拥堵的推测任务。因此，能够以较高精度预测对象道路中发生拥堵的概率或者有无拥堵。另外，在预测装置2A中，通过利用学习完毕的第一编码器51A和其他的推测器57，能够排除上述域所特有的信息，而根据上述域共通的信息执行预测发生的拥堵的持续时间的推测任务。因此，能够以较高精度预测对象道路中的拥堵的持续时间。
(B)推测对象者的状态的场景
图14示意性地例示出第二变形例涉及的***的适用场景的一例。本变形例是将上述实施方式适用于推测对象者的状态的场景中的例子。在图14中，作为推测对象者的状态的场景的一例，例示了监视车辆的驾驶员RB的状态的场景。驾驶员RB是对象者的一例。如图14所示，本实施方式涉及的***具备学习装置1、监视装置2B以及数据生成装置3。与上述实施方式同样地，学习装置1、监视装置2B以及数据生成装置3可以经由网络相互连接。本变形例涉及的***除了要处理的数据不同这一点以外，可以与上述实施方式同样地构成。
本变形例涉及的学习装置1除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行机器学习的信息处理。即，在步骤S101中，学习装置1获取用于学习推测对象者的状态的任务的多个学习数据集121B。与上述学习数据集121同样地，各学习数据集121B由训练数据122B、元数据123B、正解数据124B以及其他的正解数据125B的组合构成。训练数据122B、元数据123B、正解数据124B以及其他的正解数据125B分别对应于上述实施方式涉及的训练数据122、元数据123、正解数据124以及其他的正解数据125。
训练数据122B例如是通过观察受试者的状态的传感器SB或与其同种的传感器(以下，包括同种的传感器在内称为传感器SB)得到的感测数据。受试者例如是驾驶车辆的驾驶员。传感器SB只要能够观察对象者的状态，其种类也可以无特别限定，可以根据实施方式适当地选择。传感器SB例如可以是摄像机、生命传感器或它们的组合。摄像机例如可以是普通的RGB摄像机、深度摄像机、红外线摄像机等。另外，生命传感器例如是体温计、血压计、脉搏计等。训练数据122B例如可以由图像数据、生命数据等构成。
元数据123B作为与训练数据122B的获取相关的属性而表示例如受试者的识别信息、与获取感测数据的时间相关的属性、与传感器SB的设置状况相关的属性、传感器SB的设置场所、或者它们的组合。受试者的识别信息例如可以包括用于识别受试者的信息(标识符)、性别、年龄、体格、人种等。与时间相关的属性例如可以包括时间段的类别、星期的类别、平日及休息日的类别、月的类别、季节的类别等。与传感器SB的设置状况相关的属性例如可以包括传感器SB的设置角度、传感器SB的周围的温度、传感器SB与受试者之间的距离、传感器SB的设置间隔等。
正解数据124B和其他的正解数据125B分别作为训练数据122B所包含的特征而表示例如受试者的状态。受试者的状态例如可以包括受试者的健康状态。健康状态例如可以通过规定的疾病的发病概率、身体状况发生变化的概率等表现。在本变形例中，受试者的状态例如可以包括表示受试者的困倦程度的困倦度、表示受试者的疲劳程度的疲劳度、表示受试者相对于驾驶的富余程度的富余度、或者它们的组合。
在步骤S102中，学习装置1使用由这样的训练数据122B、元数据123B、正解数据124B以及其他的正解数据125B的组合分别构成的多个学习数据集121B，与上述实施方式同样地实施学习模型5B的机器学习。学习模型5B可以与上述实施方式涉及的学习模型5同样地构成。即，学习模型5B包括第一编码器51B、第二编码器52B、第一元识别器53B、第二元识别器54B、推测器55B、解码器56B以及其他的推测器57B。各器51B～57B对应于上述实施方式涉及的各器51～57。各器51B～57B的构成可以与上述实施方式涉及的各器51～57相同。
通过该机器学习，第二编码器52B被训练为将该训练数据122B转换为包含由元数据123B表示的与训练数据122B的获取相关的属性所对应的成分的第二特征量。第一编码器51B被训练为将该训练数据122B转换为包含与训练数据122B的获取相关的属性以外的信息、例如获取训练数据122B的域中共通出现的信息所对应的成分的第一特征量。学习模型5B中包括推测器55B或其他的推测器57B的部分获得根据由传感器SB得到的感测数据推测驾驶员的状态的能力。另外，学习模型5B中包含解码器56B的部分获得生成与通过传感器SB得到的感测数据同种的解码数据的能力。
在步骤S103中，学习装置1生成与学习完毕的学习模型5B相关的信息作为学习结果数据128B，并将所生成的学习结果数据128B保存于规定的存储区域中。所生成的学习结果数据128B可以在任意的时刻提供给监视装置2B和数据生成装置3。
数据生成装置3除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行与数据生成相关的信息处理。即，数据生成装置3执行上述步骤S701～步骤S704的处理。由此，数据生成装置3能够利用学习完毕的第一编码器51B及解码器56B，根据对象感测数据生成解码数据。解码数据相当于通过从该对象感测数据中排除与对象感测数据的获取相关的属性所对应的信息而得到的数据。另外，数据生成装置3也可以利用学习完毕的第一编码器51B、第二编码器52B以及解码器56B，生成将与获取相关的属性仅变更了与噪声相应的量的新数据(解码数据)。进而，数据生成装置3也可以利用学习完毕的第一编码器51B和第二编码器52B的至少一方，生成第一特征量和第二特征量的至少一方数据。
监视装置2B对应于上述推测装置2。监视装置2B除了要处理的数据不同这一点以外，可以与上述推测装置2同样地构成。在本变形例中，监视装置2B与传感器SB连接。监视装置2B从传感器SB获取对象感测数据。然后，监视装置2B利用由学习装置1构建的学习完毕的学习模型5B，根据获得的对象感测数据来推测驾驶员RB的状态。
＜监视装置的硬件构成＞
图15A示意性地例示出本变形例涉及的监视装置2B的硬件构成的一例。如图15A所示，本变形例涉及的各监视装置2B与上述推测装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。监视装置2B经由外部接口27与传感器SB连接。传感器SB可以适当地配置于能够观察驾驶员RB的状态的位置处。例如，在传感器SB为摄像机的情况下，传感器SB可以配置于驾驶座的附近以能够拍摄驾驶员RB。另外，例如，在传感器SB为生命传感器的情况下，传感器SB可以适当地安装为能够测定驾驶员RB的生命体征。然而，监视装置2B的硬件构成并不限定于上述例子。关于监视装置2B的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。监视装置2B除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的计算机、包含智能手机的便携电话、车载装置等。
本变形例涉及的监视装置2B的存储部22存储监视程序82B、学习结果数据128B等的各种信息。监视程序82B和学习结果数据128B对应于上述实施方式涉及的推测程序82和学习结果数据128。上述监视程序82B和学习结果数据128B中的至少任意一者也可以存储于存储介质92中。另外，监视装置2B也可以从存储介质92获取监视程序82B和学习结果数据128B中的至少任一者。
＜监视装置的软件构成及动作例＞
图15B示意性地例示出本变形例涉及的监视装置2B的软件构成的一例。与上述实施方式同样地，监视装置2B的软件构成通过由控制部21执行监视程序82B来实现。如图15B所示，除了处理通过观察驾驶员RB的状态的传感器SB得到的感测数据这一点以外，监视装置2B的软件构成与上述推测装置2的软件构成相同。由此，监视装置2B与上述推测装置2的推测处理同样地执行与监视处理相关的一系列处理。
即，在步骤S501中，控制部21作为数据获取部211进行动作，从传感器SB获取反映了驾驶员RB的状态的对象感测数据221B。在步骤S502中，控制部21作为评价部212进行动作，利用由学习装置1训练后的第二编码器52B和第二元识别器54B，识别与对象感测数据221B的获取相关的属性。具体而言，控制部21参照学习结果数据128B，进行学习完毕的第二编码器52B和第二元识别器54B的设定。接着，控制部21将获得的对象感测数据221B输入第二编码器52B，执行第二编码器52B和第二元识别器54B的运算处理。通过该运算处理，控制部21从第二元识别器54B获取与对象感测数据221B的获取相关的属性的识别结果所对应的输出值。
在步骤S503中，控制部21作为评价部212进行动作，根据与对象感测数据221B的获取相关的属性的识别结果，判定是否采用推测器55B或其他的推测器57B的推测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象感测数据221B的获取相关的属性的正解值时，控制部21判定为采用推测器55B或其他的推测器57B的推测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象感测数据221B的获取相关的属性的正解值时，控制部21判定为不采用推测器55B或者其他的推测器57B的推测结果，省略步骤S505和步骤S506的处理，结束本变形例的一系列处理。
在步骤S505中，控制部21作为监视部213B进行动作，利用由学习装置1训练后的第一编码器51B、第二编码器52B以及推测器55B，根据对象感测数据221B推测驾驶员RB的状态。或者，控制部21利用由学习装置1训练后的第一编码器51B和其他的推测器57B，根据对象感测数据221B推测驾驶员RB的状态。
具体而言，控制部21参照学习结果数据128B，进一步进行学习完毕的第一编码器51B和推测器55B的设定。控制部21将对象感测数据221B输入各编码器(51B、52B)，执行第一编码器51B、第二编码器52B以及推测器55B的运算处理。由此，控制部21从推测器55B获取与根据对象感测数据221B推测驾驶员RB的状态的结果对应的输出值。
或者，控制部21参照学习结果数据128B，进行学习完毕的第一编码器51B和其他的推测器57B的设定。控制部21将对象感测数据221B输入第一编码器51B，执行第一编码器51B和其他的推测器57B的运算处理。由此，控制部21从其他的推测器57B获取与根据对象感测数据221B推测驾驶员RB的状态的结果对应的输出值。
在步骤S506中，控制部21作为输出部214进行动作，输出与驾驶员RB的状态的推测结果相关的信息。输出目的地和输出信息分别可以与上述实施方式同样根据实施方式适当地决定。例如，控制部21也可以将驾驶员RB的状态的推测结果直接输出至输出装置25。另外，例如，控制部21也可以根据推测结果执行某些信息处理。然后，控制部21也可以将该信息处理的执行结果作为与推测结果相关的信息输出。
作为该信息处理的一例，控制部21也可以根据推测出的驾驶员RB的状态，向输出装置25输出警告等特定的消息。作为具体例，在作为驾驶员RB的状态而推测驾驶员RB的困倦度和疲劳度中的至少一方时，控制部21也可以判定推测出的困倦度和疲劳度中的至少一方是否超过阈值。阈值可以适当地设定。然后，当困倦度和疲劳度中的至少一方超过阈值时，控制部21也可以向输出装置25输出促使驾驶员RB在停车场等停车进行休息的警告。
另外，例如在车辆具备控制自动驾驶的动作的控制装置(未图示)时，控制部21也可以根据驾驶员RB的状态的推测结果，向控制装置发送用于指示车辆的自动驾驶的动作的指令。作为一例，假设控制装置构成为能够切换控制车辆的行驶的自动驾驶模式和通过驾驶员RB的操纵来控制车辆的行驶的手动驾驶模式。
在该情形下，当车辆以自动驾驶模式行驶，并从驾驶员RB或***接受到从自动驾驶模式切换为手动驾驶模式时，控制部21也可以判定推测出的驾驶员RB的富余度是否超过阈值。然后，当驾驶员RB的富余度超过阈值时，控制部21也可以向控制装置发送允许从自动驾驶模式切换为手动驾驶模式的指令。另一方面，当驾驶员RB的富余度在阈值以下时，控制部21也可以向控制装置发送不允许从自动驾驶模式切换为手动驾驶模式的通知，而维持以自动驾驶模式行驶。
另外，当车辆以手动驾驶模式行驶时，控制部21也可以判定推测出的困倦度和疲劳度中的至少一方是否超过阈值。而且，当困倦度和疲劳度中的至少一方超过阈值时，控制部21也可以向控制装置发送指示从手动驾驶模式切换为自动驾驶模式，并在停车场等安全场所停车的指令。另一方面，当困倦度和疲劳度中的至少一方未超过阈值时，控制部21也可以使车辆维持以手动驾驶模式行驶。
另外，当车辆以手动驾驶模式行驶时，控制部21也可以判定推测出的富余度是否为阈值以下。然后，当富余度为阈值以下时，控制部21也可以向控制装置发送减速的指令。另一方面，当富余度超过阈值时，控制部21也可以使车辆维持在驾驶员RB的操作下行驶。此外，车辆的控制装置和监视装置2B可以由一体的计算机构成。
根据本变形例，在根据感测数据推测驾驶员的状态的场景下，能够构建导入成本比较低廉，而且对与感测数据的获取相关的属性的差异稳健的学习完毕的学习模型5B。
作为一例，包括上述困倦度、疲劳度、富余度等在内的身体状况的变化与对象者的属性的关系性低，可以根据血压等生命体征的相对变化来推测。因此，在推测身体状况的变化的场景下，认为获取数据的域所特有的信息会对推测任务的精度带来不良影响。另一方面，规定的疾病(例如生活习惯病)的发病风险可能依赖于对象者的属性。因此，在推测发生规定疾病的概率的场景下，认为获取数据的域所特有的信息对推测任务有用。
因此，传感器SB例如可以为血压计等的生命传感器。与此相应地，训练数据122B例如可以是血压等的生命体征的测定数据。元数据123B例如可以被设定为表示与对象者(受试者)的识别信息和获取数据的时间(例如测定时间)相关的属性。正解数据124B例如可以设定为表示引发规定疾病的概率。其他的正解数据125B例如可以设定为表示身体状况变化的发生概率。
通过根据该设定执行上述机器学***均以及增减幅度对应的成分。另一方面，第二特征量作为域特有的信息而包含与基于对象者的属性和获取数据的时间的偏置对应的成分。
由此，在监视装置2B中，通过利用学习完毕的第一编码器51B和其他的推测器57B，能够排除上述域特有的信息，而根据上述域共通的信息执行推测驾驶员RB的身体状况变化的任务。因此，能够以较高的精度推测驾驶员RB的身体状况变化。另外，在监视装置2B中，通过利用学习完毕的第一编码器51B、第二编码器52B以及推测器55B，能够根据上述域特有的信息以及共通的信息，执行推测驾驶员RB发病规定疾病的概率的任务。因此，能够以较高精度推测驾驶员RB发病规定疾病的概率。
此外，作为推测状态的对象的对象者也可以不限于图14所例示的车辆的驾驶员RB，也可以包括所有的人物。作为预测状态的对象的对象者例如也可以包括在办公室、工厂等进行作业的作业人员、被测量生命体征的被测量者等。
图16示意性地例示推测对象者的状态的其他场景的一例。图16所例示的***具备学习装置1、诊断装置2B2以及数据生成装置3。诊断装置2B2对应于上述监视装置2B。在图16的例子中，诊断装置2B2与生命传感器SB2连接，通过该生命传感器SB2获取被测量者的对象感测数据。生命传感器SB2是上述传感器SB的一例。诊断装置2B2通过与上述监视装置2B同样的处理推测被测量者的状态。被测量者的状态可以包括该被测量者的健康状态。健康状态例如可以包括是否健康、是否有患病的征兆，等等。正解数据124B及其他的正解数据125B分别可以构成为例如表示人物的健康状态的类别、发病对象疾病的概率等。
(C)外观检查的场景
图17示意性地例示出第三变形例涉及的***的适用场景的一例。本变形例是将上述实施方式适用于检查产品RC的外观的场景的例子。如图17所示，本实施方式涉及的***具备学习装置1、检查装置2C以及数据生成装置3。与上述实施方式同样地，学习装置1、检查装置2C以及数据生成装置3可以经由网络相互连接。本变形例涉及的***除了要处理的数据不同这一点以外，可以与上述实施方式同样地构成。
本变形例涉及的学习装置1除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行机器学习的信息处理。即，在步骤S101中，学习装置1获取用于学习推测产品RC的状态的任务的多个学习数据集121C。与上述学习数据集121同样地，各学习数据集121C由训练数据122C、元数据123C、正解数据124C以及其他的正解数据125C的组合构成。训练数据122C、元数据123C、正解数据124C以及其他的正解数据125C分别对应于上述实施方式涉及的训练数据122、元数据123、正解数据124以及其他的正解数据125。
训练数据122C例如为映现产品RC的图像数据。训练数据122C可以通过利用摄像机SC或与之相同种类的摄像机(以下，包含相同种类的摄像机在内称为摄像机SC)拍摄产品RC或与之相同种类的产品(以下，包含相同种类的产品在内称为产品RC)而得到。摄像机SC例如可以是普通的RGB摄像机、深度摄像机、红外线摄像机等。
产品RC例如可以为电子设备、电子部件、汽车部件、药品、食品等的生产线上输送的产品。电子部件例如可以是基板、片状电容器、液晶、继电器的绕组等。汽车部件例如可以为连杆、转轴、发动机组、电动车窗开关、面板等。药品例如可以是包装完毕的片剂、未包装的片剂等。产品既可以是在制造过程完成后生成的最终品，也可以是在制造过程的中途生成的中间品，还可以是在经过制造过程之前准备的初始品。
元数据123C作为与训练数据122C的获取相关的属性而表示例如产品RC的属性、产品RC的拍摄条件、制造产品RC的工厂的属性或它们的组合。产品RC的属性例如可以包括产品RC的类别、标识符、原材料、外观(例如三维形状)等。产品RC的拍摄条件例如可以包括摄像机SC的拍摄角度、产品RC的朝向、照明的条件、摄像机SC与产品RC之间的距离、与摄像机SC的性能相关的属性、背景条件等。与摄像机SC的性能相关的属性例如可以包含得到的图像数据的类别(是否为RGB图像等)、分辨率等。制造产品RC的工厂的属性例如可以包含工厂的标识符、产品RC的生产能力等。
正解数据124C及其他的正解数据125C分别作为训练数据122C所包含的特征，例如表示产品RC的状态。产品RC的状态例如可以是与缺陷相关的状态。作为一例，产品RC的状态可以通过产品RC中是否包含缺陷、产品RC中包含的缺陷的种类、产品RC中包含的缺陷的范围或它们的组合来表现。缺陷例如可以是损伤、污垢、裂纹、压痕、毛刺、颜色不均、异物混入等。
在步骤S102中，学习装置1使用由这样的训练数据122C、元数据123C、正解数据124C以及其他的正解数据125C的组合分别构成的多个学习数据集121C，与上述实施方式同样地实施学习模型5C的机器学习。学习模型5C可以与上述实施方式的学习模型5同样地构成。即，学习模型5C包括第一编码器51C、第二编码器52C、第一元识别器53C、第二元识别器54C、推测器55C、解码器56C以及其他的推测器57C。各器51C～57C对应于上述实施方式涉及的各器51～57。各器51C～57C的构成可以与上述实施方式涉及的各器51～57相同。
通过该机器学习，第二编码器52C被训练为将该训练数据122C转换为包含由元数据123C表示的与训练数据122C的获取相关的属性所对应的成分的第二特征量。第一编码器51C被训练为将该训练数据122C转换为包含与训练数据122C的获取相关的属性以外的信息、例如获取训练数据122C的域中共通出现的信息所对应的成分的第一特征量。学习模型5C中包括推测器55C或其他的推测器57C的部分获得推测通过摄像机SC得到的图像数据中映现的产品RC的状态的能力。另外，学习模型5C中包含解码器56C的部分获得生成与通过摄像机SC得到的图像数据同种的解码数据的能力。
在步骤S103中，学习装置1生成与学习完毕的学习模型5C相关的信息作为学习结果数据128C，并将所生成的学习结果数据128C保存于规定的存储区域中。所生成的学习结果数据128C可以在任意的时刻提供给检查装置2C和数据生成装置3。
数据生成装置3除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行与数据生成相关的信息处理。即，数据生成装置3执行上述步骤S701～步骤S704的处理。由此，数据生成装置3能够利用学习完毕的第一编码器51C和解码器56C，根据对象图像数据生成解码数据。解码数据相当于通过将与对象图像数据的获取相关的属性所对应的信息从该对象图像数据中排除而得到的数据。另外，数据生成装置3也可以利用学习完毕的第一编码器51C、第二编码器52C以及解码器56C，生成将与获取相关的属性仅变更了与噪声相应的量的新数据(解码数据)。进而，数据生成装置3也可以利用学习完毕的第一编码器51C和第二编码器52C的至少一方生成第一特征量和第二特征量的至少一方的数据。
检查装置2C对应于上述推测装置2。检查装置2C除了要处理的数据不同这一点以外，可以与上述推测装置2同样地构成。在本变形例中，检查装置2C与摄像机SC连接。检查装置2C从摄像机SC获取对象图像数据。然后，检查装置2C利用由学习装置1构建的学习完毕的学习模型5C，根据获得的对象图像数据推测产品RC的状态，从而实施产品RC的外观检查。
＜检查装置的硬件构成＞
图18A示意性地例示出本变形例涉及的检查装置2C的硬件构成的一例。如图18A所示，本变形例涉及的检查装置2C与上述推测装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。检查装置2C经由外部接口27与摄像机SC连接。摄像机SC可以适当地配置于能够拍摄产品RC的场所。例如，摄像机SC可以配置在输送产品RC的带式输送机装置的附近。但是，检查装置2C的硬件构成也可以不限定于上述例子。关于检查装置2C的具体的硬件构成，能够根据实施方式适当地省略、替换以及追加构成要素。检查装置2C除了设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC、PLC(programmable logic controller：可编程逻辑控制器)等。
本变形例涉及的检查装置2C的存储部22存储检查程序82C、学习结果数据128C等的各种信息。检查程序82C和学习结果数据128C对应于上述实施方式涉及的推测程序82和学习结果数据128。检查程序82C和学习结果数据128C中的至少任意一个也可以存储于存储介质92中。另外，检查装置2C也可以从存储介质92获取检查程序82C和学习结果数据128C中的至少任意一个。
＜检查装置的软件构成及动作例＞
图18B示意性地例示出本变形例涉及的检查装置2C的软件构成的一例。与上述实施方式同样地，检查装置2C的软件构成通过由控制部21执行检查程序82C来实现。如图18B所示，除了处理通过摄像机SC得到的映现产品RC的图像数据这一点以外，检查装置2C的软件构成与上述推测装置2的软件构成相同。由此，检查装置2C与上述推测装置2的推测处理同样地执行与检查处理相关的一系列的处理。
即，在步骤S501中，控制部21作为数据获取部211进行动作，从摄像机SC获取映现产品RC的对象图像数据221C。在步骤S502中，控制部21作为评价部212进行动作，利用由学习装置1训练后的第二编码器52C和第二元识别器54C，识别与对象图像数据221C的获取相关的属性。具体而言，控制部21参照学习结果数据128C，进行学习完毕的第二编码器52C和第二元识别器54C的设定。接着，控制部21将获得的对象图像数据221C输入第二编码器52C，执行第二编码器52C和第二元识别器54C的运算处理。通过该运算处理，控制部21从第二元识别器54C获取与对象图像数据221C的获取相关的属性的识别结果所对应的输出值。
在步骤S503中，控制部21作为评价部212进行动作，根据与对象图像数据221C的获取相关的属性的识别结果，判定是否采用推测器55C或其他的推测器57C的推测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象图像数据221C的获取相关的属性的正解值时，控制部21判定为采用推测器55C或其他的推测器57C的推测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象图像数据221C的获取相关的属性的正解值时，控制部21判定为不采用推测器55C或者其他的推测器57C的推测结果，省略步骤S505和步骤S506的处理，结束本变形例的一系列处理。
在步骤S505中，控制部21作为***213C进行动作，利用由学习装置1训练后的第一编码器51C、第二编码器52C以及推测器55C来推测对象图像数据221C中映现的产品RC的状态。或者，控制部21利用由学习装置1训练后的第一编码器51C和其他的推测器57C推测对象图像数据221C中映现的产品RC的状态。
具体而言，控制部21参照学习结果数据128C，进一步进行学习完毕的第一编码器51C和推测器55C的设定。控制部21将对象图像数据221C输入各编码器(51C、52C)，执行第一编码器51C、第二编码器52C以及推测器55C的运算处理。由此，控制部21从推测器55C获取与对象图像数据221C中映现的产品RC的状态的推测结果对应的输出值。
或者，控制部21参照学习结果数据128C，进行学习完毕的第一编码器51C和其他的推测器57C的设定。控制部21将对象图像数据221C输入第一编码器51C，执行第一编码器51C和其他的推测器57C的运算处理。由此，控制部21从其他的推测器57C获取与对象图像数据221C中映现的产品RC的状态的推测结果对应的输出值。
在步骤S506中，控制部21作为输出部214进行动作，输出与产品RC的状态的推测结果相关的信息。输出目的地和输出信息分别可以与上述实施方式同样根据实施方式适当地决定。例如，控制部21也可以将产品RC的状态的推测结果直接输出至输出装置25。另外，例如在产品RC中包含缺陷的情况下，控制部21也可以将用于通知该情况的警告输出至输出装置25。另外，例如在检查装置2C与输送产品RC的带式输送机装置(未图示)连接的情况下，也可以根据产品RC的状态的推测结果控制带式输送机装置，以便在不同的生产线输送没有缺陷的产品RC和有缺陷的产品RC。
根据本变形例，在推测图像数据中映现的产品的状态的场景下，能够构建导入成本比较低廉，而且对与感测数据的获取相关的属性的差异稳健的学习完毕的学习模型5C。
在推测产品RC中是否存在缺陷的场景下，可能会使缺陷的显现状态发生变动的、产品RC的表面材质、带式输送机的背景的花纹、照明条件等的域所特有的信息可能会对推测精度带来不良影响。另一方面，产品RC中产生的缺陷可能依赖于该产品RC的类别。因此，在推测产品RC中存在的缺陷的类别的场景下，产品RC的种类等的域所特有的信息可能对缺陷的类别的推测有用。
因此，元数据123C例如可以设定为表示产品RC的类别、产品RC的原材料、产品RC的外观、产品RC的朝向、照明条件以及背景条件。正解数据124C例如可以设定为表示缺陷的类别。其他的正解数据125C例如可以设定为表示有无缺陷。
通过根据该设定执行上述机器学习，第一特征量作为域共通的信息包含与缺陷的外观对应的成分。另一方面，第二特征量作为域特有的信息包含背景条件(例如带式输送机的花纹)、产品RC的外观、缺陷的外观与种类的对应关系、以及与产品RC的每个类别的规定缺陷的产生概率对应的成分。
由此，在检查装置2C中，通过利用学习完毕的第一编码器51C和其他的推测器57C，能够排除上述域所特有的信息，并根据上述域共通的信息执行有无缺陷的推测任务。因此，能够以较高的精度推测产品RC中是否存在缺陷。另外，在检查装置2C中，通过利用学习完毕的第一编码器51C、第二编码器52C以及推测器55C，能够根据上述域特有的信息以及共通的信息来执行缺陷的类别的推测任务。因此，在产品RC中存在缺陷的情况下，能够以较高的精度推测该缺陷的类别。
(D)人物检测的场景
图19示意性地例示出第四变形例涉及的***的适用场景的一例。本变形例是将上述实施方式适用于推测图像数据中映现的人物的属性的场景中的例子。如图19所示，本实施方式涉及的***具备学习装置1、监视装置2D以及数据生成装置3。与上述实施方式同样地，学习装置1、监视装置2D以及数据生成装置3可以经由网络相互连接。本变形例涉及的***除了要处理的数据不同这一点以外，可以与上述实施方式同样地构成。
本变形例涉及的学习装置1除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行机器学习的信息处理。即，在步骤S101中，学习装置1获取用于学习推测人物属性的任务的多个学习数据集121D。与上述学习数据集121同样地，各学习数据集121D由训练数据122D、元数据123D、正解数据124D以及其他的正解数据125D的组合构成。训练数据122D、元数据123D、正解数据124D以及其他的正解数据125D分别对应于上述实施方式的训练数据122、元数据123、正解数据124以及其他的正解数据125。
训练数据122D例如为映现受试者等人物的图像数据。训练数据122D可以通过利用摄像机SD或与之相同种类的摄像机(以下，包含相同种类的摄像机在内称为摄像机SD)拍摄受试者而得到。摄像机SD例如可以为普通摄像机、深度摄像机、红外线摄像机等。
元数据123D作为与训练数据122D的获取相关的属性而表示例如与摄像机SD的动作设定相关的属性、与摄像机SD的设置状况相关的属性、与获取训练数据122D的时间相关的属性、与摄像机SD的设置场所相关的属性或者它们的组合。与摄像机SD的动作设定相关的属性例如可以包含测量范围的设定值、分辨率、采样频率的设定值。与摄像机SD的设置状况相关的属性例如可以包括摄像机SD的设置角度等。与时间相关的属性例如可以包括时间段的类别、星期的类别、平日及休息日的类别、月的类别、季节的类别等。
正解数据124D和其他的正解数据125D分别作为训练数据122D所包含的特征而表示例如人物的映现范围(边界框)、人物的识别信息、人物的状态或者它们的组合。人物的识别信息例如可以包含人物的标识符、姓名、性别、年龄、体格、人种等。人物的状态例如可以包括人物的行动、人物的姿势等。此外，在正解数据124D或者其他的正解数据125D表示人物的边界框的情况下，推测人物的属性包括检测图像数据内的人物的映现范围。
在步骤S102中，学习装置1使用由这样的训练数据122D、元数据123D、正解数据124D以及其他的正解数据125D的组合分别构成的多个学习数据集121D，与上述实施方式同样地实施学习模型5D的机器学习。学习模型5D可以与上述实施方式涉及的学习模型5同样地构成。即，学习模型5D包括第一编码器51D、第二编码器52D、第一元识别器53D、第二元识别器54D、推测器55D、解码器56D以及其他的推测器57D。各器51D～57D对应于上述实施方式涉及的各器51～57。各器51D～57D的构成可以与上述实施方式涉及的各器51～57相同。
通过该机器学习，第二编码器52D被训练为将该训练数据122D转换为包含由元数据123D表示的与训练数据122D的获取相关的属性所对应的成分的第二特征量。第一编码器51D被训练为将该训练数据122D转换为包含与训练数据122D的获取相关的属性以外的信息、例如获取训练数据122D的域中共通出现的信息所对应的成分的第一特征量。学习模型5D中包括推测器55D或者其他的推测器57D的部分获得根据通过摄像机SD得到的图像数据推测人物属性的能力。另外，学习模型5D中包含解码器56D的部分获得生成与通过摄像机SD得到的图像数据同种的解码数据的能力。
在步骤S103中，学习装置1生成与学习完毕的学习模型5D相关的信息作为学习结果数据128D，并将所生成的学习结果数据128D保存于规定的存储区域中。所生成的学习结果数据128D可以在任意的时刻提供给监视装置2D和数据生成装置3。
数据生成装置3除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行与数据生成相关的信息处理。即，数据生成装置3执行上述步骤S701～步骤S704的处理。由此，数据生成装置3能够利用学习完毕的第一编码器51D和解码器56D，根据对象图像数据生成解码数据。解码数据相当于通过将与对象图像数据的获取相关的属性所对应的信息从该对象图像数据中排除而得到的数据。另外，数据生成装置3也可以利用学习完毕的第一编码器51D、第二编码器52D以及解码器56D，生成将与获取相关的属性仅变更了与噪声相应的量的新数据(解码数据)。进而，数据生成装置3也可以利用学习完毕的第一编码器51D和第二编码器52D的至少一方，生成第一特征量和第二特征量的至少一方的数据。
监视装置2D对应于上述推测装置2。监视装置2D除了要处理的数据不同这一点以外，可以与上述推测装置2同样地构成。在本变形例中，监视装置2D经由网络与摄像机SD连接。监视装置2D从摄像机SD获取对象图像数据。然后，监视装置2D利用由学习装置1构建的学习完毕的学习模型5D，推测获得的对象图像数据中映现的人物的属性。
＜监视装置的硬件构成＞
图20A示意性地例示出本变形例涉及的监视装置2D的硬件构成的一例。如图20A所示，本变形例涉及的监视装置2D与上述推测装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。监视装置2D经由通信接口23与摄像机SD连接。摄像机SD可以适当地配置。作为一例，摄像机SD可以设置于车站的站台、街头、店铺内等。然而，监视装置2D的硬件构成并不限定于上述例子。关于监视装置2D的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。监视装置2D除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器装置、通用的PC等。
本变形例涉及的监视装置2D的存储部22存储监视程序82D、学习结果数据128D等的各种信息。监视程序82D和学习结果数据128D对应于上述实施方式涉及的推测程序82和学习结果数据128。监视程序82D和学习结果数据128D中的至少任意一个也可以存储于存储介质92中。另外，监视装置2D也可以从存储介质92获取监视程序82D和学习结果数据128D中的至少任意一个。
＜监视装置的软件构成及动作例＞
图20B示意性地例示出本变形例涉及的监视装置2D的软件构成的一例。与上述实施方式同样地，监视装置2D的软件构成通过由控制部21执行监视程序82D来实现。如图20B所示，除了对通过摄像机SD得到的映现人物的图像数据进行处理这一点以外，监视装置2D的软件构成与上述推测装置2的软件构成相同。由此，监视装置2D与上述推测装置2的推测处理同样地执行与监视处理相关的一系列处理。
即，在步骤S501中，控制部21作为数据获取部211进行动作，从摄像机SD获取可能映现人物的对象图像数据221D。在步骤S502中，控制部21作为评价部212进行动作，利用由学习装置1训练后的第二编码器52D和第二元识别器54D，识别与对象图像数据221D的获取相关的属性。具体而言，控制部21参照学习结果数据128D，进行学习完毕的第二编码器52D和第二元识别器54D的设定。接着，控制部21将获得的对象图像数据221D输入第二编码器52D，执行第二编码器52D和第二元识别器54D的运算处理。通过该运算处理，控制部21从第二元识别器54D获取与对象图像数据221D的获取相关的属性的识别结果对应的输出值。
在步骤S503中，控制部21作为评价部212进行动作，根据与对象图像数据221D的获取相关的属性的识别结果，判定是否采用推测器55D或其他的推测器57D的推测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象图像数据221D的获取相关的属性的正解值时，控制部21判定为采用推测器55D或其他的推测器57D的推测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象图像数据221D的获取相关的属性的正解值时，控制部21判定为不采用推测器55D或者其他的推测器57D的推测结果，省略步骤S505和步骤S506的处理，结束本变形例的一系列处理。
在步骤S505中，控制部21作为监视部213D进行动作，利用由学习装置1训练后的第一编码器51D、第二编码器52D以及推测器55D，推测对象图像数据221D中映现的人物的属性。或者，控制部21利用由学习装置1训练后的第一编码器51D和其他的推测器57D，推测对象图像数据221D中映现的人物的属性。
具体而言，控制部21参照学习结果数据128D，进一步进行学习完毕的第一编码器51D和推测器55D的设定。控制部21将对象图像数据221D输入各编码器(51D、52D)，执行第一编码器51D、第二编码器52D以及推测器55D的运算处理。由此，控制部21从推测器55D获取与对象图像数据221D中映现的人物的属性的推测结果对应的输出值。
或者，控制部21参照学习结果数据128D，进行学习完毕的第一编码器51D和其他的推测器57D的设定。控制部21将对象图像数据221D输入第一编码器51D，执行第一编码器51D和其他的推测器57D的运算处理。由此，控制部21从其他的推测器57D获取与对象图像数据221D中映现的人物的属性的推测结果对应的输出值。
在步骤S506中，控制部21作为输出部214进行动作，输出与人物的属性的推测结果相关的信息。例如，控制部21也可以将人物的属性的推测结果直接输出至输出装置25。另外，例如，在作为人物的属性而推测人物的映现范围的情况下，控制部21也可以输出对象图像数据221D，在输出的对象图像数据221D上示出推测出的人物的映现范围。另外，例如在摄像机SD设置于车站的站台等，作为人物的状态而推测存在从车站的站台滚落的预兆等的事件的情况下，控制部21也可以输出与推测出的事件的类别相应的警告等的消息。
根据本变形例，在推测图像数据中映现的人物的属性的场景下，能够构建导入成本比较低廉，而且对与感测数据的获取相关的属性的差异稳健的学习完毕的学习模型5D。
作为一例，在推测人物的映现范围的场景下，可能使人物的映现状态发生变动的、摄像机SD的分辨率、拍摄的时间段、拍摄的季节等域所特有的信息有可能对推测精度造成不良影响。另一方面，行动、姿势等的人物的状态可能依赖于人物所存在的场所。因此，在推测人物的状态的场景下，摄像机SD的设置场所等域所特有的信息有可能对人物状态的推测有用。
鉴于此，元数据123D例如可以设定为表示摄像机SD的设置场所、摄像机SD的分辨率、拍摄的时间段以及拍摄的季节。正解数据124D例如可以设定为表示人物的状态。其他的正解数据125D例如可以设定为表示人物的映现范围。
通过根据该设定执行上述机器学***均的人物外观)对应的成分。另一方面，第二特征量作为域特有的信息而包含与基于摄像机SD的设置场所、摄像机SD的分辨率、拍摄的时间段、以及拍摄的季节的人物的拍摄方式、以及每个地点的人物的姿势的发生概率对应的成分。
由此，在监视装置2D中，通过利用学习完毕的第一编码器51D和其他的推测器57D，能够排除上述域特有的信息，根据上述域共通的信息执行推测人物的映现范围的任务。因此，能够以较高的精度推测对象图像数据221D内人物的映现范围。另外，在监视装置2D中，通过利用学习完毕的第一编码器51D、第二编码器52D以及推测器55D，能够根据上述域所特有的信息以及共通的信息双方执行推测人物状态的任务。因此，能够以较高的精度推测行动、姿势等的人物状态。
(E)监视驾驶状况的场景
图21示意性地例示出第五变形例涉及的***的适用场景的一例。本变形例是将上述实施方式适用于根据通过车载传感器得到的感测数据推测车辆外部的状况的场景的例子。如图21所示，本实施方式涉及的***具备学习装置1、监视装置2E以及数据生成装置3。与上述实施方式同样地，学习装置1、监视装置2E以及数据生成装置3可以经由网络相互连接。本变形例涉及的***除了要处理的数据不同这一点以外，可以与上述实施方式同样地构成。
本变形例涉及的学习装置1除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行机器学习的信息处理。即，在步骤S101中，学习装置1获取用于学习推测车辆外部的状况的任务的多个学习数据集121E。与上述学习数据集121同样地，各学习数据集121E由训练数据122E、元数据123E、正解数据124E以及其他的正解数据125E的组合构成。训练数据122E、元数据123E、正解数据124E以及其他的正解数据125E分别对应于上述实施方式涉及的训练数据122、元数据123、正解数据124以及其他的正解数据125。
训练数据122E例如是通过车载传感器得到的感测数据。训练数据122E可以通过利用车载传感器SE或与之同种的传感器(以下，包含同种的传感器在内称为车载传感器SE)拍摄车辆外部周边的状况而得到。车载传感器SE例如可以为摄像机、Lidar传感器、毫米波雷达、超声波传感器等。摄像机例如可以是普通的RGB摄像机、深度摄像机、红外线摄像机等。训练数据122E例如可以由图像数据、各种传感器的测定数据等构成。
元数据123E作为与训练数据122E的获取相关的属性而表示例如车辆的属性、与车载传感器SE的观测环境相关的属性、或者它们的组合。车辆的属性例如可以包括车辆的类别、车辆的识别编号、车辆的规格等。与观测环境相关的属性例如可以包括场所、天气、气温、湿度、照度等。进而，与观测环境相关的属性例如也可以包含是否为市区、是否为田间小道、道路的类别等与景观相关的信息。
正解数据124E和其他的正解数据125E分别作为训练数据122E所包含的特征而表示例如与车辆的外部环境相关的信息、事故的风险、与车辆外部的状况相应的针对车辆的动作指令、或者它们的组合。与车辆的外部环境相关的信息例如可以包括与车辆行驶的道路相关的信息、与车辆的行驶方向上存在的物体相关的信息等。与车辆行驶的道路相关的信息例如可以包括表示行驶车道的类别、道路的类别等的信息。车辆的行驶方向上存在的物体例如可以为道路、信号灯、障碍物(人、物)等。与车辆的行驶方向上存在的物体相关的信息例如可以包括道路的路面状态、信号灯的点亮状态、有无障碍物、障碍物的类别、障碍物的尺寸、障碍物的大小、障碍物的速度、障碍物的事件信息等。障碍物的事件信息例如可以表示人或车辆的冲出、突然起步、急停车、车道变更等。该事件信息例如可以通过有无障碍物、障碍物的速度等其他信息来表现。事故的风险例如可以通过事故的类别和该事故的发生概率表示。与车辆外部的状况相应的针对车辆的动作指令例如可以通过加速量、制动量、方向盘转向角、灯的点亮、喇叭的使用等规定。此外，当正解数据124E或者其他的正解数据125E表示与车辆外部的状况相应的针对车辆的动作指令时，推测车辆外部的状况包括根据车辆外部的状况决定针对车辆的动作指令。
在步骤S102中，学习装置1使用由这样的训练数据122E、元数据123E、正解数据124E以及其他的正解数据125E的组合分别构成的多个学习数据集121E，与上述实施方式同样地实施学习模型5E的机器学习。学习模型5E可以与上述实施方式涉及的学习模型5同样地构成。即，学习模型5E包括第一编码器51E、第二编码器52E、第一元识别器53E、第二元识别器54E、推测器55E、解码器56E以及其他的推测器57E。各器51E～57E对应于上述实施方式涉及的各器51～57。各器51E～57E的构成可以与上述实施方式涉及的各器51～57相同。
通过该机器学习，第二编码器52E被训练为将该训练数据122E转换为包含由元数据123E表示的与训练数据122E的获取相关的属性所对应的成分的第二特征量。第一编码器51E被训练为将该训练数据122E转换为包含与训练数据122E的获取相关的属性以外的信息、例如获取训练数据122E的域中共通出现的信息所对应的成分的第一特征量。学习模型5E中包括推测器55E或其他的推测器57E的部分获得根据通过车载传感器SE得到的感测数据推测车辆外部的状况的能力。另外，学习模型5E中包含解码器56E的部分获得生成与通过车载传感器SE得到的感测数据同种的解码数据的能力。
在步骤S103中，学习装置1生成与学习完毕的学习模型5E相关的信息作为学习结果数据128E，并将所生成的学习结果数据128E保存于规定的存储区域中。所生成的学习结果数据128E可以在任意的时刻提供给监视装置2E和数据生成装置3。
数据生成装置3除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行与数据生成相关的信息处理。即，数据生成装置3执行上述步骤S701～步骤S704的处理。由此，数据生成装置3能够利用学习完毕的第一编码器51E和解码器56E，根据对象感测数据生成解码数据。解码数据相当于通过从该对象感测数据中排除与对象感测数据的获取相关的属性所对应的信息而得到的数据。另外，数据生成装置3也可以利用学习完毕的第一编码器51E、第二编码器52E以及解码器56E，生成将与获取相关的属性仅变更了与噪声相应的量的新数据(解码数据)。进而，数据生成装置3也可以利用学习完毕的第一编码器51E和第二编码器52E的至少一方，生成第一特征量和第二特征量的至少一方的数据。
监视装置2E对应于上述推测装置2。监视装置2E除了要处理的数据不同这一点以外，可以与上述推测装置2同样地构成。在本变形例中，监视装置2E与车载传感器SE连接。监视装置2E从车载传感器SE获取对象感测数据。然后，监视装置2E利用由学习装置1构建的学习完毕的学习模型5E，根据获得的对象感测数据推测车辆外部的状况。
＜监视装置的硬件构成＞
图22A示意性地例示出本变形例涉及的监视装置2E的硬件构成的一例。如图22A所示，本变形例涉及的监视装置2E与上述推测装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。监视装置2E经由外部接口27与车载传感器SE连接。车载传感器SE只要能够监视车辆外部的状况，便可以根据实施方式适当地配置。然而，监视装置2E的硬件构成并不限定于上述例子。关于监视装置2E的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。监视装置2E除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的计算机、包含智能手机的便携电话、车载装置等。
本变形例涉及的监视装置2E的存储部22存储监视程序82E、学习结果数据128E等的各种信息。监视程序82E和学习结果数据128E对应于上述实施方式涉及的推测程序82和学习结果数据128。监视程序82E和学习结果数据128E中的至少任意一个也可以存储于存储介质92中。另外，监视装置2E也可以从存储介质92获取监视程序82E和学习结果数据128E中的至少任意一个。
＜监视装置的软件构成及动作例＞
图22B示意性地例示出本变形例涉及的监视装置2E的软件构成的一例。与上述实施方式同样地，监视装置2E的软件构成通过由控制部21执行监视程序82E来实现。如图22B所示，除了处理通过车载传感器SE得到的感测数据这一点以外，监视装置2E的软件构成与上述推测装置2的软件构成相同。由此，监视装置2E与上述推测装置2的推测处理同样地执行与监视处理相关的一系列处理。
即，在步骤S501中，控制部21作为数据获取部211进行动作，从车载传感器SE获取反映了车辆外部的状况的对象感测数据221E。在步骤S502中，控制部21作为评价部212进行动作，利用由学习装置1训练后的第二编码器52E和第二元识别器54E，识别与对象感测数据221E的获取相关的属性。具体而言，控制部21参照学习结果数据128E，进行学习完毕的第二编码器52E和第二元识别器54E的设定。接着，控制部21将获得的对象感测数据221E输入第二编码器52E，并执行第二编码器52E和第二元识别器54E的运算处理。通过该运算处理，控制部21从第二元识别器54E获取与对象感测数据221E的获取相关的属性的识别结果对应的输出值。
在步骤S503中，控制部21作为评价部212进行动作，根据与对象感测数据221E的获取相关的属性的识别结果，判定是否采用推测器55E或其他的推测器57E的推测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象感测数据221E的获取相关的属性的正解值时，控制部21判定为采用推测器55E或其他的推测器57E的推测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象感测数据221E的获取相关的属性的正解值时，控制部21判定为不采用推测器55E或者其他的推测器57E的推测结果，省略步骤S505和步骤S506的处理，结束本变形例的一系列处理。
在步骤S505中，控制部21作为监视部213E进行动作，利用由学习装置1训练后的第一编码器51E、第二编码器52E以及推测器55E，根据对象感测数据221E推测车辆外部的状况。或者，控制部21利用由学习装置1训练后的第一编码器51E和其他的推测器57E，根据对象感测数据221E推测车辆外部的状况。
具体而言，控制部21参照学习结果数据128E，进一步进行学习完毕的第一编码器51E和推测器55E的设定。控制部21将对象感测数据221E输入各编码器(51E、52E)，执行第一编码器51E、第二编码器52E以及推测器55E的运算处理。由此，控制部21从推测器55E获取与根据对象感测数据221E推测车辆外部的状况的结果对应的输出值。
或者，控制部21参照学习结果数据128E，进行学习完毕的第一编码器51E和其他的推测器57E的设定。控制部21将对象感测数据221E输入第一编码器51E，执行第一编码器51E和其他的推测器57E的运算处理。由此，控制部21从其他的推测器57E获取与根据对象感测数据221E推测车辆外部的状况的结果对应的输出值。
在步骤S506中，控制部21作为输出部214进行动作，输出与车辆外部的状况的推测结果相关的信息。例如，控制部21也可以将车辆外部的状况的推测结果直接输出至输出装置25。另外，例如控制部21也可以根据推测出的车辆的外部环境和事故的风险中的至少一方，判定是否有可能对车辆的行驶造成危险。判定为有可能对车辆的行驶造成危险的情形可以根据实施方式适当地设定。例如，在推测为发生人或车辆的冲出、突然起步、急停车、车道变更等事件的情形、事故的发生概率在阈值以上的情形等下，控制部21也可以判定为有可能对车辆的行驶造成危险。阈值可以适当地设定。当判定为有可能对车辆的行驶造成危险时，控制部21也可以向输出装置25输出用于通知该危险的警告。
另外，当提供了表示与车辆外部的状况相应的针对车辆的动作指令的正解数据124E或者其他的正解数据125E时，控制部21获取与车辆外部的状况相应的针对车辆的动作指令作为车辆外部的状况的推测结果。控制部21也可以根据获得的动作指令直接控制车辆的动作。或者，在车辆具备控制该车辆的动作的控制装置的情况下，控制部21也可以通过将获得的动作指令提供给控制装置而间接地控制车辆的动作。
此外，根据推测结果控制车辆的动作的方法也可以不限定于上述例子。控制部21例如也可以根据上述车辆的外部环境或事故风险的推测结果决定车辆的动作方针。推测结果与车辆的动作方针的对应关系例如可以通过数据表等的数据提供。该数据例如可以保持在控制部21内的RAM、存储部22、存储介质92、外部存储装置或它们的组合中。控制部21可以通过参照该数据，根据车辆的外部环境或事故风险的推测结果来决定车辆的动作方针。车辆的动作方针例如可以通过加速量、制动量、方向盘转向角、灯的点亮、喇叭的使用等来规定。并且，控制部21也可以按照所决定的动作方针，直接或间接地控制车辆的动作。
根据本变形例，在根据感测数据推测车辆外部的状况的场景下，能够构建导入成本比较低廉，而且对与感测数据的获取相关的属性的差异稳健的学习完毕的学习模型5E。
作为一例，即使车辆的外部环境相同，针对车辆的动作指令和事故的风险也可能根据车辆行驶的道路的类别、天气等而不同。因此，在推测与车辆外部的状况相应的动作指令或事故的风险的场景下，与观测环境相关的属性等域所特有的信息有可能对动作指令的决定有用。相对于此，在推测车辆的外部环境的场景中，背景的不同可能成为干扰，对推测任务的精度造成不良影响。
因此，车载传感器SE例如可以是摄像机、雷达(Lidar)传感器、毫米波雷达等。训练数据122E例如可以是图像数据、测定数据等。元数据123E例如可以设定为表示车辆的类别、天气、道路的类别、是否为市区、以及是否为田间小道。正解数据124E可以设定为表示与车辆外部的状况相应的针对车辆的动作指令或者事故的风险。其他的正解数据125E可以设定为表示与车辆的外部环境相关的信息。
通过根据该设定执行上述机器学习，第一特征量作为域共通的信息而包含与训练数据122E中出现的道路的形状、行人以及其他车辆相关的信息所对应的成分。另一方面，第二特征量作为域所特有的信息而包含与训练数据122E中出现的道路的类别、天气以及风景相关的信息所对应的成分。
由此，在监视装置2E中，通过利用学习完毕的第一编码器51E和其他的推测器57E，能够排除上述域特有的信息，根据上述域共通的信息执行推测车辆的外部环境的任务。因此，能够以较高的精度推测车辆的外部环境。另外，在监视装置2E中，通过利用学习完毕的第一编码器51E、第二编码器52E以及推测器55E，能够根据上述域所特有的信息以及共通的信息双方，执行推测与车辆外部的状况相应的针对车辆的动作指令或者事故的风险的任务。因此，能够以较高的精度推测与车辆外部的状况相应的针对车辆的动作指令或事故的风险。
(F)推荐物品或服务的场景
图23示意性地例示出第六变形例涉及的***的适用场景的一例。本变形例是将上述实施方式适用于根据顾客的购买、网站浏览等行动的历史数据来推测推荐的物品或服务的场景中的例子。如图23所示，本实施方式涉及的***具备学习装置1、推荐装置2F以及数据生成装置3。与上述实施方式同样地，学习装置1、推荐装置2F以及数据生成装置3可以经由网络相互连接。本变形例涉及的***除了要处理的数据不同这一点以外，可以与上述实施方式同样地构成。
本变形例涉及的学习装置1除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行机器学习的信息处理。即，在步骤S101中，学习装置1获取用于学习推荐推荐给顾客的商品或服务的任务的多个学习数据集121F。与上述学习数据集121同样地，各学习数据集121F由训练数据122F、元数据123F、正解数据124F以及其他的正解数据125F的组合构成。训练数据122F、元数据123F、正解数据124F以及其他的正解数据125F分别对应于上述实施方式涉及的训练数据122、元数据123、正解数据124以及其他的正解数据125。
训练数据122F例如是顾客的历史数据。历史数据例如可以包含表示顾客的购买、网站中的广告的浏览、检索、链接的轨迹、以往推荐的商品或服务等的信息。历史数据例如可以通过由顾客操作PC、便携电话等的用户终端进行存储。历史数据的存储场所例如可以是顾客的用户终端、供浏览的网站服务器等。训练数据122F还可以包含表示对象商品或服务的数据作为标签。也就是说，在本变形例中，学习模型5F可以是带条件的学习模型。以下，假设训练数据122F还包含表示对象商品或服务的数据作为标签进行说明。但是，学习模型5F的构成也可以不限定于上述例子。例如，学习模型5F可以构成为按商品或服务的类别准备，并输出每个类别的命中率。该情况下，训练数据122F也可以不包含标签。
元数据123F作为与训练数据122F的获取相关的属性而表示例如顾客的识别信息、登载推荐信息的介质的类别或它们的组合。顾客的识别信息例如可以包含顾客的标识符、性别、年龄、体格、人种等。登载推荐信息的介质例如可以是网页、邮件杂志、数字标牌等。
正解数据124F和其他的正解数据125F分别作为训练数据122F所包含的特征而表示例如利用规定的介质推荐对象的商品或者服务时的命中率。命中率例如可以根据相对于推荐了对象商品或服务的全部顾客数量的、购买了对象商品或服务的顾客数量进行计算。命中率也可以按商品或服务的类别进行提供。
在步骤S102中，学习装置1使用由这样的训练数据122F、元数据123F、正解数据124F以及其他的正解数据125F的组合分别构成的多个学习数据集121F，与上述实施方式同样地实施学习模型5F的机器学习。学习模型5F可以与上述实施方式涉及的学习模型5同样地构成。即，学习模型5F包括第一编码器51F、第二编码器52F、第一元识别器53F、第二元识别器54F、推测器55F、解码器56F以及其他的推测器57F。各器51F～57F对应于上述实施方式涉及的各器51～57。各器51F～57F的构成可以与上述实施方式涉及的各器51～57相同。
通过该机器学习，第二编码器52F被训练为将该训练数据122F转换为包含由元数据123F表示的与训练数据122F的获取相关的属性所对应的成分的第二特征量。第一编码器51F被训练为将该训练数据122F转换为包含与训练数据122F的获取相关的属性以外的信息、例如获取训练数据122F的域中共通出现的信息所对应的成分的第一特征量。学习模型5F中包括推测器55F或其他的推测器57F的部分获得推测推荐了商品或服务时的命中率的能力。另外，学习模型5F中包含解码器56F的部分获得生成与顾客的历史数据同种的解码数据的能力。
在步骤S103中，学习装置1生成与学习完毕的学习模型5F相关的信息作为学习结果数据128F，并将所生成的学习结果数据128F保存于规定的存储区域中。所生成的学习结果数据128F可以在任意的时刻提供给推荐装置2和数据生成装置3。
数据生成装置3除了要处理的数据不同这一点以外，通过与上述实施方式同样的处理流程执行与数据生成相关的信息处理。即，数据生成装置3执行上述步骤S701～步骤S704的处理。由此，数据生成装置3能够利用学习完毕的第一编码器51F和解码器56F，根据对象历史数据生成解码数据。解码数据相当于通过将与对象历史数据的获取相关的属性所对应的信息从该对象历史数据中排除而得到的数据。另外，数据生成装置3也可以利用学习完毕的第一编码器51F、第二编码器52F以及解码器56F，生成将与获取相关的属性仅变更了与噪声相应的量的新数据(解码数据)。进而，数据生成装置3也可以利用学习完毕的第一编码器51F和第二编码器52F的至少一方，生成第一特征量和第二特征量的至少一方的数据。
推荐装置2F对应于上述推测装置2。推荐装置2F除了要处理的数据不同这一点以外，可以与上述推测装置2同样地构成。推荐装置2F适当地获取顾客的对象历史数据。然后，推荐装置2F利用由学习装置1构建的学习完毕的学习模型5F，根据获得的对象历史数据来推测推荐对象商品或服务时的命中率。
＜推荐装置的硬件构成＞
图24A示意性地例示出本变形例涉及的推荐装置2F的硬件构成的一例。如图24A所示，本变形例涉及的推荐装置2F与上述推测装置2同样是与控制部21、存储部22、通信接口23、输入装置24、输出装置25、驱动器26以及外部接口27电连接的计算机。但是，推荐装置2F的硬件构成也可以不限定于上述例子。关于推荐装置2F的具体的硬件构成，可以根据实施方式适当地省略、替换以及追加构成要素。推荐装置2F除了被设计为所提供的服务专用的信息处理装置以外，也可以是通用的服务器、通用的PC等。
本变形例涉及的推荐装置2F的存储部22存储推荐程序82F、学习结果数据128F等的各种信息。推荐程序82F和学习结果数据128F对应于上述实施方式涉及的推测程序82和学习结果数据128。推荐程序82F和学习结果数据128F中的至少任意一个也可以存储于存储介质92中。另外，推荐装置2F也可以从存储介质92获取上述推荐程序82F和学习结果数据128F中的至少任意一个。
＜推荐装置的软件构成及动作例＞
图24B示意性地例示出本变形例涉及的推荐装置2F的软件构成的一例。与上述实施方式同样，推荐装置2F的软件构成通过由控制部21执行推荐程序82F来实现。如图24B所示，除了处理顾客的历史数据这一点以外，推荐装置2F的软件构成与上述推测装置2的软件构成相同。由此，推荐装置2F与上述推测装置2的推测处理同样地执行与推荐处理相关的一系列处理。
即，在步骤S501中，控制部21作为数据获取部211进行动作，获取顾客的对象历史数据221F。对象历史数据221F的获取方法也可以无特别限定，可以根据实施方式适当地选择。例如，控制部21也可以从顾客的用户终端获取对象历史数据221F。另外，例如，控制部21也可以从向顾客提供商品或服务的销售的服务器获取对象历史数据221F。另外，在推荐装置2F是向顾客提供商品或服务的销售的服务器的情况下，也可以在顾客经由用户终端访问时存储对象历史数据221F。
在步骤S502中，控制部21作为评价部212进行动作，利用通过学习装置1训练后的第二编码器52F和第二元识别器54F，识别与对象历史数据221F的获取相关的属性。具体而言，控制部21参照学习结果数据128F，进行学习完毕的第二编码器52F和第二元识别器54F的设定。接着，控制部21将获得的对象历史数据221F输入第二编码器52F，执行第二编码器52F和第二元识别器54F的运算处理。通过该运算处理，控制部21从第二元识别器54F获取与对象历史数据221F的获取相关的属性的识别结果对应的输出值。
在步骤S503中，控制部21作为评价部212进行动作，根据与对象历史数据221F的获取相关的属性的识别结果，判定是否采用推测器55F或其他的推测器57F的推测结果。在步骤S504中，控制部21根据步骤S503的判定结果决定处理的分支目标。
当步骤S502的识别结果适合于与对象历史数据221F的获取相关的属性的正解值时，控制部21判定为采用推测器55F或其他的推测器57F的推测结果，使处理进入下一步骤S505。另一方面，当步骤S502的识别结果不适合于与对象历史数据221F的获取相关的属性的正解值时，控制部21判定为不采用推测器55F或者其他的推测器57F的推测结果，省略步骤S505和步骤S506的处理，结束本动作例涉及的一系列处理。
在步骤S505中，控制部21作为推测部213F进行动作，利用由学习装置1训练后的第一编码器51F、第二编码器52F以及推测器55F，根据对象历史数据221F推测推荐了对象商品或服务时的命中率。或者，控制部21利用由学习装置1训练后的第一编码器51F和其他推测器57F，根据对象历史数据221F推测推荐了对象商品或者服务时的命中率。
具体而言，控制部21参照学习结果数据128F，进一步进行学习完毕的第一编码器51F和推测器55F的设定。控制部21将对象历史数据221F和表示对象商品或服务的标签输入各编码器(51F、52F)，执行第一编码器51F、第二编码器52F以及推测器55F的运算处理。由此，控制部21从推测器55F获取与根据对象历史数据221F推测推荐了对象商品或服务时的命中率的结果对应的输出值。
或者，控制部21参照学习结果数据128F，进行学习完毕的第一编码器51F和其他的推测器57F的设定。控制部21将对象历史数据221F和表示对象商品或服务的标签输入第一编码器51F，执行第一编码器51F和其他的推测器57F的运算处理。由此，控制部21从其他的推测器57F获取与根据对象历史数据221F推测推荐了对象商品或服务时的命中率的结果对应的输出值。
在步骤S506中，控制部21作为输出部214进行动作，输出与对推荐了对象商品或服务时的命中率的推测结果相关的信息。例如，控制部21也可以将推荐了对象商品或服务时的命中率的推测结果直接输出至输出装置25。另外，例如，控制部21也可以判定推测出的命中率是否在阈值以上。控制部21根据判定的结果确定命中率在阈值以上的商品或服务，并经由网页等将所确定的商品或服务推荐给顾客。用于推荐商品或服务的介质可以根据实施方式适当地选择。
根据本变形例，在根据历史数据推测推荐了商品或服务时的命中率的场景下，能够构建导入成本比较低廉，而且对与感测数据的获取相关的属性的差异稳健的学习完毕的学习模型5F。
作为一例，日用品、廉价的嗜好品等的消耗品要持续购买，因而对这样的商品的购买欲望有时不那么依赖于顾客的识别信息。因此，在推测针对消耗品的推荐命中率的场景下，顾客的识别信息等域所特有的信息有可能对推测任务的精度造成不良影响。另一方面，对高价的商品或服务等单次购买的商品的购买欲望有时对顾客的识别信息具有高依赖性。因此，在推测针对单次购买的商品的推荐命中率的场景下，域所特有的信息有可能对推测任务有用。即，根据商品或服务的类别，可能产生域所特有的信息有用地发挥作用的情况和造成不良影响的情况。
因此，元数据123F可以设定为表示顾客的识别信息。正解数据124F和其他的正解数据125F分别可以设定为表示针对对象商品或者服务的推荐命中率。
通过根据该设定执行上述机器学习，第一特征量作为域共通的信息而包含与顾客的购买历史相应的推荐命中趋势所对应的成分。另一方面，第二特征量作为域特有的信息而包含与顾客的识别信息相应的推荐命中趋势所对应的成分。
由此，在推荐装置2F中，通过利用学习完毕的第一编码器51F和其他的推测器57F，能够排除上述域特有的信息，根据上述域共通的信息执行推测推荐了对象商品或服务时的命中率的任务。因此，在推荐消耗品等购买活动不那么依赖于顾客的识别信息的商品或服务的场景下，通过利用学习完毕的第一编码器51F和其他的推测器57F，能够较高精度地推测该推荐的命中率。另外，在推荐装置2F中，通过利用学习完毕的第一编码器51F、第二编码器52F以及推测器55F，能够根据上述域所特有的信息和共通的信息双方执行推测推荐了对象商品或服务时的命中率的任务。因此，在推荐单次购买的商品或服务等购买活动容易依赖于顾客的识别信息的商品或服务的场景下，通过利用学习完毕的第一编码器51F、第二编码器52F以及推测器55F，能够较高精度地推测该推荐的命中率。此外，在推荐装置2F中，可以根据操作人员的指定、设定值等设定采用上述两个推测方法中的哪一个。
＜4.2＞
在上述实施方式中，学习模型5的各器51～57由神经网络构成。然而，只要各器51～57具备运算中利用且通过机器学习调整的运算参数，即只要是能够进行机器学习的模型(学习器)，则也可以无特别限定。各器51～57的种类可以根据实施方式适当地选择。在各器51～57中，除了神经网络以外，例如也可以使用支持向量机、回归模型、决策树模型等。各器51～57的机器学习的方法可以根据各个学习器的种类适当地选择。
另外，在上述实施方式的图5A的例子中，各器51～57由三层结构的全连接型神经网络构成。但是，构成各器51～57的神经网络的种类也可以不限定于上述例子。例如，各器51～57可以由具备卷积层、池化层以及全连接层的卷积神经网络构成。另外，例如各器51～57可以由递归型神经网络构成。
此外，这些变更也可以同样地适用于上述第一～第六变形例涉及的***。例如，在上述第二变形例中，假设通过生命传感器获取对象者的生命体征的测定数据，并根据获得的测定数据推测对象者的状态的场景。在该场景下，获得的测定数据的经时变化对于推测对象者的状态是有用的。在将这样的经时变化反映到推测任务的执行中的情况下，优选学习模型的构成要素中的至少任意一个由递归神经网络构成。通过使用递归神经网络，能够将对象数据的经时变化反映到推测任务的执行中。
＜4.3＞
在上述实施方式中，学习模型5除了第一编码器51、第二编码器52、第一元识别器53、第二元识别器54、推测器55还具备解码器56和其他的推测器57。然而，各学习装置5的构成也可以不限定于上述例子。可以从学习模型5中省略解码器56和其他的推测器57中的至少一方。在省略解码器56的情况下，在上述机器学习的处理流程中，可以省略上述步骤S203的处理。另外，在省略其他的推测器57的情况下，在上述机器学习的处理流程中，可以省略步骤S204的处理。
另外，在上述实施方式中，在机器学习的处理流程中，通过步骤S205的处理训练第一编码器51和第二编码器52，使得第一特征量和第二特征量的交互信息量变少。但是，机器学习的处理流程也可以不限定于上述例子。可以省略该步骤S205的处理。
另外，在上述实施方式中，推测装置2通过步骤S502～步骤S504的处理，利用学习完毕的第二编码器52和第二元识别器54评价是否采用推测器55或其他的推测器57的推测处理的结果。然而，推测装置2的处理流程也可以不限定于上述例子。可以省略步骤S502～步骤S504的处理。该情况下，可以从推测装置2的软件构成中省略评价部212。此外，这些变更也可以同样地适用于上述第一～第六变形例涉及的***。
另外，在上述实施方式中，训练数据(122、192)和对象数据(221、321)分别可以替换为例如图像数据、声音数据、数值数据、文本数据、以及通过传感器得到的测定数据等个别种类的数据。
例如，通过使训练数据(122、192)和对象数据(221、321)分别为图像数据，能够由学习装置1、推测装置2以及数据生成装置3构成图像***。该情况下，学习装置1能够通过使用了多个学习数据集的机器学习，构建获得了根据图像数据推测规定特征的能力的学习完毕的学习模型5。推测装置2通过利用包含推测器55或其他的推测器57的学习完毕的学习模型5，能够推测对象图像数据中包含的特征。数据生成装置3通过利用包含学习完毕的解码器56的学习模型5，能够根据对象图像数据生成新的数据。上述第三变形例和第四变形例是该图像***的一例。
另外，例如，通过使训练数据(122、192)和对象数据(221、321)分别为感测数据，能够由学习装置1、推测装置2以及数据生成装置3构成传感器***。该情况下，学习装置1能够通过使用了多个学习数据集的机器学习，构建获得了根据感测数据推测规定特征的能力的学习完毕的学习模型5。推测装置2通过利用包含推测器55或其他的推测器57的学习完毕的学习模型5，能够推测对象感测数据中包含的特征。数据生成装置3通过利用包含学习完毕的解码器56的学习模型5，能够根据对象感测数据生成新的数据。上述第一变形例、第二变形例以及第五变形例是该传感器***的一例。
附图标记说明
1…学习装置、11…控制部、12…存储部、13…通信接口、14…输入装置、15…输出装置、16…驱动器、111…数据获取部、112…学习处理部、113…保存处理部、121…学习数据集、122…训练数据、123…元数据、124…正解数据、125…其他的正解数据、128…学习结果数据、81…学习程序、91…存储介质、2…推测装置、21…控制部、22…存储部、23…通信接口、24…输入装置、25…输出装置、26…驱动器、27…外部接口、211…数据获取部、212…评价部、213…推测部、214…输出部、221…对象数据、3…数据生成装置、31…控制部、32…存储部、33…通信接口、34…输入装置、35…输出装置、36…驱动器、37…外部接口、311…数据获取部、312…生成部、313…保存处理部、321…对象数据、5…学习模型、51…第一编码器、52…第二编码器、53…第一元识别器、54…第二元识别器、55…推测器、56…解码器、57…其他的推测器、S…传感器。

Claims (20)

1.一种学习装置，具备：
数据获取部，获取多个学习数据集，所述多个学习数据集分别由训练数据、表示与所述训练数据的获取相关的属性的元数据以及表示所述训练数据中包含的特征的正解数据的组合构成；以及
学习处理部，实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习，
所述第一编码器被构成为将所提供的输入数据转换为第一特征量；
所述第二编码器被构成为将所述输入数据转换为第二特征量；
所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；
所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；
所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；
所述机器学习的实施包括：
第一训练步骤，针对各所述学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述训练数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；
第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；
第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及
第四训练步骤，针对所述各学习数据集对所述第一编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据；
所述学习处理部交替地反复执行所述第三训练步骤和所述第四训练步骤。
2.根据权利要求1所述的学习装置，其中，
所述多个学习数据集中包含的至少一个以上的第一学习数据集以及至少一个以上的第二学习数据集从不同的域得到，以使各自的所述元数据表示的属性不同。
3.根据权利要求1或2所述的学习装置，其中，
在所述第一训练步骤中，所述第二编码器被训练为所述第二特征量包含由所述元数据表示的与所述训练数据的获取相关的属性所对应的成分；
在所述第四训练步骤中，所述第一编码器被训练为所述第一特征量包含与获取所述各学习数据集的所述训练数据的域中共通出现的信息对应的成分。
4.根据权利要求1至3中任一项所述的学习装置，其中，
在各所述训练步骤中，与所述训练数据一起将噪声输入各所述编码器，执行各训练。
5.根据权利要求1至4中任一项所述的学习装置，其中，
所述机器学习的实施还包括第五训练步骤，
在所述第五训练步骤中，针对所述各学习数据集对所述第一编码器和所述第二编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一编码器作为所述第一特征量得到的输出值与通过将所述训练数据提供给所述第二编码器而从所述第二编码器作为所述第二特征量得到的输出值的交互信息量变少。
6.根据权利要求1至5中任一项所述的学习装置，其中，
在所述第四训练步骤中，针对所述各学习数据集，获取与所述元数据对应的虚拟元数据，该虚拟元数据由与对应的所述元数据不同的值构成；
对所述第一编码器进行训练以使所述识别结果不适合于所述元数据是通过如下而构成的：对所述第一编码器进行训练以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述虚拟元数据。
7.根据权利要求6所述的学习装置，其中，
所述虚拟元数据由与对应的学习数据集不同的学习数据集的元数据构成。
8.根据权利要求1至7中任一项所述的学习装置，其中，
所述学习模型还包括解码器，所述解码器构成为根据所述第一特征量和所述第二特征量对所述输入数据进行解码；
所述机器学习的实施还包括第六训练步骤，在所述第六训练步骤中，针对所述各学习数据集，对所述第一编码器、所述第二编码器以及所述解码器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而通过所述解码器得到的解码数据适合于所述训练数据。
9.根据权利要求8所述的学习装置，其中，
在所述第一、第二以及第六训练步骤中，通过将所述训练数据提供给所述第二编码器而从所述第二编码器获得输出值作为所述第二特征量，与获得的该输出值一起将噪声输入所述第二元识别器、所述推测器以及所述解码器，执行各训练。
10.根据权利要求8或9所述的学习装置，其中，
所述数据获取部在所述学习处理部实施了所述学习模型的机器学习之后，通过将所述多个学习数据集中的至少任意一个的训练数据提供给所述第一编码器而从所述第一编码器获得输出值作为所述第一特征量，通过将所述训练数据提供给所述第二编码器而从所述第二编码器获得输出值作为所述第二特征量，以及通过将从所述第一编码器获得的所述输出值输入所述解码器，并且与从所述第二编码器得到的所述输出值一起将噪声输入所述解码器，从所述解码器获得输出数据作为所述解码数据；
所述学习处理部将获得的所述输出数据用作新的训练数据，再次实施所述学习模型的机器学习。
11.根据权利要求1至10中任一项所述的学习装置，其中，
所述学习模型还包括其他的推测器，所述其他的推测器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量推测所述输入数据中包含的特征；
所述机器学习的实施还包括第七训练步骤，在所述第七训练步骤中，针对所述各学习数据集对所述第一编码器和所述其他的推测器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述其他的推测器得到的推测结果适合于所述正解数据或表示所述训练数据中包含的其他特征的其他的正解数据。
12.根据权利要求1至11中任一项所述的学习装置，其中，
所述训练数据是通过观察道路上行驶的车辆的传感器得到的感测数据；
所述元数据作为与所述获取相关的属性而表示所述道路的属性、所述传感器的观察角度、所述传感器的设置间隔、所述传感器的种类或者它们的组合；
所述正解数据作为所述特征而表示与所述道路的交通状况相关的信息。
13.根据权利要求1至11中任一项所述的学习装置，其中，
所述训练数据是通过观察受试者的状态的传感器得到的感测数据；
所述元数据作为与所述获取相关的属性而表示所述受试者的识别信息、与获得所述感测数据的时间相关的属性、与所述传感器的设置状况相关的属性、所述传感器的设置场所或者它们的组合；
所述正解数据作为所述特征而表示所述受试者的状态。
14.根据权利要求1至11中任一项所述的学习装置，其中，
所述训练数据是映现产品的图像数据；
所述元数据作为与所述获取相关的属性而表示所述产品的属性、所述产品的拍摄条件、制造所述产品的工厂的属性或者它们的组合；
所述正解数据作为所述特征而表示所述产品的状态。
15.一种推测装置，具备：
数据获取部，获取对象数据；
推测部，利用通过权利要求1至14中任一项所述的学习装置训练后的所述第一编码器、所述第二编码器以及所述推测器，推测获得的对象数据中包含的特征；以及
输出部，输出与所述特征的推测结果相关的信息。
16.一种推测装置，具备：
数据获取部，获取对象数据；
推测部，利用通过权利要求11所述的学习装置训练后的所述第一编码器和所述其他的推测器，推测获得的对象数据中包含的特征；以及
输出部，输出与所述特征的推测结果相关的信息。
17.根据权利要求15或16所述的推测装置，其中，
所述推测装置还具备评价部，所述评价部利用通过所述学习装置训练后的所述第二编码器和所述第二元识别器识别与所述对象数据的获取相关的属性，并根据该识别的结果判定是否采用所述特征的推测结果。
18.一种数据生成装置，具备：
数据获取部，获取对象数据；
数据生成部，通过将所述对象数据提供给通过权利要求8至10中任一项所述的学习装置训练后的所述第一编码器而从所述第一编码器获取输出值作为所述第一特征量，并利用训练后的所述解码器，不提供从所述第二编码器获得的输出值，而根据从所述第一编码器获得的所述输出值对所述对象数据进行解码，从而生成解码数据；以及
保存处理部，将所生成的所述解码数据保存至规定的存储区域中。
19.一种学习方法，由计算机执行如下步骤：
获取多个学习数据集的步骤，所述多个学习数据集分别由训练数据、表示与所述训练数据的获取相关的属性的元数据、以及表示所述训练数据中包含的特征的正解数据的组合构成；以及
实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习的步骤；
所述第一编码器被构成为将所提供的输入数据转换为第一特征量；
所述第二编码器被构成为将所述输入数据转换为第二特征量；
所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；
所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；
所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；
所述机器学习的实施包括：
第一训练步骤，针对各所述学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述训练数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；
第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；
第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及
针对所述各学习数据集，包括第四训练步骤，对所述第一编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据，
交替地反复执行所述第三训练步骤和所述第四训练步骤。
20.一种学习程序，使计算机执行如下步骤：
获取多个学习数据集的步骤，所述多个学习数据集分别由训练数据、表示与所述训练数据的获取相关的属性的元数据、以及表示所述训练数据中包含的特征的正解数据的组合构成；以及
实施包括第一编码器、第二编码器、第一元识别器、第二元识别器以及推测器的学习模型的机器学习的步骤；
所述第一编码器被构成为将所提供的输入数据转换为第一特征量；
所述第二编码器被构成为将所述输入数据转换为第二特征量；
所述第一元识别器被构成为：被输入所述第一编码器的输出值，并根据所述第一特征量识别与所述输入数据的获取相关的属性；
所述第二元识别器被构成为：被输入所述第二编码器的输出值，并根据所述第二特征量识别与所述输入数据的获取相关的属性；
所述推测器被构成为：被输入所述第一编码器和所述第二编码器的输出值，并根据所述第一特征量和所述第二特征量推测所述输入数据中包含的特征；
所述机器学习的实施包括：
第一训练步骤，针对各所述学习数据集对所述第二编码器和所述第二元识别器进行训练，以使通过将所述训练数据提供给所述第二编码器而从所述第二元识别器获得的识别结果适合于所述元数据；
第二训练步骤，针对所述各学习数据集对所述第一编码器、所述第二编码器以及所述推测器进行训练，以使通过将所述训练数据提供给所述第一编码器和所述第二编码器而从所述推测器得到的推测结果适合于所述正解数据；
第三训练步骤，针对所述各学习数据集对所述第一元识别器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果适合于所述元数据；以及
针对所述各学习数据集，包括第四训练步骤，对所述第一编码器进行训练，以使通过将所述训练数据提供给所述第一编码器而从所述第一元识别器得到的识别结果不适合于所述元数据，
交替地反复执行所述第三训练步骤和所述第四训练步骤。
CN202080013551.5A 2019-03-14 2020-02-18 学习装置、推测装置、数据生成装置、学习方法以及学习程序 Pending CN113424208A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-047710 2019-03-14
JP2019047710A JP7003953B2 (ja) 2019-03-14 2019-03-14 学習装置、推定装置、データ生成装置、学習方法、及び学習プログラム
PCT/JP2020/006252 WO2020184084A1 (ja) 2019-03-14 2020-02-18 学習装置、推定装置、データ生成装置、学習方法、及び学習プログラム

Publications (1)

Publication Number Publication Date
CN113424208A true CN113424208A (zh) 2021-09-21

Family

ID=72426427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080013551.5A Pending CN113424208A (zh) 2019-03-14 2020-02-18 学习装置、推测装置、数据生成装置、学习方法以及学习程序

Country Status (5)

Country Link
US (1) US20220139070A1 (zh)
EP (1) EP3940631A4 (zh)
JP (1) JP7003953B2 (zh)
CN (1) CN113424208A (zh)
WO (1) WO2020184084A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11551117B1 (en) * 2019-10-25 2023-01-10 Reena Malhotra Policy based artificial intelligence engine
JP7485512B2 (ja) * 2019-12-26 2024-05-16 キヤノンメディカルシステムズ株式会社 医用情報処理装置、医用情報処理方法、及び医用情報処理プログラム
US11676031B2 (en) 2020-02-25 2023-06-13 Ventech Solutions, Inc. Anatomical position monitoring for bodily pressure ulcers
US11651107B2 (en) 2020-03-17 2023-05-16 Ventech Solutions, Inc. Securing personally identifiable and private information in conversational AI-based communication
US11568262B2 (en) * 2020-03-25 2023-01-31 Ventech Solutions, Inc. Neural network based radiowave monitoring of fall characteristics in injury diagnosis
US20210319462A1 (en) * 2020-04-08 2021-10-14 Honda Motor Co., Ltd. System and method for model based product development forecasting
CN111483468B (zh) * 2020-04-24 2021-09-07 广州大学 基于对抗模仿学习的无人驾驶车辆换道决策方法和***
US11704717B2 (en) * 2020-09-24 2023-07-18 Ncr Corporation Item affinity processing
US20230393067A1 (en) * 2020-10-27 2023-12-07 Konica Minolta, Inc. Information processing apparatus, information processing system, and trained model
CN116888665A (zh) * 2021-02-18 2023-10-13 三星电子株式会社 电子设备及其控制方法
JP2022153142A (ja) * 2021-03-29 2022-10-12 ソニーグループ株式会社 情報処理システム、生体試料処理装置及びプログラム
US11834067B1 (en) * 2021-07-30 2023-12-05 Waymo Llc Comfort scales for autonomous driving
CN113706870B (zh) * 2021-08-30 2022-06-10 广州文远知行科技有限公司 一种拥堵场景下主车换道数据的收集方法及相关设备
WO2024127478A1 (ja) * 2022-12-12 2024-06-20 日本電信電話株式会社 検出装置、検出方法、及び検出プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010112889A (ja) * 2008-11-07 2010-05-20 Asia Air Survey Co Ltd 認識システム、認識方法、および認識プログラム
JP2012084117A (ja) * 2010-09-13 2012-04-26 Tokyo Institute Of Technology 属性の学習及び転移システム、認識器生成装置、認識器生成方法及び認識装置
JP2016191975A (ja) * 2015-03-30 2016-11-10 株式会社メガチップス 機械学習装置
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
JP2019021218A (ja) * 2017-07-20 2019-02-07 ヤフー株式会社 学習装置、プログラムパラメータ、学習方法およびモデル
US20190049540A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US20190065853A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6889841B2 (ja) * 2017-03-01 2021-06-18 オムロン株式会社 学習装置、学習結果利用装置、学習方法及び学習プログラム
JP7292824B2 (ja) 2017-07-25 2023-06-19 ヤフー株式会社 予測装置、予測方法、及び予測プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010112889A (ja) * 2008-11-07 2010-05-20 Asia Air Survey Co Ltd 認識システム、認識方法、および認識プログラム
JP2012084117A (ja) * 2010-09-13 2012-04-26 Tokyo Institute Of Technology 属性の学習及び転移システム、認識器生成装置、認識器生成方法及び認識装置
JP2016191975A (ja) * 2015-03-30 2016-11-10 株式会社メガチップス 機械学習装置
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
JP2019021218A (ja) * 2017-07-20 2019-02-07 ヤフー株式会社 学習装置、プログラムパラメータ、学習方法およびモデル
US20190049540A1 (en) * 2017-08-10 2019-02-14 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US20190065853A1 (en) * 2017-08-31 2019-02-28 Nec Laboratories America, Inc. Parking lot surveillance with viewpoint invariant object recognition by synthesization and domain adaptation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
司阳;肖秦琨;李兴;: "基于自动编码器和神经网络的人体运动识别", 国外电子测量技术, no. 01, 15 January 2018 (2018-01-15) *

Also Published As

Publication number Publication date
JP7003953B2 (ja) 2022-01-21
JP2020149504A (ja) 2020-09-17
EP3940631A4 (en) 2022-12-21
US20220139070A1 (en) 2022-05-05
WO2020184084A1 (ja) 2020-09-17
EP3940631A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
CN113424208A (zh) 学习装置、推测装置、数据生成装置、学习方法以及学习程序
US20230118340A1 (en) Artificial intelligence-based systems and methods for vehicle operation
US20240203175A1 (en) Interior device to update command input to system
US20230058169A1 (en) System for representing attributes in a transportation system digital twin
Kläs et al. Uncertainty in machine learning applications: A practice-driven classification of uncertainty
US20210287459A1 (en) Digital twin systems and methods for transportation systems
WO2018121690A1 (zh) 对象属性检测、神经网络训练、区域检测方法和装置
US20210072033A1 (en) Logistics and transportation technologies
EP4104104A1 (en) Generative digital twin of complex systems
US20230101183A1 (en) Intelligent transportation systems including digital twin interface for a passenger vehicle
WO2023096968A1 (en) Intelligent transportation methods and systems
CN112288554B (zh) 商品推荐方法和装置、存储介质及电子装置
JP7164028B2 (ja) 学習システム、データ生成装置、データ生成方法、及びデータ生成プログラム
Van Hinsbergen et al. A general framework for calibrating and comparing car-following models
KR20190078899A (ko) 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법
CN115210724A (zh) 模型生成装置、推断装置、模型生成方法及模型生成程序
KR102470326B1 (ko) 사육 효과를 개선하기 위한 가축의 성장 상태 분석 및 모니터링 방법, 장치 및 시스템
Dhivya Bharathi et al. Bus travel time prediction: a log-normal auto-regressive (AR) modelling approach
Cai et al. Variational autoencoder for classification and regression for out-of-distribution detection in learning-enabled cyber-physical systems
CN116662815B (zh) 时间预测模型的训练方法以及相关设备
WO2021182000A1 (ja) パラメータ調整装置、推論装置、パラメータ調整方法、及びパラメータ調整プログラム
KR101607384B1 (ko) 대체 경로를 위한 반사실적 운행 시간 제공 방법 및 시스템
Rootzén et al. Tail estimation for window-censored processes
Cho et al. A proposed waiting time algorithm for a prediction and prevention system of traffic accidents using smart sensors
KR20190051574A (ko) 인공 신경망을 이용하여 이름에 대한 국적 정보를 제공하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination