CN113366493A - 信息处理方法、以及信息处理*** - Google Patents

信息处理方法、以及信息处理*** Download PDF

Info

Publication number
CN113366493A
CN113366493A CN202080011026.XA CN202080011026A CN113366493A CN 113366493 A CN113366493 A CN 113366493A CN 202080011026 A CN202080011026 A CN 202080011026A CN 113366493 A CN113366493 A CN 113366493A
Authority
CN
China
Prior art keywords
recognition
detection
model
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080011026.XA
Other languages
English (en)
Inventor
高桥正树
石川和史
塚本裕介
石井育规
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113366493A publication Critical patent/CN113366493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

一种信息处理方法，是使计算机执行如下工作的方法，获得第1识别结果(S10)，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，第1识别模型是利用机器学习进行了训练的模型，获得与传感数据对应的参考数据(S20)，对第1识别结果的识别对象的类别与参考数据的识别对象的类别的差异进行判断(S30)，在差异满足规定条件的情况下(S30中的是)，制作针对第1识别模型的追加类别(S70)，将传感数据或者传感数据的加工数据，作为针对追加类别的训练数据来输出(S80)。

Description

信息处理方法、以及信息处理***
技术领域
本公开涉及根据机器学习模型进行类别识别处理的信息处理方法、以及信息处理***。
背景技术
近几年，利用了机器学习的类别分类装置的研究以及产品化盛行。
例如，在专利文献1中公开了检测未知类别，生成用于未知类别的分类器的***以及方法。
(现有技术文献)
(专利文献)
专利文献1：日本特表2018-528525号公报
但是在专利文献1公开的发明中，在分类器的输出有错误时，有可能会抑制通过练习来提高分类器的性能。
发明内容
对于此在本公开中，其目的在于提供一种信息处理方法以及信息处理***，该信息处理方法以及信息处理***，能够基于包括分类器的识别模型的错误，高效地提高识别模型的识别性能。
本公开的一个方式涉及的信息处理方法，使计算机执行如下工作，获得第1识别结果，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，所述第1识别模型是利用机器学习进行了训练的模型，获得与所述传感数据对应的参考数据，对所述第1识别结果的识别对象的类别与所述参考数据的识别对象的类别的差异进行判断，在所述差异满足规定条件的情况下，制作针对所述第1识别模型的追加类别，将所述传感数据或者所述传感数据的加工数据，作为针对所述追加类别的训练数据来输出。
此外，本公开的一个方式涉及的信息处理***，具备：第1获得部，获得第1识别结果，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，所述第1识别模型是利用机器学习进行了训练的模型；第2获得部，获得与所述传感数据对应的参考数据；判断部，对所述第1识别结果的识别对象的类别与所述参考数据的识别对象的类别的差异进行判断；以及类别增设部，在所述差异满足规定条件的情况下，制作针对所述第1识别模型的追加类别，将所述传感数据或者所述传感数据的加工数据，作为针对所述追加类别的训练数据来输出。
另外，这些概括或者具体的方案，可以通过***、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等记录介质来实现，也可以任意组合***、方法、集成电路、计算机程序以及记录介质来实现。
通过本公开的一个方式涉及的信息处理方法以及信息处理***，能够根据识别模型的错误，高效地提高识别模型的识别性能。
附图说明
图1是示出实施方式涉及的信息处理***的功能构成的一例的方框图。
图2是示出实施方式涉及的从移动体输出的日志信息的一例的图。
图3是示出实施方式涉及的再学习处理装置的动作的流程图。
图4A是实施方式涉及的针对错误检测的判断信息的一例。
图4B是实施方式涉及的针对未检测的判断信息的一例。
图5A是示出错误检测出的场景图像的图。
图5B是示出针对错误检测出的场景图像的剪切图像的图。
图6A是示出未检测出的场景图像的图。
图6B是示出针对未检测出的场景图像的剪切图像的图。
图7是示出实施方式涉及的NN识别执行部进行的分类结果的图。
图8是示出检测类别的增设处理的流程图。
图9是示出物体检测的种类结构的一例的图。
图10A是示出针对错误检测出的场景图像的再学习用训练数据的图。
图10B是示出针对未检测出的场景图像的再学习用训练数据的图。
图11A是示出被变更了标注数据的再学习用训练数据的一例的图。
图11B是示出被变更了标注数据的再学习用训练数据的其他的一例的图。
图12是示出针对物体检测部的检测类别的增设的一例的图。
图13是示出针对物体检测部的检测类别的增设的其他的一例的图。
图14是示出其他的实施方式涉及的信息处理***的功能构成的其他的一例的方框图。
具体实施方式
(成为本公开的基础的见解)
例如在智能手机、以及代替驾驶者由机器进行驾驶的自动驾驶车(机器人汽车)中，针对从摄像机装置以及红外线阵列传感器等传输来的图像的一般物体识别装置(例如，一般物体检测装置)，也是要素功能之一。在自动驾驶车的情况下，一般物体例如是指步行者、乘用车、道路标识、建筑物或者道路的区域等。自动驾驶车，根据来自一般物体识别装置的识别结果，对自动驾驶车主体进行控制，安全地移动至目标地成为必要条件。
因而，一般物体识别装置，需要正确地进行物体识别，但是不可否认会出现错误识别(例如，错误检测或者未检测)。在该情况下作为应对方法存在如下的方法，对错误检测出的图像数据和检测数据，进行正确的订正，将那些作为训练用数据，针对其物体识别装置进行再学习处理的方法。通过该处理得到的效果为，在该物体识别装置中，难以引起相同的错误检测。
此外，在包括自动驾驶车的各种工业产品的领域中，搭载神经网络型识别装置(例如，神经网络型物体检测装置)，根据该识别结果(例如，检测结果)，自动地进行制动的产品被投放到市场。在神经网络型物体识别装置中，作为该再学习处理的方法，有迁移学习以及微调(fine tuning)等。
此外，作为其他的应对方法，在第1物体识别器中不能正确地检测出的物体，作为另外的检测类别来独立，重新准备第2物体识别器(神经网络型识别器)，该第2物体识别器是通过包含该物体图像的场景图像的训练用数据进行了学习处理的识别器。而且，可以考虑在该第2物体识别器识别了该类别的物体的情况下，针对该识别区域以不同于第1物体识别器的其他单元来进行识别处理，在结果上提高整体的识别性能的方法。
然而，在用于对应错误检测以及未检测的神经网络型物体识别装置的学习处理中，需要庞大的图像数据的收集和标注工作。此外，标注工作通常是手动的工作，成为非常花费成本的工作。
因此提出了各种用于制作训练用数据的自动化方法。但是为了向针对物体识别装置的错误的识别(例如，错误检测以及未检测)进行对策，而进行的包括识别类别的增设的训练用数据的生成、以及关于再学习处理装置的设计以及技术上的解决方案，没有进行讨论。此外，在专利文献1中，没有记载上述的内容。
例如没有讨论如下方案，为了对一般物体检测装置的错误检测以及未检测进行对策，针对物体检测用神经网络增设检测类别，执行再学习处理，对提高一般物体检测装置的物体检测性能的功能的设计以及技术解决方案。
为了解决这样的课题，对物体检测器的错误检测或者未检测出的检测图像部分(图像中包含错误检测或者未检测出的物体的部分)进行剪切，将该剪切图像在与物体检测器不同的另外的神经网络识别器执行识别。而且在那里获得的结果信息(例如，分类结果)的类似性增设新的检测类别，执行对再学习对象的物体检测器的检测类别进行增设的处理，针对物体检测器执行再学习处理，从而能够以低成本来提高物体检测器的检测性能。
于是，本发明者们针对高效地对应物体检测装置的错误检测以及未检测的训练用数据的生成进行研究讨论，提出了以下说明的信息处理方法以及信息处理***。
本公开的一个方式涉及的信息处理方法，使计算机执行如下工作，获得第1识别结果，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，所述第1识别模型是利用机器学习进行了训练的模型，获得与所述传感数据对应的参考数据，对所述第1识别结果的识别对象的类别与所述参考数据的识别对象的类别的差异进行判断，在所述差异满足规定条件的情况下，制作针对所述第1识别模型的追加类别，将所述传感数据或者所述传感数据的加工数据，作为针对所述追加类别的训练数据来输出。
从而，在差异满足规定条件的情况下，制作针对第1识别模型的追加类别。而且，将差异满足规定条件时的传感数据或者传感数据的加工数据作为训练数据，使制作了追加类别的第1识别模型进行训练。换言之，第1识别模型，针对根据识别模型的错误而被追加的类别进行训练。例如，识别模型的错误方法有特征的情况下，以基于错误方法的特征的新的类别进行训练，从而能够容易提高原本训练困难的类别的识别性能。从而通过本公开的一个方式涉及的信息处理方法，能够根据识别模型的错误，高效地提高识别模型的识别性能。
此外，例如获得第2识别结果，该第2识别结果是通过向第2识别模型输入所述传感数据而输出的结果，所述第2识别模型是与所述第1识别模型不同的模型，根据所述第2识别结果，制作所述追加类别。
从而，能够根据第2识别结果，制作针对第1识别模型的追加类别。在第2识别模型是能够比第1识别模型高性能地进行识别(检测)的模型的情况下，第2识别结果，成为比第1识别结果正确的结果。根据这样的第2识别结果制作追加类别，从而能够制作恰当的追加类别。例如，第1识别模型能够将第2识别模型的识别结果成为第2识别结果的识别对象，识别为追加类别。换言之，能够以成为第2识别结果方式提高识别对象的检测性能。此外，不需要用户对传感数据进行标注操作，就能够自动地制作追加类别。换言之，能够实现提高了利便性的信息处理方法。
此外，例如所述第2识别结果，包括所述识别对象的类别的1个以上的候选，根据所述1个以上的候选，制作所述追加类别。
从而，追加类别，根据第2识别模型的输出层的结果而被制作。根据这样的输出层的结果(1个以上的候选)制作追加类别，从而能够制作恰当的追加类别。例如，第1识别模型能够将第2识别模型的识别结果成为1个以上的候选的识别对象，识别为追加类别。换言之，能够以识别结果成为1个以上的候选的方式提高识别对象的检测性能。
此外，例如从多个所述传感数据，获得多个所述第2识别结果，在多个所述第2识别结果之间，所述1个以上的候选的至少一部分为相同或类似的情况下，根据所述1个以上的候选的至少一部分，制作所述追加类别。
从而，追加类别，根据在多个第2识别结果中，识别对象的类别的候选的倾向为相同或类似的第2识别结果而被制作。换言之，能够更恰当地制作追加类别。例如，第1识别模型能够将第2识别模型的识别结果的倾向为相同或类似的识别对象，识别为追加类别。从而，能够进一步提高再学习中的物体检测装置的检测性能。
此外，例如从多个所述传感数据，获得多个所述第2识别结果，在多个所述第2识别结果之间，所述1个以上的候选的概率分布为相同或类似的情况下，根据所述1个以上的候选的所述概率分布，制作所述追加类别。
从而，追加类别，根据在多个第2识别结果中，识别对象的类别的候选以及该候选的概率分布的倾向为相同或类似的第2识别结果而被制作。换言之，能够更恰当地制作追加类别。例如，第1识别模型能够将第2识别模型的识别结果的倾向(例如概率分布的倾向)为相同或类似的识别对象，识别为追加类别。从而能够进一步提高再学习中的物体检测装置的检测性能。
此外，例如所述第2识别结果，包括所述第2识别模型的中间生成物，根据所述中间生成物，制作所述追加类别。
从而，追加类别，根据第2识别模型的中间层的结果而被制作。根据这样的中间层的结果(中间生成物)制作追加类别，从而能够制作恰当的追加类别。例如，第1识别模型能够将第2识别结果为规定的中间生成物的识别对象，识别为追加类别。换言之，能够提高第2识别结果成为规定的中间生成物的识别对象的检测性能。
此外，例如根据所述差异，制作所述追加类别。
从而，追加类别，根据差异而被制作。从而，能够减少追加类别的制作中的处理量。
此外，例如所述第1识别模型是神经网络模型，所述追加类别的制作，包括所述神经网络模型的网络结构或者参数的变更。
从而，能够使神经网络模型的检测性能，通过网络结构的变更(例如增设追加类别)或者参数的变更(例如变更锚箱)来提高。换言之，不需要准备新的检测器，就能够提高神经网络模型的检测性能。
此外，例如所述规定条件，包括错误识别或者未识别。
从而在第1识别结果为错误识别或者未识别的情况下，制作追加类别。利用包括错误识别或者未识别的传感数据或者该传感数据的加工数据的训练数据，制作了追加类别的第1识别模型进行再学习的情况下，能够高效地提高针对第1识别模型的错误识别或者未识别的物体的物体检测性能。
此外，本公开的一个方式涉及的信息处理***，具备：第1获得部，获得第1识别结果，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，所述第1识别模型是利用机器学习进行了训练的模型；第2获得部，获得与所述传感数据对应的参考数据；判断部，对所述第1识别结果的识别对象的类别与所述参考数据的识别对象的类别的差异进行判断；以及类别增设部，在所述差异满足规定条件的情况下，制作针对所述第1识别模型的追加类别，将所述传感数据或者所述传感数据的加工数据，作为针对所述追加类别的训练数据来输出。
从而，计算机能够按照程序，执行所述信息处理方法。
另外，这些概括或者具体的方案，可以通过***、装置、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等非暂时的记录介质来实现，也可以任意组合***、装置、方法、集成电路、计算机程序以及记录介质来实现。
以下针对实施方式，参考附图进行具体说明。另外，以下说明的实施方式都是示出本公开的一个具体例子。以下的实施方式所示的数值、形状、构成要素、步骤、步骤的顺序等均为一个例子，其主旨并非是对本公开进行限定。并且，对于以下的实施方式的构成要素之中没有记载在独立技术方案的构成要素，作为任意的构成要素来说明。此外在所有实施方式中，也可以组合各个内容。
此外，各图是示意图，并非是严谨的图示。因此，例如在各图中缩尺等也并非一致。此外，在各图中，对实质上相同的构成赋予相同的符号，省略或简化重复说明。
此外，在本说明书中，相同等示出要素之间的关系性的用语、以及，矩形等示出要素形状的用语、以及数值以及数值范围并非是只表示严格意义上的表现，还表示实际上同等的范围，例如包括百分之几左右的差异的表现。
(实施方式)
以下，本实施方式涉及的信息处理方法和信息处理***，参考图1～图13进行说明。
[1.信息处理***的构成]
首先关于本实施方式涉及的包括再学习处理装置30的信息处理***1的构成，参考图1进行说明。图1是示出本实施方式涉及的信息处理***1的功能构成的方框图。另外，下面说明物体检测部11搭载在移动体10的一例的车辆上的例子，但是不限于搭载在车辆上。此外，以下说明物体检测部11为，神经网络型识别装置的一例即神经网络型物体检测装置的例子。
如图1所示，信息处理***1具备移动体10、再学习处理装置30。
移动体10，例如是车辆。车辆，例如是不需要驾驶者的操作来控制车辆的驾驶的自动驾驶车，但是也可以是切换为自动驾驶或者手动驾驶的任一个来行驶的车辆。
移动体10具有物体检测部11和通信部12。此外，移动体10，还具有包括摄像头(未图示)等光传感器的多个传感器，所述摄像头生成对移动体10的周围进行拍摄的图像。物体检测部11，根据光传感器等的传感器获得的信息，检测移动体10的周围存在的物体。下面的说明中光传感器是摄像头，并且物体检测部11，根据从该摄像头获得的图像，检测移动体10的周围存在的物体的情况。另外，图像是传感数据的一例。
物体检测部11，根据被输入的传感数据即图像等，检测物体。物体检测部11是控制对物体检测模型(已学习模型)进行的处理的信息处理部。物体检测模型包括具有多个层的神经网络型的数学模型(检测器)，且用于进行物体检测处理的数学模型。
基本上，物体检测模型具有由输入层、中间层以及输出层构成的多个处理层。在输入层中，物体检测处理的处理对象数据，作为输入数据(输入信息)来输入。而且，从输出层，物体检测处理的处理结果数据，作为输出数据(输出信息)来输出。输入层和输出层是不同的处理层，在输入层和输出层之间的处理层，称为中间层。物体检测模型，可以具有多个中间层。物体检测模型，是利用机器学习进行了训练的第1识别模型的一例。
例如，在物体检测部11的内部，安装利用学习数据来进行了学习的物体检测模型。在本实施方式中，将物体检测部11设为安装有物体检测模型(检测器)，该物体检测模型是以根据输入数据即图像，能够检测出“车辆”以及“人物”的2个检测类别(物体类别)的方式进行了学习的模型。此外，可以将安装在物体检测部11的内部的物体检测模型，记载为第1物体检测模型、第1物体识别模型或者第1物体识别器。
此外，物体检测部11，根据包含作为检测对象的对象物体的图像以及该对象物体的检测结果等，生成用于发送给再学习处理装置30的日志信息。日志信息包括如下，包含对象物体的图像以及物体检测部11的检测结果。
这里关于移动体10的物体检测部11生成的日志信息100，参考图2进行说明。图2是示出本实施方式涉及的从移动体10输出的日志信息100的一例的图。再学习处理装置30，从移动体10获得图2示出的日志信息100。
如图2所示，日志信息100，例如包括场景图像以及检测结果。
场景图像(以后仅仅记载为图像)是，移动体10具备的摄像头拍摄的图像101，是执行物体检测处理的对象的图像101。图像101，可以与对应于检测结果的区域(检测对象所处的区域)建立对应。在图2的例子中，对象物体110(识别对象的一例)存在的区域是物体区域101a。
检测结果是示出针对图像101由物体检测部11检测出的结果等的信息。具体而言，检测结果包括，物体检测部11检测出的物体类别以及示出物体区域101a的信息。在图2的例子中示出，相对于作为“车辆”的对象物体110，物体检测部11的检测结果为“人物”的例子。换言之，图2示出的日志信息100，示出物体检测部11进行了错误检测的情况下的日志信息。另外，将物体区域101a以矩形来示出，但是物体区域101a的形状只是一例，可以是矩形以外的形状。另外，物体检测部11的检测结果，是第1识别结果的一例。
日志信息100，还可以包括用于确定拍摄图像101的摄像头的摄影设备信息、示出图像101被拍摄的时刻的时刻信息、以及示出图像101被拍摄的位置以及方位的摄像位置信息等。
另外，在上述中说明了物体检测部11具有检测物体的检测器(物体检测器)的例子，但也可以是分类器或者分割器(以能够执行图像分割的方式进行了学习的物体检测模型)。
再次参考图1，通信部12与再学习处理装置30进行通信。通信部12，例如，由通信电路(通信模块)来实现。通信部12，作为日志传输器来发挥作用，该日志传输器经由网络20向再学习处理装置30传输由物体检测部11生成的日志信息100。另外，通信部12发送日志信息100的定时没有限定，日志信息100可以依次发送，也可以定期发送。
另外，移动体10，可以具备存储日志信息100的存储部(存储装置)。
网络20是因特网等的广域网(WAN：Wide Area Network)。移动体10与再学习处理装置30，经由网络20(具体而言，经由在网络20的末端设置的中继装置(未图示))以能够无线通信的方式连接。
再学习处理装置30是信息处理装置(服务器装置)，用于生成使物体检测用的物体检测模型(已学习模型)进行再学习的训练用数据集。再学习处理装置30，例如由制作了移动体10具备的物体检测部11上安装的物体检测模型的制造厂、其他业者等来运用。
再学习处理装置30具有通信部31、判断部32、剪切部33、NN(神经网络)识别执行部34、类别增设部35、存储部36。
通信部31，与移动体10通信。通信部31，例如以通信电路(通信模块)实现。通信部31，作为经由网络20从移动体10接收日志信息100(参考图2)的日志收集器来发挥作用。通信部31，将接收的日志信息输出给判断部32。另外，通信部31是第1获得部的一例。
判断部32，根据获得的日志信息100，对该日志信息100包含的检测结果是否正确进行判断。换言之，判断部32，进行物体检测部11的检测结果的正误判断。这里正误判断，包括错误检测以及未检测。换句话说，判断部32，在物体检测部11进行的检测结果中，对是否为错误检测或者未检测(错误识别或者未识别的一例)进行判断。
判断部32，也可以针对由用户对日志信息100包含的图像101以手动进行标注的物体矩形信息(包括物体类别和其物体区域)、和物体检测部11的检测结果进行比较，进行正误判断。在这个情况下，再学习处理装置30，可以具备接受来自用户的输入的接受部(未图示)。此外，判断部32，可以经由通信部31，获得所述物体矩形。另外，包括所述物体类别和其物体区域的物体矩形，是参考数据的一例。
此外，判断部32，也可以将比物体检测部11的检测性能高的物体检测部(以后记载为高性能物体检测部)的针对图像101的检测结果、和物体检测部11的检测结果进行比较，进行正误判断。在这个情况下，再学习处理装置30，可以具备高性能物体检测部，也可以将那样的物体检测部的检测结果，经由通信部31来获得。
高性能物体检测部具有，比物体检测部11的运算性能高，能够更正确地进行物体检测的物体检测模型。这样的物体检测模型，例如通过以能够执行图像分割(SemanticSegmentation)的方式进行了学习的物体检测模型、或者包括物体检测部11能够检测的物体类别(本实施方式中的“车辆”以及“人物”)并且比该物体类别能够检测更多的物体类别的方式进行了学习的物体检测模型来实现。另外这样的物体检测模型，也可以是不管运算规模的增大以及实时性的缺乏的至少一方的模型。
剪切部33，按照判断部32的判断结果，从图像101生成包含对象物体110的剪切图像。具体而言，剪切部33进行剪切处理，该剪切处理是从图像101剪切由判断部32判断为检测结果不正确的对象物体110的处理。
NN识别执行部34，针对剪切图像，执行用于获得错误检测的物体或者未检测的物体的特征的识别处理。NN识别执行部34，是控制第2物体识别模型(也称为第2物体识别器，是已学习模型，例如物体检测模型)的信息处理部。例如，第2物体识别模型，是特征区分用神经网络识别器(例如，进行一次前向处理的识别器)，NN识别执行部34，使该识别器进行处理。在本实施方式中，说明特征区分用神经网络识别器为物体分类器(以后也记载为分类器)的例子，但是也可以是具有其他的识别功能的神经网络。NN识别执行部34，输出通过将剪切图像输入到物体分类器而获得的分类结果。分类结果，例如包括后述的图7示出的概率值和物体的候选类别。另外，通过物体分类器被分类的类别，例如是2个类别以上。此外，NN识别执行部34具有的第2物体识别模型，其识别性能(至少分类性能)比第1物体识别模型高。
类别增设部35，根据NN识别执行部34输出的分类结果，针对物体检测部11增设新的类别。具体而言，类别增设部35，将该分类结果进行分组存储在存储部36。而且，类别增设部35，在相同的小组内包含对象物体的图像存储了规定数以上时，生成用于在物体检测部11的检测类别增设新的检测类别的、被标注的再学习用训练数据。再学习用训练数据，可以是作为用于第1物体检测模型的再学习的输入数据而使用的数据，也可以是用于验证进行了再学习的第1物体检测模型的检测性能的测试用数据。
存储部36，存储由类别增设部35进行了分组的分类结果。此外，存储部36，也可以存储各个处理部生成的图像、检测结果等。此外，存储部36，也可以存储通信部31获得的日志信息100。此外，存储部36，也可以存储由再学习处理装置30具备的各个处理部执行的程序等。存储部36，例如通过半导体存储器等存储装置来实现。
如上所述，再学习处理装置30，例如具备判断部32以及类别增设部35，该判断部32对物体检测部11是否错误检测或者未检测进行判断，该类别增设部35针对错误检测或者未检测的图像，根据NN识别执行部34的分类结果进行分组，在小组中包括的图像的数量为规定数以上时，执行用于增设物体检测部11的检测类别的处理。
[2.再学习处理装置的动作]
接着，关于再学习处理装置30的动作、以及生成的图像等，参考图3～图13进行说明。图3是示出本实施方式涉及的再次学习处理装置30的动作的流程图。
如图3所示，首先，再学习处理装置30，从移动体10获得日志信息100(S10)。具体而言，通信部31，从移动体10接收日志信息100。日志信息100是由通信部12经由网络20传输给再学习处理装置30的信息，至少包含图像以及检测结果的信息。而且，通信部31，将接收的日志信息100输出给判断部32。另外，可以向判断部32仅输出日志信息100所包含的各种数据中的图像以及检测结果。此外，步骤S10是获得第1识别结果的一例。
接着，判断部32获得与日志信息100包含的图像101对应的标注数据(S20)。判断部32，例如通过接受来自用户的标注工作，或者通过获得高性能物体检测部的检测结果，从而获得标注数据。标注数据是参考数据的一例，步骤S20，是获得参考数据的一例。此外判断部32，还作为获得标注数据的第2获得部来发挥作用。
判断部32，对日志信息100包含的检测结果的正误进行判断。判断部32，例如判断检测结果是否有错误检测或者未检测(S30)。判断部32，例如将用户手动地对图像101进行了标注的物体矩形(物体类别和该物体区域)、或者对高性能物体检测部的检测结果，换言之标注数据与物体检测部11检测的检测结果(日志信息100包含的检测结果)进行比较，进行正误判断。另外，步骤S30，是对关于识别对象的类别的差异进行判断的一例。此外，差异的意思是标注数据与物体检测部11的检测结果之间的差异。
在物体检测中的正误判断的方法，举出使用IoU(Intersection over Union)的评价方法。针对判断部32进行的正误判断的一例，参考图4A以及图4B进行说明。图4A是本实施方式涉及的针对错误检测的判断信息200的一例。图4B是本实施方式涉及的针对未检测的判断信息300的一例。另外，图4A以及图4B示出的“正确答案”表示用户手动地进行标注的物体矩形或者高性能物体检测部的检测结果。此外，图4A示出，针对图2的日志信息100的判断信息200。
如图4A所示，物体检测部11，应该将图像101的对象物体110检测为“车辆”，但是却检测为“人物”。因此，“人物”的IoU值是“0”，“车辆”的IoU值为“0以上”，所以判断部32，判断为“错误检测1”。换言之，“错误检测1”是将对象物体110检测为物体检测部11的检测对象的检测类别，并且与对象物体110对应的检测类别所不同的检测类别的错误检测。
此外，如图4B所示，物体检测部11，应该将图像301的对象物体320检测为“人物”，但是没有检测出对象物体320。物体检测部11，在位于物体区域301a的对象物体310以及位于物体区域301b的对象物体320中，只检测出位于物体区域301a的对象物体310。因此，“人物”以及“车辆”的IoU值均为“0”，所以判断部32判断为“未检测。”
另外，即使“人物”以及“车辆”的IoU值均为“0”时，在检测结果中存在“人物”或者“车辆”的物体区域(检测矩形)的情况下，将背景错误检测为检测物体，所以判断部32判断为“错误检测2”。“错误检测2”是，物体检测部11将“车辆”以及“人物”以外的物体，换言之将本来不需要检测出的物体，检测为“车辆”或者“人物”的错误检测。
另外，错误检测或者未检测的判断方法，不限于使用IoU值的方法，也可以使用其他的现有技术。
再次参考图3，判断部32，在判断为检测结果有错误检测或者未检测时(S30中的“是”)，蓄积与错误检测结果或者未检测结果成为一组的标注数据(例如“正确答案”示出的信息)(S40)。具体而言，判断部32，例如生成在日志信息100追加了“正确答案”以及“判断结果”的判断信息，并且蓄积该判断信息。而且，判断部32将生成的判断信息输出给剪切部33。另外，判断部32，将生成的判断信息存储到存储部36。此外，在步骤S30中判断为“是”，这是差异满足规定条件的一例。规定条件包括，在检测结果中有错误检测或者未检测。
这样，在判断信息中，除了日志信息100之外，还包括与错误检测结果或者未检测结果成为一组的标注数据(参考图4A以及图4B)。
另外，判断部32，在判断为检测结果中没有错误检测或者未检测(S30中的“否”)时，返回步骤S10继续进行处理。
接着，剪切部33，根据判断信息，将错误检测或者未检测出的物体，从图像剪切出来。具体而言，剪切部33，根据检测结果或者标注数据示出的矩形(物体区域)，剪切错误检测或者未检测的物体的图像，生成剪切图像(S50)。
剪切部33，在判断部32的判断结果为“错误检测1”的情况下，针对根据判断信息200错误检测出的物体图像，使用该“检测结果”或者“正确答案”示出的矩形来剪切。剪切部33，在图5A示出的图像101(日志信息100包含的图像101)，例如以检测结果的矩形(物体区域101a)为基础，生成如图5B示出的剪切图像120。此外，剪切部33，在判断部32的判断结果为“错误检测2”的情况下，以判断信息中包含的“检测结果”示出的矩形为基础，生成剪切图像。另外，图5A是示出错误检测出的场景图像(例如图像101)的图。并且，图5B是示出针对错误检测出的场景图像(例如图像101)的剪切图像120的图。
此外，剪切部33，在判断部32的判断结果为“未检测”的情况下，针对根据判断信息300而未检测出的物体图像，使用该“正确答案”示出的矩形(标注数据示出的矩形)进行剪切。剪切部33，如图6A所示，在图像301(日志信息所包含的图像301)中，以“正确答案”示出的矩形(物体区域301b)基础，生成剪切图像330。另外，图6A是示出未检测出的场景图像(例如图像301)的图。并且，图6B是示出针对未检测出的场景图像(例如图像301)的剪切图像330的图。
此外，这时剪切部33，针对由物体检测部11正确地检测出的对象物体310，不剪切该对象物体310的图像。
而且，剪切部33，将生成的剪切图像输出给NN识别执行部34。
另外，剪切部33例如利用将判断信息所包含的矩形包含在内的矩形，并且规定的纵横比的矩形，来剪切图像。规定的纵横比，例如是适合NN识别执行部34(例如，特征区分用神经网络识别器)的纵横比的矩形。
另外，再学习处理装置30，将剪切图像120与判断信息200建立关联的构成来管理，将剪切图像330与判断信息300建立关联的构成来管理。再学习处理装置30，例如将剪切图像120与判断信息200建立关联并存储在存储部36，将剪切图像330与判断信息300建立关联并存储在存储部36。
再次参考图3，NN识别执行部34针对剪切图像执行识别处理(S60)。在本实施方式中，NN识别执行部34，针对剪切图像，利用特征区分用神经网络识别器(第2识别模型的一例)执行类别分类处理。将剪切图像输入到NN识别执行部34是，向第2识别模型输入传感数据的一例。换言之，向第2识别模型输入的传感数据，可以是传感数据本身，也可以是该传感数据的一部分。
图7是示出本实施方式涉及的NN识别执行部34进行的分类结果400的图。图7示出的分类结果400，例如示出针对剪切图像330的类别分类处理(识别处理的一例)的结果。此外，分类结果400，包括概率值以及候选类别。在NN识别执行部34具有分类器的情况下，与一般进行分类的类别数(例如100个类别以上)相对应地存在概率值，将全部概率值合计成为1。
如图7所示，针对剪切图像330的候选类别，成为“人物”的概率值最高，接着高的是“树木”。此外，“人物”的概率值是“0.62”，“树木”的概率值是“0.12”。概率值示出例如现象的概率或者以观察数据为基础的假设的概率即概度等的输出值。另外，分类结果400是第2识别结果的一例。此外，分类结果400，包括NN识别执行部34的检测对象的类别的1个以上的候选(“人物”、“树木”等)。
NN识别执行部34，将分类结果400输出给类别增设部35。
再次参考图3，类别增设部35，根据分类结果400，执行针对物体检测部11的检测类别的增设处理(S70)。换句话说，在步骤S70中，执行制作针对物体检测部11的物体检测模型的追加类别的处理。步骤S70是制作针对第1识别模型的追加类别的一例。关于类别增设部35的处理，参照图8进行说明。图8是示出类别增设部35进行的检测类别的增设处理的流程图。
如图8所示，类别增设部35，将分类结果400进行分组并蓄积(S71)。类别增设部35，例如，将分类结果400进行分组存储到存储部36。类别增设部35，利用分类结果400，针对错误检测或者未检测出的物体，将特征类似的物体分组，并存储到存储部36。
类别增设部35，可以例如将多个分类结果400中的候选列表的第一位，换言之概率值最高的物体类别(图7的例子中是“人物”)相同的分类结果，作为同一个小组的方式进行分组。此外，类别增设部35，也可以例如将多个分类结果400中的候选类别相同或者类似的分类结果，作为同一个小组来进行分组。此外，类别增设部35，也可以例如将多个分类结果400中的概率值为规定值以上(例如，0.3以上)的候选类别相同或者类似的分类结果400，作为同一个小组来进行分组。
这样，类别增设部35，在多个分类结果400之间，将1个以上的候选类别的至少一部分为相同或者类似的分类结果400，作为同一个小组来进行分组。
另外，候选类别类似可以是指，概率值为规定值以上的候选类别中规定比率(例如6成)或者规定数(例如3个)的候选类别相同的情况。类别增设部35，例如在2个分类结果400中，概率值为规定值以上的候选类别有5个的情况下，在该5个候选类别中的3个候选类别相同时，可以判断为候选类别类似。
此外，候选类别类似可以是指，物体类别的种类结构事先被规定，在候选类别的至少一部分，也可以包括种类类似的物体类别。图9是示出物体检测的种类结构的一例的图。在图9中示出最上位的种类为“车辆”的情况下的种类结构的一例。另外，图9示出的种类结构，例如预先存储在存储部36。
如图9所示，“车辆”的下位种类包括“乘用车”、“卡车”、以及“巴士”。换句话说，“乘用车”、“卡车”、以及“巴士”的上位种类是共通(“车辆”)的。将这样的“乘用车”、“卡车”、以及“巴士”作为同一个种类时，类别增设部35，例如2个分类结果400中包含的候选类别，包括同一个种类所包含的物体类别的情况下，可以判断为该2个分类结果400中的候选类别类似。此外，这对于“乘用车”的下位种类即“Sedan(厢式轿车)”和“SUV(运动型多功能车)”也同样。
此外，类别增设部35，可以例如将多个分类结果400中候选类别的顺序相同或者类似的分类结果400，作为同一个小组来进行分组。类别增设部35，可以例如将多个分类结果400中概率值为规定值以上(例如，0.3以上)的候选类别的顺序相同或者类似的分类结果400，作为同一个小组来进行分组。
另外，候选类别的顺序类似可以是指，概率值为规定值以上的候选类别中规定比率(例如6成)或者规定数(例如3个)的候选类别的顺序相同。类别增设部35，例如在2个分类结果400中概率值为规定值以上的候选类别有5个的情况下，该5个候选类别中的3个候选类别的顺序相同时，可以判断为候选类别是类似的。另外，候选类别的顺序是指，图7所示的概率值从高到低的顺序排列了候选列表时的顺序。
这样，类别增设部35，可以例如将多个分类结果400中概率分布(例如信赖度分布)为相同或者类似的分类结果400，作为同一个小组来进行分组。具体而言，类别增设部35，可以将多个分类结果400中候选类别的顺序以及概率分布为类似的分类结果400，作为同一个小组来进行分组。类别增设部35，可以例如将多个分类结果400中概率值为规定值以上(例如，0.3以上)的候选类别的顺序以及概率分布(例如概度分布)为类似的分类结果400，作为同一个小组来进行分组。
这样，类别增设部35，在多个分类结果400之间，将1个以上的候选类别的概率分布为相同或者类似的分类结果400，作为同一个小组来进行分组。
此外，类别增设部35，可以将所述示出的分组的基准“类似”的度数动态地变更，实现属于相同的小组的分类结果的最大化。此外，类别增设部35，也可以通过聚类分析算法自动地变更分组。另外，作为分组化的指标，可以将神经网络的识别时的任意的层的反应结果(例如是中间层的信号结果，中间生成物的一例)作为分组化的指标。任意的层，可以是例如对检测对象(例如，“人物”以及“车辆”)的形状做出反应的层，也可以是对其他特征量做出反应的层。另外，反应结果是第2识别结果的一例。
此外作为分组化的指标，可以追加概率值在类似的范围内隔开一定值以上的配对。概率值类似的图像，可能外形看起来也类似，所以隔开一定值以上，能够实现在相同的类别中包括外观不同的物体的分组，提高通用化性能。
此外，构筑以一定的值分割概率值的直方图，将该直方图视为错误检测的发生概率来进行分组。例如，制作将概率值分为0～0.25，0.25～0.5，0.5～0.75，0.75～1的4个的直方图。例如，将各个度数设为5、10、15、10。在这个情况下，根据直方图的各个峰，以1：2：3：2的比率对数据进行采样并分组，从而能够按照实际上的错误检测的分布进行分组。
此外，也可以以优先学习出现数少的概率值的数据的方式，将出现数少的概率值的数据作为一个小组。这时为了使数据数增加，可以进行扩大(augmentation)等。从而，能够进行专门对应稀有场景等的分组。
类别增设部35，可以将分类结果400和与该分类结果400对应的再学习用训练数据，即包含与该分类结果400对应的剪切图像的图像(例如，日志信息100包含的场景图像)的再学习用训练数据建立关联，进行分组。换言之，在小组中蓄积图像。再学习用训练数据，例如由类别增设部35生成。
这里针对再学习用训练数据，参考图10A以及图10B进行说明。图10A是示出针对错误检测出的场景图像(例如图像101)的再学习用训练数据500的图。图10B是示出针对未检测出的场景图像(例如图像301)的再学习用训练数据600的图。
图10A示出的再学习用训练数据500是，与图4A示出的判断信息200对应的数据。如图10A所示，再学习用训练数据500包括场景图像(例如图像101)以及标注数据。该标注数据是与图4A示出的“正确答案”对应的信息。
此外，图10B示出的再学习用训练数据600是与图4B示出的判断信息300对应的数据。如图10B所示，再学习用训练数据600包括场景图像(例如，图像301)以及标注数据。该标注数据是与图4B示出的“正确答案”对应的信息。
再次参考图8，接着类别增设部35，判断相同的小组内的蓄积数是否超过了规定数(S72)。类别增设部35，对同一个小组内的分类结果400的蓄积数，换言之图像的蓄积数是否超过了规定数进行判断。规定数例如是1000张，但是不受此限。类别增设部35，在相同的小组的图像的蓄积数超过了规定数的情况下(S72中的“是”)，生成在增设了新的检测类别的情况下的再学习用训练数据(S73)。具体而言，类别增设部35，生成被标注的再学习用训练数据。
关于在步骤S73生成的再学习用训练数据，参考图11A及图11B进行说明。图11A是示出标注数据被变更后的再学习用训练数据的一例的图。图11B是示出标注数据被变更后的再学习用训练数据的其他的一例的图。图11A示出的再学习用训练数据700是，与图10A的再学习用训练数据500对应的数据。图11B示出的再学习用训练数据800是，与图10B的再学习用训练数据600对应的数据。
如图11A以及图11B所示，从图10A以及图10B示出的再学习用训练数据，标注数据被变更。具体而言，再学习用训练数据700的标注数据，从“车辆”变更为“车辆2”。此外，再学习用训练数据800的标注数据，从“人物”变更为“人物2”。被变更的标注数据，示出增设的检测类别(追加类别)。
另外，被增设的检测类别被机械地命名。在本实施方式中被命名为“车辆2”以及“人物2”。被增设的检测类别是，以分类结果400的候选类别顺序以及概率分布(例如，概度分布)相同或类似为基准进行分组的新的检测类别的情况下，按照人的感觉“车辆2”成为“像人物的车辆”，“人物2”成为“难以检测的人物”的可能性大。此外，将该“车辆2”以及“人物2”的检测类别，是否与原本存在的“车辆”以及“人物”同等地处理，还是不同地处理，委托给之后的搭载了物体检测部11的移动体10的制动处理。
再次参考图8，接着类别增设部35，进行针对物体检测部11增设新的检测类别的处理(S74)。类别增设部35，在再学习处理装置30具有与物体检测部11的第1物体检测模型相同的物体检测模型(以后记为第3物体检测模型)的情况下，可以进行在该第3物体检测模型增设新的检测类别的处理，也可以进行在物体检测部11的第1物体检测模型增设新的检测类别的处理。以下说明类别增设部35在第3物体检测模型增设新的检测类别的例子。
类别增设部35，例如图12所示，针对第3物体检测模型，可以修正神经网络(变更神经网络的结构)，增加检测类别。图12是示出检测类别的增设的一例的图。另外，在图12中说明原本具有4个检测类别的情况。
图12的(a)示出在增设检测类别之前的中间层以及输出层。图12的(b)示出在增设检测类别之后的中间层以及输出层。如图12的(a)和(b)所示，类别增设部35，将原本4个的检测类别，增加1个，从而具有5个。
此外，类别增设部35，例如图13所示，针对第3物体检测模型，可以在神经网络事先准备备用的检测类别，在下面的再学习处理中，第3物体检测模型能够使用该检测类别，从而增设检测类别。图13是示出检测类别的增设的其他的一例的图。另外，在图13中说明原本有5个检测类别，但是只使用4个检测类别的情况。
图13的(a)示出在增设检测类别之前的中间层以及输出层。图13的(b)示出在增设检测类别之后的中间层以及输出层。在图13的(a)和图13的(b)所示，物体检测模型，原本具有5个检测类别，但是以其中1个检测类别(图13的(a)示出的未使用类别)无效的方式进行学习。而且，如图13的(b)所示，通过使未使用类别成为有效(能够使用)，从而增加检测类别。换句话说，在图13的例子中，以未使用类别有效的方式进行再学习，从而增加检测类别。这也包括在增设检测类别中。
检测类别的增设，例如可以包括对物体检测模型的参数(针对各个层的设定项目)进行变更。检测类别的增设，可以是例如将锚箱(anchor box)变更为与适用于未检测类别的检测类别对应的锚箱。具体而言，检测类别的增设可以包括，将与想要检测出的矩形对应(反应)的层的设定项目，按照适用于未检测类别的检测类别进行变更。
如图13的(a)所示，作为神经网络可以预先准备未使用类别，即使像汽车一样，因为安全上的基准不能在之后修正神经网络来追加检测类别的情况下，也能够增设检测类别。此外，如图13的(a)一样，作为神经网络预先准备未使用类别，从而不需要变更神经网络的结构(不变更神经网络的规模)，就能够增设检测类别。
如上所述，被增设的检测类别，例如，被赋予“车辆2”或者“人物2”。另外，通过增设检测类别，有时中间层的网络结构被变更，但是在图12以及图13中省略了该变更。
在图11A的例子(错误检测1的例子)中，检测类别在“车辆”、“人物”上增设“车辆2”。在图11B的例子(未检测的例子)中，检测类别在“车辆”、“人物”上增设“人物2”。此外，检测类别，例如检测出本来不需要检测出的对象物体(例如，检测“车辆”以及“人物”以外的情况下，相当于错误检测2)的情况下，进一步增设“不是检测对象的物体”。
这样，根据被分组的多个分类结果400的倾向，制作增设的检测类别。例如，根据1个以上的候选类别的至少一部分、1个以上的候选类别的概率分布、或者中间生成物，制作增设的检测类别。
另外，类别增设部35，在相同的小组的图像的蓄积数为规定数以下的情况下(S72中的“否”)，返回步骤S71，继续进行步骤S71以后的处理。
再次参考图3，类别增设部35，输出在步骤S73生成的再学习用训练数据，且在增设了新的检测类别时的再学习处理中使用的再学习用训练数据(S80)。类别增设部35，输出规定数以上的再学习用训练数据(训练数据集)。在本实施方式中，类别增设部35，向再学习处理装置30具备的第3物体检测模型(在步骤S74中增设了检测类别的第3物体检测模型)输出再学习用训练数据。即，类别增设部35，向该第3物体检测模型输入再学习用训练数据，从而执行再学习(追加学习)处理(S90)。换言之，执行神经网络的再学习。另外，步骤S80是输出与增设的检测类别(追加类别的一例)有关的训练数据的一例。
从而，第3物体检测模型，例如在图11A示出的再学习用训练数据700的例子中，能够将本来应该检测为“车辆”的对象物体110，检测为被增设的检测类别的“车辆2”。换句话说，进行了再学习处理的第3物体检测模型，难以将对象物体110错误检测为“人物”。换言之，能够提高第3物体检测模型的检测精度。
此外，第3物体检测模型，例如在图11B示出的再学习用训练数据800的例子中，将本来应该检测出的对象物体320，检测为增设的检测类别即“人物2”。换句话说进行了再学习处理的第3物体检测模型，难以发生未检测出对象物体320。换言之，能够提高第3物体检测模型的检测精度。
此外，物体检测部11，例如检测出本来不需要检测的对象物体的情况下，能够将该对象物体检测为“不是检测对象的物体”。换句话说，进行了再学习处理的第3物体检测模型，通过学习本来不检测的物体，能够抑制将该物体错误检测为“车辆”或者“人物”。
接着，类别增设部35执行评价处理，该评价处理用于验证进行了再学习的物体检测模型(例如，第3物体检测模型)的检测能力(S100)。类别增设部35，利用测试用数据，执行评价处理，该测试用数据用于验证进行了再学习的物体检测模型的检测能力。类别增设部35，在相对于再学习前的物体检测模型(检测类别增设前的物体检测模型)的检测精度，进行了再学习的物体检测模型的检测精度有了提高的情况下，可以判断为适用该进行了再学习的物体检测模型。换言之，可以判断为，类别增设部35适用抑制了错误检测或者未检测的物体检测模型。
此外，类别增设部35，例如针对图4A一样将“车辆”检测为“人物”(错误检测1)的物体检测模型，可以执行是否将“人物”检测为“车辆”的评价。换言之，类别增设部35，可以执行进行了再学习的物体检测模型是否容易将“人物”误检测为“车辆”的评价。类别增设部35，例如针对将“车辆”检测为“人物”的物体检测模型，将“人物”不检测为“车辆”的情况下，进行了再学习的物体检测模型的检测精度提高，可以判断为适用该进行了再学习的物体检测模型。
再学习处理装置30，可以将例如在步骤S90中执行了再学习处理的与第3物体检测模型有关的信息，发送给移动体10。换句话说，移动体10，可以从再学习处理装置30获得用于更新物体检测部11的物体检测模型的更新程序。此外，再学习处理装置30，可以将步骤S73中生成的增设检测类别时的训练数据集，输出给其他的服务器装置，该其他的服务器装置执行步骤S74、S90以及S100的处理。
此外，在步骤S74的处理，可以是移动体10的物体检测部11的物体检测模型中增加检测类别的处理。换言之，类别增设部35，可以执行在移动体10的物体检测部11的物体检测模型中，增设检测类别的处理。而且，再学习处理装置30，可以将步骤S73中生成的用于在增设检测类别时的再学习处理的训练数据集，输出给移动体10(S80)，该移动体10执行再学习处理以及评价处理(S90以及S100)。
(其他实施方式)
以上基于本公开的实施方式进行了说明，不过本发明并非受上述的实施方式的限制。
例如，在所述实施方式中，说明了移动体是汽车(自动驾驶车)的例子，但是不限于此。移动体，例如可以是飞行体(例如，drone等)或者船舶，也可以是根据拍摄周围的图像自动地移动的机器人(例如，自走式吸尘器等)。此外，不限定为由移动体具备物体检测部(物体检测装置)。本公开能够适用于具备物体检测部的所有物体。例如图14所示，该物体可以是智能手机或者平板电脑等便携式终端10a。在这个情况下，信息处理***1a，具备便携式终端10a和再学习处理装置30。另外，便携式终端10a具备的物体检测部11a和通信部12a，与实施方式涉及的物体检测部11以及通信部12同样，所以省略说明。此外，该物体可以是具备物体检测部的IoT(Internet of Things)设备等。这样，本公开涉及的再学习处理装置，不仅适用于自动驾驶车的领域，还适用于机器人或者drone、便携式终端、IoT设备等不同设备领域。
此外，在所述实施方式中，说明了NN识别执行部在步骤S60执行针对剪切图像的识别处理的例子，但是不限于此。NN识别执行部，也可以将场景图像(进行剪切之前的图像)作为输入，执行针对该场景图像的识别处理。NN识别执行部，例如将场景图像以及与该场景图像中执行识别处理的规定的区域(例如矩形区域)有关的信息作为输入，可以仅对该场景图像中的规定的区域执行识别处理。在这个情况下，可以不执行图3示出的步骤S50的处理。
此外，在所述实施方式中，说明了再学习处理装置从移动体获得包含物体检测部的检测结果的日志信息的例子，但是不限于此。在再学习处理装置，具有与移动体的物体检测部相同的物体检测模型的情况下，可以从移动体只获得图像以及检测结果之中的图像，将获得的图像输入到自身装置具备的物体检测模型而获得的输出(检测结果)，作为移动体的物体检测部的检测结果来获得。
此外，在所述实施方式中，说明了再学习处理装置在图3示出的步骤S30为“是”的情况下，执行识别处理(S60)以及分组(S71)的处理的例子，但是不限于此。再学习处理装置，可以不执行识别处理以及分组处理。再学习处理装置，可以在步骤S30为“是”的情况下，换言之有差异的情况下，制作根据该差异增设的检测类别(追加类别的一例)。再学习处理装置，可以例如通过该差异直接制作增设的检测类别。以图4A为例子进行说明时，再学习处理装置，可以根据“检测结果”和“正确答案”的差异，作为增设的检测类别，制作“车辆2”(与人物相似的车辆)。
此外，在所述实施方式中说明了在步骤S74增设1个检测类别的例子，但是可以增设2个以上的检测类别。
此外，在所述实施方式涉及的类别增设部，可以在日志信息包含的场景图像施加规定的加工，生成再学习用训练数据。类别增设部，可以执行例如增加(增强)再学习用训练数据的处理。类别增设部，可以在与剪切部剪切的剪切图像中的物体为物体类别(例如“车辆”)相同的物体映出的其他图像上，重叠或置换该剪切图像，从而增加再学习用训练数据。从而，根据错误检测或者未检测的物体(剪切图像中的物体)的本身，能够增加再学习用训练数据，所以针对该物体容易生成有效的再学习用训练数据。通过这样的重叠或者置换来生成的图像是，传感数据的加工数据的一例。另外，加工的方法，不限于此。
此外，在所述实施方式中说明的多个处理顺序是一例。多个处理的顺序可以变更，多个处理也可以并行执行。此外，多个处理的一部分也可以不执行。
此外，在实施方式说明的各个构成要素，可以作为软件来实现，典型的是作为集成电路即LSI来实现。这些可以分别单片化，或者包括一部分或者全部的方式单片化。此外，在这里称为LSI，但是根据集成度的不同，还称为IC、***LSI、超大LSI、特大LSI。此外，集成电路化的方法不限于LSI，可以用专用电路或者通用处理器来实现。也可以使用在LSI制造后可编程的FPGA(Field Programmable Gate Array：现场可编程门阵列)、或者可重构LSI内部的电路单元的连接或者设定的可重构处理器。进而，随着半导体技术的进步或者派生出的别的技术，出现能够替代LSI的集成电路化的技术时，当然可以使用该技术进行构成要素的集成化。
此外，在方框图中的对功能块的分割是一例，可以将多个功能块作为一个功能块来实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块。此外，具有类似的功能的多个功能块的功能，可以由单一的硬件或者软件并行或者分时地处理。
此外，信息处理***具备的再学习处理装置，可以作为单一的装置来实现，也可以由多个装置来实现。例如，再学习处理装置的各个处理部，可以通过2个以上的服务器装置来实现。信息处理***由多个服务器装置实现的情况下，信息处理***具备的构成要素，可以在多个服务器装置中任意地分配。此外，多个服务器装置之间的通信方法，没有特别限定。
进而，本公开的技术可以是所述程序，也可以是记录了所述程序的非暂时的计算机可读取的记录介质。此外，所述程序，当然可以经由因特网等传输介质来流通。例如，上述程序以及由上述程序而成的数字信号，经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传输。此外，上述程序以及由上述程序而成的数字信号，通过记录在记录介质并移送，或者经由网络等移送，从而可以由独立的其他的计算机***来实施。
本公开适用于在增设已学习模型的检测类别的情况下，生成用于再学习的训练用数据的信息处理方法等。
符号说明
1，1a 信息处理***
10 移动体
10a 便携式终端
11，11a 物体检测部
12，12a 通信部
20 网络
30 再学习处理装置
31 通信部(第1获得部)
32 判断部
33 剪切部
34 NN识别执行部
35 类别增设部
36 存储部
100 日志信息
101，301 图像
101a，301a，301b 物体区域
110，310，320 对象物体
120，330 剪切图像
200，300 判断信息
400 分类结果
500，600，700，800 再学习用训练数据。

Claims (10)

1.一种信息处理方法，使计算机执行如下工作，
获得第1识别结果，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，所述第1识别模型是利用机器学习进行了训练的模型，
获得与所述传感数据对应的参考数据，
对所述第1识别结果的识别对象的类别与所述参考数据的识别对象的类别的差异进行判断，
在所述差异满足规定条件的情况下，
制作针对所述第1识别模型的追加类别，
将所述传感数据或者所述传感数据的加工数据，作为针对所述追加类别的训练数据来输出。
2.如权利要求1所述的信息处理方法，
获得第2识别结果，该第2识别结果是通过向第2识别模型输入所述传感数据而输出的结果，所述第2识别模型是与所述第1识别模型不同的模型，
根据所述第2识别结果，制作所述追加类别。
3.如权利要求2所述的信息处理方法，
所述第2识别结果，包括所述识别对象的类别的1个以上的候选，
根据所述1个以上的候选，制作所述追加类别。
4.如权利要求3所述的信息处理方法，
从多个所述传感数据，获得多个所述第2识别结果，
在多个所述第2识别结果之间，所述1个以上的候选的至少一部分为相同或类似的情况下，根据所述1个以上的候选的至少一部分，制作所述追加类别。
5.如权利要求3所述的信息处理方法，
从多个所述传感数据，获得多个所述第2识别结果，
在多个所述第2识别结果之间，所述1个以上的候选的概率分布为相同或类似的情况下，根据所述1个以上的候选的所述概率分布，制作所述追加类别。
6.如权利要求2所述的信息处理方法，
所述第2识别结果，包括所述第2识别模型的中间生成物，
根据所述中间生成物，制作所述追加类别。
7.如权利要求1所述的信息处理方法，
根据所述差异，制作所述追加类别。
8.如权利要求1至7的任一项所述的信息处理方法，
所述第1识别模型是神经网络模型，
所述追加类别的制作，包括所述神经网络模型的网络结构或者参数的变更。
9.如权利要求1至8的任一项所述的信息处理方法，
所述规定条件，包括错误识别或者未识别。
10.一种信息处理***，具备：
第1获得部，获得第1识别结果，该第1识别结果是通过向第1识别模型输入传感数据而输出的结果，所述第1识别模型是利用机器学习进行了训练的模型；
第2获得部，获得与所述传感数据对应的参考数据；
判断部，对所述第1识别结果的识别对象的类别与所述参考数据的识别对象的类别的差异进行判断；以及
类别增设部，在所述差异满足规定条件的情况下，制作针对所述第1识别模型的追加类别，将所述传感数据或者所述传感数据的加工数据，作为针对所述追加类别的训练数据来输出。
CN202080011026.XA 2019-06-25 2020-04-03 信息处理方法、以及信息处理*** Pending CN113366493A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-117224 2019-06-25
JP2019117224 2019-06-25
PCT/JP2020/015401 WO2020261700A1 (ja) 2019-06-25 2020-04-03 情報処理方法、及び、情報処理システム

Publications (1)

Publication Number Publication Date
CN113366493A true CN113366493A (zh) 2021-09-07

Family

ID=74060208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011026.XA Pending CN113366493A (zh) 2019-06-25 2020-04-03 信息处理方法、以及信息处理***

Country Status (5)

Country Link
US (1) US20210342631A1 (zh)
EP (1) EP3992906A4 (zh)
JP (1) JP7486079B2 (zh)
CN (1) CN113366493A (zh)
WO (1) WO2020261700A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022004448A1 (ja) * 2020-07-03 2022-01-06 ソニーグループ株式会社 情報処理装置、および情報処理方法、情報処理システム、並びにプログラム
JP2022150562A (ja) * 2021-03-26 2022-10-07 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7058364B1 (ja) * 2021-05-13 2022-04-21 Kddi株式会社 情報処理装置、情報処理プログラム、情報処理方法及び飛行装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324226A (ja) 2001-04-25 2002-11-08 Fuji Electric Co Ltd ニューロシステム及びその構築方法
JP2016099716A (ja) 2014-11-19 2016-05-30 キヤノン株式会社 システム、識別装置、識別モデル生成装置、情報処理方法及びプログラム
US20170039469A1 (en) * 2015-08-04 2017-02-09 Qualcomm Incorporated Detection of unknown classes and initialization of classifiers for unknown classes
EP3478728A4 (en) * 2016-06-30 2019-07-17 Konica Minolta Laboratory U.S.A., Inc. LEARNING METHOD AND SYSTEM FOR CELL ANNOTATION WITH ADAPTIVE INCREMENTAL LEARNING

Also Published As

Publication number Publication date
US20210342631A1 (en) 2021-11-04
JPWO2020261700A1 (zh) 2020-12-30
EP3992906A4 (en) 2022-07-27
EP3992906A1 (en) 2022-05-04
WO2020261700A1 (ja) 2020-12-30
JP7486079B2 (ja) 2024-05-17

Similar Documents

Publication Publication Date Title
US11586856B2 (en) Object recognition device, object recognition method, and object recognition program
CN109389863B (zh) 提示方法及相关设备
CN113366493A (zh) 信息处理方法、以及信息处理***
KR101848019B1 (ko) 차량 영역 검출을 통한 차량 번호판 검출 방법 및 장치
JP5127392B2 (ja) 分類境界確定方法及び分類境界確定装置
US9626599B2 (en) Reconfigurable clear path detection system
US11132563B2 (en) Method for identifying objects in an image of a camera
US10776642B2 (en) Sampling training data for in-cabin human detection from raw video
Ciberlin et al. Object detection and object tracking in front of the vehicle using front view camera
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
EP2722815A1 (en) Object recognition device
US20230245466A1 (en) Vehicle Lidar System and Object Classification Method Therewith
CN116434162A (zh) 用于减少在车辆的周围环境中的跟踪对象的漏检测的***和方法
CN112668523B (zh) 车辆行驶异常检测方法、装置、电子设备及存储介质
US11113566B2 (en) Image processing system, method, and apparatus specifying an object included in a captured image outside a vehicle
EP4113377A1 (en) Use of dbscan for lane detection
US11977980B2 (en) Information processing method and information processing system
CN112639804A (zh) 识别车辆中的手势的方法
US20220139071A1 (en) Information processing device, information processing method, information processing program, and information processing system
US20230033243A1 (en) Systems and methods for object proximity monitoring around a vehicle
CN111539243B (zh) 用于感兴趣对象的探测中的持续改进的自动数据收集
US20230394842A1 (en) Vision-based system with thresholding for object detection
US20220309799A1 (en) Method for Automatically Executing a Vehicle Function, Method for Evaluating a Computer Vision Method and Evaluation Circuit for a Vehicle
US20230334870A1 (en) Scene Classification Method, Apparatus and Computer Program Product
Qiu et al. Improved Sensor Error Definitions for Reliability Analysis of Multi-Sensor Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination