CN110998654A - 模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法 - Google Patents

模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法 Download PDF

Info

Publication number
CN110998654A
CN110998654A CN201880049103.3A CN201880049103A CN110998654A CN 110998654 A CN110998654 A CN 110998654A CN 201880049103 A CN201880049103 A CN 201880049103A CN 110998654 A CN110998654 A CN 110998654A
Authority
CN
China
Prior art keywords
image data
model
monitoring
learning
monitoring target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880049103.3A
Other languages
English (en)
Other versions
CN110998654B (zh
Inventor
野村真澄
立石浩毅
高须素志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Hitachi Power Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Hitachi Power Systems Ltd filed Critical Mitsubishi Hitachi Power Systems Ltd
Publication of CN110998654A publication Critical patent/CN110998654A/zh
Application granted granted Critical
Publication of CN110998654B publication Critical patent/CN110998654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

图像取得部取得拍摄正常的监视对象得到的图像数据。图像处理部针对图像数据，在不超出监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据。学习部以多个复制图像数据作为教师数据，使模型以从拍摄监视对象得到的图像数据输出用于监视对象的正常性的判断的值的方式进行学习。

Description

模型学习装置、学习完成模型的生成方法、程序、学习完成模 型、监视装置以及监视方法
技术领域
本发明涉及模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法。
本申请基于2017年7月27日向日本申请的日本特愿2017-145268号而主张优先权，并将其内容援引于此。
背景技术
在专利文献1中公开了如下那样的技术，预先通过监视对象的过去的正常时的图像的学习来生成正常规范图像，将拍摄监视对象得到的图像与正常规范图像进行比较，从而判断监视对象的正常性。
在专利文献2中公开了如下那样的技术，在与机器学习相关的模型的学习时，对作为教师数据的图像进行滤波处理、修剪处理以及旋转处理，从而在节省进行打标签的工夫的同时增加教师数据。
现有技术文献
专利文献
专利文献1：日本特开平7-78239号公报
专利文献2：日本特开2016-62524号公报
发明内容
发明所要解决的课题
在专利文献1所记载的发明中，为了生成正常规范图像，需要大量地准备监视对象的正常时的图像。另一方面，期望尽快地实施监视对象的正常性的判断，在该情况下，存在无法准备足够的图像以用于学习的可能性。
本发明的目的在于，提供即使在教师数据较少的状态下，也能够通过学习完成模型来适当地判断监视对象的正常性的模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法。
用于解决课题的方案
根据本发明的第一方案，模型学习装置具备：图像取得部，其取得拍摄正常的监视对象得到的图像数据；图像处理部，其针对所述图像数据，在不超出所述监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据；以及学习部，其以所述多个复制图像数据作为教师数据，使模型以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行学习。
根据本发明的第二方案，对于第一方案的模型学习装置，可以是，所述图像数据包括根据所述监视对象的温度而色调不同的热图像，所述图像处理部进行将所述图像数据的色调校正为与所述监视对象的环境温度的变化范围内的不同温度相当的色调的图像处理，从而生成所述多个复制图像数据。
根据本发明的第三方案，对于第二方案的模型学习装置，可以是，所述模型学习装置还具备：温度取得部，其取得表示拍摄到所述图像数据时的所述监视对象的环境温度的温度数据；以及校正值确定部，其基于所述图像数据和所述温度数据，确定温度变化与色调的校正值的关系，所述图像处理部针对所述图像数据，进行使用了基于所述校正值确定部所确定的所述关系而确定的所述校正值的图像处理。
根据本发明的第四方案，对于第一至第三方案中任一方案的模型学习装置，可以是，所述图像处理部进行将所述图像数据的色调校正为与所述监视对象的环境的照度的变化范围内的不同照度相当的色调的图像处理，从而生成所述多个复制图像数据。
根据本发明的第五方案，对于第一至第四方案中任一方案的模型学习装置，可以是，所述模型学习装置还具备分割部，其将所述图像数据分割而生成多个分割图像数据，所述图像处理部针对所述多个分割图像数据中的每个，进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据。
根据本发明的第六方案，学习完成模型的生成方法包括以下步骤：取得拍摄正常的监视对象得到的图像数据；针对所述图像数据，在不超出所述监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据；以及以所述多个复制图像数据作为教师数据，使模型以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行学习，由此生成学习完成模型。
根据本发明的第七方案，用于使计算机执行以下步骤：取得拍摄正常的监视对象得到的图像数据；针对所述图像数据，在不超出所述监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据；以及以所述多个复制图像数据作为教师数据，使模型以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行学习。
根据本发明的第八方案，学习完成模型是以针对拍摄正常时的监视对象得到的图像数据不超出正常范围地进行伴随色调的变更的不同的图像处理而生成的多个复制图像数据作为教师数据、以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行了学习而成的学习完成模型，其中，所述学习完成模型用于使计算机执行以下步骤：从所取得的所述图像数据，输出用于所述监视对象的正常性的判断的值。
根据本发明的第九方案，监视装置具备：图像取得部，其取得拍摄到的图像数据；推断处理部，其使用第八方案的学习完成模型，从所述图像数据而算出用于所述监视对象的正常性的判断的值；以及判断部，其使用所算出的所述值，判断所述监视对象的正常性。
根据本发明的第十方案，监视方法包括以下步骤：取得拍摄监视对象得到的图像数据；使用由第九方案的模型学习装置学习到的学习完成模型，从所述图像数据而算出用于所述监视对象的正常性的判断的值；以及使用所算出的所述值，判断所述监视对象的正常性。
发明效果
根据上述方案中的至少一个方案，模型学习装置即使在教师数据较少的状态下，也能够通过学习完成模型来适当地判断监视对象的正常性。
附图说明
图1是示出第一实施方式的监视***的结构的概要图。
图2是示出第一实施方式的监视装置的结构的概要框图。
图3是示出由第一实施方式的监视装置进行的的学习完成模型的生成方法的流程图。
图4是示出由第一实施方式的监视装置进行的正常性的判断方法的流程图。
图5是示出第三实施方式的监视装置的结构的概要框图。
图6是示出第三实施方式的图像数据的分割例的图。
图7是示出至少一个实施方式的计算机的结构的概要框图。
具体实施方式
<定义>
“确定”是指，使用第一值来确定能够取多个值的第二值。例如，“确定”包括：根据第一值算出第二值、参照表格读出与第一值对应的第二值、以第一值作为条件来检索第二值、基于第一值从多个候补中选择第二值。
“取得”是指，重新取得值。例如，“取得”包括：接收值、接受值的输入、从表格中读出值、算出值、测量值。
<第一实施方式>
以下，参照附图对实施方式进行详细说明。
图1是示出第一实施方式的监视***的结构的概要图。
第一实施方式的监视***10基于邻近法而从图像数据来判断监视对象100的正常性。邻近法是从多个样本数据中提取对象数据附近的样本数据，并基于所提取的样本数据来判断正常性的方法。作为邻近法的例子，可以举出k邻近法、局部离群法。
监视***10具备摄像装置200和监视装置300。
摄像装置200对监视对象100进行拍摄，得到可视图像数据、红外图像数据、以及热图像数据。可视图像数据是通过由监视对象100反射的可视光的测量而得到的图像数据。红外图像数据是摄像装置200进行投光，通过由监视对象100反射的红外线的测量而得到的图像数据。热图像数据是通过从监视对象100放射的红外线的测量而得到的图像数据。摄像装置200每隔一定周期拍摄图像数据。
监视装置300基于摄像装置200拍摄到的图像数据来判断监视对象100的正常性。
图2是示出第一实施方式的监视装置的结构的概要框图。
监视装置300具备图像取得部301、温度取得部302、历史信息存储部303、校正值确定部304、图像处理部305、学习部306、模型存储部307、推断处理部308、判断部309、输出控制部310。
图像取得部301取得摄像装置200拍摄到的可视图像数据、红外图像数据、以及热图像数据。
历史信息存储部303将图像数据与拍摄时刻建立关联地存储。历史信息存储部303存储的图像数据全部是拍摄正常的监视对象100而得到的图像数据。
温度取得部302取得表示摄像装置200拍摄到图像数据的时刻下的监视对象100的环境温度的温度数据。例如，温度取得部302经由网络取得设置有监视对象100的地域的气象信息。
校正值确定部304确定用于图像数据的图像处理的校正值。具体而言，校正值确定部304基于历史信息存储部303存储的可视图像数据，根据监视对象100的环境照度来确定用于使可视图像数据的色调发生变化的伽马校正值。即，校正值确定部304基于历史信息存储部303存储的可视图像数据，确定可视图像数据的平均亮度的增量与伽马校正值的关系。关于可视图像数据，环境照度越低，则亮度越低，且对比度越低。另外，校正值确定部304基于历史信息存储部303存储的热图像数据，根据环境温度来确定用于使热图像数据的色调发生变化的伽马校正值。即，校正值确定部304基于历史信息存储部303存储的热图像数据，确定温度的增量与伽马校正值的关系。关于热图像数据，温度越低，则亮度越低。
图像处理部305通过对图像数据进行多个不同的图像处理，从而生成多个复制图像数据。作为图像处理的例子，可以举出平滑化处理、伽马校正、边缘提取、平行移动、旋转等。伽马校正是伴随色调变更的图像处理的一例。例如，图像处理部305针对A个图像数据进行B图案的平滑化处理、C图案的伽马校正、D图案的平行移动、E图案的旋转，从而生成A×B×C×D×E个复制图像数据。图像处理部305在不超出监视对象100的正常范围的范围内进行伴随色调的变更的不同的图像处理。例如，图像处理部305在进行热图像的图像处理情况下，以使图像数据的色调在规定期间的最高气温至最低气温的温度范围内发生变化的方式进行图像处理。另外，例如，图像处理部305在进行可视图像的图像处理的情况下，以使图像数据的色调在照明的开始到结束的照度范围内发生变化的方式进行图像处理。
学习部306以历史信息存储部303存储的图像数据、和图像处理部305生成的复制图像数据作为教师数据，使模型进行学习。即，学习部306使向图像取得部301输入的图像数据、和图像处理部305生成的复制图像数据作为邻近法的样本数据而存储于模型存储部307。包含多个复制图像数据的样本数据组是学习完成模型的一例。
模型存储部307存储由学习部306学习得到的模型。
推断处理部308使用模型存储部307存储的模型，从向图像取得部301输入的图像数据，算出表示监视对象100的正常性的指标值。监视对象100异常的可能性越高，则指标值的值越大。
判断部309通过比较推断处理部308所算出的指标值与阈值，判断监视对象100的正常性。判断部309在指标值小于阈值的情况下，判断为监视对象100正常。判断部309在指标值为阈值以上的情况下，判断为监视对象100异常。
输出控制部310使判断部309的判断结果向输出装置输出。作为输出装置的例子，可以举出显示器、打印机、扬声器等。
接下来，对第一实施方式的监视装置的动作进行说明。监视装置300的图像取得部301在制作学习完成模型前，从摄像装置200取得图像数据，并将该图像数据与拍摄时刻建立关联地记录于历史信息存储部303。由此，监视装置300将多个图像数据存储于历史信息存储部303。此时，监视装置300可以预先将图像数据中的、由于发黑(blocked up shadows)或泛白(blown out highlights)而无法再现监视对象100的图像的图像数据排除在外。
图3是示出由第一实施方式的监视装置进行的的学习完成模型的生成方法的流程图。
监视装置300的温度取得部302取得表示历史信息存储部303存储的图像数据的拍摄时刻下的监视对象100的环境温度的温度数据(步骤S1)。校正值确定部304基于历史信息存储部303存储的多个热图像数据的色调、和该热图像数据的拍摄时的环境温度，确定温度的增量与伽马校正值的关系(步骤S2)。例如，校正值确定部304针对两个热图像数据，求出亮度之差成为最小的伽马校正值，并求出该两个热图像数据的环境温度差，从而能够求出伽马校正值与温度的增量的关系。另外，校正值确定部304基于历史信息存储部303存储的多个可视图像数据的色调，确定平均亮度的增量与伽马校正值的关系(步骤S3)。
图像处理部305基于温度取得部302取得的温度数据、或其他气象数据，确定以当前时刻为起点的规定期间内(例如，2个月内)的最高气温与最低气温(步骤S4)。图像处理部305针对历史信息存储部303存储的各个热图像数据，分别使用与从该热图像数据的环境温度至将最高气温与最低气温的范围分割为规定数量的各温度为止的增量对应的伽马校正值来进行伽马校正，从而生成多个复制图像数据(步骤S5)。例如，在最高气温为10℃，最低气温为-10℃，某热图像数据的环境温度为0℃，将最高气温与最低气温分割为5部分的情况下，图像处理部305使用与增量-10℃对应的伽马校正值、与增量-5℃对应的伽马校正值、与增量5℃对应的伽马校正值、与增量10℃对应的伽马校正值，进行热图像数据的伽马校正，从而生成4个复制图像数据。
图像处理部305基于历史信息存储部303存储的可视图像数据，确定平均亮度的最大值与最小值(步骤S6)。图像处理部305针对历史信息存储部303存储的各个可视图像数据，分别使用与从该可视图像数据的平均亮度至将平均亮度的范围分割为规定数量的各亮度为止的增量对应的伽马校正值来进行伽马校正，从而生成多个复制图像数据(步骤S7)。
图像处理部305针对历史信息存储部303存储的各图像数据、以及各复制图像数据，进行至少包括平滑化处理在内的其他图像处理，从而进一步生成多个复制图像数据(步骤S8)。
学习部306以历史信息存储部303存储的图像数据以及图像处理部305生成的多个复制图像数据作为教师数据使模型进行学习(步骤S9)，并将学习完成模型记录于模型存储部307(步骤S10)。
当将学习完成模型存储于模型存储部307时，监视装置300在与一定周期相关的每个时机，进行监视对象100的正常性判断处理。图4是示出由第一实施方式的监视装置进行的正常性的判断方法的流程图。
监视装置300的图像取得部301从摄像装置200取得图像数据(步骤S51)。接下来，图像处理部305将取得的图像数据平滑化(步骤S52)。推断处理部308向模型存储部307存储的学***滑化后的图像数据，从而算出指标值(步骤S53)。
例如，推断处理部308在通过k邻近法算出指标值的情况下，进行以下的处理。推断处理部308针对构成学习完成模型的各样本数据，算出其与所取得的图像数据的距离。推断处理部308将算出的距离为最短的k个样本数据的距离的代表值确定为指标值。
例如，推断处理部308在通过局部离群因子法算出指标值的情况下，进行以下的处理。推断处理部308针对构成学习完成模型的各样本数据，算出其与取得的图像数据的距离。推断处理部308算出所算出的距离为最短的k个样本数据的密度。推断处理部308将基于所算出的密度对k个样本数据的距离的代表值进行标准化而得到的值确定为指标值。
样本数据与取得的图像数据的距离、样本数据的密度、以及指标值是“用于监视对象的正常性的判断的值”的一例。
接下来，判断部309判断指标值是否小于阈值(步骤S54)。在指标值小于阈值的情况下(步骤S54：是)，判断部309判断为监视对象100正常(步骤S55)。另一方面，在指标值为阈值以上的情况下(步骤S54：否)，判断部309判断为监视对象100异常(步骤S56)。
接着，输出控制部310将判断部309的判断结果向输出装置输出(步骤S57)。
这样，第一实施方式的监视装置300针对拍摄正常的监视对象得到的图像数据，在不超出监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据，并以该多个复制图像数据作为教师数据使模型进行学习。由此，监视装置300能够根据较少的图像数据生成大量的教师数据。由此，根据第一实施方式的监视***10，即使在原本的教师数据较少的情况下，也能够通过学习完成模型来适当地判断监视对象的正常性。需要说明的是，在第一实施方式中，作为伴随色调的变更的不同的图像处理，使用了使伽马校正值不同后的伽马校正，但并不限定于此。例如，在其他实施方式中，也可以实施使校正值不同后的对比度校正、亮度校正等其他图像处理。
第一实施方式的图像处理部305进行将热图像数据的色调校正为与监视对象100的环境温度的变化范围内的不同温度相当的色调的图像处理，从而生成多个复制图像数据。由此，图像处理部305能够生成表示实际未观测到的环境温度下的监视对象100的状态的热图像数据。另外，校正值确定部304基于图像数据和拍摄时的环境温度，来确定温度变化与色调的校正值的关系。由此，监视装置300能够以成为与目标温度对应的色调的方式进行图像处理。
第一实施方式的图像处理部305进行将可视图像数据的色调校正为与监视对象100的环境的照度的变化范围内的不同照度相当的色调的图像处理，从而生成多个复制图像数据。由此，图像处理部305能够生成表示实际未观测到的照明环境下的监视对象100的状态的可视图像数据。
另外，第一实施方式的监视装置300作为学习完成模型而学习监视对象100的正常时的状态。即，在第一实施方式的监视装置300中，作为教师数据而仅使用正常时的监视装置300拍摄的图像数据，不使用异常时的监视装置300拍摄的图像数据。因此，监视装置300在使用各图像数据作为教师数据时，需要附加表示正常或异常的标签。
然而，由于继续进行监视对象100的监视，由摄像装置200拍摄的图像数据的数量逐渐增加。因此，由于学习部306适当更新模型存储部307存储的模型，构成学习完成模型的原始的(非复制图像数据)图像数据的数量增加。原始的图像数据与复制图像数据相比，作为教师数据的可靠性较高。因此，监视装置300可以以下述方式形成模型：在选择输入的图像数据附近的样本数据时，与复制图像数据相比而容易选择原始的图像数据。例如，在样本数据的数量达到规定数量的状态下重新取得了原始的图像数据时，学习部306可以将原始的图像数据添加为样本数据，并且删除作为复制图像数据的样本数据，从而更新学习完成模型。另外，例如，推断处理部308也可以在样本数据的选择时，在原始的图像数据的距离上乘以小于1的权重，从而容易选择原始的图像数据。其中，推断处理部308在使用所选择的样本数据算出指标值时，基于未考虑权重的距离来算出指标值。
<第二实施方式>
第一实施方式的监视***10基于邻近法而从图像数据来判断监视对象100的正常性。与此相对，第二实施方式的监视***10基于神经网络而从图像数据来判断监视对象100的正常性。
第二实施方式的监视装置300与第一实施方式相比，模型存储部307存储的模型、以及学习部306、推断处理部308及判断部309的处理不同。
模型存储部307存储由输入层、中间层、以及输出层构成的神经网络模型。输入层以及输出层的节点数与图像数据的像素数相等。学习完成模型作为将向输入层输入的图像数据在压缩后复原并输出的自动编码器而发挥功能。学习完成模型输出的图像数据是“用于监视对象的正常性的判断的值”的一例。
学习部306以历史信息存储部303存储的图像数据、和图像处理部305生成的复制图像数据作为教师数据，使模型进行学习。即，学习部306向模型存储部307存储的模型的输入层和输出层输入教师数据，对输入层和中间层中的各节点的权重系数以及激活函数进行学习。教师数据均是映有正常时的监视对象100的图像数据。因此，学习完成模型以从输入的图像数据输出映有正常时的监视对象100的图像数据的方式进行学习。即，期待将映有异常时的监视对象100的图像数据向学习完成模型输入，而学习完成模型输出映有与原始的图像数据相比更接近正常的监视对象100的图像数据。
推断处理部308使用模型存储部307存储的学习完成模型，从输入至图像取得部301的图像数据，再次生成图像数据。学习完成模型基于映有正常时的监视对象100的图像数据来进行学习，因此监视对象100异常的可能性越高，则输入的图像数据与再次生成的图像数据之差越大。
判断部309算出推断处理部308再次生成的图像数据与输入的图像数据之差，并对该差与阈值进行比较，从而判断监视对象100的正常性。判断部309在再次生成的图像数据与输入的图像数据之差小于阈值的情况下，判断为监视对象100正常。判断部309在指标值为阈值以上的情况下，判断为监视对象100异常。
这样，第二实施方式的监视装置300与第一实施方式的监视装置300同样地，即使在原本的教师数据较少的状态下，也能够通过学习完成模型来适当地判断监视对象的正常性
需要说明的是，第二实施方式的学习完成模型输出再次生成的图像，但并不限定于此。例如，在其他实施方式中，也可以输出学习完成模型再次生成的图像数据与输入的图像数据之差。在该情况下，再次生成的图像数据与输入的图像数据之差是“用于监视对象的正常性的判断的值”的一例。
然而，由于继续进行监视对象100的监视，学习部306适当更新模型存储部307存储的模型，因此在学习完成模型的学习中所使用的图像数据的环境温度的最大值至最小值的范围变大。例如，若学习持续进行半年，则学习完成模型使用映有夏季的监视对象100的图像数据进行学习，并且也使用映有冬季的监视对象100的图像数据进行学习。在该情况下，例如当以监视对象100处于过热状态的热图像数据作为输入而使学习完成模型再次生成图像数据时，存在输入的图像数据与再次生成的图像数据之差为阈值以下的可能性。这是因为，学习完成模型使用夏季的图像数据进行了学习，从而作为与夏季的正常时的温度相关的图像数据而再次生成。因此，监视装置300可以以总是根据规定期间的图像数据来进行学习的方式更新学习模型。例如，学习部306可以定期地使用历史信息存储部303存储的图像数据中的在最新的规定期间拍摄到的图像数据来使模型进行学习，对旧的模型进行覆盖并将其记录于模型存储部307。
<第三实施方式>
第三实施方式的监视***10输出监视对象100中的发生了异常的部分。
图5是示出第三实施方式的监视装置的结构的概要框图。
第三实施方式的监视装置300除了第一、第二实施方式的结构以外，还具备分割部311和异常确定部312。
图6是示出第三实施方式的图像数据的分割例的图。
分割部311将图像取得部301取得的图像数据分割为多个区域，生成分割图像数据。例如，分割部311生成将图像数据沿纵向4等分、沿横向4等分后的16个分割图像数据。图像处理部305对各分割图像数据进行图像处理，生成复制图像数据。
学习部306针对由分割部311分割的多个区域中的每一个，以分割图像数据以及复制图像数据作为教师数据来使模型进行学习。模型存储部307按分割的每个区域存储学习完成模型。
推断处理部308将由分割部311分割的分割图像数据分别输入对应的学习完成模型，从而算出各区域的指标值。判断部309比较各区域的指标值与阈值，在关于至少一个区域的指标值为阈值以上的情况下，判断为监视对象100异常。异常确定部312通过确定指标值为阈值以上的区域，从而确定监视对象100中的发生了异常的部分。输出控制部310将表示由异常确定部312确定的部分的信息向输出装置输出。
这样，根据第三实施方式，监视装置300分割图像数据从而生成多个分割图像数据，对分割图像数据分别进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据。由此，监视装置300能够基于图像数据确定发生了异常的部分。
<变形例>
以上，参照附图对一实施方式进行了详细地说明，但具体的结构并不限定于上述内容，能够进行各种设计变更等。
例如，在上述的实施方式中，监视装置300进行模型的学习以及基于模型的推断，但并不限定于此。例如，在其他实施方式中，可以单独设置模型学习装置和监视装置300，模型学习装置进行模型的学习，监视装置300进行基于模型的推断。
图7是示出至少一个实施方式的计算机的结构的概要框图。
计算机900具备CPU901、主存储装置902、辅助存储装置903和接口904。
上述的监视装置300安装于计算机900。并且，上述的各处理部的动作以程序的形式存储于辅助存储装置903。CPU901从辅助存储装置903读出程序并将其在主存储装置902中展开，按照该程序执行上述处理。另外，CPU901按照程序在主存储装置902或辅助存储装置903中确保与上述的各存储部对应的存储区域。
作为辅助存储装置903的例子，可以举出HDD(Hard Disk Drive)、SSD(SolidState Drive)、磁盘、磁光盘、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、半导体存储器等。辅助存储装置903可以是与计算机900的总线直接连接的内部介质，也可以是经由接口904或通信线路与计算机900连接的外部介质。另外，在通过通信线路向计算机900分发该程序的情况下，接受了分发的计算机900也可以将该程序在主存储装置902中展开，并执行上述处理。在至少一个实施方式中，辅助存储装置903是非临时的有形的存储介质。
另外，该程序也可以用于实现前述的功能的一部分。并且，该程序也可以通过与已存储于辅助存储装置903的其他程序的组合来实现前述的功能，即也可以是所谓的差分文件(差分程序)。
工业实用性
本申请发明的模型学习装置即使在教师数据较少的状态下，也能够通过学习完成模型来适当地判断监视对象的正常性。
附图标记说明：
10…监视***；
100…监视对象；
200…摄像装置；
300…监视装置；
301…图像取得部；
302…温度取得部；
303…历史信息存储部；
304…校正值确定部；
305…图像处理部；
306…学习部；
307…模型存储部；
308…推断处理部；
309…判断部；
310…输出控制部；
311…分割部；
312…异常确定部。

Claims (10)

1.一种模型学习装置，其中，
所述模型学习装置具备：
图像取得部，其取得拍摄正常的监视对象得到的图像数据；
图像处理部，其针对所述图像数据，在不超出所述监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据；以及
学习部，其以所述多个复制图像数据作为教师数据，使模型以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行学习。
2.根据权利要求1所述的模型学习装置，其中，
所述图像数据包括根据所述监视对象的温度而色调不同的热图像，
所述图像处理部进行将所述图像数据的色调校正为与所述监视对象的环境温度的变化范围内的不同温度相当的色调的图像处理，从而生成所述多个复制图像数据。
3.根据权利要求2所述的模型学习装置，其中，
所述模型学习装置还具备：
温度取得部，其取得表示拍摄到所述图像数据时的所述监视对象的环境温度的温度数据；以及
校正值确定部，其基于所述图像数据和所述温度数据，确定温度变化与色调的校正值的关系，
所述图像处理部针对所述图像数据，进行使用了基于所述校正值确定部所确定的所述关系而确定的所述校正值的图像处理。
4.根据权利要求1至3中任一项所述的模型学习装置，其中，
所述图像处理部进行将所述图像数据的色调校正为与所述监视对象的环境的照度的变化范围内的不同照度相当的色调的图像处理，从而生成所述多个复制图像数据。
5.根据权利要求1至4中任一项所述的模型学习装置，其中，
所述模型学习装置还具备分割部，其将所述图像数据分割而生成多个分割图像数据，
所述图像处理部针对所述多个分割图像数据中的每个，进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据。
6.一种学习完成模型的生成方法，其中，
所述学习完成模型的生成方法包括以下步骤：
取得拍摄正常的监视对象得到的图像数据；
针对所述图像数据，在不超出所述监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据；以及
以所述多个复制图像数据作为教师数据，使模型以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行学习，由此生成学习完成模型。
7.一种程序，其中，
所述程序用于使计算机执行以下步骤：
取得拍摄正常的监视对象得到的图像数据；
针对所述图像数据，在不超出所述监视对象的正常范围的范围内进行伴随色调的变更的不同的图像处理，从而生成多个复制图像数据；以及
以所述多个复制图像数据作为教师数据，使模型以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行学习。
8.一种学习完成模型，其是以针对拍摄正常时的监视对象得到的图像数据不超出正常范围地进行伴随色调的变更的不同的图像处理而生成的多个复制图像数据作为教师数据、以从拍摄所述监视对象得到的图像数据输出用于所述监视对象的正常性的判断的值的方式进行了学习而成的学习完成模型，其中，
所述学习完成模型用于使计算机执行以下步骤：
从所取得的所述图像数据，输出用于所述监视对象的正常性的判断的值。
9.一种监视装置，其中，
所述监视装置具备：
图像取得部，其取得拍摄到的图像数据；
推断处理部，其使用权利要求8所述的学习完成模型，从所述图像数据而算出用于所述监视对象的正常性的判断的值；以及
判断部，其使用所算出的所述值，判断所述监视对象的正常性。
10.一种监视方法，其中，
所述监视方法包括以下步骤：
取得拍摄监视对象得到的图像数据；
使用权利要求8所述的学习完成模型，从所述图像数据而算出用于所述监视对象的正常性的判断的值；以及
使用所算出的所述值，判断所述监视对象的正常性。
CN201880049103.3A 2017-07-27 2018-07-13 模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法 Active CN110998654B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017145268A JP6936650B2 (ja) 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
JP2017-145268 2017-07-27
PCT/JP2018/026457 WO2019021855A1 (ja) 2017-07-27 2018-07-13 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法

Publications (2)

Publication Number Publication Date
CN110998654A true CN110998654A (zh) 2020-04-10
CN110998654B CN110998654B (zh) 2024-03-26

Family

ID=65040658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880049103.3A Active CN110998654B (zh) 2017-07-27 2018-07-13 模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法

Country Status (6)

Country Link
US (1) US11416705B2 (zh)
JP (1) JP6936650B2 (zh)
KR (1) KR102395357B1 (zh)
CN (1) CN110998654B (zh)
DE (1) DE112018003815T5 (zh)
WO (1) WO2019021855A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050973A2 (en) * 2018-08-22 2020-03-12 Florent Technologies, Llc Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input
WO2021234782A1 (ja) * 2020-05-18 2021-11-25 日本電信電話株式会社 画像処理装置、方法およびプログラム
KR102452394B1 (ko) * 2020-06-11 2022-10-11 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
WO2022024165A1 (ja) * 2020-07-27 2022-02-03 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
CN112985263B (zh) * 2021-02-09 2022-09-23 中国科学院上海微***与信息技术研究所 一种弓网几何参数检测方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271529A (zh) * 2007-03-23 2008-09-24 株式会社日立制作所 异常检测装置以及异常检测程序
JP2008232898A (ja) * 2007-03-22 2008-10-02 Railway Technical Res Inst パッシブ赤外線法によるコンクリート構造物の剥離検知方法及びそのための赤外線カメラ
CN102609962A (zh) * 2012-01-18 2012-07-25 中国人民解放军61517部队 热红外图像模拟方法
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
CN105748046A (zh) * 2016-02-05 2016-07-13 福建农林大学 基于红外热像图的温度信息监测方法及其***
CN106874926A (zh) * 2016-08-04 2017-06-20 阿里巴巴集团控股有限公司 基于图像特征的业务异常检测方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778239A (ja) 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP5834850B2 (ja) * 2011-12-02 2015-12-24 ソニー株式会社 撮像装置、色補正方法および色補正プログラム
JP5821590B2 (ja) * 2011-12-06 2015-11-24 富士ゼロックス株式会社 画像識別情報付与プログラム及び画像識別情報付与装置
JP6435740B2 (ja) 2014-09-22 2018-12-12 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
SE539630C2 (en) * 2016-02-24 2017-10-24 Fingerprint Cards Ab Method and system for controlling an electronic device
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置
KR101947782B1 (ko) * 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232898A (ja) * 2007-03-22 2008-10-02 Railway Technical Res Inst パッシブ赤外線法によるコンクリート構造物の剥離検知方法及びそのための赤外線カメラ
CN101271529A (zh) * 2007-03-23 2008-09-24 株式会社日立制作所 异常检测装置以及异常检测程序
CN102609962A (zh) * 2012-01-18 2012-07-25 中国人民解放军61517部队 热红外图像模拟方法
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
CN105748046A (zh) * 2016-02-05 2016-07-13 福建农林大学 基于红外热像图的温度信息监测方法及其***
CN106874926A (zh) * 2016-08-04 2017-06-20 阿里巴巴集团控股有限公司 基于图像特征的业务异常检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王育坚 等: "《图像处理与三维可视化》", pages: 88 - 93 *

Also Published As

Publication number Publication date
US20200184265A1 (en) 2020-06-11
KR20200017521A (ko) 2020-02-18
WO2019021855A1 (ja) 2019-01-31
DE112018003815T5 (de) 2020-04-09
CN110998654B (zh) 2024-03-26
JP6936650B2 (ja) 2021-09-22
US11416705B2 (en) 2022-08-16
KR102395357B1 (ko) 2022-05-06
JP2019028591A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
CN110998654B (zh) 模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法
CN107578390B (zh) 一种使用神经网络进行图像白平衡校正的方法及装置
WO2019233355A1 (en) Method and apparatus for training, classification model, mobile terminal, and readable storage medium
US20210281748A1 (en) Information processing apparatus
US20210366132A1 (en) Image processing device, image processing method, and storage medium storing image processing program
US20110007192A1 (en) Computer readable storage medium, image correction apparatus, and image correction method
US8643751B2 (en) Method for detecting dead pixels and computer program product thereof
JP2017167624A (ja) 画像処理装置、画像処理方法、およびプログラム
CN103729828B (zh) 视频去雨方法
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
JP2009225346A (ja) 画像補正プログラム、画像補正装置および画像補正方法
KR20170038144A (ko) 어텐션 검출 장치 및 어텐션 검출 방법
JP2012142935A (ja) 夜景光源検知装置及び夜景光源検知方法
US20150365683A1 (en) Method for the compressed storage of graphical data
WO2013114803A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP4875564B2 (ja) フリッカ補正装置及びフリッカ補正方法
TWI682332B (zh) 用於識別絕育狀態影像的深度學習方法及其識別裝置
CN104301638B (zh) 坏像素处理方法与图像处理装置
CN115456907A (zh) Isp调试方法和装置、图像处理***、终端及存储介质
JP6784254B2 (ja) 滞留物体検出システム、滞留物体検出方法およびプログラム
WO2022044297A1 (ja) 情報処理方法、情報処理装置及び情報処理プログラム
WO2013114802A1 (ja) 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム
JP2016134804A (ja) 撮影範囲異常判定装置、撮影範囲異常判定方法、及び撮影範囲異常判定用コンピュータプログラム
JP2016162034A (ja) ３次元モデル生成システム、３次元モデル生成装置および３次元モデル生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Kanagawa Prefecture, Japan

Applicant after: Mitsubishi Power Co.,Ltd.

Address before: Kanagawa Prefecture, Japan

Applicant before: MITSUBISHI HEAVY INDUSTRIES, Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220419

Address after: Tokyo

Applicant after: MITSUBISHI HEAVY INDUSTRIES, Ltd.

Address before: Kanagawa County, Japan

Applicant before: Mitsubishi Power Co.,Ltd.

GR01 Patent grant
GR01 Patent grant