WO2019021855A1 - モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 - Google Patents

モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 Download PDF

Info

Publication number
WO2019021855A1
WO2019021855A1 PCT/JP2018/026457 JP2018026457W WO2019021855A1 WO 2019021855 A1 WO2019021855 A1 WO 2019021855A1 JP 2018026457 W JP2018026457 W JP 2018026457W WO 2019021855 A1 WO2019021855 A1 WO 2019021855A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
monitoring target
model
image
unit
Prior art date
Application number
PCT/JP2018/026457
Other languages
English (en)
French (fr)
Inventor
野村　真澄
浩毅 立石
素志 高須
Original Assignee
三菱日立パワーシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱日立パワーシステムズ株式会社 filed Critical 三菱日立パワーシステムズ株式会社
Priority to CN201880049103.3A priority Critical patent/CN110998654B/zh
Priority to US16/631,742 priority patent/US11416705B2/en
Priority to KR1020207001770A priority patent/KR102395357B1/ko
Priority to DE112018003815.7T priority patent/DE112018003815T5/de
Publication of WO2019021855A1 publication Critical patent/WO2019021855A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a model learning device, a method of generating a learned model, a program, a learned model, a monitoring device, and a monitoring method.
  • a model learning device a method of generating a learned model, a program, a learned model, a monitoring device, and a monitoring method.
  • a normal reference image is generated in advance by learning a past normal image of the monitoring target, and the image obtained by capturing the monitoring target is compared with the normal reference image to determine the normality of the monitoring target.
  • the image obtained by capturing the monitoring target is compared with the normal reference image to determine the normality of the monitoring target.
  • patent document 2 when learning a model related to machine learning, there is a technology for increasing the teacher data while performing the filtering process, the trimming process and the rotation process on the image which is the teacher data, eliminating the trouble of performing the labeling. It is disclosed.
  • An object of the present invention is to provide a model learning device capable of appropriately determining the normality of a monitoring target by a learned model even in a state where there is little teacher data, a method of generating a learned model, a program, a learned model, and a monitoring device , And to provide a monitoring method.
  • the model learning device exceeds the normal range of the monitoring target with respect to the image data acquiring unit that acquires the image data obtained by capturing the normal monitoring target.
  • the image processing unit that generates a plurality of copied image data by performing different image processing involving a change in color tone within a range that does not exist, and the image data obtained by capturing the monitoring target using the plurality of copied image data as teacher data
  • a learning unit configured to learn the model so as to output a value used for determining the normality of the monitoring target.
  • the image data includes a thermal image whose color tone is different depending on the temperature of the monitoring target, and the image processing unit The plurality of duplicate image data may be generated by performing image processing to correct the color tone to a color tone corresponding to a different temperature within the change range of the environmental temperature to be monitored.
  • the model learning device further includes: a temperature acquisition unit acquiring temperature data indicating an environmental temperature of the monitoring target when the image data is captured;
  • the image processing apparatus may further include a correction value identification unit that specifies a relationship between a temperature change and a correction value of color tone based on image data and the temperature data, and the image processing unit may perform the correction value correction on the image data.
  • the image processing may be performed using the correction value specified based on the relation specified by the specifying unit.
  • the image processing unit changes the color tone of the image data by changing the illuminance of the monitored environment.
  • the plurality of duplicate image data may be generated by performing image processing to correct the color tone corresponding to different illuminance within the range.
  • the model learning device according to any one of the first to fourth aspects further comprises a division unit that divides the image data to generate a plurality of divided image data,
  • the image processing unit may generate a plurality of duplicate image data by performing different image processing involving a change in color tone on each of the plurality of divided image data.
  • a method of generating a learned model includes the steps of acquiring image data in which a normal monitoring target is captured, and a normal range of the monitoring target for the image data.
  • a step of generating a plurality of duplicate image data by performing different image processing accompanied by a change in color tone within a range not exceeding the range, and image data obtained by imaging the monitoring target with the plurality of duplicate image data as teacher data Generating a learned model by learning the model so as to output a value used for determining the normality of the monitoring target.
  • the program causes the computer to acquire image data obtained by capturing a normal monitoring target, and the image data does not exceed the normal range of the monitoring target.
  • the learned model performs different image processing involving a change in color tone without exceeding the normal range on the image data in which the monitoring target in normal time is captured.
  • a learned model which is learned so as to output a value used to determine the normality of the monitoring target from image data obtained by imaging the monitoring target using the plurality of generated duplicate image data as teacher data, The computer is made to output the value used for determination of the normality of the said monitoring object from the acquired said image data.
  • the monitoring device uses the image acquisition unit for acquiring captured image data, and the learned model according to the eighth aspect, to determine whether the monitoring target is normal from the image data.
  • An inference processing unit that calculates a value used to determine a sex, and a determination unit that determines the normality of the monitoring target using the calculated value.
  • a monitoring method comprising: acquiring image data obtained by capturing a monitoring target; and using a learned model learned by the model learning device according to the ninth aspect.
  • the method may further comprise the steps of: calculating a value used to determine the normality of the monitoring target from the image data; and determining the normality of the monitoring target using the calculated value.
  • the model learning device can appropriately determine the normality of the monitoring target by the learned model even in a state in which there is little teacher data.
  • Identify is to use a first value to define a second value that can take multiple values. For example, “specify” may calculate the second value from the first value, read the second value corresponding to the first value with reference to the table, and may use the first value as the query. Searching for a value of 2 includes selecting a second value from among the plurality of candidates based on the first value. To “acquire” is to obtain a new value. For example, “acquire” includes receiving a value, receiving an input of a value, reading a value from a table, calculating a value, and measuring a value.
  • FIG. 1 is a schematic view showing the configuration of a monitoring system according to the first embodiment.
  • the monitoring system 10 determines the normality of the monitoring target 100 from the image data based on the proximity method.
  • the neighborhood method is a method of extracting sample data in the vicinity of target data from a plurality of sample data, and determining normality based on the extracted sample data. Examples of the neighborhood method include the k-nearest neighbor method and the local outlier method.
  • the monitoring system 10 includes an imaging device 200 and a monitoring device 300.
  • the imaging device 200 images the monitoring target 100 to obtain visible image data, infrared image data, and thermal image data.
  • the visible image data is image data obtained by measuring the visible light reflected by the monitoring target 100.
  • the infrared image data is image data obtained by measuring the infrared light reflected by the monitoring target 100 by the imaging device 200 projecting light.
  • Thermal image data is image data obtained by measurement of infrared rays emitted from the monitoring target 100.
  • the imaging device 200 captures image data at regular intervals.
  • the monitoring device 300 determines the normality of the monitoring target 100 based on the image data captured by the imaging device 200.
  • FIG. 2 is a schematic block diagram showing the configuration of the monitoring device according to the first embodiment.
  • the monitoring apparatus 300 includes an image acquisition unit 301, a temperature acquisition unit 302, a history storage unit 303, a correction value identification unit 304, an image processing unit 305, a learning unit 306, a model storage unit 307, an inference processing unit 308, a determination unit 309, and an output.
  • a control unit 310 is provided.
  • the image acquisition unit 301 acquires visible image data, infrared image data, and thermal image data captured by the imaging device 200.
  • the history storage unit 303 associates and stores the image data and the imaging time.
  • the image data stored in the history storage unit 303 is image data in which the normal monitoring target 100 is captured.
  • the temperature acquisition unit 302 acquires temperature data indicating the environmental temperature of the monitoring target 100 at the time when the imaging device 200 captures image data. For example, the temperature acquisition unit 302 acquires weather information of the area where the monitoring target 100 is installed via a network.
  • the correction value specifying unit 304 specifies a correction value to be used for image processing of image data. Specifically, based on the visible image data stored in the history storage unit 303, the correction value specifying unit 304 specifies a gamma correction value for changing the color tone of the visible image data according to the environmental illuminance of the monitoring target 100. Do. That is, the correction value specifying unit 304 specifies the relationship between the increment of the average lightness of the visible image data and the gamma correction value based on the visible image data stored in the history storage unit 303. In the visible image data, the lower the ambient illumination, the lower the brightness and the lower the contrast.
  • the correction value identification unit 304 identifies a gamma correction value for changing the color tone of the thermal image data according to the environmental temperature. That is, based on the thermal image data stored in the history storage unit 303, the correction value specifying unit 304 specifies the relationship between the temperature increment and the gamma correction value. Thermal image data has lower lightness at lower temperatures.
  • the image processing unit 305 generates a plurality of duplicate image data by performing a plurality of different image processes on the image data.
  • image processing include smoothing processing, gamma correction, edge extraction, translation, rotation and the like.
  • Gamma correction is an example of image processing involving tone change.
  • the image processing unit 305 performs smoothing processing of the B pattern, gamma correction of the C pattern, parallel movement of the D pattern, and rotation of the E pattern on the A pieces of image data, thereby performing A ⁇ B ⁇ C ⁇ D.
  • X E duplicate image data is generated.
  • the image processing unit 305 performs different image processing involving a change in color tone within a range not exceeding the normal range of the monitoring target 100.
  • the image processing unit 305 when performing image processing of a thermal image, performs image processing so as to change the color tone of image data within a temperature range from the highest temperature to the lowest temperature of a predetermined period. Further, for example, when performing image processing of a visible image, the image processing unit 305 performs image processing so as to change the color tone of the image data within the illuminance range from on to off of the illumination.
  • the learning unit 306 learns a model using the image data stored in the history storage unit 303 and the duplicate image data generated by the image processing unit 305 as teacher data. That is, the learning unit 306 causes the model storage unit 307 to store the image data input to the image acquisition unit 301 and the duplicate image data generated by the image processing unit 305 as sample data of the proximity method.
  • a sample data group including a plurality of duplicate image data is an example of a trained model.
  • the model storage unit 307 stores the model learned by the learning unit 306.
  • the inference processing unit 308 calculates an index value indicating the normality of the monitoring target 100 from the image data input to the image acquisition unit 301 using the model stored in the model storage unit 307.
  • the index value is a larger value as the possibility that the monitoring target 100 is abnormal is higher.
  • the determination unit 309 determines the normality of the monitoring target 100 by comparing the index value calculated by the inference processing unit 308 with the threshold value. The determination unit 309 determines that the monitoring target 100 is normal when the index value is less than the threshold. The determination unit 309 determines that the monitoring target 100 is abnormal when the index value is equal to or greater than the threshold.
  • the output control unit 310 causes the output device to output the determination result of the determination unit 309.
  • Examples of output devices include displays, printers, speakers, and the like.
  • the image acquisition unit 301 of the monitoring device 300 acquires image data from the imaging device 200, associates the image data with the imaging time, and records the image data in the history storage unit 303.
  • the monitoring apparatus 300 causes the history storage unit 303 to store a plurality of image data.
  • the monitoring apparatus 300 may exclude image data that can not reproduce the image of the monitoring target 100 due to blocked up shadows or blown out highlights.
  • FIG. 3 is a flowchart showing a method of generating a learned model by the monitoring device according to the first embodiment.
  • the temperature acquisition unit 302 of the monitoring apparatus 300 acquires temperature data indicating the environmental temperature of the monitoring target 100 at the imaging time of the image data stored in the history storage unit 303 (step S1).
  • the correction value specifying unit 304 specifies the relationship between the temperature increment and the gamma correction value based on the color tone of the plurality of thermal image data stored in the history storage unit 303 and the environmental temperature at the time of imaging the thermal image data. (Step S2).
  • the correction value specifying unit 304 obtains a gamma correction value that minimizes the difference in lightness for the two thermal image data, and further obtains the environmental temperature difference between the two thermal image data to obtain the gamma correction value.
  • the relationship between the temperature and the temperature increment can be determined.
  • the correction value specifying unit 304 specifies the relationship between the increment of the average lightness and the gamma correction value based on the color tone of the plurality of visible image data stored in the history storage unit 303 (step S3).
  • the image processing unit 305 specifies the maximum temperature and the minimum temperature in a predetermined period (for example, two months) starting from the current time, based on the temperature data acquired by the temperature acquisition unit 302 or other meteorological data Step S4).
  • the image processing unit 305 increments each of the thermal image data stored in the history storage unit 303 from the environmental temperature related to the thermal image data to each temperature obtained by dividing the range of the maximum temperature and the minimum temperature into a predetermined number
  • a plurality of duplicate image data are generated by performing gamma correction using the corresponding gamma correction values respectively (step S5).
  • the image processing unit 305 uses a gamma correction value corresponding to an increment of -10 ° C., a gamma correction value corresponding to an increment of -5 ° C., a gamma correction value corresponding to an increment of 5 ° C., and a gamma correction value corresponding to an increment of 10 ° C.
  • a gamma correction value corresponding to an increment of 10 ° C. By performing gamma correction, four duplicate image data are generated.
  • the image processing unit 305 identifies the maximum value and the minimum value of the average brightness based on the visible image data stored in the history storage unit 303 (step S6).
  • the image processing unit 305 for each of the visible image data stored in the history storage unit 303, a gamma correction value corresponding to an increment from the average brightness of the visible image data to each brightness obtained by dividing the range of the average brightness into a predetermined number A plurality of duplicate image data is generated by performing gamma correction using each of the above (step S7).
  • the image processing unit 305 further generates a plurality of copy image data by performing other image processing including at least smoothing processing on each image data stored in the history storage unit 303 and each copy image data (Step S8).
  • the learning unit 306 causes the model to be learned using the image data stored in the history storage unit 303 and the plurality of duplicate image data generated by the image processing unit 305 as teacher data (step S9), and stores the learned model in the model storage unit 307. (Step S10).
  • FIG. 4 is a flowchart showing a method of determining normality by the monitoring device according to the first embodiment.
  • the image acquisition unit 301 of the monitoring device 300 acquires image data from the imaging device 200 (step S51).
  • the image processing unit 305 smoothes the acquired image data (step S52).
  • the inference processing unit 308 calculates the index value by inputting the smoothed image data to the learned model stored in the model storage unit 307 (step S53).
  • the inference processing unit 308 when calculating the index value by the k-nearest neighbor method, performs the following process.
  • the inference processing unit 308 calculates a distance between the sample data forming the learned model and the acquired image data.
  • the inference processing unit 308 specifies, as an index value, a representative value of distances relating to the k sample data with the shortest calculated distance.
  • the inference processing unit 308 performs the following processing.
  • the inference processing unit 308 calculates a distance between the sample data forming the learned model and the acquired image data.
  • the inference processing unit 308 calculates the density of k sample data with the shortest calculated distance.
  • the inference processing unit 308 specifies, as an index value, a value normalized based on the density at which the representative value of distances relating to k sample data is calculated.
  • the distance between the sample data and the acquired image data, the density of the sample data, and the index value are examples of “values used for determination of normality of the monitoring target”.
  • the determination unit 309 determines whether the index value is less than the threshold (step S54). If the index value is less than the threshold (step S54: YES), the determining unit 309 determines that the monitoring target 100 is normal (step S55). On the other hand, when the index value is equal to or greater than the threshold (step S54: NO), the determination unit 309 determines that the monitoring target 100 is abnormal (step S56). Then, the output control unit 310 causes the output device to output the determination result of the determination unit 309 (step S57).
  • the monitoring apparatus 300 performs different image processing involving a change in color tone within a range not exceeding the normal range of the monitoring target for the image data in which the normal monitoring target is captured. To generate a plurality of duplicate image data, and use them as teacher data to learn a model. Thus, the monitoring device 300 can generate a large amount of teacher data from a small amount of image data. Therefore, according to the monitoring system 10 according to the first embodiment, the normality of the monitoring target can be appropriately determined by the learned model even in a state where the original teacher data is small.
  • gamma correction in which gamma correction values are made different is used as different image processing involving change in color tone, but the present invention is not limited to this. For example, in other embodiments, other image processing such as contrast correction and lightness correction with different correction values may be performed.
  • the image processing unit 305 performs image processing to correct the color tone of the thermal image data to a color tone corresponding to a different temperature within the change range of the environmental temperature of the monitoring target 100 to obtain a plurality of copies. Generate image data. Thereby, the image processing unit 305 can generate thermal image data representing the state of the monitoring target 100 at an environmental temperature that is not actually observed. Further, the correction value specifying unit 304 specifies the relationship between the temperature change and the correction value of the color tone based on the image data and the environmental temperature at the time of imaging. As a result, the monitoring device 300 can perform image processing so as to have a color tone corresponding to the target temperature.
  • the image processing unit 305 performs a plurality of image processing to correct the color tone of visible image data to a color tone corresponding to different illuminance within the change range of the illuminance of the environment of the monitoring target 100. Generate duplicate image data. Thereby, the image processing unit 305 can generate visible image data representing the state of the monitored object 100 in the illumination environment not actually observed.
  • the monitoring apparatus 300 learns the normal state of the monitoring target 100 as a learned model. That is, in the monitoring apparatus 300 according to the first embodiment, only image data captured by the monitoring apparatus 300 at normal time is used as teacher data, and image data captured by the monitoring apparatus 300 at abnormal time is not used. Therefore, the monitoring apparatus 300 does not need to attach a label indicating whether it is normal or abnormal in using each image data as teacher data.
  • the learning unit 306 By continuing the monitoring of the monitoring target 100, the number of image data captured by the imaging device 200 gradually increases. Therefore, as the learning unit 306 appropriately updates the model stored in the model storage unit 307, the number of original (not duplicate image data) image data constituting the learned model increases.
  • Original image data is highly reliable as teacher data as compared to duplicate image data. Therefore, when selecting sample data in the vicinity of the input image data, the monitoring apparatus 300 may form a model so that the original image data can be easily selected as compared with the duplicate image data. For example, when the original image data is newly obtained while the number of sample data has reached a predetermined number, the learning unit 306 adds the original image data to the sample data, and at the same time, the sample data which is a duplicate image data.
  • the learned model may be updated.
  • the inference processing unit 308 may be configured to easily select original image data by multiplying the distance of the original image data by a weight less than one. However, when calculating the index value using the selected sample data, the inference processing unit 308 calculates the index value based on the distance to which the weight is not added.
  • the monitoring system 10 according to the first embodiment determines the normality of the monitoring target 100 from the image data based on the proximity method.
  • the monitoring system 10 according to the second embodiment determines the normality of the monitoring target 100 from the image data based on the neural network.
  • the monitoring apparatus 300 according to the second embodiment differs from the first embodiment in the models stored in the model storage unit 307 and in the processes of the learning unit 306, the inference processing unit 308, and the determination unit 309.
  • the model storage unit 307 stores a neural network model including an input layer, an intermediate layer, and an output layer.
  • the number of nodes in the input layer and output layer is equal to the number of pixels in the image data.
  • the learned model functions as an auto encoder that decompresses and outputs image data input to the input layer after compression.
  • the image data output from the learned model is an example of “a value used to determine the normality of the monitoring target”.
  • the learning unit 306 learns a model using the image data stored in the history storage unit 303 and the duplicate image data generated by the image processing unit 305 as teacher data. That is, the learning unit 306 inputs teacher data into the input layer and the output layer of the model stored in the model storage unit 307, and learns the weighting factor and the activation function at each node of the input layer and the intermediate layer.
  • the teacher data is image data in which the monitoring target 100 is shown in all cases. Therefore, the learned model is learned so as to output image data in which the monitoring target 100 is captured at the normal time from the input image data. That is, by inputting the image data in which the monitoring target 100 at the time of abnormality is captured to the learned model, the learned model outputs the image data in which the monitoring target 100 closer to normal than the original image data is captured. Be expected.
  • the inference processing unit 308 regenerates image data from the image data input to the image acquisition unit 301 using the learned model stored in the model storage unit 307. Since the learned model is learned based on the image data in which the monitoring target 100 is captured at the normal time, the difference between the input image data and the regenerated image data may indicate that the monitoring target 100 is abnormal. Becomes higher as
  • the determination unit 309 calculates the difference between the image data regenerated by the inference processing unit 308 and the input image data, and determines the normality of the monitoring target 100 by comparing the difference with a threshold. The determination unit 309 determines that the monitoring target 100 is normal when the difference between the regenerated image data and the input image data is less than the threshold. The determination unit 309 determines that the monitoring target 100 is abnormal when the index value is equal to or greater than the threshold.
  • the normality of the monitoring target is obtained by the learned model. Can be properly determined.
  • the learned model according to the second embodiment outputs the regenerated image
  • the present invention is not limited to this.
  • the difference between the image data regenerated by the learned model and the input image data may be output.
  • the difference between the regenerated image data and the input image data is an example of “a value used for determining the normality of the monitoring target”.
  • the learning unit 306 appropriately updates the model stored in the model storage unit 307 so that the maximum value to the minimum value of the environmental temperature related to the image data used for learning the learned model.
  • the monitoring apparatus 300 may update the learning model so as to be always learned by the image data related to the predetermined period.
  • the learning unit 306 regularly causes a model to be learned using image data captured in the latest predetermined period among image data stored in the history storage unit 303, overwrites an old model, and stores the model in the model storage unit 307. You may record it.
  • the monitoring system 10 outputs a portion of the monitoring target 100 in which an abnormality has occurred.
  • FIG. 5 is a schematic block diagram showing the configuration of a monitoring device according to the third embodiment.
  • the monitoring apparatus 300 according to the third embodiment further includes a dividing unit 311 and an abnormality specifying unit 312 in addition to the configurations of the first and second embodiments.
  • FIG. 6 is a view showing an example of division of image data according to the third embodiment.
  • the dividing unit 311 divides the image data acquired by the image acquiring unit 301 into a plurality of areas, and generates divided image data. For example, the dividing unit 311 generates 16 divided image data obtained by dividing the image data into four equal parts vertically and four equal parts horizontally.
  • the image processing unit 305 performs image processing on each divided image data to generate duplicate image data.
  • the learning unit 306 learns a model using divided image data and copied image data as teacher data for each of the plurality of areas divided by the dividing unit 311.
  • the model storage unit 307 stores the learned model for each of the divided regions.
  • the inference processing unit 308 calculates index values of the respective regions by inputting the divided image data divided by the dividing unit 311 to the corresponding learned models.
  • the determination unit 309 compares the index value of each area with the threshold, and determines that the monitoring target 100 is abnormal when the index value is equal to or greater than the threshold for at least one area.
  • the abnormality identifying unit 312 identifies a portion of the monitoring target 100 in which an abnormality has occurred by identifying an area in which the index value is equal to or greater than the threshold.
  • the output control unit 310 causes the output device to output information indicating the portion specified by the abnormality specifying unit 312.
  • the monitoring device 300 divides the image data to generate a plurality of divided image data, and performs different image processing with a change in color tone on each of the divided image data. To generate a plurality of duplicate image data. Thereby, the monitoring apparatus 300 can identify the place where the abnormality has occurred based on the image data.
  • the monitoring device 300 performs model learning and model-based inference, but is not limited thereto.
  • the model learning device and the monitoring device 300 may be separately provided, and the model learning device may perform model learning, and the monitoring device 300 may perform model-based inference.
  • FIG. 7 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
  • the computer 900 includes a CPU 901, a main storage 902, an auxiliary storage 903, and an interface 904.
  • the above-described monitoring device 300 is implemented in the computer 900.
  • the operation of each processing unit described above is stored in the auxiliary storage device 903 in the form of a program.
  • the CPU 901 reads a program from the auxiliary storage device 903 and develops the program in the main storage device 902, and executes the above processing according to the program. Further, the CPU 901 secures a storage area corresponding to each storage unit described above in the main storage unit 902 or the auxiliary storage unit 903 according to a program.
  • auxiliary storage device 903 examples include an HDD (Hard Disk Drive), an SSD (Solid State Drive), a magnetic disk, a magneto-optical disk, a CD-ROM (Compact Disc Read Only Memory), and a DVD-ROM (Digital Versatile Disc Read Only). Memory, semiconductor memory, and the like.
  • the auxiliary storage device 903 may be internal media directly connected to the bus of the computer 900 or may be external media connected to the computer 900 via the interface 904 or a communication line. When this program is distributed to the computer 900 by a communication line, the computer 900 that has received the distribution may deploy the program in the main storage device 902 and execute the above processing.
  • secondary storage 903 is a non-transitory tangible storage medium.
  • the program may be for realizing a part of the functions described above.
  • the program may be a so-called difference file (difference program) that realizes the above-described function in combination with other programs already stored in the auxiliary storage device 903.
  • the model learning device can appropriately determine the normality of the monitoring target by the learned model even in a state where there is little teacher data.
  • Reference Signs List 10 monitoring system 100 monitoring target 200 imaging device 300 monitoring device 301 image acquisition unit 302 temperature acquisition unit 303 history storage unit 304 correction value identification unit 305 image processing unit 306 learning unit 307 model storage unit 308 inference processing unit 309 determination unit 310 output control Unit 311 Division unit 312 Abnormality specification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

画像取得部は、正常な監視対象が撮像された画像データを取得する。画像処理部は、画像データに対して、監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する。学習部は、複数の複製画像データを教師データとして、監視対象を撮像した画像データから、監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる。

Description

モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
　本発明は、モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法に関する。
　本願は、２０１７年７月２７日に日本に出願された特願２０１７－１４５２６８号について優先権を主張し、その内容をここに援用する。
　特許文献１には、予め監視対象の過去の正常時の画像の学習により正常規範画像を生成し、監視対象を撮像した画像と正常規範画像とを比較して監視対象の正常性を判定する技術が開示されている。
　特許文献２には、機械学習に係るモデルの学習時において、教師データである画像にフィルタ処理、トリミング処理および回転処理を行うことで、ラベル付けを行う手間を省きつつ教師データを増加させる技術が開示されている。
特開平７－７８２３９号公報 特開２０１６－６２５２４号公報
　特許文献１に記載の発明において、正常規範画像を生成するためには、監視対象の正常時の画像を大量に用意する必要がある。一方で、監視対象の正常性の判定を早期に実施したいという要望があり、この場合には学習のために十分な画像を用意することができないことがある。
　本発明の目的は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができるモデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法を提供することにある。
　本発明の第１の態様によれば、モデル学習装置は、正常な監視対象が撮像された画像データを取得する画像取得部と、前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させる学習部とを備える。
　本発明の第２の態様によれば、第１の態様に係るモデル学習装置は、前記画像データが、前記監視対象の温度によって色調が異なる熱画像を含み、前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成するものであってよい。
　本発明の第３の態様によれば、第２の態様に係るモデル学習装置は、前記画像データが撮像されたときの前記監視対象の環境温度を示す温度データを取得する温度取得部と、前記画像データと前記温度データとに基づいて、温度変化と色調の補正値との関係を特定する補正値特定部と、をさらに備え、前記画像処理部は、前記画像データに対して、前記補正値特定部が特定した前記関係に基づいて特定される前記補正値を用いた画像処理を行うものであってよい。
　本発明の第４の態様によれば、第１から第３の何れかの態様に係るモデル学習装置は、前記画像処理部が、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成するものであってよい。
　本発明の第５の態様によれば、第１から第４の何れかの態様に係るモデル学習装置は、前記画像データを分割して複数の分割画像データを生成する分割部をさらに備え、前記画像処理部は、前記複数の分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するものであってよい。
　本発明の第６の態様によれば、学習済みモデルの生成方法は、正常な監視対象が撮像された画像データを取得するステップと、前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させることで学習済みモデルを生成するステップとを有する。
　本発明の第７の態様によれば、プログラムは、コンピュータに、正常な監視対象が撮像された画像データを取得するステップと、前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように前記モデルを学習させるステップとを実行させる。
　本発明の第８の態様によれば、学習済みモデルは、正常時における監視対象が撮像された画像データに対して、正常の範囲を超えずに色調の変更を伴う異なる画像処理を行うことにより生成された複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように学習された学習済みモデルであって、コンピュータに、取得された前記画像データから、前記監視対象の正常性の判定に用いられる値を出力するステップを実行させる。
　本発明の第９の態様によれば、監視装置は、撮像された画像データを取得する画像取得部と、第８の態様に係る学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出する推論処理部と、算出された前記値を用いて、前記監視対象の正常性を判定する判定部とを備える。
　本発明の第１０の態様によれば、監視方法は、監視対象が撮像された画像データを取得するステップと、第９の態様に係るモデル学習装置によって学習された学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出するステップと、算出された前記値を用いて、前記監視対象の正常性を判定するステップとを有する。
　上記態様のうち少なくとも１つの態様によれば、モデル学習装置は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定させることができる。
第１の実施形態に係る監視システムの構成を示す概略図である。 第１の実施形態に係る監視装置の構成を示す概略ブロック図である。 第１の実施形態に係る監視装置による学習済みモデルの生成方法を示すフローチャートである。 第１の実施形態に係る監視装置による正常性の判定方法を示すフローチャートである。 第３の実施形態に係る監視装置の構成を示す概略ブロック図である。 第３の実施形態に係る画像データの分割例を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
〈定義〉
　「特定する」とは、第１の値を用いて複数の値を取り得る第２の値を定めることである。例えば、「特定する」は、第１の値から第２の値を算出すること、テーブルを参照して第１の値に対応する第２の値を読み出すこと、第１の値をクエリとして第２の値を検索すること、第１の値に基づいて複数の候補の中から第２の値を選択することを含む。
　「取得する」とは、新たに値を得ることである。例えば、「取得する」は、値を受信すること、値の入力を受け付けること、テーブルから値を読み出すこと、値を算出すること、値を計測することを含む。
〈第１の実施形態〉
　以下、図面を参照しながら実施形態について詳しく説明する。
　図１は、第１の実施形態に係る監視システムの構成を示す概略図である。
　第１の実施形態に係る監視システム１０は、近傍法に基づいて画像データから監視対象１００の正常性を判定する。近傍法は、複数の標本データの中から、対象データの近傍の標本データを抽出し、抽出した標本データに基づいて、正常性を判定する手法である。近傍法の例としては、ｋ近傍法、局所外れ値法などが挙げられる。
　監視システム１０は、撮像装置２００と、監視装置３００とを備える。
　撮像装置２００は、監視対象１００を撮像し、可視画像データ、赤外画像データ、および熱画像データを得る。可視画像データは、監視対象１００によって反射された可視光の計測によって得られる画像データである。赤外画像データは、撮像装置２００が投光し、監視対象１００によって反射された赤外線の計測によって得られる画像データである。熱画像データは、監視対象１００から放射される赤外線の計測によって得られる画像データである。撮像装置２００は、画像データを一定周期ごとに撮像する。
　監視装置３００は、撮像装置２００が撮像した画像データに基づいて、監視対象１００の正常性を判定する。
　図２は、第１の実施形態に係る監視装置の構成を示す概略ブロック図である。
　監視装置３００は、画像取得部３０１、温度取得部３０２、履歴記憶部３０３、補正値特定部３０４、画像処理部３０５、学習部３０６、モデル記憶部３０７、推論処理部３０８、判定部３０９、出力制御部３１０を備える。
　画像取得部３０１は、撮像装置２００が撮像した可視画像データ、赤外画像データ、および熱画像データを取得する。
　履歴記憶部３０３は、画像データと撮像時刻とを関連付けて記憶する。履歴記憶部３０３が記憶する画像データは、すべて正常な監視対象１００が撮像された画像データである。
　温度取得部３０２は、撮像装置２００が画像データを撮像した時刻における監視対象１００の環境温度を示す温度データを取得する。例えば、温度取得部３０２は、ネットワークを介して監視対象１００が設置された地域の気象情報を取得する。
　補正値特定部３０４は、画像データの画像処理に用いる補正値を特定する。具体的には、補正値特定部３０４は、履歴記憶部３０３が記憶する可視画像データに基づいて、監視対象１００の環境照度に応じて可視画像データの色調を変化させるためのガンマ補正値を特定する。つまり、補正値特定部３０４は、履歴記憶部３０３が記憶する可視画像データに基づいて、可視画像データの平均明度の増分とガンマ補正値との関係を特定する。可視画像データは、環境照度が低いほど、明度が低く、かつコントラストが低くなる。また、補正値特定部３０４は、履歴記憶部３０３が記憶する熱画像データに基づいて、環境温度に応じて熱画像データの色調を変化させるためのガンマ補正値を特定する。つまり、補正値特定部３０４は、履歴記憶部３０３が記憶する熱画像データに基づいて、温度の増分とガンマ補正値との関係を特定する。熱画像データは、温度が低いほど、明度が低くなる。
　画像処理部３０５は、画像データに複数の異なる画像処理を行うことで、複数の複製画像データを生成する。画像処理の例としては、平滑化処理、ガンマ補正、エッジ抽出、平行移動、回転などが挙げられる。ガンマ補正は、色調変更を伴う画像処理の一例である。例えば、画像処理部３０５は、Ａ個の画像データについて、Ｂパターンの平滑化処理、Ｃパターンのガンマ補正、Ｄパターンの平行移動、Ｅパターンの回転を行うことで、Ａ×Ｂ×Ｃ×Ｄ×Ｅ個の複製画像データを生成する。画像処理部３０５は、監視対象１００の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行う。例えば、画像処理部３０５は、熱画像の画像処理を行う場合に、画像データの色調を、所定期間の最高気温から最低気温までの温度範囲内で変化させるように画像処理を行う。また例えば、画像処理部３０５は、可視画像の画像処理を行う場合に、画像データの色調を、照明のオンからオフまでの照度範囲内で変化させるように画像処理を行う。
　学習部３０６は、履歴記憶部３０３が記憶する画像データと、画像処理部３０５が生成した複製画像データとを教師データとして、モデルを学習させる。すなわち、学習部３０６は、近傍法の標本データとして、画像取得部３０１に入力された画像データと、画像処理部３０５が生成した複製画像データとをモデル記憶部３０７に記憶させる。複数の複製画像データを含む標本データ群は、学習済みモデルの一例である。
　モデル記憶部３０７は、学習部３０６によって学習されたモデルを記憶する。
　推論処理部３０８は、モデル記憶部３０７が記憶するモデルを用いて、画像取得部３０１に入力された画像データから、監視対象１００の正常性を示す指標値を算出する。指標値は、監視対象１００が異常である可能性が高いほど大きい値となる。
　判定部３０９は、推論処理部３０８が算出した指標値と閾値とを比較することで、監視対象１００の正常性を判定する。判定部３０９は、指標値が閾値未満である場合に、監視対象１００の正常であると判定する。判定部３０９は、指標値が閾値以上である場合に、監視対象１００の異常であると判定する。
　出力制御部３１０は、判定部３０９による判定結果を出力装置に出力させる。出力装置の例としては、ディスプレイ、プリンタ、スピーカなどが挙げられる。
　次に、第１の実施形態に係る監視装置の動作について説明する。監視装置３００の画像取得部３０１は、学習済みモデルを作成する前に、撮像装置２００から画像データを取得し、撮像時刻に関連付けて履歴記憶部３０３に記録する。これにより、監視装置３００は、履歴記憶部３０３に複数の画像データを記憶させる。このとき、監視装置３００は、画像データのうち、黒つぶれ（blocked up shadows）または白とび（blown out highlights）により監視対象１００の像を再現できないものを除外しておくとよい。
　図３は、第１の実施形態に係る監視装置による学習済みモデルの生成方法を示すフローチャートである。
　監視装置３００の温度取得部３０２は、履歴記憶部３０３が記憶する画像データの撮像時刻における監視対象１００の環境温度を示す温度データを取得する（ステップＳ１）。補正値特定部３０４は、履歴記憶部３０３が記憶する複数の熱画像データの色調と、当該熱画像データの撮像時における環境温度とに基づいて、温度の増分とガンマ補正値との関係を特定する（ステップＳ２）。例えば、補正値特定部３０４は、２つの熱画像データについて、明度の差が最小となるようなガンマ補正値を求め、さらに当該２つの熱画像データにおける環境温度差を求めることで、ガンマ補正値と温度の増分との関係を求めることができる。また補正値特定部３０４は、履歴記憶部３０３が記憶する複数の可視画像データの色調に基づいて、平均明度の増分とガンマ補正値との関係を特定する（ステップＳ３）。
　画像処理部３０５は、温度取得部３０２が取得した温度データ、または他の気象データに基づいて、現在時刻を起点とした所定期間（例えば、２か月間）における最高気温と最低気温を特定する（ステップＳ４）。画像処理部３０５は、履歴記憶部３０３が記憶する熱画像データのそれぞれについて、その熱画像データに係る環境温度から、最高気温と最低気温との範囲を所定数に分割した各温度までの増分に対応するガンマ補正値をそれぞれ用いてガンマ補正を行うことで、複数の複製画像データを生成する（ステップＳ５）。例えば、最高気温が１０℃であり、最低気温が－１０℃であり、ある熱画像データに係る環境温度が０℃であり、最高気温と最低気温とを５分割する場合、画像処理部３０５は、増分－１０℃に対応するガンマ補正値、増分－５℃に対応するガンマ補正値、増分５℃に対応するガンマ補正値、増分１０℃に対応するガンマ補正値を用いて、熱画像データのガンマ補正を行うことで、４個の複製画像データを生成する。
　画像処理部３０５は、履歴記憶部３０３が記憶する可視画像データに基づいて、平均明度の最大値と最小値とを特定する（ステップＳ６）。画像処理部３０５は、履歴記憶部３０３が記憶する可視画像データのそれぞれについて、その可視画像データの平均明度から、平均明度の範囲を所定数に分割した各明度までの増分に対応するガンマ補正値をそれぞれ用いてガンマ補正を行うことで、複数の複製画像データを生成する（ステップＳ７）。
　画像処理部３０５は、履歴記憶部３０３が記憶する各画像データ、および各複製画像データについて、少なくとも平滑化処理を含むその他の画像処理を行うことで、さらに複数の複製画像データを生成する（ステップＳ８）。
　学習部３０６は、履歴記憶部３０３が記憶する画像データおよび画像処理部３０５が生成した複数の複製画像データを教師データとしてモデルを学習させ（ステップＳ９）、学習済みモデルをモデル記憶部３０７に記録する（ステップＳ１０）。
　モデル記憶部３０７に学習済みモデルが記憶されると、監視装置３００は、一定周期に係るタイミングごとに、監視対象１００の正常性判定処理を行う。図４は、第１の実施形態に係る監視装置による正常性の判定方法を示すフローチャートである。
　監視装置３００の画像取得部３０１は、撮像装置２００から画像データを取得する（ステップＳ５１）。次に、画像処理部３０５は、取得した画像データを平滑化する（ステップＳ５２）。推論処理部３０８は、モデル記憶部３０７が記憶する学習済みモデルに、平滑化された画像データを入力することで、指標値を算出する（ステップＳ５３）。
　例えば、推論処理部３０８は、ｋ近傍法により指標値を算出する場合、以下の処理を行う。推論処理部３０８は、学習済みモデルを構成する標本データのそれぞれについて、取得された画像データとの距離を算出する。推論処理部３０８は、算出した距離が最も短いｋ個の標本データに係る距離の代表値を、指標値として特定する。
　例えば、推論処理部３０８は、局所外れ値因子法により指標値を算出する場合、以下の処理を行う。推論処理部３０８は、学習済みモデルを構成する標本データのそれぞれについて、取得された画像データとの距離を算出する。推論処理部３０８は、算出した距離が最も短いｋ個の標本データの密度を算出する。推論処理部３０８は、ｋ個の標本データに係る距離の代表値を算出した密度に基づいて正規化した値を、指標値として特定する。
　標本データと取得された画像データとの距離、標本データの密度、および指標値は、「監視対象の正常性の判定に用いられる値」の一例である。
　次に、判定部３０９は、指標値が閾値未満であるか否かを判定する（ステップＳ５４）。指標値が閾値未満である場合（ステップＳ５４：ＹＥＳ）、判定部３０９は、監視対象１００が正常であると判定する（ステップＳ５５）。他方、指標値が閾値以上である場合（ステップＳ５４：ＮＯ）、判定部３０９は、監視対象１００が異常であると判定する（ステップＳ５６）。
　そして、出力制御部３１０は、判定部３０９の判定結果を、出力装置に出力させる（ステップＳ５７）。
　このように、第１の実施形態に係る監視装置３００は、正常な監視対象が撮像された画像データに対して、監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成し、これらを教師データとしてモデルを学習させる。これにより、監視装置３００は、少ない画像データから多量の教師データを生成することができる。したがって、第１の実施形態に係る監視システム１０によれば、もとの教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができる。なお、第１の実施形態では、色調の変更を伴う異なる画像処理として、ガンマ補正値を異ならせたガンマ補正を用いたが、これに限られない。例えば、他の実施形態においては、補正値を異ならせたコントラスト補正、明度補正など、他の画像処理を実施してもよい。
　第１の実施形態に係る画像処理部３０５は、熱画像データの色調を、監視対象１００の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、複数の複製画像データを生成する。これにより、画像処理部３０５は、実際に観測されていない環境温度における監視対象１００の状態を表す熱画像データを生成することができる。また、補正値特定部３０４は、画像データと撮像時の環境温度とに基づいて、温度変化と色調の補正値との関係を特定する。これにより、監視装置３００は、目的の温度に対応する色調になるように画像処理を行うことができる。
　第１の実施形態に係る画像処理部３０５は、可視画像データの色調を、監視対象１００の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、複数の複製画像データを生成する。これにより、画像処理部３０５は、実際に観測されていない照明環境における監視対象１００の状態を表す可視画像データを生成することができる。
　また、第１の実施形態に係る監視装置３００は、学習済みモデルとして監視対象１００の正常時の状態を学習する。つまり、第１の実施形態に係る監視装置３００においては、教師データとして正常時の監視装置３００が写る画像データのみを用い、異常時の監視装置３００が写る画像データを用いない。したがって、監視装置３００は、各画像データを教師データとして用いるにあたり、正常か異常かを示すラベルを付する必要がない。
　ところで、監視対象１００の監視を継続することで、撮像装置２００によって撮像される画像データの数は次第に増加する。したがって、モデル記憶部３０７が記憶するモデルを学習部３０６が適宜更新することで、学習済みモデルを構成するオリジナルの（複製画像データでない）画像データの数が増加する。オリジナルの画像データは、複製画像データと比較して教師データとしての信頼性が高い。そのため、監視装置３００は、入力される画像データの近傍の標本データを選択する際に、複製画像データと比較してオリジナルの画像データが選択されやすいようにモデルを形成してもよい。例えば、学習部３０６は、標本データの数が所定数に達した状態で新たにオリジナルの画像データを取得した場合に、オリジナルの画像データを標本データに加えるとともに、複製画像データである標本データを削除することで、学習済みモデルを更新してよい。また例えば、推論処理部３０８は、標本データの選択時に、オリジナルの画像データの距離に１未満の重みを乗算することで、オリジナルの画像データが選択されやすいようにしてもよい。ただし、推論処理部３０８は、選択した標本データを用いて指標値を算出するとき、重みを加味しない距離に基づいて指標値を算出する。
〈第２の実施形態〉
　第１の実施形態に係る監視システム１０は、近傍法に基づいて画像データから監視対象１００の正常性を判定する。これに対し、第２の実施形態に係る監視システム１０は、ニューラルネットワークに基づいて画像データから監視対象１００の正常性を判定する。
　第２の実施形態に係る監視装置３００は、第１の実施形態とモデル記憶部３０７が記憶するモデル、ならびに学習部３０６、推論処理部３０８および判定部３０９の処理が異なる。
　モデル記憶部３０７は、入力層、中間層、および出力層からなるニューラルネットワークモデルを記憶する。入力層および出力層のノード数は、画像データの画素数と等しい。学習済みモデルは、入力層に入力された画像データを圧縮した後に復元して出力するオートエンコーダとして機能する。学習済みモデルが出力する画像データは、「監視対象の正常性の判定に用いられる値」の一例である。
　学習部３０６は、履歴記憶部３０３が記憶する画像データと、画像処理部３０５が生成した複製画像データとを教師データとして、モデルを学習させる。すなわち、学習部３０６は、モデル記憶部３０７が記憶するモデルの入力層と出力層に教師データを入力し、入力層と中間層の各ノードにおける重み係数と活性化関数とを学習させる。教師データは、いずれも正常時における監視対象１００が写った画像データである。そのため、学習済みモデルは、入力された画像データから、正常時における監視対象１００が写った画像データを出力するように学習される。つまり、異常時における監視対象１００が写った画像データが学習済みモデルに入力されることで、学習済みモデルが、オリジナルの画像データより正常に近い監視対象１００が写った画像データを出力することが期待される。
　推論処理部３０８は、モデル記憶部３０７が記憶する学習済みモデルを用いて、画像取得部３０１に入力された画像データから、画像データを再生成する。学習済みモデルは、正常時における監視対象１００が写った画像データに基づいて学習されているため、入力した画像データと再生成された画像データとの差は、監視対象１００が異常である可能性が高いほど大きくなる。
　判定部３０９は、推論処理部３０８が再生成した画像データと入力した画像データとの差を算出し、当該差を閾値と比較することで、監視対象１００の正常性を判定する。判定部３０９は、再生成した画像データと入力した画像データとの差が閾値未満である場合に、監視対象１００の正常であると判定する。判定部３０９は、指標値が閾値以上である場合に、監視対象１００の異常であると判定する。
　このように、第２の実施形態に係る監視装置３００は、第１の実施形態に係る監視装置３００と同様に、もとの教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定することができる。
　なお、第２の実施形態に係る学習済みモデルは、再生成された画像を出力するが、これに限られない。例えば、他の実施形態においては、学習済みモデルが再生成した画像データと入力した画像データとの差を出力してもよい。この場合、再生成した画像データと入力した画像データとの差は、「監視対象の正常性の判定に用いられる値」の一例である。
　ところで、監視対象１００の監視を継続し、モデル記憶部３０７が記憶するモデルを学習部３０６が適宜更新することで、学習済みモデルの学習に用いられる画像データに係る環境温度の最大値から最小値までの範囲は広くなっていく。例えば、学習が半年間続けられると、学習済みモデルは、夏季の監視対象１００を写す画像データで学習され、さらに冬季の監視対象１００を写す画像データでも学習される。この場合、例えば監視対象１００が過熱状態にある熱画像データを入力として学習済みモデルに画像データを再生成させると、入力した画像データと再生成された画像データとの差が閾値以下となる可能性がある。これは、学習済みモデルが夏季の画像データを用いて学習された結果、夏季の正常時の温度に係る画像データとして再生成されてしまうことによる。そのため、監視装置３００は、常に所定期間に係る画像データによって学習されるように学習モデルを更新してもよい。例えば、学習部３０６は、定期的に、履歴記憶部３０３が記憶する画像データのうち最新の所定期間に撮像されたものを用いてモデルを学習させ、古いモデルに上書きしてモデル記憶部３０７に記録してもよい。
〈第３の実施形態〉
　第３の実施形態に係る監視システム１０は、監視対象１００のうち異常が生じている箇所を出力する。
　図５は、第３の実施形態に係る監視装置の構成を示す概略ブロック図である。
　第３の実施形態に係る監視装置３００は、第１、第２の実施形態の構成に加え、さらに分割部３１１と異常特定部３１２とを備える。
　図６は、第３の実施形態に係る画像データの分割例を示す図である。
　分割部３１１は、画像取得部３０１が取得した画像データを複数の領域に分割し、分割画像データを生成する。例えば、分割部３１１は、画像データを縦に４等分、横に４等分した１６個の分割画像データを生成する。画像処理部３０５は、各分割画像データについて画像処理を行い、複製画像データを生成する。
　学習部３０６は、分割部３１１によって分割される複数の領域のそれぞれについて、分割画像データおよび複製画像データを教師データとして、モデルを学習させる。モデル記憶部３０７は、分割される領域ごとに、学習済みモデルを記憶する。
　推論処理部３０８は、分割部３１１によって分割された分割画像データを、それぞれ対応する学習済みモデルに入力することで、各領域の指標値を算出する。判定部３０９は、各領域の指標値と閾値とを比較し、少なくとも１つの領域について指標値が閾値以上となる場合に、監視対象１００が異常であると判定する。異常特定部３１２は、指標値が閾値以上となった領域を特定することで、監視対象１００のうち異常が生じている箇所を特定する。出力制御部３１０は、異常特定部３１２によって特定された箇所を示す情報を出力装置に出力させる。
　このように、第３の実施形態によれば、監視装置３００は、画像データを分割して複数の分割画像データを生成し、分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する。これにより、監視装置３００は、画像データに基づいて、異常が生じている箇所を特定することができる。
〈変形例〉
　以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
　例えば、上述した実施形態では、監視装置３００がモデルの学習およびモデルに基づく推論を行うが、これに限らない。例えば、他の実施形態では、モデル学習装置と監視装置３００とが別個に設けられ、モデル学習装置がモデルの学習を行い、監視装置３００がモデルに基づく推論を行ってもよい。
　図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
　コンピュータ９００は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
　上述の監視装置３００は、コンピュータ９００に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２または補助記憶装置９０３に確保する。
　補助記憶装置９０３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。補助記憶装置９０３は、コンピュータ９００のバスに直接接続された内部メディアであってもよいし、インタフェース９０４または通信回線を介してコンピュータ９００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９００に配信される場合、配信を受けたコンピュータ９００が当該プログラムを主記憶装置９０２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の記憶媒体である。
　また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　本願発明に係るモデル学習装置は、教師データが少ない状態においても、学習済みモデルによって監視対象の正常性を適切に判定させることができる。
１０　監視システム
１００　監視対象
２００　撮像装置
３００　監視装置
３０１　画像取得部
３０２　温度取得部
３０３　履歴記憶部
３０４　補正値特定部
３０５　画像処理部
３０６　学習部
３０７　モデル記憶部
３０８　推論処理部
３０９　判定部
３１０　出力制御部
３１１　分割部
３１２　異常特定部

Claims (10)

  1. 　正常な監視対象が撮像された画像データを取得する画像取得部と、
    　前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する画像処理部と、
    　前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させる学習部と
    　を備えるモデル学習装置。
  2. 　前記画像データは、前記監視対象の温度によって色調が異なる熱画像を含み、
    　前記画像処理部は、前記画像データの色調を、前記監視対象の環境温度の変化範囲内の異なる温度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
    　請求項１に記載のモデル学習装置。
  3. 　前記画像データが撮像されたときの前記監視対象の環境温度を示す温度データを取得する温度取得部と、
    　前記画像データと前記温度データとに基づいて、温度変化と色調の補正値との関係を特定する補正値特定部と、
    　をさらに備え、
    　前記画像処理部は、前記画像データに対して、前記補正値特定部が特定した前記関係に基づいて特定される前記補正値を用いた画像処理を行う
    　請求項２に記載のモデル学習装置。
  4. 　前記画像処理部は、前記画像データの色調を、前記監視対象の環境の照度の変化範囲内の異なる照度に相当する色調に補正する画像処理を行うことにより、前記複数の複製画像データを生成する
    　請求項１から請求項３のいずれか１項に記載のモデル学習装置。
  5. 　前記画像データを分割して複数の分割画像データを生成する分割部をさらに備え、
    　前記画像処理部は、前記複数の分割画像データのそれぞれに対して、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成する
    　請求項１から請求項４のいずれか１項に記載のモデル学習装置。
  6. 　正常な監視対象が撮像された画像データを取得するステップと、
    　前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
    　前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させることで学習済みモデルを生成するステップと
    　を有する学習済みモデルの生成方法。
  7. 　コンピュータに、
    　正常な監視対象が撮像された画像データを取得するステップと、
    　前記画像データに対して、前記監視対象の正常の範囲を超えない範囲で、色調の変更を伴う異なる画像処理を行うことにより、複数の複製画像データを生成するステップと、
    　前記複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するようにモデルを学習させるステップと
    　を実行させるためのプログラム。
  8. 　正常時における監視対象が撮像された画像データに対して、正常の範囲を超えずに色調の変更を伴う異なる画像処理を行うことにより生成された複数の複製画像データを教師データとして、前記監視対象を撮像した画像データから、前記監視対象の正常性の判定に用いられる値を出力するように学習された学習済みモデルであって、
    　コンピュータに、
    　取得された前記画像データから、前記監視対象の正常性の判定に用いられる値を出力するステップ
    　を実行させるための学習済みモデル。
  9. 　撮像された画像データを取得する画像取得部と、
    　請求項８に記載の学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出する推論処理部と、
    　算出された前記値を用いて、前記監視対象の正常性を判定する判定部と
    　を備える監視装置。
  10. 　監視対象が撮像された画像データを取得するステップと、
    　請求項８に記載の学習済みモデルを用いて、前記画像データから前記監視対象の正常性の判定に用いられる値を算出するステップと、
    　算出された前記値を用いて、前記監視対象の正常性を判定するステップと
    　を有する監視方法。
PCT/JP2018/026457 2017-07-27 2018-07-13 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法 WO2019021855A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880049103.3A CN110998654B (zh) 2017-07-27 2018-07-13 模型学习装置、学习完成模型的生成方法、程序、学习完成模型、监视装置以及监视方法
US16/631,742 US11416705B2 (en) 2017-07-27 2018-07-13 Model learning device, method for learned model generation, program, learned model, monitoring device, and monitoring method
KR1020207001770A KR102395357B1 (ko) 2017-07-27 2018-07-13 모델 학습 장치, 학습 완료 모델의 생성 방법, 프로그램, 학습 완료 모델, 감시 장치, 및 감시 방법
DE112018003815.7T DE112018003815T5 (de) 2017-07-27 2018-07-13 Modelllernvorrichtung, verfahren für eine gelerntes-modell-erzeugung, programm, gelerntes modell, überwachungsvorrichtung, und überwachungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017145268A JP6936650B2 (ja) 2017-07-27 2017-07-27 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
JP2017-145268 2017-07-27

Publications (1)

Publication Number Publication Date
WO2019021855A1 true WO2019021855A1 (ja) 2019-01-31

Family

ID=65040658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026457 WO2019021855A1 (ja) 2017-07-27 2018-07-13 モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法

Country Status (6)

Country Link
US (1) US11416705B2 (ja)
JP (1) JP6936650B2 (ja)
KR (1) KR102395357B1 (ja)
CN (1) CN110998654B (ja)
DE (1) DE112018003815T5 (ja)
WO (1) WO2019021855A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022024165A1 (ja) * 2020-07-27 2022-02-03 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050973A2 (en) * 2018-08-22 2020-03-12 Florent Technologies, Llc Neural network-based systems and computer-implemented methods for identifying and/or evaluating one or more food items present in a visual input
WO2021234782A1 (ja) * 2020-05-18 2021-11-25 日本電信電話株式会社 画像処理装置、方法およびプログラム
KR102452394B1 (ko) * 2020-06-11 2022-10-11 한국생산기술연구원 딥러닝 기반 열전대 온도센서 실측을 통한 측정대상의 전체 온도 분포 예측 장치 및 방법
CN112985263B (zh) * 2021-02-09 2022-09-23 中国科学院上海微***与信息技术研究所 一种弓网几何参数检测方法、装置及设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0778239A (ja) 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
JP4828459B2 (ja) * 2007-03-22 2011-11-30 公益財団法人鉄道総合技術研究所 パッシブ赤外線法によるコンクリート構造物の剥離検知方法及びそのための赤外線カメラ
JP4369961B2 (ja) * 2007-03-23 2009-11-25 株式会社日立製作所 異常検知装置及び異常検知プログラム
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP5834850B2 (ja) * 2011-12-02 2015-12-24 ソニー株式会社 撮像装置、色補正方法および色補正プログラム
JP5821590B2 (ja) * 2011-12-06 2015-11-24 富士ゼロックス株式会社 画像識別情報付与プログラム及び画像識別情報付与装置
CN102609962B (zh) * 2012-01-18 2014-05-07 中国人民解放军61517部队 热红外图像模拟方法
WO2015137019A1 (ja) * 2014-03-13 2015-09-17 コニカミノルタ株式会社 温度監視装置、及び、温度監視方法
JP6435740B2 (ja) 2014-09-22 2018-12-12 日本電気株式会社 データ処理システム、データ処理方法およびデータ処理プログラム
CN105748046B (zh) * 2016-02-05 2018-10-12 福建农林大学 基于红外热像图的温度信息监测方法及其***
SE539630C2 (en) * 2016-02-24 2017-10-24 Fingerprint Cards Ab Method and system for controlling an electronic device
CN106874926A (zh) * 2016-08-04 2017-06-20 阿里巴巴集团控股有限公司 基于图像特征的业务异常检测方法及装置
JP6629455B2 (ja) * 2017-02-20 2020-01-15 Ｓｅｒｅｎｄｉｐｉｔｙ株式会社 外観検査装置、照明装置、撮影照明装置
KR101947782B1 (ko) * 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008287378A (ja) * 2007-05-16 2008-11-27 Hitachi Omron Terminal Solutions Corp 画像識別学習装置及びそれを用いた印刷物識別装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OSABE, DAI ET AL.: "Solutions to social problems leveraging image analysis technology based on machine learning", FUJITSU, vol. 67, no. 6, 1 November 2016 (2016-11-01), pages 29 - 35 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022024165A1 (ja) * 2020-07-27 2022-02-03 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
JPWO2022024165A1 (ja) * 2020-07-27 2022-02-03
JP7400982B2 (ja) 2020-07-27 2023-12-19 日本電気株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP2019028591A (ja) 2019-02-21
US11416705B2 (en) 2022-08-16
CN110998654A (zh) 2020-04-10
US20200184265A1 (en) 2020-06-11
KR20200017521A (ko) 2020-02-18
DE112018003815T5 (de) 2020-04-09
JP6936650B2 (ja) 2021-09-22
KR102395357B1 (ko) 2022-05-06
CN110998654B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
WO2019021855A1 (ja) モデル学習装置、学習済みモデルの生成方法、プログラム、学習済みモデル、監視装置、および監視方法
JP6277818B2 (ja) 機械学習装置、機械学習方法、及びプログラム
US20180174062A1 (en) Root cause analysis for sequences of datacenter states
US9262255B2 (en) Multi-stage failure analysis and prediction
US11468261B2 (en) Information processing apparatus, image processing method, and computer-readable recording medium recording image processing program
WO2017068675A1 (ja) プログラム生成装置、プログラム生成方法および生成プログラム
CN112434809B (zh) 基于主动学习的模型训练方法、装置及服务器
CN117010532B (zh) 基于多模态深度学习的综合管廊火灾趋势预测方法
WO2023279847A1 (zh) 单元格位置的检测方法、装置和电子设备
CN112613380B (zh) 一种机房巡检方法、装置及电子设备、存储介质
CN105700819A (zh) 用于网络数据存储的方法和***
JP2020101948A (ja) 行動認識システム及び行動認識方法
CN112668444A (zh) 一种基于YOLOv5的鸟类检测与识别方法
WO2018121414A1 (zh) 电子设备、目标图像识别方法及装置
CN116778148A (zh) 目标检测方法、装置、电子设备及存储介质
CN113643311B (zh) 一种对边界误差鲁棒的图像分割方法和装置
CN112949590B (zh) 一种跨域行人重识别模型构建方法及构建***
JP2020064364A (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
JPWO2019180868A1 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP7078295B2 (ja) 変状検出装置、変状検出方法、及びプログラム
JP2022513781A (ja) ターゲット属性検出、ニューラルネットワークトレーニング及びインテリジェント走行方法、装置
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
WO2020026395A1 (ja) モデル作成装置、モデル作成方法、及び、モデル作成プログラムが記録された記録媒体
CN110999263A (zh) Iot装置集群的分层数据处理
JP5743147B2 (ja) 画像処理ユニット、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18837187

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20207001770

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18837187

Country of ref document: EP

Kind code of ref document: A1