WO2021177394A1 - データ処理システムおよびデータ圧縮方法 - Google Patents

データ処理システムおよびデータ圧縮方法 Download PDF

Info

Publication number
WO2021177394A1
WO2021177394A1 PCT/JP2021/008346 JP2021008346W WO2021177394A1 WO 2021177394 A1 WO2021177394 A1 WO 2021177394A1 JP 2021008346 W JP2021008346 W JP 2021008346W WO 2021177394 A1 WO2021177394 A1 WO 2021177394A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
region
compression
model
learning
Prior art date
Application number
PCT/JP2021/008346
Other languages
English (en)
French (fr)
Inventor
貴洋 成子
弘明 圷
彬史 鈴木
功人 佐藤
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US17/642,843 priority Critical patent/US11842055B2/en
Publication of WO2021177394A1 publication Critical patent/WO2021177394A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0626—Reducing size or complexity of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Definitions

  • the present invention generally relates to a reduction in the amount of data.
  • a storage system that reduces the amount of data is known (see Patent Document 1).
  • Such storage systems generally reduce the amount of data by compression.
  • a method such as the run-length method is known in which a character string having a high frequency of appearance in a predetermined block unit is converted into a dictionary and replaced with a code having a smaller size.
  • Lossy compression technology is known as a technology that reduces the amount of data compared to lossless compression such as the run-length method.
  • the technique described in Patent Document 2 is a compression technique using a neural network as a compression / decompression device. Data is compressed by modeling the regularity of the data with a neural network.
  • AI Artificial Intelligence
  • AI gaze region the region that AI gazes at
  • the entire region is compressed at the same compression ratio regardless of whether or not it is the AI gaze region, so that the compression ratio deteriorates.
  • the present invention has been made in consideration of the above points, and an object of the present invention is to propose a data processing system or the like capable of appropriately reducing the amount of data.
  • training data is used in a data processing system including a processor, a storage device, and inputting / outputting data using a trained compression / decompression device that compresses and decompresses data.
  • a trained compression / decompression device that compresses and decompresses data.
  • the estimation unit that estimates the region to be watched by the data model
  • the evaluation function that weights each region based on the region to be watched
  • the result of the compression / expansion device compressing and decompressing the training data.
  • a learning unit for learning the compression / expansion device is provided.
  • the compression ratio of the region other than the region can be made higher than the compression ratio of the region, and the data model can be used. It is possible to improve the compression ratio of the data used by the data model while maintaining operational quality.
  • the amount of data can be appropriately reduced.
  • This embodiment relates to a reduction in the amount of data.
  • a storage system including a lossy compressor for AI will be described as an example.
  • the compression rate it is possible to control the compression rate according to the area, but there are two main reasons why the compression rate cannot be controlled according to the area.
  • the first point is that since the AI gaze region is different for each AI, it is unknown in the compressor which AI gaze region should be used to control the compression rate.
  • the second point is that even if the target AI is determined, there is no means for specifying the AI gaze area of the AI in the compressor.
  • the compression rate is improved as compared with the case where the entire area is compressed at the same compression rate.
  • this storage system operates in cooperation with an AI processing platform that operates at a higher level.
  • the AI processing platform is, for example, for each user application, a model of the neural network used in the user application (structure and parameters, hereinafter referred to as "AI model") and data to be input to the model.
  • AI model a model of the neural network used in the user application
  • data generation source A first interface for designating a generation source (hereinafter referred to as "data generation source") by a user and a first table for managing the designated information are provided.
  • This storage system includes, for example, a second interface for inquiring information stored in a first table and a third interface for requesting an AI model on an AI processing platform.
  • this storage system calculates an AI model to which the data is input for each data generation source of data based on the information inquired by, for example, the second interface and the third interface, and the data generation source.
  • the correspondence between the AI model and the AI model is managed in the second table.
  • this storage system includes, for example, a compression / decompression device using a neural network.
  • This storage system acquires an AI model corresponding to the data generation source of the training data of the compression / decompression device from the second table, estimates the AI gaze area of the AI model in the training data, and compresses the estimation result as a weight.
  • the function for calculating the weighting error between the previous training data and the data after compression / decompression is set in the loss function of the neural network constituting the compression / decompression device, and the compression / decompression device is learned.
  • This storage system uses, for example, a learned compression / decompression device to compress data and store it in a storage drive.
  • the amount of data can be reduced appropriately.
  • the data compression rate will be described as a ratio indicating how much information the compressed data has been reduced to in the original data when the data is compressed. In addition, it may be expressed as a percentage obtained by multiplying the ratio by 100, or as a ratio of the reduced amount of information to the original amount of information. Also, for example, a state compressed to a relatively small amount of information (well compressed) is “highly compressed”, and a state compressed to a relatively large amount of information (not very compressed) is “compressed”. The rate is low. " Further, the state where the compression rate is the highest (for example, "0") may be a state in which the information is truncated.
  • the common part (the part excluding the branch number) of the reference symbols including the branch number is used, and the same type of elements are distinguished and described.
  • a reference code containing the branch number may be used.
  • data generation source 110 is described when the data generation sources are not particularly distinguished, and "data generation source 110-1" and “data generation source 110-1” are described when the individual data generation sources are described separately. It may be described as "Data generation source 110-2".
  • FIG. 1 100 indicates a data processing system according to the first embodiment as a whole.
  • the data processing system 100 includes a data generation source 110, a management terminal 120, an AI processing platform 130 (AI Processing Platform), and a storage system 140 (Storage System).
  • the data generation source 110 is one or more subjects that generate data, for example, a sensor, a camera, a system log, or the like.
  • the management terminal 120 is a terminal provided with an input / output device for the AI processing board 130 to allow the user to make various settings.
  • the AI processing platform 130 is an apparatus, system, etc. for executing AI by inputting data generated by the data generation source 110, data accumulated in the storage system 140, and the like.
  • the AI processing platform 130 includes an AI model DB 131 and an application management table 132.
  • the AI model DB 131 is a database (DB) for managing the AI model.
  • the application management table 132 for each user application (application program), the name of the AI model used in the user application (hereinafter referred to as “AI model name”) and the name of the data generation source 110 that is the input of the AI model. It is a table for managing the correspondence with (hereinafter referred to as "input data name").
  • the AI model may be initially set in the AI model DB 131, may be registered by the user via the management terminal 120, or may be set by a combination thereof.
  • the storage system 140 is a system that stores data generated by the data generation source 110.
  • the storage system 140 inquires the AI processing board 130 for the information of the application management table 132, calculates the AI model name in which the data to be stored is input for each input data name, and requests the AI model from the AI processing board 130. Then, the correspondence between the input data name and the AI model is managed by the AI model management table 141.
  • the storage system 140 includes a compressor 142 and an expander 143 configured by a neural network, and learns the neural network constituting these as learning data such as data generated by the data generation source 110.
  • the storage system 140 acquires the AI model corresponding to each learning data from the AI model management table 141 for each learning data, and estimates the AI gaze area in the learning data by the AI gaze area estimator 144.
  • the storage system 140 assigns a relatively high weight to the estimated AI gaze area, calculates the weighting error between the training data and the data after compression / decompression of the training data by the quality index function 145, and calculates it. Set to the loss function in neural network learning.
  • the storage system 140 compresses the data generated by the data generation source 110 by the learned compressor 142 and stores it in the storage drive 146.
  • FIG. 2 is a diagram showing an example of the configuration related to the storage system 140.
  • the sensor server 210 shown in FIG. 2 is a computer including hardware resources such as a processor, a memory, and a network interface, and software resources such as a driver of a data generation source 110.
  • the sensor server 210 receives the data (signal) output by the data generation source 110 by the AI processing platform 130 and the storage system 140, such as file formats such as csv (comma-separated values), binary, and PNG (Portable Network Graphics).
  • file formats such as csv (comma-separated values), binary, and PNG (Portable Network Graphics).
  • the file format is converted, and the storage system 140 is requested to write the converted data via the switch 220.
  • the sensor server 210 may be a device different from the data generation source 110, or may be implemented as a function of the data generation source 110. Further, the number of sensor servers 210 is not limited to one, and there may be two or more.
  • the switch 220 connects the sensor server 210, the management terminal 120, and the AI processing board 130.
  • the AI processing board 130 includes a front-end interface 231 (Front-end Interface), a processor 232 (Processor), a RAM 233 (RAM: Random Access Memory), a back-end interface 234 (Back-end Interface), and a storage drive 235 (HDD: Hard). It is equipped with Disk Drive / SSD: Solid State Drive) and Switch 236 (Switch).
  • the front-end interface 231 is an interface for connecting the AI processing board 130, the sensor server 210, the management terminal 120, and the like.
  • the processor 232 controls the entire AI processing board 130 based on the program 237 (Program) stored in the RAM 233 and the management information 238 (Metadata) via the switch 236.
  • the processor 232 may be an accelerator such as a GPU (Graphical Processing Unit) or FPGA (Field Programmable Gate Array) in addition to a general-purpose arithmetic processor such as a CPU (Central Processing Unit). It may be a combination thereof.
  • the back-end interface 234 connects the AI processing board 130 and the storage system 140.
  • the storage drive 235 is a storage device for HDDs, SSDs, etc., and stores the AI model (structure information of the AI model, parameter values, etc.) registered in the AI model DB 131.
  • the storage system 140 includes a front-end interface 241 (Front-end Interface), a processor 242 (Processor), a RAM 243 (RAM), a switch 244 (Switch), and a storage drive 146 (HDD / SSD).
  • a front-end interface 241 Front-end Interface
  • a processor 242 Processor
  • RAM 243 RAM
  • switch 244 Switch
  • storage drive 146 HDD / SSD
  • the front-end interface 241 connects the storage system 140 and the AI processing board 130.
  • the processor 242 controls the entire storage system 140 based on the program 245 (Program) and the management information 246 (Metadata) stored in the RAM 243 via the switch 244.
  • the processor 242 may be an accelerator such as a GPU or FPGA, or a combination thereof, in addition to a general-purpose arithmetic processor such as a CPU.
  • the storage drive 146 is a storage device such as an HDD or SSD, and stores data in which data generated by the data generation source 110 is compressed.
  • the AI processing platform 130 and the storage system 140 may be configured by interconnecting individual ICs (Integrated Circuits) on which the components described above are mounted, and some of them may be ASICs (Application Specific Integrated Circuits). ), FPGA, etc., may be configured to be mounted by one semiconductor element.
  • the AI processing board 130 and the storage system 140 may have different hardware devices, may be different VMs (Virtual Machines) that operate on the same computer, or operate on the same OS (Operating System). It may be a different application.
  • (1-3) Management screen The management terminal 120 displays the first application registration screen 300, the second application registration screen 400, or both on the output device to which the management terminal 120 is communicably connected.
  • the information to be specified by the user is equivalent in each screen, but the method of specifying is different.
  • FIG. 3 is a diagram showing an example of the first application registration screen 300.
  • the application name setting field 310 is a field for allowing the user to set the name of the application (hereinafter referred to as "application name"). For example, let the user specify a unique string to identify the application.
  • the application name setting field 310 may be omitted by automatically assigning a unique application name internally by the AI processing platform 130.
  • the AI setting field 320 is a field that allows the user to specify the input data name of the data to be input to the AI model for each AI model.
  • the AI model name designation field 321 causes the user to specify the AI model name.
  • the input data name designation field 322 is a field that allows the user to specify the input data name of the data used in the AI model for the AI model of the AI model name designated in the AI model name designation field 321 on the left side.
  • a character string may be input as described above, a character string may be selected from the drop-down list, or any other means may be used.
  • the line addition button 323 is a button that allows the user to click when adding a new line at the end of the AI setting field 320. Instead of preparing the line addition button 323 on the first application registration screen 300, a sufficient number of lines may be prepared in advance in the AI setting field 320.
  • the registration button 330 is a button that allows the user to click when the input of the application name setting field 310 and the AI setting field 320 is completed.
  • any field, button, or the like may be added to the first application registration screen 300.
  • FIG. 4 is a diagram showing an example of the second application registration screen 400.
  • the application name setting field 310 and the registration button 330 shown on the second application registration screen 400 have the same functions as the first application registration screen 300.
  • the data flow designation field 420 uses a cursor 401 that can operate the edge 423 connecting the input data name node 421 representing the data generation source and the AI model name node 422 representing the AI model by the input device of the management terminal 120. This is a field that the user can draw.
  • the management terminal 120 acquires the correspondence between the AI model name and the input data name of the data used in the AI model of the AI model name from the drawn directed graph.
  • the nodes that can be drawn in the data flow designation field 420 are not limited to the input data name node 421 and the AI model name node 422, and nodes representing other types of functional blocks may be added.
  • any field, button, or the like may be added to the second application registration screen 400.
  • FIG. 5 is a diagram showing an example of the configuration related to the RAM 233 of the AI processing board 130.
  • the RAM 233 includes a control program area 510 that stores a program 237 executed by the processor 232 and a management information area 520 that stores management information 238 that the processor 232 reads and writes according to the program 237.
  • the control program area 510 includes the application management table update program 511 and the database program 512.
  • the application management table update program 511 corresponds to the application name, the input data name, and the AI model name specified by the user via the first application registration screen 300, the second application registration screen 400, or both. It is a program that stores the relationship in the application management table 132.
  • the database program 512 is a program that provides a function for reading and writing an AI model and an API (Application Programming Interface) to the storage drive 235.
  • the database is, for example, a relational database that reads / writes the AI model with respect to the character string of the AI model name, but is not limited thereto.
  • any database may be used as long as it has a function of reading and writing the AI model and an API from the information that identifies the AI model.
  • the management information area 520 includes the application management table 132.
  • FIG. 7 is a diagram showing an example of the application management table 132.
  • the application management table 132 describes the correspondence between the application name, the input data name, and the AI model name specified by the user via the first application registration screen 300, the second application registration screen 400, or both. It is a table to memorize.
  • the application name column 701 stores the application name set in the application name setting field 310.
  • the AI model name column 702 stores the AI model name corresponding to the AI model name designation field 321 or the AI model name node 422.
  • the input data name string 703 stores the input data name corresponding to the input data name designation field 322 or the input data name node 421.
  • Each row of the application management table 132 is the application of the application name stored in the application name column 701, and the AI model of the AI model name stored in the AI model name column 702 is the input data stored in the input data name column 703. Indicates that the data of the name data generation source 110 is used as an input.
  • the application management table 132 may be implemented in any data structure such as a hash table or a tree structure in addition to the table.
  • FIG. 6 is a diagram showing an example of the configuration related to the RAM 243 of the storage system 140.
  • the RAM 243 includes a control program area 610 that stores a program 245 executed by the processor 242 and a management information area 620 that stores management information 246 that the processor 242 reads and writes according to the program 245.
  • the control program area 610 includes an AI model management table update program 611, a compression / decompression device learning program 612, an AI gaze area estimation program 613, a quality calculation program 614, a data writing program 615, and a data reading program 616.
  • the AI model management table update program 611 is a program in which the storage system 140 inquires the AI processing platform 130 of the information stored in the application management table 132 and updates the AI model management table 141.
  • the compression / decompression device learning program 612 is a program for learning the neural network included in the compressor 142 and the decompression device 143.
  • the AI gaze area estimation program 613 corresponds to the AI gaze area estimator 144, inputs the AI model and the data used by the AI model, and applies the data to the AI of the AI model to obtain the AI gaze area. It is a program that estimates and outputs a heat map.
  • the quality calculation program 614 corresponds to the quality index function 145, and inputs the first data, the second data, and the weight information to the weight information between the first data and the second data. It is a program that outputs the weighting error based on. For example, in the root mean square error, it is a program that calculates an index in which the calculation of the average is replaced with the calculation of the weighted average.
  • the index calculated by the quality calculation program 614 is not limited to this, and may be a program that calculates any function that calculates a scalar value by inputting two data and a weight.
  • the data writing program 615 is a program that compresses the data generated by the data generation source 110 with the compressor 142 and writes it to the storage drive 146.
  • the data read program 616 is a program that reads the requested data from the storage drive 146, decompresses it with the decompressor 143, and then responds to the data read request.
  • the management information area 620 includes the AI model management table 141.
  • the AI model management table 141 is based on the information stored in the application management table 132 of the AI processing platform 130, and for each input data name, the AI model name in which the data of the input data name can be input and the AI model name of the AI model name. It is a table that stores the AI model.
  • FIG. 8 is a diagram showing an example of the AI model management table 141.
  • the input data name column 801 stores the input data name corresponding to the input data name column 703 of the application management table 132.
  • the AI model name column 802 stores the AI model name corresponding to the AI model name column 702 of the application management table 132.
  • the AI model column 803 stores the AI model body such as the structure and parameters of the AI model corresponding to the AI model name stored in the AI model name sequence 802.
  • the AI model main body may be stored in the storage drive 146, and only the pointer to the AI model main body may be stored in the AI model column 803.
  • the data of the data generation source 110 of the input data name stored in the input data name column 801 is used as the input of the AI model of the AI model name stored in the AI model name column. It shows that the AI model is stored in the AI model column 803.
  • the AI model management table 141 may be implemented in any data structure such as a hash table or a tree structure in addition to the table.
  • FIG. 9 is a diagram showing an example of application management table update processing.
  • the processor 232 of the AI processing platform 130 may start the application management table update process triggered by an instruction by the user (pressing a predetermined button), may start at regular time intervals, or the like. It may be started at any time of the above (step S900).
  • step S901 the processor 232 causes the output device of the management terminal 120 to display the first application registration screen 300, the second application registration screen 400, or both of them via the front-end interface 231. Note that step S901 may be omitted by always displaying the first application registration screen 300, the second application registration screen 400, or both on the management terminal 120.
  • step S902 the processor 232 inquires of the management terminal 120 about the pressed state of the registration button 330 via the front-end interface 231 and waits until the pressed state is reached.
  • the processor 232 may periodically inquire the management terminal 120 about the status until the pressed status is returned, or when the registration button 330 is pressed, the processor 232 causes the management terminal 120 to send a message and waits upon receipt of the message. You may cancel it.
  • step S903 the processor 232 requests the management terminal 120 for the application name specified in the application name setting field 310 via the front-end interface 231.
  • step S904 the processor 232 requests the management terminal 120 via the front-end interface 231 to set the AI model name specified by the AI model name designation field 321 or the AI model name node 422.
  • Steps S905 to S910 are a group of steps that loop for each of the AI model names acquired in step S904 (loop A).
  • step S906 the processor 232 requests the management terminal 120 to set the input data names of the AI model pointed to by the loop A via the front-end interface 231.
  • the management terminal 120 extracts and responds to the input data name input to the input data name designation field 322 or the input data name node 421 that is associated with the AI model name designated by the processor 232.
  • Steps S907 to S909 are a group of steps that loop for each input data name acquired in step S906 (loop B).
  • step S908 the processor 232 puts the application name column 701, the AI model name column 702, and the input data name column 703 in the application management table 132, the application name acquired in step S903, and the AI model pointed to by the loop A.
  • the name and the input data name pointed to by loop B are stored respectively.
  • step S911 After the end of the loop A, the processor 232 ends the application management table update process (step S911).
  • AI Model Management Table Update Process With reference to FIG. 10, a process for the storage system 140 to update the AI model management table 141 (AI model management table update process) will be described.
  • FIG. 10 is a diagram showing an example of AI model management table update processing.
  • the processor 242 of the storage system 140 may start the AI model management table update process triggered by reading / writing data, may start at regular time intervals, or may trigger the update of the application management table 132. It may be started as, or it may be started at any other trigger (step S1000).
  • step S1001 the processor 242 requests the AI processing board 130 for all the information stored in the application management table 132 via the front-end interface 241.
  • Steps S1002 to S1009 are a group of steps that loop for each row of the application management table 132 acquired in step S1001 (loop A).
  • Steps S1003 to S1005 are a group of steps that loop for each row of the AI model management table 141 (loop B).
  • step S1004 the processor 242 matches the AI model name in the AI model name column 702 of the row pointed to by loop A with the AI model name in the AI model name column 802 of the row pointed to by loop B, and loop A Conditionally determines whether the input data name in the input data name column 703 of the pointed row and the input data name in the input data name column 801 of the line pointed to by the loop B match.
  • the processor 242 breaks the loop B because the combination of the AI model name and the input data name has already been registered in the AI model management table 141, and the loop A Process for the next line (go to the next Iteration in loop A).
  • the processor 242 processes the next line of loop B (goes to the next Iteration of loop B).
  • step S1006 When the loop B ends without breaking in step S1004, the processor 242 executes the process of step S1006.
  • step S1006 the processor 242 puts the input data name column 801 and the AI model name column 802 in the last row of the AI model management table 141 into the input data name column 703 and the AI model of the input data name column 703 in the row pointed to by the loop A.
  • the AI model name of the name string 702 is stored respectively.
  • step S1007 the processor 242 requests the AI processing board 130 for the AI model corresponding to the AI model name stored in the AI model name column 702 of the row pointed to by the loop A via the front-end interface 241.
  • step S1008 the processor 242 stores the AI model acquired in step S1007 in the AI model column 803 in the last row of the AI model management table 141.
  • the processor 242 ends the AI model management table update process (step S1010).
  • FIG. 11 is a diagram showing an example of the compression / decompression device learning process.
  • the processor 242 of the storage system 140 may start the compression / decompression device learning process at the data writing trigger of the data generation source 110, may start at regular time intervals, or initialize the storage system 140. It may be started at times, at a timing instructed by the user via the management terminal 120, or at any other trigger (step S1100).
  • a compressor 142 and a decompressor 143 compression / decompression device
  • compression / expansion device compression / decompression device
  • the compression / expansion device for one type of data generation source 110 corresponding to the input data name given as an argument of the compression / expansion device learning program 612.
  • the process of learning is explained.
  • the present embodiment is not limited to such a case, and the data of the plurality of data generation sources 110 is compressed at the same time (for example, a plurality of data are combined and regarded as one data).
  • One compression / expansion device may be learned, or a combination thereof may be used.
  • Steps S1101 to S1108 are a group of steps that loop with respect to the learning data of the input data name given as an argument (loop A).
  • the learning data may be any data as long as it is similar to the data generated by the data generation source 110.
  • the compression / decompression device may be trained using the data as training data.
  • the compression / decompression device may be learned when the storage system 140 is started for the first time by using the data of the data generation source 110 prepared in advance as a sample as learning data.
  • the particle size of the Iteration of the loop A may be a file unit such as an image constituting the training data, a batch unit composed of a plurality of files, or any other particle size.
  • step S1102 the processor 242 starts the AI gaze area estimation program 613 as a subroutine (performs the AI gaze area estimation process).
  • the processor 242 estimates the AI gaze area of the AI model using the learning data as an input for the learning data pointed to by the loop A, and obtains it as a heat map.
  • the AI gaze area estimation process will be described later with reference to FIG.
  • the processor 242 calculates the weight for input to the quality calculation program 614 based on the heat map of the AI gaze area calculated in step S1102.
  • the processor 242 may use the heat map representing the AI gaze area as it is as a weight, may use a heat map value binarized with an appropriate threshold value as a weight, or may use any other heat map as a weight. Functions may be applied to calculate the weights.
  • the values preset in the storage system 140 may be used for the threshold value and the two types of values to be set after the binarization, or the user is allowed to specify the values via the management terminal 120. You may.
  • step S1104 the processor 242 compresses the training data by the compressor 142 and obtains the compressed data.
  • step S1105 the processor 242 decompresses the compressed data obtained in step S1104 by the decompressor 143 to obtain decompressed data.
  • step S1106 the processor 242 starts the quality calculation program 614 as a subroutine, and calculates the weighted error between the training data and the decompression data by the weight calculated in step S1003.
  • the learning data x, each data point x i corresponding to an extended data y, for each y i, the mean square error weighted by corresponding weights w i can be a quality (the following formula (1) ).
  • the root mean square error of the AI gaze area and the root mean square error of the other areas are calculated using the weights in which "1" is set in the AI gaze area and "0" is set in the other areas, and the target value is calculated for each.
  • the quality may be an equation (the following equation (2)) in which t 1 and the target value t 2 are subtracted, and the value obtained by subtracting “0” and the max operation is added.
  • the target value t 1 is set to be smaller than the target value t 2
  • the reduction of the error is Loss.
  • the compression stretcher is trained to preferentially reduce the root mean square error in the AI gaze region because it does not contribute to the reduction of the function.
  • the target value t 1 and the target value t 2 may be preset values in the storage system 140, or may be specified by the user via the management terminal 120.
  • the error calculation method is not limited to the root mean square error, and any other function that outputs a scalar value by inputting training data x, extension data y, and weight w may be used.
  • MS-SSIM Multi-Scale Structural Similarity
  • weights other than the image are used as inputs.
  • a value calculated by giving w and replacing the average calculation of the Structural Similarity values at each scale with a weighted average based on the weight w may be used as the quality.
  • an appropriate coefficient may be set in each term constituting the above equation (2).
  • step S1107 the processor 242 uses the weighting error calculated in step S1106 as a Loss function to update the learning parameters of the neural network included in the compressor 142 and the decompressor 143. For example, the processor 242 updates the learning parameters by the inverse error propagation method.
  • the learning parameter update algorithm is not limited to the inverse error propagation method, and for example, algorithms such as SGD (Stochastic Gradient Descent) and Adam (Adaptive moment estimation) may be used.
  • the entropy of the compressed data is estimated by a neural network, and by using a function that adds the estimated value and quality as the Loss function of the compression / decompressor, both the compression rate and the quality are improved.
  • a technique for learning a compression / expansion device As the Loss function, in addition to the weighting error calculated in step S1106, a term representing the compression rate, a term for regularizing the learning parameters of the neural network constituting the compression expander, and the like may be added.
  • the Loss function may be obtained by adding each term representing quality, compression rate, regularization, etc. by a predetermined constant, the integrated one may be used as a Loss function, and other terms may be used.
  • An arbitrary function for calculating one scalar value may be applied to obtain a Loss function.
  • the processor 242 ends the compression / decompression device learning process (step S1109).
  • the above processing may be executed a plurality of times for the same learning data until the update of the learning parameters is converged.
  • FIG. 12 is a diagram showing an example of AI gaze area estimation processing.
  • the processor 242 starts the AI gaze area estimation process as a subroutine of the compression / decompression device learning program 612 (step S1200). At this time, the processor 242 sets the learning data and the input data name of the learning data as the arguments of the AI gaze area estimation process.
  • Steps S1201 to S1205 are a group of steps that loop for each row of the AI model management table 141 (loop A).
  • step S1202 the processor 242 conditionally determines whether the input data name stored in the input data name column 801 of the row pointed to by the loop A matches the input data name given as an argument. If the condition is true, processor 242 transfers processing to step S1203. If the condition is false, processor 242 processes on the next line of loop A (goes to the next Iteration).
  • step S1203 the processor 242 acquires the AI model from the AI model column 803 of the row pointed to by the loop A.
  • step S1204 the processor 242 estimates the AI gaze area when the learning data given as an argument is input to the acquired AI model.
  • the processor 242 executes an algorithm such as Grad-CAM or Guided Backpropagation, for example. Further, for example, when the AI model itself calculates the mask internally and performs mask processing of the feature amount tensor, the processor 242 may use the mask as the AI gaze area. Further, for example, the processor 242 receives image data as an input, detects a specific object, and outputs the position of the object in the form of a Bounding Box, a segmentation image, or the like. It may be used as a gaze area.
  • an algorithm such as Grad-CAM or Guided Backpropagation, for example.
  • the processor 242 may use the mask as the AI gaze area. Further, for example, the processor 242 receives image data as an input, detects a specific object, and outputs the position of the object in the form of a Bounding Box, a segmentation image, or the like. It may be used as a gaze area.
  • the AI gaze area estimation process is not limited to these, and may be estimated by any algorithm.
  • the AI model is not limited to the neural network, and may be another machine learning algorithm such as SVM (Support Vector Machine) or an algorithm other than machine learning.
  • the processor 242 generates a heat map that includes the AI gaze area estimated in loop A. For example, when a plurality of heat maps representing the AI gaze area are obtained by the loop A, the processor 242 calculates the maximum value for each of these data points and generates a new heat map. By this processing, a relatively high value is set in the generated heat map in the region that is the AI gaze region for one or more AI models associated with the training data.
  • the heat map generation process is not limited to this, and any algorithm that calculates the heat map from the estimation results of the plurality of AI gaze areas may be used.
  • step S1206 the processor 242 ends the AI gaze area estimation process with the heat map obtained as a result of step S1206 as a return value (step S1207).
  • a heat map in which a high value is set in the human gaze area may be used as the return value.
  • FIG. 13 is a diagram showing an example of data writing processing.
  • the processor 242 starts the data writing process when the data writing request in the front-end interface 241 is received (step S1300).
  • the route between the sensor server 210 and the storage system 140 may be a route relayed by the AI processing board 130, or the sensor server 210 and the network topology for connecting the front-end interface 241 of the storage system 140 to the switch 220. It may be a route that directly connects to the storage system 140.
  • step S1301 the processor 242 compresses the data to be written received by the front-end interface 241 by the compressor 142 corresponding to the data generation source 110 of the data.
  • step S1302 the processor 242 stores the compressed data in the storage drive 146.
  • any means such as a file system and a relational database may be used.
  • step S1302 After the process of step S1302, the processor 242 ends the data writing process (step S1303).
  • FIG. 14 is a diagram showing an example of data reading processing.
  • the processor 242 starts the data read processing when the front end interface 241 receives the data read request (step S1400).
  • the data read request is issued by the management terminal 120, the AI processing platform 130, and the like.
  • the issuer (issuer) of the data read request is not limited to these, and any other device may issue the data read request.
  • the route between the management terminal 120 and the storage system 140 may be a route relayed by the AI processing board 130, or the management terminal 120 and the management terminal 120 can be used as a network topology for connecting the front-end interface 241 of the storage system 140 to the switch 220. It may be a route that directly connects to the storage system 140.
  • step S1401 the processor 242 reads the compressed data corresponding to the data read request received by the front-end interface 241 from the storage drive 146.
  • step S1402 the processor 242 decompresses the compressed data read in step S1401 by the decompressor 143 of the data generation source 110 corresponding to the compressed data.
  • step S1403 the processor 242 responds to the issuer of the data read request via the front-end interface 241 with the decompressed data in step S1402.
  • step S1403 After the process of step S1403, the processor 242 ends the data read process (step S1404).
  • the compressed data is replied to the issuer of the data read request such as the management terminal 120, and the compressed data is sent to the issuer. It may be stretched.
  • the compression ratio can be improved while maintaining the quality in which the AI can operate.
  • the storage system 140 estimates the AI gaze area of the data by the AI gaze area estimator 144 in response to the data write request generated by the data generation source 110, and specifies the estimation result by JPEG2000 or the like.
  • the data is set as the region of interest of the compressor 1501 having the RoI (Region of Interest) function capable of assigning a large amount of code to the region of interest (for example, the region of interest), the data is compressed by the compressor 1501, and the storage drive 146 is used.
  • RoI Registered of Interest
  • the compressor 1501 is not limited to JPEG2000, and may be any compression algorithm having a RoI function.
  • Other processes such as application management table update process, AI model management table update process, AI gaze area estimation process, and the like, which are omitted from the description, are the same as those in the first embodiment.
  • the compressed data is replied to the issuer of the data read request such as the management terminal 120, and the compressed data is sent to the issuer. It may be stretched.
  • the compression ratio can be improved while maintaining the quality in which the AI can operate.
  • the storage system 140 has a quality index, a quality target of the AI gaze area, and a quality target outside the AI gaze area specified by the user via the management terminal 120. Calculate quality based on.
  • the same reference numerals are used for the same configurations as those in the first embodiment, and the description thereof will be omitted as appropriate.
  • FIG. 16 is a diagram showing an example of the AI model management table 1600 in the present embodiment.
  • the AI model management table 1600 includes a quality index column 1601, an AI gaze area quality target column 1602, and an AI gaze area out-of-gaze area quality target column 1603, in addition to the columns of the AI model management table 141 in the first embodiment. Values specified by the user are set in these fields, for example, via the management terminal 120.
  • the quality index column 1601 manages a function for indexing the quality of the data for each input data name column 801.
  • the AI gaze area quality target column 1602 manages the quality target value in the AI gaze area.
  • the quality target column 1603 outside the AI gaze area manages the quality target value in the area other than the AI gaze area.
  • the process of merging the heat maps of a plurality of AI models (step S1206) is not performed, and the estimation result of the AI gaze area is returned for each AI model. .. That is, the AI gaze area estimation process returns the number of heat maps equal to the number of AI models associated with the data.
  • FIG. 17 is a diagram showing an example of the compression / decompression device learning process according to the present embodiment.
  • Steps S1700 to S1705 are step groups that loop for each row in the AI model management table 1600 in which the input data name specified by the argument is stored in the input data name column 801 (loop B). ..
  • step S1701 the processor 242 selects the heat map of the AI gaze area corresponding to the AI model name column 802 of the row pointed to by loop B from the arguments of step S1102, and calculates the weight based on the heat map.
  • the weight is generated by binarizing, for example, by setting "1" for data points exceeding the threshold value preset in the storage system 140 and "0" for other data points in the heat map. can.
  • the threshold value and the value to be set after binarization may be specified by the user via the management terminal 120.
  • the weight may be calculated by applying the heat map to any function.
  • Steps S1702 and S1703 are the same as steps S1104 and S1105 of the compression / expansion learning process in the first embodiment.
  • step S1704 the processor 242 sets the training data and the extension data based on the values stored in the quality index column 1601, the AI gaze area quality target column 1602, and the AI gaze area out-of-gaze area quality target column 1603 in the row pointed to by the loop B. Calculate the quality between.
  • the processor 242 designates the squared average error calculation formula as the quality index calculation formula specified in the quality index column 1601 and t 1 as the AI gaze area quality target column 1602.
  • the quality is calculated by the formula in which t 2 is replaced with the value set in the quality target column 1603 outside the AI gaze area.
  • an appropriate coefficient may be set in each term constituting the equation (2).
  • the quality calculation formula is not limited to the formula (2), and the scalar value is calculated by inputting four input: training data, extension data, weight, AI gaze area quality target, and AI gaze area out-of-gaze quality target. It can be any function that does.
  • step S1706 the processor 242 updates the learning parameters of the neural network included in the compressor 142 and the decompressor 143 by using the sum of the qualities calculated in step S1202 as the Loss function.
  • the processor 242 updates the learning parameters by the inverse error propagation method.
  • the learning parameter update algorithm is not limited to the inverse error propagation method, and for example, an algorithm such as SGD or Adam may be used.
  • the processor 242 may weight each quality by an appropriate coefficient when calculating the sum of the qualities.
  • the Loss function in addition to the weighting error calculated in step S1106, a term representing the compression rate, a term for regularizing the learning parameters of the neural network constituting the compression expander, and the like may be added.
  • the Loss function may be obtained by adding each term representing quality, compression rate, regularization, etc. by a predetermined constant, the integrated one may be used as a Loss function, and other terms may be used.
  • An arbitrary function for calculating one scalar value may be applied to obtain a Loss function.
  • the quality of the AI gaze area of "AI1” only, the quality of the AI gaze area of "AI2” only, and the quality of the area that is not the AI gaze area of any AI model are calculated, and max (t) is set as each target value. It may be calculated in the same manner as in the above equation (2) as p1, t p2 ), max (t p1 , t n2 ), max (t n1 , t p2 ), max (t n1 , t n2).
  • t p1 , t n1 , t p2 , and t n2 are the AI gaze area quality target column 1602 of "AI1", the AI gaze area quality target column 1603 of "AI1”, and the AI gaze area quality of "AI2", respectively.
  • the target value can be set for each data generation source and the AI model, it is possible to more precisely satisfy the quality required for each AI model, and thus the compression ratio is further improved. be able to.
  • FIG. 18 shows an outline of the present embodiment.
  • the compressor 142 is trained so as to control the image quality based on the AI gaze area. This means that the compressor 142 is trained to internally estimate the AI gaze area. However, the estimation of the AI gaze area performed by the compressor 142 may be accompanied by an error. In particular, if there is a region determined to be other than the AI gaze region even though it is originally an AI gaze region, the quality of the region may deteriorate.
  • the compressor 142 by using a Bayesian neural network as the neural network constituting the compressor 142, the uncertainty of estimation of the AI gaze region at each data point is output in addition to the compressed data. As described above, the compressor 142 is trained.
  • the same reference numerals are used for the same configurations as those in the first embodiment, and the description thereof will be omitted as appropriate.
  • the area extraction unit 1800 calculates the uncertainty of the estimation of the AI gaze area by the compressor 142, extracts the original value of the write data in the area where the uncertainty is equal to or greater than the threshold value, and combines it with the compressed data. Then, it is stored in the storage drive 146.
  • the threshold value may be a value preset in the storage system 140, or may be a value specified by the user via the management terminal 120.
  • multiple compressors with different compression rates and qualities are trained in advance, and if there is a region with high uncertainty, it is compressed with a higher quality compressor. It may be re-compressed and the compressed data by the compressor may be stored in the storage drive 146.
  • the compressed data read from the storage drive 146 is decompressed by the decompressor 143, then the original value is read from the storage drive 146, and for data points having the original value, the decompressed data is replaced with the original value. Responds to the read request source.
  • the original value is retained in the region where the uncertainty is equal to or greater than the threshold value and is replaced at the time of reading, so that it is possible to avoid deterioration in quality due to an estimation error in the AI gaze region.
  • the functions of the AI processing platform may be realized, for example, by the processor 232 reading the program 237 into the RAM 233 and executing it (software), or may be dedicated. It may be realized by hardware such as a circuit, or it may be realized by combining software and hardware. In addition, some of the functions of the AI processing infrastructure may be realized by another computer capable of communicating with the AI processing infrastructure.
  • the functions of the storage system 140 are, for example, It may be realized by the processor 242 reading the program 245 into the RAM 243 and executing it (software), it may be realized by hardware such as a dedicated circuit, or it may be realized by combining software and hardware. You may. In addition, some of the functions of the storage system 140 may be realized by another computer capable of communicating with the storage system 140.
  • each table is an example, and one table may be divided into two or more tables, or all or a part of the two or more tables is one table. You may.
  • information such as programs, tables, and files that realize each function can be placed in a storage device such as a memory, a hard disk, or an SSD, or a recording medium such as an IC card, an SD card, or a DVD. ..
  • the above-described embodiment has, for example, the following characteristic configuration.
  • a trained compression / decompressor (eg, compressor 142 and decompressor 143) comprising a processor (eg, processor 242) and a storage device (RAM 243, storage drive 146, etc.) to compress and decompress data.
  • a data processing system for example, data processing system 100
  • an estimation unit AI gaze area estimator 144, AI
  • a data model for example, AI model
  • an evaluation function that weights each area based on the gaze area (for example, the LOSS function), and the result of the compression / expansion device compressing and decompressing the training data.
  • a learning unit (for example, a compression / expansion device learning program 612) for learning the compression / expansion device is provided.
  • the compression ratio of the region other than the region can be made higher than the compression ratio of the region, and the quality at which the data model can operate. It is possible to improve the compression rate of the data used by the data model while maintaining the above.
  • the learning unit changes the parameters of the compression / decompression device based on the difference between the learning data before compression and decompression and the learning data after compression and decompression for each region and the evaluation function for each region. By doing, you will learn.
  • a management unit for example, AI model that manages management information (for example, AI model management table 141) in which a generation source for generating data (for example, data generation source 110) and a data model using the above data are associated with each other.
  • a management table update program 611) is provided, and the estimation unit identifies a data model corresponding to the training data based on the management information for the training data of the generation source, and determines an area to be watched by the specified data model.
  • Estimating see, for example, FIG. 12
  • the learning unit includes the learning data, data obtained by compressing the learning data using a compressor and an expander corresponding to the generation source, and then decompressing the data.
  • the compression / expansion device is trained using the index calculated by using the weight of the region estimated by the estimation unit for the training data as an evaluation function (see, for example, step S1106 and step S1107).
  • the above generation source is one or more subjects that generate data.
  • the generation source may be a sensor or a device that processes and outputs data from a plurality of sensors.
  • the compression / decompression device is trained using the index weighted on the region to be watched by the data model associated with the generation source as an evaluation function. Therefore, for example, all the data models associated with the generation source can be used.
  • the compression ratio of data from the source can be improved while maintaining operational quality. Further, for example, in the above configuration, even if the area to be watched by the data model is different for each data model, it is possible to specify which data model area the compression ratio should be controlled based on the management information. Become.
  • An interface unit capable of specifying a generation source for generating data (for example, data generation source 110) and a data model using the above data, and data.
  • An acquisition unit that has a model (for example, an AI model) and acquires a data model specified by the interface unit from a processing infrastructure (for example, AI processing infrastructure 130) that executes the data model, and an estimation unit.
  • a storage system (for example, a storage system 140) including the management unit is provided, and the management unit has a generation source specified by the interface unit and a data model acquired by the acquisition unit. The management information is generated in association with each other (see, for example, FIG. 10).
  • a generation source that generates data for example, generation source 110
  • a data model that uses the data for example, an AI model
  • a quality target value for example, AI
  • the gaze area quality target column 1602 value is associated with the quality target value of the area other than the above area (for example, the value of the AI gaze area out-of-gaze area quality target column 1603)
  • the learning unit is associated with the learning data.
  • the data decompressed after the training data was compressed using the compression / expander corresponding to the generation source, the weight of the region estimated by the estimation unit for the training data, and the quality target of the region.
  • the compression / decompression device is learned using the index calculated using the value and the target value of the quality in the region other than the region as an evaluation function (see, for example, step S1704 and step S1705).
  • the target value t 1 of the quality of the region is set to be smaller than the target value t 2 of the quality of the region other than the region, the error of the region other than the region becomes t 2 .
  • the reduction of the error does not contribute to the reduction of the evaluation function, so the compression / expansion device is trained so as to preferentially reduce the error in the region.
  • the target value can be set for each generation source and data model, the quality required for each data model can be more precisely satisfied, and the compression ratio is improved.
  • the compression / decompressor has a compressor and an expander, calculates the estimation uncertainty of the region, identifies a region where the uncertainty is equal to or greater than the threshold, and the region data or the region data in the data corresponding to the identified region.
  • a holding unit for example, region extraction unit 1800
  • a response unit for example, a data reading program
  • the compression unit may be provided in the storage system (for example, the storage system 140) or outside the storage system (for example, the AI processing board 130).
  • the replacement data is retained in the region where the uncertainty is the threshold value or more and is replaced at the time of reading, so that it is possible to avoid the deterioration of the quality in the region where the uncertainty is the threshold value or more.
  • a compression / expander having a RoI (Region of Interest) function (for example, a compressor 1501) is used.
  • the above-mentioned configuration may be appropriately changed, rearranged, combined, or omitted as long as it does not exceed the gist of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

プロセッサと、記憶装置と、を備え、データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおいて、学習データを用いて、データモデルが注視する領域を推定する推定部と、注視する領域に基づいて各領域を重み付けした評価関数と、圧縮伸長器が学習データを圧縮および伸長した結果とに基づいて、圧縮伸長器を学習させる学習部と、を備えるようにした。

Description

データ処理システムおよびデータ圧縮方法
　本発明は、概して、データ量の削減に関する。
　データ量を削減するストレージシステムが知られている（特許文献１参照）。その種のストレージシステムは、一般に、圧縮によりデータ量を削減する。既存の圧縮方法の１つとして、ランレングス法のように、所定のブロック単位内で出現頻度の高い文字列を辞書化し、より小さなサイズの符号に置換する方法が知られている。
　ランレングス法のような可逆圧縮よりも、データ量を削減する技術として、非可逆圧縮技術が知られている。例えば、特許文献２に記載された技術は、ニューラルネットワークを圧縮伸長器に用いた圧縮技術である。データが有する規則性を、ニューラルネットワークでモデル化することにより、データを圧縮する。
日本国特開２００７－１９９８９１号公報 日本国特開２０１９－０９５９１３号公報
　データの蓄積コストの削減の観点から、ＩｏＴ（Internet-of-Things）機器が生成する大規模なデータの蓄積には、圧縮率の高い非可逆圧縮が必要である。さらに、蓄積したデータを、ニューラルネットワーク（以下、「ＡＩ（Artificial Intelligence）と記す）を用いるユーザアプリケーションで利用可能とするためには、圧縮伸長後のデータがＡＩの求める品質を満たす必要がある。
　この場合、データを構成するテンソル上で、ＡＩの結果に大きな影響を与える領域、つまりＡＩが注視する領域（以下、ＡＩ注視領域）以外は、高圧縮による品質の劣化を許容できる。しかしながら、特許文献２に記載の技術では、ＡＩ注視領域であるか否かにかかわらず、全領域を同程度の圧縮率で圧縮するため、圧縮率が悪くなってしまう。
　本発明は、以上の点を考慮してなされたもので、データ量を適切に削減し得るデータ処理システム等を提案しようとするものである。
　かかる課題を解決するため本発明においては、プロセッサと、記憶装置と、を備え、データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおいて、学習データを用いて、データモデルが注視する領域を推定する推定部と、前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部と、を備えるようにした。
　上記構成では、上記構成では、データモデルが注視する領域に応じて学習が行われるので、例えば、当該領域以外の領域の圧縮率を当該領域の圧縮率よりも高くすることができ、データモデルが動作可能な品質を保ちつつ、データモデルが用いるデータの圧縮率を改善することができる。
　本発明によれば、データ量を適切に削減することができる。
第１の実施の形態による構成の一例を示す図である。 第１の実施の形態による構成の一例を示す図である。 第１の実施の形態による画面の一例を示す図である。 第１の実施の形態による画面の一例を示す図である。 第１の実施の形態によるＲＡＭに係る構成の一例を示す図である。 第１の実施の形態によるＲＡＭに係る構成の一例を示す図である。 第１の実施の形態によるテーブルの一例を示す図である。 第１の実施の形態によるテーブルの一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第１の実施の形態による処理の一例を示す図である。 第２の実施の形態による構成の一例を示す図である。 第３の実施の形態によるテーブルの一例を示す図である。 第３の実施の形態による処理の一例を示す図である。 第４の実施の形態による構成の一例を示す図である。
（１）第１の実施の形態
　本実施の形態は、データ量の削減に関するものである。本実施の形態では、ＡＩ向けの非可逆圧縮器を備えるストレージシステムを例に挙げて説明する。
　従来の技術において、領域に応じて圧縮率を制御することも考えられるが、領域に応じて圧縮率を制御できない理由として、大きくは２点存在する。１点目は、ＡＩ注視領域は、ＡＩごとに異なるため、どのＡＩのＡＩ注視領域に従って圧縮率を制御すればよいか、圧縮器において不明であるためである。２点目は、仮に対象とするＡＩが定まる場合でも、圧縮器において、当該ＡＩのＡＩ注視領域を特定する手段がないためである。
　この点、本実施の形態に示すストレージシステムでは、ＡＩ注視領域以外を高い圧縮率で圧縮できるため、全領域を同程度の圧縮率で圧縮する場合と比較して、圧縮率が改善する。
　例えば、本ストレージシステムは、上位で動作するＡＩ処理基盤と協調して動作する。ＡＩ処理基盤は、例えば、各ユーザアプリケーションについて、ユーザアプリケーションで使用されるニューラルネットワークのモデル（構造およびパラメタであり、以下、「ＡＩモデル」と記す）と、当該モＡＩデルの入力となるデータの生成源（以下、「データ生成源」と記す）を、ユーザに指定させる第１のインターフェースと、指定させた情報を管理する第１のテーブルとを備える。
　本ストレージシステムは、例えば、ＡＩ処理基盤に、第１のテーブルに記憶された情報を問い合わせる第２のインターフェースと、ＡＩモデルを要求する第３のインターフェースとを備える。
　また、本ストレージシステムは、例えば、第２のインターフェースと第３のインターフェースとにより問い合わせた情報に基づいて、データのデータ生成源ごとに、当該データが入力となるＡＩモデルを計算し、データ生成源とＡＩモデルとの対応関係を第２のテーブルにて管理する。
　また、本ストレージシステムは、例えば、ニューラルネットワークを用いた圧縮伸長器を備える。本ストレージシステムは、圧縮伸長器の学習データのデータ生成源に対応するＡＩモデルを第２のテーブルから取得し、学習データにおける当該ＡＩモデルのＡＩ注視領域を推定し、推定結果を重みとして、圧縮前の学習データと、圧縮伸長後のデータとの間の加重誤差を算出する関数を、圧縮伸長器を構成するニューラルネットワークのロス関数に設定し、圧縮伸長器を学習する。
　本ストレージシステムは、例えば、学習した圧縮伸長器を用いて、データを圧縮し、記憶ドライブに記憶する。
　本ストレージシステムによれば、データ量を適切に削減することができる。
　なお、以下では、データの圧縮率については、データを圧縮した際に、圧縮後のデータが元のデータのどのくらいの情報量に減ったかを表す割合として説明する。付言するならば、割合を１００倍したパーセンテージで表してもよいし、削減された情報量の元の情報量に対する割合として表してもよい。また、例えば、相対的に少ない情報量に圧縮された（よく圧縮できた）状態を「圧縮率が高い」、相対的に多い情報量に圧縮された（あまり圧縮できなかった）状態を「圧縮率が低い」と記すことがある。また、圧縮率が最も高い状態（例えば、「０」）は、情報が切り捨てられた状態であってもよい。
　また、以下の説明では、同種の要素を区別しないで説明する場合には、枝番を含む参照符号のうちの共通部分（枝番を除く部分）を使用し、同種の要素を区別して説明する場合は、枝番を含む参照符号を使用することがある。例えば、データ生成源を特に区別しないで説明する場合には、「データ生成源１１０」と記載し、個々のデータ生成源を区別して説明する場合には、「データ生成源１１０－１」、「データ生成源１１０－２」のように記載することがある。
　次に、本発明の実施の形態を図面に基づいて説明する。ただし、本発明は、実施の形態に限定されるものではない。
（１－１）概要
　図１において、１００は全体として第１の実施の形態によるデータ処理システムを示す。
　データ処理システム１００は、データ生成源１１０と、管理端末１２０と、ＡＩ処理基盤１３０（AI Processing Platform）と、ストレージシステム１４０（Storage System）とを含んで構成される。
　データ生成源１１０は、データを生成する１以上の主体であり、例えば、センサ、カメラ、システムログ等である。
　管理端末１２０は、ＡＩ処理基盤１３０がユーザに各種の設定をさせるための、入出力装置を備えた端末である。
　ＡＩ処理基盤１３０は、データ生成源１１０が生成するデータ、当該データをストレージシステム１４０に蓄積したデータ等を入力として、ＡＩを実行するための、装置、システム等である。
　ＡＩ処理基盤１３０は、ＡＩモデルＤＢ１３１とアプリケーション管理テーブル１３２とを備える。ＡＩモデルＤＢ１３１は、ＡＩモデルを管理するためのデータベース（ＤＢ）である。アプリケーション管理テーブル１３２は、各ユーザアプリケーション（アプリケーションプログラム）について、ユーザアプリケーションで使用されるＡＩモデルの名前（以下、「ＡＩモデル名」と記す）と、ＡＩモデルの入力となるデータ生成源１１０の名前（以下、「入力データ名」と記す）との対応を管理するためのテーブルである。
　なお、ＡＩモデルについては、予めＡＩモデルＤＢ１３１に初期設定しておいてもよいし、管理端末１２０を介してユーザに登録させてもよいし、それらの組み合わせで設定されていてもよい。
　ストレージシステム１４０は、データ生成源１１０が生成するデータを蓄積するシステムである。ストレージシステム１４０は、ＡＩ処理基盤１３０にアプリケーション管理テーブル１３２の情報を問い合わせ、各入力データ名について、蓄積対象のデータが入力となるＡＩモデル名を計算し、当該ＡＩモデルをＡＩ処理基盤１３０に要求し、入力データ名とＡＩモデルとの対応関係を、ＡＩモデル管理テーブル１４１で管理する。
　ストレージシステム１４０は、ニューラルネットワークにより構成された圧縮器１４２および伸長器１４３を備え、これらを構成するニューラルネットワークを、データ生成源１１０が生成するデータ等を学習データとして学習する。
　ストレージシステム１４０は、各学習データについて、各学習データに対応するＡＩモデルをＡＩモデル管理テーブル１４１から取得し、学習データにおけるＡＩ注視領域を、ＡＩ注視領域推定器１４４により推定する。
　ストレージシステム１４０は、推定したＡＩ注視領域に相対的に高い重みを付して、学習データと、当該学習データの圧縮伸長後のデータとの間の加重誤差を、品質指標関数１４５により計算し、ニューラルネットワークの学習におけるロス関数に設定する。
　ストレージシステム１４０は、データ生成源１１０が生成するデータを、学習した圧縮器１４２により圧縮し、記憶ドライブ１４６に記憶する。
（１－２）システム構成
　ストレージシステム１４０に係る構成について、図２を用いて説明する。図２は、ストレージシステム１４０に係る構成の一例を示す図である。
　図２に示すセンササーバ２１０は、プロセッサ、メモリ、ネットワークインターフェース等のハードウェア資源と、データ生成源１１０のドライバ等のソフトウェア資源とを備えたコンピュータである。センササーバ２１０は、データ生成源１１０が出力するデータ（信号）を、ｃｓｖ（comma-separated values）、バイナリ、ＰＮＧ（Portable Network Graphics）等のファイルフォーマット等、ＡＩ処理基盤１３０およびストレージシステム１４０が受領するファイルフォーマットに変換し、スイッチ２２０を介して、変換したデータの書き込みをストレージシステム１４０に要求する。
　なお、センササーバ２１０は、データ生成源１１０と異なる装置であってもよいし、データ生成源１１０が有する機能として実装されてもよい。また、センササーバ２１０は、１つに限定されるものではなく、２つ以上あってもよい。
　スイッチ２２０は、センササーバ２１０、管理端末１２０、およびＡＩ処理基盤１３０を接続する。
　ＡＩ処理基盤１３０は、フロントエンドインターフェース２３１（Front-end Interface ）、プロセッサ２３２（Processor）、ＲＡＭ２３３（RAM：Random Access Memory）、バックエンドインターフェース２３４（Back-end Interface ）、記憶ドライブ２３５（HDD：Hard Disk Drive / SSD：Solid State Drive）、およびスイッチ２３６（Switch）を備える。
　フロントエンドインターフェース２３１は、ＡＩ処理基盤１３０と、センササーバ２１０、管理端末１２０等とを接続するためのインターフェースである。プロセッサ２３２は、スイッチ２３６を介して、ＲＡＭ２３３に記憶されたプログラム２３７（Program）、および、管理情報２３８（Metadata）を基に、ＡＩ処理基盤１３０全体を制御する。プロセッサ２３２は、ＣＰＵ（Central Processing Unit）のような、汎用的な演算処理器のほかに、ＧＰＵ（Graphical Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）のようなアクセラレータであってもよく、また、それらの組み合わせであってもよい。
　バックエンドインターフェース２３４は、ＡＩ処理基盤１３０と、ストレージシステム１４０とを接続する。記憶ドライブ２３５は、ＨＤＤ、ＳＳＤ等の記憶装置であって、ＡＩモデルＤＢ１３１に登録されたＡＩモデル（ＡＩモデルの構造情報、パラメタ値等）を記憶する。
　ストレージシステム１４０は、フロントエンドインターフェース２４１（Front-end Interface）、プロセッサ２４２（Processor）、ＲＡＭ２４３（RAM）、スイッチ２４４（Switch）、および記憶ドライブ１４６（HDD / SSD）を備える。
　フロントエンドインターフェース２４１は、ストレージシステム１４０と、ＡＩ処理基盤１３０とを接続する。プロセッサ２４２は、スイッチ２４４を介して、ＲＡＭ２４３に記憶されたプログラム２４５（Program）および管理情報２４６（Metadata）を基に、ストレージシステム１４０全体を制御する。プロセッサ２４２は、ＣＰＵのような汎用的な演算処理器のほかに、ＧＰＵ、ＦＰＧＡのようなアクセラレータであってもよく、また、それらの組み合わせであってもよい。記憶ドライブ１４６は、ＨＤＤ、ＳＳＤ等の記憶装置であって、データ生成源１１０が生成するデータを圧縮したデータを記憶する。
　ＡＩ処理基盤１３０およびストレージシステム１４０は、以上で説明した構成要素を実装した個別のＩＣ（Integrated Circuit）を相互に接続した構成であってもよいし、そのいくつかが、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ等として、１つの半導体素子により実装される構成であってもよい。ＡＩ処理基盤１３０とストレージシステム１４０とは、異なるハードウェア装置あってもよいし、同一のコンピュータで動作する異なるＶＭ（Virtual Machine）であってもよいし、同一のＯＳ（Operating System）上で動作する異なるアプリケーションであってもよい。
（１－３）管理画面
　管理端末１２０は、管理端末１２０が通信可能に接続された出力装置に、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を表示する。いずれの画面もユーザに指定させる情報は等価であるが、指定させる方法が異なる。
　図３は、第１のアプリケーション登録画面３００の一例を示す図である。
　アプリケーション名設定フィールド３１０は、ユーザにアプリケーションの名前（以下、「アプリケーション名」と記す）を設定させるためのフィールドである。例えば、アプリケーションを識別するための固有の文字列をユーザに指定させる。なお、ＡＩ処理基盤１３０が内部で固有なアプリケーション名を自動で割り振ることにより、アプリケーション名設定フィールド３１０を省略してもよい。
　ＡＩ設定フィールド３２０は、ＡＩモデル毎に、ＡＩモデルの入力となるデータの入力データ名を、ユーザに指定させるフィールドである。ＡＩ設定フィールド３２０のうち、ＡＩモデル名指定フィールド３２１では、ユーザにＡＩモデル名を指定させる。入力データ名指定フィールド３２２は、左隣のＡＩモデル名指定フィールド３２１で指定されたＡＩモデル名のＡＩモデルについて、当該ＡＩモデルで用いるデータの入力データ名を、ユーザに指定させるフィールドである。
　なお、指定の方法としては、上述したように文字列を入力させてもよいし、ドロップダウンリストから選択させてもよいし、その他の任意の手段であってもよい。
　行追加ボタン３２３は、ＡＩ設定フィールド３２０の末尾に、新たな行を追加する場合に、ユーザにクリックさせるボタンである。第１のアプリケーション登録画面３００に、行追加ボタン３２３を用意する代わりに、ＡＩ設定フィールド３２０に予め十分な数の行を用意してもよい。
　登録ボタン３３０は、アプリケーション名設定フィールド３１０とＡＩ設定フィールド３２０との入力が完了した際に、ユーザにクリックさせるボタンである。
　第１のアプリケーション登録画面３００には、以上で説明したフィールドおよびボタンの他に、あらゆるフィールドやボタン等が追加されてもよい。
　図４は、第２のアプリケーション登録画面４００の一例を示す図である。
　第２のアプリケーション登録画面４００に示すアプリケーション名設定フィールド３１０と登録ボタン３３０とは、第１のアプリケーション登録画面３００と同一の機能を有する。
　データフロー指定フィールド４２０は、データ生成源を表す入力データ名ノード４２１と、ＡＩモデルを表すＡＩモデル名ノード４２２との間を結ぶエッジ４２３を、管理端末１２０の入力装置により操作できるカーソル４０１を用いて、ユーザに描かせるフィールドである。
　管理端末１２０は、描画された有向グラフから、ＡＩモデル名と、当該ＡＩモデル名のＡＩモデルで用いるデータの入力データ名との対応関係を取得する。なお、データフロー指定フィールド４２０に描画できるノードは、入力データ名ノード４２１およびＡＩモデル名ノード４２２に限定されるものではなく、他の種類の機能ブロックを表すノードが追加されてもよい。
　第２のアプリケーション登録画面４００には、以上で説明したフィールドおよびボタンの他に、あらゆるフィールドやボタン等が追加されてもよい。
（１－４）ＲＡＭ構成
　図５および図６を用いて、データ処理システム１００が備える主な機能について説明し、図７および図８を用いてデータ処理システム１００が備える主な情報について説明する。
　図５は、ＡＩ処理基盤１３０のＲＡＭ２３３に係る構成の一例を示す図である。
　ＲＡＭ２３３は、プロセッサ２３２が実行するプログラム２３７を記憶する制御プログラム領域５１０と、プロセッサ２３２がプログラム２３７に従って読み書きする管理情報２３８を記憶する管理情報領域５２０とを含んで構成される。
　制御プログラム領域５１０には、アプリケーション管理テーブル更新プログラム５１１と、データベースプログラム５１２とが含まれる。
　アプリケーション管理テーブル更新プログラム５１１は、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を介してユーザに指定させた、アプリケーション名と入力データ名とＡＩモデル名との対応関係を、アプリケーション管理テーブル１３２に記憶させるプログラムである。
　データベースプログラム５１２は、記憶ドライブ２３５に対して、ＡＩモデルを読み書きするための機能とＡＰＩ（Application Programming Interface）を提供するプログラムである。データベースは、例えば、ＡＩモデル名の文字列に対して、ＡＩモデルを読み書きするリレーショナルデータベース（Relational Database）であるが、これに限定されるものではない。データベースとしては、ＡＩモデルを識別する情報から、ＡＩモデルを読み書きする機能とＡＰＩとを備えれば、いかなるデータベースが用いられてもよい。
　管理情報領域５２０には、アプリケーション管理テーブル１３２が含まれる。
　図７は、アプリケーション管理テーブル１３２の一例を示す図である。
　アプリケーション管理テーブル１３２は、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を介してユーザに指定させた、アプリケーション名と入力データ名とＡＩモデル名との対応関係を記憶するテーブルである。
　アプリケーション名列７０１は、アプリケーション名設定フィールド３１０に設定された、アプリケーション名を記憶する。ＡＩモデル名列７０２は、ＡＩモデル名指定フィールド３２１またはＡＩモデル名ノード４２２に対応するＡＩモデル名を記憶する。入力データ名列７０３は、入力データ名指定フィールド３２２または入力データ名ノード４２１に対応する入力データ名を記憶する。
　アプリケーション管理テーブル１３２の各行は、アプリケーション名列７０１に記憶されたアプリケーション名のアプリケーションにおいて、ＡＩモデル名列７０２に記憶されたＡＩモデル名のＡＩモデルは、入力データ名列７０３に記憶された入力データ名のデータ生成源１１０のデータを入力として用いることを表す。なお、アプリケーション管理テーブル１３２は、テーブルの他、ハッシュテーブル、木構造等、いかなるデータ構造で実装されてもよい。
　図６は、ストレージシステム１４０のＲＡＭ２４３に係る構成の一例を示す図である。
　ＲＡＭ２４３は、プロセッサ２４２が実行するプログラム２４５を記憶する制御プログラム領域６１０と、プロセッサ２４２がプログラム２４５に従って読み書きする管理情報２４６を記憶する管理情報領域６２０とを含む。
　制御プログラム領域６１０には、ＡＩモデル管理テーブル更新プログラム６１１、圧縮伸長器学習プログラム６１２、ＡＩ注視領域推定プログラム６１３、品質計算プログラム６１４、データ書き込みプログラム６１５、およびデータ読み出しプログラム６１６が含まれる。
　ＡＩモデル管理テーブル更新プログラム６１１は、ストレージシステム１４０がＡＩ処理基盤１３０に、アプリケーション管理テーブル１３２に記憶された情報を問い合わせ、ＡＩモデル管理テーブル１４１を更新するプログラムである。
　圧縮伸長器学習プログラム６１２は、圧縮器１４２と伸長器１４３とに含まれるニューラルネットワークの学習を行うプログラムである。
　ＡＩ注視領域推定プログラム６１３は、ＡＩ注視領域推定器１４４に対応し、ＡＩモデルと、当該ＡＩモデルが用いるデータとを入力として、当該データを当該ＡＩモデルのＡＩに適用した場合のＡＩ注視領域を推定し、ヒートマップを出力するプログラムである。
　品質計算プログラム６１４は、品質指標関数１４５に対応し、第１のデータと、第２のデータと、重み情報とを入力として、第１のデータと第２のデータとの間の、重み情報に基づく加重誤差を出力するプログラムである。例えば、二乗平均誤差において、平均の計算を加重平均の計算に置き換えた指標を計算するプログラムである。品質計算プログラム６１４が計算する指標は、これに限定されるものではなく、その他、２つのデータと、重みとを入力として、スカラ値を計算する、いかなる関数を計算するプログラムであってもよい。
　データ書き込みプログラム６１５は、データ生成源１１０が生成するデータを、圧縮器１４２で圧縮し、記憶ドライブ１４６に書き込むプログラムである。
　データ読み出しプログラム６１６は、データの読み出し要求に対して、要求されたデータを記憶ドライブ１４６から読み出し、伸長器１４３で伸長したのち、応答するプログラムである。
　管理情報領域６２０には、ＡＩモデル管理テーブル１４１が含まれる。ＡＩモデル管理テーブル１４１は、ＡＩ処理基盤１３０のアプリケーション管理テーブル１３２に記憶された情報に基づいて、各入力データ名について、入力データ名のデータが入力となり得るＡＩモデル名と、当該ＡＩモデル名のＡＩモデルとを記憶するテーブルである。
　図８は、ＡＩモデル管理テーブル１４１の一例を示す図である。
　入力データ名列８０１は、アプリケーション管理テーブル１３２の入力データ名列７０３に対応する入力データ名を記憶する。ＡＩモデル名列８０２は、アプリケーション管理テーブル１３２のＡＩモデル名列７０２に対応するＡＩモデル名を記憶する。ＡＩモデル列８０３は、ＡＩモデル名列８０２に記憶されたＡＩモデル名に対応する、ＡＩモデルの構造、パラメタ等のＡＩモデル本体を記憶する。なお、ＡＩモデル本体は、記憶ドライブ１４６に記憶し、ＡＩモデル列８０３には、ＡＩモデル本体へのポインタのみを記憶してもよい。
　ＡＩモデル管理テーブル１４１の各行は、入力データ名列８０１に記憶された入力データ名のデータ生成源１１０のデータが、ＡＩモデル名列に記憶されたＡＩモデル名のＡＩモデルの入力として利用され、当該ＡＩモデルがＡＩモデル列８０３に記憶されていることを示している。なお、ＡＩモデル管理テーブル１４１は、テーブルの他、ハッシュテーブル、木構造等、いかなるデータ構造で実装されてもよい。
（１－５）アプリケーション管理テーブルの更新処理
　図９を用いて、ＡＩ処理基盤１３０がアプリケーション管理テーブル１３２を更新する処理（アプリケーション管理テーブル更新処理）について説明する。
　図９は、アプリケーション管理テーブル更新処理の一例を示す図である。
　ＡＩ処理基盤１３０のプロセッサ２３２は、アプリケーション管理テーブル更新処理を、ユーザによる指示（所定のボタンの押下）を契機として開始してもよいし、一定の時間間隔毎に開始してもよいし、その他の任意の契機で開始してもよい（ステップＳ９００）。
　ステップＳ９０１では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０の出力装置に、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を表示させる。なお、ステップＳ９０１については、管理端末１２０に、第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００、または、その両方を、常に表示させることにより、省略してもよい。
　ステップＳ９０２では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に登録ボタン３３０の押下状態を問い合わせ、押下済みの状態となるまで待機する。プロセッサ２３２は、押下済みの状態が応答されるまで、管理端末１２０に状態を定期的に問い合わせてもよいし、登録ボタン３３０の押下時に、管理端末１２０にメッセージを送信させ、その受領をもって待機を解除してもよい。
　ステップＳ９０３では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に、アプリケーション名設定フィールド３１０に指定されたアプリケーション名を要求する。
　ステップＳ９０４は、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に、ＡＩモデル名指定フィールド３２１またはＡＩモデル名ノード４２２により指定させた、ＡＩモデル名の集合を要求する。
　ステップＳ９０５～ステップＳ９１０は、ステップＳ９０４で取得したＡＩモデル名の各々について、ループするステップ群である（ループＡ）。
　ステップＳ９０６では、プロセッサ２３２は、フロントエンドインターフェース２３１を介して、管理端末１２０に、ループＡが指すＡＩモデルの入力データ名の集合を要求する。管理端末１２０は、入力データ名指定フィールド３２２または入力データ名ノード４２１に入力させた入力データ名のうち、プロセッサ２３２に指定されたＡＩモデル名に対応付けられたものを抽出し、応答する。
　ステップＳ９０７～ステップＳ９０９は、ステップＳ９０６で取得した各入力データ名について、ループするステップ群である（ループＢ）。
　ステップＳ９０８では、プロセッサ２３２は、アプリケーション管理テーブル１３２の、アプリケーション名列７０１と、ＡＩモデル名列７０２と、入力データ名列７０３とに、ステップＳ９０３で取得したアプリケーション名と、ループＡが指すＡＩモデル名と、ループＢが指す入力データ名とを、それぞれ記憶する。
　ループＡの終了後、プロセッサ２３２は、アプリケーション管理テーブル更新処理を終了する（ステップＳ９１１）。
（１－６）ＡＩモデル管理テーブルの更新処理
　図１０を用いて、ストレージシステム１４０がＡＩモデル管理テーブル１４１を更新する処理（ＡＩモデル管理テーブル更新処理）について説明する。
　図１０は、ＡＩモデル管理テーブル更新処理の一例を示す図である。
　ストレージシステム１４０のプロセッサ２４２は、ＡＩモデル管理テーブル更新処理を、データの読み書きを契機として開始してもよいし、一定の時間間隔毎に開始してもよいし、アプリケーション管理テーブル１３２の更新を契機として開始してもよいし、その他の任意の契機で開始してもよい（ステップＳ１０００）。
　ステップＳ１００１では、プロセッサ２４２は、フロントエンドインターフェース２４１を介して、ＡＩ処理基盤１３０に、アプリケーション管理テーブル１３２に記憶された全ての情報を要求する。
　ステップＳ１００２～ステップＳ１００９は、ステップＳ１００１で取得したアプリケーション管理テーブル１３２の各行について、ループするステップ群である（ループＡ）。
　ステップＳ１００３～ステップＳ１００５は、ＡＩモデル管理テーブル１４１の各行について、ループするステップ群である（ループＢ）。
　ステップＳ１００４では、プロセッサ２４２は、ループＡが指す行のＡＩモデル名列７０２のＡＩモデル名と、ループＢが指す行のＡＩモデル名列８０２のＡＩモデル名とが一致し、かつ、ループＡが指す行の入力データ名列７０３の入力データ名と、ループＢが指す行の入力データ名列８０１の入力データ名とが一致するかを条件判定する。プロセッサ２４２は、条件が真である場合、当該ＡＩモデル名と当該入力データ名との組み合わせは、すでにＡＩモデル管理テーブル１４１に登録済みであるため、ループＢを抜け（break）し、ループＡの次の行について処理を行う（ループＡの次のIterationに進む）。他方、条件が偽である場合、プロセッサ２４２は、ループＢの次の行について処理を行う（ループＢの次のIterationに進む）。
　ループＢがステップＳ１００４によりbreakせずに終了した場合、プロセッサ２４２は、ステップＳ１００６の処理を実行する。
　ステップＳ１００６では、プロセッサ２４２は、ＡＩモデル管理テーブル１４１の末尾行の入力データ名列８０１とＡＩモデル名列８０２とに、ループＡが指す行の、入力データ名列７０３の入力データ名とＡＩモデル名列７０２のＡＩモデル名とを、それぞれ記憶する。
　ステップＳ１００７では、プロセッサ２４２は、フロントエンドインターフェース２４１を介して、ＡＩ処理基盤１３０に、ループＡが指す行のＡＩモデル名列７０２に記憶されているＡＩモデル名に対応するＡＩモデルを要求する。
　ステップＳ１００８では、プロセッサ２４２は、ステップＳ１００７で取得したＡＩモデルを、ＡＩモデル管理テーブル１４１の末尾行のＡＩモデル列８０３に記憶する。
　ループＡの終了後、プロセッサ２４２は、ＡＩモデル管理テーブル更新処理を終了する（ステップＳ１０１０）。
　以上では、ストレージシステム１４０において、ＡＩモデル管理テーブル１４１を更新する処理を説明した。この他にも、ＡＩ処理基盤１３０において、ＡＩモデル管理テーブル１４１の複製を更新し、ストレージシステム１４０のＡＩモデル管理テーブル１４１にコピーする方法が採られてもよい。
（１－７）圧縮伸長器の学習処理
　図１１を用いて、ストレージシステム１４０が圧縮器１４２および伸長器１４３を学習する処理（圧縮伸長器学習処理）について説明する。
　図１１は、圧縮伸長器学習処理の一例を示す図である。
　ストレージシステム１４０のプロセッサ２４２は、圧縮伸長器学習処理を、データ生成源１１０のデータ書き込み契機で開始してもよいし、一定の時間間隔毎に開始してもよいし、ストレージシステム１４０の初期化時に開始してもよいし、管理端末１２０を介してユーザに指示させたタイミングで開始してもよいし、その他の任意の契機で開始してもよい（ステップＳ１１００）。
　なお、以下では、データ生成源１１０ごとに圧縮器１４２および伸長器１４３（圧縮伸長器）を用意するケースを例に挙げて説明する。つまり、データ生成源１１０の数と同数の圧縮伸長器が存在する場合において、圧縮伸長器学習プログラム６１２の引数として与えられた入力データ名に対応する１種のデータ生成源１１０向けの圧縮伸長器を学習する処理を説明する。しかしながら、本実施の形態は、そのような場合に限定されるものではなく、複数のデータ生成源１１０のデータを同時に圧縮するように（例えば、複数のデータを組み合わせて１つのデータとみなして）、１個の圧縮伸長器を学習してもよいし、その組み合わせであってもよい。
　ステップＳ１１０１～ステップＳ１１０８は、引数で与えられた入力データ名の学習データについて、ループするステップ群である（ループＡ）。
　学習データは、データ生成源１１０が生成するデータと類似のものであれば、どのようなデータであってもよい。例えば、データ生成源１１０がデータを生成する度に、当該データを学習データとして、圧縮伸長器を学習してもよい。また、例えば、サンプルとして予め用意したデータ生成源１１０のデータを学習データとして、ストレージシステム１４０の初回起動時に、圧縮伸長器を学習してもよい。ループＡのIterationの粒度は、学習データを構成する画像等のファイル単位であってもよいし、複数のファイルから構成されるバッチ単位であってもよいし、その他の任意の粒度でもよい。
　ステップＳ１１０２では、プロセッサ２４２は、ＡＩ注視領域推定プログラム６１３をサブルーチンとして起動する（ＡＩ注視領域推定処理を行う）。ＡＩ注視領域推定処理において、プロセッサ２４２は、ループＡが指す学習データについて、学習データを入力として用いるＡＩモデルのＡＩ注視領域を推定し、ヒートマップとして得る。なお、ＡＩ注視領域推定処理については、図１２を用いて後述する。
　ステップＳ１１０３では、プロセッサ２４２は、ステップＳ１１０２で計算したＡＩ注視領域のヒートマップに基づき、品質計算プログラム６１４の入力とするための重みを計算する。例えば、プロセッサ２４２は、ＡＩ注視領域を表すヒートマップをそのまま重みとしてもよいし、ヒートマップの値を、適当な閾値で二値化したものを重みとしてもよいし、その他、ヒートマップに任意の関数を適用して重みを計算してよい。なお、閾値で二値化する場合、閾値、二値化後に設定する２種類の値については、ストレージシステム１４０にプリセットされた値を用いてもよいし、管理端末１２０を介してユーザに指定させてもよい。
　ステップＳ１１０４では、プロセッサ２４２は、圧縮器１４２により、学習データを圧縮し、圧縮データを得る。
　ステップＳ１１０５では、プロセッサ２４２は、伸長器１４３により、ステップＳ１１０４で得た圧縮データを伸長し、伸長データを得る。
　ステップＳ１１０６では、プロセッサ２４２は、品質計算プログラム６１４をサブルーチンとして起動し、ステップＳ１００３で計算した重みにより、学習データと、伸長データとの間の加重誤差を計算する。
　例えば、学習データｘと、伸長データｙとの対応する各データ点ｘｉ，ｙｉ毎に、対応する重みｗｉで加重した二乗平均誤差を品質とすることができる（下記の式（１））。
Figure JPOXMLDOC01-appb-M000001
　また、ＡＩ注視領域に「１」、その他の領域に「０」を設定した重みを用いて、ＡＩ注視領域の二乗平均誤差と、その他の領域の二乗平均誤差を計算し、各々について、目標値ｔ１と目標値ｔ２とを減算し、「０」とｍａｘ演算を取った値を、加算した式（下記の式（２））を品質としてもよい。この場合、例えば、目標値ｔ１が目標値ｔ２よりも小さい値となるように設定すれば、ＡＩ注視領域でない領域の二乗平均誤差がｔ２に達した後は、同誤差の減少がＬｏｓｓ関数の減少に寄与しなくなるため、ＡＩ注視領域の二乗平均誤差を優先して削減するように、圧縮伸長器が学習される。
Figure JPOXMLDOC01-appb-M000002
　目標値ｔ１と目標値ｔ２とは、ストレージシステム１４０にプリセットされた値を用いてもよいし、管理端末１２０を介してユーザに指定させてもよい。また、誤差の計算方法は、二乗平均誤差に限定されるものではなく、その他、学習データｘ、伸長データｙ、重みｗを入力として、スカラ値を出力する任意の関数でよい。例えば、画像データに対して、二乗平均誤差よりも、より人間の知覚に近い品質指標であると知られているＭＳ－ＳＳＩＭ（Multi-Scale Structural Similarity）において、入力として、画像の他に、重みｗを与え、各スケールにおけるStructural Similarity値の平均計算を、重みｗに基づく加重平均に置き換えて計算した値を、品質としてもよい。また、上記の式（２）を構成する各項に、適当な係数が設定されてもよい。
　ステップＳ１１０７は、プロセッサ２４２は、ステップＳ１１０６で計算した加重誤差をＬｏｓｓ関数として、圧縮器１４２と伸長器１４３とに含まれるニューラルネットワークの学習パラメタを更新する。例えば、プロセッサ２４２は、逆誤差伝播法により、学習パラメタを更新する。
　学習パラメタの更新アルゴリズムについては、逆誤差伝播法に限定されるものではなく、例えば、ＳＧＤ（Stochastic Gradient Descent）、Ａｄａｍ（Adaptive moment estimation）等のアルゴリズムが用いられてもよい。
　また、圧縮後のデータのエントロピーを、ニューラルネットワークにより推定し、圧縮伸長器のＬｏｓｓ関数として、当該推定値と品質とを加算した関数を用いることで、圧縮率と品質との両方を改善するように、圧縮伸長器を学習させる技術が存在する。この場合、Ｌｏｓｓ関数として、ステップＳ１１０６で計算した加重誤差の他に、圧縮率を表す項、圧縮伸長器を構成するニューラルネットワークの学習パラメタを正則化するための項等が追加されてもよい。この場合、品質、圧縮率、正則化等を表す各項を、予め定められた定数により加算したものをＬｏｓｓ関数としてもよいし、積算したものをＬｏｓｓ関数としてもよいし、その他、各項から１つのスカラ値を計算する任意の関数を適用してＬｏｓｓ関数としてもよい。
　ループＡの終了後、プロセッサ２４２は、圧縮伸長器学習処理を終了する（ステップＳ１１０９）。
　なお、学習パラメタの更新が収束するまで、同一の学習データに対して、上記の処理は複数回実行されてもよい。
　図１２は、ＡＩ注視領域推定処理の一例を示す図である。
　プロセッサ２４２は、圧縮伸長器学習プログラム６１２のサブルーチンとして、ＡＩ注視領域推定処理を開始する（ステップＳ１２００）。このとき、プロセッサ２４２は、ＡＩ注視領域推定処理の引数として、学習データと、学習データの入力データ名とを設定する。
　ステップＳ１２０１～ステップＳ１２０５は、ＡＩモデル管理テーブル１４１の各行についてループするステップ群である（ループＡ）。
　ステップＳ１２０２では、プロセッサ２４２は、ループＡが指す行の入力データ名列８０１に記憶された入力データ名と、引数として与えられた入力データ名とが一致するか、条件判定する。条件が真である場合、プロセッサ２４２は、ステップＳ１２０３に処理を移す。条件が偽である場合、プロセッサ２４２は、ループＡの次の行について処理を行う（次のIterationに進む）。
　ステップＳ１２０３は、プロセッサ２４２は、ループＡが指す行のＡＩモデル列８０３からＡＩモデルを取得する。
　ステップＳ１２０４では、プロセッサ２４２は、引数で与えられた学習データを、取得したＡＩモデルに入力した場合のＡＩ注視領域を推定する。
　ＡＩ注視領域の推定処理として、プロセッサ２４２は、例えば、Grad-CAM、Guided Backpropagation等のアルゴリズムを実行する。また、例えば、プロセッサ２４２は、ＡＩモデル自体が、内部でマスクを計算し、特徴量テンソルのマスク処理等を行っている場合、当該マスクをＡＩ注視領域として利用してもよい。また、例えば、プロセッサ２４２は、画像データを入力として、特定の物体を検出し、当該物体の位置をBounding Box、セグメンテーション画像等の形式で出力するＡＩについては、物体が検出された領域を、ＡＩ注視領域として利用してもよい。
　なお、ＡＩ注視領域の推定処理は、これらに限定されるものではなく、どのようなアルゴリズムで推定されてもよい。また、ＡＩモデルは、ニューラルネットワークに限定されるものではなく、ＳＶＭ（Support Vector Machine）等の他の機械学習アルゴリズムであってもよいし、機械学習以外のアルゴリズムであってもよい。
　ステップＳ１２０６では、プロセッサ２４２は、ループＡ内で推定したＡＩ注視領域を包含するヒートマップを生成する。例えば、プロセッサ２４２は、ループＡによりＡＩ注視領域を表す複数のヒートマップが得られた場合、これらのデータ点毎の最大値を計算して、新たなヒートマップを生成する。この処理により、学習データに関連付けられた１以上のＡＩモデルについてＡＩ注視領域となっている領域には、生成されたヒートマップにおいて相対的に高い値が設定される。ヒートマップの生成処理は、これに限定されるものではなく、複数のＡＩ注視領域の推定結果から、ヒートマップを計算する任意のアルゴリズムが用いられてよい。
　ステップＳ１２０６の処理の後、プロセッサ２４２は、ステップＳ１２０６の結果として得たヒートマップを戻り値として、ＡＩ注視領域推定処理を終了する（ステップＳ１２０７）。
　なお、ＡＩ注視領域に加え、人間の注視点を推定するモデルを使用することにより、人間の注視領域にも高い値を設定したヒートマップを戻り値としてもよい。
（１－８）データ書き込み処理
　図１３を用いて、ストレージシステム１４０がデータを書き込む処理（データ書き込み処理）について説明する。
　図１３は、データ書き込み処理の一例を示す図である。
　プロセッサ２４２は、データ書き込み処理を、フロントエンドインターフェース２４１におけるデータ書き込み要求の受領を契機として開始する（ステップＳ１３００）。なお、センササーバ２１０とストレージシステム１４０との間の経路は、ＡＩ処理基盤１３０が中継する経路でもよいし、ストレージシステム１４０のフロントエンドインターフェース２４１をスイッチ２２０に接続するネットワークトポロジとして、センササーバ２１０とストレージシステム１４０とを直接接続する経路でもよい。
　ステップＳ１３０１では、プロセッサ２４２は、フロントエンドインターフェース２４１にて受領した書き込み対象のデータを、当該データのデータ生成源１１０に対応する圧縮器１４２により圧縮する。
　ステップＳ１３０２では、プロセッサ２４２は、圧縮データを記憶ドライブ１４６に記憶する。なお、記憶ドライブ１４６でデータを管理する方法は、ファイルシステム、リレーショナルデータベース等、任意の手段を用いてよい。
　ステップＳ１３０２の処理の後、プロセッサ２４２は、データ書き込み処理を終了する（ステップＳ１３０３）。
（１－９）データ読み出し処理
　図１４を用いて、ストレージシステム１４０がデータを読み出す処理（データ読み出し処理）について説明する。
　図１４は、データ読み出し処理の一例を示す図である。
　プロセッサ２４２は、データ読み出し処理を、フロントエンドインターフェース２４１におけるデータ読み出し要求の受領を契機として開始する（ステップＳ１４００）。なお、データ読み出し要求は、管理端末１２０、ＡＩ処理基盤１３０等が発行する。データ読み出し要求の発行主体（発行元）については、これらに限定されるものではなく、その他の任意の装置がデータ読み出し要求を発行してもよい。
　また、管理端末１２０とストレージシステム１４０との間の経路は、ＡＩ処理基盤１３０が中継する経路でもよいし、ストレージシステム１４０のフロントエンドインターフェース２４１をスイッチ２２０に接続するネットワークトポロジとして、管理端末１２０とストレージシステム１４０とを直接接続する経路でもよい。
　ステップＳ１４０１では、プロセッサ２４２は、フロントエンドインターフェース２４１にて受領したデータ読み出し要求に対応する圧縮データを、記憶ドライブ１４６から読み出す。
　ステップＳ１４０２では、プロセッサ２４２は、ステップＳ１４０１にて読み出した圧縮データを、圧縮データに対応するデータ生成源１１０の伸長器１４３により伸長する。
　ステップＳ１４０３では、プロセッサ２４２は、ステップＳ１４０２にて伸長データを、フロントエンドインターフェース２４１を介して、データ読み出し要求の発行元に応答する。
　ステップＳ１４０３の処理の後、プロセッサ２４２は、データ読み出し処理を終了する（ステップＳ１４０４）。
　なお、データの読み出し要求に対して、データの伸長をストレージシステム１４０の伸長器１４３により伸長する以外にも、管理端末１２０等のデータ読み出し要求の発行元に圧縮データを応答し、当該発行元に伸長処理をさせてもよい。
　本実施の形態によれば、ＡＩが動作可能な品質を保ちつつ、圧縮率を改善することができる。
（２）第２の実施の形態
　本実施の形態の概要について、図１５を用いて説明する。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
　本実施の形態では、ストレージシステム１４０は、データ生成源１１０が生成したデータの書き込み要求に対し、当該データのＡＩ注視領域を、ＡＩ注視領域推定器１４４により推定し、推定結果をＪＰＥＧ２０００等、特定の領域（例えば、興味領域）に多くの符号量を割り当てることができるＲｏＩ（Region of Interest）機能を有する圧縮器１５０１の興味領域として設定し、当該データを圧縮器１５０１により圧縮し、記憶ドライブ１４６に記憶する。
　圧縮器１５０１は、ＪＰＥＧ２０００に限定されるものではなく、ＲｏＩ機能を有する任意の圧縮アルゴリズムでよい。その他、アプリケーション管理テーブル更新処理、ＡＩモデル管理テーブル更新処理、ＡＩ注視領域推定処理等、説明を省略した処理については、第１の実施の形態と同一である。
　なお、データの読み出し要求に対して、データの伸長をストレージシステム１４０の伸長器１５０２により伸長する以外にも、管理端末１２０等のデータ読み出し要求の発行元に圧縮データを応答し、当該発行元に伸長処理をさせてもよい。
　本実施の形態によれば、ＡＩが動作可能な品質を保ちつつ、圧縮率を改善することができる。
（３）第３の実施の形態
　本実施の形態では、ストレージシステム１４０は、管理端末１２０を介してユーザに指定させた、品質指標、ＡＩ注視領域の品質目標、およびＡＩ注視領域外の品質目標に基づいて品質を計算する。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
　図１６は、本実施の形態におけるＡＩモデル管理テーブル１６００の一例を示す図である。
　ＡＩモデル管理テーブル１６００は、第１の実施の形態におけるＡＩモデル管理テーブル１４１の列に加え、品質指標列１６０１、ＡＩ注視領域品質目標列１６０２、ＡＩ注視領域外品質目標列１６０３を備える。これらのフィールドには、例えば、管理端末１２０を介して、ユーザに指定させた値が設定される。
　品質指標列１６０１は、入力データ名列８０１毎に、当該データの品質を指標化するための関数を管理する。ＡＩ注視領域品質目標列１６０２は、ＡＩ注視領域における品質の目標値を管理する。ＡＩ注視領域外品質目標列１６０３は、ＡＩ注視領域以外の領域における品質の目標値を管理する。
　本実施の形態においては、ＡＩ注視領域推定処理のヒートマップ生成処理において、複数ＡＩモデルのヒートマップをマージする処理（ステップＳ１２０６）を行わず、各ＡＩモデルについて、ＡＩ注視領域の推定結果を返す。つまり、ＡＩ注視領域推定処理は、当該データに紐づくＡＩモデルの数に等しい枚数のヒートマップを返す。
　図１７は、本実施の形態における圧縮伸長器学習処理の一例を示す図である。
　ステップＳ１７００～ステップＳ１７０５は、ＡＩモデル管理テーブル１６００の行のうち、入力データ名列８０１に、引数で指定された入力データ名が記憶されている各行について、ループするステップ群である（ループＢ）。
　ステップＳ１７０１では、プロセッサ２４２は、ループＢが指す行のＡＩモデル名列８０２に対応するＡＩ注視領域のヒートマップを、ステップＳ１１０２の引数から選択し、ヒートマップを基に重みを計算する。重みは、例えば、ヒートマップのうち、ストレージシステム１４０にプリセットされた閾値を上回るデータ点には「１」を、その他のデータ点には「０」を設定することで二値化することにより生成できる。閾値、二値化後に設定する値は、管理端末１２０を介してユーザに指定させてもよい。その他、ヒートマップを任意の関数に適用することで、重みを計算してもよい。
　ステップＳ１７０２およびステップＳ１７０３は、第１の実施の形態における圧縮伸長学習処理のステップＳ１１０４およびステップＳ１１０５と同一である。
　ステップＳ１７０４では、プロセッサ２４２は、ループＢが指す行の品質指標列１６０１、ＡＩ注視領域品質目標列１６０２、ＡＩ注視領域外品質目標列１６０３に記憶された値を基に、学習データと伸長データとの間の品質を計算する。
　プロセッサ２４２は、例えば、上記の式（２）において、二乗平均誤差の計算式を、品質指標列１６０１で指定された品質指標の計算式に、ｔ１をＡＩ注視領域品質目標列１６０２に指定された値に、ｔ２をＡＩ注視領域外品質目標列１６０３に設定された値に、それぞれ置き換えた式により、品質を計算する。なお、式（２）を構成する各項に、適当な係数が設定されてもよい。品質の計算式については、式（２）に限定されるものではなく、学習データ、伸長データ、重み、ＡＩ注視領域品質目標、ＡＩ注視領域外品質目標の４つを入力として、スカラ値を計算する任意の関数であってよい。
　ステップＳ１７０６では、プロセッサ２４２は、ステップＳ１２０２で計算した品質の和をＬｏｓｓ関数として、圧縮器１４２と伸長器１４３とに含まれるニューラルネットワークの学習パラメタを更新する。例えば、プロセッサ２４２は、逆誤差伝播法により、学習パラメタを更新する。学習パラメタの更新アルゴリズムについては、逆誤差伝播法に限定されるものではなく、例えば、ＳＧＤ、Ａｄａｍ等のアルゴリズムが用いられてもよい。
　また、プロセッサ２４２は、品質の和を計算する際に、各品質を適当な係数により重み付けしてもよい。また、Ｌｏｓｓ関数として、ステップＳ１１０６で計算した加重誤差の他に、圧縮率を表す項、圧縮伸長器を構成するニューラルネットワークの学習パラメタを正則化するための項等が追加されてもよい。この場合、品質、圧縮率、正則化等を表す各項を、予め定められた定数により加算したものをＬｏｓｓ関数としてもよいし、積算したものをＬｏｓｓ関数としてもよいし、その他、各項から１つのスカラ値を計算する任意の関数を適用してＬｏｓｓ関数としてもよい。
　上記の方法により品質を計算する方法以外にも、品質指標列１６０１が同一の、２つのＡＩモデル「ＡＩ１」、「ＡＩ２」について、ＡＩ注視領域が重複する領域が存在する場合、重複領域の品質、「ＡＩ１」のみのＡＩ注視領域の品質、「ＡＩ２」のみのＡＩ注視領域の品質、いずれのＡＩモデルのＡＩ注視領域でもない領域の品質をそれぞれ計算し、それぞれの目標値として、ｍａｘ（ｔｐ１，ｔｐ２），ｍａｘ（ｔｐ１，ｔｎ２），ｍａｘ（ｔｎ１，ｔｐ２），ｍａｘ（ｔｎ１，ｔｎ２）として、上記の式（２）と同様に計算してもよい。ただし、ｔｐ１，ｔｎ１，ｔｐ２，ｔｎ２は、それぞれ、「ＡＩ１」のＡＩ注視領域品質目標列１６０２、「ＡＩ１」のＡＩ注視領域外品質目標列１６０３、「ＡＩ２」のＡＩ注視領域品質目標列１６０２、「ＡＩ２」のＡＩ注視領域外品質目標列１６０３である。また、ＡＩモデルの数が３以上の場合について、同様に計算した品質を用いてもよい。
　本実施の形態によれば、データ生成源およびＡＩモデル毎に目標値が設定可能となるので、各ＡＩモデルに求められる品質をより精緻に満たすことが可能となるため、圧縮率をより改善することができる。
（４）第４の実施の形態
　図１８は、本実施の形態の概要を表す。第１の実施の形態～第３の実施の形態では、ＡＩ注視領域に基づいて画質を制御するように、圧縮器１４２を学習させている。これは、圧縮器１４２が、内部的にＡＩ注視領域の推定が行われるように学習されることを意味する。しかしながら、圧縮器１４２で行われるＡＩ注視領域の推定は、誤差を伴う可能性がある。特に、本来、ＡＩ注視領域であるにも関わらず、ＡＩ注視領域以外であると判定される領域が存在すると、当該領域の品質が低下する可能性がある。
　この点、本実施の形態では、圧縮器１４２を構成するニューラルネットワークとして、ベイジアンニューラルネットワークを用いることで、圧縮データに加え、各データ点におけるＡＩ注視領域の推定の不確かさ（Uncertainty）を出力するように、圧縮器１４２を学習させる。なお、本実施の形態では、第１の実施の形態と同じ構成については、同じ符号を用いてその説明を適宜省略する。
　領域抽出部１８００は、データの書き込み時に、圧縮器１４２により、ＡＩ注視領域の推定の不確かさを計算し、不確かさが閾値以上の領域の書き込みデータのオリジナルの値を抽出し、圧縮データと合わせて、記憶ドライブ１４６に記憶する。閾値は、ストレージシステム１４０にプリセットされた値であってもよいし、管理端末１２０を介してユーザに指定させた値であってもよい。
　オリジナルの値を抽出して記憶する以外にも、圧縮率、品質が異なる複数の圧縮器を予め学習させておき、不確かさが高い領域が存在する場合には、より高品質の圧縮器で圧縮し直し、当該圧縮器による圧縮データを記憶ドライブ１４６に記憶してもよい。
　読み出し時には、記憶ドライブ１４６から読み出した圧縮データを伸長器１４３で伸長した後、記憶ドライブ１４６からオリジナルの値を読み出し、オリジナルの値があるデータ点については、伸長データを当該オリジナル値で置き換えたデータを、読み出し要求元に応答する。
　本実施の形態によれば、不確かさが閾値以上の領域についてはオリジナル値が保持され、読み出し時に置換されるので、ＡＩ注視領域の推定ミスに伴う品質の低下を回避することができる。
　以上、本発明が適用されるＡＩ処理基盤とストレージシステムとについて説明した。
（５）付記
　上述の実施の形態には、例えば、以下のような内容が含まれる。
　上述の実施の形態においては、本発明をデータ処理システムに適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のシステム、装置、方法、プログラムに広く適用することができる。
　ＡＩ処理基盤の機能（アプリケーション管理テーブル更新プログラム５１１、データベースプログラム５１２等の機能）は、例えば、プロセッサ２３２がプログラム２３７をＲＡＭ２３３に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、ＡＩ処理基盤の機能の一部は、ＡＩ処理基盤と通信可能な他のコンピュータにより実現されてもよい。
　ストレージシステム１４０の機能（ＡＩモデル管理テーブル更新プログラム６１１、圧縮伸長器学習プログラム６１２、ＡＩ注視領域推定プログラム６１３、品質計算プログラム６１４、データ書き込みプログラム６１５、データ読み出しプログラム６１６等の機能）は、例えば、プロセッサ２４２がプログラム２４５をＲＡＭ２４３に読み出して実行すること（ソフトウェア）により実現されてもよいし、専用の回路等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアとが組み合わされて実現されてもよい。また、ストレージシステム１４０の機能の一部は、ストレージシステム１４０と通信可能な他のコンピュータにより実現されてもよい。
　また、上述の実施の形態において、各テーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部または一部が１つのテーブルであってもよい。
　また、上述の実施の形態において、説明の便宜上、ＸＸテーブル、ＸＸファイルを用いて各種のデータを説明したが、データ構造は限定されるものではなく、ＸＸ情報等と表現してもよい。
　また、上記の説明において、各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　上述した実施の形態は、例えば、以下の特徴的な構成を有する。
　プロセッサ（例えば、プロセッサ２４２）と、記憶装置（ＲＡＭ２４３、記憶ドライブ１４６等）と、を備え、データを圧縮および伸長する学習済みの圧縮伸長器（例えば、圧縮器１４２および伸長器１４３）を用いてデータを入出力するデータ処理システム（例えば、データ処理システム１００）において、学習データを用いて、データモデル（例えば、ＡＩモデル）が注視する領域を推定する推定部（ＡＩ注視領域推定器１４４、ＡＩ注視領域推定プログラム６１３等）と、前記注視する領域に基づいて各領域を重み付けした評価関数（例えば、ＬＯＳＳ関数）と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部（例えば、圧縮伸長器学習プログラム６１２）と、を備える。
　上記構成では、データモデルが注視する領域に応じて学習が行われるので、例えば、当該領域以外の領域の圧縮率を当該領域の圧縮率よりも高くすることができ、データモデルが動作可能な品質を保ちつつ、データモデルが用いるデータの圧縮率を改善することができる。
　前記学習部は、前記圧縮および伸長前の学習データと圧縮および伸長後の学習データとの前記領域ごとの差分と、前記領域ごとの評価関数と、に基づいて、前記圧縮伸長器のパラメタを変更することで、学習させる。
　データを生成する生成源（例えば、データ生成源１１０）と、上記データを用いるデータモデルと、が対応付けられた管理情報（例えば、ＡＩモデル管理テーブル１４１）を管理する管理部（例えば、ＡＩモデル管理テーブル更新プログラム６１１）を備え、上記推定部は、上記生成源の学習データについて、上記管理情報をもとに上記学習データに対応するデータモデルを特定し、特定したデータモデルが注視する領域を推定し（例えば、図１２参照）、上記学習部は、上記学習データと、上記生成源に対応する圧縮器および伸長器が用いられて上記学習データが圧縮されてから伸長されたデータと、上記学習データについて上記推定部により推定された領域の重みとを用いて計算した指標を評価関数として上記圧縮伸長器を学習する（例えば、ステップＳ１１０６、ステップＳ１１０７参照）。
　上記生成源は、データを生成する１以上の主体である。例えば、上記生成源は、センサであってもよいし、複数のセンサのデータを処理して出力する装置であってもよい。
　上記構成では、生成源に対応付けられているデータモデルが注視する領域に重み付けした指標を評価関数として圧縮伸長器が学習されるので、例えば、生成源に対応付けられている全てのデータモデルが動作可能な品質を保ちつつ、生成源からのデータの圧縮率を改善することができる。また、例えば、上記構成では、データモデルが注視する領域がデータモデルごとに異なっていたとしても、管理情報をもとに、どのデータモデルの領域に従って圧縮率を制御すればよいかが特定できるようになる。
　データを生成する生成源（例えば、データ生成源１１０）と、上記データを用いるデータモデルとを指定可能なインターフェース部（第１のアプリケーション登録画面３００、第２のアプリケーション登録画面４００等）と、データモデル（例えば、ＡＩモデル）を有し、上記データモデルを実行する処理基盤（例えば、ＡＩ処理基盤１３０）から、上記インターフェース部により指定されたデータモデルを取得する取得部と、上記推定部と、上記管理部とを含んで構成されるストレージシステム（例えば、ストレージシステム１４０）と、を備え、上記管理部は、上記インターフェース部により指定された生成源と上記取得部により取得されたデータモデルとを対応付けて上記管理情報を生成する（例えば、図１０参照）。
　上記管理情報では、データを生成する生成源（例えば、生成源１１０）と、上記データを用いるデータモデル（例えば、ＡＩモデル）と、上記データモデルが注視する領域の品質の目標値（例えば、ＡＩ注視領域品質目標列１６０２の値）と、上記領域以外の領域の品質の目標値（例えば、ＡＩ注視領域外品質目標列１６０３の値）とが対応付けられ、上記学習部は、上記学習データと、上記生成源に対応する圧縮伸長器が用いられて上記学習データが圧縮されてから伸長されたデータと、上記学習データについて上記推定部により推定された領域の重みと、上記領域の品質の目標値と、上記領域以外の領域の品質の目標値とを用いて計算した指標を評価関数として上記圧縮伸長器を学習する（例えば、ステップＳ１７０４、ステップＳ１７０５参照）。
　上記構成では、例えば、領域の品質の目標値ｔ１が当該領域以外の領域の品質の目標値ｔ２よりも小さい値となるように設定すれば、当該領域以外の領域の誤差がｔ２に達した後は、同誤差の減少が評価関数の減少に寄与しなくなるため、当該領域の誤差を優先して削減するように、圧縮伸長器が学習される。上記構成によれば、生成源およびデータモデル毎に目標値が設定可能となるので、各データモデルに求められる品質をより精緻に満たすことができ、圧縮率が改善する。
　上記圧縮伸長器は、圧縮器と伸長器とを有し、上記領域の推定の不確かさを計算し、不確かさが閾値以上の領域を特定し、特定した領域に対応する上記データにおける領域データまたは上記圧縮器より高品質の圧縮器で上記データを圧縮した圧縮データを置換用データとして保持する保持部（例えば、領域抽出部１８００）と、上記データの読み出しに対し、上記データの圧縮データを伸長器で伸長し、伸長データを上記置換用データで置換した置換済みデータを、上記データの要求元に応答する応答部（例えば、データ読み出しプログラム）と、を備える。
　上記圧縮部は、ストレージシステム（例えば、ストレージシステム１４０）に設けられていてもよいし、ストレージシステム外（例えば、ＡＩ処理基盤１３０）に設けられていてもよい。
　上記構成では、例えば、不確かさが閾値以上の領域については置換用データが保持され、読み出し時に置換されるので、不確かさが閾値以上の領域における品質の低下を回避することができる。
　ＲｏＩ（Region of Interest）機能を有する圧縮伸長器（例えば、圧縮器１５０１）を用いる。
　上記構成によれば、例えば、圧縮伸長器の学習をすることなく、データモデルが動作可能な品質を保ちつつ、データモデルが用いるデータの圧縮率を改善することができる。
　また上述した構成については、本発明の要旨を超えない範囲において、適宜に、変更したり、組み替えたり、組み合わせたり、省略したりしてもよい。
　１００……データ処理システム、１４２……圧縮器、１４３……伸長器、１４４……ＡＩ注視領域推定器。

Claims (8)

  1. 　プロセッサと、
    　記憶装置と、
    　を備え、
    　データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおいて、
    　学習データを用いて、データモデルが注視する領域を推定する推定部と、
    　前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させる学習部と、
    　を備えるデータ処理システム。
  2. 　前記学習部は、前記圧縮および伸長前の学習データと圧縮および伸長後の学習データとの前記領域ごとの差分と、前記領域ごとの評価関数と、に基づいて、前記圧縮伸長器のパラメタを変更することで、学習させる、
    　請求項１に記載のデータ処理システム。
  3. 　データを生成する生成源と、前記データを用いるデータモデルと、が対応付けられた管理情報を管理する管理部を備え、
    　前記推定部は、前記生成源の学習データについて、前記管理情報をもとに前記学習データに対応するデータモデルを特定し、特定したデータモデルが注視する領域を推定し、
    　前記学習部は、前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定部により推定された領域の重みとを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    　請求項１に記載のデータ処理システム。
  4. 　データを生成する生成源と、前記データを用いるデータモデルとを指定可能なインターフェース部と、
    　データモデルを有し、前記データモデルを実行する処理基盤から、前記インターフェース部により指定されたデータモデルを取得する取得部と、前記推定部と、前記管理部とを含んで構成されるストレージシステムと、
    　を備え、
    　前記管理部は、前記インターフェース部により指定された生成源と前記取得部により取得されたデータモデルとを対応付けて前記管理情報を生成する、
    　請求項３に記載のデータ処理システム。
  5. 　前記管理情報では、データを生成する生成源と、前記データを用いるデータモデルと、前記データモデルが注視する領域の品質の目標値と、前記領域以外の領域の品質の目標値とが対応付けられ、
    　前記学習部は、前記学習データと、前記生成源に対応する圧縮伸長器が用いられて前記学習データが圧縮されてから伸長されたデータと、前記学習データについて前記推定部により推定された領域の重みと、前記領域の品質の目標値と、前記領域以外の領域の品質の目標値とを用いて計算した指標を評価関数として前記圧縮伸長器を学習する、
    　請求項３に記載のデータ処理システム。
  6. 　前記圧縮伸長器は、圧縮器と伸長器とを有し、
    　前記領域の推定の不確かさを計算し、不確かさが閾値以上の領域を特定し、特定した領域に対応する前記データにおける領域データまたは前記圧縮器より高品質の圧縮器で前記データを圧縮した圧縮データを置換用データとして保持する保持部と、
    　前記データの読み出しに対し、前記データの圧縮データを伸長器で伸長し、伸長データを前記置換用データで置換した置換済みデータを、前記データの要求元に応答する応答部と、
    　を備える、
    　請求項１に記載のデータ処理システム。
  7. 　ＲｏＩ（Region of Interest）機能を有する圧縮伸長器を用いる、
    　請求項１に記載のデータ処理システム。
  8. 　プロセッサと、
    　記憶装置と、
    　を備え、
    　データを圧縮および伸長する学習済みの圧縮伸長器を用いてデータを入出力するデータ処理システムにおけるデータ圧縮方法であって、
    　推定部が、学習データを用いて、データモデルが注視する領域を推定することと、
    　学習部が、前記注視する領域に基づいて各領域を重み付けした評価関数と、前記圧縮伸長器が前記学習データを圧縮および伸長した結果とに基づいて、前記圧縮伸長器を学習させることと、
    　を含むデータ圧縮方法。
PCT/JP2021/008346 2020-03-06 2021-03-04 データ処理システムおよびデータ圧縮方法 WO2021177394A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/642,843 US11842055B2 (en) 2020-03-06 2021-03-04 Data processing system and data compression method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-038808 2020-03-06
JP2020038808A JP7441682B2 (ja) 2020-03-06 2020-03-06 データ処理システムおよびデータ圧縮方法

Publications (1)

Publication Number Publication Date
WO2021177394A1 true WO2021177394A1 (ja) 2021-09-10

Family

ID=77613488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008346 WO2021177394A1 (ja) 2020-03-06 2021-03-04 データ処理システムおよびデータ圧縮方法

Country Status (3)

Country Link
US (1) US11842055B2 (ja)
JP (1) JP7441682B2 (ja)
WO (1) WO2021177394A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023242927A1 (ja) * 2022-06-13 2023-12-21 日本電信電話株式会社 データ管理装置、データ管理方法、及びプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985853B2 (en) * 2002-02-28 2006-01-10 Broadcom Corporation Compressed audio stream data decoder memory sharing techniques
JP3966461B2 (ja) * 2002-08-09 2007-08-29 株式会社リコー 電子カメラ装置
JP4757038B2 (ja) 2006-01-25 2011-08-24 株式会社日立製作所 ストレージシステム及び記憶制御装置
JP6826021B2 (ja) 2017-11-20 2021-02-03 株式会社日立製作所 ストレージシステム
US10757482B2 (en) * 2017-12-05 2020-08-25 Fdn. for Res.&Bus., Seoul Nat. Univ. of Sci.&Tech. System and method for predicting user viewpoint using location information of sound source in 360 VR contents

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AKUTSU HIROAKI, NARUKO TAKAHIRO: "End-to-End Learned ROI Image Compression", CVPR 2019 OPEN ACCESS, 2019, pages 4321 - 4325, XP055852094 *
CAI CHUNLEI; CHEN LI; ZHANG XIAOYUN; GAO ZHIYONG: "End-to-End Optimized ROI Image Compression", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 29, 25 December 2019 (2019-12-25), pages 3442 - 3457, XP011769267, Retrieved from the Internet <URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8943263> [retrieved on 20210510], DOI: 10.1109/TIP.2019.2960869 *

Also Published As

Publication number Publication date
JP7441682B2 (ja) 2024-03-01
US11842055B2 (en) 2023-12-12
JP2021140554A (ja) 2021-09-16
US20220374156A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
CN114155543B (zh) 神经网络训练方法、文档图像理解方法、装置和设备
CN110612538B (zh) 生成输入数据项的离散潜在表示
US20190005399A1 (en) Learning device, generation device, learning method, generation method, and non-transitory computer readable storage medium
CN110166757B (zh) 用计算机实现的压缩数据的方法、***、存储介质
JP6569047B1 (ja) 学習方法、コンピュータプログラム、分類器、及び生成器
US11521038B2 (en) Electronic apparatus and control method thereof
US11604584B2 (en) Storage system
CN113656587B (zh) 文本分类方法、装置、电子设备及存储介质
JP7242994B2 (ja) ビデオイベント識別方法、装置、電子デバイス及び記憶媒体
JP6673905B2 (ja) ネットワーク転送およびリアルタイムレンダリング用に３ｄテクスチャモデルを自動的に最適化するシステム、方法、およびコンピュータプログラム製品
CN111581926A (zh) 文案生成方法、装置、设备和计算机可读存储介质
CN113360619A (zh) 一种表单生成方法、装置、设备及介质
WO2021177394A1 (ja) データ処理システムおよびデータ圧縮方法
CN112949433B (zh) 视频分类模型的生成方法、装置、设备和存储介质
CN115994558A (zh) 医学影像编码网络的预训练方法、装置、设备及存储介质
US11122335B2 (en) Wishing television
US10530387B1 (en) Estimating an optimal ordering for data compression
CN111709473A (zh) 对象特征的聚类方法及装置
JP7328799B2 (ja) ストレージシステムおよび記憶制御方法
JP7041530B2 (ja) 表示プログラム、表示方法、及び表示装置
US10007604B2 (en) Storage device optimization
EP3624065A1 (en) Classification of knowledge management assets
US11983554B2 (en) Automating semantically-related computing tasks across contexts
WO2024055920A1 (en) Automatic adjustment of constraints in task solution generation
CN116228897B (zh) 图像处理方法、图像处理模型和训练方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21765506

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21765506

Country of ref document: EP

Kind code of ref document: A1