WO2021033515A1 - 情報処理装置、方法及びプログラム - Google Patents

情報処理装置、方法及びプログラム Download PDF

Info

Publication number
WO2021033515A1
WO2021033515A1 PCT/JP2020/029357 JP2020029357W WO2021033515A1 WO 2021033515 A1 WO2021033515 A1 WO 2021033515A1 JP 2020029357 W JP2020029357 W JP 2020029357W WO 2021033515 A1 WO2021033515 A1 WO 2021033515A1
Authority
WO
WIPO (PCT)
Prior art keywords
order
input
importance
target data
data set
Prior art date
Application number
PCT/JP2020/029357
Other languages
English (en)
French (fr)
Inventor
純一 出澤
志門 菅原
Original Assignee
株式会社エイシング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エイシング filed Critical 株式会社エイシング
Priority to EP20853657.3A priority Critical patent/EP4020337A4/en
Priority to US17/610,184 priority patent/US20220222490A1/en
Priority to JP2020566857A priority patent/JP6869588B1/ja
Publication of WO2021033515A1 publication Critical patent/WO2021033515A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Definitions

  • the present invention relates to machine learning technology, and particularly to machine learning technology using a tree structure.
  • Patent Document 1 proposes a new machine learning framework (learning tree) having a tree structure (Patent Document 1).
  • FIG. 8 is an explanatory diagram showing the above-mentioned new machine learning framework, that is, an explanatory diagram showing the structure of the learning tree.
  • FIG. 8A shows the structure of the learning tree in the learning method
  • FIG. 8B shows an image of the state space corresponding to the structure.
  • the learning tree structure has each node corresponding to each hierarchically divided state space from the highest node (starting node or root node) to the lowest node (ending node or leaf node). , It is configured by branching and arranging in a tree shape or a grid pattern.
  • FIG. 8 (a) shows an example in which d is 2 and n is 2 in the learning tree of N-layer d-dimensional n-division, and the four ends of the first layer of the learning tree shown in FIG. 8 (a).
  • the numbers 1 to 4 assigned to the nodes correspond to the four state spaces shown in FIG. 8 (b), respectively.
  • the input data is sequentially associated with each divided state space, and they are accumulated in each state space. At this time, when new data is input to the state space where the data did not exist until then, new nodes are sequentially generated.
  • the predicted output is calculated by taking the arithmetic mean of the output value or the output vector corresponding to each data included in each state space after learning.
  • FIG. 9 is an explanatory diagram of the conventional order of the input strings used for the branch determination, that is, the branch sequence.
  • the input is three-dimensional, and the order of the input strings is "input string 1", “input string 2", and "input string 3" in order from the left.
  • the order of the input strings used for the branch determination was simply determined from the top according to the order of each input string provided. That is, in the example of the figure, the top node (root node) is based on the "input column 1", and the node in the next lower row is based on the "input column 2". The lower node made a branch determination based on the "input string 3".
  • the present invention has been made under the above-mentioned technical background, and an object thereof is to prevent the search space from being unreasonably limited by the order of input strings to be learned.
  • the purpose is to improve the accuracy of machine learning.
  • the information processing apparatus is a machine using a tree structure model configured by branching and hierarchically arranging a plurality of nodes associated with each of the hierarchically divided state spaces.
  • a learning target data set reading unit that reads a learning target data set composed of a plurality of input strings and one or a plurality of output strings, and each of the input columns based on the learning target data set.
  • the importance calculation unit that calculates the importance of the data
  • the order generation unit that generates the order of each input column that is the basis of the branch determination of each node based on each importance, and the learning target data. It includes a set and a machine learning unit that performs machine learning based on the above order.
  • the state space is preferentially searched from the input string having high importance, so that the search space is not unreasonably limited. Therefore, since the state space that should be originally searched can be sufficiently searched, the accuracy of machine learning can be improved. Along with this, it is possible to provide a trained model (prediction model) with good accuracy.
  • the word predictor means to generate output data based on the input data and the trained model.
  • the order generation unit may further include a detailed order generation unit that generates an order so that the input string having high importance corresponds to a higher-level node in the tree structure model.
  • Each of the importance levels may be generated based on the association between each of the input columns and the corresponding output columns.
  • the association may be an absolute value of a correlation coefficient between each of the input columns and the corresponding output columns.
  • the order generation unit specifies the input string having the maximum correlation coefficient among the input columns and incorporates the input string into the order, and the maximum correlation coefficient input string specifying unit and the said unit having the maximum correlation coefficient specified.
  • the division unit that divides the correlation coefficient of the input column by a predetermined numerical value, the maximum correlation coefficient providing unit, and the division unit are repeatedly operated a predetermined number of times to generate the order of each of the input columns. It may be provided with a processing unit.
  • the order generation unit may include an importance order generation unit that generates an order of each input column in the order of importance of each input column.
  • the present invention can also be considered as an information processing method. That is, the information processing method according to the present invention is a machine using a tree structure model configured by branching and hierarchically arranging a plurality of nodes associated with each of the hierarchically divided state spaces.
  • the learning target data set reading step of reading a learning target data set including a plurality of input strings and one or a plurality of output strings, and each of the input columns based on the learning target data set.
  • the importance calculation step for calculating the importance of the data, the order generation step for generating the order of each input column which is the basis of the branch determination of each node based on the importance, and the learning target data. It includes a set and a machine learning step that performs machine learning based on the above order.
  • the computer program according to the present invention utilizes a tree structure model in which a computer is hierarchically arranged by branching a plurality of nodes associated with each of the hierarchically divided state spaces.
  • a computer program that functions as an information processing device that performs machine learning, a learning target data set reading step that reads a learning target data set consisting of a plurality of input strings and one or a plurality of output strings, and the learning target data set Based on the importance calculation step that calculates the importance of each input string, and the order generation that generates the order of each input column that is the basis of the branch determination of each node based on each importance. It includes a step and a machine learning step in which machine learning is performed based on the learning target data set and the order.
  • the present invention it is possible to prevent the search space from being unreasonably limited, thereby improving the accuracy of machine learning.
  • FIG. 1 is a hardware configuration diagram of an information processing device.
  • FIG. 2 is a general flowchart of the learning process.
  • FIG. 3 is a general flowchart relating to the branch sequence generation process.
  • FIG. 4 is a detailed flowchart of the importance analysis process.
  • FIG. 5 is an explanatory diagram regarding the correlation coefficient.
  • FIG. 6 is a detailed flowchart of the branch row generation process.
  • FIG. 7 is an explanatory diagram relating to the generation of the branch row.
  • FIG. 8 is an explanatory diagram relating to the basic structure of learning.
  • FIG. 9 is an explanatory diagram regarding the branch row.
  • First Embodiment> ⁇ 1.1 Configuration>
  • the hardware configuration of the information processing apparatus 100 for executing the machine learning process, the prediction process, and the like according to the present embodiment will be described with reference to FIG.
  • the display unit 1, the audio output unit 2, the input unit 3, the control unit 4, the storage unit 5, and the communication unit 6 are connected via a bus. It is composed of.
  • the information processing device 100 is, for example, a personal computer (PC), a smartphone or a tablet terminal.
  • the display unit 1 is connected to a display or the like to control the display, and provides a GUI to the user via the display or the like.
  • the voice output unit 2 performs processing related to voice information and outputs voice through a speaker or the like.
  • the input unit 3 processes a signal input via a keyboard, a touch panel, a mouse, or the like.
  • the control unit 4 is an information processing unit such as a CPU and a GPU, and performs program execution processing such as overall control, learning processing, or prediction processing of the information processing device 100.
  • the storage unit 5 is a volatile or non-volatile storage device such as a ROM, RAM, hard disk, or flash memory, and stores various data and programs such as learning target data, machine learning programs, and prediction processing programs.
  • the communication unit 6 is a communication unit that communicates with an external device by wire or wirelessly.
  • the hardware configuration is not limited to the configuration according to the present embodiment, and the configuration and functions may be distributed or integrated.
  • the processing may be performed in a distributed manner using a plurality of information processing devices, or a large-capacity storage device may be further provided externally and connected to the information processing device 1.
  • a computer network may be formed via the Internet or the like to perform processing.
  • processing according to this embodiment may be implemented not only as software but also as a semiconductor circuit (IC or the like) such as FPGA, that is, hardware.
  • IC semiconductor circuit
  • FPGA field-programmable gate array
  • FIG. 2 is a general flowchart relating to the learning process performed in the information processing apparatus 100.
  • FIG. 3 is a general flowchart relating to the branch sequence generation process (S1).
  • a process of reading a learning target data set that is, a set of a plurality of input strings and one or a plurality of output strings from the storage unit 5 is performed (S11).
  • a process of analyzing the importance of each input string is performed based on the read-out learning target data set (S13).
  • the input string is imax dimension and the number of output columns is one dimension.
  • FIG. 4 is a detailed flowchart of the importance analysis process.
  • the process of initializing the eigenvalues i (integer) given to each input string in the learning target data set for convenience is performed (S131).
  • the correlation coefficient ⁇ i between the i-th input column Ii and the output column O is calculated based on the following mathematical formula, and the absolute value of the ⁇ i is calculated ().
  • S133 Note that ⁇ X represents the standard deviation of the target input string, ⁇ Y represents the standard deviation of the target output string, and ⁇ XY represents the covariance.
  • the absolute value of the correlation coefficient ⁇ i in the storage unit 5 is a numerical value corresponding to the importance.
  • FIG. 5 is an explanatory diagram (conceptual diagram) regarding the correlation coefficient.
  • the figure (a) shows the case where there is a strong negative correlation between the two random variables
  • the figure (b) shows the case where there is a weaker negative correlation between the two random variables than the figure (a).
  • FIG. 3C shows that when there is no correlation
  • FIG. 3D shows two random variables that have a weaker positive correlation than that of FIG. 2E. It represents the case where there is a strong positive correlation between them.
  • the absolute value of the correlation coefficient for example, there is some correlation between two random variables corresponding to the figure (a), the figure (b), the figure (d), and the figure (e). Certain cases can be extracted.
  • FIG. 6 is a detailed flowchart of the branch row generation process.
  • the absolute value of the correlation coefficient ⁇ i for each input string is read out from the storage unit 5 as a branch column generation column (S151).
  • a process of initializing the integer value n representing the length of the branch sequence is performed (S153).
  • the input string having the maximum absolute value of the correlation coefficient ⁇ among the current branch column generation columns is stored in the storage unit 5 as the nth value of the branch sequence. After that, it is determined whether or not n matches a predetermined maximum set value n max (S157). When it is determined that the value of n does not match n max (S157NO), it is determined with respect to the absolute value of the correlation coefficient of the input column having the largest absolute value of the correlation coefficient ⁇ in the current branch column generation column. A value of, particularly a value greater than 0 and less than 1, and in this embodiment, is typically multiplied by 2/3 to update and store the value (S159). After that, n is incremented by 1, and the above-mentioned processing (S155, S157NO, S159, S161) is repeated again.
  • FIG. 7 is an explanatory diagram relating to the generation of the branch row.
  • the initial input string is three-dimensional, and each input string is numbered 1 to 3 for convenience.
  • the importance analysis process (S13) is performed on the same input string, the importance of the third input string is 0.9 and the importance of the input string 1 is 0. 65, it is assumed that the importance is calculated as 0.32 for the input string 2. That is, the initial input string is calculated as having the highest importance in the order of "3 ⁇ 1 ⁇ 2" and is stored in the storage unit 5.
  • the third input column having the maximum absolute value of the correlation coefficient ⁇ in the current branch generation column is multiplied by 2/3.
  • the process of updating and storing the branch column generation column is performed (S159). That is, the process of multiplying the value 0.9 of the third input column by 2/3 to 0.6 is performed, and the importance of each input column "3, 1, 2" is "0.6,” respectively. It will be updated to "0.65, 0.32".
  • the value of n is incremented by 1 to 2 and the same process is repeated again. That is, next, the first input string, which is the input string having the maximum absolute value of the correlation coefficient ⁇ (0.65), is stored as a branch sequence, and then the value is multiplied by 2/3. The above process is repeated until the value of n matches 4. As a result, in the example of the figure, the branch column finally becomes "3 ⁇ 1 ⁇ 3 ⁇ 1".
  • the generated branch row is stored in the storage unit 5 (S17), and the branch row generation process (S1) is completed.
  • the machine learning process based on the branch row is performed (S3). That is, based on the generated branch sequence, the branch determination of each node is performed from the upper part of the tree structure, and each data is accumulated in each node.
  • the condition is determined in the order of the input sequence "3 ⁇ 1 ⁇ 3 ⁇ 1" from the root node to the terminal node, and each input data is sent to the node. It will be accumulated.
  • machine learning processing refer to various known documents such as JP-A-2016-173686.
  • the state space is preferentially searched from the input string having high importance, so that the search space is not unreasonably limited. Therefore, since the state space that should be originally searched can be sufficiently searched, the accuracy of machine learning can be improved.
  • the absolute value of the correlation coefficient is used as the importance in the importance analysis process (S13), but the present invention is not limited to such a configuration. Therefore, for example, various indexes other than the correlation coefficient can be used.
  • the process of dynamically generating the branch sequence (S15) is performed, but the present invention is not limited to such a configuration. Therefore, for example, the branch columns may be simply generated in the order of importance.
  • the present invention can be used in various industries that utilize machine learning technology.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】　学習対象となる入力列の順序によって探索空間が不当に限定されることを防止して、それにより機械学習の精度を向上させること。 【解決手段】　階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理装置において、複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出部と、前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出部と、各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成部と、前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習部と、を備える情報処理装置が提供される。

Description

情報処理装置、方法及びプログラム
　この発明は、機械学習技術に関し、特に、木構造を利用した機械学習技術に関する。
　近年、機械学習の分野が高い注目を集めている。このような背景の中、本願の発明者らは、木構造を有する新たな機械学習の枠組み（学習木）を提唱している（特許文献１）。
　図８は、上述の新たな機械学習の枠組みについて示す説明図、すなわち、学習木の構造について示す説明図である。図８（ａ）には、当該学習手法における学習木の構造が示されており、図８（ｂ）には、当該構造に対応する状態空間のイメージが示されている。同図から明らかな通り、学習木構造は、階層的に分割された各状態空間に対応する各ノードを、最上位ノード（始端ノード又は根ノード）から最下端ノード（末端ノード又は葉ノード）まで、樹形状乃至格子状に分岐して配置することにより構成されている。なお、同図は、Ｎ階層ｄ次元ｎ分割の学習木においてｄが２、ｎが２の場合の例を示しており、図８（ａ）に記載の学習木の１階層目の４つの末端ノードに付された１～４の番号は、それぞれ、図８（ｂ）に記載の４つの状態空間に対応している。
　上記学習木を用いて学習処理を行う際には、入力されるデータが、逐次、分割された各状態空間に対応付けられ、それらが各状態空間に蓄積されていくこととなる。このとき、それまでデータが存在しなかった状態空間に新たにデータが入力された場合には、新たなノードが順次生成されていく。予測出力は、学習後に各状態空間に内包される各データに対応する出力値又は出力ベクトルの相加平均をとることで算出されることとなる。
特開２０１６－１７３６８６号公報
　ところで、従前のこの種の機械学習の枠組みにおいては、入力が複数次元である場合、提供された入力列の順に木構造の上位から分岐判定が行われていた。
　図９は、従前の、分岐判定に用いられる入力列の順序、すなわち、分岐列についての説明図である。同図の場合において、入力は３次元であり、その入力列の順序は左から順に「入力列１」、「入力列２」及び「入力列３」である。従前、分岐判定に用いられる入力列の順序については特段の配慮はなされておらず、単に提供された各入力列の順序に沿って上位から決定されていた。すなわち、同図の例にあっては、最上位ノード（根ノード）は「入力列１」に基づいて、その一つ下の段のノードは「入力列２」に基づいて、さらにその一つ下のノードは「入力列３」に基づいて、分岐判定を行っていた。
　しかしながら、このような構成とすると種々の不都合が生じる。例えば、図９の場合において、仮に、「入力列１」が出力に対して影響を殆ど及ぼさないような入力列であったような場合、意義の小さい「入力列１」の値に基づいて最上位の状態空間において空間分割が行われると、その後の探索は分割された空間に基づいて行われることから、不適当に探索空間を狭めてしまう虞があった。
　本発明は、上述の技術的背景の下になされたものであり、その目的とすることころは、学習対象となる入力列の順序によって探索空間が不当に限定されることを防止して、それにより機械学習の精度を向上させることにある。
　本発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。
　上述の技術的課題は、以下の構成を有する装置、方法、プログラム等により解決することができる。
　すなわち、本発明に係る情報処理装置は、階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理装置において、複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出部と、前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出部と、各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成部と、前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習部と、を備えている。
　このような構成によれば、重要度の高い入力列から優先的に状態空間を探索するので探索空間が不当に限定されることがない。そのため、本来探索すべき状態空間を十分に探索することができるので、機械学習の精度を向上させることができる。また、それに伴い、精度の良好な学習済モデル（予測モデル）を提供することができる。なお、予想の語は、入力データと学習済モデルに基づいて出力データを生成することを意味する。
　前記順序生成部は、さらに、前記重要度が高い入力列が前記木構造モデルにおける上位ノードに対応するように順序を生成する、詳細順序生成部を備える、ものであってもよい。
　各前記重要度は、各前記入力列と対応する各前記出力列との間の関連性に基づいて生成される、ものであってもよい。
　前記関連性は、各前記入力列と対応する各前記出力列との間の相関係数の絶対値である、ものであってもよい。
　前記順序生成部は、各前記入力列のうち相関係数が最大となる入力列を特定して前記順序に組み込む、最大相関係数入力列特定部と、相関係数が最大として特定された前記入力列の相関係数を所定数値で除算する、除算部と、前記最大相関係数提供部と前記除算部とを所定回数だけ繰り返し動作させて、各前記入力列の順序を生成する、繰返処理部と、を備えるものであってもよい。
　前記順序生成部は、各前記入力列の重要度順に各前記入力列の順序を生成する、重要度順順序生成部、を備える、ものであってもよい。
　また、本発明は情報処理方法として観念することもできる。すなわち、本発明に係る情報処理方法は、階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理方法において、複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出ステップと、前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出ステップと、各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成ステップと、前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習ステップと、を備えている。
　さらに、本発明に係るコンピュータプログラムとして観念することもできる。すなわち、本発明に係るコンピュータプログラムは、コンピュータを、階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理装置として機能させるコンピュータプログラムにおいて、複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出ステップと、前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出ステップと、各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成ステップと、前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習ステップと、を備えている。
　本発明によれば、探索空間が不当に限定されることを防止して、それにより機械学習の精度を向上させることができる。
図１は、情報処理装置のハードウェア構成図である。 図２は、学習処理に関するゼネラルフローチャートである。 図３は、分岐列生成処理に関するゼネラルフローチャートである。 図４は、重要度解析処理に関する詳細フローチャートである。 図５は、相関係数に関する説明図である。 図６は、分岐列の生成処理に関する詳細フローチャートである。 図７は、分岐列の生成に関する説明図である。 図８は、学習の基本的構成に関する説明図である。 図９は、分岐列に関する説明図である。
　以下、本発明の実施の一形態を、添付の図面を参照しつつ、詳細に説明する。
　＜１．第１の実施形態＞
  ＜１．１　構成＞
  図１を参照しつつ、本実施形態に係る機械学習処理、予測処理等が実行される情報処理装置１００のハードウェアの構成について説明する。同図から明らかな通り、本実施形態に係る情報処理装置１００は、表示部１、音声出力部２、入力部３、制御部４、記憶部５、通信部６とがバスを介して接続されて構成されている。情報処理装置１００は、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット端末である。
　表示部１は、ディスプレイ等と接続されて表示制御を行い、ディスプレイ等を介してユーザにＧＵＩを提供する。音声出力部２は、音声情報に関する処理を行い、スピーカー等を通じて音声を出力する。入力部３は、キーボード、タッチパネル、マウス等を介して入力された信号を処理するものである。
　制御部４は、ＣＰＵ及びＧＰＵ等の情報処理部であり、情報処理装置１００の全体制御、学習処理又は予測処理などのプログラムの実行処理を行う。記憶部５は、ＲＯＭ、ＲＡＭ、ハードディスク、フラッシュメモリ等の揮発性又は不揮発性の記憶装置であり、学習対象データ、機械学習プログラム、予測処理プログラム等の各種データやプログラムを格納している。通信部６は、有線又は無線にて外部機器と通信を行う通信ユニットである。
　なお、ハードウェア構成は、本実施形態に係る構成に限定されるものではなく、構成や機能を分散又は統合してもよい。例えば、複数台の情報処理装置を用いて分散的に処理を行っても良いし、大容量記憶装置をさらに外部に設けて情報処理装置１と接続する等してもよいことは勿論である。また、インターネット等を介してコンピュータネットワークを形成して処理を行ってもよい。
　また、本実施形態に係る処理は、ソフトウェアとしてだけでなく、ＦＰＧＡ等の半導体回路（ＩＣ等）、すなわちハードウェアとして実装してもよい。
　＜１．２　動作＞
  図２は、情報処理装置１００において行われる学習処理に関するゼネラルフローチャートである。
　同図から明らかな通り、学習処理が開始すると、木構造を構成するノードにおける分岐判定に用いられる入力列の順序、すなわち、分岐列の生成処理が行われる（Ｓ１）。
　図３～図７を参照しつつ、分岐列の生成処理（Ｓ１）の詳細について説明する。
　図３は、分岐列生成処理（Ｓ１）に関するゼネラルフローチャートである。同図から明らかな通り、学習対象データセット、すなわち、複数の入力列と１又は複数の出力列のセットを記憶部５から読み出す処理が行われる（Ｓ１１）。その後、読み出された学習対象データセットに基づいて、各入力列の重要度を解析する処理が行われる（Ｓ１３）。なお、本実施形態においては、例として、入力列はｉｍａｘ次元、出力列の個数は１次元である。
　図４は、重要度解析処理に関する詳細フローチャートである。処理が開始すると、学習対象データセットのうちの各入力列に便宜上与えられる固有値ｉ（整数）を初期化する処理が行われる（Ｓ１３１）。初期化処理が完了すると、ｉ番目の入力列Ｉｉと出力列Ｏとの間の相関係数ρｉを、下記の数式に基づき算出し、当該ρｉの絶対値を算出する処理が行われる（Ｓ１３３）。なお、σＸは対象となる入力列の標準偏差、σＹは対象となる出力列の標準偏差、及び、σＸＹは、共分散を表している。
Figure JPOXMLDOC01-appb-M000001
　その後、相関係数ρｉの絶対値を記憶部５へと記憶する処理が行われる（Ｓ１３５）。なお、後述するように、この相関係数ρｉの絶対値は重要度に相当する数値となる。
　図５は、相関係数に関する説明図（概念図）である。同図（ａ）は、２つの確率変数間に強い負の相関がある場合、同図（ｂ）は、２つの確率変数間に同図（ａ）よりは弱い負の相関がある場合、同図（ｃ）は、相関がない場合、同図（ｄ）は、２つの確率変数間に同図（ｅ）よりは弱い正の相関がある場合、同図（ｅ）は、２つの確率変数間に強い正の相関がある場合を表している。相関係数の絶対値をとることで、例えば、同図（ａ）、同図（ｂ）、同図（ｄ）及び同図（ｅ）に相当するような２つの確率変数間に何らかの相関がある場合を抽出することができる。
　その後、ｉの値をｉｍａｘと比較する処理が行われ、未だｉの値がｉｍａｘに満たないと判断される場合、ｉを１だけインクリメントする処理が行われる（Ｓ１３９）。このような処理（Ｓ１３３～Ｓ１３７ＮＯ、Ｓ１３９）は、ｉの値がｉｍａｘと一致するまで行われる。
　ｉの値がｉｍａｘと一致する場合（Ｓ１３７ＹＥＳ）、重要度解析処理（Ｓ１３）は終了する。
　図３に戻り、重要度解析処理が終了すると、分岐列の生成処理が行われる（Ｓ１５）。
　図６は、分岐列の生成処理に関する詳細フローチャートである。処理が開始すると、記憶部５から各入力列に関する相関係数ρｉの絶対値を分岐列生成列として読み出す（Ｓ１５１）。その後、便宜的に分岐列の長さを表す整数値ｎを初期化する処理が行われる（Ｓ１５３）。
　所定の初期化処理の後、現在の分岐列生成列のうち、相関係数ρの絶対値が最大となる入力列を分岐列の第ｎ番目の値として記憶部５へと記憶する。その後、ｎが所定の最大設定値ｎｍａｘと一致するか否かが判定される（Ｓ１５７）。ｎの値がｎｍａｘと一致しないと判定される場合（Ｓ１５７ＮＯ）、現在の分岐列生成列のうち、相関係数ρの絶対値が最大の入力列の相関係数の絶対値に対して所定の値、特に０より大きく１より小さい値、本実施形態においては例示的に２／３を掛けて値を更新し記憶する（Ｓ１５９）。その後、ｎを１だけインクリメントし、再度、上述の処理（Ｓ１５５、Ｓ１５７ＮＯ、Ｓ１５９、Ｓ１６１）が繰り返される。
　その後、ｎの値がｎｍａｘと一致すると判定された場合（Ｓ１５７ＹＥＳ）、分岐列の生成処理は終了する。
　図７を参照しつつ、図６のフローチャートに係る動作を具体的に説明する。図７は、分岐列の生成に関する説明図である。同図の例にあっては、当初の入力列は３次元であって、各入力列には便宜上１～３の番号が振られている。また、同入力列に対して、重要度解析処理（Ｓ１３）が行われたことにより、３番目の入力列に対して重要度が０．９、入力列１に対しては重要度が０．６５、入力列２に対しては重要度が０．３２として算出されたものとする。すなわち、当初入力列が「３→１→２」の順で重要度が大きいものとして算出され記憶部５へと記憶されている。
　このとき、分岐列生成処理（Ｓ１５）が開始すると、各入力列の相関係数ρｉの絶対値を読み出す処理が行われ（Ｓ１５１）、また、ｎを１として初期化される（Ｓ１５３）。その後、相関係数の絶対値が０．９で最大となる３番目の入力列を第１番目の分岐列として記憶する。その後、ｎの値がｎの最大値ｎｍａｘ（同図の例にあっては４）であるか否かが判定される（Ｓ１５７）。
　ここでは、ｎの値は１で最大値４と一致しないので（Ｓ１５７ＮＯ）、現在の分岐生成列のうち、相関係数ρの絶対値が最大となる３番目の入力列に２／３を掛けて分岐列生成列を更新、記憶する処理が行われる（Ｓ１５９）。すなわち、３番目の入力列の値０．９に２／３を掛けて０．６とする処理が行われ、各入力列「３、１、２」の重要度は、それぞれ「０．６、０．６５、０．３２」へと更新される。
　その後、ｎの値を１だけインクリメントさせて２として、再び同様の処理が繰り返される。すなわち、次に相関係数ρの絶対値が最大（０．６５）となる入力列である１番目の入力列を分岐列として記憶した後、当該数値に２／３を掛けるという処理を行う。上述の処理が、ｎの値が４と一致するまで繰り返し行われる。その結果、同図の例においては、分岐列は最終的に「３→１→３→１」となる。
　図３に戻り、分岐列の生成処理（Ｓ１５）が終了すると、生成された分岐列を記憶部５へと記憶する処理が行われて（Ｓ１７）、分岐列生成処理（Ｓ１）は終了する。
　図２に戻り、分岐列生成処理（Ｓ１）が終了すると、分岐列に基づく、機械学習処理が行われる（Ｓ３）。すなわち、生成された分岐列に基づいて、木構造の上位から各ノードの分岐判定を行い、各ノードに各データを蓄積させていく処理を行う。
　例えば、図７の分岐列を使用する場合にあっては、根ノードから末端ノードに向かって、入力列「３→１→３→１」の順に条件判定を行って各入力データをノードへと蓄積していくこととなる。なお、機械学習処理の例については、種々の公知の文献、例えば、特開２０１６－１７３６８６号公報なども参照されたい。
　分岐列に基づく機械学習処理が終了すると、生成された学習済モデルを記憶部５へと記憶する処理が行われる（Ｓ５）。
　このような構成によれば、重要度の高い入力列から優先的に状態空間を探索するので探索空間が不当に限定されることがない。そのため、本来探索すべき状態空間を十分に探索することができるので、機械学習の精度を向上させることができる。
　なお、適切な学習処理がなされることにより、学習済モデルを利用した予測処理の精度も向上する。
　＜２．変形例＞
  上述の実施形態においては、重要度解析処理（Ｓ１３）における重要度として相関係数の絶対値を利用したが、本発明はそのような構成に限定されない。従って、例えば、相関係数以外の種々の指標を利用することができる。
　上述の実施形態においては、重要度解析処理（Ｓ１３）を行った後、動的に分岐列を生成する処理（Ｓ１５）を行ったが、本発明はそのような構成に限定されない。従って、例えば、単に重要度の順に分岐列を生成してもよい。
　本発明は、機械学習技術を利用する種々の産業等にて利用可能である。
　１　　表示部
　２　　音声出力部
　３　　入力部
　４　　制御部
　５　　記憶部
　６　　通信部
　１００　　情報処理装置

Claims (8)

  1. 　階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理装置において、
    　複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出部と、
    　前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出部と、
    　各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成部と、
    　前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習部と、を備える情報処理装置。
  2. 　前記順序生成部は、さらに、
    　前記重要度が高い入力列が前記木構造モデルにおける上位ノードに対応するように順序を生成する、詳細順序生成部を備える、請求項１に記載の情報処理装置。
  3. 　各前記重要度は、各前記入力列と対応する各前記出力列との間の関連性に基づいて生成される、請求項１に記載の情報処理装置。
  4. 　前記関連性は、各前記入力列と対応する各前記出力列との間の相関係数の絶対値である、請求項３に記載の情報処理装置。
  5. 　前記順序生成部は、
    　各前記入力列のうち相関係数が最大となる入力列を特定して前記順序に組み込む、最大相関係数入力列特定部と、
    　相関係数が最大として特定された前記入力列の相関係数を所定数値で除算する、除算部と、
    　前記最大相関係数提供部と前記除算部とを所定回数だけ繰り返し動作させて、各前記入力列の順序を生成する、繰返処理部と、を備える、請求項４に記載の情報処理装置。
  6. 　前記順序生成部は、
    　各前記入力列の重要度順に各前記入力列の順序を生成する、重要度順順序生成部、を備える、請求項１に記載の情報処理装置。
  7. 　階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理方法において、
    　複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出ステップと、
    　前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出ステップと、
    　各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成ステップと、
    　前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習ステップと、を備える情報処理方法。
  8. 　コンピュータを、階層的に分割された状態空間へとそれぞれ対応付けられる複数のノードを分岐させて階層的に配置することにより構成される木構造モデルを利用して機械学習を行う情報処理装置として機能させるコンピュータプログラムにおいて、
    　複数の入力列と１又は複数の出力列とから成る学習対象データセットを読み出す、学習対象データセット読出ステップと、
    　前記学習対象データセットに基づいて、各前記入力列の重要度を算出する、重要度算出ステップと、
    　各前記重要度に基づいて、各前記ノードの分岐判定の基礎となる各前記入力列の順序を生成する、順序生成ステップと、
    　前記学習対象データセットと前記順序に基づいて機械学習を行う、機械学習ステップと、を備えるコンピュータプログラム。
PCT/JP2020/029357 2019-08-21 2020-07-30 情報処理装置、方法及びプログラム WO2021033515A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20853657.3A EP4020337A4 (en) 2019-08-21 2020-07-30 INFORMATION PROCESSING DEVICE, METHOD AND PROGRAM
US17/610,184 US20220222490A1 (en) 2019-08-21 2020-07-30 Information processing device, method and program
JP2020566857A JP6869588B1 (ja) 2019-08-21 2020-07-30 情報処理装置、方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-151518 2019-08-21
JP2019151518 2019-08-21

Publications (1)

Publication Number Publication Date
WO2021033515A1 true WO2021033515A1 (ja) 2021-02-25

Family

ID=74661136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/029357 WO2021033515A1 (ja) 2019-08-21 2020-07-30 情報処理装置、方法及びプログラム

Country Status (4)

Country Link
US (1) US20220222490A1 (ja)
EP (1) EP4020337A4 (ja)
JP (1) JP6869588B1 (ja)
WO (1) WO2021033515A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7453895B2 (ja) * 2020-11-11 2024-03-21 株式会社日立製作所 探索条件提示装置、探索条件提示方法、及び探索条件提示プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173686A (ja) 2015-03-16 2016-09-29 国立大学法人岩手大学 情報処理装置
WO2019026702A1 (ja) * 2017-07-31 2019-02-07 株式会社エイシング データ量圧縮方法、装置、プログラム及びｉｃチップ

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05322711A (ja) * 1992-05-18 1993-12-07 Kobe Steel Ltd プロセスの状態知識獲得装置
JPH06259399A (ja) * 1993-03-05 1994-09-16 Nippon Telegr & Teleph Corp <Ntt> 学習方式
WO2019131527A1 (ja) * 2017-12-26 2019-07-04 株式会社エイシング 汎用学習済モデルの生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016173686A (ja) 2015-03-16 2016-09-29 国立大学法人岩手大学 情報処理装置
WO2019026702A1 (ja) * 2017-07-31 2019-02-07 株式会社エイシング データ量圧縮方法、装置、プログラム及びｉｃチップ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHYON HAE KIM, YASUHIRO SUGAWARA, YUKI MIURA, HITOSHI KURIBAYASHI, AKIO NUMAKURA, NARIMASA KATO, KAZUYUKI SATO, TAKEYA TOMIZAWA, T: "Error based prediction algorithm in dynamics learning tree", IPSJ SIG TECHNICAL REPORTS : MATHEMATICAL MODELING AND PROBLEM SOLVING (MPS), vol. 2017 -MP-112, no. 25, 20 February 2017 (2017-02-20), JP , pages 1 - 5, XP009515834, ISSN: 2188-8833 *
See also references of EP4020337A4

Also Published As

Publication number Publication date
EP4020337A1 (en) 2022-06-29
US20220222490A1 (en) 2022-07-14
JPWO2021033515A1 (ja) 2021-09-13
EP4020337A4 (en) 2023-08-02
JP6869588B1 (ja) 2021-05-12

Similar Documents

Publication Publication Date Title
US11379737B2 (en) Method and apparatus for correcting missing value in data
US11468366B2 (en) Parallel development and deployment for machine learning models
CN108701253A (zh) 使用规范化的目标输出训练神经网络
CN109190754A (zh) 量化模型生成方法、装置和电子设备
CN111461301A (zh) 序列化数据处理方法和装置、文本处理方法和装置
JP2019191827A (ja) 質問応答装置、質問応答方法及びプログラム
CN113377964A (zh) 知识图谱链接预测方法、装置、设备及存储介质
WO2021033515A1 (ja) 情報処理装置、方法及びプログラム
CN109448697B (zh) 诗词旋律生成方法、电子装置及计算机可读存储介质
WO2021253938A1 (zh) 一种神经网络的训练方法、视频识别方法及装置
JP7256378B2 (ja) 最適化システムおよび最適化システムの制御方法
JP7489275B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
WO2021220775A1 (ja) 材料の特性値を推定するシステム
JP5206196B2 (ja) 規則学習方法、プログラム及び装置
JP5206197B2 (ja) 規則学習方法、プログラム及び装置
US8676547B2 (en) Parameter extraction method
JP2022151502A (ja) プログラム、情報処理装置、及び方法
JP6713099B2 (ja) 学習済モデル統合方法、装置、プログラム、ｉｃチップ、及びシステム
CN114021541A (zh) 演示文稿生成方法、装置、设备及存储介质
CN113191527A (zh) 一种基于预测模型进行人口预测的预测方法及装置
CN113688249B (zh) 基于关系认知的知识图谱嵌入方法和***
JP2019012455A (ja) 語義ベクトル生成プログラム、語義ベクトル生成方法および語義ベクトル生成装置
JP7224263B2 (ja) モデル生成方法、モデル生成装置及びプログラム
WO2021220776A1 (ja) 材料の特性値を推定するシステム
CN117083620A (zh) 信息提示程序、信息提示方法以及信息提示装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020566857

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20853657

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020853657

Country of ref document: EP

Effective date: 20220321