JP7421046B2 - Information acquisition device, information acquisition method and program - Google Patents

Information acquisition device, information acquisition method and program Download PDF

Info

Publication number
JP7421046B2
JP7421046B2 JP2019184795A JP2019184795A JP7421046B2 JP 7421046 B2 JP7421046 B2 JP 7421046B2 JP 2019184795 A JP2019184795 A JP 2019184795A JP 2019184795 A JP2019184795 A JP 2019184795A JP 7421046 B2 JP7421046 B2 JP 7421046B2
Authority
JP
Japan
Prior art keywords
node
value
distribution
nodes
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019184795A
Other languages
Japanese (ja)
Other versions
JP2021060823A (en
Inventor
裕介 久保
雄斗 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
NEC Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical NEC Corp
Priority to JP2019184795A priority Critical patent/JP7421046B2/en
Priority to PCT/JP2020/036532 priority patent/WO2021070653A1/en
Publication of JP2021060823A publication Critical patent/JP2021060823A/en
Application granted granted Critical
Publication of JP7421046B2 publication Critical patent/JP7421046B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、情報取得装置、情報取得方法およびプログラムに関する。 The present invention relates to an information acquisition device, an information acquisition method, and a program.

機械学習モデルの解釈可能性に関連して、学習済みモデルであるニューラルネットワークに画像データが入力された状態で、出力ノードから入力ノードへと（信号の流れと逆向きに）辿っていき、発火しているノードを表示することが記載されている。 Related to the interpretability of machine learning models, when image data is input to a neural network, which is a trained model, it is traced from the output node to the input node (in the opposite direction of the signal flow) and then fired. It is stated that the nodes that are currently being displayed are displayed.

Gregoire Montavona、外４名、"Explaining nonlinear classification decisions with deep Taylor decomposition"、Pattern Recognition 65、p.211-222、ELSEVIER、２０１７年Gregoire Montavona and 4 others, "Explaining nonlinear classification decisions with deep Taylor decomposition", Pattern Recognition 65, p.211-222, ELSEVIER, 2017

非特許文献１に記載の方法によれば、特定の入力データに対して学習済みモデルが行う処理を視覚化することができる。
一方、新たな入力データに対応する観点から、特定の入力データによらずモデル自体の解釈を行えることが望まれる。 According to the method described in Non-Patent Document 1, it is possible to visualize the processing performed by a trained model on specific input data.
On the other hand, from the perspective of dealing with new input data, it is desirable to be able to interpret the model itself without relying on specific input data.

本発明は、上述の課題を解決することのできる情報取得装置、情報取得方法およびプログラムを提供することを目的としている。 An object of the present invention is to provide an information acquisition device, an information acquisition method, and a program that can solve the above-mentioned problems.

本発明の第１の態様によれば、情報取得装置は、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める取得部と、ノード間における前記分布の相関を算出し、前記グラフィカルモデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する算出部と、を備える。 According to a first aspect of the present invention, the information acquisition device includes an acquisition unit that calculates a distribution of node values with respect to a plurality of input data to a graphical model; Based on a value indicating the strength of the correlation of the distribution between each node on the path from the input node to the final node of the hidden layer, and a value indicating the degree of dispersion of the values transmitted from the final node to each output node. and a calculation unit that calculates an evaluation value of the degree of contribution of the route to the value of the output node .

本発明の第２の態様によれば、情報取得方法は、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める工程と、ノード間における前記分布の相関を算出し、前記グラフィカルモデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する工程と、を含む。 According to a second aspect of the present invention, the information acquisition method includes the steps of determining the distribution of node values for a plurality of input data to the graphical model, calculating the correlation of the distribution between the nodes , and calculating the correlation of the distribution between the nodes. Based on a value indicating the strength of the correlation of the distribution between each node on the path from the input node to the final node of the hidden layer, and a value indicating the degree of dispersion of the values transmitted from the final node to each output node. , calculating an evaluation value of the degree of contribution of the route to the value of the output node .

本発明の第３の態様によれば、プログラムは、コンピュータに、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める工程と、ノード間における前記分布の相関を算出し、前記グラフィカルモデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する工程と、を実行させるためのプログラムである。 According to the third aspect of the present invention, the program includes the steps of causing a computer to calculate the distribution of node values for a plurality of input data to the graphical model, calculating the correlation of the distribution between the nodes, and calculating the correlation of the distribution between the nodes , Based on a value indicating the strength of the correlation of the distribution between each node on the path from the input node to the final node of the hidden layer, and a value indicating the degree of dispersion of the values transmitted from the final node to each output node. and calculating an evaluation value of the degree of contribution of the route to the value of the output node .

この発明によれば、モデルの解釈を行うための情報を提供することができる。 According to this invention, information for interpreting a model can be provided.

実施形態に係る情報取得装置の機能構成を示す概略ブロック図である。FIG. 1 is a schematic block diagram showing a functional configuration of an information acquisition device according to an embodiment. 実施形態に係る表示部による対象モデルの表示例を示す図である。It is a figure showing the example of a display of a target model by a display part concerning an embodiment. 実施形態に係る表示部による対象モデルの各ノードの値の分布の表示例を示す図である。FIG. 6 is a diagram illustrating an example of display of the distribution of values of each node of the target model by the display unit according to the embodiment. 実施形態に係る表示部による、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度のランキングの表示例を示す図である。FIG. 6 is a diagram illustrating a display example of a ranking of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node, by the display unit according to the embodiment. 実施形態に係る情報取得装置が、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度のランキングを表示する場合の処理手順の例を示すフローチャートである。1 is a flowchart illustrating an example of a processing procedure when the information acquisition device according to the embodiment displays a ranking of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node; be. 実施形態に係る情報取得装置の構成の例を示す図である。FIG. 1 is a diagram illustrating an example of a configuration of an information acquisition device according to an embodiment. 実施形態に係る情報取得方法における処理手順の例を示す図である。It is a figure showing an example of a processing procedure in an information acquisition method concerning an embodiment. 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。FIG. 1 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図１は、実施形態に係る情報取得装置の機能構成を示す概略ブロック図である。同図に示す構成で、情報取得装置１００は、通信部１１０と、表示部１２０と、操作入力部１３０と、記憶部１８０と、制御部１９０とを備える。記憶部１８０は、モデル記憶部１８１を備える。制御部１９０は、取得部１９１と、算出部１９２とを備える。 Hereinafter, embodiments of the present invention will be described, but the following embodiments do not limit the invention according to the claims. Furthermore, not all combinations of features described in the embodiments are essential to the solution of the invention.
FIG. 1 is a schematic block diagram showing the functional configuration of an information acquisition device according to an embodiment. With the configuration shown in the figure, the information acquisition device 100 includes a communication section 110, a display section 120, an operation input section 130, a storage section 180, and a control section 190. The storage unit 180 includes a model storage unit 181. The control unit 190 includes an acquisition unit 191 and a calculation unit 192.

情報取得装置１００は、有向非巡回グラフの構造を有するグラフィカルモデルを解釈するための情報を提供する。以下では、情報取得装置１００の処理対象のモデル（情報取得装置１００が情報を提供する対象のモデル）を対象モデルとも称する。対象モデルは、ディープラーニング（Deep Learning、深層学習）等の順伝播型ニューラルネットワーク（Feedforward Neural Network）であってもよいが、これに限定されない。また、対象モデルは、典型的には学習済みモデル（機械学習によって得られたモデル）であるが、これに限定されない。 The information acquisition device 100 provides information for interpreting a graphical model having a directed acyclic graph structure. Hereinafter, the model to be processed by the information acquisition device 100 (the model to which the information acquisition device 100 provides information) will also be referred to as a target model. The target model may be a feedforward neural network such as deep learning, but is not limited to this. Further, the target model is typically a trained model (a model obtained by machine learning), but is not limited to this.

情報取得装置１００は、例えばパソコン（Personal Computer；ＰＣ）等のコンピュータを用いて構成される。あるいは、情報取得装置１００が、ＡＳＩＣ（Application Specific Integrated Circuit）を用いて構成されるなど、情報取得装置１００専用のハードウェアを用いて構成されていてもよい。 The information acquisition device 100 is configured using a computer such as a personal computer (PC). Alternatively, the information acquisition device 100 may be configured using hardware dedicated to the information acquisition device 100, such as using an ASIC (Application Specific Integrated Circuit).

通信部１１０は、他の装置と通信を行う。例えば、通信部１１０は、対象モデルへの入力データをサーバ装置などのコンピュータから受信する。ただし、情報取得装置１００が対象モデルへの入力データを取得する方法は特定の方法に限定されない。
表示部１２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode、発光ダイオード）パネル等の表示画面を備え、各種画像を表示する。例えば、表示部１２０は、情報取得装置１００が算出する、対象モデルを解釈するための情報を表示する。ただし、情報取得装置１００が情報を出力する方法は、表示部１２０による表示に限定されない。例えば、通信部１１０が、他の装置へ情報を送信するようにしてもよい。 The communication unit 110 communicates with other devices. For example, the communication unit 110 receives input data for the target model from a computer such as a server device. However, the method by which the information acquisition device 100 acquires input data to the target model is not limited to a specific method.
The display unit 120 includes a display screen such as a liquid crystal panel or an LED (Light Emitting Diode) panel, and displays various images. For example, the display unit 120 displays information for interpreting the target model, which is calculated by the information acquisition device 100. However, the method by which the information acquisition device 100 outputs information is not limited to displaying on the display unit 120. For example, the communication unit 110 may transmit information to another device.

操作入力部１３０は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受け付ける。例えば、操作入力部１３０が、対象モデルを解釈するための情報の計算を指示するユーザ操作を受け付けると、情報取得装置１００は、対象モデルを解釈するための情報の計算を開始する。 The operation input unit 130 includes input devices such as a keyboard and a mouse, and receives user operations. For example, when the operation input unit 130 receives a user operation instructing calculation of information for interpreting the target model, the information acquisition device 100 starts calculating information for interpreting the target model.

記憶部１８０は、各種データを記憶する。記憶部１８０は、情報取得装置１００が備える記憶デバイスを用いて構成される。
モデル記憶部１８１は、対象モデルを記憶する。なお、図１では、対象モデルがソフトウェア的に実行される場合の例を示している。この場合、制御部１９０は、モデル記憶部１８１から対象モデルを読み出して、入力データに対する演算など対象モデルに関する処理を行う。ただし、対象モデルがハードウェア的に実行されてもよい。 The storage unit 180 stores various data. The storage unit 180 is configured using a storage device included in the information acquisition apparatus 100.
The model storage unit 181 stores a target model. Note that FIG. 1 shows an example where the target model is executed by software. In this case, the control unit 190 reads the target model from the model storage unit 181 and performs processing related to the target model, such as computation on input data. However, the target model may be executed in hardware.

制御部１９０は、情報取得装置１００の各部を制御して各種処理を行う。制御部１９０の機能は、例えば、情報取得装置１００が備えるＣＰＵ（Central Processing Unit、中央処理装置）が、記憶部１８０からプログラムを読み出して実行することで実行される。
取得部１９１は、複数の入力データの各々に対する対象モデルの演算を実行する。これにより、取得部１９１は、複数の入力データの各々について、対象モデルの各ノードの値を算出する。そして、取得部１９１は、対象モデルのノード毎に、複数の入力データに対するノードの値の分布を求める。 The control unit 190 controls each unit of the information acquisition device 100 to perform various processes. The functions of the control unit 190 are executed by, for example, a CPU (Central Processing Unit) included in the information acquisition device 100 reading and executing a program from the storage unit 180.
The acquisition unit 191 executes calculation of the target model for each of the plurality of input data. Thereby, the acquisition unit 191 calculates the value of each node of the target model for each of the plurality of input data. The acquisition unit 191 then obtains the distribution of node values for a plurality of input data for each node of the target model.

算出部１９２は、相関を算出する。具体的には、算出部１９２は、隣接するノード間における、ノードの値の分布の相関として相関係数を算出する。ここでいう隣接するノードは、１つのエッジの両端のノードである。すなわち、隣接するノードは、他のノードを経由せずに１つのエッジで直接接続されている２つのノードである。
例えば、算出部１９２が、コピュラ（Copula）を用いて相関係数を算出するようにしてもよい。 The calculation unit 192 calculates the correlation. Specifically, the calculation unit 192 calculates a correlation coefficient as a correlation between the distribution of node values between adjacent nodes. The adjacent nodes here are nodes at both ends of one edge. That is, adjacent nodes are two nodes that are directly connected by one edge without going through another node.
For example, the calculation unit 192 may calculate the correlation coefficient using a copula.

算出部１９２は、さらに、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度（影響の大きさ）の評価値を算出する。ここでいう隠れ層の最終ノードは、隠れ層のノードのうち出力ノードに隣接するノードである。
具体的には、算出部１９２は、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間におけるノードの値の分布の相関の積を算出する。 The calculation unit 192 further calculates an evaluation value of the degree of contribution (magnitude of influence) of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node. The final node of the hidden layer here is a node adjacent to the output node among the nodes of the hidden layer.
Specifically, the calculation unit 192 calculates the product of the correlations of the distribution of node values between each node on the path from the input node of the target model to the final node of the hidden layer.

また、算出部１９２は、最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値を算出する。以下では、算出部１９２が、ばらつき度合いを示す値として分散を算出する場合を例に説明する。ただし、算出部１９２が算出するばらつき度合いを示す値は分散に限定されない。例えば、算出部１９２が、ばらつき度合いを示す値として標準偏差を算出するようにしてもよい。
そして、算出部１９２は、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間におけるノードの値の分布の相関の積と、最終ノードから各出力ノードへ伝達される値の分散との積を算出する。 Further, the calculation unit 192 calculates a value indicating the degree of variation in the values transmitted from the final node to each output node. In the following, a case where the calculation unit 192 calculates the variance as a value indicating the degree of dispersion will be described as an example. However, the value indicating the degree of variation calculated by the calculation unit 192 is not limited to the variance. For example, the calculation unit 192 may calculate the standard deviation as a value indicating the degree of variation.
Then, the calculation unit 192 calculates the product of the correlation of the distribution of node values between each node on the path from the input node of the target model to the final node of the hidden layer, and the variance of the values transmitted from the final node to each output node. Calculate the product of

算出部１９２は、対象モデルの入力ノードから隠れ層の最終ノードまでの複数の経路の各々について、その経路が出力ノードの値のばらつき度合いに対する寄与度の評価値を算出する。例えば、算出部１９２は、全ての入力ノードから全ての隠れ層の最終ノードまでの全ての経路について、その経路が出力ノードの値のばらつき度合いに対する寄与度の評価値を算出する。
そして、算出部１９２は、経路毎の評価値に基づいて、経路に対する順位付けを行う。例えば、算出部１９２は、評価値の大きい順に経路を順位付けする。あるいは、算出部１９２が、評価値の小さい順に経路を順位付けするようにしてもよい。 The calculation unit 192 calculates, for each of the plurality of paths from the input node of the target model to the final node of the hidden layer, an evaluation value of the degree of contribution of that path to the degree of variation in the value of the output node. For example, the calculation unit 192 calculates the evaluation value of the degree of contribution of each path to the degree of variation in the value of the output node for all paths from all input nodes to the final nodes of all hidden layers.
The calculation unit 192 then ranks the routes based on the evaluation value for each route. For example, the calculation unit 192 ranks routes in descending order of evaluation value. Alternatively, the calculation unit 192 may rank the routes in descending order of evaluation value.

図２は、表示部１２０による対象モデルの表示例を示す図である。図２の例で、対象モデルは入力層と、２層の隠れ層（中間層）と、出力層とを有する。入力層は、４個の入力ノードを有する。隠れ層の１層目は、６個の中間ノードを有する。隠れ層の２層目は、４個の中間ノードを有する。出力層は、３個の出力ノードを有する。
ただし、対象モデルは、図２の構造のモデルに限定されない。 FIG. 2 is a diagram showing an example of displaying a target model on the display unit 120. In the example of FIG. 2, the target model has an input layer, two hidden layers (middle layers), and an output layer. The input layer has four input nodes. The first hidden layer has six intermediate nodes. The second hidden layer has four intermediate nodes. The output layer has three output nodes.
However, the target model is not limited to the model with the structure shown in FIG.

入力層の各ノードから隠れ層の１層目の各ノードへ、隠れ層の１層目の各ノードから隠れ層の２層目の各ノードへ、および、隠れ層の２層目の各ノードから出力層の各ノードへ、有向のエッジが設けられている。各エッジには重み係数が設定されており、ノードから出力される値は、エッジにおける重み係数を乗算されて次のノードへ入力される。
このように、図２に示される対象モデルは、有向かつ非巡回のグラフの構造を有するモデルとなっている。
また、図２では、入力ノードｘ＿０から出力ノードｐｒｅｄ＿２への経路のうち、中間ノードｈ０＿４およびｈ１＿０を経由する経路が示されている。 From each node of the input layer to each node of the first layer of the hidden layer, from each node of the first layer of the hidden layer to each node of the second layer of the hidden layer, and from each node of the second layer of the hidden layer A directed edge is provided to each node of the output layer. A weighting coefficient is set for each edge, and the value output from a node is multiplied by the weighting coefficient at the edge and input to the next node.
In this way, the target model shown in FIG. 2 has a directed and acyclic graph structure.
Further, in FIG. 2, among the routes from the input node x_0 to the output node pred_2, a route via intermediate nodes h0_4 and h1_0 is shown.

図３は、表示部１２０による対象モデルの各ノードの値の分布の表示例を示す図である。図３は、図２に示される対象モデルの各ノードの値の分布の例を示している。
図３の例で、表示部１２０は、ノード毎にヒストグラム（度数分布図）を示している。各ヒストグラムの横軸は、複数の入力データに対してそのノードがとり得る値を示す。縦軸は、そのノードがその値をとった回数を、入力データの個数で除算する正規化を行った値を示す。この正規化により、度数分布を確率分布として扱うことができる。 FIG. 3 is a diagram showing a display example of the distribution of values of each node of the target model on the display unit 120. FIG. 3 shows an example of the distribution of values of each node of the target model shown in FIG. 2.
In the example of FIG. 3, the display unit 120 shows a histogram (frequency distribution diagram) for each node. The horizontal axis of each histogram indicates the values that the node can take with respect to a plurality of input data. The vertical axis indicates a value obtained by normalizing the number of times the node takes that value divided by the number of input data. This normalization allows the frequency distribution to be treated as a probability distribution.

また、図３の例で、表示部１２０は、各ノードの度数分布をクラス分類結果毎に異なるパターンで表示している。このクラス分類は、出力ノードの値によって示される。図３の例では、３つのノードｐｒｅｄ＿０、ｐｒｅｄ＿１、ｐｒｅｄ＿２のうち、いずれか最も大きい値を示すノードによって、ｐｒｅｄ＿０のクラス、ｐｒｅｄ＿１のクラス、ｐｒｅｄ＿２のクラスの３つのクラスに分類されている。 Further, in the example of FIG. 3, the display unit 120 displays the frequency distribution of each node in a different pattern for each class classification result. This class classification is indicated by the value of the output node. In the example of FIG. 3, the nodes are classified into three classes: a pred_0 class, a pred_1 class, and a pred_2 class, depending on which one of the three nodes pred_0, pred_1, and pred_2 shows the largest value.

図３のように度数分布のクラス分類の表示を可能にするために、取得部１９１は、入力データに対する各ノードの値を算出した後、算出したノードの値に、クラス分類結果（のクラス）のラベル付けを行う。取得部１９１は、与えられた全ての入力データに対して各ノードの値を算出した後、ノード毎に、そのノードがとった値を集計してヒストグラムを作成する。その際、取得部１９１が、あるノードがある値をとった回数を、ノードの値にラベル付けされたクラス毎に数える。これにより、表示部１２０は、図３の例のように各ノードの度数分布をクラス分類結果毎に異なるパターンで表示することができる。 In order to display the class classification of the frequency distribution as shown in FIG. Label. The acquisition unit 191 calculates the value of each node for all the input data given, and then aggregates the values taken by the node for each node to create a histogram. At this time, the acquisition unit 191 counts the number of times a certain node takes a certain value for each class labeled with the value of the node. Thereby, the display unit 120 can display the frequency distribution of each node in a different pattern for each class classification result, as in the example of FIG.

図３の例のように、表示部１２０が、各ノードの度数分布をクラス分類結果毎に異なるパターンで表示することで、ノードの値とクラス分類との関連性を視覚的に示すことができる。例えば、中間ノードｈ１＿２では、クラス分類結果がｐｒｅｄ＿１のクラス、ｐｒｅｄ＿２のクラスの何れの場合も、ノードの値は、ほぼ０となっている。このことから、中間ノードｈ１＿２の値を用いたのでは、ｐｒｅｄ＿１のクラスとｐｒｅｄ＿２のクラスとを分類することは困難であると考えられる。 As in the example of FIG. 3, the display unit 120 displays the frequency distribution of each node in a different pattern for each class classification result, so that the relationship between the node value and the class classification can be visually shown. . For example, in the intermediate node h1_2, the value of the node is approximately 0 whether the class classification result is the pred_1 class or the pred_2 class. From this, it is considered difficult to classify the pred_1 class and the pred_2 class by using the value of the intermediate node h1_2.

一方、中間ノードｈ１＿２では、クラス分類結果がｐｒｅｄ＿０のクラスの場合のノードの値は２よりも大きい値となっており、他のクラスの場合のノードの値（ほぼ０）とは異なっている。このことから、中間ノードｈ１＿２の値を用いることで、ｐｒｅｄ＿０のクラスとそれ以外のクラスとの分類が可能と考えられる。 On the other hand, in the intermediate node h1_2, the node value when the class classification result is pred_0 is a value larger than 2, which is different from the node value (approximately 0) for other classes. From this, it is considered possible to classify the pred_0 class and other classes by using the value of the intermediate node h1_2.

また、図３では、入力ノードｘ＿３から隠れ層の２層目の中間ノードｈ１＿０までの経路のうち、隠れ層の１層目の中間ノードｈ０＿４を経由する経路が示されている。この経路は、入力ノードから隠れ層の最終ノードまでの経路の例に該当する。
この経路に関しては、算出部１９２は、入力ノードｘ＿３の値の分布と、中間ノードｈ０＿４の値の分布との相関、および、中間ノードｈ０＿４の値の分布と、中間ノードｈ１＿０の値の分布との相関を算出する。算出部１９２が、相関として相関係数を算出する場合、例えば、式（１）のように示される。 Further, in FIG. 3, among the routes from the input node x_3 to the intermediate node h1_0 in the second layer of the hidden layer, a route that passes through the intermediate node h0_4 in the first layer of the hidden layer is shown. This path corresponds to an example of a path from the input node to the final node of the hidden layer.
Regarding this path, the calculation unit 192 calculates the correlation between the distribution of values at input node x_3 and the distribution of values at intermediate node h0_4, and the correlation between the distribution of values at intermediate node h0_4 and the distribution of values at intermediate node h1_0. Calculate the correlation. When the calculation unit 192 calculates a correlation coefficient as a correlation, it is expressed as in equation (1), for example.

Figure 0007421046000001
Figure 0007421046000001

ここで、ρは相関係数を示す。
また、上記のようにノードの値の分布を正規化することによって確率分布と見做すことができる、Ｘは、隣接する２つのノードのうち前段（データをエッジに出力する側）のノードの値の確率変数を示し、σＸは、確率変数Ｘの標準偏差を示す。また、Ｙは、後段（エッジからのデータの入力を受ける側）のノードの値の確率変数を示し、σＹは、確率変数Ｙの標準偏差を示す。
また、σＸＹは、確率変数ＸとＹとの共分散を示す。 Here, ρ indicates a correlation coefficient.
In addition, by normalizing the distribution of node values as described above, it can be regarded as a probability distribution. denotes a random variable of value, and σ X denotes the standard deviation of the random variable X. Further, Y indicates a random variable of the value of a node at a subsequent stage (on the side receiving data input from an edge), and σ Y indicates a standard deviation of the random variable Y.
Moreover, σ XY indicates the covariance between the random variables X and Y.

これら隣接する２つの値の分布の相関は、後段のノードの値に対する前段のノードの値の寄与度（影響の大きさ）を示している。２つのノードの間のエッジの重み係数が正の値で、かつ、強い正の相関がある場合、および、２つのノードの間のエッジの重み係数が負の値で、かつ、強い負の相関がある場合のいずれも、後段のノードの値に対する前段のノードの値の寄与度が大きいといえる。一方、２つのノードの値の分布の相関が弱い場合、後段のノードの値に対する前段のノードの値の寄与度は小さいといえる。 The correlation between the distributions of these two adjacent values indicates the degree of contribution (magnitude of influence) of the value of the preceding node on the value of the subsequent node. When the edge weighting coefficient between two nodes is a positive value and there is a strong positive correlation, and when the edge weighting coefficient between two nodes is a negative value and there is a strong negative correlation. In either case, it can be said that the contribution of the value of the preceding node to the value of the subsequent node is large. On the other hand, when the correlation between the distributions of the values of two nodes is weak, it can be said that the degree of contribution of the value of the preceding node to the value of the subsequent node is small.

例えばユーザ等の人が、対象モデルを解釈する際、相関の強いノード間のエッジを重要視し、相関の弱いノード間のエッジは無視ないし軽視することが考えられる。また、表示部１２０が図２の例のように対象モデルを表示する際、相関の強いノード間のエッジを濃く表示し、相関の弱いノード間のエッジを薄く表示するようにしてもよい。
また、情報取得装置１００または人（例えばユーザ）が、対象モデルのエッジのうち相関の弱いノード間のエッジを削除することでモデルの簡単化を行うようにしてもよい。 For example, when a person such as a user interprets a target model, it is conceivable that a person, such as a user, attaches importance to edges between nodes with strong correlation, and ignores or downplays edges between nodes with weak correlation. Furthermore, when display unit 120 displays the target model as in the example of FIG. 2, edges between nodes with strong correlation may be displayed darkly, and edges between nodes with weak correlation may be displayed lightly.
Alternatively, the information acquisition device 100 or a person (for example, a user) may simplify the model by deleting edges between nodes with weak correlation among the edges of the target model.

また、算出部１９２は、入力ノードから隠れ層の最終ノードまでの経路の各ノード間におけるノードの値の分布の相関の積を算出する。例えば、図３の入力ノードｘ＿３から中間ノードｈ０＿４を経由して中間ノードｈ１＿０に至る経路の場合、算出部１９２は、入力ノードｘ＿３の値の分布と中間ノードｈ０＿４の値の分布との相関と、中間ノードｈ０＿４の値の分布と中間ノードｈ１＿０の値の分布との相関との積を算出する。
この積は、データがこの経路で伝達される度合いを示す。例えば、（正規化等によって）相関を確率と見做すことができる場合、この積は、データがこの経路を通る確率を示す。
算出部１９２が算出する相関の積は、式（２）のように示される。 The calculation unit 192 also calculates the product of the correlations of the distribution of node values between each node on the path from the input node to the final node of the hidden layer. For example, in the case of a route from input node x_3 to intermediate node h1_0 via intermediate node h0_4 in FIG. The product of the correlation between the distribution of values of intermediate node h0_4 and the distribution of values of intermediate node h1_0 is calculated.
This product indicates the degree to which data is transmitted along this path. For example, if the correlation can be viewed as a probability (such as through normalization), then this product indicates the probability that the data will follow this path.
The product of correlations calculated by the calculation unit 192 is expressed as in equation (2).

Figure 0007421046000002
Figure 0007421046000002

ここで、ρｐｒは、相関の積を示す。
Ｍは、相関の積の算出対象の経路におけるノードの個数を示す。ノードの個数がＭ個なので、ノード間の個数はＭ－１個となる。
ρｉは、ｉ番目のノードとｉ＋１番目のノードとの間の、ノードの値の分布の相関を示す。 Here, ρ pr indicates the product of correlations.
M indicates the number of nodes on the route for which the correlation product is calculated. Since the number of nodes is M, the number of nodes between nodes is M-1.
ρ i indicates the correlation of the distribution of node values between the i-th node and the i+1-th node.

さらに、算出部１９２は、隠れ層の最終ノードから各出力ノードへ伝達される値のばらつき度合いを算出する。算出部１９２が、ばらつき度合いとして分散を算出する場合、式（３）のように示される。 Furthermore, the calculation unit 192 calculates the degree of variation in the values transmitted from the final node of the hidden layer to each output node. When the calculation unit 192 calculates the variance as the degree of dispersion, it is expressed as in equation (3).

Figure 0007421046000003
Figure 0007421046000003

ここでは、Ｘは、隠れ層の最終ノードから各出力ノードへ伝達される値（最終ノードからの出力にエッジでの重み係数を乗算した値）を確率分布で表した場合の確率変数を示す。Ｖａｒ（Ｘ）は、確率変数Ｘの分散を示す。Ｅ（（Ｘ－μ）２）は、（Ｘ－μ）２の期待値を示す。
μは、隠れ層の最終ノードから各出力ノードへ伝達される値の期待値を示し、式（４）のように示される。 Here, X indicates a random variable when the value transmitted from the final node of the hidden layer to each output node (the value obtained by multiplying the output from the final node by the weighting coefficient at the edge) is expressed as a probability distribution. Var(X) indicates the variance of random variable X. E((X-μ) 2 ) indicates the expected value of (X-μ) 2 .
μ indicates the expected value of the value transmitted from the final node of the hidden layer to each output node, and is expressed as in equation (4).

Figure 0007421046000004
Figure 0007421046000004

ここで、ρｐｒは、式（２）で算出される相関の積を示す。Ｎは、計算対象の隠れ層の最終ノードに隣接する出力ノードの個数を示す。ｗ１、ｗ２、・・・ｗＮは、計算対象の隠れ層の最終ノードから、隣接する出力ノードへの各エッジにおける重み係数を示す。 Here, ρ pr indicates the product of correlations calculated by equation (2). N indicates the number of output nodes adjacent to the final node of the hidden layer to be calculated. w 1 , w 2 , . . . w N represent weighting coefficients at each edge from the final node of the hidden layer to be calculated to an adjacent output node.

この分散は、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度の評価値の例に該当する。分散が大きいほど、この経路で伝達されるデータに基づく出力ノードの値のばらつき度合いが大きいことを示す。出力ノードの値のばらつき度合いが大きいほど、入力データのクラス分類への寄与度が大きいと評価できる。 This variance corresponds to an example of an evaluation value of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node. The larger the variance, the greater the degree of variation in the values of the output nodes based on the data transmitted through this path. It can be evaluated that the greater the degree of variation in the values of the output nodes, the greater the contribution to the class classification of the input data.

図４は、表示部１２０による、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度のランキングの表示例を示す図である。図４は、対象モデルが図２に示されるモデルである場合の例を示している。
図４の例で、表示部１２０は、入力ノードから隠れ層の最終ノードまでの経路のうち、出力ノードの値のばらつき度合いに対する寄与度が大きい順に上位１０個の経路について、その経路と、各出力ノードの値（期待値）と、これら出力ノードの値の平均値および標準偏差を示している。 FIG. 4 is a diagram illustrating a display example of a ranking of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node, displayed by the display unit 120. FIG. 4 shows an example where the target model is the model shown in FIG. 2.
In the example of FIG. 4, the display unit 120 displays the top 10 routes from the input node to the final node of the hidden layer in descending order of their contribution to the degree of variation in the values of the output nodes. It shows the values of output nodes (expected values) and the average value and standard deviation of the values of these output nodes.

図４に示される標準偏差は、算出部１９２が算出する、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度の評価値の例に該当する。標準偏差の値が大きいほど、出力ノードの値のばらつき度合いが大きく、入力データのクラス分類への寄与度が大きいと評価できる。 The standard deviation shown in FIG. 4 corresponds to an example of the evaluation value calculated by the calculation unit 192 of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node. . It can be evaluated that the larger the value of the standard deviation, the greater the degree of dispersion of the values of the output nodes, and the greater the contribution of the input data to the class classification.

このランキングによって、対象モデルによる予測結果（入力データのクラス分類）の出力に有用な経路が示されているといえる。例えばユーザが、対象モデルを解釈する場合、予測結果の出力に有用な経路に注目することで、解釈が比較的容易になると期待される。
あるいは、ユーザが対象モデルをチューニングする場合、予測結果の出力に有用な経路における重み係数の値を重点的にチューニングすることで、比較的効率的にチューニングを行えると期待される。 It can be said that this ranking shows a path that is useful for outputting prediction results (class classification of input data) by the target model. For example, when a user interprets a target model, it is expected that the interpretation will become relatively easy by focusing on paths that are useful for outputting prediction results.
Alternatively, when a user tunes a target model, it is expected that tuning can be done relatively efficiently by focusing on tuning the values of weighting coefficients on paths useful for outputting prediction results.

あるいは、ユーザが対象モデルを簡単化する場合、予測結果の出力への貢献度が小さいエッジまたはノード、あるいはこれらエッジおよびノードの両方を削除するようにしてもよい。予測結果の出力に有用な経路に含まれないエッジまたはノードを、予測結果の出力への貢献度が小さいエッジまたはノードと見做すことができる。
これにより、エッジまたはノードの個数を減らしてモデルを簡単化することができ、かつ、予測結果への影響が小さいことが期待される。 Alternatively, when the user simplifies the target model, the user may delete edges or nodes that have a small contribution to the output of the prediction result, or both of these edges and nodes. An edge or node that is not included in a path useful for outputting a prediction result can be regarded as an edge or node that has a small contribution to outputting a prediction result.
As a result, it is possible to simplify the model by reducing the number of edges or nodes, and it is expected that the influence on the prediction results will be small.

表示部１２０が、出力ノードの値のばらつき度合いに対する寄与度が大きい順の経路のランキングに加えて、あるいは代えて、出力ノードの値のばらつき度合いに対する寄与度が小さい順の経路のランキングを表示するようにしてもよい。
ユーザが、予測結果の出力への貢献度が小さいエッジまたはノードを削除する場合、寄与度が小さい順の経路のランキングを参考にすることができる。 In addition to or in place of the ranking of routes in order of increasing contribution to the degree of variation in output node values, the display unit 120 displays a ranking of routes in descending order of contribution to the degree of variation in output node values. You can do it like this.
When the user deletes edges or nodes that have a small contribution to the output of the prediction result, the user can refer to the ranking of routes in descending order of contribution.

次に、図５を参照して情報取得装置１００の動作について説明する。
図５は、情報取得装置１００が、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度のランキングを表示する場合の処理手順の例を示すフローチャートである。 Next, the operation of the information acquisition device 100 will be described with reference to FIG. 5.
FIG. 5 is a flowchart illustrating an example of a processing procedure when the information acquisition device 100 displays the ranking of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node. It is.

図５の処理で、取得部１９１は、複数の入力データを取得し、これらの入力データを対象モデルに入力してモデルの演算を行うことで、各ノードにおけるノードの値の分布を取得する（ステップＳ１１）。なお、図３の例のように、ノードの値の分布をクラス毎に分類して表示部１２０に表示させる場合、取得部１９１は、入力データ毎かつノード毎のノードの値に、その入力データに対する予測結果（クラス分類結果）をメタデータとして付加しておく。 In the process of FIG. 5, the acquisition unit 191 acquires a plurality of input data, inputs these input data into the target model, and performs model calculations to acquire the distribution of node values at each node ( Step S11). Note that when the distribution of node values is classified into classes and displayed on the display unit 120 as in the example of FIG. The prediction results (class classification results) for are added as metadata.

次に、算出部１９２は、入力ノードおよび中間ノードのうち、隣接するノード間におけるノードの値の分布の相関を算出する（ステップＳ１２）。
そして、算出部１９２は、入力ノードから隠れ層の最終ノードまでの経路の各々について、その経路における各ノード間の、ノードの値の分布の相関の積を算出する（ステップＳ１３）。 Next, the calculation unit 192 calculates the correlation of the distribution of node values between adjacent nodes among the input node and the intermediate node (step S12).
Then, for each path from the input node to the final node of the hidden layer, the calculation unit 192 calculates the product of the correlations of the distribution of node values between the nodes on the path (step S13).

さらに算出部１９２は、入力ノードから隠れ層の最終ノードまでの経路毎に、隠れ層の最終ノードから出力ノードへ伝達される値（最終ノードからの出力（の期待値）に、エッジ毎の重み係数を乗算した値）の分散を算出する（ステップＳ１４）。この分散は、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度の評価値の例に該当する。 Furthermore, the calculation unit 192 calculates, for each path from the input node to the final node of the hidden layer, the value transmitted from the final node of the hidden layer to the output node (the expected value of the output from the final node), the weight of each edge. The variance of the value multiplied by the coefficient is calculated (step S14). This variance corresponds to an example of an evaluation value of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node.

算出部１９２は、得られた分散に基づいて、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の、出力ノードの値のばらつき度合いに対する寄与度のランキングを生成し、表示部１２０に表示させる（ステップＳ１５）。
ステップＳ１５の後、情報取得装置１００は、図５の処理を終了する。 Based on the obtained variance, the calculation unit 192 generates a ranking of the degree of contribution of the path from the input node of the target model to the final node of the hidden layer to the degree of variation in the value of the output node, and displays it on the display unit 120. (Step S15).
After step S15, the information acquisition device 100 ends the process of FIG. 5.

以上のように、取得部１９１は、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める。算出部１９２は、隣接するノード間における、ノードの値の分布の相関を算出する。
これにより、情報取得装置１００が、隣接するノードの関係を示すことができる。特に、情報取得装置１００は、この相関を示すことにより、後段（データの入力を受ける側）のノードの値に対する前段（データを出力する側）のノードの値の寄与度（影響の大きさ）を示すことができる。 As described above, the acquisition unit 191 obtains the distribution of node values for a plurality of input data to the graphical model. The calculation unit 192 calculates the correlation of the distribution of node values between adjacent nodes.
This allows the information acquisition device 100 to indicate the relationship between adjacent nodes. In particular, by showing this correlation, the information acquisition device 100 can determine the degree of contribution (magnitude of influence) of the value of the node in the previous stage (the side that outputs data) to the value of the node in the latter stage (the side that receives data input). can be shown.

人（例えばユーザ）が対象モデルを解釈する際、相関の強いノード間のエッジを重要視し、相関の弱いノード間のエッジは無視ないし軽視することができる。このように、情報取得装置１００は、対象モデルの解釈を行うための情報を提供することができる。
また、情報取得装置１００または人（例えばユーザ）が、対象モデルのエッジのうち相関の弱いノード間のエッジを削除することでモデルを簡単化することができる。この場合、相関の弱いノード間のエッジを削除する点で、モデルの予測結果（入力データのクラス分類結果）に対する影響が比較的小さいことが期待される。 When a person (for example, a user) interprets a target model, it is possible to place importance on edges between nodes with strong correlations, and to ignore or downplay edges between nodes with weak correlations. In this way, the information acquisition device 100 can provide information for interpreting the target model.
Furthermore, the information acquisition device 100 or a person (for example, a user) can simplify the model by deleting edges between nodes with weak correlation among the edges of the target model. In this case, it is expected that the impact on the prediction results of the model (classification results of input data) will be relatively small in that edges between nodes with weak correlation are deleted.

また、算出部１９２は、対象モデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する。 The calculation unit 192 also calculates a value indicating the strength of the correlation of the distribution between each node on the path from the input node of the target model to the final node of the hidden layer, and a value that is transmitted from the final node to each output node. An evaluation value of the degree of contribution of the route to the value of the output node is calculated based on a value indicating the degree of variation in values.

情報取得装置１００は、この評価値を、対象モデルの解釈を行うための情報として提供することができる。
特に、このランキングによって、対象モデルによる予測結果（入力データのクラス分類）の出力に有用な経路が示されているといえる。ユーザ等の人が、対象モデルを解釈する場合、予測結果の出力に有用な経路に注目することで、解釈が比較的容易になると期待される。
あるいは、ユーザ等の人が対象モデルをチューニングする場合、予測結果の出力に有用な経路における重み係数の値を重点的にチューニングすることで、比較的効率的にチューニングを行えると期待される。 The information acquisition device 100 can provide this evaluation value as information for interpreting the target model.
In particular, it can be said that this ranking shows a path that is useful for outputting prediction results (class classification of input data) by the target model. When a person such as a user interprets a target model, it is expected that the interpretation will become relatively easy by focusing on the path that is useful for outputting prediction results.
Alternatively, when a person such as a user tunes a target model, it is expected that tuning can be performed relatively efficiently by focusing on tuning the values of weighting coefficients on paths useful for outputting prediction results.

あるいは、ユーザ等の人が対象モデルを簡単化する場合、予測結果の出力への貢献度が小さいエッジまたはノード、あるいはこれらエッジおよびノードの両方を削除するようにしてもよい。予測結果の出力に有用な経路に含まれないエッジまたはノードを、予測結果の出力への貢献度が小さいエッジまたはノードと見做すことができる。
これにより、エッジまたはノードの個数を減らしてモデルを簡単化することができ、かつ、予測結果への影響が小さいことが期待される。 Alternatively, when a person such as a user simplifies the target model, edges or nodes having a small contribution to the output of the prediction result, or both of these edges and nodes may be deleted. An edge or node that is not included in a path useful for outputting a prediction result can be regarded as an edge or node that has a small contribution to outputting a prediction result.
As a result, it is possible to simplify the model by reducing the number of edges or nodes, and it is expected that the influence on the prediction results will be small.

また、算出部１９２は、対象モデルの入力ノードから隠れ層の最終ノードまでの経路毎の評価値に基づいて、経路に対する順位付けを行う。
ユーザ等の人は、この順位付けの結果（ランキング）を参照することで、対象モデルによる予測結果の出力に有用な経路、あるいは、対象モデルによる予測結果の出力に有用でない経路を把握することができる。 Further, the calculation unit 192 ranks the routes based on the evaluation value for each route from the input node of the target model to the final node of the hidden layer.
By referring to this ranking result (ranking), users and other people can understand which routes are useful for outputting prediction results by the target model, or which routes are not useful for outputting prediction results by the target model. can.

また、表示部１２０は、複数の入力データに対する、あるノードの値の分布を、入力データに対するクラス分類結果毎に異なる表示態様で表示する。
表示部１２０は、各ノードの度数分布をクラス分類結果毎に異なるパターンで表示することで、ノードの値とクラス分類との関連性を視覚的に示すことができる。 Furthermore, the display unit 120 displays the distribution of values of a certain node for a plurality of pieces of input data in a different display mode for each class classification result for the input data.
The display unit 120 can visually indicate the relationship between the node value and the class classification by displaying the frequency distribution of each node in a different pattern for each class classification result.

次に、図６および図７を参照して、実施形態に係る構成例について説明する。
図６は、実施形態に係る情報取得装置の構成の例を示す図である。図６に示す情報取得装置２００は、取得部２０１と、算出部２０２とを備える。
かかる構成で、取得部２０１は、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める。算出部２０２は、ノード間における、ノードの値の分布の相関を算出する。 Next, a configuration example according to the embodiment will be described with reference to FIGS. 6 and 7.
FIG. 6 is a diagram illustrating an example of the configuration of the information acquisition device according to the embodiment. The information acquisition device 200 shown in FIG. 6 includes an acquisition section 201 and a calculation section 202.
With this configuration, the acquisition unit 201 obtains the distribution of node values for a plurality of input data to the graphical model. The calculation unit 202 calculates the correlation of the distribution of node values between nodes.

これにより、情報取得装置２００は、隣接するノードの関係を示すことができる。特に、情報取得装置２００は、この相関を示すことにより、後段（データの入力を受ける側）のノードの値に対する前段（データを出力する側）のノードの値の寄与度（影響の大きさ）を示すことができる。
人（例えばユーザ）がグラフィカルモデルを解釈する際、相関の強いノード間のエッジを重要視し、相関の弱いノード間のエッジは無視ないし軽視することができる。このように、情報取得装置２００は、グラフィカルモデルの解釈を行うための情報を提供することができる。 Thereby, the information acquisition device 200 can indicate the relationship between adjacent nodes. In particular, by showing this correlation, the information acquisition device 200 can determine the degree of contribution (magnitude of influence) of the value of the node in the previous stage (the side that outputs data) to the value of the node in the latter stage (the side that receives data input). can be shown.
When a person (for example, a user) interprets a graphical model, it is possible to place importance on edges between nodes with strong correlations, and to ignore or downplay edges between nodes with weak correlations. In this way, the information acquisition device 200 can provide information for interpreting the graphical model.

また、情報取得装置２００または人（例えばユーザ）が、グラフィカルモデルのエッジのうち相関の弱いノード間のエッジを削除することでモデルを簡単化することができる。この場合、相関の弱いノード間のエッジを削除する点で、モデルの予測結果（入力データのクラス分類結果）に対する影響が比較的小さいことが期待される。 Furthermore, the information acquisition device 200 or a person (for example, a user) can simplify the model by deleting edges between nodes with weak correlation among the edges of the graphical model. In this case, it is expected that the impact on the prediction results of the model (classification results of input data) will be relatively small in that edges between nodes with weak correlation are deleted.

図７は、実施形態に係る情報取得方法における処理手順の例を示す図である。
図７に示される情報取得方法は、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める工程（ステップＳ２１）と、ノード間における、ノードの値の分布の相関を算出する工程（ステップＳ２２）とを含む。 FIG. 7 is a diagram illustrating an example of a processing procedure in the information acquisition method according to the embodiment.
The information acquisition method shown in FIG. 7 includes the step of calculating the distribution of node values for a plurality of input data to the graphical model (step S21), and the step of calculating the correlation of the distribution of node values between nodes (step S21). S22).

図７の情報取得方法によれば、隣接するノードの関係を示すことができる。特に、この相関を示すことにより、後段（データの入力を受ける側）のノードの値に対する前段（データを出力する側）のノードの値の寄与度（影響の大きさ）を示すことができる。
人（例えばユーザ）がグラフィカルモデルを解釈する際、相関の強いノード間のエッジを重要視し、相関の弱いノード間のエッジは無視ないし軽視することができる。このように、図７の情報取得方法によれば、グラフィカルモデルの解釈を行うための情報を提供することができる。 According to the information acquisition method of FIG. 7, the relationship between adjacent nodes can be shown. In particular, by showing this correlation, it is possible to show the degree of contribution (magnitude of influence) of the value of the node in the previous stage (the side that outputs data) with respect to the value of the node in the latter stage (the side that receives data input).
When a person (for example, a user) interprets a graphical model, it is possible to place importance on edges between nodes with strong correlations, and to ignore or downplay edges between nodes with weak correlations. In this way, according to the information acquisition method shown in FIG. 7, information for interpreting the graphical model can be provided.

また、例えば人（例えばユーザ）が、グラフィカルモデルのエッジのうち相関の弱いノード間のエッジを削除することでモデルを簡単化することができる。この場合、相関の弱いノード間のエッジを削除する点で、モデルの予測結果（入力データのクラス分類結果）に対する影響が比較的小さいことが期待される。 Furthermore, for example, a person (for example, a user) can simplify the model by deleting edges between nodes with weak correlation among the edges of the graphical model. In this case, it is expected that the impact on the prediction results of the model (classification results of input data) will be relatively small in that edges between nodes with weak correlation are deleted.

図８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図８に示す構成で、コンピュータ７００は、ＣＰＵ（Central Processing Unit）７１０と、主記憶装置７２０と、補助記憶装置７３０と、インタフェース７４０とを備える。 FIG. 8 is a schematic block diagram showing the configuration of a computer according to at least one embodiment.
With the configuration shown in FIG. 8, the computer 700 includes a CPU (Central Processing Unit) 710, a main storage device 720, an auxiliary storage device 730, and an interface 740.

上記の情報取得装置１００および２００の何れかまたは両方が、コンピュータ７００に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ７１０は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置７２０に確保する。各装置と他の装置との通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。補助記憶装置７３０は、たとえば、CDC(Compact Disc)や、DVD(digital versatile disc)等の不揮発性(non-transitory)記録媒体である。 Either or both of the information acquisition devices 100 and 200 described above may be implemented in the computer 700. In that case, the operations of each processing section described above are stored in the auxiliary storage device 730 in the form of a program. The CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program. Further, the CPU 710 secures storage areas corresponding to each of the above-mentioned storage units in the main storage device 720 according to the program. Communication between each device and other devices is performed by the interface 740 having a communication function and performing communication under the control of the CPU 710. The auxiliary storage device 730 is, for example, a non-transitory recording medium such as a CDC (Compact Disc) or a DVD (Digital Versatile Disc).

情報取得装置１００がコンピュータ７００に実装される場合、制御部１９０およびその各部の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。
また、ＣＰＵ７１０は、プログラムに従って、記憶部１８０およびその各部に対応する記憶領域を主記憶装置７２０に確保する。通信部１１０が行う通信は、インタフェース７４０が通信機能を有し、ＣＰＵ７１０の制御に従って通信を行うことで実行される。表示部１２０の機能は、インタフェース７４０が表示デバイスを有し、ＣＰＵ７１０の制御に従って表示デバイスの表示画面に画像を表示することで実行される。操作入力部１３０の機能は、インタフェース７４０が入力デバイスを有してユーザ操作を受け付け、受け付けたユーザ操作を示す信号をＣＰＵ７１０へ出力することで行われる。 When the information acquisition device 100 is installed in the computer 700, the operations of the control unit 190 and each part thereof are stored in the auxiliary storage device 730 in the form of a program. The CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.
Further, the CPU 710 reserves storage areas corresponding to the storage section 180 and each section thereof in the main storage device 720 according to the program. The communication performed by the communication unit 110 is performed by the interface 740 having a communication function and performing communication under the control of the CPU 710. The functions of the display unit 120 are executed by the interface 740 having a display device and displaying an image on the display screen of the display device under the control of the CPU 710. The function of the operation input unit 130 is performed by the interface 740 having an input device, accepting a user operation, and outputting a signal indicating the accepted user operation to the CPU 710.

情報取得装置２００がコンピュータ７００に実装される場合、取得部２０１および算出部２０２の動作は、プログラムの形式で補助記憶装置７３０に記憶されている。ＣＰＵ７１０は、プログラムを補助記憶装置７３０から読み出して主記憶装置７２０に展開し、当該プログラムに従って上記処理を実行する。 When the information acquisition device 200 is installed in the computer 700, the operations of the acquisition unit 201 and the calculation unit 202 are stored in the auxiliary storage device 730 in the form of a program. The CPU 710 reads the program from the auxiliary storage device 730, expands it to the main storage device 720, and executes the above processing according to the program.

なお、制御部１９０が行う処理、取得部２０１が行う処理、および、算出部２０２が行う処理の全部または一部を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。 Note that a program for executing all or part of the processing performed by the control unit 190, the processing performed by the acquisition unit 201, and the processing performed by the calculation unit 202 is recorded on a computer-readable recording medium, and this recording medium Each part may be processed by loading a program recorded in the computer system into the computer system and executing the program. Note that the "computer system" herein includes hardware such as an OS (Operating System) and peripheral devices.
Furthermore, "computer-readable recording media" refers to portable media such as flexible disks, magneto-optical disks, ROM (Read Only Memory), and CD-ROM (Compact Disc Read Only Memory), and hard disks built into computer systems. Refers to storage devices such as Further, the above-mentioned program may be one for realizing a part of the above-mentioned functions, or may be one that can realize the above-mentioned functions in combination with a program already recorded in the computer system.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described above in detail with reference to the drawings, the specific configuration is not limited to these embodiments, and includes designs within the scope of the gist of the present invention.

１００、２００ 情報取得装置
１１０ 通信部
１２０ 表示部
１３０ 操作入力部
１８０ 記憶部
１８１ モデル記憶部
１９０ 制御部
１９１、２０１ 取得部
１９２、２０２ 算出部 100, 200 information acquisition device 110 communication unit 120 display unit 130 operation input unit 180 storage unit 181 model storage unit 190 control unit 191, 201 acquisition unit 192, 202 calculation unit

Claims (5)

グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める取得部と、
ノード間における前記分布の相関を算出し、前記グラフィカルモデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する算出部と、
を備える情報取得装置。 an acquisition unit that calculates the distribution of node values for multiple input data to the graphical model;
The correlation of the distribution between nodes is calculated, and a value indicating the strength of the correlation of the distribution between each node of the path from the input node of the graphical model to the final node of the hidden layer, and each output from the final node. a calculation unit that calculates an evaluation value of the degree of contribution of the route to the value of the output node based on a value indicating the degree of dispersion of the values transmitted to the nodes;
An information acquisition device comprising: 前記算出部は、前記経路毎の前記評価値に基づいて、前記経路に対する順位付けを行う、
請求項１に記載の情報取得装置。 The calculation unit ranks the routes based on the evaluation value for each route.
The information acquisition device according to claim 1 . 複数の前記入力データに対する、あるノードの値の分布を、入力データに対するクラス分類結果毎に異なる表示態様で表示する表示部を備える、
請求項１または請求項２に記載の情報取得装置。 comprising a display unit that displays the distribution of values of a certain node for the plurality of input data in a different display mode for each class classification result for the input data;
The information acquisition device according to claim 1 or claim 2 . グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める工程と、 ノード間における前記分布の相関を算出し、前記グラフィカルモデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する工程と、
を含む情報取得方法。 a step of calculating the distribution of node values for a plurality of input data to the graphical model; and calculating the correlation of the distribution between the nodes , and calculating the correlation between the nodes of the path from the input node of the graphical model to the final node of the hidden layer. An evaluation value of the degree of contribution of the route to the value of the output node is calculated based on a value indicating the strength of the correlation of the distribution and a value indicating the degree of dispersion of the values transmitted from the final node to each output node. The process of calculating ,
How to obtain information including. コンピュータに、グラフィカルモデルへの複数の入力データに対するノードの値の分布を求める工程と、
ノード間における前記分布の相関を算出し、前記グラフィカルモデルの入力ノードから隠れ層の最終ノードまでの経路の各ノード間における前記分布の相関の強さを示す値、および、前記最終ノードから各出力ノードへ伝達される値のばらつき度合いを示す値に基づいて、前記出力ノードの値に対する前記経路の寄与度の評価値を算出する工程と、
を実行させるためのプログラム。 determining a distribution of node values for a plurality of input data to the graphical model on a computer;
The correlation of the distribution between nodes is calculated, and a value indicating the strength of the correlation of the distribution between each node of the path from the input node of the graphical model to the final node of the hidden layer, and each output from the final node. calculating an evaluation value of the degree of contribution of the route to the value of the output node based on a value indicating the degree of dispersion of the values transmitted to the node ;
A program to run.
JP2019184795A 2019-10-07 2019-10-07 Information acquisition device, information acquisition method and program Active JP7421046B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019184795A JP7421046B2 (en) 2019-10-07 2019-10-07 Information acquisition device, information acquisition method and program
PCT/JP2020/036532 WO2021070653A1 (en) 2019-10-07 2020-09-28 Information acquisition device, information acquisition method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019184795A JP7421046B2 (en) 2019-10-07 2019-10-07 Information acquisition device, information acquisition method and program

Publications (2)

Publication Number Publication Date
JP2021060823A JP2021060823A (en) 2021-04-15
JP7421046B2 true JP7421046B2 (en) 2024-01-24

Family

ID=75380208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019184795A Active JP7421046B2 (en) 2019-10-07 2019-10-07 Information acquisition device, information acquisition method and program

Country Status (2)

Country Link
JP (1) JP7421046B2 (en)
WO (1) WO2021070653A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054200A (en) 2010-11-11 2011-03-17 Fuji Electric Systems Co Ltd Neural network learning method
KR101916348B1 (en) 2017-08-04 2018-11-08 주식회사 수아랩 Method for training artificial neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011054200A (en) 2010-11-11 2011-03-17 Fuji Electric Systems Co Ltd Neural network learning method
KR101916348B1 (en) 2017-08-04 2018-11-08 주식회사 수아랩 Method for training artificial neural network

Also Published As

Publication number Publication date
WO2021070653A1 (en) 2021-04-15
JP2021060823A (en) 2021-04-15

Similar Documents

Publication Publication Date Title
US10789546B2 (en) Cognitive machine learning classifier generation
US9111375B2 (en) Evaluation of three-dimensional scenes using two-dimensional representations
US11501161B2 (en) Method to explain factors influencing AI predictions with deep neural networks
Bahaadini et al. Deep multi-view models for glitch classification
US10789538B2 (en) Cognitive machine learning classifier generation
US20220156583A1 (en) Method of generating classifier by using small number of labeled images
CN106471525A (en) Strength neural network is to generate additional output
EP3598288A1 (en) System and method for generating photorealistic synthetic images based on semantic information
US20190311258A1 (en) Data dependent model initialization
US20140029840A1 (en) High accuracy learning by boosting weak learners
EP3745325A1 (en) Data analysis apparatus, data analysis method, and data analysis program
US11816080B2 (en) Severity computation of anomalies in information technology operations
JP5123759B2 (en) Pattern detector learning apparatus, learning method, and program
CN112215696A (en) Personal credit evaluation and interpretation method, device, equipment and storage medium based on time sequence attribution analysis
US20140236869A1 (en) Interactive variable selection device, interactive variable selection method, and interactive variable selection program
Vasquez Verdugo et al. Faired: A systematic fairness analysis approach applied in a higher educational context
Ikawati et al. Student behavior analysis to predict learning styles based felder silverman model using ensemble tree method
EP3745317A1 (en) Apparatus and method for analyzing time series data based on machine learning
US20220121991A1 (en) Model building apparatus, model building method, computer program and recording medium
US10546246B2 (en) Enhanced kernel representation for processing multimodal data
JPWO2019215904A1 (en) Predictive model creation device, predictive model creation method, and predictive model creation program
JP7421046B2 (en) Information acquisition device, information acquisition method and program
Vu et al. c-Eval: A unified metric to evaluate feature-based explanations via perturbation
US20220129792A1 (en) Method and apparatus for presenting determination result
CN117063208A (en) Unsupervised multi-model joint reasoning system and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231221

R150 Certificate of patent or registration of utility model

Ref document number: 7421046

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150