JP6516660B2 - Data prediction apparatus, information terminal, program and method for learning based on data of different periodic hierarchy - Google Patents
Data prediction apparatus, information terminal, program and method for learning based on data of different periodic hierarchy Download PDFInfo
- Publication number
- JP6516660B2 JP6516660B2 JP2015230432A JP2015230432A JP6516660B2 JP 6516660 B2 JP6516660 B2 JP 6516660B2 JP 2015230432 A JP2015230432 A JP 2015230432A JP 2015230432 A JP2015230432 A JP 2015230432A JP 6516660 B2 JP6516660 B2 JP 6516660B2
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- hierarchy
- prediction
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Navigation (AREA)
Description
本発明は、ユーザの行動履歴に基づき、機械学習を用いて、ユーザに係る行動や状態を予測する情報処理技術に関する。 The present invention relates to an information processing technique for predicting an action or a state concerning a user using machine learning based on the action history of the user.
近年、スマートフォンやタブレット型コンピュータ、さらにはカーナビゲーション装置といった高機能の通信端末が普及し、ユーザは、時間や場所を問わず所望の情報を取得することが可能となっている。 In recent years, high-performance communication terminals such as smart phones, tablet computers, and even car navigation devices have become widespread, and it has become possible for users to acquire desired information regardless of time or place.
このような情報へのアクセスの際、ユーザは、その都度、キーワード等の入力やメニュー操作を実行する必要があり、場合によっては相当の手間となる。さらに、例えば、歩行中や運転中にインターネット情報の検索を行ったり、ナビゲーションのルート・目的地の設定を行ったりすることは、操作の手間がかかるだけでなく、危険を伴う場合も少なくない。 At the time of access to such information, the user needs to perform an input of a keyword or the like and a menu operation each time, which may be a considerable effort in some cases. Furthermore, for example, searching for Internet information while walking or driving or setting a route / destination for navigation not only takes time and effort for operation, but often involves danger.
このようなユーザ操作の問題を解決すべく、例えば、音声対話機能を利用して指等による操作を経ずに情報へアクセス可能にしたり、さらには、端末や車に搭載されたＧＰＳ（Global Positioning System）等のセンサを利用してユーザの状況をある程度把握し、ユーザの行動に関する情報をプッシュで提示したりする方式が提案されてきた。しかしながら、このような方式では、利便性が低かったり予測精度の向上が困難であったりといった問題が生じていた。 In order to solve such a user operation problem, for example, information can be made accessible without using a finger or the like by using a voice interactive function, or GPS (Global Positioning) mounted on a terminal or a car can be used. There has been proposed a method of grasping the user's situation to some extent by using a sensor such as System), and presenting information on the user's action by pushing. However, in such a method, there are problems such as low convenience and difficulty in improving the prediction accuracy.
そこで、他の解決策として、ニューラルネットワーク（ＮＮ）を利用してユーザに係る行動や状態を予測し、対応する情報を提示する技術が提案されている。例えば、特許文献１は、過去1年間を通した日最大電力需要量実績値のデータに基づき、階層型ＮＮを使用して、日最大電力需要量と気象条件等との非線形な相関関係を学習させて予測モデルを生成し、日最大電力需要量を予測する技術を開示している。ここで、学習には、誤差逆伝播法（バックプロパゲーション）のアルゴリズムが使用されている。
Therefore, as another solution, there has been proposed a technique of predicting an action or a state concerning a user using a neural network (NN) and presenting corresponding information. For example,
また、この特許文献１は、予測精度の向上を意図して、複数年度における実績データに基づき、各年別にＮＮを使用して学習処理を行い、出力値と電力需要量実績値との相対誤差の中から年増加補正係数を設定し、予測値に対する年増加補正を行う仕組みも提案している。
Further, this
さらに、特許文献２は、リカレント型ニューラルネットワーク（ＲＮＮ）に対し、過去の連続した気象データと当日の気象データとを入力して数時間先の風速を予測し、その情報を基にして風力発電設備の発電電力を予測する技術を提案している。 Further, Patent Document 2 inputs past continuous meteorological data and meteorological data of the day to a recurrent neural network (RNN) to predict a wind speed several hours ahead, and based on the information, wind power generation is performed. It proposes a technology to predict the power generation of equipment.
しかしながら、特許文献１に記載されたような階層型ＮＮを用いた従来技術では、学習処理や予測処理を実行するために例えばハイスペックのサーバを必要とし、処理負担が膨大なものとなる。従って、例えば、予測結果に基づく情報を提示すべきユーザの所持する端末や組み込みシステムにおいて、予測情報を生成することは非常に困難となる。
However, in the prior art using a hierarchical NN as described in
この点、特許文献１に記載された技術では、計算量を削減するため、学習用のデータとして１年間の日電力需要量のみを利用し、このような学習による予測値に対し年増加補正係数を用いて予測結果を補正している。しかしながら、過去に遡って全ての実績値データによって学習した結果と比較すると、予測精度は相当に低下してしまう。
In this respect, in the technology described in
一方、特許文献２に記載されたような従来技術では、予測情報の生成にＲＮＮを利用している。ＲＮＮは、時系列データを学習し、それに基づく予測値を出力するのに適したシステムである。このＲＮＮは、上述したような階層型ＮＮと比較すると、学習処理の速度は一般により高い。しかしながら、予測精度を向上させるためには、現在から見て時間的に近接した過去の情報を数多く学習する必要があり、また、入力層や中間層の次元数を増加させなければならず、学習に要する時間がかかってしまう。 On the other hand, in the prior art as described in Patent Document 2, the RNN is used to generate prediction information. RNN is a system suitable for learning time series data and outputting a predicted value based thereon. This RNN is generally faster in the learning process as compared to the hierarchical NN as described above. However, in order to improve the prediction accuracy, it is necessary to learn many pieces of past information that are temporally close from the present, and the dimensionality of the input layer and the intermediate layer must be increased. It takes time to
この点、特許文献２は、ＲＮＮでの処理時間を短縮するため、前年同時期の既知の気象データのみを学習させることによって、予測精度の向上と予測演算時間の短縮とが可能となると示唆しているが、具体的な基準は何ら示していない。また、こうした季節性を利用した部分的なデータによる学習手法では、季節性を有しない、例えば電力以外のデータの予測に適用することは困難である。 In this respect, Patent Document 2 suggests that, by shortening the processing time in the RNN, it is possible to improve the prediction accuracy and shorten the prediction calculation time by learning only known weather data in the same period of the previous year. However, no specific criteria are indicated. Moreover, in the learning method by the partial data which utilized such seasonality, it is difficult to apply to prediction of data which do not have seasonality, for example, other than electric power.
そこで、本発明は、相当の予測精度を確保しつつ、従来に比べて学習処理のための演算量をより低減することの可能なデータ予測装置、プログラム及び方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a data prediction apparatus, program, and method capable of further reducing the amount of calculation for learning processing as compared to the prior art while securing a considerable prediction accuracy.
本発明によれば、時系列の対象データをもって学習するニューラルネットワーク（ＮＮ）を備え、ある時点又は時間範囲での当該対象データを予測する装置であって、
互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として入力する、ＮＮに係る入力層と、少なくともこの入力層から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を入力する、ＮＮに係る隠れ層とを有し、この隠れ層から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力する入力・隠れ層手段と、
当該第２の処理信号を入力し、少なくとも、予測に係る時点又は時間範囲における当該対象データの値を出力する、ＮＮに係る出力層を有する出力層手段と
を有し、
入力・隠れ層手段及び出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行可能である
ことを特徴とするデータ予測装置が提供される。
According to the present invention, there is provided an apparatus comprising a neural network (NN) for learning with time-series object data, and predicting the object data at a certain point in time or in a time range,
A first combination of an input layer according to the NN and at least a signal output from the input layer, wherein target data values pertaining to time points or time intervals belonging to each of at least two different time period hierarchies are input as feature quantity elements It has a hidden layer related to the NN that inputs the first processed signal generated by weighting with the weight, and generated by weighting the signal output from this hidden layer with the second combined load Input and hidden layer means for outputting a second processed signal;
Output layer means having an output layer according to the NN, which receives the second processing signal and outputs at least a value of the target data at a time or a time range related to prediction;
The input / hidden layer means and the output layer means are characterized in that relearning can be performed to update the first coupling load and the second coupling load to reflect the periodicity of at least two relevant time period hierarchies. A data prediction apparatus is provided.
この本発明によるデータ予測装置の一実施形態として、
入力・隠れ層手段は、隠れ層と同一の信号を出力する層としての、ＮＮに係るコンテキスト層を更に有し、
隠れ層は、コンテキスト層から出力される信号を第３の結合荷重で重み付け処理して生成された第３の処理信号を時間遅れの信号として、当該第１の処理信号と共に入力し、
入力・隠れ層手段及び出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第３の結合荷重を更新する再学習を実行可能である
ことも好ましい。
As one embodiment of the data prediction apparatus according to the present invention,
The input / hidden layer means further includes a context layer related to the NN as a layer that outputs the same signal as the hidden layer,
The hidden layer inputs, together with the first processed signal, a third processed signal generated by weighting the signal output from the context layer with the third combined weight, as a time delay signal,
It is also preferred that the input / hidden layer means and the output layer means are capable of performing relearning to update the third connection weight to reflect the periodicity of the at least two relevant time period hierarchies.
また、本発明によるデータ予測装置における入力・隠れ層手段及び出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させる当該結合荷重の更新を、バックプロパゲーションによって行うことも好ましい。また、入力・隠れ層手段及び前記出力層手段は、当該時系列の対象データのうち学習に未だ使用されていないデータを用いて再学習を実行することも好ましい。 Further, it is preferable that the input / hidden layer means and the output layer means in the data prediction apparatus according to the present invention perform the update of the connection weight reflecting the periodicity related to at least two relevant time period hierarchies by back propagation. Further, it is preferable that the input / hidden layer means and the output layer means perform relearning using data not used for learning among the target data of the time series.
さらに、本発明によるデータ予測装置に係る特徴量要素に関して、
第１の時間単位と、所定数の第１の時間単位から構成される第２の時間単位と、この後、順次１つ前の所定数の時間単位から構成される、順次序数を１だけ増分させた時間単位とが設定されており、
少なくとも２つの当該時間周期階層は、第１の時間単位に係る時間を周期とする第１の時間周期階層と、第２の時間単位に係る時間を周期とする第２の時間周期階層と、この後、順次序数を１だけ増分させた時間単位に係る時間を周期とする時間周期階層とのうちの少なくとも２つの時間周期階層を含むことも好ましい。
Furthermore, regarding the feature quantity element according to the data prediction device according to the present invention,
The ordinal number is sequentially incremented by one, consisting of a first time unit, a second time unit consisting of a predetermined number of first time units, and then a predetermined number of time units one after the other The unit of time that you
The at least two relevant time cycle hierarchies include a first time cycle hierarchy in which a time related to a first time unit is a cycle, and a second time cycle hierarchy in which a time related to a second time unit is a cycle, After that, it is also preferable to include at least two time-period hierarchies of the time-period hierarchy whose period is a time related to time units in which the ordinal numbers are sequentially incremented by one.
また、上記の特徴を有する特徴量要素に関して、具体的に、第１の時間単位は「日」であって第１の時間周期階層は「週」に係る周期階層であり、第２の時間単位は「週」であって第２の時間周期階層は「月」に係る周期階層であり、第３の時間単位は「月」であって第３の時間周期階層は「年」に係る周期階層であることも好ましい。 Further, regarding the feature quantity element having the above-mentioned features, specifically, the first time unit is "day", and the first time cycle hierarchy is a cycle hierarchy related to "week", and the second time unit Is a week, the second time period hierarchy is a period hierarchy related to the month, the third time unit is a month, and the third time period hierarchy is a period hierarchy related to the year It is also preferred that
さらに、上記の特徴を有する特徴量要素に関して、当該時間周期階層の各々に属する時点又は時間間隔に係る複数の対象データ値は、第１の時間周期階層を構成する全ての第１の時間単位の中の一部の時間単位に係る対象データ値群と、第２の時間周期階層を構成する全ての第２の時間単位の中の一部の時間単位に係る対象データ値群と、この後、順次序数を１だけ増分させた時間周期階層を構成する全ての時間単位の中の一部の時間単位に係る対象データ値群とのうちの少なくとも２つの群を含むことも好ましい。 Furthermore, with respect to the feature amount element having the above-described feature, a plurality of target data values related to the time point or time interval belonging to each of the time cycle hierarchies are all first time units constituting the first time cycle hierarchy. A target data value group relating to a part of time units, a target data value group relating to a part of time units in all the second time units constituting the second time cycle hierarchy, and It is also preferable to include at least two of the object data value groups according to some time units among all the time units constituting the time period hierarchy in which the ordinal number is sequentially incremented by one.
また、上記の特徴を有する特徴量要素に関して、第１の時間周期階層を構成する全ての第１の時間単位の中の一部の時間単位に係る対象データ値、第２の時間周期階層を構成する全ての第２の時間単位の中の一部の時間単位に係る対象データ値、及び、この後順次序数を１だけ増分させた時間周期階層を構成する全ての時間単位の中の一部の時間単位に係る対象データ値は、自らに係る時間周期階層を構成する時間単位における、第１の時間単位を構成する基本時間単位での値をとることも好ましい。 In addition, regarding the feature amount element having the above-mentioned feature, target data values related to a part of time units among all the first time units constituting the first time period hierarchy, and the second time period hierarchy are configured. Target data values relating to a part of time units in all the second time units, and a part in all time units constituting a time cycle hierarchy in which the ordinal number is sequentially incremented by one after that It is also preferable that the target data value relating to the time unit takes a value in basic time units constituting the first time unit in the time units constituting the time cycle hierarchy relating to itself.
さらに、上記の特徴を有する特徴量要素に関して、具体的に、
第１の時間単位は「日」であって第１の時間周期階層は「週」に係る周期階層であり、第２の時間単位は「週」であって第２の時間周期階層は「月」に係る周期階層であり、第３の時間単位は「月」であって第３の時間周期階層は「年」に係る周期階層であり、
第１の時間単位、第２の時間単位及び第３の時間単位に係る対象データ値は、当該時間単位における所定の「時刻」又は「時間帯」での値をとる
ことも好ましい。
Furthermore, regarding the feature quantity element having the above features, specifically,
The first time unit is "day" and the first time cycle hierarchy is a cycle hierarchy related to "week", and the second time unit is "week" and the second time cycle hierarchy is "month" The third time unit is "Month", and the third time period hierarchy is a periodic hierarchy related to "Year",
It is also preferable that the target data values related to the first time unit, the second time unit, and the third time unit take values at predetermined “time” or “time zone” in the time unit.
さらに、本発明によるデータ予測装置における他の実施形態として、
出力層手段から出力された予測結果としての当該対象データの値に対する評価結果を入力可能なインタフェースを更に備えており、
入力・隠れ層手段及び出力層手段は、取得された当該評価結果に基づいて生成された教師データを用いて再学習を実行する
ことも好ましい。
Furthermore, as another embodiment of the data prediction apparatus according to the present invention,
It further comprises an interface capable of inputting an evaluation result for the value of the target data as a prediction result output from the output layer means,
It is also preferable that the input / hidden layer means and the output layer means perform relearning using teacher data generated based on the acquired evaluation result.
また、本発明によるデータ予測装置における対象データに関して、
当該時間周期階層の各々に属する時点又は時間間隔に係る対象データ値は、当該時点又は時間間隔での予測対象における移動予測の基準位置及び移動先の位置に係るデータ値であり、
出力層手段によって出力される、予測に係る時点又は時間範囲における当該対象データの値は、当該予測対象における移動先の位置の予測値となる
ことも好ましい。
Further, regarding target data in the data prediction apparatus according to the present invention,
Target data values pertaining to time points or time intervals that belong to each time cycle hierarchy are data values pertaining to the reference position of movement prediction in the prediction target at the time point or time interval and the position of the movement destination,
It is also preferable that the value of the target data at the time or time range relating to prediction, which is output by the output layer means, be a predicted value of the position of the movement destination in the prediction target.
また、このような対象データを取り扱うデータ装置が、ＧＰＳ（Global Positioning System）によって所在位置に係る情報を取得可能な測位部を更に有し、取得された当該所在位置に係る情報に基づいて、入力層によって入力される特徴量と、再学習に使用される教師データとのうちの少なくとも一方を生成可能である情報端末であることも好ましい。 Further, the data device handling such target data further includes a positioning unit capable of acquiring information related to the location by the GPS (Global Positioning System), and the input is performed based on the acquired information related to the location It is also preferable that the information terminal be capable of generating at least one of a feature amount input by a layer and teacher data used for relearning.
本発明によれば、また、時系列の対象データをもって学習するＮＮを備え、ある時点又は時間範囲での当該対象データを予測する装置に搭載されたコンピュータを機能させるプログラムであって、
互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として入力する、ＮＮに係る入力層と、少なくともこの入力層から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を入力する、ＮＮに係る隠れ層とを有し、この隠れ層から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力する入力・隠れ層手段と、
当該第２の処理信号を入力し、少なくとも、予測に係る時点又は時間範囲における当該対象データの値を出力する、ＮＮに係る出力層を有する出力層手段と
してコンピュータを機能させ、
入力・隠れ層手段及び出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行可能である
ことを特徴とするデータ予測プログラムが提供される。
According to the present invention, there is also provided a program having an NN for learning with time series of target data, and causing a computer mounted on an apparatus for predicting the target data at a certain point in time or a time range to function.
A first combination of an input layer according to the NN and at least a signal output from the input layer, wherein target data values pertaining to time points or time intervals belonging to each of at least two different time period hierarchies are input as feature quantity elements It has a hidden layer related to the NN that inputs the first processed signal generated by weighting with the weight, and generated by weighting the signal output from this hidden layer with the second combined load Input and hidden layer means for outputting a second processed signal;
Causing the computer to function as output layer means having an output layer according to the NN, which receives the second processing signal and outputs at least the value of the target data at a time or a time range related to prediction;
The input / hidden layer means and the output layer means are characterized in that relearning can be performed to update the first coupling load and the second coupling load to reflect the periodicity of at least two relevant time period hierarchies. A data prediction program is provided.
本発明によれば、さらに、時系列の対象データをもって学習するＮＮを備え、ある時点又は時間範囲での当該対象データを予測する装置におけるデータ予測方法であって、
互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として、ＮＮに係る入力層に入力するステップと、
少なくとも入力層から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を、ＮＮに係る隠れ層に入力し、この隠れ層から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力するステップと、
当該第２の処理信号を、ＮＮに係る出力層に入力し、少なくとも、予測に係る時点又は時間範囲における当該対象データの値を出力するステップと、
少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行するステップと
を有するデータ予測方法が提供される。
According to the present invention, there is further provided a data prediction method in an apparatus, comprising an NN for learning with time series of target data, and predicting the target data at a certain point in time or a time range,
Inputting target data values relating to time points or time intervals belonging to at least two different time period hierarchies different from each other as feature quantity elements into an input layer relating to NN;
A first processed signal generated by weighting at least a signal output from the input layer with a first combined weight is input to a hidden layer related to the NN, and a signal output from the hidden layer is input to the second layer. Outputting a second processed signal generated by weighting processing with the connection weight;
Inputting the second processing signal into an output layer according to the NN, and outputting at least a value of the target data at a time or a time range relating to prediction;
Performing a relearning step of updating the first connection weight and the second connection weight to reflect the periodicity of at least two relevant time period hierarchies.
本発明のデータ予測装置、情報端末、プログラム及び方法によれば、相当の予測精度を確保しつつ、従来に比べて学習処理のための演算量をより低減することができる。 According to the data prediction apparatus, the information terminal, the program and the method of the present invention, it is possible to further reduce the amount of operation for learning processing as compared to the prior art while securing a considerable prediction accuracy.
以下、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図１は、本発明によるデータ予測装置の一使用形態を示す模式図である。 FIG. 1 is a schematic view showing one mode of use of a data prediction apparatus according to the present invention.
図１によれば、本発明のデータ予測装置であるスマートフォン１は、移動体としての自動車内に設置されたクレードル８に取り付けられ、カーナビゲーション機能を含む情報提供用の端末として使用されている。図１では、スマートフォン１は、運転席と助手席との真ん中前方の位置であっての運転席からよく見える位置に配置されている。このように、スマートフォン１は、自動車と電気的に接続させる必要がなく簡便な形で設置される。
According to FIG. 1, the
ここで、本発明によるデータ予測装置は、当然にスマートフォンに限定されるものではない。例えば、タブレット型コンピュータやウェアラブル端末といった移動携帯端末であってもよい。さらには、カーナビゲーションユニットやパーソナル・コンピュータ（ＰＣ）等の自動車に積み込み可能な情報機器であってもよい。いずれにしても、このような機器は、例えば、以下に説明する本発明の主要機能を作動させるアプリケーション・プログラムを機器内コンピュータに実行させることによって、本発明のデータ予測装置としての機能を発揮するものとすることができる。 Here, the data prediction apparatus according to the present invention is of course not limited to a smartphone. For example, it may be a mobile portable terminal such as a tablet computer or a wearable terminal. Furthermore, it may be an information device loadable in a car such as a car navigation unit or a personal computer (PC). In any case, such a device exerts the function as a data prediction device of the present invention, for example, by causing an in-device computer to execute an application program for operating the main functions of the present invention described below. It can be
スマートフォン１は、時系列の対象データをもって学習するニューラルネットワーク（ＮＮ）を備えており、ある時点又は時間範囲での対象データの値を予測する。本実施形態では、スマートフォン１は、ＧＰＳ（Global Positioning System）によって所在位置に係る情報を取得可能な測位部１０２を有し、測位部１０２で取得された所在位置に係る情報に基づいて、所定時間経過後の移動先（予測すべき時点又は時間範囲での所在位置）を予測することができる。また、生成した移動先の予測結果に基づき、この結果に関連するコンテンツを取得又は選択し、ユーザに提供可能であることも好ましい。
The
ここで、スマートフォン１における特徴的な具体的構成を挙げると、最初に、備えられたＮＮへ入力する特徴量ベクトルとして、
（Ａ）互いに異なる「少なくとも２つの時間周期階層」の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素とする特徴量ベクトル
を採用している。
Here, to cite a characteristic specific configuration in the
(A) A feature amount vector is adopted in which target data values pertaining to time points or time intervals belonging to different “at least two time period hierarchies” different from each other are used as feature amount elements.
この特徴量ベクトルについては、後に図５を用いて詳細に説明するが、例えば、２つの異なる「時間周期階層」として「１週間」及び「１ヶ月」を採用し、
（ア）「１週間」に属する３つの時点（時間間隔）として「１日前」、「２日前」及び「３日前」を採用し、
（イ）「１ヶ月」に属する３つの時点（時間間隔）として「１週間前」、「２週間前」及び「３週間前」を採用する。
ここで、各時点でのデータ値を要素とした特徴量ベクトルを生成することができる。
Although this feature quantity vector will be described in detail later using FIG. 5, for example, “one week” and “one month” are adopted as two different “time cycle hierarchies”,
(A) Adopt "one day ago", "two days ago" and "three days ago" as three time points (time intervals) belonging to "one week",
(A) Adopt "one week ago", "two weeks ago" and "three weeks ago" as three time points (time intervals) belonging to "one month".
Here, it is possible to generate a feature amount vector having data values at respective points as elements.
また、スマートフォン１は、
（Ｂ）上記（Ａ）の特徴量ベクトルを入力する、ＮＮに係る「入力層」と、少なくともこの「入力層」から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を入力する、ＮＮに係る「隠れ層」とを有し、この「隠れ層」から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力する入力・隠れ層部と、
（Ｃ）第２の処理信号を入力し、少なくとも、予測に係る時点又は時間範囲における対象データの値を出力する、ＮＮに係る「出力層」を有する出力層部と
を有しており、
（Ｄ）これらの入力・隠れ層部及び出力層部は、「少なくとも２つの時間周期階層」に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行可能である
ことを特徴としている。
Also, the
(B) An “input layer” according to the NN to which the feature quantity vector of (A) is input, and a signal generated by at least the “input layer” generated by weighting processing using a first connection weight A second hidden signal generated by weighting the signal output from the “hidden layer” with a second connection weight, having a “hidden layer” related to the NN, which inputs the 1 processed signal Output / input layer and hidden layer,
(C) an output layer section having an “output layer” related to the NN, which receives the second processed signal and outputs at least a value of target data at a time point or time range related to prediction;
(D) These input and hidden layers and output layers execute relearning to update the first and second connection weights to reflect the periodicity related to "at least two time period hierarchies" It is characterized by being possible.
上記構成（Ｃ）にあるように、「出力層」は、予測に係る時点又は時間範囲における対象データの値を出力する。例えば、測位部１０２で取得されたスマートフォン１の所在位置に係る情報に基づいて特徴量ベクトルを生成し、「入力層」に入力した場合、「出力層」は、予測に係る時点又は時間範囲での所在位置（移動先）の予測値を出力することができる。
As in the above configuration (C), the “output layer” outputs the value of the target data at a time or a time range related to the prediction. For example, when the feature quantity vector is generated based on the information related to the location of the
また、例えば、測位部１０２で取得されたスマートフォン１の所在位置に係る情報に基づいて教師データを生成し、上記構成（Ｄ）における再学習を実行してもよい。この場合、スマートフォン１のユーザの移動先に見られる「少なくとも２つの時間周期階層」に係る周期性、例えば毎週所定の曜日に所定場所に出向いたり、又は毎月下旬に所定の場所でミーティングを行ったりといった移動行動に見られる周期性を、第１の結合荷重及び第２の結合荷重に反映させることができるのである。これにより、学習処理のための演算量を抑えつつ、十分な予測精度を確保することが可能となる。
Further, for example, teacher data may be generated based on information related to the location of the
さらに、スマートフォン１においては、
（Ｅ）入力・隠れ層部は、「隠れ層」と同一の信号を出力する層としての、ＮＮに係る「コンテキスト層」を更に有し、
（Ｆ）「隠れ層」は、「コンテキスト層」から出力される信号を第３の結合荷重で重み付け処理して生成された第３の処理信号を時間遅れの信号として、第１の処理信号と共に入力し、
（Ｇ）入力・隠れ層部及び出力層部は、「少なくとも２つの時間周期階層」に係る周期性を反映させるべく第３の結合荷重を更新する再学習を実行可能である
ことも好ましい。
Furthermore, in the
(E) The input / hidden layer portion further includes a “context layer” related to the NN as a layer that outputs the same signal as the “hidden layer”,
(F) The “hidden layer” uses the third processed signal generated by weighting the signal output from the “context layer” with the third combined weight as the time-delayed signal, together with the first processed signal. type in,
(G) It is also preferable that the input / hidden layer part and the output layer part are capable of performing relearning that updates the third connection weight to reflect the periodicity related to “at least two time period hierarchies”.
この場合、この機械学習機能部は、リカレント型ニューラルネットワーク（ＲＮＮ）に相当する。特に、一次遅れの「コンテキスト層」からの出力に対しても結合荷重を持たせているので、この機能部は、データの有する複数の「時間周期階層」を適切に反映可能な内部記憶部分を有することになる。このように、「隠れ層」の出力の一部が入力層側にフィードバックしており、しかも結合状態が非対称である機能部は、入力となる時系列データの有する周期性及びその変化を的確に識別することに適している。 In this case, the machine learning function unit corresponds to a recurrent neural network (RNN). In particular, since the connection weight is given also to the output from the first-order delayed “context layer”, this functional unit can appropriately store the internal storage portion capable of reflecting a plurality of “time cycle hierarchies” included in the data. It will have. As described above, a functional unit in which a part of the output of the “hidden layer” feeds back to the input layer side and the coupling state is asymmetrical is accurate in the periodicity of the input time-series data and the change thereof. Suitable for identification.
ここで、本発明のスマートフォン１は、特に、上記構成（Ａ）の、互いに異なる「少なくとも２つの時間周期階層」の各々に係る対象データ値を特徴量要素とする特徴量ベクトルを採用している。その結果、対象データが時系列で連続しておらず離散的であってより少ないデータ量であったとしても、各「時間周期階層」でのデータ値を取り込むことによって、対象データの有する様々な周期性及びその変化を、効率良く学習することができる。これにより、相当の予測精度を確保しつつも、従来に比べて学習処理のための演算量をより低減することが可能となるのである。
Here, the
さらに、上記構成（Ｅ）〜（Ｇ）を有するＲＮＮを用いて学習を行う場合、例えば時系列データを取り扱う際に従来よく用いられてきた隠れマルコフモデル（ＨＭＭ）と比較しても、このＨＭＭのように先験的知識を必要としない。即ち、このような先験的知識を用いることなく、例えばユーザの移動履歴データのみに基づき、過去の時系列データと現在の時系列データとを総合した情報解析を可能なフィードバック結合を利用した深層学習を実行することができるのである。これにより、ＮＮでは通常トレードオフ関係にある、高い予測精度と少ない演算量（短い計算処理時間）とを両立することも可能となる。また、従って、サーバ等のハイスペック機器ではなく、スマートフォンや車載カーナビ装置等の情報端末を、本発明のデータ予測装置とすることもできるのである。 Furthermore, when learning is performed using an RNN having the above configurations (E) to (G), this HMM can be compared with, for example, a Hidden Markov Model (HMM) conventionally used in handling time series data. Does not require a priori knowledge like. That is, without using such a priori knowledge, for example, based on only user's movement history data, a deep layer using feedback combination that can analyze information combining the past time series data and the current time series data It is possible to carry out learning. As a result, in the NN, it is also possible to simultaneously achieve high prediction accuracy and a small amount of operation (short calculation processing time), which are in a trade-off relationship. Further, therefore, not a high-spec device such as a server but an information terminal such as a smartphone or an on-vehicle car navigation device can be used as the data prediction device of the present invention.
特に、従来、ＲＮＮ等の深層学習（Deep Learning）はインターネット上のサーバで実行されるケースが大部分であったが、上述したように各「時間周期階層」でのデータ値に基づいて特徴量を生成することによって演算の収束を早め、学習に必要な計算量を抑制することができるので、近年高スペック化の進んでいる移動情報端末において実行することが可能となるのである。 In particular, in the prior art, deep learning (Reep Learning) such as RNN was mostly performed by a server on the Internet, but as described above, the feature value based on the data value in each "time period hierarchy" The generation of F can accelerate the convergence of the operation and reduce the amount of calculation necessary for learning, so that it can be executed in a mobile information terminal that has recently advanced in specifications.
ちなみに、上記のＨＭＭでは、状態遷移トポロジの構成設計に先験的知識が必要となるのであり、設計段階ではすべての状態遷移を網羅的にカバーすることができない（例えば、設計段階でトポロジに含まれていない状態遷移の振舞いが認識できない）との問題が生じてしまう。従って、例えば、ユーザの移動先を予測する際、何種類の移動パターンがどのように時系列中に含まれているのかを事前に把握できないため、各隠れ状態間の遷移トポロジを事前に定めることが非常に困難となってしまう。さらに、ＨＭＭでは、新しい隠れ状態の追加につれ、それに応じて連続時間のモデルの再学習を最初から行う必要が生じ、これにより計算量が膨大となってしまうので、例えば、ユーザの所持する情報携帯端末を用いてオンラインで適応学習処理を行うといったシステムを構成することも極めて難しいのである。 By the way, with the above HMM, a priori knowledge is required for the configuration design of the state transition topology, and all state transitions can not be comprehensively covered in the design stage (for example, included in the topology in the design stage) Problem with unrecognized state transition behavior). Therefore, for example, when predicting the movement destination of the user, it is not possible to know in advance how many types of movement patterns are included in the time series, so to determine the transition topology between each hidden state in advance. Will be very difficult. Furthermore, in the HMM, as the new hidden state is added, it is necessary to re-learn the continuous time model from the beginning accordingly, and the amount of calculation becomes huge, so for example, the information cell carried by the user It is also extremely difficult to configure a system that performs adaptive learning processing online using terminals.
ここで、スマートフォン１の具体的使用例を示すと、例えば、過去の移動履歴から予測された所定時間後の移動先の予測結果に基づいて、予測される移動先を示すだけでなく、移動先又はそこに到着するまでの経路上にあるお出かけスポット情報を車内のユーザに提供してもよい。また、移動先近辺の駐車場等、種々の案内情報を車内のユーザに提供することもできる。さらに、予測される移動先が通勤先の会社である場合、会社に係る情報、例えば、当日の仕事のスケジュールを提示してもよい。また、移動先が店舗の場合、この店舗でのタイムサービス情報等を提供することも可能となる。
Here, when a specific usage example of the
このように、予測結果としての移動先に適合した、予め設定されたコンテンツ等の情報を、ユーザ（運転者及び／又は同乗者）に提示することができる。ここで、この提示情報は、個々のユーザに特有のパーソナライズされた情報としてもよい。尚、上記のような情報提示の際には、後に詳細に説明する、ＧＰＳ（Global Positioning System）による現在位置情報や、ＶＩＣＳ（登録商標）（Vehicle Information and Communication System）による渋滞や交通規制等の道路交通情報を取得して利用することも可能である。 In this way, it is possible to present the user (driver and / or passenger) with information such as preset content that matches the destination as the prediction result. Here, the presented information may be personalized information specific to an individual user. In addition, when presenting information as described above, the current position information by the GPS (Global Positioning System), which will be described later in detail, traffic jams by the VICS (registered trademark) (Vehicle Information and Communication System), etc. It is also possible to acquire and use road traffic information.
尚、スマートフォン１等の本発明によるデータ予測装置が設置される移動体は、当然に自動車に限定されない。例えば自転車、歩行者、自動車以外の乗用車、トラック、バス、エレベータ等、所定時間（期間）後の移動先が必ずしも決まっていらず予測することに意義のある移動体であれば、種々のものが対象となり得る。
In addition, the mobile body by which the data prediction apparatus by this invention, such as a
さらに、本発明によるデータ予測装置によって予測される予測対象データは、当然に、移動先（所在位置）に限定されるものではない。例えば、株価や為替レート等の金融データ、電力やガス、水道等の使用量データ、さらにはイベントの開催や事件の発生等の社会現象に係るデータ等、時系列のデータであって何らかの周期性の見られる可能性を有するデータであれば、本発明に係る予測対象データとなり得る。 Furthermore, the data to be predicted predicted by the data prediction apparatus according to the present invention is, of course, not limited to the moving destination (location). For example, time-series data such as financial data such as stock prices and exchange rates, usage data of power, gas, water, etc., and data related to social phenomena such as holding of events and occurrence of incidents, etc. Any data having the possibility of being can be predicted data according to the present invention.
［データ予測装置の機能構成］
図２は、本発明によるデータ予測装置の一実施形態における機能構成を示す機能ブロック図である。
[Functional configuration of data prediction device]
FIG. 2 is a functional block diagram showing a functional configuration in an embodiment of the data prediction apparatus according to the present invention.
図２によれば、データ予測装置であるスマートフォン１は、通信インタフェース部１０１と、測位部１０２と、ユーザインタフェースとしてのタッチパネル・ディスプレイ（ＴＰ／ＤＰ）１０３、スピーカ１０４及びマイク１０５と、ログ記憶部１０６と、結合荷重記憶部１０７と、コンテンツ蓄積部１０８と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、スマートフォン１に搭載されたコンピュータを機能させるプログラムを実行することによって、データ予測機能を実現させる。
According to FIG. 2, the
また、プロセッサ・メモリは、位置情報取得部１１１と、状況取得部１１２と、特徴量生成部１１３と、深層学習部１２と、予測結果処理部１１４と、ユーザインタフェース（ＩＦ）制御部１１５とを有する。ここで、ユーザＩＦ制御部１１５は、対話処理部１１５ｃを有することも好ましい。尚、図２によれは、各機能構成部を矢印で接続した処理の流れは、本発明によるデータ予測方法の一実施形態としても理解される。
Also, the processor memory includes a position
図２において、通信インタフェース部１０１は、
（ａ）民間で又は公的に提供された気象情報サーバ６から、現在又は所定時間（期間）後の気象情報を受信したり、
（ｂ）ＶＩＣＳ（登録商標）サーバ７から、交通又は運行情報を配信する交通又は運行情報（例えばＶＩＣＳ（登録商標）情報）を受信したり
することができる。また、
（ｄ）予測結果処理部１１４において決定された、移動先の予測結果又はこの結果に応じて決定された提示情報を、外部の装置、例えば車内に設置されたディスプレイ装置やスピーカ装置に送信する
ことも好ましい。
In FIG. 2, the
(A) Receive weather information from the weather information server 6 provided privately or publicly, current or after a predetermined time (period),
(B) From the VICS (registered trademark) server 7, traffic or operation information (for example, VICS (registered trademark) information) to which traffic or operation information is distributed can be received. Also,
(D) Transmitting the prediction result of the moving destination determined by the prediction
測位部１０２は、ＧＰＳシステムをなすＧＰＳ衛星５からの測位電波を捕捉し、スマートフォン１（自動車）の現在位置を測定する。また、位置情報取得部１１１は、測位部１０２での測定結果を受けて現在位置情報、例えば現在位置の緯度及び経度の情報を取得する。
The
状況取得部１１２は、通信インタフェース部１０１で受信された気象情報や交通又は運行情報を取得し、現在位置（現在時点）における気象状態や交通又は運行状態を決定し、特徴量生成部１１３での特徴量生成のための情報を提供する。
The
特徴量生成部１１３は、互いに異なる「少なくとも２つの時間周期階層」の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素とする特徴量ベクトルを生成し、深層学習部１２に出力する。特徴量ベクトルの具体的な構成については、後に図５を用いて詳細に説明する。
The feature
深層学習部１２は、
（ａ）入力層１２１ｉ、隠れ層１２１ｈ及びコンテキスト層（ＣＯＮ層）１２１ｃを有する入力・隠れ層部１２１と、
（ｂ）出力層１２２ｏを有する出力層部１２２と
を有する。
The
(A) an input / hidden layer portion 121 having an input layer 121i, a hidden layer 121h and a context layer (CON layer) 121c;
(B) an output layer unit 122 having an output layer 122o;
ここで、入力層１２１ｉは、互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として入力する層である。また、隠れ層１２１ｈは、
（ａ１）入力層１２１ｉから出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号
を入力し、さらに、
（ａ２）コンテキスト層１２１ｃから出力される信号を第３の結合荷重で重み付け処理して生成された第３の処理信号
を時間遅れの信号として上記の第１の処理信号と共に入力する。
Here, the input layer 121i is a layer that inputs target data values relating to time points or time intervals belonging to each of at least two different time cycle hierarchies different from each other as feature amount elements. Also, the hidden layer 121h is
(A1) A first processed signal generated by weighting the signal output from the input layer 121i with a first connection weight is input, and
(A2) The third processing signal generated by weighting the signal output from the
また、入力・隠れ層部１２１は、隠れ層１２１ｈから出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を、出力層部１２２に出力する。出力層部１２２の出力層１２２ｏは、第２の処理信号を入力し、少なくとも、予測に係る時点又は時間範囲における対象データの値を出力する。 In addition, the input / hidden layer unit 121 outputs, to the output layer unit 122, a second processed signal generated by weighting the signal output from the hidden layer 121h with the second connection weight. The output layer 122o of the output layer unit 122 receives the second processing signal, and outputs at least a value of target data at a time or a time range related to prediction.
さらに、入力・隠れ層部１２１及び出力層部１２２は、少なくとも２つの時間周期階層に係る周期性を反映させるべく第１の結合荷重、第２の結合荷重及び第３の結合荷重を更新する再学習を、誤差逆伝播法（バックプロパゲーション）によって実行可能なように構成されている。 Furthermore, the input / hidden layer 121 and the output layer 122 update the first connection load, the second connection load, and the third connection load to reflect the periodicity of at least two time period hierarchies. The learning is configured to be executable by an error back propagation method (back propagation).
ここで、時間周期階層の各々に属する時点又は時間間隔に係る対象データ値が、これらの時点又は時間間隔での予測対象における移動予測の基準位置及び移動先の位置に係るデータ値である場合、出力層部１２２によって出力される、予測に係る時点又は時間範囲における当該対象データの値は、予測対象における移動先の位置の予測値となる。尚、深層学習部１２における学習・予測処理については、後に図４を用いて詳細に説明する。
Here, when the target data values pertaining to time points or time intervals belonging to each of the time cycle hierarchies are data values pertaining to the reference position of movement prediction in the prediction target at these time points or time intervals, and the position of the movement destination, The value of the target data at the time or time range relating to prediction, which is output by the output layer unit 122, becomes the predicted value of the position of the movement destination in the prediction target. The learning and prediction processing in the
予測結果処理部１１４は、出力層部１２２から出力された、予測に係る時点又は時間範囲における対象データの値を予測結果に加工し、この予測結果の情報をユーザＩＦ制御部１１５に出力する。例えば、出力層１２２ｏ（出力層部１２２）からの出力予測値が０から１までの値で規格化された数値である場合、この数値を（移動先等の）予測結果に変換する。ここで、予測結果処理部１１４は、予測数を設定し、深層学習部１２に対し、予測処理をこの予測数だけ繰り返し行わせ、所定時間（期間）を１単位として、現在から１単位分だけ先での予測値だけでなく、複数単位分先での予測値を算出させて、これに応じた予測結果を生成することも好ましい。
The prediction
さらに、予測結果処理部１１４は、コンテンツ蓄積部１０８から、生成した予測結果に対応したコンテンツを取り出し、ユーザＩＦ制御部１１５を介して外部に提示させてもよい。例えば、ＴＰ／ＤＰ１０３に、コンテンツに係る提示情報を表示させてもよく、スピーカ１０４に音声としての提示情報を出力させてもよい。ここで、コンテンツ記憶部１０８は、提示情報（コンテンツ）を外部のコンテンツサーバから通信インタフェース１０１を介して取得してもよい。また、ユーザによるＴＰ／ＤＰ１０３を介した入力操作によって、所定の提示情報を入力してもよい。
Furthermore, the prediction
ユーザＩＦ制御部１１５は、予測結果処理部１１４から入力した予測結果情報やコンテンツを提示情報としてＴＰ／ＤＰ１０３に表示させたり、対話処理部１１５ｃを介してスピーカ１０４から提示情報に対応する音声を出力させたりする。また、ユーザＩＦ制御部１１５は、提示された予測結果に対するユーザによる肯定や否定といった評価結果である応答情報を、ＴＰ／ＤＰ１０３に対する操作を介して、マイク１０５への音声入力及び対話処理部１１５ｃを介して、又はリモコン等の外部機器を介して取得し、予測結果処理部１１４に出力する。
The user IF
この際、予測結果処理部１１４は、このユーザによる評価結果（応答情報）に基づき、再学習のための教師データを生成し、深層学習部１２に出力して再学習を実行させる。即ち、予測結果処理部１１４は、ＮＮシステムの信頼性を高めるため、実環境の利用においてユーザの肯定・否定の応答を用いて学習データを更新する手段としても機能する。尚、予測値が出力され予測結果が提示された後に、ユーザから何ら応答が入力されない場合、現状で使用された特徴量および予測値をログ記憶部１０６に記憶する。一方、例えばユーザから否定（異議）が入力された場合、予測値をユーザからの応答に基づいて生成された修正情報に置き換えて、使用された特徴ベクトルとともにログ記憶部１０６に書き込む。
At this time, the prediction
ログ記憶部１０６は、特徴量ベクトルを生成するためのユーザの移動履歴データ（例えば、日時とその時点（期間）での所在位置とを対応付けた時系列データ）を記憶する。また、ユーザによる評価結果（応答情報）に基づいて、学習すべき移動履歴データを更新する機能も備えている。
The
結合荷重記憶部１０７は、深層学習部１２において学習処理の際に算出・更新された結合荷重（第１、第２及び第３の結合荷重）と、ログ記憶部１０６に記憶された学習済みである最後のレコードのレコードＩＤとを記憶する。また、再学習の際、深層学習部１２からの読み出し指示に応じ、記憶した結合荷重及びレコードＩＤを深層学習部１２に出力する。ここで、この再学習は、読み出されたレコードＩＤの次のＩＤを有する新規レコードから行われることも好ましい。この場合、言い換えると、学習に未だ使用されていないレコードを用いて再学習を実行することになる。このように履歴の差分のみに対して再学習を行うことによって、学習処理に必要となる演算量をより低減することが可能となるのである。
The combined
図３は、本発明によるデータ予測装置の他の実施形態における機能構成を示す機能ブロック図である。 FIG. 3 is a functional block diagram showing a functional configuration in another embodiment of the data prediction apparatus according to the present invention.
図３によれば、本発明のデータ予測装置としてのデータ予測サーバ２と、スマートフォン３とが、例えばアクセスネットワーク及びインターネットを介して通信接続されることによってデータ予測システムが構築されている。 According to FIG. 3, the data prediction system is constructed by the data prediction server 2 as the data prediction apparatus of the present invention and the smartphone 3 being communicably connected via, for example, an access network and the Internet.
このうち、データ予測サーバ２は、それぞれスマートフォン１（図２）における対応する機能部相当の手段である、通信インタフェース部２０１及び通信制御部２１１と、ログ記憶部２０６と、結合荷重記憶部２０７と、深層学習部２２とを有している。
Among them, the data prediction server 2 is a means corresponding to the corresponding functional units in the smartphone 1 (FIG. 2), the
また、スマートフォン３は、同じくそれぞれスマートフォン１（図２）における対応する機能部相当の手段である、通信インタフェース部３０１及び通信制御部３１２と、測位部３０２及び位置情報取得部３１１と、ユーザインタフェースとしてのユーザＩＦ部３０３及びユーザＩＦ制御部３１５と、特徴量生成部３１３と、予測結果処理部３１４とを有している。
The smartphone 3 is also a means corresponding to the corresponding functional units in the smartphone 1 (FIG. 2), the
即ち、本データ予測システムは、図２に示したスマートフォン１における深層学習機能を外部のサーバに持たせ、このサーバをデータ予測装置とした実施形態になっている。ここで、スマートフォン３で生成された特徴量ベクトルが、データ予測サーバ２に送信される。一方、データ予測サーバ２で生成された予測値が、スマートフォン３に送信され、スマートフォン３の予測結果処理部３１４において予測結果に変換されて、ユーザＩＦを介してユーザにこの予測結果が提示される。さらに、ユーザＩＦを介して入力されたユーザによる肯定又は否定の評価結果に基づいて、スマートフォン３の予測結果処理部３１４が教師データを生成し、この教師データがデータ予測サーバ２で再学習に使用されてもよい。
That is, this data prediction system is an embodiment in which the deep learning function in the
ここで、特徴量生成部３１３及び／又は予測結果処理部３１４を、スマートフォン３ではなく、データ予測サーバ２が備えている形態も可能である。いずれにしても、以上に述べたような構成のデータ予測システムにおいて、互いに異なる「少なくとも２つの時間周期階層」の各々に属する時点又は時間間隔に係る対象データ値を要素とする特徴量ベクトルを採用することによって、相当の予測精度を確保しつつ、従来に比べて学習処理のための演算量をより低減することが可能となる。
Here, a mode is also possible in which the feature
また、例えば、レンタカーサービス事業に本データ予測システムを適用し、レンタカーのユーザが、自ら所有するスマートフォンを、日頃使い慣れたカーナビ装置としてこのレンタカーで利用することが可能となる。この際、コールセンターに設置されたデータ予測サーバ２に、ユーザ毎の移動履歴及び教師データによって学習を行う、ユーザ毎に構築された深層学習部２２を用意し、算出された予測移動先（予測値）を、該当するユーザの使用しているレンタカーにダウンロードさせて、この予測結果を利用させることも可能となる。
Furthermore, for example, the data prediction system is applied to a rental car service business, and it becomes possible for a rental car user to use a smartphone owned by him / her as a car navigation device that he or she is used regularly in this rental car. At this time, the data prediction server 2 installed in the call center is provided with the
さらに、データ予測サーバ２相当のデータ予測装置が、自動車（移動体）の内部に組み込まれている実施形態も可能である。例えば、自動車に搭載された制御用ＣＰＵにおいて、他の標準的な機能と並行して本発明のデータ予測機能を実現する場合、このＣＰＵを含む自動車内のユニットが、本発明のデータ予測装置に該当することになる。この場合、この車内ユニットと、ユーザが車内に持ち込んだスマートフォン等とが、有線又は無線で通信接続されることも好ましい。 Furthermore, an embodiment in which a data prediction device equivalent to the data prediction server 2 is incorporated in a car (mobile body) is also possible. For example, in a control CPU mounted on a car, when the data prediction function of the present invention is realized in parallel with other standard functions, a unit in the car including the CPU corresponds to the data prediction device of the present invention. It will correspond. In this case, it is also preferable that the in-vehicle unit and a smartphone or the like brought by the user into the vehicle be communicably connected by wire or wirelessly.
図４は、深層学習部１２における学習・データ予測処理の一実施形態を示す模式図である。
FIG. 4 is a schematic view showing an embodiment of learning and data prediction processing in the
図４に示すように、深層学習部１２は、入力層１２１ｉ、隠れ層１２１ｈ、コンテキスト層１２１ｃ及び出力層１２１ｏによってＲＮＮを構成している。ＲＮＮは、時系列データを取り扱うのに非常に適したネットワークである。以下、実施される深層学習の機能を分かり易く説明することを目的として、深層学習部１２が、ＲＮＮの一種である単層構造のエルマンネットワーク（Elman Network）であるとして説明を行う。
As shown in FIG. 4, the
本来、ニューラルネットワーク（ＮＮ）は、人間の脳神経回路の仕組みを模したモデルであって、入力層、隠れ層（中間層）及び出力層をモデル構成要素とする。これらの各層は、脳内の神経細胞に相当する複数のニューロン(Neuron)を備えている。各ニューロンの基本的な機能は、信号の入力及び出力である。但し、１つの層のニューロンから次の層のニューロンへ信号伝達を行う際、１つの層のニューロンから出力された信号をそのまま、次の層のニューロンが入力するのではなく、出力された信号に結合荷重をもって重み付けし、重み付けされた出力信号の総和が各ニューロンについて設定されている閾値を超えた場合にのみ、次の層のニューロンへ信号を送出する。ここで、教師データを用いた学習からこれらニューロン間の結合荷重を算出・更新し適用していくことによって、予測対象となる新たなデータを入力した際に、予測値の出力が可能となるのである。 Essentially, a neural network (NN) is a model that simulates the mechanism of a human brain neural network, and uses an input layer, a hidden layer (interlayer) and an output layer as model components. Each of these layers comprises a plurality of neurons (Neurons) corresponding to neurons in the brain. The basic function of each neuron is the input and output of the signal. However, when performing signal transmission from the neuron of one layer to the neuron of the next layer, the signal output from the neuron of one layer is not input as it is by the neuron of the next layer, but is output to the output signal. The connection weight is weighted, and signals are sent to neurons in the next layer only when the sum of the weighted output signals exceeds the threshold set for each neuron. Here, by calculating, updating and applying the connection weight between these neurons from learning using teacher data, it becomes possible to output a predicted value when new data to be predicted is input. is there.
図４に示したエルマンネットワーク（深層学習部１２）は、ループ構造を含む深層ＮＮであり、入力層１２１ｉ、隠れ層１２１ｈ、コンテキスト層１２１ｃ及び出力層１２１ｏを備えている。入力層１２１ｉは、入力信号である特徴量ベクトルを処理するｎ個の入力層ニューロンｎｉを有する。この入力層ニューロンｎｉの数ｎは、特徴量ベクトルの次元数（要素数）と一致する。コンテキスト層１２１ｃは、直前の隠れ層１２１ｈの状態を複製したｍ個のコンテキスト層ニューロンｎｃを備えている。このコンテキスト層ニューロンｎｃの数ｍは、次に述べる隠れ層ニューロンｎｈの数と一致する。
The Erman network (the deep learning unit 12) illustrated in FIG. 4 is a deep layer NN including a loop structure, and includes an input layer 121i, a hidden layer 121h, a
隠れ層１２１ｈは、入力層ニューロンｎｉとコンテキスト層ニューロンｎｃからの入力信号を処理するｍ個の隠れ層ニューロンｎｈを備えている。この隠れ層ニューロンｎｈの数ｍは任意でありネットワーク設計パラメータの１つとなる。出力層１２１ｏは、隠れ層ニューロンｎｈからの入力信号を処理する出力層ニューロンｎｏを備えている。この出力層ニューロンｎｏの数ｋは、予測値を構成する予測ベクトルの次元数と一致する。例えば、予測値が移動先（予測所在位置）の位置情報のみであれば、ｋ＝１とすることができる。 The hidden layer 121 h includes m hidden layer neurons nh that process input signals from the input layer neuron ni and the context layer neuron nc. The number m of hidden layer neurons nh is arbitrary and is one of network design parameters. The output layer 121o includes an output layer neuron no that processes an input signal from the hidden layer neuron nh. The number k of output layer neurons no matches the number of dimensions of the prediction vector constituting the prediction value. For example, if the predicted value is only position information of a movement destination (predicted location), k can be set to k = 1.
上述したニューロンはそれぞれの活性化関数を有し、ニューロン毎に異なるパラメータを保持している。ニューロンは、例えばバックプロパゲーションによる学習過程を実行することによって、保持するパラメータを調整し、活性化関数の表現を決定して、上記の結合荷重の算出・更新を行う。この学習過程は何度も繰り返される。即ち、データを入力した結果出力された予測データ（学習値）と教師データ（実測値）とから算出される誤差を、後ろ向きに伝搬して上記のパラメータを微調整し、さらに次のデータを入力した結果出力されたデータによる誤差を、再度後ろ向きに伝搬して再度パラメータを微調整する、といったように誤差が極小（最小）となり収束するまで、このパラメータの微調整処理を実行し続ける。次いで、予測処理においては、例えば、測定される現在位置やその日時といった即時状況の値をＮＮ（深層学習部１２）に入力することによって、予測値、例えば移動先（予測される所在位置）が出力されるのである。 The neurons described above have their respective activation functions and hold different parameters for each neuron. The neuron adjusts the parameters to be held, for example, by executing a learning process by back propagation, determines the expression of the activation function, and calculates and updates the above-mentioned coupling weight. This learning process is repeated many times. That is, an error calculated from predicted data (learned value) and teacher data (measured value) output as a result of inputting data is propagated backward to finely adjust the above parameters, and the next data is further input. Fine adjustment processing of this parameter is continued until the error converges to a minimum (minimum) such that the error due to the data output as a result is propagated backward again and the parameter is finely adjusted again. Next, in the prediction process, for example, the predicted value, for example, the movement destination (predicted location) is input by inputting the value of the immediate situation such as the current position to be measured and its date and time to the NN (depth learning unit 12). It is output.
図４に示したＲＮＮ（エルマンネットワーク）は、以上に述べた構成を有するが故に、比較的生体（脳）に近い特長を有し、過去との相関を強く有する人間（脳）の行動パターンを予測するのに非常に適している。具体的には、隠れ層ニューロンｎｈが、コンテキスト層ニューロンｎｃを介し、隣り合う段階の隠れ層ニューロンｎｈと相互に影響を及ぼしながら状態を更新することによって、予測対象の行動パタ−ンが、より網羅的且つ的確に結合荷重に反映されていくのである。このように、図４の深層学習部１２はリカレント型であるので、隠れ層及びコンテキスト層が展開・循環して機能することによって多層的な深層学習を行うことが可能となる。また、この展開・循環処理を繰り返すことによって、予め期待された時間周期以外の周期パターンを認識することも可能となるのである。
Since the RNN (Ellman network) shown in FIG. 4 has the configuration described above, it has a feature similar to a living body (brain) and has a human (brain) behavior pattern strongly correlated with the past. Very suitable for forecasting. More specifically, the behavior pattern of the target to be predicted is further improved by the hidden layer neuron nh updating the state while interacting with the hidden layer neuron nh of the adjacent stage through the context layer neuron nc. It will be comprehensively and accurately reflected in the bonding load. As described above, since the
尚、上述した隠れ層ニューロンｎｈの数（隠れ層１２１ｈのユニット数）ｍ、学習過程の繰り返し回数、及びパラメータ微調整における調整幅（学習率）は、ネットワーク設計事項であり、経験値として決定してもよい。 The number m of hidden layer neurons nh (the number of units of hidden layer 121h) m, the number of repetitions of the learning process, and the adjustment width (learning rate) in the parameter fine adjustment are network design items and are determined as experience values. May be
以後、図４に示した、データ予測方法におけるステップ１〜ステップ７の具体的内容を、図５〜７を用いて詳細に説明する。
Hereinafter, specific contents of
［データ予測方法］
図５は、本発明に係る特徴量ベクトルの生成の一実施形態を示す模式図である。
[Data prediction method]
FIG. 5 is a schematic view showing an embodiment of generation of feature quantity vectors according to the present invention.
図５（Ａ）には、ステップ１（図４）で入力層１２１ｉに入力される特徴量ベクトルの一実施形態が示されている。この特徴量ベクトルは、ユーザの過去の移動履歴の時系列データ（例えば、日時と当該日時での所在位置（出発地）と目的地とを対応付けた時系列データ）を用いて、ユーザが何時どこからどこまで移動したのかを分析することによって生成される。 FIG. 5A shows an embodiment of the feature quantity vector input to the input layer 121i in step 1 (FIG. 4). This feature quantity vector uses time series data of the user's past movement history (for example, time series data in which the date and time, the location (starting place) at the date and time, and the destination are associated) It is generated by analyzing where and from where you moved.
本実施形態の特徴量ベクトルは、具体的に、
１． 対象移動履歴の出発時の日付
２． 対象移動履歴の出発時の曜日
３． 対象移動履歴の出発時の平日・祝日区分
４． 対象移動履歴の出発時の時間帯区分
５． 対象移動履歴の出発時の位置区分
６． 複数の時間周期階層に基づいた時系列の移動先
６ａ・当日（直前）の移動先
６ｂ・１日前の同時間帯（上記４．の時間帯）の移動先
６ｃ・２日前の同時間帯の移動先
６ｄ・３日前の同時間帯の移動先
６ｅ・１週間前の同時間帯の移動先
６ｆ・２週間前の同時間帯の移動先
６ｇ・３週間前の同時間帯の移動先
６ｈ・１ヶ月前の同時間帯の移動先
６ｉ・２ヶ月前の同時間帯の移動先
６ｊ・３ヶ月前の同時間帯の移動先
６ｋ・６ヶ月前の同時間帯の移動先
６ｌ・１年前の同時間帯の移動先
とのベクトル要素を有する。これらのベクトル要素の数は、入力層ニューロンｎｉの数ｎと一致している。具体的に、ベクトル要素数ｎは、上記項目１.〜５．までの５つと、上記項目６．におけるｐ（＝１２）個との合計であって、
ｎ＝５＋ｐ＝１７
となっている。ちなみに、ベクトル要素の値は、０から１までの値に正規化されていることも好ましい。
Specifically, the feature quantity vector of this embodiment is
1. Date of departure of target movement history 2. Day of departure of target movement history 3. Weekday / Holiday division at the time of departure of
6a · Destination of the day (immediately before)
6b · Destination of the same time zone (
6c · 2 days ago destination of the same time zone
Destination of the same time zone 6 d and 3 days ago
Destination of the same time zone 6e · 1 week ago
Destination of the same time zone 6f · 2 weeks ago
Destination of the same time zone 6g · 3 weeks ago
Destination of the same time zone 6h · 1 month ago
Destination of same time zone 6i and 2 months ago
Destination of same time zone 6 j 3 months ago
Destination of the same time zone 6k and 6 months ago
It has a vector element with the movement destination of the same time zone 6 l · one year ago. The number of these vector elements corresponds to the number n of input layer neurons ni. Specifically, the number n of vector elements is the number of
n = 5 + p = 17
It has become. Incidentally, it is also preferable that the value of the vector element is normalized to a value from 0 to 1.
（ａ）ここで、特徴量ベクトルの要素６ａ〜６ｄにおいては、第１の時間単位を「日」とし、第１の時間周期階層は、所定数（７つ）の「日」から構成される「週」に係る周期階層となっている。
（ｂ）また、特徴量ベクトルの要素６ｅ〜６ｇにおいては、第２の時間単位を「週」とし、第２の時間周期階層は、（分数を含む）所定数の「週」から構成される「月」に係る周期階層となっている。
（ｃ）さらに、特徴量ベクトルの要素６ｈ〜６ｋにおいては、第３の時間単位を「月」とし、第３の時間周期階層は、所定数（１２個）の「月」から構成される「年」に係る周期階層となっている。
(A) Here, in the elements 6a to 6d of the feature amount vector, the first time unit is "day", and the first time cycle hierarchy is configured of a predetermined number (7) of "days". It is a periodic hierarchy related to "week".
(B) Also, in the elements 6e to 6g of the feature quantity vector, the second time unit is "week", and the second time period hierarchy is configured from a predetermined number of "weeks" (including fractions) It is a periodic hierarchy related to "Month".
(C) Furthermore, in the elements 6h to 6k of the feature amount vector, the third time unit is "month", and the third time period hierarchy is configured by a predetermined number (12) of "months". Year is the periodic hierarchy.
このように、特徴量ベクトル生成の際に設定される時間単位及び時間周期階層については、
（ア）第１の時間単位と、所定数の第１の時間単位から構成される第２の時間単位と、この後、順次１つ前の所定数の時間単位から構成される、順次序数を１だけ増分させた時間単位とが設定されており、
（イ）時間周期階層として、第１の時間単位に係る時間を周期とする第１の時間周期階層と、第２の時間単位に係る時間を周期とする第２の時間周期階層と、この後、順次序数を１だけ増分させた時間単位に係る時間を周期とする時間周期階層とのうちの少なくとも２つの時間周期階層が採用されるのである。
Thus, for the time unit and time period hierarchy set at the time of feature quantity vector generation,
(A) Sequential ordinal numbers each consisting of a first time unit, a second time unit consisting of a predetermined number of first time units, and then a predetermined number of time units one after another The time unit that is incremented by 1 is set.
(A) As a time cycle hierarchy, a first time cycle hierarchy having a time related to a first time unit as a cycle, and a second time cycle hierarchy having a time related to a second time unit as a cycle, and thereafter At least two time period hierarchies of the time period hierarchy having a period of time according to a time unit in which the ordinal number is sequentially incremented by one are adopted.
尚、特徴量ベクトル生成の際に設定される時間単位及び時間周期階層の態様は、当然に、上記（ａ）〜（ｃ）に限定されるものではない。例えば、時間単位として「季」（春夏秋冬）を採用し、対応する時間周期階層を、「季」から構成される「年」とすることもできる。また、時間単位として「半年」を採用し、対応する時間周期階層を、「半年」から構成される「年」や「１０年」とすることも可能である。 In addition, the mode of the time unit set at the time of feature amount vector generation and the mode of the time period hierarchy are not naturally limited to the above (a) to (c). For example, “season” (spring, summer, winter, and winter) may be adopted as a unit of time, and the corresponding time cycle hierarchy may be “year” configured from “season”. Also, it is possible to adopt "half a year" as the unit of time, and to set the corresponding time cycle hierarchy to "year" or "10 years" composed of "half a year".
さらに、上述した具体的な特徴量ベクトルにおける第１の時間周期階層「週」に属する同時間帯（上記４．の時間帯）に係る対象データは、６ａ、６ｂ、６ｃ及び６ｄの４つ（複数）設定されている。これらは、第１の時間周期階層「週」を構成する全ての（７つの）「日」の中の一部の「日」（前日、前々日及び３日前の日）に係るデータである。即ち、第１の時間周期階層「週」に係る周期性を予測に反映させるための入力データとして、１週間の中の全ての７日分の対象データを取り扱うのではなく、その一部のデータを採用している。 Furthermore, four sets of target data 6a, 6b, 6c and 6d pertain to the same time zone (the time zone of 4. above) belonging to the first time cycle hierarchy "week" in the specific feature quantity vector described above Multiple) is set. These are data pertaining to some "days" (the previous day, the day before, the day before, and 3 days before) that make up the first time cycle hierarchy "week". . That is, as input data for reflecting the periodicity related to the first time period hierarchy "Week" in the prediction, not all target data for 7 days in one week is handled, but a part of the data Is adopted.
また、同様に、第２の時間周期階層「月」に属する同時間帯（上記４．の時間帯）に係る対象データは、６ｅ、６ｆ及び６ｇの３つ（複数）設定されている。これらは、第２の時間周期階層「月」を構成する全ての「週」の中の一部の「週」（１、２及び３週間前の週）に係るデータである。即ち、第２の時間周期階層「月」に係る周期性を予測に反映させるための入力データとして、１ヶ月の中の全ての４〜５週間分の対象データを取り扱うのではなく、その一部のデータを採用している。 Similarly, three (a plurality of) target data 6e, 6f, and 6g are set as target data related to the same time zone (the time zone of 4. above) belonging to the second time cycle hierarchy "month". These are data pertaining to some "weeks" (weeks one, two and three weeks ago) of all "weeks" that make up the second time cycle hierarchy "month". That is, as input data for reflecting the periodicity relating to the second time period hierarchy "month" in the prediction, not all target data for four to five weeks in one month are handled, but a part thereof Is adopted.
このような対象データの採用をまとめると、時間周期階層の各々に属する時点又は時間間隔に係る複数の対象データ値は、
（ア）第１の時間周期階層を構成する全ての第１の時間単位の中の一部の時間単位に係る対象データ値群と、
（イ）第２の時間周期階層を構成する全ての第２の時間単位の中の一部の時間単位に係る対象データ値群と、この後、
（ウ）順次序数を１だけ増分させた時間周期階層を構成する全ての時間単位の中の一部の時間単位に係る対象データ値群と
のうちの少なくとも２つの群を含むことになっている。その結果、特徴量ベクトルは、時間間隔が不均一であって離散的な時間履歴データから構成された要素を有することになる。
To summarize the adoption of such target data, a plurality of target data values relating to time points or time intervals that belong to each of the time period hierarchies are:
(A) a target data value group relating to a part of time units in all the first time units constituting the first time cycle hierarchy;
(A) a target data value group relating to a part of time units in all the second time units constituting the second time cycle hierarchy, and
(C) At least two groups of target data value groups related to a part of time units among all the time units constituting the time period hierarchy in which the ordinal number is sequentially incremented by 1 . As a result, the feature quantity vector has elements with nonuniform time intervals and composed of discrete time history data.
このように、各時間周期階層に属する対象データの数を離散的に限定することにより、全ての対象データを連続的に採用する場合に比べて、より少ない計算量をもって各時間周期階層に係る周期性を学習させることが可能となる。即ち、連続した全ての時系列データを用いて学習するのではなく、例えば先月や先々月の同時期の離散的なデータをもって学習させることによって、予測のための演算時間の短縮が可能となり、より実用的な処理を実現することができるのである。 As described above, by discretely limiting the number of target data belonging to each time cycle hierarchy, the period related to each time cycle hierarchy with a smaller amount of calculation compared to the case where all the target data are continuously adopted. It becomes possible to learn sex. That is, instead of learning using all continuous time series data, it is possible to shorten the calculation time for prediction, for example, by learning with discrete data of the same month of last month or last month, for example. A practical process can be realized.
また、上述した具体的な特徴量ベクトルにおける第１の時間単位「日」、第２の時間単位「週」、及び第３の時間単位「月」に係る対象データ値は、当該時間単位における所定の「時刻」又は「時間帯」（本実施形態では上記４．の時間帯）での値をとっている。このような設定を一般化してまとめると、第１の時間周期階層を構成する全ての第１の時間単位の中の一部の時間単位に係る対象データ値、第２の時間周期階層を構成する全ての第２の時間単位の中の一部の時間単位に係る対象データ値、及び、この後順次序数を１だけ増分させた時間周期階層を構成する全ての時間単位の中の一部の時間単位に係る対象データ値は、自らに係る時間周期階層を構成する時間単位における、第１の時間単位を構成する基本時間単位（本実施形態では「時間帯」）での値をとることとなる。
In addition, target data values related to the first time unit "day", the second time unit "week", and the third time unit "month" in the specific feature amount vector described above are predetermined in the time unit The value of "time" or "time zone" (in the present embodiment, the
このように、各時間周期階層に属する対象データについて、基本時間単位での値に統一することによっても、有効に比較できるデータを離散的に選択することになるので、より少ない計算量をもって各時間周期階層に係る周期性を学習させることが可能となる。 As described above, it is possible to discretely select data that can be compared effectively by unifying target data belonging to each time period hierarchy to values in the basic time unit, so that each time can be calculated with a smaller amount of calculation. It becomes possible to learn the periodicity concerning a periodic hierarchy.
尚、特徴量ベクトルの要素となる各データ値における時間的な離散度合い（離散間隔）やベクトル要素数ｎ（次元数）は、予測処理の用途や利用対象に合わせて設定することができる。また、さらなる高精度の予測を実現するために、ベクトル要素の一部として、気象情報（例えば、晴れ、曇り又は雨等の区別）や、交通又は運行情報（例えば、現所在位置での道路渋滞の有無又は程度）を採用することも可能である。 Incidentally, the temporal degree of discreteness (discrete interval) or the number of vector elements n (the number of dimensions) in each data value which is an element of the feature amount vector can be set in accordance with the application of the prediction processing and the use target. Also, in order to realize prediction with higher accuracy, weather information (for example, distinction such as sunny, cloudy or rain) or traffic or operation information (for example, traffic jam at the current location) as a part of vector element It is also possible to employ the presence or absence or degree of
以上に説明したように、特徴量ベクトルの生成において、複数の時間周期階層の各々について所定時間間隔を有する離散的な対象データ値を採用することによって（特に人間の）行動パターンを効果的に学習し、より精度の高いデータ値の予測を達成することが可能となる。ここで、人間の行動は、所定時間間隔毎に発生する、又は複数の周期性を含むパターンをなすことが多い。例えば、毎週特定の曜日や毎月特定の日に、又は所定の日数の間隔又は所定の月間隔で所定の行動をとる、例えば所定の場所に赴く傾向を有することがよく見られる。従って、上述したような対象データ値からなる特徴量ベクトルを、過去の入力と現在の入力とを相互に影響させるフィードバック結合処理を行うＲＮＮに入力することによって、特徴量ベクトルにおいて配慮されていない時間間隔や周期性に係る行動パターンをも識別し、より精度の高い予測を行うことも可能となるのである。 As described above, in the generation of feature quantity vectors, it is possible to effectively learn (especially human) behavioral patterns by adopting discrete target data values having predetermined time intervals for each of a plurality of time cycle hierarchies. It is possible to achieve more accurate prediction of data values. Here, human behavior often occurs in a predetermined time interval or forms a pattern including a plurality of periodicities. For example, it is common to take a predetermined behavior every week on a specific day of the week, on a specific day on a monthly basis, or at an interval of predetermined days or at an interval of predetermined months. Therefore, the time taken into consideration in the feature quantity vector by inputting the feature quantity vector consisting of the target data values as described above to the RNN that performs feedback coupling processing that mutually influences the past input and the current input. It is also possible to identify behavior patterns related to intervals and periodicity and to make prediction with higher accuracy.
ここで、図５（Ｂ）を用いて、複数の時間周期階層に係る特徴量ベクトルの要素を決定するための具体的な形態を説明する。
（Ｓ５１、Ｓ５２）時系列データに係る時間Ｈが、予測を行う予測時点（日時）から見て、７日前の時点よりも時間的に近いか否かを判定する。ここで真の判定を行った場合、これら時系列データのうち、予測を行う時点の当日、１日前、２日前及び３日前の（予測時点と）同じ時間帯でのデータ（移動先のデータ）を採用して時系列の特徴量ベクトルを生成する。
Here, with reference to FIG. 5B, a specific mode for determining the elements of the feature quantity vector according to a plurality of time cycle hierarchies will be described.
(S51, S52) It is determined whether or not the time H relating to the time series data is temporally closer than the time 7 days ago, as viewed from the predicted time (date and time) of performing the prediction. Here, when a true determination is made, among these time-series data, data in the same time zone as the day (one day before, two days before, and three days before the time of prediction) To generate a time-series feature quantity vector.
（Ｓ５３、Ｓ５４）一方、ステップＳ５１で偽の判定を行った場合、時系列データに係る時間Ｈが、予測を行う予測時点（日時）から見て、１ヶ月前の時点よりも時間的に近いか否かを判定する。ここで真の判定を行った場合、これら時系列データのうち、予測を行う時点の１週間前、２週間前及び３週間前の（予測時点と）同じ時間帯でのデータ（移動先のデータ）を採用して時系列の特徴量ベクトルを生成する。
（Ｓ５５、Ｓ５６）一方、ステップＳ５３で偽の判定を行った場合、時系列データに係る時間Ｈが、予測を行う予測時点（日時）から見て、１２ヶ月（１年）前の時点よりも時間的に近いか否かを判定する。ここで真の判定を行った場合、これら時系列データのうち、予測を行う時点の１ヶ月前、２ヶ月前及び３ヶ月前の（予測時点と）同じ時間帯でのデータ（移動先のデータ）を採用して時系列の特徴量ベクトルを生成する。
(S53, S54) On the other hand, when the determination in step S51 is false, the time H relating to the time-series data is closer in time than the time one month ago, as viewed from the predicted time (date) It is determined whether or not. Here, when a true determination is made, among these time-series data, data in the same time zone (as the predicted time) one week, two weeks and three weeks before the time of prediction To generate a time-series feature quantity vector.
(S55, S56) On the other hand, when the determination in step S53 is false, the time H relating to the time-series data is 12 months (one year) earlier than the point in time (the date and time) at which the prediction is performed. It is determined whether it is close in time. Here, when a true determination is made, among these time-series data, data in the same time zone (as the predicted time) one month, two months and three months before the time of prediction To generate a time-series feature quantity vector.
（Ｓ５７）一方、ステップＳ５５で偽の判定を行った場合、これら時系列データのうち、予測を行う時点の１年前、２年前及び３年前の（予測時点と）同じ時間帯でのデータ（移動先のデータ）を採用して時系列の特徴量ベクトルを生成する。 (S57) On the other hand, when a false determination is made in step S55, among these time-series data, one year, two years, and three years before the time of prediction (in the same time as the prediction time) The data (data of the movement destination) is adopted to generate a time-series feature quantity vector.
図６及び図７は、図４に示された各ステップの一実施形態を実行するためのプログラムコードを示す模式図である。 6 and 7 are schematic diagrams showing program code for executing one embodiment of each step shown in FIG.
以下、図６（Ａ）及び（Ｂ）並びに図７（Ａ）及び（Ｂ）を順次使用して、図４に示された深層学習過程の各ステップを説明するが、ここで、前もってこの深層学習過程の概略を説明する。最初に、学習対象として入力された特徴量が入力層１２１ｉから隠れ層１２１ｈを介し出力層１２１ｃに向かうように入力されることによって学習が行われる。各層では、入力された特徴量データに対し、当該層内のニューロンにおいて結合荷重（重み係数）を乗算して後の層のニューロンに出力する。このような選択的な処理の結果として次の時間に得られる入力を予測学習する仕組みは、一般にフィードフォワード学習と呼ばれている。
Hereinafter, each step of the depth learning process shown in FIG. 4 will be described using FIG. 6 (A) and (B) and FIG. 7 (A) and (B) sequentially. Outline the learning process. First, learning is performed by inputting the feature amount input as a learning target from the input layer 121i to the
このフィードフォワード学習に対し、バックプロパゲーション学習とは、誤差逆伝播法によって結合荷重を更新していく仕組みである。ここで、誤差逆伝播法とは、出力層１２１ｃから出力された値（例えば、移動先の予測値)と、実際に得られた実測値との誤差を、出力層１２１ｃから隠れ層１２１ｈを介し入力層１２１ｉに向けてフィードバックさせ、最小化するように調整する方法である。具体的には、図４に示すように、フィードフォワードでは、データは入力層、隠れ層及び出力層を順次、この方向に移動し、バックプロパゲーションでは、データはフィードフォワードとは逆の方向に移動する。
In contrast to this feedforward learning, backpropagation learning is a mechanism for updating the connection weight by the error back propagation method. Here, the error back propagation method refers to an error between a value (for example, a predicted value of a movement destination) output from the
以下、図６及び７を用いて、図４に示された各ステップを具体的に説明する。尚、ステップ１では、予測する時点での状態（即時状態）によって生成された特徴量ベクトルが、入力層１２１ｉへ入力される。
Each step shown in FIG. 4 will be specifically described below using FIGS. 6 and 7. In
図６（Ａ）には、ステップ２（図４）のフィードフォワード処理（入力層＋コンテキスト層→隠れ層）を実行するためのプログラムコード例が示されている。ここでは、入力層ニューロンの出力inputs[inp]が、直前の隠れ層ニューロンの複製であるコンテキスト層ニューロンの出力context[con]とともに隠れ層ニューロンに入力される。ここで、入力層ニューロン出力inputs[inp]には、入力層と隠れ層との間の結合荷重（第１の結合荷重）wih[inp][hid]が重み付けされて総和がとられる。さらに、コンテキスト層ニューロン出力context[con]には、コンテキスト層と隠れ層との間の結合荷重（第３の結合荷重）wch[con][hid]が重み付けされて総和がとられる。これらの入力の総和から各ユニット（ニューロン）に設定された閾値を差し引いた値がシグモイド関数（f(x)＝1/(1+exp(x)）によって非線形変換され、出力として次のユニット（ニューロン）に伝達される。尚、結合荷重wih[inp][hid]及びwch[con][hid]における学習前の初期値は、例えばランダムな値とすることができる。 FIG. 6A shows an example of program code for executing the feedforward process (input layer + context layer → hidden layer) of step 2 (FIG. 4). Here, the output inputs [inp] of the input layer neuron is input to the hidden layer neuron together with the output context [con] of the context layer neuron which is a duplicate of the previous hidden layer neuron. Here, the connection load (first connection load) wih [inp] [hid] between the input layer and the hidden layer is weighted and summed up in the input layer neuron outputs inputs [inp]. Furthermore, in the context layer neuron output context [con], the coupling weight (third coupling weight) wch [con] [hid] between the context layer and the hidden layer is weighted and summed. The value obtained by subtracting the threshold value set for each unit (neuron) from the sum of these inputs is nonlinearly converted by the sigmoid function (f (x) = 1 / (1 + exp (x)), and the next unit (output as an output) The initial values before learning in the connection weights wih [inp] [hid] and wch [con] [hid] can be, for example, random values.
次いで、図６（Ｂ）には、ステップ３（図４）のフィードフォワード処理（隠れ層→出力層）及びステップ４（図４）のコピー処理（隠れ層→コンテキスト層）を実行するためのプログラムコード例が示されている。ここでは、隠れ層ニューロンの出力hidden[hid]に対し、隠れ層と出力層との間の結合荷重（第２の結合荷重）who[hid][out]が重み付けされて総和がとられる。この入力の総和から各ユニット（ニューロン）に設定された閾値を差し引いた値がシグモイド関数によって非線形変換され、出力層ニューロンの出力actual[out]が生成される。尚、結合荷重who[hid][out]における学習前の初期値も、例えばランダムな値とすることができる。 Next, FIG. 6B shows a program for executing the feed forward process (hidden layer → output layer) of step 3 (FIG. 4) and the copy process (hidden layer → context layer) of step 4 (FIG. 4). A code example is shown. Here, with respect to the output hidden [hid] of the hidden layer neuron, the connection load (second connection load) who [hid] [out] between the hidden layer and the output layer is weighted and summed. A value obtained by subtracting the threshold value set for each unit (neuron) from the sum of the inputs is nonlinearly converted by the sigmoid function to generate the output actual [out] of the output layer neuron. The initial value before learning in the coupling weight who [hid] [out] can also be, for example, a random value.
さらに、隠れ層ニューロンの出力hidden[hid]は、上述したように出力層ニューロンに出力されつつ、一方でコンテキスト層ニューロンの出力context[con]として複製されている。 Furthermore, while the output hidden [hid] of the hidden layer neuron is output to the output layer neuron as described above, it is also replicated as the output context [con] of the context layer neuron.
次いで、図７（Ａ）には、ステップ５（図４）の誤差算出処理を実行するためのプログラムコード例が示されている。ここでは、入力をフィードフォワードしたステップ１〜４によって導出された出力actual[out]（予測値）と、実測値（正解）target[out]とを比較して、誤差erro[out]を算出している。ここで、例えば、自動車（ユーザ）の移動先予測の場合、実測値target[out]として、出発の際にユーザによって入力設定された設定目的地の値とすることもできる。また、エンジンを停止した際の所在位置（到着位置）を測位部によって導出した際の値としてもよい。
Next, FIG. 7A shows an example of program code for executing the error calculation process of step 5 (FIG. 4). Here, the error actual [out] (predicted value) derived in
次いで、図７（Ｂ）には、ステップ６及び７（図４）のバックプロパゲーション処理を実行するためのプログラムコード例が示されている。ここでは、ステップ５で取得された誤差erro[out]に対しパックプロパゲーション処理を行って学習を実行する。具体的には、予測値actual[out]と正解target[out]とから算出される誤差erro[out]を、出力層から入力層へと遡らせ、より小さくするように伝播させていき、各層の（ネットワーク全体の）結合荷重who[hid][out]、wih[inp][hid]及びwch[inp][hid]を更新していく。このバックプロパゲーション処理は繰り返し実行され、この更新も繰り返し行われる。
Next, FIG. 7 (B) shows an example of program code for executing the back propagation process of steps 6 and 7 (FIG. 4). Here, pack propagation processing is performed on the error erro [out] acquired in
尚、このように誤差erro[out]のみに対して再学習を実行することによって計算量を大幅に低減することができるのである。 Note that the amount of calculation can be greatly reduced by executing relearning only on the error erro [out] as described above.
ここで、バックプロパゲーション処理では、最急降下法によって誤差の極小値の探索を行っているが、一般に、学習係数（図７（Ｂ）のlearnRate）を大きく設定するほど、学習速度はより高くなる。しかしながら、予測値と正解との誤差を結合荷重の関数として見た場合、学習係数が大きすぎると、誤差が増大したり振動したりしてしまう。一方で、学習係数を小さく設定するほどこの振動等の問題は生じにくくなるが、修正量が小さくなって学習速度がより低下してしまう。このように、学習係数を如何に設定するかによって学習速度、即ち収束の速さや、予測精度が大きな影響を受けるのである。これに対し、本発明は、予測を行う予測時点から見て、比較的に近い時系列データと遠い時系列データとを組み合わせて入力し、これらの時系列データが学習に対して異なる形で作用する現象を利用して、学習速度と予測精度とのトレードオフを改善しているのである。 Here, in the back propagation process, the search for the minimum value of the error is performed by the steepest descent method, but in general, the larger the learning coefficient (learnRate in FIG. 7B), the higher the learning speed. . However, when the error between the predicted value and the correct answer is viewed as a function of the combined weight, if the learning coefficient is too large, the error may increase or vibrate. On the other hand, as the learning coefficient is set smaller, problems such as this vibration are less likely to occur, but the amount of correction becomes smaller and the learning speed is further reduced. Thus, the learning speed, ie, the speed of convergence, and the prediction accuracy are greatly affected by how the learning coefficient is set. On the other hand, according to the present invention, relatively long time series data and far time series data are combined and input as viewed from the prediction time point to be predicted, and these time series data act in a different manner on learning. The trade-off between learning speed and prediction accuracy is improved using the phenomenon that
また、この本発明に係るバックプロパゲーション処理においては、テストデータを用いて時間周期階層毎に学習係数の最適値を模索し決定することによって、さらに予測精度の向上をも可能とするのである。 Further, in the back propagation process according to the present invention, it is possible to further improve the prediction accuracy by searching for and determining the optimal value of the learning coefficient for each time cycle hierarchy using test data.
さらに、上述したステップ１〜７の実施形態は、ＲＮＮ特有のコンテキスト層を一次遅れの中間層として複製（写像）することによって入力層と出力層との両方の情報を予測に反映させ、過去の履歴をも網羅して対象データのパターンを識別する。その結果、例えば欠損を含む未知のパターンをも正確に認識することができるようになるのである。
Furthermore, the embodiments of
また、上述したステップ１〜７の実施形態では、例えば、出力層から出力された予測値である予測した移動先を、新たな入力データとして入力層に入力し、再度学習を実行することによって、移動先を予測した時点の更に先の時点での移動先を予測することができる。同様に、この再入力の過程を繰り返すことにより、所定時間内における連続した移動先、例えば移動経路をも予測することが可能となる。
Further, in the embodiment of
［データ予測の実施例］
図８は、本発明によるデータ予測方法の一実施例及び比較例を示すテーブルである。
[Example of data prediction]
FIG. 8 is a table showing an embodiment and a comparative example of the data prediction method according to the present invention.
図８に示すように、本実施例を含む実験では、本実施例の効果（予測精度及び学習時間）を検証するため、実験用の履歴データに対して従来方法（時間周期階層を導入していない時系列データを用いた方法）を採用したデータ予測処理を併せて実施し、比較例１〜３とした。本実施例及び比較例１〜３では、データ予測装置としてのパーソナルコンピュータ（ＰＣ）４として、ＰＣ端末であるMacBook Pro Mid 2012（2.3GHz Intel Core i7内蔵）を使用した。 As shown in FIG. 8, in the experiment including the present embodiment, in order to verify the effect (the prediction accuracy and the learning time) of the present embodiment, the conventional method (a time period hierarchy is introduced to the history data for experiment) The data prediction process which adopted the method of using no time series data was implemented collectively, and was referred to as comparative examples 1 to 3. In the present embodiment and comparative examples 1 to 3, as a personal computer (PC) 4 as a data prediction device, MacBook Pro Mid 2012 (2.3 GHz Intel Core i 7 built-in) which is a PC terminal is used.
本実施例及び比較例１〜３において、学習対象は所定の３年間における１２３１のレコードであり、学習回数は２００００回であった。特徴量ベクトルの次元数、即ち入力層のニューロン（ユニット）数は、本実施例では２４であり、比較例１〜３ではそれぞれ２４、４８及び９６であった。また、隠れ層のニューロン（ユニット）数は、本実施例では１６であり、比較例１〜３ではそれぞれ１６、３２及び６４であった。さらに、学習係数（learnRate）は、本実施例での全ての時間周期階層において０.２に設定され、比較例１〜３でも０.２に設定された。また、誤推定率を評価するための入力には、直近の１００件のレコードを利用した。 In the present embodiment and comparative examples 1 to 3, the learning target is 1231 records in a predetermined three years, and the number of times of learning is 20000 times. The number of dimensions of the feature quantity vector, that is, the number of neurons (units) in the input layer is 24, in this embodiment, and 24, 48 and 96 in Comparative Examples 1 to 3, respectively. In addition, the number of neurons (units) in the hidden layer is 16 in the present embodiment, and is 16, 32, and 64 in Comparative Examples 1 to 3, respectively. Furthermore, the learning coefficient (learnRate) was set to 0.2 in all time period hierarchies in this embodiment, and was set to 0.2 in Comparative Examples 1 to 3. We also used the last 100 records for input to evaluate the false estimate rate.
図８のテーブルに示したように、本実施例では、入力層のニューロン数（特徴量次元数）が４倍である比較例３と同等の、非常に低い誤推定率（４％）を実現できている。しかも、本実施例の学習時間（７６.１cpu sec）は、この比較例３の約１５分の１と非常に短い。これは、本実施例と同じ入力層ニューロン数（特徴量次元数）を有するものの誤推定率が３３％にまで悪化している比較例１と同等の高い学習速度である。このことから、本実施例は、従来と比較して、より高い予測精度とより高い学習速度とをともに実現していることが理解される。 As shown in the table of FIG. 8, in the present embodiment, a very low misestimation rate (4%) equivalent to that of Comparative Example 3 in which the number of neurons in the input layer (the number of feature dimensions) is four is realized. is made of. Moreover, the learning time (76.1 cpu sec) of this example is very short, about one-fifteenth that of this comparative example 3. This is a high learning speed equivalent to that of Comparative Example 1 in which the number of input layer neurons (the number of feature amount dimensions) is the same as that of the present embodiment but the false estimation rate is degraded to 33%. From this, it is understood that the present embodiment achieves both higher prediction accuracy and higher learning speed as compared to the prior art.
以上、詳細に説明したように、本発明によれば、互いに異なる「少なくとも２つの時間周期階層」の各々に係る対象データ値を特徴量要素とする特徴量ベクトルを採用しているので、対象データの有する様々な周期性及びその変化を、効率良く学習することができる。これにより、相当の予測精度を確保しつつも、従来に比べて学習処理のための演算量をより低減することが可能となるのである。 As described above in detail, according to the present invention, since the feature quantity vector having the target data value according to each of the “at least two time period hierarchies” different from each other is adopted as the feature quantity element, the target data It is possible to efficiently learn the various periodicities of and their changes. As a result, it is possible to further reduce the amount of calculation for the learning process as compared to the prior art while securing a considerable prediction accuracy.
また、本発明によるデータ予測処理は、当然に、自動車内に持ち込まれたスマートフォンやカーナビゲーション装置での実行に限定されるものではない。例えば、スマートフォンのユーザが徒歩や、自転車、電車等、自動車以外の手段で移動する場合でも、その移動先を予測するのに適用可能である。さらに、本データ予測処理の予測対象も、当然に、移動先に限定されるものではなく、ユーザの期待する又は所望のニュース等の情報プッシュや、為替・株価の予測等の分野での利用も可能である。いずれにしても、本発明の特徴である異なる時間周期階層に基づく特徴量を取り扱う仕組みは、時系列データにかかわる様々の分野におけるデータ予測に適用・拡張可能となっている。 Moreover, the data prediction process according to the present invention is not of course limited to the execution on a smartphone or a car navigation device brought into a car. For example, even when the user of a smartphone moves by means other than a car, such as walking, a bicycle, or a train, the present invention is applicable to predicting the moving destination. Furthermore, the prediction target of this data prediction processing is, of course, not limited to the moving destination, and is also used in fields such as pushing information such as news expected by the user or desired, and prediction of exchange and stock prices. It is possible. In any case, the mechanism for handling feature quantities based on different time period hierarchies, which is a feature of the present invention, is applicable / expandable to data prediction in various fields related to time series data.
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 For the various embodiments of the present invention described above, various modifications, corrections and omissions of the scope of the technical idea and aspect of the present invention can be easily made by those skilled in the art. The above description is merely an example and is not intended to be limiting in any way. The present invention is limited only as defined in the following claims and the equivalents thereto.
１、３ スマートフォン（データ予測装置）
１０１、２０１、３０１ 通信インタフェース部
１０２、３０２ 測位部
１０３ タッチパネル・ディスプレイ（ＴＰ／ＤＰ）
１０４ スピーカ
１０５ マイク
１０６、２０６ ログ記憶部
１０７、２０７ 結合荷重記憶部
１０８ コンテンツ蓄積部
１１１、３１１ 位置情報取得部
１１２ 状況取得部
１１３、３１３ 特徴量生成部
１１４、３１４ 予測結果処理部
１１５、３１５ ユーザインタフェース（ＩＦ）制御部
１１５ｃ 対話処理部
１２、２２ 深層学習部
１２１ 入力・隠れ層部
１２１ｉ 入力層
１２１ｈ 隠れ層
１２１ｃ コンテキスト層
１２２ 出力層部
１２２ｏ 出力層
２ データ予測サーバ（データ予測装置）
２１１、３１２ 通信制御部
３０３ ユーザＩＦ
４ ＰＣ（データ予測装置）
５ ＧＰＳ衛星
６ 気象情報サーバ
７ ＶＩＣＳ（登録商標）サーバ
８ クレードル
1, 3 smartphone (data prediction device)
101, 201, 301
104
211, 312
4 PC (data prediction device)
5 GPS satellites 6 Weather information server 7 VICS (registered trademark) server 8 Cradle
Claims (14)
互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として入力する、ＮＮに係る入力層と、少なくとも該入力層から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を入力する、ＮＮに係る隠れ層とを有し、該隠れ層から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力する入力・隠れ層手段と、
当該第２の処理信号を入力し、少なくとも、予測に係る時点又は時間範囲における当該対象データの値を出力する、ＮＮに係る出力層を有する出力層手段と
を有し、
前記入力・隠れ層手段及び前記出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行可能である
ことを特徴とするデータ予測装置。 An apparatus comprising a neural network (NN) for learning with time series of target data, and predicting the target data at a certain point in time or a time range,
A first combination of an input layer according to NN and at least a signal output from the input layer, wherein target data values pertaining to time points or time intervals belonging to each of at least two different time period hierarchies are input as feature quantity elements A hidden layer related to the NN, which receives a first processed signal generated by weighting with a load, and generated by weighting the signal output from the hidden layer with a second combined load Input and hidden layer means for outputting a second processed signal;
Output layer means having an output layer according to the NN, which receives the second processing signal and outputs at least a value of the target data at a time or a time range related to prediction;
The input / hidden layer means and the output layer means are capable of performing relearning to update the first coupling load and the second coupling load to reflect the periodicity of at least two relevant time period hierarchies. A data prediction device characterized by
前記隠れ層は、前記コンテキスト層から出力される信号を第３の結合荷重で重み付け処理して生成された第３の処理信号を時間遅れの信号として、当該第１の処理信号と共に入力し、
前記入力・隠れ層手段及び前記出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第３の結合荷重を更新する再学習を実行可能である
ことを特徴とする請求項１に記載のデータ予測装置。 The input / hidden layer means further includes a NN context layer as a layer outputting the same signal as the hidden layer,
The hidden layer inputs, together with the first processing signal, a third processing signal generated by weighting the signal output from the context layer with a third coupling weight, as a time delay signal,
The invention is characterized in that the input and hidden layer means and the output layer means are capable of performing relearning to update a third connection weight to reflect the periodicity of at least two relevant time period hierarchies. The data prediction device according to 1.
少なくとも２つの当該時間周期階層は、第１の時間単位に係る時間を周期とする第１の時間周期階層と、第２の時間単位に係る時間を周期とする第２の時間周期階層と、この後、順次序数を１だけ増分させた時間単位に係る時間を周期とする時間周期階層とのうちの少なくとも２つの時間周期階層を含むことを特徴とする請求項１から４のいずれか１項に記載のデータ予測装置。 The ordinal number is sequentially incremented by one, consisting of a first time unit, a second time unit consisting of a predetermined number of first time units, and then a predetermined number of time units one after the other The unit of time that you
The at least two relevant time cycle hierarchies include a first time cycle hierarchy in which a time related to a first time unit is a cycle, and a second time cycle hierarchy in which a time related to a second time unit is a cycle, 5. The time-period hierarchy according to claim 1, further comprising at least two time-period hierarchies of a time-period hierarchy having a time period according to a time unit in which the ordinal number is sequentially incremented by one. Data prediction device as described.
第１の時間単位、第２の時間単位及び第３の時間単位に係る対象データ値は、当該時間単位における所定の「時刻」又は「時間帯」での値をとる
ことを特徴とする請求項８に記載のデータ予測装置。 The first time unit is "day" and the first time cycle hierarchy is a cycle hierarchy related to "week", and the second time unit is "week" and the second time cycle hierarchy is "month" The third time unit is "Month", and the third time period hierarchy is a periodic hierarchy related to "Year",
The object data values according to the first time unit, the second time unit and the third time unit are values at predetermined "time" or "time zone" in the time unit. The data prediction device according to 8.
前記入力・隠れ層手段及び前記出力層手段は、取得された当該評価結果に基づいて生成された教師データを用いて再学習を実行する
ことを特徴とする請求項１から９のいずれか１項に記載のデータ予測装置。 It further comprises an interface capable of inputting an evaluation result for the value of the target data as the prediction result output from the output layer means,
10. The input / hidden layer means and the output layer means execute relearning using teacher data generated based on the acquired evaluation result. The data prediction device described in.
前記出力層手段によって出力される、予測に係る時点又は時間範囲における当該対象データの値は、当該予測対象における移動先の位置の予測値となる
ことを特徴とする請求項１から１０のいずれか１項に記載のデータ予測装置。 Target data values pertaining to time points or time intervals that belong to each time cycle hierarchy are data values pertaining to the reference position of movement prediction in the prediction target at the time point or time interval and the position of the movement destination,
The value of the said object data in the time or time range which concerns on the prediction which is output by the said output layer means becomes a prediction value of the position of the moving destination in the said prediction object, Any one of Claim 1 to 10 characterized by the above-mentioned. The data prediction device according to item 1.
互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として入力する、ＮＮに係る入力層と、少なくとも該入力層から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を入力する、ＮＮに係る隠れ層とを有し、該隠れ層から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力する入力・隠れ層手段と、
当該第２の処理信号を入力し、少なくとも、予測に係る時点又は時間範囲における当該対象データの値を出力する、ＮＮに係る出力層を有する出力層手段と
してコンピュータを機能させ、
前記入力・隠れ層手段及び前記出力層手段は、少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行可能である
ことを特徴とするデータ予測プログラム。 A program comprising a neural network (NN) for learning with time series of target data, and causing a computer mounted on a device to predict the target data at a certain time or a time range to function.
A first combination of an input layer according to NN and at least a signal output from the input layer, wherein target data values pertaining to time points or time intervals belonging to each of at least two different time period hierarchies are input as feature quantity elements A hidden layer related to the NN, which receives a first processed signal generated by weighting with a load, and generated by weighting the signal output from the hidden layer with a second combined load Input and hidden layer means for outputting a second processed signal;
Causing the computer to function as output layer means having an output layer according to the NN, which receives the second processing signal and outputs at least the value of the target data at a time or a time range related to prediction;
The input / hidden layer means and the output layer means are capable of performing relearning to update the first coupling load and the second coupling load to reflect the periodicity of at least two relevant time period hierarchies. A data prediction program characterized by
互いに異なる少なくとも２つの時間周期階層の各々に属する時点又は時間間隔に係る対象データ値を特徴量要素として、ＮＮに係る入力層に入力するステップと、
少なくとも前記入力層から出力される信号を第１の結合荷重で重み付け処理して生成された第１の処理信号を、ＮＮに係る隠れ層に入力し、該隠れ層から出力される信号を第２の結合荷重で重み付け処理して生成された第２の処理信号を出力するステップと、
当該第２の処理信号を、ＮＮに係る出力層に入力し、少なくとも、予測に係る時点又は時間範囲における当該対象データの値を出力するステップと、
少なくとも２つの当該時間周期階層に係る周期性を反映させるべく第１の結合荷重及び第２の結合荷重を更新する再学習を実行するステップと
を有することを特徴とするデータ予測方法。 A data prediction method in an apparatus, comprising: a neural network (NN) learning with time series of target data, and predicting the target data at a certain point in time or a time range,
Inputting target data values relating to time points or time intervals belonging to at least two different time period hierarchies different from each other as feature quantity elements into an input layer relating to NN;
A first processed signal generated by weighting at least a signal output from the input layer with a first combined weight is input to a hidden layer related to the NN, and a signal output from the hidden layer is converted to a second signal. Outputting a second processed signal generated by weighting processing with a combined weight of
Inputting the second processing signal into an output layer according to the NN, and outputting at least a value of the target data at a time or a time range relating to prediction;
And D. performing relearning to update the first connection weight and the second connection weight so as to reflect the periodicity related to at least two of the time period hierarchies.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015230432A JP6516660B2 (en) | 2015-11-26 | 2015-11-26 | Data prediction apparatus, information terminal, program and method for learning based on data of different periodic hierarchy |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015230432A JP6516660B2 (en) | 2015-11-26 | 2015-11-26 | Data prediction apparatus, information terminal, program and method for learning based on data of different periodic hierarchy |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017097693A JP2017097693A (en) | 2017-06-01 |
| JP6516660B2 true JP6516660B2 (en) | 2019-05-22 |
Family
ID=58803923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015230432A Active JP6516660B2 (en) | 2015-11-26 | 2015-11-26 | Data prediction apparatus, information terminal, program and method for learning based on data of different periodic hierarchy |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6516660B2 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110020738A (en) * | 2018-01-10 | 2019-07-16 | 北京京东金融科技控股有限公司 | For the method, apparatus of data processing, electronic equipment and computer-readable medium |
| KR102678987B1 (en) * | 2018-02-20 | 2024-06-28 | 한국전자통신연구원 | Method and apparatus for predicting time series signal using RNN |
| CN108777153B (en) * | 2018-05-25 | 2021-01-26 | 华中科技大学 | Multi-terminal input synapse device and plasticity modulation method thereof |
| US11775815B2 (en) * | 2018-08-10 | 2023-10-03 | Samsung Electronics Co., Ltd. | System and method for deep memory network |
| JP7418153B2 (en) * | 2018-12-26 | 2024-01-19 | 株式会社Ｎｔｔデータ | Prediction device, learning device, prediction method, and program |
| CN110222840B (en) * | 2019-05-17 | 2023-05-05 | 中山大学 | Cluster resource prediction method and device based on attention mechanism |
| CN114664292B (en) * | 2020-12-22 | 2023-08-01 | 马上消费金融股份有限公司 | Model training method, speech recognition method, device, equipment and readable storage medium |
| CN115022194B (en) * | 2022-05-24 | 2023-09-26 | 桂林电子科技大学 | Network security situation prediction method based on SA-GRU |
| CN115204387B (en) * | 2022-07-21 | 2023-10-03 | 法奥意威(苏州)机器人***有限公司 | Learning method and device under layered target condition and electronic equipment |
| CN117494908B (en) * | 2023-12-29 | 2024-03-22 | 宁波港信息通信有限公司 | Port cargo throughput prediction method and system based on big data |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2533942B2 (en) * | 1989-03-13 | 1996-09-11 | 株式会社日立製作所 | Knowledge extraction method and process operation support system |
| JPH11102351A (en) * | 1997-06-05 | 1999-04-13 | Northern Telecom Ltd | Data sequential value predicting method, data sequential input determining method, and computer system |
-
2015
- 2015-11-26 JP JP2015230432A patent/JP6516660B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017097693A (en) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6516660B2 (en) | Data prediction apparatus, information terminal, program and method for learning based on data of different periodic hierarchy | |
| US20210232984A1 (en) | Order allocation system and method | |
| US11200506B2 (en) | Chatbot integrating derived user intent | |
| US11842271B2 (en) | Multi-scale multi-granularity spatial-temporal traffic volume prediction | |
| US11514543B2 (en) | System and method for ride order dispatching | |
| US10474950B2 (en) | Training and operation of computational models | |
| CN109711557B (en) | Driving track prediction method, computer equipment and storage medium | |
| JP6752457B2 (en) | Machine learning system, equipment and information processing method | |
| EP3567583B1 (en) | Device and method to personalize speech recognition model | |
| US20180025721A1 (en) | Automatic speech recognition using multi-dimensional models | |
| US11507894B2 (en) | System and method for ride order dispatching | |
| CN110400015B (en) | Time estimation method, device and equipment thereof | |
| US20110137834A1 (en) | Learning apparatus and method, prediction apparatus and method, and program | |
| US11776269B2 (en) | Action classification in video clips using attention-based neural networks | |
| US20170213551A1 (en) | Acoustic and Domain Based Speech Recognition For Vehicles | |
| JP2016536597A (en) | Method for predicting destination while moving | |
| JP2015166962A (en) | Information processing device, learning method, and program | |
| CN111726243B (en) | Method and device for predicting node state | |
| KR20200052806A (en) | Operating method of deep learning based climate change prediction system | |
| CN113287124A (en) | System and method for ride order dispatch | |
| CN110175711A (en) | One kind being based on joint LSTM base station cell method for predicting and device | |
| CN111915104A (en) | Method and device for predicting outgoing position | |
| Rahman et al. | Real-time signal queue length prediction using long short-term memory neural network | |
| KR102382211B1 (en) | Citizen satisfaction prediction system and operation method for smart city construction | |
| Elsayed et al. | Predictive proactive caching in VANETs for social networking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180306 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190411 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6516660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |