KR102628947B1 - System for predicting response data and control method thereof - Google Patents
System for predicting response data and control method thereof Download PDFInfo
- Publication number
- KR102628947B1 KR102628947B1 KR1020210014621A KR20210014621A KR102628947B1 KR 102628947 B1 KR102628947 B1 KR 102628947B1 KR 1020210014621 A KR1020210014621 A KR 1020210014621A KR 20210014621 A KR20210014621 A KR 20210014621A KR 102628947 B1 KR102628947 B1 KR 102628947B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- description
- response
- control method
- predicting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004044 response Effects 0.000 title claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 14
- 230000002123 temporal effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000015654 memory Effects 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 230000001364 causal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법에 있어서, 복수의 설명 데이터와 반응 데이터로 구성된 데이터 세트를 획득하는 과정; 윈도우를 이용하여 상기 데이터 세트에서 학습 데이터를 획득하는 과정; 어텐션 메커니즘을 이용하여 상기 학습 데이터로부터 상기 복수의 설명 데이터 중 상기 반응 데이터와 관계가 높고 시차에 대한 정보를 포함하는 예측 설명 데이터를 획득하는 과정; 및 상기 예측 설명 데이터를 이용하여 상기 복수의 설명 데이터와 상기 반응 데이터 사이의 관계를 나타내는 모델을 학습시키는 과정을 포함하는, 반응 데이터를 예측하는 시스템의 제어방법을 제공할 수 있다.A method of controlling a system for predicting reaction data according to an embodiment of the present invention, comprising: acquiring a data set consisting of a plurality of description data and reaction data; A process of acquiring learning data from the data set using a window; Obtaining predicted description data that has a high relationship with the response data and includes information about time difference among the plurality of description data from the learning data using an attention mechanism; And a method of controlling a system for predicting reaction data, including the process of learning a model representing the relationship between the plurality of description data and the reaction data using the prediction description data.
Description
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법에 관한 것으로, 자세히는 어텐션 메커니즘과 다층 뉴럴 네트워크로 표현할 수 있는 예측모델을 이용하여 반응 데이터를 예측하는 시스템 및 그 제어방법에 관한 것이다.It relates to a system for predicting reaction data and a control method thereof according to an embodiment of the present invention. In detail, it relates to a system for predicting reaction data and a control method thereof using an attention mechanism and a prediction model that can be expressed as a multi-layer neural network. will be.
4차 산업혁명 시대의 도래로 수많은 정보가 생성되고 이러한 정보들은 디지털화되어 저장되어 빅데이터를 형성하고 있다. 빅데이터는 현 시점을 기준으로 과거의 정보이지만, 미래를 예측하는데 귀한 자료일 수 있다. With the advent of the 4th Industrial Revolution, a large amount of information is created, and this information is digitized and stored to form big data. Big data is information from the past as of the present, but it can be valuable data for predicting the future.
특히나, 현실 세계에서 발생하는 다양한 사건들은 어떠한 사건이 발생하는 시점과 그 사건에 영향을 미치는 원인이 발생하는 시점이 다른 경우가 대부분이다. In particular, for various events that occur in the real world, the time when an event occurs and the time when the cause that affects the event occurs are often different.
그럼에도 불구하고, 종래에는 사건에 대한 데이터들 간 관계를 찾기 위한 방법으로, 어떤 사건이 발생하는 시점과 그 사건에 영향을 미치는 원인이 발생하는 시점이 동일하다고 가정하고 선형 회귀 모델을 이용하였다. Nevertheless, in the past, as a way to find relationships between data about events, a linear regression model was used, assuming that the time when an event occurs and the time when the cause affecting the event occurs are the same.
그러나, 모든 원인 사건과 결과 사건은 서로 시차를 가지고 발생하므로, 시차를 고려하지 않는 선형 회귀 모델을 이용한 원인과 결과 사건들 사이의 관계를 명확하게 발견할 수 없는 문제점이 있었다.However, because all cause and effect events occur with time lag, there was a problem in that the relationship between cause and effect events could not be clearly discovered using a linear regression model that does not take time lag into account.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 어떤 사건이 발생한 시점과 그 사건에 영향을 미치는 원인들의 발생하는 시점이 다른 경우, 사건의 원인들과 사건 사이의 시차에 대한 정보를 제공할 수 있다. A system for predicting reaction data and a control method thereof according to an embodiment of the present invention, when the time when an event occurs and the time when the causes affecting the event occur are different, the time difference between the causes of the event and the event is provided. Information can be provided.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 발생한 사건(결과)에 영향을 미치고, 시차를 가지고 선행하여 발생한 사건(원인)들에 대한 정보를 제공할 수 있다. The system for predicting reaction data and its control method according to an embodiment of the present invention can influence an event (result) that has occurred and provide information about events (causes) that have occurred prior with a time lag.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 시차를 가지고 선행하여 발생한 사건(원인)들과 발생 사건(결과)에 대한 관계를 다중회귀모델을 이용하여 제공할 수 있다. The system for predicting reaction data and its control method according to an embodiment of the present invention can provide the relationship between events (causes) that preceded each other with time lag and occurrences (results) using a multiple regression model. .
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 어텐션 매커니즘을 이용하여 원인이 되는 각 설명변수들과 결과가 되는 반응변수 간에 가장 가능성이 높은 시차의 정보를 제공할 수 있다. The system for predicting response data and its control method according to an embodiment of the present invention can provide information on the most likely time difference between each causal explanatory variable and the resulting response variable by using an attention mechanism. .
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 시차를 두고 발생하는 다양한 사건들 사이의 원인과 결과의 관계를 예측할 수 있는 정보를 제공할 수 있다.The system for predicting reaction data and its control method according to an embodiment of the present invention can provide information that can predict the cause-and-effect relationship between various events that occur over time.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법에 있어서, 복수의 설명 데이터와 반응 데이터로 구성된 데이터 세트를 획득하는 과정; 윈도우를 이용하여 상기 데이터 세트에서 학습 데이터를 획득하는 과정; 어텐션 메커니즘을 이용하여 상기 학습 데이터로부터 상기 복수의 설명 데이터 중 상기 반응 데이터와 관계가 높고 시차에 대한 정보를 포함하는 예측 설명 데이터를 획득하는 과정; 및 상기 예측 설명 데이터를 이용하여 상기 복수의 설명 데이터와 상기 반응 데이터 사이의 관계를 나타내는 모델을 학습시키는 과정을 포함하는, 반응 데이터를 예측하는 시스템의 제어방법을 제공할 수 있다. A method of controlling a system for predicting reaction data according to an embodiment of the present invention, comprising: acquiring a data set consisting of a plurality of description data and reaction data; A process of acquiring learning data from the data set using a window; Obtaining predicted description data that has a high relationship with the response data and includes information about time difference among the plurality of description data from the learning data using an attention mechanism; And a method of controlling a system for predicting reaction data, including the process of learning a model representing the relationship between the plurality of description data and the reaction data using the prediction description data.
상기 예측 설명 데이터는 동일한 설명 변수에 대한 복수의 설명 데이터 중에 가장 큰 어텐션 가중치를 가질 수 있다. The prediction description data may have the largest attention weight among a plurality of description data for the same description variable.
상기 데이터 세트는 시간적 동일성을 가지는 상기 복수의 설명 데이터와 상기 반응 데이터를 한 개의 데이터행으로 구성하며, 다른 시점에 대한 복수개의 데이터행들을 포함하며, 상기 윈도우는 소정 개수의 데이터행들을 추출하여 상기 학습데이터를 구성할 수 있다. The data set consists of the plurality of description data and the response data having temporal identity as one data row, and includes a plurality of data rows for different viewpoints, and the window extracts a predetermined number of data rows and Learning data can be configured.
상기 모델은 상기 복수의 설명 데이터에 대한 복수의 설명 변수들, 상기 복수의 설명 변수들에 대한 시차, 상기 복수의 설명 변수들에 대한 회귀 계수, 상기 반응 데이터에 대한 반응 변수로 구성된 다중 회귀 모델을 사용할 수 있다. The model is a multiple regression model consisting of a plurality of explanatory variables for the plurality of explanatory data, lags for the plurality of explanatory variables, regression coefficients for the plurality of explanatory variables, and response variables for the response data. You can use it.
상기 모델은 상기 다중 회귀 모델에 의해 예측된 반응 데이터와 실제 반응 데이터 사이의 오차를 줄이는 방향으로 상기 회귀 계수들을 학습시키는 것을 특징으로 할 수 있다.The model may be characterized by learning the regression coefficients in a way to reduce the error between response data predicted by the multiple regression model and actual response data.
상기 학습된 모델을 이용하여 새로운 복수의 설명 데이터에 대한 반응 데이터를 예측하는 것을 특징으로 할 수 있다.Response data for a plurality of new description data may be predicted using the learned model.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 어떤 사건이 발생한 시점과 그 사건에 영향을 미치는 원인들의 발생하는 시점이 다른 경우, 사건의 원인들과 사건 사이의 시차에 대한 정보를 제공하는 효과를 가진다.A system for predicting reaction data and a control method thereof according to an embodiment of the present invention, when the time when an event occurs and the time when the causes affecting the event occur are different, the time difference between the causes of the event and the event is provided. It has the effect of providing information about
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 발생한 사건(결과)에 영향을 미치고, 시차를 가지고 선행하여 발생한 사건(원인)들에 대한 정보를 제공하는 효과를 가진다.The system for predicting reaction data and its control method according to an embodiment of the present invention has the effect of influencing an event (result) that has occurred and providing information about events (causes) that have occurred prior with a time lag.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 시차를 가지고 선행하여 발생한 사건(원인)들과 발생 사건(결과)에 대한 관계를 다중회귀모델을 이용하여 제공하는 효과를 가진다.The system for predicting reaction data and its control method according to an embodiment of the present invention has the effect of providing the relationship between events (causes) that occurred previously with time lag and events (results) using a multiple regression model. have
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 어텐션 매커니즘을 이용하여 원인이 되는 각 설명변수들과 결과가 되는 반응변수 간에 가장 가능성이 높은 시차의 정보를 제공하는 효과를 가진다.The system and control method for predicting response data according to an embodiment of the present invention have the effect of providing information on the most likely time difference between each causal explanatory variable and the resulting response variable using an attention mechanism. have
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법은, 시차를 두고 발생하는 다양한 사건들 사이의 원인과 결과의 관계를 예측할 수 있는 정보를 제공하는 효과를 가진다.The system for predicting reaction data and its control method according to an embodiment of the present invention have the effect of providing information that can predict cause and effect relationships between various events that occur over time.
도 1은 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 일 예인 전자장치의 구성도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 구성도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법의 흐름도를 도시한 것이다.
도 4는 데이터 세트의 구조 및 학습 데이터를 추출하는 방법을 도시한 것이다.
도 5a는 일 예에 따른 모델의 구조를 도시한 것이다.
도 5b는 다른 예에 따른 모델의 구조를 도시한 것이다.
도 5c는 심층신경망 모델의 구조를 도시한 것이다.
도 6은 어텐션 메커니즘을 이용하여 설명 데이터와 반응 데이터 사이의 관계 정보를 획득하는 방법을 도시한 것이다.
도 7은 학습된 모델에 의해 반응 데이터를 예측하는 방법을 도시한 것이다.
도 8은 데이터 세트의 실제 예를 도시한 것이다.Figure 1 shows a configuration diagram of an electronic device, which is an example of a system for predicting reaction data according to an embodiment of the present invention.
Figure 2 shows a configuration diagram of a system for predicting reaction data according to an embodiment of the present invention.
Figure 3 shows a flowchart of a control method of a system for predicting reaction data according to an embodiment of the present invention.
Figure 4 shows the structure of the data set and a method for extracting learning data.
Figure 5a shows the structure of a model according to an example.
Figure 5b shows the structure of a model according to another example.
Figure 5c shows the structure of a deep neural network model.
Figure 6 shows a method of obtaining relationship information between description data and response data using an attention mechanism.
Figure 7 shows a method of predicting response data using a learned model.
Figure 8 shows an actual example of a data set.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.Specific structural or functional descriptions of the embodiments according to the concept of the present invention disclosed in this specification are merely illustrative for the purpose of explaining the embodiments according to the concept of the present invention, and the embodiments according to the concept of the present invention are It may be implemented in various forms and is not limited to the embodiments described herein.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.Since the embodiments according to the concept of the present invention can make various changes and have various forms, the embodiments will be illustrated in the drawings and described in detail in this specification. However, this is not intended to limit the embodiments according to the concept of the present invention to specific disclosed forms, and includes all changes, equivalents, or substitutes included in the spirit and technical scope of the present invention.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.Terms such as first or second may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another component, for example, without departing from the scope of rights according to the concept of the present invention, a first component may be named a second component and similarly a second component A component may also be named a first component.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is said to be “connected” or “connected” to another component, it is understood that it may be directly connected to or connected to that other component, but that other components may also exist in between. It should be. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between. Other expressions that describe the relationship between components, such as "between" and "immediately between" or "neighboring" and "directly adjacent to" should be interpreted similarly.
본 명세서에서 사용한 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Technical terms used in this specification are only used to describe specific embodiments and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in this specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 명세서에 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Unless otherwise defined, all terms used herein, including technical or scientific terms, are generally understood by a person of ordinary skill in the field to which the technology disclosed in this specification belongs, unless specifically defined in a different way in this specification. It has the same meaning as understood as. Terms as defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings they have in the context of the related technology, and unless clearly defined in this specification, should not be interpreted in an idealized or overly formal sense. It shouldn't be.
본 명세서에서 사용되는 구성요소에 대한 접미사 "모듈(module)" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니며, 본 발명의 실시 예에 따른 방법을 수행하기 위한 하드웨어 또는 상기 하드웨어를 구동할 수 있는 소프트웨어의 기능적 또는 구조적 결합을 의미할 수 있다.The suffixes “module” and “part” for components used in this specification are given or used interchangeably only considering the ease of preparing the specification, and do not have distinct meanings or roles in themselves, and do not have distinct meanings or roles in this specification. It may mean a functional or structural combination of hardware for performing a method according to an embodiment of the invention or software that can drive the hardware.
이하에서 첨부된 도면을 참고하여, 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템 및 그 제어방법을 설명한다.Below, with reference to the attached drawings, a system for predicting reaction data and a control method thereof according to an embodiment of the present invention will be described.
도 1은 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 일 예인 전자장치의 구성도를 도시한 것이다.Figure 1 shows a configuration diagram of an electronic device, which is an example of a system for predicting reaction data according to an embodiment of the present invention.
본 발명의 일 실시 예로서, 전자 장치(1000)는, 단말기, 디바이스, 전자기기 등으로 호칭될 수 있다. 전자 장치(1000)는, 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 컴퓨팅 장치일 수 있으나, 이에 한정되는 것은 아니다. 그러나, 이에 한정되지 않으며, 전자 장치(100)는 데이터를 처리하고, 처리된 데이터를 제공할 수 있는 모든 종류의 기기를 포함할 수 있다.도 1에 도시된 바와 같이, 일 실시 예에 따른 전자 장치(1000)는, 메모리(1100), 출력부(1200), 프로세서(1300), 센싱부(1400), 통신부(1500), A/V 입력부(1600) 및 사용자 입력부(1700)를 포함할 수도 있다. 도시된 구성 요소 모두가 전자 장치(1000)의 필수 구성 요소인 것은 아니며, 보다 많은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있고, 보다 적은 구성 요소에 의해 전자 장치(1000)가 구현될 수도 있다.As an embodiment of the present invention, the electronic device 1000 may be called a terminal, a device, an electronic device, etc. The electronic device 1000 includes a smartphone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, a global positioning system (GPS) device, an e-book reader, and a digital broadcasting terminal. , navigation, kiosks, MP3 players, digital cameras, home appliances, and other computing devices, but are not limited to these. However, it is not limited thereto, and the electronic device 100 may include all types of devices capable of processing data and providing processed data. As shown in FIG. 1, the electronic device 100 according to an embodiment The device 1000 may include a memory 1100, an output unit 1200, a processor 1300, a sensing unit 1400, a communication unit 1500, an A/V input unit 1600, and a user input unit 1700. there is. Not all of the illustrated components are essential components of the electronic device 1000, and the electronic device 1000 may be implemented with more components, or the electronic device 1000 may be implemented with fewer components. It may be possible.
*메모리(1100)*Memory (1100)
메모리(1100)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치(1000)로 입력되는 정보 또는 전자 장치(1000)로부터 출력되는 정보를 저장할 수도 있다. 메모리(1100)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(1110), 터치 스크린 모듈(1120), 알림 모듈(1130) 등으로 분류될 수 있다.The memory 1100 may store programs for processing and control of the processor 1300, and may also store information input to the electronic device 1000 or information output from the electronic device 1000. Programs stored in the memory 1100 can be classified into a plurality of modules according to their functions, for example, a UI module 1110, a touch screen module 1120, a notification module 1130, etc. .
*출력부(1200)*Output unit (1200)
출력부(1200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(1200)는 디스플레이부(1210), 음향 출력부(1220), 및 진동 모터(1230)를 포함할 수 있다.The output unit 1200 may output an audio signal, a video signal, or a vibration signal, and the output unit 1200 may include a display unit 1210, an audio output unit 1220, and a vibration motor 1230. there is.
*프로세서(1300)*Processor (1300)
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1100)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(1700), 출력부(1200), 센싱부(1400), 통신부(1500), A/V 입력부(1700) 등을 전반적으로 제어할 수 있다.The processor 1300 typically controls the overall operation of the electronic device 1000. For example, the processor 1300 executes programs stored in the memory 1100, thereby controlling the user input unit 1700, output unit 1200, sensing unit 1400, communication unit 1500, and A/V input unit 1700. ) can be controlled overall.
*센싱부(1400)*Sensing unit (1400)
센싱부(1400)는, 전자 장치(1000)의 상태 또는 전자 장치(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1300)로 전달할 수 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The sensing unit 1400 may detect the state of the electronic device 1000 or the state surrounding the electronic device 1000 and transmit the sensed information to the processor 1300. Since the function of each sensor can be intuitively deduced by a person skilled in the art from its name, detailed description will be omitted.
*통신부(1500)*Communication Department (1500)
통신부(1500)는, 전자 장치(1000)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 전자 장치(1000)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 통신부(1500)는, 근거리 통신부(1510), 이동 통신부(1520), 방송 수신부(1530)를 포함할 수 있다.The communication unit 1500 may include one or more components that allow the electronic device 1000 to communicate with other devices (not shown) and servers (not shown). The other device (not shown) may be a computing device such as the electronic device 1000 or a sensing device, but is not limited thereto. For example, the communication unit 1500 may include a short-range communication unit 1510, a mobile communication unit 1520, and a broadcast reception unit 1530.
*A/V(Audio/Video) 입력부(1600)**A/V (Audio/Video) input unit (1600)*
A/V(Audio/Video) 입력부(1600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1610)와 마이크로폰(1620) 등이 포함될 수 있다. The A/V (Audio/Video) input unit 1600 is for inputting audio or video signals, and may include a camera 1610, a microphone 1620, etc.
*사용자 입력부(1700)*User input unit (1700)
사용자 입력부(1700)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1700)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The user input unit 1700 refers to a means through which a user inputs data to control the electronic device 1000. For example, the user input unit 1700 includes a key pad, a dome switch, and a touch pad (contact capacitive type, pressure resistance type, infrared detection type, surface ultrasonic conduction type, and integral type). Tension measurement method, piezo effect method, etc.), jog wheel, jog switch, etc., but are not limited to these.
도 2는 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 구성도를 도시한 것이다.Figure 2 shows a configuration diagram of a system for predicting reaction data according to an embodiment of the present invention.
본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템은, 데이터 세트 획득부(100), 학습 데이터 획득부(200), 관계 획득부(300), 모델 학습부(400)를 포함할 수 있다. 나아가, 시스템은 모델 적용부(500)를 더 포함할 수 있다. A system for predicting reaction data according to an embodiment of the present invention may include a data set acquisition unit 100, a learning data acquisition unit 200, a relationship acquisition unit 300, and a model learning unit 400. Furthermore, the system may further include a model application unit 500.
데이터 세트 획득부(100), 학습 데이터 획득부(200), 관계 획득부(300), 모델 학습부(400), 모델 적용부(500) 중 적어도 하나는 상술한 프로세서91300)의 일부로서 특정 기능을 수행하는 하드웨어를 의미하거나, 메모리(1100)에 저장된 알고리즘 내지 소프트웨어를 의미할 수 있다. 특정 기능 혹은 알고리즘 내지 소프트웨어는 후술할 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법의 각 과정들 중 적어도 하나를 포함할 수 있다.At least one of the data set acquisition unit 100, the learning data acquisition unit 200, the relationship acquisition unit 300, the model learning unit 400, and the model application unit 500 has a specific function as part of the processor 91300 described above. It may mean hardware that performs, or it may mean an algorithm or software stored in the memory 1100. A specific function, algorithm, or software may include at least one of each process of a control method of a system for predicting response data according to an embodiment of the present invention, which will be described later.
도 3은 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법의 흐름도를 도시한 것이다. 도 4는 데이터 세트의 구조 및 학습 데이터를 추출하는 방법을 도시한 것이다. 도 5a는 일 예에 따른 모델의 구조를 도시한 것이다. 도 5b는 다른 예에 따른 모델의 구조를 도시한 것이다. 도 5c는 심층신경망 모델의 구조를 도시한 것이다. 도 6은 어텐션 메커니즘을 이용하여 설명 데이터와 반응 데이터 사이의 관계 정보를 획득하는 방법을 도시한 것이다. 도 7은 학습된 모델에 의해 반응 데이터를 예측하는 방법을 도시한 것이다. 도 8은 데이터 세트의 실제 예를 도시한 것이다.Figure 3 shows a flowchart of a control method of a system for predicting reaction data according to an embodiment of the present invention. Figure 4 shows the structure of the data set and a method for extracting learning data. Figure 5a shows the structure of a model according to an example. Figure 5b shows the structure of a model according to another example. Figure 5c shows the structure of a deep neural network model. Figure 6 shows a method of obtaining relationship information between description data and response data using an attention mechanism. Figure 7 shows a method of predicting response data using a learned model. Figure 8 shows an actual example of a data set.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법은, 데이터 세트를 획득하는 과정(S100), 데이터 세트로부터 소정의 학습 데이터를 획득하는 과정(S200), 학습 데이터를 이용하여 데이터들 사이의 관계를 획득하는 과정(S300), 데이터들 사이의 관계를 이용하여 모델을 학습시키는 과정(S400)을 포함할 수 있다. 나아가, 제어방법은 학습된 모델을 이용하여 데이터를 적용하는 과정(S500)을 포함할 수 있다. As shown in Figure 3, the control method of a system for predicting response data according to an embodiment of the present invention includes a process of acquiring a data set (S100) and a process of acquiring predetermined learning data from the data set (S200). , It may include a process of obtaining relationships between data using learning data (S300) and a process of learning a model using relationships between data (S400). Furthermore, the control method may include a process (S500) of applying data using a learned model.
각각의 과정 S100 내지 과정 S500은 상술한 데이터 세트 획득부(100), 학습 데이터 획득부(200), 관계 획득부(300), 모델 학습부(400), 모델 적용부(500) 각각에 의해 수행되거나 각각에 저장된 정보일 수 있다. Each process S100 to S500 is performed by the above-described data set acquisition unit 100, learning data acquisition unit 200, relationship acquisition unit 300, model learning unit 400, and model application unit 500. It may be information stored in each.
위와 같은 과정을 통해, 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법은 특정 시점에 발생하는 어떤 사건이 다른 시점에 발생하는 어떤 사건에 의해 영향을 얼마나 받는지에 대한 정보를 얻을 수 있다. 현실 세계에서 발생하는 다양한 사건들의 경우 어떤 사건이 발생하는 시점과 그 사건에 영향을 미치는 원인이 발생하는 시점이 다른 경우가 대부분이다. 즉, 두 가지 사건의 발생시점에서 시간상의 차이인 시차가 존재할 수 있다. 예를 들어, 혼인율은 당해 보다는 몇 년 후 출생률에 영향을 미칠 수 있으며, 그 외에도 집값 상승률, 자녀교육비, 평균 임금 등은 각각 다른 시차를 가지고 출생률에 영향을 미칠 수 있다. 위의 예시에 따르면, 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법은 각각의 다른 시차에 대한 혼인율, 집값 상승률, 자녀교육비, 평균 임금 등이 출생률에 어떻게 영향을 미치는지 정보를 얻을 수 있다.Through the above process, the control method of the system for predicting reaction data according to an embodiment of the present invention can obtain information about how much an event occurring at a specific time is affected by an event occurring at another time. there is. In the case of various events that occur in the real world, in most cases, the time when an event occurs and the time when the cause that affects the event occurs are different. In other words, there may be a time difference between the two events. For example, the marriage rate can affect the birth rate several years later than the current year, and in addition, the rate of increase in house prices, children's education costs, average wages, etc. can affect the birth rate with different time lags. According to the above example, the control method of the system for predicting response data according to an embodiment of the present invention obtains information on how the marriage rate, house price increase rate, children's education expenses, average wage, etc. for each different time lag affect the birth rate. You can.
이하에서 본 발명의 실시예에 따른 반응 데이터를 예측하는 시스템의 제어방법의 각 과정들에 대해 설명한다.Below, each process of the control method of a system for predicting reaction data according to an embodiment of the present invention will be described.
과정(S100)에서, 시스템은 데이터 세트를 획득할 수 있다. 시스템은 메모리(1100)에 저장된 혹은 통신부(1500)를 통해 수신된 데이터 세트(DS)를 획득할 수 있다. In process S100, the system may acquire a data set. The system may acquire the data set DS stored in the memory 1100 or received through the communication unit 1500.
도 4에 도시된 바와 같이, 데이터 세트(DS)는 특정 기준에 의해서 묶인 단위 데이터(UD)들로 구성될 수 있다. 특정 기준이란 시간적 동일성(예. 연도, 전후기, 분기, 월, 시, 분, 초 등, 혹은 이들의 구간), 지역적 동일성(국가, 도시, 등), 주체적 동일성, 객체적 동일성 등을 포함할 수 있다.As shown in FIG. 4, the data set DS may be composed of unit data UD grouped according to specific criteria. Specific criteria may include temporal identity (e.g. year, year, quarter, month, hour, minute, second, etc., or intervals thereof), regional identity (country, city, etc.), subjective identity, objective identity, etc. there is.
단위 데이터(UD)는 특정 기준에 대한 복수의 설명 데이터(X1,X2,…, Xn-1,Xn)와 반응 데이터(Y)를 포함할 수 있다. 설명 데이터와 반응 데이터 사이의 관계를 측정하기 위해, 두 데이터 사이의 관계를 설명을 하는 변수를 설명변수(explanatory variable)라 하고 이에 반응하는 변수를 반응변수(response variable) 라고 한다.Unit data (UD) may include a plurality of description data ( X 1 , To measure the relationship between explanatory data and response data, the variable that explains the relationship between the two data is called an explanatory variable, and the variable that reacts to it is called a response variable.
단위 데이터(UD)는 한 개의 행을 나타내며, 복수개의 행으로 묶인 단위 데이터(UD)는 데이터 세트(DS)를 구성한다. 즉, 데이터 세트(DS)는 m개의 단위 데이터(UD)일 수 있으며, Xij는 j번째 열의 설명변수(Xi)의 j번째 행의 설명 데이터의 값을 의미하며, Yj는 j번째 행의 반응 데이터의 값을 의미한다.Unit data (UD) represents one row, and unit data (UD) bundled into a plurality of rows constitutes a data set (DS). In other words, the data set ( DS) may be m unit data ( UD), It means the value of the reaction data.
일 예로, 데이터 세트(DS)는 연도별 혼인율, 집값 상승률, 자녀교육비, 평균 임금 등의 복수의 설명 데이터와 연도별 출생률의 반응 데이터로 구성될 수 있다. As an example, the data set DS may be composed of a plurality of explanatory data such as marriage rate by year, house price increase rate, children's education expenses, average wage, etc., and response data of birth rate by year.
과정(S200)에서, 시스템은 데이터 세트(DS)로부터 소정의 학습 데이터(LD)를 획득할 수 있다. 시스템은 데이터 세트(DS)를 이용하기 위하여 데이터 세트(DS)의 부분 집합에 대응하는 소정의 학습 데이터(LD)를 획득할 수 있다. In process S200, the system may acquire predetermined learning data (LD) from the data set (DS). In order to use the data set DS, the system may acquire predetermined learning data LD corresponding to a subset of the data set DS.
시스템은 윈도우(W)를 이용하여 데이터 세트(DS)로부터 학습 데이터(LD)를 획득할 수 있다. 윈도우(W)는 소정 개수(W개) 행의 데이터 세트(DS) 내의 데이터들을 추출하여 학습 데이터(LD)를 생성할 수 있다. 학습 데이터(LD)는 데이터 세트(DS)에서 연속하는 W개 행에 해당하는 데이터행들일 수 있다. The system can acquire learning data (LD) from the data set (DS) using the window (W). The window W may generate learning data LD by extracting data in the data set DS of a predetermined number (W) of rows. The learning data LD may be data rows corresponding to W consecutive rows in the data set DS.
W는 윈도우의 크기를 의미하며, 설명변수와 종속변수 사이에 발생할 수 있는 최대 시차를 의미할 수 있다. W의 크기가 클수록 설명변수들에 의해 영향을 받을 수 있는 종속변수를 구할 때 설명변수와 종속변수 사이의 시차가 큰 종속변수까지도 영향 정도를 판단될 수 있다.W refers to the size of the window and can refer to the maximum time difference that can occur between the explanatory variable and the dependent variable. The larger the size of W, the more likely it is that when calculating dependent variables that can be influenced by explanatory variables, the degree of influence can be determined even on dependent variables with a large time lag between the explanatory variable and the dependent variable.
시스템은 열 방향으로 소정의 개수의 행 단위로 윈도우(W)를 슬라이딩시켜서 복수개의 데이터 세트(DS)로부터 복수개의 학습 데이터(LD)를 획득할 수 있다. 소정의 개수는 1개 혹은 복수개로 설정될 수 있다. The system can obtain a plurality of learning data (LD) from a plurality of data sets (DS) by sliding the window (W) in the column direction in units of a predetermined number of rows. The predetermined number may be set to one or multiple numbers.
도 4에 도시된 바와 같이, 시스템은 윈도우(W)를 한 개의 행 단위로 슬라이딩시켜, 데이터 세트(DS)의 1행부터 W행까지의 데이터를 제1 학습 데이터로 추출하고(도 4의 왼쪽으로부터 첫번째 경우), 데이터 세트(DS)의 2행부터 W+1행까지의 데이터를 제2 학습 데이터로 추출하고(도 4의 왼쪽으로부터 두번째 경우), 이를 반복할 수 있으며, 마지막으로 m-W행부터 m행까지의 데이터를 제m-W 학습 데이터로 추출할 수 있다(도 4의 왼쪽으로부터 세번째 경우).As shown in FIG. 4, the system slides the window W in units of one row, extracting data from row 1 to row W of the data set DS as first learning data (left side of FIG. 4 (first case from), data from row 2 to W+1 of the data set (DS) can be extracted as second learning data (second case from the left in Figure 4), and this can be repeated, and finally, from row m-W Data up to m rows can be extracted as the m-W learning data (third case from the left in FIG. 4).
과정(S300)에서, 시스템은 학습 데이터를 이용하여 데이터들 사이의 관계를 획득할 수 있다. 시스템은 특정 설명 노드에서 학습 데이터 내의 특정 설명 데이터의 모든 행의 값들과 반응 데이터 사이의 관계를 획득할 수 있다. In process S300, the system may obtain relationships between data using learning data. The system may obtain the relationship between the response data and the values of all rows of specific description data in the learning data at a specific description node.
도 5a에 도시된 바와 같이, 시스템은 특정 설명 노드(Xi)에 입력된 j번째 학습 데이터의 특정 설명변수(Xi)에 대한 설명 데이터의 값들(Xi j, Xi j+1, …, Xi j+W)을 이용하여 반응변수(Y)의 반응 데이터의 값을 예측하는데 사용될 수 있다. j번째 학습 데이터는 데이터 세트(DS)의 j행부터 j+W행까지의 데이터를 포함할 수 있다. j는 1 부터 m-W 사이의 자연수일 수 있다. As shown in Figure 5a , the system provides the values ( X ij , X i j+W ) can be used to predict the value of the response data of the response variable (Y). The j-th learning data may include data from row j to row j+W of the data set DS. j may be a natural number between 1 and mW.
시스템은 어텐션 메커니즘을 사용하여 설명 데이터들과 반응 데이터 사이의 관계를 획득할 수 있다. 이하에서 어텐션 메커니즘에 대해 우선 설명한 후에 시스템에서 어떻게 어텐션 메커니즘을 이용하는지에 대해 설명한다.The system can use an attention mechanism to obtain the relationship between description data and response data. Below, we will first explain the attention mechanism and then explain how to use the attention mechanism in the system.
주어진 시퀀스(sequence)를 인코더를 통해 벡터로 변환하고 변환된 벡터를 다시 디코더를 통해 시퀀스로 변환하는 형태의 딥러닝 모델의 경우에, 어텐션 메커니즘은 디코더에서 시퀀스의 각 원소를 출력하는 매 시점마다, 인코더의 은닉 상태들을 다시 한번 참고하되, 인코더의 은닉상태를 해당 시점에서 출력해야 하는 원소와 연관이 있는 부분을 더 집중(attention)해서 보는 기법이다.In the case of a deep learning model that converts a given sequence into a vector through an encoder and converts the converted vector back into a sequence through a decoder, the attention mechanism is used every time the decoder outputs each element of the sequence, This is a technique that refers to the encoder's hidden states once again, but pays more attention to the part of the encoder's hidden state that is related to the element that needs to be output at that point.
도 6을 참조하면, 인코딩 시점을 1, 2, …, W이라 할 때, 인코더의 은닉 상태를 각각 h1, h2, …, hW 이라 한다. t (현재)시점에서 디코더의 은닉 상태를 St라 한다. 인코더의 은닉 상태와 디코더의 은닉 상태는 동일한 차원으로 구성된다. 인코더의 은닉상태와 디코더의 은닉상태의 차원은 기 설정된 값으로 결정될 수 있다.Referring to Figure 6, the encoding time points are 1, 2,... , W, the hidden states of the encoder are h 1 , h 2 , … respectively. , h is called W. The hidden state of the decoder at time t (current) is called S t . The hidden state of the encoder and the hidden state of the decoder are composed of the same dimension. The dimensions of the hidden state of the encoder and the hidden state of the decoder can be determined as preset values.
t (현재)시점에서 디코더의 출력 원소를 결정하기 위해, 인코더의 모든 은닉 상태들(h1, h2, …, hW)의 각각이 디코더의 t (현재)시점의 은닉상태(St)와 얼마나 유사한지를 판단하는 어텐션 스코어(attention score) 값이 결정된다. To determine the output element of the decoder at time t (current), each of all hidden states (h 1 , h 2 , ..., h W ) of the encoder is the hidden state (S t ) of the decoder at time t (current). An attention score value that determines how similar it is to is determined.
어텐션 스코어 값은 t (현재)시점의 디코더의 은닉 상태(St)와 인코더의 모든 은닉 상태들(h1, h2, …, hW)에 대해 각각 내적을 수행하여 얻어진다. 이를 수식으로 나타내면 (i=1, 2, …, W)으로 나타낼 수 있다. 어텐션 스코어 값에 소프트맥스 함수를 적용하여 이들의 합이 1이 되는 확률 값으로 변환하며, 이를 어텐션 분포(Attention Distribution)라고 하며, 각각의 값은 어텐션 가중치(Attention weight)라 부른다. 도 6의 소프트맥스 박스의 상단에 박스의 높이가 어텐션 가중치의 크기를 나타낸다.The attention score value is obtained by performing an inner product on the hidden state (S t ) of the decoder at time t (current) and all hidden states (h 1 , h 2 , ..., h W ) of the encoder. If this is expressed in a formula, It can be expressed as (i=1, 2, …, W). By applying the softmax function to the attention score value, it is converted into a probability value whose sum is 1. This is called an attention distribution, and each value is called an attention weight. The height of the box at the top of the softmax box in Figure 6 indicates the size of the attention weight.
각 인코더의 은닉 상태(h1, h2, …, hN)에 각 인코더의 은닉 상태에 대응하는 어텐션 가중치를 곱한 값을 모두 더한 값을 어텐션 값(Attention Value, at)으로 정의한다. The value obtained by multiplying the hidden state of each encoder (h 1 , h 2 , …, h N ) by the attention weight corresponding to the hidden state of each encoder is defined as the attention value (attention value, a t ).
도 7에 도시된 바와 같이, t (현재)시점의 은닉상태(st)와 어텐션 값(at)을 연결(concatenate)하기 위하여, 어텐션 값(at)을 디코더의 t (현재)시점의 은닉상태(st)와 결합하여 하나의 벡터()로 만들어 결과로 출력할 수 있다. 벡터()는 t (현재)시점의 디코더의 출력 값(y)을 계산하기 위해 사용될 수 있다. As shown in Figure 7, in order to concatenate the hidden state (s t ) and the attention value (a t ) at time t (current), the attention value (a t) is converted to the attention value (a t ) at time t (current) of the decoder. Combined with the hidden state (s t ) to form one vector ( ) and can be output as a result. vector( ) can be used to calculate the output value (y) of the decoder at time t (current).
나아가, 벡터()는 학습 가능한 가중치 행렬(Wc)과 곱한 후 하이퍼볼릭탄젠트 함수를 지나 새로운 t (현재)시점에서 디코더의 은닉상태(s't)를 생성할 수 있다. 이를 수식으로 나타내면, s't=tanh*(WcVt+b)로 나타낼 수 있다. 새로운 t (현재)시점에서 디코더의 은닉상태(s't)는 디코터의 출력층의 입력으로 사용되어 디코더의 출력 값(y)를 생성할 수 있다.Furthermore, vector ( ) can be multiplied by a learnable weight matrix (W c ) and then passed through a hyperbolic tangent function to generate the hidden state (s' t ) of the decoder at a new t (current) point in time. This can be expressed as a formula: s' t =tanh*(W c V t +b). At a new time t (current), the decoder's hidden state (s' t ) can be used as an input to the decoder's output layer to generate the decoder's output value (y).
이하에서 시스템에 상술한 어텐션 메터니즘이 어떻게 적용되는지 설명한다.Below, we will explain how the above-described attention mechanism is applied to the system.
시스템은 설명 모드(Xi)에 현재 입력된 j번째 학습 데이터(j행부터 j+W행까지의 데이터)에 포함된 설명변수(Xi)의 설명 데이터의 값들(Xi j, Xi j+1, …, Xi j+W) 중 반응 데이터(Y)을 예측하는데 사용되는 실제 값을 예측할 수 있다. 시스템은 반응 데이터(Y)을 예측하는데 사용되는 실제 값을 예측하기 위해 어텐션 메커니즘을 사용할 수 있다. The system calculates the values ( X ij , , …, X i j+W ), the actual value used to predict the reaction data (Y) can be predicted. The system can use an attention mechanism to predict the actual value used to predict response data (Y).
도 6을 참조하면, 시스템은 각 설명 노드(Xi)에 입력된 설명 데이터들의 값들(Xi j, Xi j+1, …, Xi j+W) 각각에 대한 어텐션 스코어의 값들을 획득하고, 어텐션 스코어의 값들에 소프트맥스 함수가 적용된 어텐션 가중치의 값들을 획득하고, 인코더의 은닉 상태에 대한 정보를 가지는 어텐션 값을 획득할 수 있다. 이후 시스템은 어텐션 값을 이용하여 반응 데이터(Y)를 예측하는데 사용되는 설명 데이터의 값 들 중 어느 하나의 실제 값을 예측할 수 있다.Referring to FIG . 6, the system obtains the values of attention scores for each of the values of description data ( X ij , , the values of the attention weight obtained by applying the softmax function to the values of the attention score can be obtained, and the attention value containing information about the hidden state of the encoder can be obtained. Afterwards, the system can use the attention value to predict the actual value of any one of the values of the description data used to predict the response data (Y).
일 예로, 도 5a를 참조하면, 시스템은 제1 학습데이터를 이용할 경우, 제1 설명 노드(X1)에 입력된 제1 설명 데이터들의 값들(X1 1, X1 2, …, X1 1+W)을 인코더의 입력할 수 있으며, 인코더의 은닉 상태(h1 1, h1 2, …, h1 W)를 획득할 수 있다. 시스템은 제1 시점(t1)에서 디코더의 은닉 상태(S1 t1)를 획득할 수 있다. 시스템은 인코더의 은닉상태(h1 1, h1 2, …, h1 W)의 각각과 디코더의 은닉 상태(S1 t1)를 내적하여 어텐션 스코어 값을 결정할 수 있다. 시스템은 어텐션 스코어에 소프트맥스를 취해 어텐션 가중치를 획득할 수 있다. 시스템은 인코더의 은닉 상태(h1 1, h1 2, …, h1 W)의 각각에 인코더의 은닉 상태(h1 1, h1 2, …, h1 W)에 대응하는 어텐션 가중치를 곱하여 모두 더한 값인 어텐션 값을 획득할 수 있다. As an example, referring to FIG. 5A, when using the first learning data, the system uses the values (X 1 1 , X 1 2 , …, +W ) can be input to the encoder, and the encoder's hidden state (h 1 1 , h 1 2 , …, h 1 W ) can be obtained. The system can obtain the hidden state (S 1 t1 ) of the decoder at a first time point (t 1 ). The system can determine the attention score value by taking the inner product of each of the encoder's hidden states (h 1 1 , h 1 2 , ..., h 1 W ) and the decoder's hidden state (S 1 t1 ). The system can obtain the attention weight by taking softmax on the attention score. The system multiplies each of the encoder’s hidden states (h 1 1 , h 1 2 , …, h 1 W ) by the attention weight corresponding to the encoder’s hidden state (h 1 1 , h 1 2 , …, h 1 W ). You can obtain an attention value that is the sum of all values.
시스템은 제1 학습데이터의 제2 설명 노드(X2)에 입력된 제2 설명 데이터들의 값들(X2 1, X2 2, …, X2 1+W),…, 제n 설명 노드(Xn)에 입력된 제n 설명 데이터들의 값들(Xn 1, Xn 2, …, Xn 1+W)에 대해서도, 제1 설명 노드(X1)에 설명한 과정을 반복하여 각각의 설명 노드에 관한 어텐션 값을 계산할 수 있다. 또한, 시스템은 제1 학습 데이터 뿐만 아니라, 제2 학습 데이터, …, 제m-W 학습 데이터에 대해 위의 과정을 반복할 수 있다. The system calculates the values of the second description data (X 2 1 , X 2 2 , …, X 2 1+W ),… , repeat the process described for the first description node (X 1 ) for the values ( X n 1 , Thus, the attention value for each description node can be calculated. In addition, the system provides not only first learning data, but also second learning data... , the above process can be repeated for the first mW learning data.
시스템은 각 학습데이터 및 각 설명 노드에 대한 어텐션 값을 획득한 후에, 각 설명 노드(Xi)에 입력된 설명 데이터의 값들(Xi j, Xi j+1, …, Xi j+W)에 대응하는 어텐션 가중치들 중 가장 큰 어텐션 가중치를 가지는 예측 설명 데이터(Xi j+t)를 획득할 수 있다. After acquiring the attention value for each learning data and each description node, the system calculates the values of the description data ( X ij , Prediction description data (X i j+t ) having the largest attention weight among the attention weights corresponding to can be obtained.
예측 설명 데이터(Xi j+t)는 반응 데이터(Y)를 예측하는데 사용되는 설명 데이터의 값 들 중 어느 하나의 실제 값에 대응할 수 있다. 예측 설명 데이터(Xi j+t)의 t는 이며, Xi와 Y간 가장 관계가 높은 시차는 t로 볼 수 있다. Predicted description data (X i j+t ) may correspond to the actual value of any one of the values of description data used to predict response data (Y). t of the predicted descriptive data (X i j+t ) is , and the time difference with the highest relationship between X i and Y can be seen as t.
참고로, W는 데이터 세트(DS)에서 학습 데이터를 추출하기 위한 윈도우(W)의 크기이므로, 시차t를 가지면서 높은 관계를 가지는 특정 설명 데이터(Xi)와 반응 데이터(Y)는 W개의 데이터 행으로 이뤄진 학습 데이터 내에서 유효한 정보이다. For reference, W is the size of the window (W) for extracting learning data from the data set (DS), so specific description data (X i ) and response data (Y) that have a time difference t and have a high relationship are W This is valid information within the training data consisting of data rows.
도 5a의 A 부분을 참조하면, 시스템은 각 설명 노드들에 대한 예측 설명 데이터(Xi j+t)를 설명 노드별로 획득할 수 있다. 일 예로, X1 노드의 예측 설명 데이터가 X1 j+1인 경우 X1와 Y 간에 가장 가능성이 높은 시차는 j+1이며, X2 노드의 예측 설명 데이터가 X2 j+1인 경우 X2와 Y 간에 가장 가능성이 높은 시차는 j+1이며,…, Xn 노드의 예측 설명 데이터가 Xn j+W인 경우 Xn와 Y 간에 가장 가능성이 높은 시차는 j+W 이다.Referring to part A of FIG. 5A, the system can obtain predicted description data (X i j+t ) for each description node for each description node. As an example, if the prediction description data of the X 1 node is X 1 j+1, the most likely time difference between X 1 and Y is j+ 1 , and if the prediction description data of the The most likely time difference between 2 and Y is j+1,… , if the predicted description data of node X n is X n j+W, the most likely time difference between X n and Y is j+W.
과정(S400)에서, 시스템은 데이터들 사이의 관계를 이용하여 모델을 학습시킬 수 있다. 도 5a의 B 부분에 도시된 바와 같이, 시스템은 각 설명 노드에 대한 예측 설명 데이터를 이용하여 모델을 학습시킬 수 있다. In process S400, the system can learn a model using relationships between data. As shown in part B of FIG. 5A, the system can learn a model using predicted description data for each description node.
도 5a의 B 부분의 모델은 다층 뉴럴 네트워크(multilayer neural network)로 표현 가능한 다중 회귀 모형(multiple regression model), 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolution Neural Networks, CNN), 장단기 메모리(Long Short-Term Memory, LSTM), 그래프 신경망(Graph Neural Networks, GNN) 등 중 하나의 다층 뉴럴 네트워크로 표현할 수 있는 예측모델들을 적용할 수 있다. The model in part B of Figure 5A is a multiple regression model that can be expressed as a multilayer neural network, deep neural network (DNN), convolution neural network (CNN), short and long term Prediction models that can be expressed as a multi-layer neural network, such as Long Short-Term Memory (LSTM) or Graph Neural Networks (GNN), can be applied.
도 5a의 B 부분은 다중 회귀 모형이 적용된 일 예로, 다중 회귀 모형은 독립적으로 변화하고 다른 변수의 값을 결정하는 복수개의 설명 변수와, 설명변수의 변화에 따라 영향을 받아 값이 결정되는 반응 변수 간의 관계를 파악하기 위한 모델일 수 있다. 다중 회귀 모형을 수식으로 나타내면 아래와 같으며, (X1, X2,…, Xn)는 설명변수를, (Y)는 반응변수, (a1, a2,…, an, b)는 회귀계수를 나타낸다.Part B of Figure 5A is an example of a multiple regression model applied. The multiple regression model includes a plurality of explanatory variables that change independently and determine the values of other variables, and a response variable whose value is determined by being influenced by changes in the explanatory variables. It can be a model to understand the relationship between the two. The multiple regression model is expressed as a formula as follows, where (X1,
또는, 모델은 원인과 결과 사이의 관계 뿐만 아니라 시차까지 동시에 파악하기 위하여 변형된 다중 회귀 모델을 적용할 수 있다. 변형된 다중 회귀 모형을 수식으로 나타내면 아래와 같으며, (t1, t2, …, tn)는 시차를 나타낸다.Alternatively, the model can apply a modified multiple regression model to simultaneously identify not only the relationship between cause and effect but also time lag. The modified multiple regression model is expressed as a formula as follows, where (t1, t2, …, tn) represents the time lag.
즉, 는 Xi와 Y 간에 가장 가능성이 높은 시차t에 대한 정보를 반영한 것이다.in other words, reflects information about the most likely time difference t between Xi and Y.
시스템은 과정(S300)에서 획득한 설명 노드에 대한 예측 설명 데이터를 다중 회귀 모델의 설명변수(Xi)와 시차(t)에 입력으로 받아, 다중 회귀 모델의 회귀계수를 획득하고, 획득한 회귀계수를 이용하여 다중 회귀 모델의 방정식을 획득할 수 있다. The system receives the predicted explanation data for the explanation node obtained in the process (S300) as input to the explanatory variable (X i ) and time lag (t) of the multiple regression model, obtains the regression coefficient of the multiple regression model, and obtains the regression The equation of the multiple regression model can be obtained using the coefficients.
구체적으로, 시스템은 다중 회귀 모델에 의해 예측한 반응변수의 값(f(x))과 실제 반응변수의 값(Y) 간의 오차의 제곱합을 최소화하도록 회귀 계수(a1, a2,…, an, b)를 탐색하는 것으로 모델을 학습시킬 수 있다. 이를 수식으로 나타내면 아래와 같다.Specifically, the system sets the regression coefficients (a1, a2,…, an, b) to minimize the sum of squares of the error between the value of the response variable (f(x)) predicted by the multiple regression model and the actual value of the response variable (Y). ) can be used to learn the model. This can be expressed in a formula as follows:
한편, 도 5b는 도 5a의 B 부분의 다중 회귀 모델을 대신하여 심층 신경망(Deep Neural Network, DNN)을 적용한 다른 예를 도시한 것이다.Meanwhile, Figure 5b shows another example of applying a deep neural network (DNN) instead of the multiple regression model in part B of Figure 5a.
심층신경망 모델은 사람의 신경망 원리와 구조를 모방하여 만든 기계학습 알고리즘으로 반응변수와 예측변수 사이의 복잡한 비선형관계를 다룰 수 있는 모델이다. 도 5c를 참조하면, 심층 신경망 모델의 아키텍처는 입력층(input layer), 출력층(output layer), 은닉층(hidden layer)를 포함할 수 있다. 입력층(input layer)은 예측변수인 다수의 입력데이터를 받고, 출력층(output layer)은 예측값의 출력을 담당한다. 그리고 입력층과 출력층 사이에 존재하는 은닉층(hidden layer)은 숨겨진 신경세포를 포함한다.A deep neural network model is a machine learning algorithm created by imitating the principles and structure of human neural networks and is a model that can handle complex nonlinear relationships between response variables and predictor variables. Referring to FIG. 5C, the architecture of the deep neural network model may include an input layer, an output layer, and a hidden layer. The input layer receives a number of input data that are predictors, and the output layer is responsible for outputting the predicted values. And the hidden layer that exists between the input layer and the output layer contains hidden neurons.
이러한 심층 신경망 모델의 활성화함수(activation function)으로는 Sigmoid , Softmax , ReLU , Leaky ReLU 등 중 어느 하나를 사용할 수 있다.The activation function of this deep neural network model is Sigmoid. , Softmax , ReLU , Leaky ReLU Any one of the following can be used.
이 과정에서 심층신경망 모델은 원인과 결과 사이의 관계 뿐만 아니라 시차까지 동시에 학습할 수 있다.In this process, the deep neural network model can simultaneously learn not only the relationship between cause and effect, but also time differences.
과정(S500)에서, 시스템은 학습된 모델을 이용하여 데이터를 적용할 수 있다. In process S500, the system can apply data using the learned model.
시스템은 학습된 모델을 이용하여 데이터 세트(DS)의 설명 데이터들을 이용하여 반응 데이터를 획득할 수 있다. 학습된 모델은 회귀 계수가 특정한 값을 가지는 변형된 다중 회귀 모델의 방정식으로 표현될 수 있다. 시스템은 상술한 과정(S100) 내지 과정(S300)을 반복하여 각각의 설명 노드에 대한 설명 데이터들에서 예측 설명 데이터의 값 및 시차를 획득할 수 있다. 이 경우 시스템은 예측 설명 데이터의 값과 시차를 학습된 모델에 적용함으로써, 반응 데이터를 예측할 수 있다. The system can acquire response data using the descriptive data of the data set (DS) using the learned model. The learned model can be expressed as the equation of a modified multiple regression model where the regression coefficient has a specific value. The system may repeat the above-described process (S100) to (S300) to obtain the value and time difference of the predicted description data from the description data for each description node. In this case, the system can predict response data by applying the value and time difference of the prediction description data to the learned model.
일 예로, 도 8에 도시된 바와 같이, 데이터 세트(DS)가 소정의 기간(1990년부터 2020년) 동안 연도별 혼인건수(X1), 집값상승률(X2), …, 여성취업률(Xn)과 같은 복수의 설명 데이터들과 출생아수(Y)와 같은 반응 데이터로 이뤄진 경우, 시스템은 데이터 세트를 이용하여 반응 데이터와 시차를 가지는 각각의 예측 설명 데이터 값을 획득하여 모델을 학습(learning)시키고, 학습된 모델을 적용(adaption)하여 2020년도의 출생아수(Y)를 예측할 수 있다. As an example, as shown in FIG. 8, the data set (DS) includes the number of marriages by year (X 1 ), house price increase rate (X2),... , if it consists of multiple explanatory data such as the female employment rate (Xn) and response data such as the number of births (Y), the system uses the data set to obtain each predicted explanatory data value with a time difference from the response data You can predict the number of births (Y) in 2020 by learning and applying the learned model.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely illustrative, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom. Therefore, the true scope of technical protection of the present invention should be determined by the technical spirit of the attached registration claims.
데이터 세트 획득부(100)
학습 데이터 획득부(200)
관계 획득부(300)
모델 학습부(400)
모델 적용부(500)Data set acquisition unit (100)
Learning data acquisition unit (200)
Relationship Acquisition Department (300)
Model learning unit (400)
Model application unit (500)
Claims (6)
복수의 설명 데이터와 반응 데이터로 구성된 데이터 세트를 획득하는 과정;
윈도우를 이용하여 상기 데이터 세트에서 학습 데이터를 획득하는 과정;
어텐션 메커니즘을 이용하여 상기 학습 데이터로부터 상기 복수의 설명 데이터 중 상기 반응 데이터와 관계가 높고 시차에 대한 정보를 포함하는 예측 설명 데이터를 획득하는 과정; 및
상기 예측 설명 데이터를 이용하여 상기 복수의 설명 데이터와 상기 반응 데이터 사이의 관계를 나타내는 모델을 학습시키는 과정을 포함하는, 반응 데이터를 예측하는 시스템의 제어방법.
In the control method of a system predicting reaction data,
A process of acquiring a data set consisting of a plurality of description data and response data;
A process of acquiring learning data from the data set using a window;
Obtaining predicted description data that has a high relationship with the response data and includes information about time difference among the plurality of description data from the learning data using an attention mechanism; and
A control method of a system for predicting reaction data, comprising the step of learning a model representing a relationship between the plurality of description data and the reaction data using the prediction description data.
상기 예측 설명 데이터는 동일한 설명 변수에 대한 복수의 설명 데이터 중에 가장 큰 어텐션 가중치를 가지는, 반응 데이터를 예측하는 시스템의 제어방법.
According to paragraph 1,
A control method of a system for predicting response data, wherein the prediction description data has the largest attention weight among a plurality of description data for the same description variable.
상기 데이터 세트는 시간적 동일성을 가지는 상기 복수의 설명 데이터와 상기 반응 데이터를 한 개의 데이터행으로 구성하며, 다른 시점에 대한 복수개의 데이터행들을 포함하며,
상기 윈도우는 소정 개수의 데이터행들을 추출하여 상기 학습데이터를 구성하는, 반응 데이터를 예측하는 시스템의 제어방법.
According to paragraph 1,
The data set consists of the plurality of description data and the response data having temporal identity as one data row, and includes a plurality of data rows for different time points,
A control method for a system that predicts response data, wherein the window extracts a predetermined number of data rows and configures the learning data.
상기 모델은 상기 복수의 설명 데이터에 대한 복수의 설명 변수들, 상기 복수의 설명 변수들에 대한 시차, 상기 복수의 설명 변수들에 대한 회귀 계수, 상기 반응 데이터에 대한 반응 변수로 구성된 다중 회귀 모델을 사용하는, 반응 데이터를 예측하는 시스템의 제어방법.
According to paragraph 1,
The model is a multiple regression model consisting of a plurality of explanatory variables for the plurality of explanatory data, lags for the plurality of explanatory variables, regression coefficients for the plurality of explanatory variables, and response variables for the response data. A control method for a system that predicts reaction data.
상기 모델은 상기 다중 회귀 모델에 의해 예측된 반응 데이터와 실제 반응 데이터 사이의 오차를 줄이는 방향으로 상기 회귀 계수들을 학습시키는 것을 특징으로 하는, 반응 데이터를 예측하는 시스템의 제어방법.
According to paragraph 4,
A method of controlling a system for predicting response data, wherein the model trains the regression coefficients in a way to reduce the error between response data predicted by the multiple regression model and actual response data.
상기 학습된 모델을 이용하여 새로운 복수의 설명 데이터에 대한 반응 데이터를 예측하는 것을 특징으로 하는, 반응 데이터를 예측하는 시스템의 제어방법.
According to paragraph 1,
A control method of a system for predicting reaction data, characterized in that predicting reaction data for a plurality of new description data using the learned model.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210014621A KR102628947B1 (en) | 2021-02-02 | 2021-02-02 | System for predicting response data and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210014621A KR102628947B1 (en) | 2021-02-02 | 2021-02-02 | System for predicting response data and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220111411A KR20220111411A (en) | 2022-08-09 |
| KR102628947B1 true KR102628947B1 (en) | 2024-01-23 |
Family
ID=82844975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210014621A KR102628947B1 (en) | 2021-02-02 | 2021-02-02 | System for predicting response data and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102628947B1 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101688367B1 (en) | 2016-02-15 | 2016-12-20 | 신용보증기금 | Method for predicting the credit guarantee default and credit insurance insolvency |
| PL3542316T3 (en) * | 2017-05-23 | 2023-02-20 | Google Llc | Attention-based sequence transduction neural networks |
| KR102311239B1 (en) * | 2019-01-15 | 2021-10-12 | 한양대학교 산학협력단 | Deep neural network based non-autoregressive speech synthesizer method and system |
| KR102294639B1 (en) * | 2019-07-16 | 2021-08-27 | 한양대학교 산학협력단 | Deep neural network based non-autoregressive speech synthesizer method and system using multiple decoder |
-
2021
- 2021-02-02 KR KR1020210014621A patent/KR102628947B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220111411A (en) | 2022-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10360735B1 (en) | Providing technical support in an augmented reality environment | |
| CN112598462A (en) | Personalized recommendation method and system based on collaborative filtering and deep learning | |
| CN113688304A (en) | Training method for search recommendation model, and method and device for sequencing search results | |
| US11521255B2 (en) | Asymmetrically hierarchical networks with attentive interactions for interpretable review-based recommendation | |
| US20210158138A1 (en) | Gesture feedback in distributed neural network system | |
| KR102539679B1 (en) | Method, device and system for recommending places tailored to the user based on the user's route | |
| Kumar | A novel weakest t-norm based fuzzy fault tree analysis through qualitative data processing and its application in system reliability evaluation | |
| CN111797854A (en) | Scene model establishing method and device, storage medium and electronic equipment | |
| US20210133494A1 (en) | Anomaly detection apparatus, anomaly detection method, and program | |
| Bebarta et al. | Comparative study of stock market forecasting using different functional link artificial neural networks | |
| Vanhoenshoven et al. | Fuzzy cognitive maps employing ARIMA components for time series forecasting | |
| Shou et al. | MOOC Dropout Prediction Based on Multidimensional Time‐Series Data | |
| CN114118570A (en) | Service data prediction method and device, electronic equipment and storage medium | |
| Messner | From black box to clear box: A hypothesis testing framework for scalar regression problems using deep artificial neural networks | |
| CN111797867A (en) | System resource optimization method and device, storage medium and electronic equipment | |
| KR102628947B1 (en) | System for predicting response data and control method thereof | |
| CN111639318A (en) | Wind control method based on gesture monitoring on mobile terminal and related device | |
| US11941594B2 (en) | User interaction artificial intelligence chat engine for integration of automated machine generated responses | |
| CN116401522A (en) | Financial service dynamic recommendation method and device | |
| Liu et al. | Temporal feature extraction based on CNN-BLSTM and temporal pooling for language identification | |
| CN115630219A (en) | Training method and device of recommendation model and computer equipment | |
| KR20200063318A (en) | Apparatus and method for generating predictive information based on time | |
| Sharma et al. | Price prediction of Ethereum using time series and deep learning techniques | |
| CN110348190A (en) | User equipment ownership judgment method and device based on user's operation behavior | |
| Li et al. | GRU-Attention Interpretable Knowledge Tracking Model with Forgetting Law for Intelligent Education System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |