KR101199856B1

KR101199856B1 - Methods for Generating Segmented Primitive Skills of Intelligent Robot, Recognition and Reproduction Method, and Improvement through Incremental Learning of Primitive Skills

Info

Publication number: KR101199856B1
Application number: KR1020100129169A
Authority: KR
Inventors: 서일홍; 김형규; 이상형
Original assignee: 한양대학교 산학협력단
Priority date: 2010-12-16
Filing date: 2010-12-16
Publication date: 2012-11-09
Also published as: KR20120067641A

Abstract

본 발명은 지능로봇의 분리된 모델 생성방법, 임무 인식 및 재생성 방법, 및 점진적인 학습을 통한 모델 개선 방법에 관한 것으로, 지능로봇의 분리된 모델 생성방법은 (a) 임무 수행을 위한 학습데이터를 획득하는 단계; (b) 상기 획득한 학습데이터들의 산포도 정보를 산출하는 단계; (c) 상기 산출된 산포도 정보에 기초하여 상기 학습데이터를 의미 있는 단위로 분리하는 단계; 및 (d) 상기 분리된 단위 학습데이터들을 각각 모델링하여 다수의 분리된 단위 모델로 표현하는 단계를 포함한다. 이에 의해 사람이나 사전 지식을 사용하지 않고도 로봇 스스로 임무수행정보를 이용하여 임무 수행을 위한 분리된 모델을 생성할 수 있다. The present invention relates to a method for generating a separate model of an intelligent robot, a method for recognizing and regenerating a task, and a method for improving a model through progressive learning. The method for generating a model for an intelligent robot includes (a) obtaining training data for performing a task. Making; calculating distribution information of the acquired learning data; (c) separating the learning data into meaningful units based on the calculated scatter diagram information; And (d) expressing each of the separated unit learning data as a plurality of separated unit models. As a result, the robot can generate a separate model for performing the task using the task performance information by itself without using a person or prior knowledge.

Description

지능로봇의 분리된 모델 생성방법, 임무 인식 및 재생성 방법, 및 점진적인 학습을 통한 모델 개선 방법{Methods for Generating Segmented Primitive Skills of Intelligent Robot, Recognition and Reproduction Method, and Improvement through Incremental Learning of Primitive Skills}Methods for Generating Segmented Primitive Skills of Intelligent Robot, Recognition and Reproduction Method, and Improvement through Incremental Learning of Primitive Skills}

본원발명은 지능로봇의 분리된 모델 생성방법 및 점진적인 학습을 통한 모델 개선 방법에 관한 것으로, 보다 구체적으로는 지능로봇이 스스로 획득한 학습데이터를 통해 분리된 단위 모델들을 생성하고, 점진적인 학습을 통해 추가되는 학습 데이터를 통해 기존의 모델을 수정 및 추가하는 방법에 관한 것이다.
The present invention relates to a method of improving a model through intelligent model generation and progressive learning, and more specifically, to generate separate unit models through learning data acquired by the intelligent robot itself, and to add it through progressive learning. How to modify and add existing models through the training data.

지능 로봇(또는 에이전트)은 사람과의 상호작용을 통해 임무 수행을 위한 학습 데이터를 획득한다. 로봇이 획득한 학습 데이터를 이용하여 단일 모델을 생성하거나, 사람 또는 사전 지식을 기반으로 사전에 분리된 데이터를 이용하여 분리된 모델들을 생성한다. 생성된 모델은 로봇의 임무 수행을 위한 재생성에 사용된다.An intelligent robot (or agent) obtains learning data for performing a task through interaction with a person. A single model is generated using the training data acquired by the robot, or separate models are generated using previously separated data based on human or prior knowledge. The generated model is used to recreate the robot's mission.

그리나 학습 데이터를 이용하여 임무 수행을 위한 모델을 생성하는 과정에서 임무를 단일 모델로 표현하는 경우, 그 모델을 재사용하는 것이 쉬운 일이 아니다. 단일 모델에 임의의 정보를 수정, 추가를 원하는 경우 모델 전체를 다시 생성해야 하기 때문이다. 그래서, 분리된 모델로 생성하는 것이 해당 모델을 재사용에 있는데 있어서 더 유용하다. However, if a task is represented as a single model in the process of creating a model for performing a task using training data, it is not easy to reuse the model. If you want to modify or add arbitrary information to a single model, you have to regenerate the entire model. So, creating a separate model is more useful for reusing that model.

분리된 모델을 생성하기 위한 종래의 임무 수행 모델을 생성하는 방법들은 사람 또는 사전 지식에 의해 학습 데이터를 분리하고, 이들을 기반으로 모델을 생성하는 방법들을 사용해 왔다. 그러나 분리된 모델을 생성하기 위해 사람 또는 사전 지식을 사용하는 경우 개별적인 사람의 선호도 또는 사전 지식에 의해 다양한 방식으로 생성되기 때문에 그 결과물이 천차만별이다.Conventional methods for generating task performance models for generating separate models have used methods of separating training data by people or prior knowledge and generating models based on them. However, when people or prior knowledge is used to generate separate models, the results are varied because they are generated in various ways by the preferences or prior knowledge of individual people.

또한, 모델은 점진적인 학습을 통해 개선해 나갈 필요가 있는데, 종래에는 사람이 개선이 필요한 모델을 선택하고 개선에 사용될 데이터를 지속적이고 점진적으로 생성하여 모델 개선에 사용한다. 그러나, 종래의 점진적 학습 방법들은 기존 모델을 유지하면서 새로운 정보를 추가할 수 있는 방법을 배제하고, 기존 모델의 수정만을 고려하여 진행되고 있다. In addition, the model needs to be improved through gradual learning. In the related art, a user selects a model that needs improvement and continuously and gradually generates data to be used for improvement to use the model for improvement. However, the conventional gradual learning methods exclude the method of adding new information while maintaining the existing model, and proceed only in consideration of the modification of the existing model.

로봇의 임무 수행을 위한 모델은 지속적이고 점진적으로 추가 및 수정될 수 있어야 하고, 이를 기반으로 임무를 재생성 할 수 있어야 한다. 이를 위해서는 로봇 임무 수행을 위한 인지 및 재생성 기술을 동시에 수행할 수 있는 방법들이 제공되어야 하는데, 종래 기술들은 로봇의 임무 재생성을 위한 모델과 임무 인지를 위한 모델을 별도로 생성하여 사용하여 왔다.The model for the robot's mission must be able to be continuously and incrementally added and modified, and the mission can be recreated based on it. To this end, methods for simultaneously performing a recognition and regeneration technique for performing a robot task should be provided. Conventional technologies have been used to separately generate a model for task regeneration and a task recognition for a robot.

하지만 지능 로봇은 불확실성이 존재하는 환경에서 주어진 임무를 수행하기 위한 모델을 생성하고, 이를 기반으로 임무를 재생성 할 수 있어야 한다. 또한, 생성된 모델은 재사용이 용이해야 하고, 점진적인 학습 방법을 이용하여 정보의 수정 및 추가가 가능해야 한다.
However, intelligent robots need to be able to create models to perform a given task in an environment of uncertainty and to recreate them based on that. In addition, the generated model should be easy to reuse, and should be able to modify and add information using a gradual learning method.

따라서, 본 발명의 목적은 사람이나 사전 지식을 사용하지 않고도 로봇 스스로 임무수행정보를 이용하여 임무 수행을 위한 분리된 모델을 생성하는 방법을 제공하는 것이다. 또한, 본 발명의 목적은 생성된 모델에 기초하여 임무를 인식 및 재생성하는 방법을 제공하는 것이다. 또한, 분리된 모델을 점진적으로 추가 또는 수정하고, 이에 기반하여 임무를 재생성하는 방법을 제공하는 것이다.Accordingly, an object of the present invention is to provide a method for generating a separate model for performing a task using the task performance information by the robot itself without using a person or prior knowledge. It is also an object of the present invention to provide a method for recognizing and regenerating tasks based on the generated models. It also provides a way to incrementally add or modify separate models and recreate missions based on them.

상기 목적은 지능로봇의 분리된 모델 생성방법에 있어서, (a) 임무 수행을 위한 학습데이터를 획득하는 단계; (b) 상기 획득한 학습데이터들의 산포도 정보를 산출하는 단계; (c) 상기 산출된 산포도 정보에 기초하여 상기 학습데이터를 의미 있는 단위로 분리하는 단계; (d) 상기 분리된 단위 학습데이터들을 각각 모델링하여 다수의 분리된 단위 모델로 표현하는 단계를 포함하는 지능로봇의 분리된 모델 생성 방법에 의해 달성될 수 있다.The above object is a method for generating a separate model of an intelligent robot, comprising: (a) acquiring learning data for performing a task; calculating distribution information of the acquired learning data; (c) separating the learning data into meaningful units based on the calculated scatter diagram information; (d) may be achieved by a method of generating a separate model of an intelligent robot, which includes expressing each of the separated unit learning data as a plurality of separated unit models.

여기서, 상기 산포도 정보는 분산 정보를 포함하고, 상기 (b) 단계는 상기 분산 정보를 이용하여 상기 학습데이터의 분리점을 결정할 수 있다.Here, the scatter diagram information includes distribution information, and step (b) may determine a separation point of the learning data using the distribution information.

또한, 상기 (b) 단계는 상기 학습 데이터의 분산을 2차 미분하여 2차 미분 값의 부호가 마이너스(-)에서 플러스(+)로 변하는 지점과 플러스(+)에서 마이너스(-)로 변하는 지점을 분리점으로 선택할 수 있다.In addition, the step (b) is the second derivative of the variance of the training data so that the sign of the second derivative value changes from minus (-) to plus (+) and the point from positive (+) to minus (-) Can be selected as the split point.

그리고, 상기 (a) 와 (b) 단계 사이에는 상기 학습데이터를 전처리하는 단계를 포함하고, 상기 학습데이터를 전처리하는 단계는, 상기 학습데이터를 동적 시간 조정(Dynamic Time Warping)을 수행하여 시간을 조정하는 단계; 주성분 분석(Principal Component Analysis)을 통해 상기 학습데이터에서 노이즈를 제거하는 단계를 포함할 수 있다.In addition, the step (a) and (b) comprises the step of preprocessing the learning data, the step of preprocessing the learning data, performing the time by performing dynamic time warping (Dynamic Time Warping) the learning data Adjusting; The method may include removing noise from the training data through principal component analysis.

한편, 상기 (b) 단계는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 상기 학습데이터를 확률적으로 표현하는 단계; 및 상기 가우시안 혼합 모델을 기반으로 확률적으로 표현된 상기 학습데이터를 가우시안 혼합 회귀(Gaussian Mixture Model)로 일반화하여 분산을 산출하는 단계를 포함할 수 있다. On the other hand, step (b) is a step of probabilistically expressing the learning data using a Gaussian Mixture Model (Gaussian Mixture Model); And calculating variance by generalizing the training data probabilistically expressed based on the Gaussian mixture model to a Gaussian mixture regression model.

그리고, 상기 (d) 단계는 상기 모델링을 은닉 마르코프 모델을 통해 수행할 수 있다.In addition, step (d) may perform the modeling through a hidden Markov model.

한편, 상기 목적은 본 발명에 따라, 은닉 마르코프 모델 포워드 알고리즘을 이용하여 상기 제6항에 의해 생성된 단위 모델들을 기반으로 임무를 인식하고 재생성하는 지능로봇의 임무 인식 및 재생성 방법에 의해서도 달성될 수 있다.Meanwhile, according to the present invention, the above object can also be achieved by a task recognition and regeneration method of an intelligent robot that recognizes and regenerates a task based on the unit models generated by the above-described method using a hidden Markov model forward algorithm. have.

한편, 상기 목적은 본 발명에 따라, 지능로봇의 점진적인 학습을 통한 모델 개선 방법에 있어서, (a) 임무 수행을 위한 추가 학습 데이터를 획득하는 단계; (b) 상기 획득한 추가 학습데이터들의 분산 정보에 기초하여 상기 추가 학습데이터를 의미 있는 단위로 분리하는 단계; (c) 상기 추가 학습 데이터를 모델링하여 다수의 분리된 추가 단위 모델로 표현하고, 상기 추가 학습 데이터를 기존의 단위 모델에 기반하여 인식을 수행하여 통합에 적합한 기존 단위 모델을 선택하는 단계; (d) 상기 기존 단위 모델과 상기 추가 단위 모델 간의 쿨백-라이블러 분기 값에 기초하여 상기 추가 단위 모델의 상태를 상기 기존 단위 모델의 상태에 통합함으로써, 하나의 경로를 갖는 모델이나 분기를 갖는 모델을 생성하는 단계를 포함하는 지능로봇의 점진적인 학습을 통한 모델 개선 방법에 의해서도 달성될 수 있다.On the other hand, according to the present invention, the method for improving the model through the progressive learning of the intelligent robot, the method comprising the steps of: (a) obtaining additional learning data for performing the task; (b) separating the additional learning data into meaningful units based on the obtained distribution information of the additional learning data; (c) modeling the additional learning data to represent a plurality of separate additional unit models, and recognizing the additional learning data based on an existing unit model to select an existing unit model suitable for integration; (d) A model having one path or a branch having one path by integrating the state of the additional unit model into the state of the existing unit model based on the coolback-labeller branch value between the existing unit model and the additional unit model. It can also be achieved by a method for improving the model through the gradual learning of the intelligent robot including the step of generating a.

그리고, 상기 (d) 단계는 상기 기존의 단위 모델과 상기 추가 단위 모델 간의 쿨백-라이블러 분기 값을 산출하는 단계; 상기 쿨백 라이블러 분기에 관한 임계치를 산출하는 단계; 및 상기 쿨백 라이블러 분기 값과 상기 임계치를 비교하여 상기 추가 단위 모델의 상태를 상기 기존 모델의 상태를 유지하면서 추가할지, 상기 추가 단위 모델의 상태를 상기 기존 모델의 상태에 합쳐서 통합할지 여부를 결정하는 단계를 포함할 수 있다.The step (d) may include calculating a coolback-labeller branch value between the existing unit model and the additional unit model; Calculating a threshold for the coolback ribler branch; And comparing the coolback ribler branch value with the threshold to determine whether to add the state of the additional unit model while maintaining the state of the existing model, or to combine the state of the additional unit model with the state of the existing model. It may include the step.

또한, 상기 (d) 단계에서 상기 임계치는 상기 기존의 단위 모델의 모든 상태 간의 쿨백-라이블러 분기의 최소값으로 산출할 수 있다.In addition, in the step (d), the threshold may be calculated as the minimum value of the coolback-labeller branch between all states of the existing unit model.

그리고, 상기 (d) 단계는 상기 쿨백-라이블러 분기 값이 상기 임계치보다 작은 경우 상기 추가 단위 모델의 상태를 상기 기존 단위 모델에 합쳐서 하나의 경로를 갖는 모델을 생성하고, 상기 쿨백-라이블러 분기 값이 상기 임계치보다 크거나 같은 경우 상기 추가 단위 모델을 추가함으로써 분기를 갖는 모델을 생성할 수 있다.And, in step (d), if the coolback-ribbler branch value is less than the threshold, the state of the additional unit model is added to the existing unit model to generate a model having one path, and the coolback-liver branch If the value is greater than or equal to the threshold, the model with branches may be generated by adding the additional unit model.

아울러, 상기 (c) 단계에서 상기 모델링은 은닉 마르코프 모델을 통해 수행하고, 상기 통합에 적합한 기존 단위 모델을 선택하는 것은 은닉 마르코프 모델 포워드 알고리즘을 이용하여 상기 추가 단위 학습 데이터와 가장 유사한 모델을 선택할 수 있다.
In addition, in the step (c), the modeling is performed using a hidden Markov model, and selecting an existing unit model suitable for the integration may select a model most similar to the additional unit training data using a hidden Markov model forward algorithm. have.

이상 설명한 바와 같이, 본 발명에 따르면, 사람이나 사전 지식을 사용하지 않고도 로봇 스스로 임무수행정보를 이용하여 임무 수행을 위한 분리된 모델을 생성할 수 있다. 또한, 생성된 모델에 기초하여 임무를 인식 및 재생성 할 수 있다. 또한, 분리된 모델을 점진적으로 추가 또는 수정하고, 이에 기반하여 임무를 재생성 할 수 있다.
As described above, according to the present invention, a robot can generate a separate model for performing a task by using task execution information without using a person or prior knowledge. In addition, the task can be recognized and regenerated based on the generated model. In addition, you can incrementally add or modify separate models and recreate missions based on them.

도 1은 본 발명의 일 실시예에 따라 운동학 교시를 기반으로 로봇에게 'A' 임무(행동)를 교시하는 것을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따라 운동학 교시를 통해 획득한 'A' 임무에 관한 학습데이터를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따라 동적 시간 조정을 수행한 후의 학습데이터를 나타낸다.
도 4는 본 발명의 일 실시예에 따라 주성분 분석을 통해 노이즈가 제거된 후의 학습 데이터를 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따라 임무 'A'의 가우시안 혼합 모델 성분의 개수에 따른 BIC 스코어를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따라 가우시안 혼합 회귀법에 의해 일반화된 학습 데이터를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 분리점 결정 및 분리의 예를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따라 은닉 마르코프 모델으로 모델링 된 일 예를 도시한 것이다.
도 9는 본 발명의 일 실시예에 따라 단위 모델을 이용한 인식 및 재생성 통합 프레임 워크를 보여주는 그래프이다.
도 10은 본 발명의 일 실시예에 따른 점진적인 학습방법의 전체적인 개념을 개략적으로 도시한 것이다.
도 11은 본 발명의 일 실시예에 따라 두 개의 은닉 마르코프 모델의 상태를 합치거나 더하는 기준을 생성하는 방법을 도시한 것이다.
도 12는 본 발명의 일 실시예에 따라 쿨백-라이블러 분기 방법을 이용하여 기존의 단위 모델들과 추가 단위 모델들, 즉 두 가지 은닉 마르코프 모델을 통합하는 일 예를 도시한 것이다.
도 13은 본 발명의 일 실시예에 따라 두 가지 타입의 학습 데이터를 이용하여 통합된 은닉 마르코프 모델을 도시한 것이다.
도 14는 본 발명의 일 실시예에 따라 운동학적 교시를 기반으로 12 자유도(Degree of Freedom: DOF)(몸통 2 자유도, 팔에 10 자유도)를 가진 로봇에게 학습 데이터를 제공하는 것을 도시한 것이다.
도 15는 본 발명의 일 실시예에 따라 분산에 기초하여 학습데이터를 분리하는 과정을 그래프로 도시한 것이다.
도 16은 본 발명의 일 실시예에 따라 커피 타는 임무를 위해 인코딩된 단위 모델을 이용하여 임무를 재생성한 결과를 보여주는 그림이다.
도 17의 (a), (b), (c)는 본 발명의 일 실시예에 따라 각각 임무 'A', 'B', 'C'에 대해 단위 모델에 기초하여 테스트 데이터를 인식하고 재생성한 결과를 나타낸 것이다.
도 18 및 도 19는 본 발명의 일 실시예에 따라 기존의 모델 추가되는 학습 데이터에 의해 개선된 모델을 도시한 것이다. 1 illustrates teaching an 'A' task (behavior) to a robot based on kinematic teaching in accordance with one embodiment of the present invention.
Figure 2 shows the learning data about the 'A' task obtained through the kinematics teaching in accordance with an embodiment of the present invention.
3 illustrates training data after performing dynamic time adjustment according to an embodiment of the present invention.
4 is a graph illustrating training data after noise is removed through principal component analysis according to an embodiment of the present invention.
5 illustrates BIC scores according to the number of Gaussian mixed model components of Mission 'A' according to one embodiment of the present invention.
6 illustrates training data generalized by Gaussian mixed regression in accordance with an embodiment of the present invention.
7 illustrates an example of splitting point determination and splitting according to an embodiment of the present invention.
8 illustrates an example modeled with a hidden Markov model according to an embodiment of the present invention.
9 is a graph illustrating an integrated framework for recognizing and reproducing using a unit model according to an embodiment of the present invention.
10 schematically illustrates an overall concept of a gradual learning method according to an embodiment of the present invention.
FIG. 11 illustrates a method for generating a criterion that combines or adds states of two hidden Markov models in accordance with an embodiment of the present invention.
FIG. 12 illustrates an example of integrating existing unit models and additional unit models, that is, two hidden Markov models, using the coolback-labeller branching method according to an embodiment of the present invention.
FIG. 13 illustrates a hidden Markov model integrated using two types of training data according to an embodiment of the present invention.
FIG. 14 illustrates providing training data to a robot having 12 degrees of freedom (DOF) (2 degrees of freedom in the body, 10 degrees of freedom in the arm) based on kinematic teachings in accordance with one embodiment of the present invention. It is.
15 is a graph illustrating a process of separating learning data based on variance according to an embodiment of the present invention.
FIG. 16 is a diagram illustrating a result of regenerating a mission using an encoded unit model for a coffee burning mission according to an embodiment of the present invention.
(A), (b), (c) of FIG. 17 recognize and regenerate test data based on a unit model for missions 'A', 'B', and 'C', respectively, according to an embodiment of the present invention. The results are shown.
18 and 19 illustrate a model improved by training data added to an existing model according to an embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다. Hereinafter, specific embodiments of the present invention will be described with reference to the drawings.

본 발명에서는 용이한 모델 재사용을 위해 임무 수행을 위한 모델을 단일 모델로 표현하지 않고, 분리된 모델로 표현하는 방법을 제안한다. 분리된 모델을 생성하기 위해서는 우선 학습 데이터를 의미 있는 단위로 분리하는 것이 필요하다. 본 발명에서는 학습 데이터를 의미 있는 단위로 분리하기 위해 확률 정보의 하나인 산포도 정보를 사용한다. The present invention proposes a method of expressing a model for performing a task as a separate model, instead of expressing a model for performing a task for easy model reuse. To create a separate model, it is first necessary to separate the training data into meaningful units. In the present invention, scatter information, which is one of probability information, is used to separate learning data into meaningful units.

정보 이론에 의하면 의미 있는 단어 또는 문장 (예, “Shakespeare" 등)은 의미 없는 단어 또는 문장(예, ”dkfesofksnlfd" 등)에 비해 엔트로피가 낮다. 임무 수행에 있어서도 중요한 정보 (또는 반드시 필요한 정보)는 엔트로피가 낮아야 한다. 엔트로피 정보는 학습 데이터의 의미 있는 부분을 찾아내는데 유용하게 사용될 수 있다. In information theory, meaningful words or sentences (eg, "Shakespeare") have lower entropy than meaningless words or sentences (eg, "dkfesofksnlfd", etc.). Important information (or essential information) in mission performance should be low in entropy. Entropy information can be useful for finding meaningful parts of training data.

본 발명에서는 학습 데이터를 의미 있는 단위로 분리하기 위한 정보로 엔트로피를 사용하는 대신 엔트로피와 비례관계를 갖는 확률 정보 중 하나인 산포도 정보를 사용한다. 산포도는 평균에 대해 데이터의 흩어진 정보를 나타내는 값으로, 분산, 표준편차 등이 이에 속한다. 본 발명에서는 산포도 정보로서 분산 정보를 이용하는 것을 일 예로 설명한다. In the present invention, instead of using entropy as information for separating learning data into meaningful units, scatter diagram information, which is one of probability information having a proportional relationship with entropy, is used. Scatter plots represent scattered information of the data with respect to the mean, such as variance and standard deviation. In the present invention, using the dispersion information as the scatter diagram information will be described as an example.

이하, 본 발명의 일 실시예에 따라 분산 정보를 기반으로 학습 데이터를 의미있는 단위로 분리하는 방법에 대해 구체적으로 설명하기로 한다.
Hereinafter, a method of separating learning data into meaningful units based on variance information according to an embodiment of the present invention will be described in detail.

학습 데이터 획득Learning data acquisition

우선, 임무 수행을 위한 학습 데이터를 획득한다. First, learning data for performing a mission is obtained.

도 1은 운동학 교시를 기반으로 로봇에게 'A' 임무(행동)를 교시하는 것을 도시한 것이다. 본 실시예에서 임무는 도 1과 같은 오른쪽 팔을 드는 것으로 한다. 1 illustrates teaching a robot 'A' mission (behavior) based on kinematic teaching. In this embodiment, the task is to lift the right arm as shown in FIG.

도 1에서 로봇은 총 12 자유도(Degree of Freedom: DOF)를 가지고, 팔에 각각 5개의 자유도를 갖고 몸통에 2개의 자유도를 갖는 것을 일 예로 한다. 학습데이터는 로봇의 각 조인트 각도를 시간축으로 나열한 정보로서, 도 2는 운동학 교시를 통해 획득한 'A' 임무에 관한 학습데이터를 도시한 것이다. In FIG. 1, the robot has a total of 12 degrees of freedom (DOF), five degrees of freedom in each of the arms, and two degrees of freedom in the body. The training data is information in which the joint angles of the robots are arranged on the time axis, and FIG. 2 shows the training data on the 'A' mission obtained through kinematics teaching.

도 2에서 (a)는 오른쪽 팔의 학습 데이터, (b)는 왼팔의 학습 데이터, (c)는 몸통의 학습 데이터를 나타낸다. 도 2를 참조하면, 각 학습 데이터는 상이한 길이, 시간, 속도 등을 갖는 것을 알 수 있다.
In FIG. 2, (a) shows learning data of the right arm, (b) shows learning data of the left arm, and (c) shows learning data of the torso. Referring to FIG. 2, it can be seen that each learning data has a different length, time, speed, and the like.

분산정보 산출Distributed information calculation

획득한 학습데이터를 이용하여 분산 정보를 산출하는 방법은 다음과 같다.
The method of calculating distributed information using the acquired learning data is as follows.

1.다수의 학습 데이터들을 보간 및 동적 시간 조정법(1. Interpolate and train a large number of training data DynamicDynamic TimeTime Warping;DTW)을 이용하여 시간을 조정한다. Adjust the time using Warping (DTW).

도 3은 동적 시간 조정을 수행한 후의 학습데이터를 나타낸다. 동적 시간 조정법은 공지된 기술로서 구체적인 설명은 생략한다. 3 shows learning data after performing dynamic time adjustment. Dynamic time adjustment is a well-known technique, and a detailed description thereof will be omitted.

이때의 학습 데이터는 다음과 같이 정의될 수 있다.The learning data at this time may be defined as follows.

여기서, Xt는 시간 인터벌을 나타내는 1차원 변수이고, X_θ는 관절 각도를 나타내는 (d-1) 차원 변수다. 본 실시예에서 로봇이 12 자유도를 가지므로, X_θ는 12 차원 변수가 된다.Here, Xt is a one-dimensional variable representing a time interval, and X _θ is a (d-1) -dimensional variable representing a joint angle. Since the robot has 12 degrees of freedom in this embodiment, X _θ becomes a 12-dimensional variable.

도 3에서 학습데이터는 동적 시간 조정이 이루어진 상태지만, 불필요한 정보가 포함된 상태이기 때문에 이의 제거가 필요하다.
In FIG. 3, the learning data is in a state where dynamic time adjustment is made, but since the learning data includes unnecessary information, it is necessary to remove the learning data.

2. 주성분 분석 (2. Principal Component Analysis PrincipalPrincipal ComponentComponent AnalysisAnalysis ;PCA)를 이용하여 ; PCA) 노이즈noise 제거 및 불필요한 정보를 제거하고, 중요한 데이터 성분을 추출한다. Eliminate and remove unnecessary information, extract important data elements.

주성분 분석은 평균과 분산의 통계적 성질을 이용한 알고리즘으로서 입력 데이터에 대해 최대 공분산의 각 방향을 가리키는 직교 정규화된 일련의 축들의 집합을 찾는다. 이는 입력 데이터들의 가장 중요한 축들을 찾아 효율적으로 차원을 줄일 수 있다. Principal component analysis is an algorithm that uses the statistical properties of mean and variance to find a set of orthonormal normalized sets of axes that point in each direction of the maximum covariance for the input data. This can find the most important axes of the input data and effectively reduce the dimension.

본 실시예에서는 주성분 분석을 이용하여 학습 데이터의 차원을 축소하고 노이즈를 제거하기 위해 수학식 2를 이용하여 고유 벡터와 고유값을 구한다.In this embodiment, eigenvectors and eigenvalues are obtained using Equation 2 to reduce the dimension of the training data and remove noise by using principal component analysis.

여기서,

는 i번째 조인트 각도,

는 공분산 행렬,

는 고유벡터,

는 고유값을 의미한다. here,

Is the i joint angle,

Is the covariance matrix,

Is the eigenvector,

Means eigenvalues.

주성분 분석을 통해 변환할 차원은 아래 수식에 의해 결정한다.The dimension to convert through Principal Component Analysis is determined by the following equation.

K는 고유값의 개수를 의미한다. 수학식 3을 만족하는 K는 PCA를 통해 변환될 차원의 수를 의미한다. 이렇게 결정된 고유값과 관련 있는 고유벡터를 기반으로 변환 행렬 W를 구한다. 학습데이터 X_θ의 차원이 감소된 학습데이터

는 다음과 같이 변환된다.K means the number of eigenvalues. K satisfying Equation 3 means the number of dimensions to be transformed through the PCA. The transformation matrix W is obtained based on the eigenvectors related to the eigenvalues thus determined. Training data with reduced dimension of training data X _θ

Is converted to

여기서, X_θ는 원래의 학습데이터를 의미하고,

는 학습 데이터의 평균을 의미한다. W에 의해 변환된 학습데이터

는 다음과 같이 정의된다.Here, X _θ means original learning data,

Means the average of the training data. Learning data transformed by W

Is defined as

여기서,

는

와 동일한 값이다, here,

The

Is the same value as

도 4는 주성분 분석을 통해 노이즈가 제거된 후의 학습 데이터를 나타낸 그래프이다. 도 4를 보면, 12 차원의 학습데이터가 3차원으로 축소된 것을 보여준다. 본 실시예에서는 도 1과 같이 오른팔의 관절만을 사용하여 학습 데이터를 수집했기 때문에 차원이 급격히 감소하였다. 여기서, 주요성분의 개수는 위의 수학식 3에 의해 결정된다.
4 is a graph illustrating training data after noise is removed through principal component analysis. 4 shows that the 12-dimensional learning data is reduced in three dimensions. In the present embodiment, since the training data is collected using only the joint of the right arm as shown in FIG. 1, the dimension is drastically reduced. Here, the number of main components is determined by Equation 3 above.

3. 분산을 구하기 위해 가우시안 혼합 모델 ( Gaussian Mixture Model ; GMM )을 이용하여 학습 데이터를 확률적으로 표현한다: 3 . Gaussian mixture model to obtain a dispersion (Gaussian Mixture Model ; Probably represent training data using GMM ):

학습 데이터를 가우시안 혼합 모델로 인코딩하면 확률 정보를 얻게 되는데, EM(Expectaion-maximization) 기법을 이용하여 반복하여 파라미터

,

값을 추출한다.When the training data is encoded into a Gaussian mixture model, probability information is obtained. The parameter is repeatedly repeated using an expectation-maximization (EM) technique.

,

Extract the value.

여기서,

,

는 각각 k번째 성분의 확률, 평균, 공분산을 의미한다. EM의 로컬 서치를 방지하기 위해, k-평균, BIC(Baysian Information Criteria)를 사용한다. 자유 파라미터 BIC는 공지된 것으로 구체적인 설명은 생략한다. here,

,

Denote the probability, mean, and covariance of the kth component, respectively. To prevent local search of EM, k-means, Baysian Information Criteria (BIC) are used. Free parameter BIC is well known and the detailed description is omitted.

성분의 개수는 최소값을 갖는 BIC 점수에 의해 결정되는데, BIC 스코어는 성분의 개수에 따라 랭크된다. 도 5는 임무 'A'의 가우시안 혼합 모델 성분의 개수에 따른 BIC 스코어를 나타낸 것이다. 임무 'A'에서 가우시안 혼합 모델은 3개의 낮은 점수 성분을 갖는다. The number of components is determined by the BIC score with the minimum value, which is ranked according to the number of components. 5 shows the BIC scores according to the number of Gaussian mixed model components of mission 'A'. In mission 'A' the Gaussian mixture model has three low score components.

도 5는 임무 'A'의 학습 데이터를 가우시안 혼합 모델로 나타낸 그래프이다.5 is a graph showing a Gaussian mixture model of training data of mission 'A'.

가우시안 혼합모델은 학습 데이터를 잘 표현하도록 인코딩되며 공분산 매트릭스를 포함하고 있으므로, 이를 통해 분산을 얻을 수 있다. 그러나, 도 5와 같이, GMM의 성분이 시간축의 학습 데이터 정보와 오버랩될 수 있다. 이는 불필요하고 중복적인 분리 점을 생성할 수 있다. The Gaussian mixture model is encoded to represent the training data well and contains covariance matrices, so that variance can be obtained. However, as shown in FIG. 5, the components of the GMM may overlap with the learning data information on the time axis. This can create unnecessary and redundant splitting points.

4. 4. 가우시안Gaussian 혼합 모델을 기반으로 확률적으로 표현된 정보를 Probabilistic representation of information based on mixed models 가우시안Gaussian 혼합 회귀( Mixed Regression ( GaussianGaussian MixtureMixture RegressionRegression ; ; GMRGMR ) 방법을 통해 일반화한다.Generalize through this method.

이는 중복적인 분리 점 생성의 문제를 해결하기 위한 것으로, 도 6은 가우시안 혼합 회귀법에 의해 일반화된 학습 데이터를 나타낸다.This is to solve the problem of redundant separation point generation, and FIG. 6 shows training data generalized by Gaussian mixed regression.

가우시안 혼합 회귀법은 쿼리 변수

를 이용하여

를 구한다. 그리고,

의 평균

과 공분산 매트릭스

가 일반화된다. 전체 학습데이터의 각 특징이 서로 독립적이기 때문에 분산

은

의 대각항로부터 추출될 수 있다. 즉, 분리점은 모든

의 모든

에 의해 개별적으로 결정된다. Gaussian Mixed Regression Query Variables

Using

. And,

Average of

And covariance matrix

Is generalized. Distributed because each feature of the entire training data is independent of each other

silver

It can be extracted from the diagonal term of. That is, the split point is all

All of

Are determined individually.

위와 같은 일련의 과정을 통해 다수의 학습 데이터에 대한 평균 및 분산(

)을 추출하게 된다.
Through this series of steps, we can calculate the mean and variance

) Will be extracted.

학습 데이터 분리 및 Training data separation and 모델링modelling

이 후 로봇은 분산 값을 통해 학습 데이터를 의미 있는 단위로 분리한 후 이들을 별도의 은닉 마르코프 모델로 모델링한다. The robot then separates the training data into meaningful units through variance values and models them as separate hidden Markov models.

전술한 바와 같이, 정규 가우시안 분포 또는 다변량 가우시안 분포 등을 살펴보면 엔트로피와 분산이 비례관계에 있다는 것을 확인할 수 있다. 이때, 학습 데이터를 의미 있게 분리하기 위해서는 분리 경계점을 정확히 찾아내는 것이 무엇보다 중요하다. As described above, when looking at a normal Gaussian distribution or a multivariate Gaussian distribution, it can be seen that entropy and variance are in proportion. At this point, in order to meaningfully separate the learning data, it is most important to accurately find the separation boundary point.

본 발명에서는 정확한 경계점을 찾아내기 위해 학습 데이터

의 분산

을 2차 미분하여 2차 미분 값의 부호가 - → + 지점에서부터 + → - 지점까지가 반드시 하나로 모델링 되어야 하는 의미 있는 부분으로 모델링한다. 위와 같은 지점은 분산이 급격히 감소 되었다가 급격히 증가 되는 부분을 의미한다. 다시 말해, 엔트로피가 급격히 감소 되었다가 급격히 증가 되는 부분이다. In the present invention, the training data to find the exact boundary point

Dispersion

The second derivative is modeled as a meaningful part where the sign of the second derivative value must be modeled as one from-→ + point to + →-point. This point means that the variance decreases rapidly and then increases rapidly. In other words, entropy decreases rapidly and then increases rapidly.

학습 데이터

의 2차 미분값은 다음과 같이 정의된다.Learning data

The second derivative of is defined as

여기서,

는 차원 축소된 전체 학습 데이터의 i번째 주요 특징의 분산을 의미한다.here,

Denotes the variance of the i th major feature of the entire scaled down data.

도 7은 본 발명의 일 실시예에 따른 분리점 결정 및 분리의 예를 도시한 것으로, 도 7의 (a)는 'A'임무에 대해

을 2차 미분하여 얻은 분리점을 보여주고 있다. 도 7의 (a)에서 의미 있는 정보는

범위에 있는 데이터이다. 따라서, 분리기준은 도 7의 (a)와 같이 의미 있는 데이터의 끝점들이다.FIG. 7 illustrates an example of determination and separation of separation points according to an embodiment of the present invention, and FIG. 7A illustrates a task 'A'.

The separation point obtained by the second derivative is shown. Meaningful information in (a) of FIG.

The data is in range. Therefore, the separation criteria are end points of meaningful data as shown in FIG.

이와 같이 분산을 기초로 하여 학습데이터

를 분리하면 분리된 단위 학습데이터들의 집합은 다음과 같이 정의된다.In this way, learning data based on variance

If we separate, the set of separated unit learning data is defined as follows.

여기서, K는 분리된 단위 학습데이터의 개수를 의미한다.Here, K means the number of separated unit learning data.

도 7의 (b)는 본 발명의 실시예에 따라 분리된 세 개의 단위 학습데이터를 나타낸 것이다.
7 (b) shows three unit learning data separated according to the embodiment of the present invention.

이렇게 분리된 단위 학습데이터들은 연속적 은닉 마르코프 모델(Hidden Markov Models: HMM)에 의해 개별적으로 인코딩된다. 은닉 마르코프 모델로 학습 데이터를 표현하는 이유는 임무의 인지 및 재생성이 동시에 수반될 수 있는 모델로 표현하기 위함이다. These separate unit learning data are individually encoded by successive Hidden Markov Models (HMM). The reason for expressing the training data by the hidden Markov model is to express it as a model that can be accompanied by the recognition and regeneration of the task at the same time.

은닉 마르코프 모델은 순차적인 정보를 가진 단위 학습데이터를 이용하여 시간적 정보를 인코딩하기 위한 통계 모델이며, 은닉 마르코프 모델의 파라미터는 다음과 같이 정의된다.The hidden Markov model is a statistical model for encoding temporal information using unit learning data having sequential information, and the parameters of the hidden Markov model are defined as follows.

여기서, πi, Ai, Bi는 단위 학습데이터 각각에 대한 초기 확률, 전이 확률 및 관측 확률을 가리킨다. 전이 확률 Ai는 i번째 상태에서 m번째 상태로 전이하는 확률로서 다음과 같이 정의된다.Where i, Ai, and Bi are unit learning data It indicates the initial probability, transition probability and observation probability for each. The transition probability Ai is a probability of transitioning from the i th state to the m th state as follows.

q는 은닉 마르코프 모델의 상태, t는 시간, N은 전체 상태의 개수를 의미한다. q is the state of the hidden Markov model, t is the time, and N is the total number of states.

관측 확률 Bi는 다변량 가우시안 분포로 모델링되며, 다음과 같이 정의된다.The observed probability Bi is modeled as a multivariate Gaussian distribution and is defined as

(D-1)은 단위 학습데이터

의 차원을 나타낸다.
(D-1) is unit learning data

Represents the dimension of.

도 8은 은닉 마르코프 모델으로 모델링 된 일 예를 도시한 것이다. 본 실시예에서의 임무는 한 방향으로 시간 연속성을 갖기 때문에, 도 8에서는 좌-우 은닉 마르코프 모델으로 모델링된다.8 shows an example modeled with a hidden Markov model. Since the task in this embodiment has time continuity in one direction, it is modeled as a left-right hidden Markov model in FIG.

은닉 마르코프 모델의 λi는 바움-웰치(Baum-Walch) 알고리즘을 이용하여 산출한다. 은닉 마르코프 모델은 단위 학습데이터를 표현하기 위한 상태의 최적 개수를 결정한다. 여기서, BIC는 상태의 개수를 결정하는데 사용되며, BIC가 최소가 되는 지점에서 상태가 결정된다. 본 실시예에서 'A'임무의 3개의 단위 학습데이터의 상태의 개수는 아래 표1과 같이 결정된다. [Lambda] i of the hidden Markov model is calculated using the Baum-Walch algorithm. The hidden Markov model determines the optimal number of states for representing unit learning data. Here, the BIC is used to determine the number of states, and the state is determined at the point where the BIC becomes minimum. In this embodiment, the number of states of the three unit learning data of the 'A' mission is determined as shown in Table 1 below.

은닉 마르코프 모델의 파라미터 λ는 다음과 같이 정의된다.The parameter λ of the hidden Markov model is defined as follows.

여기서, K는 단위 학습데이터의 개수를 의미한다. Here, K means the number of unit learning data.

이렇게 은닉 마르코프 모델으로 모델링된 단위 학습데이터를 이하에서는 단위 모델(스킬(skill) 또는 행동이라고도 함)이라 부르기로 한다. 이러한 단위 모델들은 은닉 마르코프 모델 포워드 알고리즘을 이용하여 임무를 인식하는데 사용된다. 로봇은 최대 로그-우도를 갖는 모델

를 선택하며,

는 다음과 같이 정의된다.The unit learning data modeled as the hidden Markov model will be referred to as unit model (also referred to as skill or behavior). These unit models are used to recognize the task using a hidden Markov model forward algorithm. Robots have a maximum log-likelihood model

&Lt; / RTI >

Is defined as

여기서,

는 인식을 위한 학습데이터를 의미하고, λi는 i번째 은닉 마르코프 모델의 파라미터이다. here,

Denotes learning data for recognition, and λ i is a parameter of the i th hidden Markov model.

도 9는 전술한 방법에 의한 단위 모델을 이용한 인식 및 재생성 통합 프레임 워크를 보여주는 그래프이다.9 is a graph showing an integrated framework for recognizing and reproducing using a unit model according to the above-described method.

도 9를 참조하면, 분산 기반으로 학습 데이터들을 분리한 후(10), HMM(20)에 의해 인코딩되고, 포워드 알고리즘을 이용하여 인식할 수 있다(30).Referring to FIG. 9, after separating the training data on the basis of variance (10), it may be encoded by the HMM 20 and recognized using a forward algorithm (30).

또한, 로봇은 주어진 임무를 성취하기 위해 보간과 은닉 마르코프 모델의 상태 샘플을 이용하여 단위 모델을 재생성 할 수 있다(40).In addition, the robot can regenerate the unit model using state samples of the interpolation and hidden Markov models to accomplish a given task (40).

이와 같이, 본 발명에 따른 로봇은 획득한 다수의 학습데이터를 분산을 기초로 의미 있는 단위로 분리하여 다수의 단위 모델을 생성할 수 있다.
As described above, the robot according to the present invention may generate a plurality of unit models by separating the obtained plurality of learning data into meaningful units based on variance.

점진적인 학습에 의한 모델 개선Model Improvement by Progressive Learning

생성된 단위 모델들은 바로 임무 수행의 성능을 보장하기 어렵기 때문에, 사람과의 상호작용을 통해 지속적이고 점진적으로 수정 및 추가될 수 있어야만 한다. 사람은 만족스럽지 않은 모델만 개선하기를 원하지만, 대응하는 모델을 개선하기 위한 학습데이터를 정확히 제공할 수 없다. 비록 사람이 가치있는 데이터를 제공한다고 하더라도 이 데이터들이 모델의 개선을 보증할 수는 없다.Since the generated unit models are difficult to guarantee the performance of mission performance immediately, they must be able to be continuously and gradually modified and added through human interaction. One wants to improve only those models that are not satisfactory, but cannot provide exactly the training data to improve the corresponding model. Although humans provide valuable data, these data cannot guarantee improvement of the model.

점진적인 학습을 위한 추가적인 학습 데이터는 두 가지 종류로 구분할 수 있다.Additional learning data for progressive learning can be divided into two types.

1. 기존의 모델을 수정하기 위한 목적의 데이터, 1. data for the purpose of modifying existing models,

2. 기존의 모델을 유지하면서 정보를 추가하기 위한 목적의 데이터. 2. Data for the purpose of adding information while maintaining the existing model.

또한, 두 가지 모두 즉, 수정 및 추가를 동시에 하기 위한 데이터도 존재한다. There is also data for both modifications, ie modifications and additions at the same time.

사람이 하나의 학습 모델을 수정 또는 추가하기 위해 학습 데이터를 로봇에게 제공하는 것이 쉽지 않기 때문에, 본 발명에서는 이러한 추가적인 학습 데이터를 의미 있는 정보로 분리되도록 하는 과정을 수행한다. 추가적인 학습 데이터는 사람과의 상호작용을 통해 기존의 모델을 개선하기 위한 데이터지만, 이들은 어느 정도 기존의 모델 정보를 포함하기도 한다.Since it is not easy for a person to provide training data to a robot in order to modify or add a learning model, the present invention performs a process of separating such additional training data into meaningful information. The additional training data is for improving existing models through interaction with humans, but they may also include some existing model information.

추가적인 학습 데이터는 전술한 분산 기반의 분리 방법에 의해 의미 있는 단위로 분리되고, 분리된 데이터들은 기존의 은닉 마르코프 모델들과 비교하여 가장 적합한 모델들을 선택하는 과정을 수행한 후 기존의 은닉 마르코프 모델들의 상태에 통합되는 작업이 수행된다. The additional training data is separated into meaningful units by the above-described variance-based separation method, and the separated data are compared with the existing hidden Markov models to select the most suitable models and then the existing hidden Markov models Work that is integrated into the state is performed.

도 10은 본 발명의 일 실시예에 따른 점진적인 학습방법의 전체적인 개념을 개략적으로 도시한 것이다.10 schematically illustrates an overall concept of a gradual learning method according to an embodiment of the present invention.

도 10을 참조하면, 로봇에게 인간과의 상호작용을 통해 점진적으로 단위 모델을 개선하기 위한 새로운 추가 학습데이터를 획득하도록 한 후, 이 추가 학습 데이터는 앞서 제안한 분산에 기초한 분리방법을 통해 분리하는 처리 과정을 거친다(100). Referring to FIG. 10, after the robot acquires new additional learning data for gradually improving the unit model through interaction with humans, the additional learning data is separated through a separation method based on the above-described variance. Go through the process (100).

분리된 추가 학습데이터들(110)은 은닉 마르코프 모델 포워드 알고리즘을 이용하여 기존의 단위 모델들에 기반하여 인식된다(130). 이때, 최대 우도값(maximum likehood)을 계산하여 개선할 대상이 되는 가장 적합한 모델을 선택한다. The separated additional training data 110 is recognized based on the existing unit models using a hidden Markov model forward algorithm (130). At this time, the maximum likehood is calculated to select the most suitable model to be improved.

추가 학습 데이터들을 개별적인 은닉 마르코프 모델로 표현된다(120). Additional training data are represented 120 as individual hidden Markov models.

본 발명에서는 쿨백-라이블러 분기(Kullback-Leibler divergence) 기반으로 두 은닉 마르코프 모델을 통합함으로써(140) 모델을 개선하는 방법을 제안한다. 쿨백-라이블러 분기는 기존 은닉 마르코프 모델의 상태와 추가적인 학습 데이터의 은닉 마르코프 모델의 상태를 합치거나, 기존 모델에 추가적인 학습 데이터의 은닉 마르코프 모델의 상태가 추가되도록 하는 역할을 수행한다. The present invention proposes a method for improving the model by integrating (140) two hidden Markov models on the basis of Kullback-Leibler divergence. The coolback-liver branch serves to combine the state of the existing hidden Markov model with the state of the hidden Markov model of the additional training data or to add the state of the hidden Markov model of the additional training data to the existing model.

이때, 쿨백-라이블러 분기값을 이용하여 두 은닉 마르코프 모델의 상태들이 합치거나 더해지도록 하기 위해서는 기준이 필요하다. 쿨백-라이블러 분기는 다양한 분야에서 사용되어 왔고, 이를 사용하는 기준(즉, 임계치)는 사람이 직접 결정해 왔다. 본 발명에서는 쿨백-라이블러 분기의 기준을 로봇이 스스로 결정하도록 하였다. In this case, a criterion is required to add or add states of the two hidden Markov models using the coolback-labeller branch value. The coolback-labeller branch has been used in a variety of fields, and the criteria for using it (ie, the threshold) have been determined by humans. In the present invention, the robot determines the criteria of the coolback-ribbler branch by itself.

도 11은 두 개의 은닉 마르코프 모델의 상태를 합치거나 더하는 기준을 생성하는 방법을 도시한 것이다.FIG. 11 illustrates a method for generating a criterion that combines or adds states of two hidden Markov models.

도 11을 참조하면, 추가 마르코프 모델(200)과 기존 마르코프 모델(210) 각 상태들 간의 쿨백-라이블러 분기(240)를 계산하고, 각 상태들이 다른 상태들과 분리되어야 하는 기준으로 계산된 각 상태들 간의 쿨백-라이블러 분기값 중 최소가 되는 값을 추가된 학습 데이터의 은닉 마르코프 모델의 상태를 합치거나 추가하는 기준으로 사용하였다(220). 이는 은닉 마르코프 모델의 각 상태가 하나로 표현될 수 있거나, 별도의 상태로 표현되어야 하는지에 대한 좋은 기준이 된다. Referring to FIG. 11, the coolback-labeller branch 240 between the states of the additional Markov model 200 and the existing Markov model 210 is calculated, and the angles calculated on the basis that each state should be separated from the other states. The minimum value of the coolback-labeller branch values between states was used as a reference for adding or adding states of the hidden Markov model of the added training data (220). This is a good criterion as to whether each state of the hidden Markov model can be represented as one, or as a separate state.

즉, 기존 모델의 상태와 추가 모델의 상태의 통합은 기존 모델의 상태가 수정되는 경우와 기존 모델의 상태가 수정되지 않고 유지되는 경우 두 가지 경우가 있다. In other words, the integration of the state of the existing model and the state of the additional model is two cases where the state of the existing model is modified and the state of the existing model remains unmodified.

쿨백-라이블러 분기를 이용한 두 은닉 마르코프 모델의 통합 작업의 결과로 하나의 경로를 갖는 은닉 마르코프 모델 또는 분기가 발생한 은닉 마르코프 모델이 생성될 수 있다. 분기가 발생한 은닉 마르코프 모델이 생성될 수 있는 이유는 추가된 학습 데이터의 은닉 마르코프 모델의 상태가 기존의 은닉 마르코프 모델에 추가되기 때문이다. As a result of the integration of the two hidden Markov models using the coolback-liver branch, a hidden Markov model with one path or a hidden Markov model with branching can be generated. The reason why the branched hidden Markov model can be generated is that the state of the hidden Markov model of the added training data is added to the existing hidden Markov model.

이때, 기존의 모델을 수정하기 위한 목적의 데이터인 경우 분기가 발생한 경로를 제거하는 것으로 추가된 학습 데이터에 대한 은닉 마르코프 모델을 생성할 수 있다. 또한, 기존의 모델을 유지하면서 정보를 추가하기 위한 목적의 데이터인 경우 분기된 경로를 갖는 은닉 마르코프 모델을 통해 두 가지 정보를 모두 가지고 있는 하나의 모델을 생성할 수 있다. 마지막으로 점진적인 학습 및 재생성을 위해서는 추가되는 학습 데이터가 어떤 모델에 적합한 데이터인지 인지하는 과정이 반드시 필요하다. 본 발명에서는 은닉 마르코프 모델을 기반으로 인지 및 재생성이 동시에 수행될 수 있는 통합 프레임워크를 제안한다. In this case, in case of data for the purpose of modifying the existing model, a hidden Markov model for the added training data may be generated by removing the path where the branch occurs. In addition, in the case of data for the purpose of adding information while maintaining the existing model, one model having both information can be generated through a hidden Markov model having a branched path. Finally, for progressive learning and regeneration, it is necessary to recognize which model the additional training data is suitable for. The present invention proposes an integrated framework that can simultaneously perform recognition and regeneration based on the hidden Markov model.

도 12는 쿨백-라이블러 분기 방법을 이용하여 기존의 단위 모델들과 추가 단위 모델들, 즉 두 가지 은닉 마르코프 모델을 통합하는 일 예를 도시한 것으로, (a)는 기존의 모델

과 추가적인 단위 모델의

을 도시한 것이고, (b)는 통합된 단위 모델들을 나타낸 것이다. 12 illustrates an example of integrating existing unit models with additional unit models, that is, two hidden Markov models using the coolback-labeller branching method, and (a) illustrates an existing model.

And additional unit models

(B) shows the integrated unit models.

여기서, 쿨백-라이블러 분기는 두 확률 분포 간의 차이를 측정한 값이다. 두 은닉 마르코프 모델의 통합은 기존의 모델

의 상태에 추가 모델

의 상태를 합치거나(merge) 추가(add)하는 것에 의해 이루어진다. Here, the coolback-ribbler branch is a measure of the difference between two probability distributions. Integration of two hidden Markov models is the traditional model

Model added to the state of

This is done by merging or adding states.

구체적으로, 추가 모델

의 모든 상태

가 쿨백-라이블러 분기를 이용하여 기존 모델

의 모든 상태

에 추가 또는 합쳐진다. Specifically, additional model

All states of

Existing Models Using Coolback-Libler Branches

All states of

Is added or added to.

두 상태의 쿨백-라이블러 분기는 다음과 같이 정의된다.The coolback-labeler branch in both states is defined as follows.

여기서, D_KL은 은닉 마르코프 모델들의 상태의 관측 확률인 두 가우시안

와

의 쿨백-라이블러 분기를 의미한다. 은닉 마르코프 모델의 두 상태가 기존의 은닉 마르코프 모델의 하나의 상태로 합쳐질 때, 합쳐진 상태의 파라미터는 다음과 같이 정의된다.Where D _KL is the two Gaussian probability of observation of the state of the hidden Markov models

Wow

Stands for Coolback-Libler Quarter. When the two states of the hidden Markov model are merged into one state of the existing hidden Markov model, the parameters of the merged state are defined as follows.

여기서, w는 각 상태의 기여를 제어하는 가중 파라미터이며, 여기서는 w=0.5인 것으로 가정한다. 상태 전이 확률은 두 상태의 전이 확률을 합하고 정규화하여 결정된다.Here, w is a weighting parameter controlling the contribution of each state, and it is assumed here that w = 0.5. The state transition probability is determined by summing and normalizing the transition probabilities of the two states.

은닉 마르코프 모델의 두 상태를 합하기 위해서 쿨백-라이블러 분기의 임계치를 결정한다. 임계치는 기존의 은닉 마르코프 모델의 모든 상태 간의 쿨백-라이블러 분기의 최소값으로 자동으로 생성된다. 기존 모델

의 상태

에 대한 임계치는 다음과 같이 정의된다.To sum the two states of the hidden Markov model, we determine the threshold of the coolback-ribbler branch. The threshold is automatically generated with the minimum value of the coolback-ribbler branch between all states of the existing hidden Markov model. original model

State of

The threshold for is defined as

표 2는 임무 'A'를 쿨백-라이블러 분기에 기초하여 은닉 마르코프 모델 상태로 통합하기 위한 상대적인 임계치를 나타내는 표이다.Table 2 is a table showing the relative thresholds for integrating mission 'A' into the hidden Markov model state based on the coolback-labeller branch.

임무 'A'에서 상태 임계값

,

는 아래 표 2와 같이 0.000433, 0.000433, 0.000924로 결정된다.State threshold on mission 'A'

,

Are determined as 0.000433, 0.000433, 0.000924 as shown in Table 2 below.

이들의 쿨백-라이블러 분기 값이 임계치보다 작으면, 도 12의 (a)의 두 상태는 도 12의 (b)의

로 통합된다.If their coolback-labeller branch values are less than the threshold, the two states of FIG.

Is incorporated.

만약 그렇지 않다면, 추가 은닉 마르코프 모델의 상태는 도 12의 (b)의

로서 단위 모델에 추가된다. If not, the state of the additional hidden Markov model is shown in FIG.

Is added to the unit model.

임계치를 생성하는 이유는 다음과 같다. 단위 모델에서 상태의 개수는 단위 학습데이터를 은닉 마르코프 모델으로 모델링하기 위해 BIC 알고리즘과 바움-웰시 알고리즘에 의해 최적으로 결정된다. 따라서, 단위 모델은 적어도 관측 분포의 쿨백-라이블러 분기 값의 차이를 갖는 상태들로 표현되어야 한다. 두 상태를 합친다는 것은 은닉 마르코프 모델에 있는 상태들에 대한 관측 분포의 쿨백-라이블러 분기 값의 차이보다 더 작다는 것을 의미한다. The reason for generating the threshold is as follows. The number of states in the unit model is optimally determined by the BIC algorithm and the Baum-Welsey algorithm to model the unit learning data as a hidden Markov model. Thus, the unit model should be expressed as states with at least a difference in the coolback-ribbler branch value of the observed distribution. Combining the two states means that it is less than the difference in the coolback-ribbler branch value of the observed distribution for the states in the hidden Markov model.

결과적으로 단위 모델에 추가적인 은닉 마르코프 모델의 모든 상태를 추가하거나 합침으로써 통합이 이루어지기 때문에, 통합된 은닉 마르코프 모델은 도 12의 (b)에 도시된 바와 같이 상태 전이 교차를 포함할 수 있다. As a result integration is achieved by adding or combining all the states of the additional hidden Markov model to the unit model, the integrated hidden Markov model may include state transition intersections as shown in FIG.

도 13은 두 가지 타입의 학습 데이터를 이용하여 통합된 은닉 마르코프 모델을 도시한 것으로, (a)는 적합하지 않은 상태를 제거한 은닉 마르코프 모델을 도시한 것이고, (b)는 적합한 상태를 유지하는 은닉 마르코프 모델을 도시한 것이다. FIG. 13 shows a hidden Markov model integrated using two types of training data, (a) shows a hidden Markov model that eliminates an unsuitable state, and (b) shows a concealment to maintain a suitable state. The Markov model is shown.

도 13의 (a)에 도시된 바와 같이, 기존의 모델에서 불필요한 상태를 제거하고 여기에 추가적인 상태가 대체될 수 있다. 이로 인해, 불필요한 정보가 통합되는 것을 방지할 수 있기 때문에 단위 임무는 신속히 개선된다. 또한, 도 13의 (b)와 같이, 기존 모델의 모든 상태가 유지되면서 추가 상태를 보유하는 방향으로 개선될 수도 있다. 이는 개선된 모델이 여러 가지 다른 종류의 임무를 수행할 수 있도록 해준다. As shown in (a) of FIG. 13, an unnecessary state may be removed from the existing model and an additional state may be replaced therein. As a result, unit missions are rapidly improved because unnecessary information can be prevented from being integrated. In addition, as shown in FIG. 13B, all states of the existing model may be maintained and improved in a direction of retaining additional states. This allows the improved model to perform many different kinds of tasks.

통합된 은닉 마르코프 모델에서 상태의 제거와 유지는 두 가지 기준에 의해 결정될 수 있다. 먼저, 추가적인 상태에 의해 재생성된 모델이 단위 모델의 목표를 성취할 수 있는지, 추가적인 상태에 의해 재생성된 모델이 연속하는 모델과 자연스럽게 연결될 수 있는지 여부이다.In the integrated hidden Markov model, the removal and retention of states can be determined by two criteria. First, whether the model regenerated by the additional state can achieve the goal of the unit model, and whether the model regenerated by the additional state can be naturally connected with the continuous model.

마지막으로, 단위 모델의 학습결과는 점진적인 학습을 위한 학습데이터의 순서 효과에 의해 변경되어서는 안 된다. 그러나, 상태 전이 교차는 순서 효과로 인한 학습 결과가 변경되게 할 수 있다. 이를 방지하기 위해, 교차된 상태의 쿨백-라이블러 분기가 모든 상태의 쿨백-라이블러 분기보다 작은 경우 교차된 상태를 합친다. 본 발명에서는 사람의 상호작용에 의해 시범된 학습 데이터를 이용하여 자동으로 또한 점진적으로 개선된 모델을 생성할 수 있다.
Finally, the learning result of the unit model should not be changed by the order effect of the learning data for gradual learning. However, state transition intersection can cause the learning result due to the order effect to be changed. To prevent this, the crossed states are summed if the coolback-ribbler branch in the crossed state is smaller than the coolback-labeller branch in all states. In the present invention, the training data demonstrated by human interaction can be used to generate an automatically and gradually improved model.

실험 결과Experiment result

본 발명에서 제안하는 방법에 대한 실험 예를 보이기 위해 로봇에게 알파벳 쓰기와 커피를 타는 임무를 여러 번 학습시켰다.In order to show an experimental example of the method proposed in the present invention, the robot was trained a number of times to write an alphabet and take a coffee.

도 14는 운동학적 교시를 기반으로 12 자유도(Degree of Freedom: DOF)(몸통 2 자유도, 팔에 10 자유도)를 가진 로봇에게 학습 데이터를 제공하는 것을 도시한 것이다. FIG. 14 illustrates providing training data to a robot having 12 degrees of freedom (DOF) (2 degrees of freedom in the body, 10 degrees of freedom in the arm) based on kinematic teaching.

각 조인트의 운동학적 데이터는 모든 임무에 대해 10Hz 단위로 기록되었다. The kinematic data of each joint was recorded in 10 Hz units for all missions.

표 3은 몇몇 시범에 의해 생성된 전체 학습 데이터를 나타낸 것이다.Table 3 shows the overall training data generated by some of the demonstrations.

'A', 'B', 'C' 임무는 허공에 알파벳 'A', 'B', 'C' 를 쓰는 임무를 나타낸다. 또한, 더 복잡한 임무로서, 커피에 다가가기, 커피를 푸기, 코피를 이동하기, 커피를 쏟기, 커피를 젓기, 제자리로 돌아오기로 구성된 커피를 타는 복잡한 임무를 일 예로 하였다.The tasks 'A', 'B' and 'C' indicate the mission of writing the letters 'A', 'B' and 'C' in the air. In addition, as a more complex task, the complex task of burning coffee, which includes approaching coffee, brewing coffee, moving nosebleeds, pouring coffee, brewing coffee, and returning to place, is one example.

모든 임무를 위한 단위 학습데이터를 생성하기 위해, 전체 학습데이터를 동적 시간 조정법에 의해 시간적으로 조정했다. 주요 특징을 추출하고, 센서의 노이즈를 제거하기 위해 전체 학습데이터는 주성분 분석을 통해 변환 및 조정한다. 그리고, 그리고, 차원이 축소된 전체 데이터를 가우시안 혼합 모델과 가우시안 혼합 회귀를 통해 인코딩하고 일반화하며, 이러한 일련의 절차를 거쳐 분산이 산출된다.In order to generate unit learning data for all tasks, the whole learning data was temporally adjusted by dynamic time adjustment. In order to extract the main features and remove the noise of the sensor, the entire training data is transformed and adjusted through principal component analysis. Then, the entire dimension-reduced data is encoded and generalized through Gaussian mixture model and Gaussian mixture regression, and variance is calculated through this series of procedures.

분리 기준은 분산을 2차 미분하여 추출한다. 분리기준은 분산이 증가하거나 감소하는 점을 분리점으로 쉽게 선택할 수 있다. The separation criterion is extracted by second derivative of the variance. Separation criteria can easily be selected as the point of separation where the variance increases or decreases.

도 15는 이러한 분산에 기초하여 학습데이터를 분리하는 과정을 그래프로 도시한 것이다.15 graphically illustrates the process of separating learning data based on this variance.

도 15를 참조하면, (a)는 시범을 통해 학습데이터를 획득하는 단계로서, 대응하는 아래 그래프에서 획득한 학습 데이터가 일종의 경로들(Trajectories)로 그래프에 표현된 것을 알 수 있다.Referring to FIG. 15, (a) is a step of acquiring learning data through a demonstration, and it can be seen that the learning data obtained from the corresponding graph below is represented in the graph as a kind of trajectories.

도 15의 (b)는 동적 시간 조정법에 따라 조정되는 단계로서, 대응하는 아래 그래프에서 시간 조정된 데이터를 도시하고 있다.FIG. 15B is a step adjusted according to the dynamic time adjustment method, and shows the time adjusted data in the corresponding lower graph.

도 15의 (c)는 주요성분분석을 통해 주요성분을 추출하는 단계로서, 대응하는 아래 그래프에서 주요성분만 추출하여 분석한 그래프를 도시하고 있다.Figure 15 (c) is a step of extracting the main component through the main component analysis, and shows a graph of the analysis by extracting only the main component from the corresponding graph below.

도 15의 (d)는 가우시안 혼합 모델을 통해 인코딩하는 단계로서, 대응하는 아래 그래프에서 가우시안 혼합 모델로 표현된 데이터가 도시되어 있다.FIG. 15D illustrates encoding through a Gaussian mixture model, in which data represented by the Gaussian mixture model is shown in the corresponding graph.

도 15의 (e)는 가우시안 혼합 회귀를 통해 일반화하는 단계로서, 대응하는 아래 그래프에서 일반화된 데이터를 도시하고 있다.FIG. 15E illustrates the generalization through Gaussian mixed regression, which illustrates the generalized data in the corresponding graph below.

도 15의 (f)는 앞서 (a)~(e) 단계를 거쳐 산출된 데이터를 분산에 기초하여 의미있는 단위로 분리하는 단계로서, 아래 그래프에서 2차 미분을 통해 2차 미분 값의 부호가 - → + 지점에서부터 + → - 지점에 대해 각각 모델링 되도록 분리를 수행한 결과를 도시하고 있다. 도 15의 (f)의 그래프를 보면 5개의 분기점을 통해 학습 데이터를 총 6개의 의미 있는 단위로 분리한 것을 알 수 있다.FIG. 15 (f) is a step of separating the data calculated through the steps (a) to (e) into meaningful units based on the variance. In the graph below, the sign of the second derivative is represented by the second derivative. The results of the separation are shown so that they are modeled separately from-→ + points. Looking at the graph of Figure 15 (f) it can be seen that the learning data is divided into a total of six meaningful units through five branch points.

표 4는 모든 임무에 대한 단위 학습데이터와 은닉 마르코프 모델 상태의 개수를 도시한 것이다.Table 4 shows the unit learning data and the number of hidden Markov model states for all tasks.

표 4를 참조하면, 'A', 'B', 'C' 임무는 3개의 단위 학습데이터로 분리되었고, 커피를 타는 임무는 6개의 단위 학습 데이터로 분리되었다. Referring to Table 4, 'A', 'B', and 'C' missions were divided into three unit learning data, and the coffee burning task was divided into six unit learning data.

이렇게 분리된 단위 학습 데이터를 각각 바움-웰치 알고리즘과 BIC를 이용하여 은닉 마르코프 모델으로 모델링한다. 표 4에 도시된 바와 같이, 은닉 마르코프 모델은 좌-우 은닉 마르코프 모델을 통해 생성되며, 은닉 마르코프 모델을 주어진 임무 수행을 위한 단위 모델로 부른다.The separated unit learning data is modeled as a hidden Markov model using the Baum-Welch algorithm and BIC, respectively. As shown in Table 4, the hidden Markov model is generated through the left-right hidden Markov model, and the hidden Markov model is called a unit model for a given task performance.

도 16은 커피 타는 임무를 위해 인코딩된 단위 모델을 이용하여 임무를 재생성한 결과를 보여주는 그림이다. 커피를 타는 임무에서, 단위 모델은 6개의 단위 모델로 생성되고, 각 단위 모델은 다가가기, 푸기, 옮기기, 푸기, 젓기, 돌아오기를 보여주고 있다.FIG. 16 is a diagram illustrating a result of regenerating a mission using an encoded unit model for a coffee burning mission. In the coffee-making mission, a unit model is created with six unit models, each showing a approach, a solve, a move, a solve, a stir and a return.

임무 'A"는 3가지 단위 모델(

), 임무 'B'는 3가지 단위 모델(

), 임무 'C'는 3가지 단위 모델(

)로 구성된다.Mission 'A' has three unit models (

), Mission 'B' is a three-unit model (

), Mission 'C' is a three-unit model (

).

도 17의 (a), (b), (c)는 각각 임무 'A', 'B', 'C'에 대해 단위 모델에 기초하여 테스트 데이터를 인식하고 재생성한 결과를 나타낸 것이고, 도 17의 (d)는 커피 타는 임무에 대한 인식 및 재생성 결과를 나타낸다. 인식의 성공률은 포워드 알고리즘을 이용한 은닉 마르코프 모델의 매칭의 정확성으로 측정된다. 재생성의 성공률은 임무 완수와 연속하는 단위 모델의 연속성에 의해 측정된다. (A), (b), and (c) of FIG. 17 show results of recognizing and regenerating test data based on a unit model for missions 'A', 'B', and 'C', respectively, and of FIG. (d) shows the result of recognition and regeneration of the coffee burning mission. The success rate of recognition is measured by the accuracy of matching hidden Markov models using forward algorithm. The success rate of regeneration is measured by mission completion and continuity of successive unit models.

도 17에서 알 수 있듯이, 이 임무들은 90% 이상의 인식률 및 재생성률을 보여주고 있다. 또한, 로봇은 단위 모델을 이용하여 조금 다른 임무를 수행할 수 있다. 로봇은 여러 번 단위 모델을 수행할 수 있으며, 단위 임무를 다양한 시퀀스(예컨대, 'B'임무의 단위 임무를 이용하여 'P' 쓰기 임무를 수행하거나, 다양한 힘으로 커피를 타는 것, 커피를 젓는 횟수를 달리하여 커피를 타는 등)로 혼합하여 수행할 수 있다.
As can be seen in FIG. 17, these tasks show a 90% recognition rate and a regeneration rate. The robot can also perform slightly different tasks using the unit model. The robot can perform the unit model several times, and the unit task can be performed in various sequences (e.g., using the unit mission of the 'B' mission to perform the 'P' writing task, or to drink coffee with various powers or to stir coffee). Coffee may be mixed in different times).

이하에서는 '커피에 다가가기' 임무에 대해 두 가지 상황에서 단위 임무를 이용하여 점진적인 학습방법을 통한 모델 수정의 예를 설명하고자 한다. 도 18 및 도 19는 기존의 모델 추가되는 학습 데이터에 의해 개선된 모델을 도시한 것이다. The following describes an example of model modification through incremental learning method using unit task in two situations for 'going to coffee' task. 18 and 19 illustrates a model improved by training data added to an existing model.

도 18의 (a)는 로봇이 커피에 다가가기에 적합하지 않은 상태에 있는 기존의 단위 모델, (b)는 로봇이 커피에 다가갈 수 있는 상태에 있는 추가 학습 데이터, (c)는 로봇이 임무 수행에 적합한 상태에 있는 기존의 단위 모델, (d)는 다른 방법으로 커피에 다가가는 학습데이터를 나타낸다. (A) of FIG. 18 is a conventional unit model in which the robot is not suitable for reaching coffee, (b) additional learning data in which the robot can approach coffee, and (c) The existing unit model, (d), which is in a state suitable for mission performance, represents learning data that approaches coffee in different ways.

도 19의 (a)는 도 18의 (a), (b)에 의한 개선 모델, 도 19의 (b)는 도 18의 (c), (d)에 의한 개선모델을 나타낸다. 도 19에 도시된 바와 같이, '커피에 다가가기'는 3개의 단위 모델로 분리 생성된다. 추가되는 학습 데이터도 분산에 기반하여 3개로 분리되어 각각 은닉 마르코프 모델에 의해 모델링된다. 전술한 바와 같이 추가 학습 데이터는 은닉 마르코프 모델의 포워드 알고리즘을 이용하여 기존 모델에 대해 인식되며, 이때, 유사도를 통해 통합에 가장 적합한 기존 모델을 선택하게 된다. (A) of FIG. 19 shows the improvement model by FIG. 18 (a), (b), and FIG. 19 (b) shows the improvement model by FIG. 18 (c), (d). As shown in FIG. 19, 'close to coffee' is generated in three unit models. The additional training data is also divided into three based on variance and each modeled by a hidden Markov model. As described above, the additional training data is recognized for the existing model using the forward algorithm of the hidden Markov model. At this time, the similarity model selects the existing model that is most suitable for integration.

도 19의 (a-2), (b-2)를 참조하면, q¹ _old와 q¹ _new는 합쳐져서 q¹ _syn를 생성한 것을 알 수 있다. 즉, 두 모델 간의 쿨백-라이블러 분기 값이 임계치보다 크기 때문에 두 상태가 합쳐진 것을 알 수 있다. Referring to FIGS. 19A and 19B, it can be seen that q ¹ _old and q ¹ _new are combined to generate q ¹ _syn . That is, since the coolback-labeller branch values between the two models are larger than the threshold, the two states are combined.

하지만, q² _old와 q² _new는 두 모델 간의 쿨백-라이블러 분기 값이 임계치보다 작기 때문에 기존의 모델의 상태가 유지되면서 분기가 생긴 것을 확인할 수 있다. However, since q ² _old and q ² _new have a coolback-labeller branch value between the two models smaller than the threshold, it can be confirmed that the branching occurs while the state of the existing model is maintained.

다만, q³ _old와 q³ _new의 경우, 도 19의 (a-2)에서는 분기가 생긴 상태에서 유지되지만, 도 19의 (b-2)에서는 두 상태가 합쳐진 것을 알 수 있다. However, in the case of q ³ _old and q ³ _new , the branching state is maintained in a state in FIG. 19 (a-2), but the two states are combined in FIG. 19 (b-2).

한편, 도 19의 (a-2), (b-2)에서와 같이 분기가 발생한 경우라도, 기존의 모델이 새로운 추가 모델에 의해 대체되는 경우도 있다. On the other hand, even when a branch occurs as shown in Figs. 19A and 19B, the existing model may be replaced by a new additional model.

즉, 도 18의 (a)는 기존의 모델로서 커피에 다가가기에 적합하지 않은 상태에 있기 때문에, 도 19의 (a-3)와 같이 추가 모델이 기존의 모델을 대체하는 형태를 가질 수 있다. 즉, 도 18의 (a) 상태가 임무 수행에 적합하지 않기 때문에 서로 교차하는 상태가 제거된다. 도 19의 (a-1)에서 기존 모델은 커피에 다가가는데 있어서 48%의 성공률을 가지며, 새로운 모델은 95%의 성공률을 갖는다. 따라서, 중복되는 기존 모델을 제거하고 새로운 모델로 대체하여 도 19의 (a-3)과 개선된다. That is, since (a) of FIG. 18 is in a state in which it is not suitable to approach coffee as an existing model, an additional model may have a form of replacing an existing model as shown in FIG. 19 (a-3). . That is, since the state (a) of FIG. 18 is not suitable for performing the task, the state that crosses each other is eliminated. In FIG. 19 (a-1), the existing model has a success rate of 48% in approaching coffee, and the new model has a success rate of 95%. Therefore, it is improved with (a-3) of FIG. 19 by removing the existing model overlapping with the new model.

이와 같이, 기존 단위 모델이 임무를 수행하기 어려운 상황에 있는 경우 단위 모델의 상태를 바꿔줘서 임무 수행이 가능하게 해 준다.As such, when the existing unit model is in a situation where it is difficult to perform the mission, the state of the unit model is changed to enable the mission.

도 19의 (b)의 경우 로봇은 기존의 모델과 추가된 모델, 두 가지 방법 모두를 통해서 커피에 다가갈 수 있다. 즉, 상태가 임무 수행에 적합하기 때문에 원 정보가 유지되는 상태로 개선된다. 따라서, 기존 모델의 삭제 없이 추가적인 새로운 모델이 통합 및 추가됨으로써 다양한 임무 수행을 가능하게 해 준다. In the case of FIG. 19B, the robot may approach coffee through both the existing model and the added model. That is, the state is improved to the state in which the original information is maintained because it is suitable for performing the task. Thus, additional new models can be integrated and added without deleting existing models, enabling various tasks.

이때, 쿨백-라이블러 분기의 임계치는 전술한 방법을 통해 자동으로 결정된다.At this time, the threshold of the coolback-labeller branch is automatically determined through the above-described method.

본 발명에 따르면 로봇은 사람의 조작이나 임무의 제한 없이 자동으로 단위 임무를 생성할 수 있다. 또한, 단위 모델은 조금 상이한 임무를 수행하는데 재사용할 수 있다. 또한, 단위 모델들은 쿨백-라이블러 분기와 은닉 마르코프 모델의 인식에 기반하여 정보를 대체하거나 추가함으로써, 효과적이고 신속하여 개선될 수 있다. According to the present invention, the robot can automatically generate a unit task without man's manipulation or limitation of the task. In addition, the unit model can be reused to perform slightly different tasks. In addition, the unit models can be improved effectively and quickly by replacing or adding information based on the coolback-liver branch and the recognition of the hidden Markov model.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although several embodiments of the present invention have been shown and described, those skilled in the art will appreciate that various modifications may be made without departing from the principles and spirit of the invention . The scope of the invention will be determined by the appended claims and their equivalents.

Claims

지능로봇의 분리된 모델 생성방법에 있어서,
(a) 임무 수행을 위한 학습데이터를 획득하는 단계;
(b) 상기 획득한 학습데이터들의 산포도 정보를 산출하는 단계;
(c) 상기 산출된 산포도 정보에 기초하여 상기 학습데이터를 의미 있는 단위로 분리하는 단계; 및
(d) 상기 분리된 단위 학습데이터들을 각각 모델링하여 다수의 분리된 단위 모델로 표현하는 단계를 포함하며;
상기 산포도 정보는 분산 정보를 포함하고,
상기 (c) 단계는 상기 분산 정보를 이용하여 상기 학습데이터의 분리점을 결정하여 분리하는 것으로, 상기 학습 데이터의 분산을 2차 미분하여 2차 미분 값의 부호가 마이너스(-)에서 플러스(+)로 변하는 지점과 플러스(+)에서 마이너스(-)로 변하는 지점을 분리점으로 선택하는 것을 특징으로 하는 지능로봇의 분리된 모델 생성 방법.
In the separate model generation method of intelligent robot,
(a) acquiring learning data for performing a task;
calculating distribution information of the acquired learning data;
(c) separating the learning data into meaningful units based on the calculated scatter diagram information; And
(d) modeling each of the separated unit learning data and representing the plurality of separated unit models;
The scatter diagram information includes dispersion information,
In the step (c), the separation point of the learning data is determined and separated by using the distribution information. Method for generating a separate model of the intelligent robot, characterized in that the selection point as a separation point and the point that changes from plus (+) to minus (-).

삭제delete

제1항에 있어서,
상기 (a) 와 (b) 단계 사이에는 상기 학습데이터를 전처리하는 단계를 포함하고,
상기 학습데이터를 전처리하는 단계는,
상기 학습데이터를 동적 시간 조정(Dynamic Time Warping)을 수행하여 시간을 조정하는 단계;
주성분 분석(Principal Component Analysis)을 통해 상기 학습데이터에서 노이즈를 제거하는 단계를 포함하는 것을 특징으로 하는 지능로봇의 분리된 모델 생성 방법.
The method of claim 1,
Between the steps (a) and (b) includes the step of pre-processing the learning data,
Preprocessing the learning data,
Adjusting time by performing dynamic time warping on the training data;
A method for generating an isolated model of an intelligent robot, comprising: removing noise from the training data through principal component analysis.

제4항에 있어서,
상기 (b) 단계는 가우시안 혼합 모델(Gaussian Mixture Model)을 이용하여 상기 학습데이터를 확률적으로 표현하는 단계; 및
상기 가우시안 혼합 모델을 기반으로 확률적으로 표현된 상기 학습데이터를 가우시안 혼합 회귀(Gaussian Mixture Model)로 일반화하여 분산을 산출하는 단계를 포함하는 것을 특징으로 하는 지능로봇의 분리된 모델 생성 방법.
5. The method of claim 4,
Step (b) may include: probabilistically expressing the training data using a Gaussian Mixture Model; And
And generating a variance by generalizing the training data expressed probabilisticly based on the Gaussian mixture model to a Gaussian mixture regression model.

제1항에 있어서,
상기 (d) 단계는 상기 모델링을 은닉 마르코프 모델을 통해 수행하는 것을 특징으로 하는 지능로봇의 분리된 모델 생성 방법.
The method of claim 1,
In the step (d), the modeling is performed using a hidden Markov model.

은닉 마르코프 모델 포워드 알고리즘을 이용하여, 제6항의 지능로봇의 분리된 모델생성방법에 의해 생성된 단위 모델들을 기반으로 임무를 인식하고 재생성하는 지능로봇의 임무 인식 및 재생성 방법.
A method of task recognition and regeneration of an intelligent robot using a hidden Markov model forward algorithm, which recognizes and regenerates a task based on unit models generated by the separate model generation method of the intelligent robot of claim 6.

지능로봇의 점진적인 학습을 통한 모델 개선 방법에 있어서,
(a) 임무 수행을 위한 추가 학습 데이터를 획득하는 단계;
(b) 상기 획득한 추가 학습데이터들의 분산 정보에 기초하여 상기 추가 학습데이터를 의미 있는 단위로 분리하는 단계;
(c) 상기 추가 학습 데이터를 모델링하여 다수의 분리된 추가 단위 모델로 표현하고, 상기 추가 학습 데이터를 기존의 단위 모델에 기반하여 인식을 수행하여 통합에 적합한 기존 단위 모델을 선택하는 단계; 및
(d) 상기 기존 단위 모델과 상기 추가 단위 모델 간의 쿨백-라이블러 분기 값에 기초하여 상기 추가 단위 모델의 상태를 상기 기존 단위 모델의 상태에 통합함으로써, 하나의 경로를 갖는 모델이나 분기를 갖는 모델을 생성하는 단계를 포함하고;
상기 (d) 단계는 상기 기존의 단위 모델과 상기 추가 단위 모델 간의 쿨백-라이블러 분기 값을 산출하는 단계, 상기 쿨백 라이블러 분기에 관한 임계치를 산출하는 단계, 및 상기 쿨백 라이블러 분기 값과 상기 임계치를 비교하여 상기 추가 단위 모델의 상태를 상기 기존 모델의 상태를 유지하면서 추가할지, 상기 추가 단위 모델의 상태를 상기 기존 모델의 상태에 합쳐서 통합할지 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 지능로봇의 점진적인 학습을 통한 모델 개선 방법.
In the model improvement method through the progressive learning of intelligent robot,
(a) obtaining additional learning data for performing the task;
(b) separating the additional learning data into meaningful units based on the obtained distribution information of the additional learning data;
(c) modeling the additional learning data to represent a plurality of separate additional unit models, and recognizing the additional learning data based on an existing unit model to select an existing unit model suitable for integration; And
(d) A model having one path or a branch having one path by integrating the state of the additional unit model into the state of the existing unit model based on the coolback-labeller branch value between the existing unit model and the additional unit model. Generating a;
The step (d) may include calculating a coolback-ribbler branch value between the existing unit model and the additional unit model, calculating a threshold value for the coolback-liver branch, and the coolback-liver branch value and the Comparing a threshold value to determine whether to add the state of the additional unit model while maintaining the state of the existing model, or whether to combine the state of the additional unit model with the state of the existing model; How to improve the model through progressive learning of intelligent robots.

삭제delete

제8항에 있어서,
상기 (d) 단계에서 상기 임계치는 상기 기존의 단위 모델의 모든 상태 간의 쿨백-라이블러 분기의 최소값으로 산출하는 것을 특징으로 하는 지능로봇의 점진적인 학습을 통한 모델 개선 방법.
9. The method of claim 8,
In step (d), the threshold value is calculated as the minimum value of the cool-back branch between all states of the existing unit model model improvement method through the intelligent robot.

제8항에 있어서,
상기 (d) 단계는 상기 쿨백-라이블러 분기 값이 상기 임계치보다 작은 경우 상기 추가 단위 모델의 상태를 상기 기존 단위 모델에 합쳐서 하나의 경로를 갖는 모델을 생성하고, 상기 쿨백-라이블러 분기 값이 상기 임계치보다 크거나 같은 경우 상기 추가 단위 모델을 추가함으로써 분기를 갖는 모델을 생성하는 것을 특징으로 하는 지능로봇의 점진적인 학습을 통한 모델 개선 방법.
9. The method of claim 8,
In the step (d), when the coolback-leaver branch value is smaller than the threshold, the state of the additional unit model is added to the existing unit model to generate a model having one path, and the coolback-liver branch value is increased. If the model is greater than or equal to the threshold value, the method of improving the model by incremental learning of the intelligent robot, characterized in that for generating a model having a branch by adding the additional unit model.

제8항, 제10항 및 제11항 중 어느 하나의 항에 있어서,
상기 (c) 단계에서 상기 모델링은 은닉 마르코프 모델을 통해 수행하고,
상기 통합에 적합한 기존 단위 모델을 선택하는 것은 은닉 마르코프 모델 포워드 알고리즘을 이용하여 상기 추가 단위 학습 모델을 선택하는 것을 특징으로 하는 지능로봇의 점진적인 학습을 통한 모델 개선 방법.

The method according to any one of claims 8, 10 and 11,
In the step (c), the modeling is performed through a hidden Markov model,
Selecting an existing unit model suitable for the integration comprises selecting the additional unit learning model using a Hidden Markov Model Forward Algorithm.