KR20220160897A - 모델 예측 값에 기반한 예측 방법 및 장치 - Google Patents

모델 예측 값에 기반한 예측 방법 및 장치 Download PDF

Info

Publication number
KR20220160897A
KR20220160897A KR1020210069110A KR20210069110A KR20220160897A KR 20220160897 A KR20220160897 A KR 20220160897A KR 1020210069110 A KR1020210069110 A KR 1020210069110A KR 20210069110 A KR20210069110 A KR 20210069110A KR 20220160897 A KR20220160897 A KR 20220160897A
Authority
KR
South Korea
Prior art keywords
model
prediction
relationship
models
relation
Prior art date
Application number
KR1020210069110A
Other languages
English (en)
Inventor
김지훈
최종원
오경진
Original Assignee
삼성에스디에스 주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사, 중앙대학교 산학협력단 filed Critical 삼성에스디에스 주식회사
Priority to KR1020210069110A priority Critical patent/KR20220160897A/ko
Priority to US17/751,843 priority patent/US20220383192A1/en
Publication of KR20220160897A publication Critical patent/KR20220160897A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

모델 예측 값에 기반한 예측 방법 및 장치가 개시된다. 일 실시예에 따른 모델 예측 값에 기반한 예측 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시키는 단계 및 상기 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득하는 단계를 포함한다.

Description

모델 예측 값에 기반한 예측 방법 및 장치{METHOD AND APPARATUS FOR PREDITION BASED ON MODEL PREDICTED VALUES}
개시되는 실시예들은 모델 예측 값에 기반한 예측 기술과 관련된다.
최근 딥러닝은 지도 학습(Supervised Learning)에 라벨이 제공된 다량의 데이터를 필요로 하는 문제를 해결하기 위해 준 지도 학습(Semi-supervised Learning), 자기 지도 학습(Self-supervised Learning) 및 액티브 학습(Active Learning) 등 모든 데이터 셋에 라벨 정보가 존재하지 않더라도 학습이 가능한 기술에 대한 연구가 진행되고 있다.
그러나, 기존 방법들은 자동 라벨링 과정을 수행하는 구조의 모델을 학습하고, 데이터 셋 내의 라벨 정보가 없는 이미지들의 라벨 정보를 추론하도록 구성되어 새로운 문제가 주어질 때마다 새로운 학습 방법을 개발해야 하는 문제가 있었다.
적은 수의 데이터 셋이 존재할 때 적용하는 전이 학습(Transfer Learning) 역시 새로운 모델 각각에 대해 학습 과정을 수행해야 하고, 두 가지 이상의 모델 또는 이미 학습된 데이터 셋을 고려할 수 없는 문제가 있었다.
한국등록특허공보 제10-2184278호(2020.11.30)
개시되는 실시예들에 따르면, 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 라벨링되지 않은 데이터에 대한 예측 기술과 관련된다.
개시되는 일 실시예에 따른 모델 예측 값에 기반한 예측 방법은 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시키는 단계, 및 상기 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득하는 단계를 포함한다.
상기 관계 추정 모델은, 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계를 학습하는 개별 관계 모델(Individual Relation Model), 및 상기 사전 학습된 복수의 예측 모델 각각의 예측 값 사이의 관계를 학습하여 집중 가중치(Attention weight)를 계산하는 전체 관계 모델(Overall Relation Model)을 포함할 수 있다.
상기 집중 가중치는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 결정된 상기 사전 학습된 복수의 예측 모델 각각에 대한 가중치일 수 있다.
상기 관계 추정 모델을 학습하는 단계는, 상기 라벨링된 데이터에 대한 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 개별 관계 모델을 학습시키는 단계, 및 상기 개별 관계 모델의 출력 값에 기초하여 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치를 계산하는 단계, 및 상기 집중 가중치에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 전체 관계 모델을 학습시키는 단계를 포함할 수 있다.
상기 개별 관계 모델을 학습시키는 단계는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하는 단계, 상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하는 단계, 및 차원이 변환된 상기 제1 관계 벡터 각각에 기초하여 상기 라벨링된 데이터에 대한 라벨 및 상기 사전 학습된 복수의 예측 모델의 예측 값의 손실이 최소화되도록 상기 개별 관계 모델을 학습시키는 단계를 포함할 수 있다.
상기 집중 가중치를 계산하는 단계는, 상기 전체 관계 모델을 학습시키는 단계는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하는 단계, 상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하는 단계, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하는 단계, 상기 제2 관계 벡터의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하는 단계, 차원이 변환된 상기 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 상기 집중 가중치를 계산하는 단계를 포함할 수 있다.
상기 전체 관계 모델을 학습시키는 단계는, 상기 사전 학습된 복수의 예측 모델 각각의 예측 값에 상기 집중 가중치를 합하여 최종 예측 값을 생성하는 단계, 및 상기 최종 예측 값 및 상기 라벨링된 데이터에 대한 라벨 사이의 손실이 최소화되도록 상기 전체 관계 모델을 학습시키는 단계를 포함할 수 있다.
개시되는 일 실시예에 따른 모델 예측 값에 기반한 예측 장치는 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시키는 관계 학습부, 및 상기 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득하는 관계 기반 추론부를 포함한다.
상기 관계 추정 모델은, 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계를 학습하는 개별 관계 모델(Individual Relation Model), 및 상기 사전 학습된 복수의 예측 모델 각각의 예측 값 사이의 관계를 학습하여 집중 가중치(Attention weight)를 계산하는 전체 관계 모델(Overall Relation Model)을 포함할 수 있다.
상기 집중 가중치는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 결정된 상기 사전 학습된 복수의 예측 모델 각각에 대한 가중치일 수 있다.
상기 관계 학습부는, 상기 라벨링된 데이터에 대한 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 개별 관계 모델을 학습시키고, 상기 개별 관계 모델의 출력 값에 기초하여 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치를 계산하고, 상기 집중 가중치에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 전체 관계 모델을 학습시킬 수 있다.
상기 관계 학습부는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고, 차원이 변환된 상기 제1 관계 벡터 각각에 기초하여 상기 라벨링된 데이터에 대한 라벨 및 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값의 손실이 최소화되도록 상기 개별 관계 모델을 학습시킬 수 있다.
상기 관계 학습부는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하고, 상기 제2 관계 벡터의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고, 차원이 변환된 상기 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 상기 집중 가중치를 계산하는 단계를 포함할 수 있다.
상기 관계 학습부는, 상기 사전 학습된 복수의 예측 모델 각각의 예측 값에 상기 집중 가중치를 합하여 최종 예측 값을 생성하고, 상기 최종 예측 값 및 상기 라벨링된 데이터에 대한 라벨 사이의 손실이 최소화되도록 상기 전체 관계 모델을 학습시킬 수 있다.
개시되는 실시예에 따르면, 사전 학습된 복수의 모델 각각이 학습된 환경과 현재 학습하고자 하는 데이터의 상관관계를 활용함으로써, 적은 수의 데이터 만으로도 예측 값의 정화도를 높일 수 있다.
또한, 사전 학습된 복수의 모델을 동시에 활용함으로써, 예측 값의 정확도를 높일 수 있게 된다.
또한, 사전 학습된 복수의 모델 및 대상 모델 각각의 예측 값 사이의 관계를 활용함으로써, 사전 학습된 복수의 모델 및 대상 모델 사이의 구조적인 관련성과 관계없이 예측할 수 있으며, 사전 학습된 복수의 모델 각각의 구조를 알지 못하는 경우에도 예측할 수 있다.
도 1은 일 실시예에 따른 모델 예측 값에 기반한 예측 장치의 구성도
도 2는 일 실시예에 따른 관계 학습부에 의해 학습되는 관계 추정 모델의 구성도
도 3은 일 실시예에 따른 관계 추정 모델을 학습시키는 과정을 예시적으로 설명하기 위한 도면
도 4는 일 실시예에 따른 개별 관계 모델을 학습시키는 과정을 예시적으로 설명하기 위한 도면
도 5는 일 실시예에 따른 전체 관계 모델을 학습시키는 과정을 예시적으로 설명하기 위한 도면
도 6은 일 실시예에 따른 모델 예측 값에 기반한 예측 방법의 순서도
도 7은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 구체적인 실시 형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 개시되는 실시예들은 이에 제한되지 않는다.
실시예들을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 개시되는 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 개시되는 실시예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 일 실시예에 따른 모델 예측 값에 기반한 예측 장치의 구성도이다.
도 1을 참조하면, 일 실시예에 따른 모델 예측 값에 기반한 예측 장치(100)(이하, '예측 장치')는 관계 학습부(110) 및 관계 기반 추론부(150)를 포함한다.
일 실시예에 따르면, 관계 학습부(110) 및 관계 기반 추론부(150)는 각각 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 하드웨어 프로세서 또는 하나 이상의 하드웨어 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적 동작에 있어 명확히 구분되지 않을 수 있다.
관계 학습부(110)는 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시킨다.
관계 기반 추론부(150)는 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득한다.
관계 추정 모델은 사전 학습된 복수의 예측 모델 및 과제 해결을 위한 대상 모델 사이의 관계를 학습하기 위한 모델을 의미할 수 있다.
일 실시예에 따르면, 관계 추정 모델은 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계를 학습하는 개별 관계 모델(Individual Relation Model) 및 사전 학습된 복수의 예측 모델 각각의 예측 값 사이의 관계를 학습하여 집중 가중치(Attention weight)를 계산하는 전체 관계 모델(Overall Relation Model)을 포함할 수 있다.
이때, 일 실시예에 따르면, 집중 가중치는, 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 기초하여 결정된 사전 학습된 복수의 예측 모델 각각에 대한 가중치 일 수 있다.
도 2는 일 실시예에 따른 관계 학습부에 의해 학습되는 관계 추정 모델의 구성도이다.
도 2를 참조하면, 관계 추정 모델은(200)은 개별 관계 모델(210) 및 전체 관계 모델(220)을 포함한다.
개별 관계 모델(210)은 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계를 학습할 수 있다.
일 실시예에 따르면, 개별 관계 모델(210)은 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성할 수 있다.
일 실시예에 따르면, 제1 관계 벡터는 아래의 수학식 1에 의해 생성될 수 있다.
Figure pat00001
이 때,
Figure pat00002
는 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계를 나타내는 제 1 관계 벡터이고,
Figure pat00003
는 대상 모델에서 출력된 예측 값 벡터이고,
Figure pat00004
는 사전 학습된 복수의 예측 모델 중 i번째 모델에서 출력된 예측 값 벡터,
Figure pat00005
는 대상 모델의 예측 값의 크기,
Figure pat00006
는 사전 학습된 복수의 예측 모델에 포함된 i번째 모델의 예측 값의 크기를 나타낸다.
한편, 제 1 관계 벡터는 사전 학습된 예측 모델의 예측 값 및 대상 모델의 예측 값을 행렬 곱하여 획득한 확률 매트릭스(Probability Matrix) 일 수 있다.
일 실시예에 따르면, 제1 관계 벡터는 사전 학습된 예측 모델에 입력되는 라벨링된 데이터 및 사전 학습된 예측 모델에 따라 상이한 크기의 차원을 가질 수 있다.
일 실시예에 따라, 개별 관계 모델(210)은 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
일 실시예에 따르면, 제1 관계 벡터의 차원은 아래의 수학식 2에 의해 변환될 수 있다.
Figure pat00007
이때,
Figure pat00008
는 차원이 변환된 제1 관계 벡터,
Figure pat00009
는 제1 관계 벡터,
Figure pat00010
제1 관계 벡터의 전치 행렬 벡터를 나타낸다.
이후, 개별 관계 모델(210)은 차원이 변환된 제1 관계 벡터 각각에 기초하여 라벨링된 데이터에 대한 라벨 및 사전 학습된 복수의 예측 모델 각각의 예측 값의 손실이 최소화되도록 학습될 수 있다.
전체 관계 모델(220)은 개별 관계 모델의 출력 값에 기초하여 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치(Attention weight)를 계산를 계산하고, 집중 가중치에 기초하여 라벨링된 데이터에 대한 라벨을 예측할 수 있다.
일 실시예에 따르면, 전체 관계 모델(220)은 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성할 수 있다.
일 실시예에 따르면, 제1 관계 벡터는 아래의 수학식 3에 의해 생성될 수 있다.
Figure pat00011
이 때,
Figure pat00012
는 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계를 나타내는 제 1 관계 벡터이고,
Figure pat00013
는 대상 모델에서 출력된 예측 값 벡터이고,
Figure pat00014
는 사전 학습된 복수의 예측 모델 중 i번째 모델에서 출력된 예측값 벡터,
Figure pat00015
는 대상 모델의 예측 값의 크기,
Figure pat00016
는 사전 학습된 복수의 예측 모델에 포함된 i번째 모델의 예측 값의 크기를 나타낸다.
한편, 제 1 관계 벡터는 사전 학습된 예측 모델의 예측 값 및 대상 모델의 예측 값을 행렬 곱하여 획득한 확률 매트릭스(Probability Matrix) 일 수 있다.
일 실시예에 따르면, 제1 관계 벡터는 사전 학습된 예측 모델에 입력되는 라벨링된 데이터 및 사전 학습된 예측 모델에 따라 상이한 크기의 차원을 가질 수 있다.
일 실시예에 따라, 전체 관계 모델(220)은 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
일 실시예에 따르면, 제1 관계 벡터의 차원은 아래의 수학식 2에 의해 변환될 수 있다.
Figure pat00017
이때,
Figure pat00018
는 차원이 변환된 제1 관계 벡터,
Figure pat00019
는 제1 관계 벡터,
Figure pat00020
제1 관계 벡터의 전치 행렬 벡터를 나타낸다.
한편, 일 실시예에 따르면, 전체 관계 모델(220)은 개별 관계 모델의 출력 값에 기초하여 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치를 계산할 수 있다.
먼저, 일 실시예에 따르면, 전체 관계 모델(220)은 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하고, 제2 관계 벡터의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
일 실시예에 따르면, 제2 관계 벡터의 차원은 아래의 수학식 5에 의해 합성될 수 있다.
Figure pat00021
이때,
Figure pat00022
는 제2 관계 벡터,
Figure pat00023
는 대상 모델에서 출력된 예측 값 벡터,
Figure pat00024
는 사전 학습된 복수의 예측 모델에서 출력 된 예측값들이 연결된 벡터,
Figure pat00025
는
Figure pat00026
의 크기,
Figure pat00027
는
Figure pat00028
의 크기(사전 학습된 복수의 예측 모델에 포함된 i번째 모델의 예측 값의 크기의 합)을 나타낸다.
일 실시예에 따라, 전체 관계 모델(220)은 제2 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
이후, 일 실시예에 따르면, 전체 관계 모델(220)은 차원이 변환된 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 사전 학습된 복수의 예측 모델 각각에 대한 집중 가중치를 계산하고, 사전 학습된 복수의 예측 모델 각각의 예측 값에 상기 집중 가중치를 합산하여 최종 예측 값을 생성할 수 있다.
일 실시예에 따르면, 집중 가중치에 기초하여 라벨링된 데이터에 대한 라벨을 예측하기 위한 최종 예측 값은 아래의 수학식 6에 의해 계산될 수 있다.
Figure pat00029
이때,
Figure pat00030
는 관계 기반 추론 과정에서 사용되는 최종 예측 값,
Figure pat00031
는 사전 학습된 복수의 예측 모델 중 i번째 모델의 집중 가중치를 나타낸다.
이후, 일 실시예에 따르면, 전체 관계 모델(220)은 최종 예측 값 및 라벨링된 데이터에 대한 라벨 사이의 손실이 최소화되도록 학습할 수 있다.
도 3은 일 실시예에 따른 관계 추정 모델을 학습시키는 과정을 예시적으로 설명하기 위한 도면이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 3에 도시된 방법은 예를 들어, 도 1에 도시된 관계 학습부(110)에 의해 수행될 수 있다.
도 3을 참조하면, 관계 학습부(110)는 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 기초하여 라벨링된 데이터에 대한 라벨을 예측하기 위한 개별 관계 모델을 학습시킨다(310).
한편, 일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하여, 차원이 변환된 제1 관계 벡터 각각에 기초하여 라벨링된 데이터에 대한 라벨 및 사전 학습된 복수의 예측 모델 각각의 예측 값의 손실이 최소화되도록 개별 관계 모델을 학습시킬 수 있다.
이후, 일 실시예에 따르면, 관계 학습부(110)는 개별 관계 모델의 출력 값에 기초하여 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치를 계산한다(320).
이때, 일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고, 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하고, 제2 관계 벡터의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하여, 차원이 변환된 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 집중 가중치를 계산할 수 있다.
이후, 일 실시예에 따르면, 관계 학습부(110)는 집중 가중치에 기초하여 라벨링된 데이터에 대한 라벨을 예측하기 위한 전체 관계 모델을 학습시킨다(330).
이때, 일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 각각의 예측 값에 집중 가중치를 합하여 최종 예측 값을 생성하고, 최종 예측 값 및 라벨링된 데이터의 라벨 사이의 손실이 최소화되도록 전체 관계 모델을 학습시킬 수 있다.
도 4는 일 실시예에 따른 개별 관계 모델을 학습시키는 과정을 예시적으로 설명하기 위한 도면이다.
도 4에 도시된 과정은 예를 들어, 도 1에 도시된 관계 학습부(110)에 의해 수행될 수 있다.
일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하여, 차원이 변환된 제1 관계 벡터 각각에 기초하여 라벨링된 데이터에 대한 라벨 및 사전 학습된 복수의 예측 모델 각각의 예측 값의 손실이 최소화되도록 개별 관계 모델을 학습시킬 수 있다.
구체적으로, 도 4를 참조하면, 개별 관계 모델의 차원합성부(421, 431, 441)는 사전 학습된 예측 모델 1, 2, 3의 라벨 Label 1, 2, 3(420, 430, 440) 및 대상 모델의 예측 값 Label 0을 합성하여 제1 관계 벡터 각각을 생성할 수 있다.
이후, 개별 관계 모델의 전처리부(422, 432, 442)는 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
관계 학습부(110)는 차원이 변환된 제1 관계 벡터 각각에 기초하여 라벨링된 데이터에 대한 라벨 및 사전 학습된 복수의 예측 모델 각각의 예측 값(423, 433, 443)의 손실(424, 434, 444)이 최소화되도록 개별 관계 모델을 학습시킬 수 있다.
도 5는 일 실시예에 따른 전체 관계 모델을 학습시키는 과정을 예시적으로 설명하기 위한 도면이다.
도 5에 도시된 과정은 예를 들어, 도 1에 도시된 관계 학습부(110)에 의해 수행될 수 있다.
일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
구체적으로, 도 5를 참조하면, 전체 관계 모델의 차원합성부(421)는 사전 학습된 예측 모델 1, 2, 3의 라벨 Label 1, 2, 3(420, 430, 440) 및 대상 모델의 예측 값 Label 0을 합성하여 제1 관계 벡터 각각을 생성할 수 있다. 이후, 전체 관계 모델의 전처리부(422)는 제1 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하고, 제2 관계 벡터의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
구체적으로, 전체 관계 모델의 차원합성부(521)는 사전 학습된 복수의 예측 모델 1, 2, 3의 라벨 Label 1, 2, 3(420, 430, 440)을 연결한 후, 대상 모델의 예측 값 Label 0을 합성하여 제 2 관계 벡터를 생성할 수 있다. 이후, 전체 관계 모델의 전처리부(522)는 제2 관계 벡터 각각의 차원을 대상 모델의 예측 값과 동일한 크기의 차원으로 변환할 수 있다.
일 실시예에 따르면, 관계 학습부(110)는, 차원이 변환된 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 전체 관계 모델의 집중 구조(Attention Network)(530)를 통해 집중 가중치를 계산할 수 있다.
이후, 일 실시예에 따르면, 관계 학습부(110)는 사전 학습된 복수의 예측 모델 각각의 예측 값(423, 433, 443)에 집중 가중치를 합(540)하여 최종 예측 값(541)을 생성하고, 최종 예측 값 및 라벨링된 데이터에 대한 라벨(542) 사이의 손실(550)이 최소화되도록 전체 관계 모델을 학습시킬 수 있다.
도 6은 일 실시예에 따른 모델 예측 값에 기반한 예측 방법의 순서도이다.
도 6에 도시된 방법은 예를 들어, 도 1에 도시된 모델 예측 값에 기반한 예측 장치(100)에 의해 수행될 수 있다.
도 6을 참조하면, 예측 장치(100)는 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 기초하여 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시킨다(610).
이후, 예측 장치(100)는 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득한다(620).
도 7은 일 실시예에 따른 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 도 1에 도시된 모델 예측 값에 기반한 예측 장치(100)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스
100: 모델 예측 값에 기반한 예측 장치
110: 관계 학습부
120: 관계 기반 추론부
200: 관계 추론 모델
210: 개별 관계 모델
220: 전체 관계 모델

Claims (14)

  1. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시키는 단계; 및
    상기 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득하는 단계를 포함하는, 모델 예측 값에 기반한 예측 방법.
  2. 청구항 1에 있어서,
    상기 관계 추정 모델은, 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계를 학습하는 개별 관계 모델(Individual Relation Model) 및
    상기 사전 학습된 복수의 예측 모델 각각의 예측 값 사이의 관계를 학습하여 집중 가중치(Attention weight)를 계산하는 전체 관계 모델(Overall Relation Model)을 포함하는, 모델 예측 값에 기반한 예측 방법.
  3. 청구항 2에 있어서,
    상기 집중 가중치는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 결정된 상기 사전 학습된 복수의 예측 모델 각각에 대한 가중치인, 모델 예측 값에 기반한 예측 방법.
  4. 청구항 2에 있어서,
    상기 관계 추정 모델을 학습하는 단계는, 상기 라벨링된 데이터에 대한 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 개별 관계 모델을 학습시키는 단계; 및
    상기 개별 관계 모델의 출력 값에 기초하여 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치를 계산하는 단계; 및
    상기 집중 가중치에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 전체 관계 모델을 학습시키는 단계를 포함하는, 모델 예측 값에 기반한 예측 방법.
  5. 청구항 4에 있어서,
    상기 개별 관계 모델을 학습시키는 단계는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하는 단계;
    상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하는 단계; 및
    차원이 변환된 상기 제1 관계 벡터 각각에 기초하여 상기 라벨링된 데이터에 대한 라벨 및 상기 사전 학습된 복수의 예측 모델의 예측 값의 손실이 최소화되도록 상기 개별 관계 모델을 학습시키는 단계를 포함하는, 모델 예측 값에 기반한 예측 방법.
  6. 청구항 5에 있어서,
    상기 집중 가중치를 계산하는 단계는, 상기 전체 관계 모델을 학습시키는 단계는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하는 단계;
    상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하는 단계;
    상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하는 단계;
    상기 제2 관계 벡터의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하는 단계;
    차원이 변환된 상기 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 상기 집중 가중치를 계산하는 단계를 포함하는, 모델 예측 값에 기반한 예측 방법.
  7. 청구항 4에 있어서,
    상기 전체 관계 모델을 학습시키는 단계는, 상기 사전 학습된 복수의 예측 모델 각각의 예측 값에 상기 집중 가중치를 합하여 최종 예측 값을 생성하는 단계; 및
    상기 최종 예측 값 및 상기 라벨링된 데이터에 대한 라벨 사이의 손실이 최소화되도록 상기 전체 관계 모델을 학습시키는 단계를 포함하는, 모델 예측 값에 기반한 예측 방법.
  8. 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 관계 추정 모델을 학습시키는 관계 학습부; 및
    상기 관계 추정 모델에 기초하여 라벨링되지 않은 데이터(unlabeled date)에 대한 예측 값을 획득하는 관계 기반 추론부를 포함하는, 모델 예측 값에 기반한 예측 장치.
  9. 청구항 8에 있어서,
    상기 관계 추정 모델은, 라벨링된 데이터에 대한 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계를 학습하는 개별 관계 모델(Individual Relation Model) 및
    상기 사전 학습된 복수의 예측 모델 각각의 예측 값 사이의 관계를 학습하여 집중 가중치(Attention weight)를 계산하는 전체 관계 모델(Overall Relation Model)을 포함하는, 모델 예측 값에 기반한 예측 장치.
  10. 청구항 9에 있어서,
    상기 집중 가중치는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 결정된 상기 사전 학습된 복수의 예측 모델 각각에 대한 가중치인, 모델 예측 값에 기반한 예측 장치.
  11. 청구항 9에 있어서,
    상기 관계 학습부는, 상기 라벨링된 데이터에 대한 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 개별 관계 모델을 학습시키고,
    상기 개별 관계 모델의 출력 값에 기초하여 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 집중 가중치를 계산하고,
    상기 집중 가중치에 기초하여 상기 라벨링된 데이터에 대한 라벨을 예측하기 위한 상기 전체 관계 모델을 학습시키는, 모델 예측 값에 기반한 예측 장치.
  12. 청구항 11에 있어서,
    상기 관계 학습부는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고,
    상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고,
    차원이 변환된 상기 제1 관계 벡터 각각에 기초하여 상기 라벨링된 데이터에 대한 라벨 및 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값의 손실이 최소화되도록 상기 개별 관계 모델을 학습시키는, 모델 예측 값에 기반한 예측 장치.
  13. 청구항 12에 있어서,
    상기 관계 학습부는, 상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값 사이의 관계에 대한 제1 관계 벡터 각각을 생성하고, 상기 제1 관계 벡터 각각의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고,
    상기 사전 학습된 복수의 예측 모델 및 상기 대상 모델 각각의 예측 값을 연결(concatenate)하여 제2 관계 벡터를 생성하고, 상기 제2 관계 벡터의 차원을 상기 대상 모델의 예측 값과 동일한 크기의 차원으로 변환하고,
    차원이 변환된 상기 제1 관계 벡터 각각 및 차원이 변환된 제 2 관계 벡터에 기초하여 상기 집중 가중치를 계산하는 단계를 포함하는, 모델 예측 값에 기반한 예측 장치.
  14. 청구항 11에 있어서,
    상기 관계 학습부는, 상기 사전 학습된 복수의 예측 모델 각각의 예측 값에 상기 집중 가중치를 합하여 최종 예측 값을 생성하고, 상기 최종 예측 값 및 상기 라벨링된 데이터에 대한 라벨 사이의 손실이 최소화되도록 상기 전체 관계 모델을 학습시키는, 모델 예측 값에 기반한 예측 장치.
KR1020210069110A 2021-05-28 2021-05-28 모델 예측 값에 기반한 예측 방법 및 장치 KR20220160897A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210069110A KR20220160897A (ko) 2021-05-28 2021-05-28 모델 예측 값에 기반한 예측 방법 및 장치
US17/751,843 US20220383192A1 (en) 2021-05-28 2022-05-24 Method and apparatus for prediction based on model predicted values

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210069110A KR20220160897A (ko) 2021-05-28 2021-05-28 모델 예측 값에 기반한 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220160897A true KR20220160897A (ko) 2022-12-06

Family

ID=84193140

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210069110A KR20220160897A (ko) 2021-05-28 2021-05-28 모델 예측 값에 기반한 예측 방법 및 장치

Country Status (2)

Country Link
US (1) US20220383192A1 (ko)
KR (1) KR20220160897A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184278B1 (ko) 2018-11-21 2020-11-30 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102184278B1 (ko) 2018-11-21 2020-11-30 한국과학기술원 메타학습에 기반한 임의의 목표 데이터셋과 모델 구조로의 전이학습 방법 및 시스템

Also Published As

Publication number Publication date
US20220383192A1 (en) 2022-12-01

Similar Documents

Publication Publication Date Title
AU2019360080B2 (en) Image captioning with weakly-supervised attention penalty
CN110209817B (zh) 文本处理模型的训练方法、装置和文本处理方法
Zhao et al. Object detection with a unified label space from multiple datasets
US20180157743A1 (en) Method and System for Multi-Label Classification
AU2019200270A1 (en) Concept mask: large-scale segmentation from semantic concepts
CN110046248B (zh) 用于文本分析的模型训练方法、文本分类方法和装置
US8583567B1 (en) Semi-supervised and unsupervised generation of hash functions
WO2020244065A1 (zh) 基于人工智能的字向量定义方法、装置、设备及存储介质
US11901047B2 (en) Medical visual question answering
CN111274789B (zh) 文本预测模型的训练方法及装置
US11823480B2 (en) Method for training image classification model and apparatus for executing the same
JP7304488B2 (ja) 強化学習ベースの局所解釈可能モデル
KR20190056940A (ko) 멀티모달 데이터 학습 방법 및 장치
US20230176840A1 (en) Learned graph optimizations for compilers
CN113268609A (zh) 基于知识图谱的对话内容推荐方法、装置、设备及介质
US11481689B2 (en) Platforms for developing data models with machine learning model
WO2021001517A1 (en) Question answering systems
EP3832485A1 (en) Question answering systems
US11625517B2 (en) Information processing method, and information processing apparatus
JP2020135689A (ja) モデル学習システム、意図解釈システム、モデル学習方法およびモデル学習用プログラム
US20240005131A1 (en) Attention neural networks with tree attention mechanisms
CN117151121A (zh) 一种基于波动阈值与分割化的多意图口语理解方法
KR20220160897A (ko) 모델 예측 값에 기반한 예측 방법 및 장치
US20220114480A1 (en) Apparatus and method for labeling data
US20230108177A1 (en) Hardware-Aware Progressive Training Of Machine Learning Models