KR102203336B1 - 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법 - Google Patents

Abstract

생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법이 제시된다. 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법은, 실험 디자인을 구성하는 요소를 수치화하는 단계; 수치화된 상기 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계; 및 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 단계를 포함하여 이루어질 수 있다.

Description

생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법{METHOD AND APPARATUS FOR EXPERIMENTAL DESIGN OPTIMIZATION AND HYPOTHESIS GENERATION USING GENERATIVE MODEL}

본 발명의 실시예들은 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법에 관한 것이다.

이론 과학뿐만 아니라 공학 분야에서도 이론적인 결과 및 실제적인 결과를 위해 실험을 한다. 전도 유망한 실험을 하기 위해서 정교한 실험 설계 및 데이터 분석 기술이 필요하다는 것은 잘 알려져 있다. 데이터 분석에서, 기계 학습(machine learning)과 같은 활발한 연구들을 통하여 연구 결과의 의미를 더 잘 분석할 수 있게 되었다. 그러나, 지금까지는 실제 실험을 하기 전에 설계의 확장성을 평가하기 위한 고차원 데이터 분석 방법 연구가 거의 이루어지지 않았다.

따라서, 연구자들은 설계 단계에서 직감이나 경험에 의존하는 경향이 있다. 파블로프의 개와 같은 간단한 실험에서는 연구자에게 의존하는 실험 설계만으로도 충분할 수 있다. 그러나, 다중 실험 변수 각각이 다중 관계를 갖는 상황에서 의도하지 않은 변수들 간의 고차원 상관 관계로 인하여 본래 가설이 결과에 적절히 반영되지 않을 수 있다. 공학 분야뿐 아니라 과학 연구 분야에서도 실험의 복잡성이 증가하고 있으므로, 성공적으로 가설을 검증하기 위하여 실험 설계를 위한 사전 분석 프레임워크는 필수적이다.

실험 설계의 근본적인 문제 중 하나는 제어 변수의 부적절한 조작이 원인이다. 예를 들어, 파블로프의 실험에서 벨 신호와 음식 전달 간의 조건부 학습 형성을 관찰하기 위한 각 자극 간의 제어되지 않은 시간 간격은 번식 행동에 영향을 미칠 수 있는데, 이는 설계 단계에서 고려되지 않는다. 이러한 변수(시간 간격)는 공변량(covariates)이라고 불리며, 이는 연구자가 이를 깨닫지 못했을 때뿐만 아니라 비용 문제로 인해 충분한 실험 데이터 수집이 제한될 때에도 존재할 수 있다. 제한된 수의 실험 데이터의 경우, 공변량 변수와 독립 변수 사이의 가능한 모든 관계를 포함하기 힘들기 때문에, 본래 가설에 영향을 줄 수 있는 편향된 표현들이 포함될 수 있다.

Zhou, Bolei, et al. "Learning deep features for discriminative localization." Computer Vision and Pattern Recognition (CVPR), IEEE, 2016 Chen, Xi, et al. "Infogan: Interpretable representation learning by information maximizing generative adversarial nets." Advances in Neural Information Processing Systems. 2016. Lee, S. W., O’Doherty, J. P. & Shimojo, S. Neural Computations Mediating One-Shot Learning in the Human Brain. PLOS Biol. 13, e1002137 (2015). Daw, N. D., Gershman, S. J., Seymour, B., Dayan, P. & Dolan, R. J. Model-based influences on humans’ choices and striatal prediction errors. Neuron 69, 1204-1215 (2011).

본 발명의 실시예들은 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법에 관하여 기술하며, 보다 구체적으로 최신 심층 학습 모델을 사용하여 가설 및 제어 변수를 자동으로 찾아내는 패러다임을 제안하고, 제안하는 패러다임이 복잡한 실험 설계에 적용 가능한지 검증하는 기술을 제공한다.

본 발명의 실시예들은 복잡한 형태의 환경에서 다양한 가설 검증을 위한 실험 설계를 보조하는 시스템으로,　실험 내용을 수치 형태로 변환,　딥러닝 기반의 생성 모델을 이용하여　데이터 기반으로 실험의 독립변수,　통제변수,　혼란변수와 같은 주요 실험 변수들을 인코딩하고,　인코딩된 실험 변수 벡터들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법을 제공하는데 있다.

본 발명의 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법은, 실험 디자인을 구성하는 요소를 수치화하는 단계; 수치화된 상기 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계; 및 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 단계를 포함하여 이루어질 수 있다.

상기 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계는, 실험의 독립 변수와 종속 변수 간의 모든 가능한 관계를 파악하도록 학습된 후, 각 개별 이벤트가 실험 여건에 기여하는 정도를 시각화할 수 있다.

상기 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계는, 심층 합성곱 신경망(deep Convolutional Neural Network, CNN)을 기반으로 하는 가설 시각화 모듈(Hypothesis Visualization)로 구성될 수 있다.

상기 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 단계는, 상기 실험 변수를 인코딩하여 잠재 태스크 벡터(latent task vector)와 실제 실험 사이의 관계를 학습하며, 각각의 상기 실험 변수와 실제 실험 생성 사이의 관계를 파악할 수 있다.

상기 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 단계는, 생성적 적대 신경망(Information Maximizing Generative Adversarial Networks, InfoGAN)을 기반으로 하는 가설 임베딩 모듈(Hypothesis Embedding, E-모듈)로 구성될 수 있다.

상기 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계는, 상기 가설 시각화 모듈 (Hypothesis Visualization) 의 최종 출력 레이어의 이전 레이어(Layer)의 정보인 중간 결과물을 인코딩된 실험 변수로 사용할 수 있다.

상기 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 단계는, 상기 인코딩된 실험 변수를 입력 받아 실험을 생성하도록 학습하며, 상기 인코딩된 실험 변수와 실험 생성과의 상관관계를 고려하며 실험을 생성하도록 학습할 수 있다.

본 발명의 다른 실시예에 따른 생성모델을 이용한 실험 가설 생성 시스템은, 실험 디자인을 구성하는 요소를 수치화하는 전처리부; 및 수치화된 상기 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 실험 변수 인코딩부를 포함하여 이루어질 수 있다.

또한, 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 실험 생성 모델부를 더 포함할 수 있다.

상기 실험 변수 인코딩부는, 실험의 독립 변수와 종속 변수 간의 모든 가능한 관계를 파악하도록 학습된 후, 각 개별 이벤트가 실험 여건에 기여하는 정도를 시각화할 수 있다.

상기 실험 변수 인코딩부는, 심층 합성곱 신경망(deep Convolutional Neural Network, CNN)을 기반으로 하는 가설 시각화 모듈(Hypothesis Visualization)로 구성될 수 있다.

상기 실험 생성 모델부는, 상기 실험 변수를 인코딩하여 잠재 태스크 벡터(latent task vector)와 실제 실험 사이의 관계를 학습하며, 각각의 상기 실험 변수와 실제 실험 생성 사이의 관계를 파악할 수 있다.

상기 실험 생성 모델부는, 생성적 적대 신경망(Information Maximizing Generative Adversarial Networks, InfoGAN)을 기반으로 하는 가설 임베딩 모듈(Hypothesis Embedding, E-모듈)로 구성될 수 있다.

상기 실험 변수 인코딩부는, 상기 가설 시각화 모듈 (Hypothesis Visualization) 의 최종 출력 레이어의 이전 레이어(Layer)의 정보인 중간 결과물을 인코딩된 실험 변수로 사용할 수 있다.

상기 실험 생성 모델부는, 상기 인코딩된 실험 변수를 입력 받아 실험을 생성하도록 학습하며, 상기 인코딩된 실험 변수와 실험 생성과의 상관관계를 고려하며 실험을 생성하도록 학습할 수 있다.

본 발명의 실시예들에 따르면 복잡한 형태의 환경에서 다양한 가설 검증을 위한 실험 설계를 보조하는 시스템으로,　실험 내용을 수치 형태로 변환,　딥러닝 기반의 생성 모델을 이용하여　데이터 기반으로 실험의 독립변수,　통제변수,　혼란변수와 같은 주요 실험 변수들을 인코딩하고,　인코딩된 실험 변수 벡터들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법을 제공할 수 있다.

본 발명의 실시예들에 따르면 실험자의 인지적 능력을 벗어나는 복잡한 설계 환경에 대하여도 실험 변수 파악 및 새로운 변수 조합을 이용한 실험 제시가 가능한 생성모델을 이용한 실험 최적화 및 실험 가설 생성 시스템 및 방법을 제공할 수 있다.

도 1은 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 히트 맵 신호가 실제 실험 결과와 일치하는 것을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 히트 맵 신호가 이전의 실험 결과와 일치하는 것을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 잠재 태스크 벡터를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법을 나타내는 흐름도이다.
도 6은 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 시스템을 개략적으로 나타내는 도면이다.
도 7은 일 실시예에 따른 인코딩된 실험 변수를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 실험 변수 인코딩을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 실험 생성 모델을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

실험 설계 시 앞에서 언급된 어려움을 막기 위해서, 실험 변수가 결과에 미치는 영향을 추정하고 실험 전에 예상되는 가설을 연구자에게 제시하는 것은 필수적이다. 이를 다루기 위해, 본 발명의 실시예들은 최신 심층 학습 모델을 사용하여 가설 및 제어 변수를 자동으로 찾아내는 패러다임을 제안하고, 제안하는 패러다임이 복잡한 실험 설계에 적용 가능한지 검증하고자 한다. 또한, 모델 추론이 실제 인간의 학습 전략을 반영할 수 있다는 것을 보임으로써, 미리 가정된 수학적 모델이 없어도 제안한 패러다임이 데이터 분석 단계에 적용될 수 있음을 보여준다. 이러한 적용을 통해 인공 지능 기반의 실험 설계라는 새로운 연구 패러다임을 제시할 수 있다.

모든 실험 관련 연구에서 가설 시험은 주의 깊은 조작이 필요한데, 연구자들은 이 조작을 독립 변수와 연관시키면서 다른 변수들을 제어하려고 한다. 그러나, 변수들 간의 관계는 종종 연구자의 능력을 뛰어 넘기 때문에 최적의 태스크 설계는 까다롭다. 이는 변수와 공변량 영향 간의 고차원적인 상관관계에 기인한다. 결과적으로 실험자는 여러 경쟁적인 가설을 검토해야 한다.

이 문제를 해결하기 위해, 본 발명에서는 가설과 공변량을 식별하는 프레임워크인 심층 신경망 기반의 심층 신경 실험자(Deep Neural Experimenter, DNE)를 제시한다. 적용 가능성을 설명하기 위하여 이벤트들 간의 시간적 및 공간적 의존성을 수반하는 실험들을 조사했다. 심층 신경 실험자(DNE)에 의해 생성된 잠재 변수들(latent variables)과 가설들이 효과를 적절하게 예측한다는 것을 알았다. 또한, 하나의 공변량이 편향된 형태로 임의 생성될 때 발생한 의도하지 않은 공변량들을 심층 신경 실험자(DNE)가 정확하게 식별한다는 것을 발견했다. 또한 학습된 심층 신경 실험자(DNE)를 통해 과거 연구에서 사용한 태스크를 인간 대신 수행하였을 때 얻어진 결과는 인간 대상의 신경 결과들(neural results)과 동일하다는 것을 발견했다. 최종적으로, 심층 신경 실험자(DNE)는 실제 인간의 실험 수행 방식을 어느정도 모방하며, 학습된 신경망 분석을 통해 다양한 실험 변수 영향력 분석, 이를 통한 가설 검증 및 새로운 실험 구성 등 다양한 실험 설계의 가능성을 열어주며 동시에 태스크의 복잡성을 악화시키지 않는다.

데이터 분석 관련해서는 다양한 기계 학습 연구가 존재하지만, 실험 디자인 관련한 기계 학습 연구는 크게 진행되고 있지 않다. 주로 실험의 잘못된 설계는 통제 변수 설정의 오류에 의해 발생하며, 이럴 경우 통제 변수가 독립변수에 영향을 주어 실험이 본 목적과는 다른 방향으로 진행될 수 있다. 이를 방지하기 위해 실험 전에 해당 실험 디자인의 본 목적에 대한 영향도를 측정할 필요가 있으며, 이에 본 발명에서는 심층 신경 실험자(Deep Neural Experimenter, DNE)를 제안한다.

도 1은 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법(100)은 실험 디자인(110)을 심층 신경망 기반 생성모델에 입력하기 위해 요소들을 수치화할 수 있으며, 이 때 실험 디자인 수치화 모듈이 사용될 수 있다. 실험 디자인 수치화 모듈은 실험 설계에 대한 사전 정보 없이 단순 수치화를 통해 기술을 적용할 수 있고, 예컨대 벡터화를 통해 실험 디자인을 수치화할 수 있다.

실험 디자인(110)을 통해 실험을 생성할 수 있으며 다양한 실험 내용을 포함하는 실험 인스턴스(120)를 구성할 수 있다. 이후, 심층 신경망 기반으로 주요 변수를 인코딩(800)(도 8 참조)할 수 있고, 이러한 과정에 따라 인코딩된 실험 변수를 추출할 수 있고 주요 변수를 파악(130)할 수 있다. 예를 들어 실험 변수 인코딩 및 실험 가설 코드화 기술은　특수한 딥러닝 기반 분류 모델(비특허문헌 1)을 활용하여 분류를 위한 비선형의 복잡한 매개변수 관계를 추출할 수 있다. 여기서, 학습된 모델의 은닉층 코드 벡터는 모델이 학습한 실험 설계 변수에 해당될 수 있다.

이후, 인코딩된 실험 변수를 이용하여 생성모델을 학습(140)시키고, 심층 신경망 기반으로 새로운 실험을 생성(900)(도 9 참조)할 수 있다. 인코더-디코더 개념을 이용하여 새로운 가설을 검증할 수 있는 실험을 생성할 수 있으며, 앞에서 설명한 모델의 은닉층에 인코딩된 코드 벡터(실험 설계 변수)로,　딥러닝 기반의 생성 모델(비특허문헌 2)을 활용하여 새로운 실험을 생성할 수 있다.

한편, 이러한 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법(100)은 생성모델을 이용한 실험 가설 생성 시스템에 의해 수행될 수 있으며, 여기서 생성모델을 이용한 실험 가설 생성 시스템은 심층 신경 실험자(DNE)를 포함하거나 심층 신경 실험자(DNE)에 포함될 수 있다.

실험 관련 연구에서 올바른 가설 검증을 위해서는 독립 변수 및 통제 변수를 잘 컨트롤하는 것이 중요하다. 하지만, 실험 변수들 간의 고차원적인 관계는 연구자의 인지적 능력을 벗어날 가능성이 크다. 현재 실험 디자인에 대해 가설 시각화 및 실험 변수 임베딩이 필요하다. 이에 따라 가설 시각화 모듈(V-module) 및 실험 변수 임베딩(E-module)을 포함하는 심층 신경 실험자(DNE)를 제공할 수 있다. 여기서 심층 신경 실험자(DNE)는 심층 신경망 기반의 가설 및 공변량 자동 검증 패러다임이다.

본 발명의 일 실시예에 따른 심층 신경 실험자(DNE)는 자동 가설 검증(hypothesis verification) 및 공변량 감지(covariate detection)를 수행할 수 있으며, 가설 시각화 모듈(Hypothesis Visualization, V-모듈) 및 가설 임베딩 모듈(Hypothesis Embedding, E-모듈)이라는 두 가지 전용 모듈을 포함하여 이루어질 수 있다.

V-모듈은 실험 설계에 내장되어 있는 지배적인 가설(패턴)을 시각화하는데, 이는 태스크 설계 및 데이터 분석 단계에서 적용이 가능하다는 것을 나타낸다. V-모듈은 각 실험 변수 중 중요한 부분을 하이라이트(highlight) 해주는 히트 맵(heat map)을 출력해준다.

이러한 V-모듈은, 예컨대 심층 합성곱 신경망(deep Convolutional Neural Network, CNN)을 기반으로 할 수 있다. V-모듈은 독립 변수와 종속 변수 간의 모든 가능한 관계를 파악하도록 학습된 후 각 개별 이벤트가 실험 여건에 기여하는 정도를 시각화할 수 있다.

E-모듈은 태스크 설계의 공변량을 학습하고 공변량을 고려한 태스크를 생성할 수 있다. E-모듈의 능력을 통해 공변량의 영향을 확인하고 실험 전에 배제할 수 있다.

E-모듈은 실험 변수를 인코딩하여 잠재 태스크 벡터(latent task vector)와 실제 실험 사이의 관계를 학습하며, 이를 통해 각 주요 실험 변수와 실제 실험 생성 사이의 관계를 파악할 수 있다.

이러한 E-모듈은, 예컨대 심층 생성 모델인 정보를 극대화하는 생성적 적대 신경망(Information Maximizing Generative Adversarial Networks, InfoGAN)를 기반으로 할 수 있다. E-모듈은 실험자가 구현되도록 의도한 독립 변수 및 실험자가 제어하지 못한 공변량을 포함하는 잠재 태스크 벡터(latent task vector)에 대한 정보를 발견할 수 있다.

아래에서는 2가지 태스크에 대해 실험을 하였으며 각 태스크의 성능 결과를 확인할 수 있다.

제안하는 심층 신경 실험자(DNE)의 유용성을 검증하기 위하여, 이전 연구자들이 설계한 실험 상황에 심층 신경 실험자(DNE)를 적용하고 실험 설계에 대한 적합성을 재검증한다. 실험 변수들 간의 높은 시간적, 공간적 상관 관계가 반영된 인과 추론(비특허문헌 3) 및 강화 학습(비특허문헌 4) 시나리오가 사용되었다.

먼저, 인과 추론 태스크(Causal Inference Task)는 신호의 신규성 및 신호-보상 연관에 대한 불확정성을 조작하여 원-샷 학습(one-shot learning) 및 점진적 학습(incremental learning)이라는 구별되는 학습을 유도했다. 이 태스크에서, 피실험자들은 서로 다른 제시 빈도를 가지며 수치적인 보상을 유발하는 신호 시퀀스를 관찰한 후 신호와 보상 간의 인과 관계를 발견하도록 안내 받는다.

총 3개의 신호가 각각 빈도 16번, 8번, 1번으로 총 25번 제시된다. 이 신호들 중에서, 단 한번 제시되는 신호가 새로운 신호 및 불확정 신호로 사용된다. 위에서 언급한 빈도를 기반으로, 신호들이 제시되고 선택되며 5개의 신호로 된 시퀀스는 수치적인 보상을 야기한다. 총, 5개의 자극과 1개의 보상 쌍이 5번 반복된다. 보상도 유사하게, 총 5개의 보상 중에서 혼자 다른 값을 갖는 새로운 수치적인 보상도 있다. 신호와 보상에 대한 모든 표현이 제시된 이후, 피실험자들은 각 신호가 보상에 어느 정도 영향을 주는지에 대해 각 신호마다 0점에서 10점까지의 점수를 주도록 요청 받는다. 이러한 표현 및 점수 매기기는 각 피실험자마다 40번 반복된다.

이 태스크 설계의 가설은 확정 신호('새롭지 않는 신호') 및 보상('새롭지 않는 보상')에 대한 시퀀스가 반복적으로 매핑될 때, 보이지 않는 자극('새로운 신호')의 불확정성이 증가한다는 것이다. 이러한 상황에서, 자극('새로운 신호')이 있는 새로운 시퀀스가 보이지 않는 보상('새로운 보상')을 초래한다면, 이 조합(coupling)은 새로운 신호에 대한 빠른 학습('원-샷 학습')을 유도한다. 반면, 새로운-신호와 새로운-보상 간의 아무런 관련성이 없다면, 빠른 학습은 유도되지 않는다('점진적 학습').

이 태스크 설계에 대한 공변량 매개변수는 새로운 신호 및 새로운 보상의 위치이다. 태스크는 상기 언급된 원-샷 및 점진적 여건 하에서, 4개의 이웃하는 신호들 중 새로운 신호의 자세한 위치는 가설에 영향을 주지 않는다는 점을 시사한다. 따라서, 불확정 신호 조합의 최소 2개 표현 이후에 새로운 신호가 나타난다는 단 하나의 제약이 있는 상태에서 새로운 신호의 행 및 열 위치를 무작위로 선택한다. 이 제약을 사용하여, 태스크 설계는 새로운 신호의 불확정성이 표현 전에 충분히 증가한다는 점을 확인할 수 있다.

다음으로 실시 예에 적용한 강화 학습 태스크(Reinforcement Learning Task)는 2단계 마르코프 결정 태스크(2 stage Markov Decision Task)라고 불리며, 실험 중간에 실험 변수인 상태-전이 확률(state-transition probability)을 조작한 후의 반응을 통해 모델-기반(model-based, MB) 강화 학습 전략과 모델-프리(model-free, MF) 강화 학습 전략을 구분하는 태스크이다. 이 태스크에서, 피실험자들은 2단계 결정 문제를 푸는데, 두 가지 결정(왼쪽 또는 오른쪽 중 하나)을 내리고 이를 기반으로 수치적인 보상을 얻는다. 여기서 각 단계에서 다음 단계로 이동하는 것을 전이라고 하는데, 이는 피실험자의 결정에 의해 확정되지 않고, 정해진 일정 확률로 다음 단계 (왼쪽 또는 오른쪽 중 하나)로 전이 되게 된다. 또한, 최종 상태에서 주어지는 보상 또한 확정되지 않고 일정확률로 얻게 된다. 이 태스크에서는 피실험자들이 태스크를 수행하는 동안 일정 주기마다 전이 확률을 바꾸고 그들의 학습 전략에 기반하여 환경 변화에 대한 반응 경향을 관찰한다.

두 개의 연속적인 결정 및 주어진 보상은 하나의 시도로 간주되며, 각 피실험자에 대해 180번 반복된다. 피실험자들은 이 180번의 반복되는 시도에서 가능한 많은 보상을 얻도록 안내 받는다. 또한 매 60번의 시도 (전체 시도의 1/3 지점)마다 환경 설정 즉, 첫 번째 동작에 대한 전이 확률을 변경한다. 일 실시예에의 경우 첫 단계에서의 전이 확률 대신, 마지막에 제공되는 보상 확률을 변경하였으며, 이러한 실험 셋팅의 차이는 실험 결과에 영향을 주지 않는다. 이 태스크는 도구적 학습 태스크(instrumental learning task)이므로, 실제 실험 대신 순수한 MB 및 MF 에이전트를 구현한 후 가상 행동 시뮬레이션을 사용하여 심층 신경 실험자(DNE)를 검증했다.

이 태스크에 대한 가설은, 환경 설정이 변화하면 두 가지 학습자의 적응 경향이 달라진다는 것이다. MB 학습자의 경우, 보상과 전이 확률을 모두 감안하기 때문에 새로운 환경에 빠르게 적응한다. 반면, MF 에이전트는 새로운 환경에 적응하려면 더 많은 경험을 필요로 한다.

이 태스크 설계에 대한 공변량 매개변수는 환경 설정 변화 이후 첫 번째 단계에서의 결정이다. 다른 매개변수는 바뀌지 않기 때문에, MB 및 MF 학습자는 두 번째 결정에 대해 동일하게 반응할 것이다. 이 대신, 실시예에 따른 경우 보상 확률을 바꾸기 때문에 공변량 매개변수는 첫 번째 또는 두 번째 동작에서 존재할 것이다.

V-모듈 출력: 실험 이전

V-모듈이 인과 추론 태스크에 적용되면, 히트 맵은 새로운 신호 및 새로운 보상에서 활성화를 보이는데, 이는 도 2a에 도시된 바와 같이, 본래의 가설과 일치한다. 이전 상태에 대해 시뮬레이션 되었기 때문에, 여기에서는 본래의 가설에서 생성된 인공 데이터를 사용했고 각 시도는 기대되는 결과와 일치했다(즉, 원-샷 학습 또는 점진적 학습을 유도함). 새로운 신호 및 불확정 신호가 새로운 보상과 결합될 원-샷 학습이 유도된다는 본래 가설과 비교함으로써, 이 결과로부터 실험 설계가 주된 가설을 만족한다는 점이 검증되었다.

또한, 강화 학습 태스크에서 같은 과정을 적용했을 때, 히트 맵이 두 학습자를 구분할 수 있는 영역을 강조 표시한다는 점을 발견했다. 히트 맵은 특히 환경이 변화할 때 동작 및 보상 영역에서 활성화를 보인다(도 2b). 이 지점은 MB/MF 학습자에 대해 다른 동작이 발생하는 원칙 지역(principle area)이다. 이는 환경이 변화할 때 MB 및 MF 학습자가 다르게 행동한다는 태스크에 대한 본래의 해석과 일치한다.

V-모듈 출력: 실험 이후

또한, 여기에서는 실제 인간의 행동에 대해 V-모듈을 테스트했고 실험 분석 단계에서 그 적용 가능성을 제시했다. 분석을 위해, 이전 연구(비특허문헌 3)가 제공한 인간의 행동 및 기능적 자기 공명 영상법(functional Magnetic Resonance Imaging, fMRI) 데이터를 사용했다. 실험에서 fMRI에서 총 18명의 피실험자들이 실험을 수행했다. 각 점수 값으로부터, 어느정도 빠른 학습(rapid learning)이 유도되는지에 대한 지표인 원-샷 인덱스 값을 추정했다. 그 값을 기반으로 총 40개의 개인적인 응답을 원-샷 학습 및 점진적 학습이라는 두 가지 유형으로 나눴다.

V-모듈을 학습하기 위하여, 각 블록을 그에 대응하는 학습 유형으로 표시했다(빠른 학습에 대해서는 1, 점진적 학습에 대해서는 0). 학습 이후, 도 3a에 도시된 바와 같이, 히트 맵 신호가 이전의 실험 결과와 일치한다는 것을 알아냈다. 이 결과에 따르면, 사실상 피실험자가 설계된 가설 매개변수를 기반으로 실험을 수행했다는 결론을 내릴 수 있다.

결과에 대한 더 정량적인 분석을 위해, 이전 연구(비특허문헌 3)에서 계산된 불확정성에 대한 두뇌 모델과 히트 맵 신호 간의 상관 관계를 분석했다. 이에 따라 두 신호 간에 통계적으로 상당한 상관 관계가 있다는 것을 발견했다. 이전 연구에서 불확정성 신호를 리그레서(regressor)로 사용하여 신경 데이터를 위한 GLM 분석을 수행했을 때 복외측 전전두엽 피질(ventrolateral prefrontal cortex, vlPFC) 및 배외측 전전두엽 피질(dorsolateral prefrontal cortex, dlPFC) 내의 두뇌 영역이 인과 관계에 대한 불확정성을 암호화한다고 결론을 내렸다. 이와 마찬가지로 실시예에서 또한 히트 맵 신호를 리그레서로 사용했을때, 동일한 영역에 신경 활성화를 발견할 수 있었으며 이를 통해 히트 맵 신호가 불확정성 신호를 잘 인코딩했음을 확인 할 수 있다(도 3b).

상기 테스터-모듈의 검증 결과는 히트 맵이 단지 가설을 시각화하는 용도뿐만 아니라 결과를 설명하는 정교한 시계열 신호를 포함한다는 점을 의미한다. 이는 가설을 모델링하기 위해 매우 복잡한 수학적 근사를 사용하는 이전의 접근법을 심층 신경 실험자(DNE)의 V-모듈을 사용해 대체하는 것이 가능하다는 점을 시사한다.

E-모듈 출력: 실험 이전

실시예에 따르면 인과 추론 태스크에 E-모듈을 적용했을 때, 잠재 태스크 벡터는 새로운 신호 및 새로운 보상의 행/렬의 위치를 공변량 변수로서 학습했고, 이는 본래 태스크 설계와 일치한다. 더 구체적으로, 태스크 변수를 학습하기 위해 두 가지 변수를 설정했을 때, 한 변수는 새로운 신호의 열(column)을 결정하기 위해 할당되었고 다른 하나는 새로운 신호의 행(row) 위치를 위해 사용되었다. 이 매개변수들을 제어하는 동안 생성된 결과들은 도 4a에 제시된다.

간격 내 0부터 1까지, 첫 번째 및 두 번째 내재 태스크 벡터를 제어했을 때, 새로운 신호는 오른쪽에서 왼쪽으로 움직인 뒤(

) 행을 바꾸었다(

). 이는 새로운 신호와 새로운 보상의 위치는 원-샷 학습 또는 점진적 학습을 유도하기 위해 중요한 문제가 아니라는 것을 다시 알려주며, 이 연구 결과는 태스크의 본래 공변량 설계와 일치한다.

강화 학습 태스크에서, 잠재 태스크 벡터는 공변량 변수로서 환경 설정이 변화하는 지점과 관련이 없는 영역을 학습했으며, 도 4b에 도시된 바와 같이, 이 지점은 두 학습자 간에 구별되지 않는다. 더 구체적으로, 학습 이후, 태스크 벡터는 비-3등분 영역에서 첫 번째 선택 동작(A1)을 제어할 수 있다. 이 영역들은 MB 및 MF가 유사하게 동작하는 정적인 환경을 위한 것이다. 이 결과로부터, E-모듈이 제어 매개변수를 발견했다는 것을 추론할 수 있으며, 이는 이러한 공변량들이 주된 가설에 영향을 주지 않는다는 것을 의미한다.

상기 결과는 E-모듈이 제어 매개변수가 주된 가설에 영향을 주는지 여부를 감지할 수 있음을 보여주었다. 연구자들이 모든 피실험자 및 여건에서 제어 매개변수의 무작위성을 확신할 수 없으므로, 이 응용은 실험 설계에서 유용할 수 있다. 이 사전 평가 프레임워크는 모델을 학습시킴으로써 무작위성을 간단히 보장할 수 있다.

혼재 변수 제어(controlling for confounding variable)

실시예에 따른 모델이 편향된(biased) 설계를 감지할 수 있다는 점을 보여주기 위하여, 공변량이 주된 가설에 영향을 미치는 잘못 설계된 태스크 설계로 테스트했다. 이에 대해 의도적으로 편향된 설정을 사용하여 본래의 인과 추론을 조작했다. 구체적으로, 각 여건(원-샷 또는 점진적 학습)은 새로운 신호에 대해 위치적 편향을 갖는다. 원-샷 학습의 경우 새로운 신호는 오직 첫 번째 또는 두 번째 열에서만 나타나며, 점진적 학습의 경우 네 번째 또는 다섯 번째 열에서 나타나도록 편향성을 주었다.

V-모듈을 상기 태스크 설계에 적용했을 때, 히트 맵 출력은 두 가지 구별되는 가설을 보여주었다. 하나의 가설은 새로운 신호 및 새로운 보상 간의 결합은 이 태스크에 대핸 핵심 매개변수라는 본래의 가설과 일치한다. 그러나, 모듈은 새로운 신호의 위치가 두 가지 학습 여건을 구별하기 위해 중요한 다른 가설 또한 발견했다. 편향된 공변량을 정확히 설명하는 이 두 번째 가설로부터, V-모듈이 편향된 공변량 사전 실험을 감지할 수 있다는 점을 확인할 수 있다.

편향된 공변량의 영향은 E-모듈에서도 감지되었으며, 새로운 신호의 위치는 생성된 태스크에서 편향되었다. 학습 이후, 본래의 잠재 벡터 함수와 비교해서, 잠재 벡터에 대한 한 값이 제어 매개변수를 암호화하지 않는다. 이 학습된 제어 매개변수를 분석함으로써, 제어 매개변수가 실제 태스크 설계에 얼마나 분포되어 있는지를 확인할 수 있다. 편향된 공변량을 사용한 결과는 실시예에 따른 모델이 주된 가설에 대한 가능한 위협들을 감지하는 데 사용될 수 있다는 점을 시사한다.

이상에서, 실시예들은 연구자들의 변수들의 고차원 상관 관계를 학습하여 가설이 실험 설계 단계에 적절히 반영되었는지 여부를 검증하는 심층 학습 모델을 사용함으로써 실험 설계 패러다임 기반의 인공 지능을 제안했다. 제안하는 모델은 인과 추론 태스크 및 강화 학습 태스크에 적용되어 두 가지 방법인 V-모듈을 통한 히트 맵과 E-모듈을 통한 태스크 생성을 통해 실험 설계에 대한 적용 가능성을 검증했다.

인과 추론 태스크에서, 새로운 신호 및 새로운 보상에 대한 표현 시퀀스의 위치는 히트 맵을 통해 활성화되었다. 강화 학습 태스크에서, 두 학습자(MB 및 MF 학습자)의 행동 및 그들이 성취한 보상 패턴 간의 차이는 V-모듈의 히트 맵을 통해 강조되었는데, 이는 히트 맵이 두 그룹 간의 차이를 효과적으로 포착한다는 점을 시사한다.

E-모듈의 잠재 태스크 벡터는 인과 추론 태스크에서 신호의 위치를 학습했으며, 이는 샘플을 생성할 때 원-샷 학습 여건 및 점진적 학습 여건에서 동일한 영향을 주었다. 유사하게, 강화 학습 태스크에서 또한 E-모듈의 잠재 벡터는 실험 설정 시의 기반 확률(underlying stochastic)인 MB 및 MF에서의 동작 선택 및 보상에 대한 동일한 분포를 학습했다. 상기 결과에 기반하여, 이전 연구들이 제안한 실험 설계는 의도된 가설을 검증하기에 적합하다고 간주될 수 있다. 이 접근법은 같은 방식으로 다양한 분야의 실험 설계에 적용될 수 있다.

제안하는 심층 신경 실험자(DNE)는 편향된 공변량(새로운 신호의 위치)을 포함하는 실험 설계에도 적용되어 의도되지 않은 제어 변수에 대한 영향을 학습하는 모델의 능력을 검증한다. 결과는 V-모듈의 히트 맵이 두 그룹을 신호의 표현 위치에 기반하여 구분한다는 점을 보여주었다. 또한, 샘플이 E-모듈의 잠재 벡터를 통해 생성되었을 때, 새로운 신호의 생성 위치는 각 여건(원-샷 여건 및 점진적 학습 여건)에 대해 다른 편향을 보였다. 이 결과는 제한된 수의 케이스만이 테스트될 수 있을 때 심층 신경 실험자(DNE) 패러다임이 가설에 대한 의도하지 않은 영향을 정량화할 수 있다는 점을 시사하며, 실제 실험 전에 실험 설계를 변형하여 공변량 효과를 제거하는 데(regress out) 심층 신경 실험자(DNE)가 사용될 수 있을 것이라고 기대된다.

본 발명에서 제안된 모델은 실험 설계 과정뿐만 아니라 실험 결과 분석에서도 사용될 수 있으며, 이는 심층 신경 실험자(DNE)의 추가적인 적용이다. 분리 모델(비특허문헌 3)을 통해 계산되는 신호-보상 연관에 대한 불확정성 간에 통계적으로 상당한 상관 관계가 있다는 것을 V-모듈의 히트 맵 신호와 피실험자의 행동 패턴을 사용하여 보인다. 또한, 인과 추론 실험에서 얻어진 피실험자들의 두뇌 신호를 히트 맵을 사용하여 분석했을 때, 부확정성 신호를 처리한다고 알려진 두뇌 영역이 활성화되는 것이 관찰되었다. V-모듈에 의해 제시되는 히트 맵은 실험하는 동안의 피실험자들의 실험 전략 또는 학습 신호를 반영하며, 이는 연구자가 인지하지 않는 다양한 가설들에 대한 발견에 기여할 수 있다.

심층 신경 실험자(DNE)의 사용은 자극 간의 시간적, 공간적 상관 관계를 다루는 인지 신경과학에 국한되지 않고 실험 연구가 요구되는 공학 분야에도 확장될 수 있다. 예를 들어, 약물 반응을 예측하기 위한 화학 실험 및 나노 장치 개발을 위한 대규모 데이터 처리의 개발에서, 복잡한 상관 관계를 갖는 변수들 간의 관계를 분석하는 것을 매우 중요하다. 본 발명에서 제안하는 심층 신경 실험자(DNE)는 연구자들의 인지 능력을 넘어선 변수들 간의 고차 상관 관계를 정량화하고 분석하는 데 직접적으로 적용될 수 있다.

결과적으로, 본 발명에서 제안하는 심층 신경 실험자(DNE)는 안정적인 실험 설정을 찾아서 실험의 복잡성을 증가에 따른 설계 복잡성을 감소시키는 방법을 제시한다. 심층 신경 실험자(DNE)을 적용하면, 과학 및 공학의 실험 연구 분석을 기반으로 하여, 정교한 실험 설계, 가설 생성 및 계산 모델에 도움이 될 것이다.

도 5는 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법을 나타내는 흐름도이다.

도 5를 참조하면, 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법은, 실험 디자인을 구성하는 요소를 수치화하는 단계(S110), 수치화된 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계(S120), 및 인코딩된 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성하는 단계(S130)를 포함하여 이루어질 수 있다.

이후, 생성된 실험을 통해 다시 새로운 실험을 진행하고 위의 과정을 반복할 수 있다.

일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법은 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 시스템을 이용하여 보다 구체적으로 설명할 수 있다.

도 6은 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 시스템을 개략적으로 나타내는 도면이다.

도 6을 참조하면, 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 시스템(600)은 전처리부(610) 및 실험 변수 인코딩부(620)를 포함하여 이루어질 수 있으며, 실시예에 따라 실험 생성 모델부(630)를 더 포함하여 이루어질 수 있다. 한편, 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 시스템(600)은 심층 신경 실험자(DNE)를 포함하거나 심층 신경 실험자(DNE)에 포함될 수 있으며, 여기에서는 심층 신경 실험자(DNE)로 표현될 수 있다.

단계(S110)에서, 전처리부(610)는 실험 디자인을 구성하는 요소를 수치화할 수 있다. 여기서 전처리부(610)는 실험 설계에 대한 사전 정보 없이 실험 디자인의 요소를 벡터화함으로써 단순 수치화할 수 있다. 전처리부(610)의 이러한 과정은 생성모델을 이용한 실험 가설 생성 시스템(즉, 심층 신경 실험자(DNE))에 입력시키기 위한 방법이다.

심층 신경 실험자(DNE)는 태스크 인스턴스 벡터(task instance vector)(벡터화된 태스크)를 입력으로 하며, 출력은 대응하는 태스크 인스턴스에 대해 기대되는 결과물이다. 태스크 인스턴스 벡터는 태스크 설계 시 생성되는 벡터화된 태스크 시도(vectorized task trial)를 의미한다.

예를 들어, 태스크 설계는 다양한 자극(빛, 벨 및 음식)의 배열에 대한 몇몇 규칙을 정의하며, 배열의 결과는 그 태스크 설계의 인스턴스이다. 이 인스턴스들을 벡터화하기 위하여, 각 매개변수(신호-벨 및 신호-빛)는 0-1 사이의 실수 값으로 매핑되어야 한다. 출력 레이블(output label)은 각 태스크 인스턴스에 대해 예상되는 출력을 의미한다. 같은 예시로부터, 연구자의 가설을 기반으로 일부 태스크 인스턴스는 개가 침을 흘리도록 유도할 것이며, 다른 인스턴스들은 그러지 않을 것이다.

이러한 입력과 출력을 사용하여, V-모듈과 E-모듈은 가능한 가설 및 공변량 각각을 태스크 설계 시에 학습할 수 있다. 이 두 가지 모듈은 독립적으로 학습되지만 같은 입력을 사용할 수 있다.

단계(S120)에서, 실험 변수 인코딩부(620)는 수치화된 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩할 수 있다.

실험 변수 인코딩부(620)는 실험의 독립 변수와 종속 변수 간의 모든 가능한 관계를 파악하도록 학습된 후, 각 개별 이벤트가 실험 여건에 기여하는 정도를 시각화할 수 있다.

이러한 실험 변수 인코딩부(620)는 심층 합성곱 신경망(deep Convolutional Neural Network, CNN)을 기반으로 하는 가설 시각화 모듈(Hypothesis Visualization)로 구성될 수 있다. 즉, 실험 변수 인코딩부(620)는 V-모듈을 포함하거나 V-모듈에 포함될 수 있다.

단계(S130), 실험 생성 모델부(630)는 인코딩된 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 실험을 재구성할 수 있다.

실험 생성 모델부(630)는 실험 변수를 인코딩하여 잠재 태스크 벡터(latent task vector)와 실제 실험 사이의 관계를 학습하며, 각각의 실험 변수와 실제 실험 생성 사이의 관계를 파악할 수 있다.

이러한 실험 생성 모델부(630)는 생성적 적대 신경망(Information Maximizing Generative Adversarial Networks, InfoGAN)을 기반으로 하는 가설 임베딩 모듈(Hypothesis Embedding, E-모듈)로 구성될 수 있다. 즉, 실험 생성 모델부(630)는 E-모듈을 포함하거나 E-모듈에 포함될 수 있다.

도 7은 일 실시예에 따른 인코딩된 실험 변수를 설명하기 위한 도면이다.

도 7을 참조하면, 실험 변수 인코딩부(620)는 심층 신경망 기반의 생성 모델을 통해 예측 가설인 히트 맵(Heat Map) 결과(720)를 출력하며, 심층 신경망 기반의 생성 모델을 통해 마지막 출력부의 이전 레이어(Layer)의 정보인 중간 결과물을 인코딩된 실험 변수(710)로 사용할 수 있다.

이에, 실험 생성 모델부(630)는 인코딩된 실험 변수(710)를 입력 받아 실험을 생성하도록 학습하며, 인코딩된 실험 변수(710)와 실험 생성과의 상관관계를 고려하며 실험을 생성하도록 학습할 수 있다.

아래에서 일 실시예에 따른 생성모델을 이용한 실험 가설 생성 방법 및 시스템에 대해 더 상세히 설명한다.

도 8은 일 실시예에 따른 실험 변수 인코딩을 설명하기 위한 도면이다.

도 8을 참조하면, 일 실시예에 따른 실험 변수 인코딩부(V-모듈)(800)는, 가설을 시각화하고 예측하기 위하여, 모델은 대응하는 출력에 대한 태스크 매개변수 각각의 영향을 추정해야 한다. 따라서, 요구되는 모델은 입력에서 지배적인 패턴을 학습해야 하는데, 이는 컴퓨터 비전 도메인에서의 물체 감지와 유사한 개념을 사용하여 수행될 수 있다. 기존의 물체 감지 연구에서, 학습 데이터를 위해 모든 위치 클래스 오브젝트가 주어져야 한다. 그러나, 본 실시예의 경우 태스크를 수행하기 전에 각 매개변수의 유효성을 추정하는 것을 불가능하다. 따라서, 여기에서는 오직 분류(classification)를 위해 학습됨에도 불구하고, 물체를 자유롭게 감지할 수 있는 제한된(constrained) CNN 모델을 사용할 수 있다.

예컨대, 제한된 CNN 모델은 일반적인 CNN과 유사하지만 완전 연결 레이어(fully connected layer)에 전역 평균 정보(globally averaged information)를 전달하고 오직 하나의 완전 연결 레이어만을 갖는다는 점이 차이가 있다. 전체적인 순전파(forward propagation) 과정은 다음과 같다.

벡터화를 통해 수치화(810)하고, 일부 합성곱 레이어(convolution layer)(820) 및 풀링 레이어(pooling layer) 이후, 최종적인 필터는 전역 평균 풀링 레이어(global average pooling layer)를 사용해 전역적으로 평균내며, 평균 정보(averaged information)는 최종적인 완전 연결 레이어로 전파된다. 이 구조로부터, 최종적인 필터 맵이 입력에 대한 요약된 정보를 포함할 수 있다. 이후, 이러한 필터 맵들의 가중된 조합이 물체의 위치를 강조 표시한다.

이 방법은 학습 시 물체 위치에 대한 정보 없이도 물체 감지를 가능하게 하므로, 각 태스크 인스턴스 벡터의 지배적인 패턴을 발견하기 위하여 이 방법을 사용할 수 있다.

한편, 출력 결과(840) 이전 레이어(Layer)의 정보인 중간 결과물을 인코딩된 실험 변수(830)로 사용할 수 있다.

도 9는 일 실시예에 따른 실험 생성 모델을 설명하기 위한 도면이다.

도 9를 참조하면, 일 실시예에 따른 실험 생성 모델부(E-모듈)(900)에 대해 보다 구체적으로 설명한다. 제어 매개변수는 그 정의대로 태스크 결과에 영향을 미쳐서는 안되는데, 이는 각 클래스에 걸친 분포(기대되는 결과물의 유형)가 변화하지 않아야 한다는 것을 의미한다. 이 매개변수들을 찾기 위한 적절한 모델인 infoGAN가 있으며, 이는 클래스 의존/비의존 특징(class dependent/independent feature)을 학습하여 이를 변형 이미지(variant images)를 생성하는 데 적용하는 생성 모델(generative model)의 한 유형이다. 본래의 GAN와는 달리, 잠재 벡터 내에 코드 벡터(code vector)를 가지며, 이는 클래스 의존/비의존 정보를 포함한다. 이것은 클래스 비의존 정보이다.

이 모델에서, 데이터를 생성할 때 코드 벡터를 사용할 수 있도록 하기 위해 이 추가적인 정보에 대한 예측 손실 또한 학습 시 고려된다. 예를 들어, 클래스 레이블이 gender인 인간의 얼굴 데이터에서, 클래스 비의존 특징으로서 피부 색 또는 얼굴 각도가 있다는 것을 학습하며 특정 얼굴을 생성할 때 생성기가 이 정보를 사용하도록 한다. 유사한 변형 모델인 infoGAN은 유사한 방법을 따르지만, 잠재 벡터를 명시적으로 설계할 수 있다. 공변량 매개변수를 명시적으로 발견하기 위하여, 여기에서는 E-모듈에 대해 infoGAN을 사용할 수 있다.

GAN는 생성기(generator)와 분류기(discriminator)의 경쟁적 구조에 대한 이미지와 잠재 벡터 간의 맵을 학습하는 생성 모델이다. 이 두 네트워크는 각자의 목적에 따라 학습되며, 학습은 이 두 가지 목적 함수가 평형을 이룰 때 끝난다. 생성기의 목적 함수는 분류기가 실제 데이터인지 생성된 데이터인지 구분할 수 없는 잠재 벡터로부터 이미지를 생성하는 것이다. 반면, 분류기 네트워크는 실제 데이터와 가짜 데이터를 잘 분류하도록 학습된다.

infoGAN은 유사한 방법을 따르지만 각 위치의 기능성을 명시적으로 나타낼 수 있는(클래스 의존/비의존 특징들을 저장하는) 구조화된 잠재 벡터를 사용한다. 또한, 잠재 벡터(코드 벡터) 내에 일부 공간을 할당하며 클래스 의존 특징 및 클래스 비의존 특징을 위해 이 공간을 두 개의 부 영역으로 명시적으로 나눈다. 이후, 모델은 생성된 이미지와 코드 벡터 간의 상호 정보(mutual information)를 최대화하기 위한 부가적인 손실 항(loss term)을 추가한다. 이에 의하여, 코드 벡터 내 각 영역을 해석할 수 있다.

예를 들어, 클래스 비의존 벡터를 학습하기 위해 두 공간을 할당하면, 한 공간은 얼굴의 색깔을 제어하는 매개변수가 되고, 다른 하나는 얼굴 각도를 제어할 수 있다. 이 infoGAN을 사용하여, 코드 벡터를 조작함으로써 각 공변량 변수를 발견할 수 있다. 이제, 설계 적용을 목표로 하기 때문에 이 코드 벡터 항을 잠재 태스크 벡터로 다시 구성할 수 있다.

이러한 실험 생성 모델부(900)는 실험 변수 인코딩부에서 인코딩된 실험 변수(910)를 입력 받아 업샘플링(920)을 통해 새로운 실험을 생성(930)하도록 학습하며, 인코딩된 실험 변수(910)와 실험 생성(930)과의 상관관계를 고려하며 실험을 생성하도록 학습할 수 있다.

인과 추론 태스크(비특허문헌 3)는 시간에 따라 자극의 신규성 및 불확정성 수준을 제어함으로써 원-샷 학습을 야기하는 실험 상황을 유도하기 위해 설계되었다. 각 시도에서, 피실험자들은 표현 빈도가 다른 신호의 시퀀스를 관찰한다. 신호의 시퀀스가 제시된 이후 수치적인 보상이 주어진다. 이 과정은 5번 반복되었으며, 모든 표현들이 제시되었을 때 참가자들은 각 자극이 보상을 야기할 가능성에 대해 대답하도록 요청 받았다.

신호는 3가지의 다른 프랙탈 이미지(fractal images)로 구성되며, 자극 간의 신규성 및 불확정성에 대한 다양한 정도는 표현 빈도 및 표현 위치를 조정함으로써 유도되었다. 수치적인 보상의 경우, 4개 또는 5개의 보상이 같았으며, 오직 1개의 보상("새로운-보상")이 다른 값을 가졌다.

실험 여건은 두 가지 카테고리, 원-샷 학습 여건(one-shot learning condition) 및 점진적 학습 여건(incremental learning condition)으로 분류된다. 원-샷 학습 여건에서, 두 개의 자극이 새롭지 않은 보상과 함께 반복적으로 표현되어 남아 있는 자극("새로운-자극")의 불확정성이 증가되도록 유도할 때, 새로운 자극은 순차적인 순서로 새로운-수치적 보상과 함께 나타나며, 빠른 학습을 야기한다. 점진적 학습 여건에서 새로운 자극과 새로운 보상 간에 어떠한 연결도 없어서 빠른 학습은 유도되지 않는다.

(Lee 등, 2015)은 원-샷 학습 메커니즘을 설명하기 위해 베이지안 프레임워크(Bayesian framework)를 기반으로 하여 인과 추론 모델을 제안했다. 이 모델에서 각 신호와 보상 간의 인과성(causality)은 확률로 표현되며, 신호-보상 관계 간의 불확정성은 학습 속도에 영향을 미친다고 가정한다.

강화 학습 태스크(비특허문헌 4)는 두 가지의 뚜렷한 인간의 학습 전략인 모델-기반(Model-Based, MB) 학습 및 모델-프리(Model-Free, MF) 학습을 구분하기 위해 제안되었다. 이 실험에서, 피실험자는 각 시도에 대해 두 가지 결정을 내리며, 각 결정의 결과에 따라 확률적으로 다음 단계로 진행한다. 두 가지 결정 이후, 참가자들이 최종적인 상태에 도달할 때, 피실험자에게 특정 확률로 보상이 주어진다. 이러한 환경인 총 180번의 시도에서, 피실험자는 최대 보상을 얻으려고 노력한다. 본래의 태스크에서, 실험 환경에 대한 불확정성은 시도들 간의 보상 확률 변화에 의해 유도된다. 그러나, 본 발명에서 보상 확률 변화 대신 규칙적인 간격들 간의 상태-천이 확률 변화로 수정했다.

실시예 중 강화학습 실험에서 가상으로 설계한 순수한 MF 또는 순수한 MB 전략을 이용하는 가상 행동 에이전트에 대한 내용은 다음과 같다. (시뮬레이션에 사용된 하이퍼-매개변수들(hyper-paramters)은 학습률(learning rate)이 0.3, 인버스 템프러처(inverse temperature)가 20이다.)

MB 에이전트는 다음 상태로 천이하는 확률을 고려하여 최대 보상을 얻을 수 있는 동작을 계획할 수 있으며, 다음 식과 같이 나타낼 수 있다.

[수학식 1]

여기서,

는 상태

에서 동작을 취할 때 상태

로 천이할 확률을 나타내고,

는 상태

의 보상을 나타내며,

은 상태-동작 값을 나타낸다.

반면, MF 에이전트는 특정 동작이 각 상태에서 취해질 때의 보상 실험 정보를 기반으로 하여 각 상태의 최고 보상을 얻을 수 있는 동작을 선택할 수 있으며, 다음 식과 같이 나타낼 수 있다.

[수학식 2]

여기서,

는 학습 속도를 나타낸다.

환경 정보에 대한 연속적인 탐색을 위해, softmax 규칙이 동작을 선택할 때 사용되었으며, 다음 식과 같이 나타낼 수 있다.

[수학식 3]

이상과 같이, 기존 기술은 실험 설계 내의 주요 변수들을 제시하여 사용자가 선택, 제어, 제거하는 기술을 제공하는 것에 불과하였으나, 본 발명에 따르면 주요 변수를 인코딩 후 새로운 실험 자체를 제시해 줄 수 있다. 즉, 실시예들에 따르면 딥러닝 기반 생성 모델을 이용하여 고차원적인 주요 변수들을 인코딩하고 이들을 통해 새로운 실험까지 생성할 수 있다.

또한, 기존 기술의 경우 잠재 벡터(latent vector)를 클래스 변수로 하여 각 클래스의 데이터들을 생성하는 모델을 사용하는 것에 불과하였으나, 본 발명에서는 이 기술과 더불어 데이터 내 주요 패턴을 파악하는 기술을 추가하여 데이터 내 주요 패턴들을 인코딩하고, 결과 벡터들을 활용하여 새로운 패턴의 데이터를 생성해줄 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. 실험 가설 생성 시스템을 통해 수행되는 실험 가설 생성 방법에 있어서,
   상기 실험 가설 생성 시스템의 전처리부는 실험 디자인을 구성하는 요소를 벡터화를 통해 수치화하는 단계;
   실험 변수 인코딩부는 수치화된 상기 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계; 및
   실험 생성 모델부는 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 상기 실험 디자인을 재구성하는 단계
   를 포함하고,
   상기 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계는,
   심층 합성곱 신경망(deep Convolutional Neural Network, CNN)을 기반으로 하는 가설 시각화 모듈(Hypothesis Visualization)을 통해 인코딩된 실험 변수를 추출하고, 각 실험 변수 중 중요한 부분을 하이라이트(highlight) 해주는 히트 맵(heat map)을 출력하여 실험 디자인에 기여하는 정도를 시각화하며,
   상기 인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 상기 실험 디자인을 재구성하는 단계는,
   상기 실험 생성 모델부는 상기 실험 변수 인코딩부에서 인코딩된 실험 변수를 입력 받아 업샘플링을 통해 실험 디자인을 생성하도록 학습되며, 생성적 적대 신경망(Information Maximizing Generative Adversarial Networks, InfoGAN)을 기반으로 하는 가설 임베딩 모듈(Hypothesis Embedding, E-모듈)을 통해 사용자가 구현되도록 의도한 독립 변수 및 사용자가 제어하지 못한 공변량을 포함하는 잠재 태스크 벡터(latent task vector)에 대한 정보를 찾아 상기 실험 디자인을 구성하는 요소로 반영함에 따라 상기 실험 디자인을 재구성하는 것
   을 특징으로 하는, 실험 가설 생성 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 단계는,
   상기 가설 시각화 모듈의 마지막 출력의 이전 레이어(Layer)의 정보인 중간 결과물을 인코딩된 실험 변수로 사용하는 것
   을 특징으로 하는, 실험 가설 생성 방법.
7. 삭제
8. 실험 디자인을 구성하는 요소를 벡터화를 통해 수치화하는 전처리부;
   수치화된 상기 실험 디자인을 구성하는 요소를 전달 받아 심층 신경망 기반의 생성 모델을 이용하여 실험의 특정 실험 변수들을 인코딩하는 실험 변수 인코딩부; 및
   인코딩된 상기 실험 변수들의 조합을 통해 사용자가 의도한 실험 변수의 조합으로 상기 실험 디자인을 재구성하는 실험 생성 모델부
   를 포함하고,
   상기 실험 변수 인코딩부는,
   심층 합성곱 신경망(deep Convolutional Neural Network, CNN)을 기반으로 하는 가설 시각화 모듈(Hypothesis Visualization)을 통해 인코딩된 실험 변수를 추출하고, 각 실험 변수 중 중요한 부분을 하이라이트(highlight) 해주는 히트 맵(heat map)을 출력하여 실험 디자인에 기여하는 정도를 시각화하며,
   상기 실험 생성 모델부는,
   상기 실험 변수 인코딩부에서 인코딩된 실험 변수를 입력 받아 업샘플링을 통해 실험 디자인을 생성하도록 학습되며, 생성적 적대 신경망(Information Maximizing Generative Adversarial Networks, InfoGAN)을 기반으로 하는 가설 임베딩 모듈(Hypothesis Embedding, E-모듈)을 통해 사용자가 구현되도록 의도한 독립 변수 및 사용자가 제어하지 못한 공변량을 포함하는 잠재 태스크 벡터(latent task vector)에 대한 정보를 찾아 상기 실험 디자인을 구성하는 요소로 반영함에 따라 상기 실험 디자인을 재구성하는 것
   을 특징으로 하는, 실험 가설 생성 시스템.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 제8항에 있어서,
    상기 실험 변수 인코딩부는,
    상기 가설 시각화 모듈의 마지막 출력의 이전 레이어(Layer)의 정보인 중간 결과물을 인코딩된 실험 변수로 사용하는 것
    을 특징으로 하는, 실험 가설 생성 시스템.
15. 삭제

Images