KR100869516B1

KR100869516B1 - 계기 노이즈 및 측정 오차의 존재 하의 인공 신경망모델의 향상된 성능

Info

Publication number: KR100869516B1
Application number: KR1020037004321A
Authority: KR
Inventors: 쿨카르니바스카르다타트레이; 탐베산지브쉬리크리쉬나; 로나리자야람부드하지; 발레차닐암쿠마르; 데쉬무크산자이바산트라오; 쉐노이바바니샨카르; 라비챤드란시바라만
Original assignee: 카운슬 오브 사이언티픽 앤드 인더스트리얼 리서치
Priority date: 2002-03-26
Filing date: 2002-03-26
Publication date: 2008-11-19
Also published as: JP2005521167A; DE60217663T2; EP1382012A1; JP4157477B2; WO2003081527A1; CN100520817C; EP1382012B1; CN1571982A; AU2002247918A1; DE60217663D1; KR20040099092A

Abstract

계기 노이즈 및/또는 측정 오차를 포함하는 입력-출력 표본 데이터의 존재 하에 인공 신경망 모델의 예측 정확성과 일반화 성능을 향상시키는 방법이 기술되었는데, 망 모델을 훈련하기 위해 사용된 입력-출력 표본 데이터 내에 노이즈 및/또는 오차가 존재하면 입력과 출력 사이에 존재하는 비선형 관계를 정확히 학습하는 데에 어려움을 발생시키며, 노이즈가 있는 관계를 효과적으로 학습하기 위해서, 상기 방법은 컴퓨터 시뮬레이션을 사용하여 대형 노이즈 중첩된 표본 입력-출력 데이터 집합을 생성을 생각하는데, 여기에서, 특정 양의 가우스 노이즈가 표본 집합 내의 각각의 입력/출력 변수에 부가되며, 그렇게 생성된 확장된 표본 데이터 집합은 인공 신경망 모델을 구성하기 위한 훈련 집합으로서 사용되고, 부가될 노이즈의 양은 입력/출력 변수에 특정하고, 그 최적 값은 확률론적 탐색 및 최적화 기법 즉 유전적 알고리즘을 사용하여 결정되며, 노이즈 중첩된 확장된 훈련 집합 상에서 훈련된 망은 그 예측 정확성 및 일반화 성능에서 상당한 향상을 보이며, 본 발명의 방법은 산업적 중합 반응로와 연속 교반 탱크 반응로(CSTR)로부터의 계기 오차 및/또는 측정 노이즈를 포함하는 표본 데이터에 성공적으로 적용함으로써 설명되었다.

망 모델, 표본 집합, 계기 노이즈, 측정 오차, 비선형 인공 신경망 모델, 예측 정확성, 일반화 성능, 노이즈 중첩, 컴퓨터 시뮬레이션, 가우스(정상) 분포, 무작위 수, 확률론적 탐색, 최적화 기법, 훈련 집합.

Description

계기 노이즈 및 측정 오차의 존재 하의 인공 신경망 모델의 향상된 성능 {IMPROVED PERFORMANCE OF ARTIFICIAL NEURAL NETWORK MODELS IN THE PRESENCE OF INSTRUMENTAL NOISE AND MEASUREMENT ERRORS}

본 발명은 계기 노이즈(noise) 및/또는 측정 오차를 포함하는 입력-출력 데이터가 존재할 때의 인공 신경망 모델의 예측 정확성 및 일반화 성능을 향상시키는 방법에 관한 것이다.

인공 신경망(ANN)은 임의의 정확도에 대한 비선형 관계를 근사화하는 능력으로 인해서 복합 다중 입력-다중 출력 비선형 프로세스를 모델링하는 데에 적합하다{Poggio, T 및 Girosi, F가 Science, 247,978, 1990에 기고한 다층 망에 해당하는 학습용 정규화 알고리즘(regularization algorithms for learning)}. 그 결과, ANN은 여러 가지 산업에서 프로세스 변수를 온라인 및 오프라인 예측하기 위해 광범위하게 사용되었다. ANN의 산업적 응용에는 프로세스 식별, 정상 상태(steady-state) 및 동적 프로세스 모델링, 고장 검출 및 진단, 소프트 센서 개발, 및 비선형 프로세스 제어 및 감시가 포함된다. 이러한 ANN 응용은 탐베(Tambe) 및 공동 저자에 의해 폭 넓게 검토되었다(Tambe, S. S., Kulkarni, B. D., Deshpande, P. B.이 Simulation & Advanced Controls Inc. Louisville, USA, 1996에 기고한 화학 공학, 및 화학 및 생물학 과학에 선택된 응용을 가진 인공망의 요소). 임의의 프로세스 동안에, 프로세스 출력 변수의 값을 미리 예측할 수 있는 ANN 모델을 개발하는 데에 사용될 수 있는 많은 양의 프로세스 입력-출력 데이터가 생성된다. ANN 모델의 바람직한 특징은 (1) 그 구성에 사용된 입력-출력 표본(exmaple) 데이터세트에 포함된 출력을 정확히 예측하여야 하고, (2) 우수한 일반화 능력을 보유하여야 한다는 것이다. 종래에, ANN 모델은 사전 규정된 비용(cost)(오차) 함수를 최소화하는 적절한 가중치-조정 알고리즘을 사용하여 훈련된다. 비용 함수의 형태는 결과적인 ANN 모델의 확률론적 성질(노이즈 민감도)을 완전히 결정한다는 것을 알 수 있다. 예로서, 가장 넓게 사용되는 오차 역방향 전파(error-back-propagation)(EBP){Rumelhart, D., Hinton, G., Williams, R.이 Nature, 323,533, 1986에 기고한 오차를 역방향 전파시킴에 의한 학습 표시(Learning representations by backpropagating errors)} 알고리즘은 평균 자승 제곱근 오차(RSME) 함수의 최소화를 수행한다. 임의의 대량의 프로세스 데이터에서, 계기 잡음 및/또는 측정 오차의 존재는 절박한 것이다. 망 훈련에 사용되는 입력-출력 데이터에 노이즈 및/또는 오차의 존재는 그 모델이 보여주는 모델 예측의 정확도 및 일반화 성능에 대한 임계치 제한을 발생시킨다. 이것은 주로 망이 노이즈 및/또는 오차를 포함하는 입력 및 출력 데이터 사이에 존재하는 평균적 관계를 근사화(학습)하고자 하기 때문에 발생한다. 망은 데이터 내의 노이즈와 오차를 무시하기 때문에, 망이 포착하는 평균적 관계는 부정확성을 내포한다. 예측의 부정확성은 그것이 심각하면 허용될 수 없는데, 왜냐하면 프로세스 조작에 관한 상당히 많은 제어 및 정책 결정이 그 모델에 의한 예측에 기초하기 때문이다. 예로서, 중합 반응로 내에서, 용융물 흐름 지표(MFI), 응력 지수(S_ex), 등 품질 변수의 예측은 생산된 중합체의 등급을 결정하는 데에 중요하다. 일반화를 할 수 있는 ANN 모델은 그 개발에 사용된 데이터(표본 집합) 내의 출력을 정확하게 예측할 뿐만 아니라, 새로운 또는 신규한 입력 데이터에 대응하는 출력도 정확하게 예측한다. 따라서, ANN 모델이 우수한 예측 정확성만이 아니라 우수한 일반화 성질을 갖는 것이 매우 중요하다.

시판 중인 소프트웨어에서, 대부분의 ANN 모델은 간단한 출력 오차(OE) 비용 함수를 사용하여 훈련되고, 이것은 입력 데이터가 노이즈를 가지고 있을 때 망이 예측한 출력에 심각한 편향 오차를 발생시킬 수 있다는 것이 고프(Gorp) 및 공동 개발자{Gorp, J. V., Schoukens, J., Pintelon, R.이 Transactions on Neural Networks A. 180, 1-14, 1999에 기고한 변수내오차(errors-in-variables) 방법을 사용하는 노이즈를 가진 입력을 가진 학습 신경망}에 의해 관찰되었다. 그 저자들은 노이즈의 존재가 실제적으로 ANN 모델의 전달 함수의 고차 도함수를 억제하고, 종래의 최소 자승 비용 함수가 사용되면 편향(bias)이 유발된다는 것을 보였다. 따라서, ANN의 일반화 성능을 향상시키는 방법은 RMSE 비용 함수를 신규한 비용 함수, 예로서, 변수내오차(EIV) 비용 함수로 대치하는 것을 권고한다{Gorp, J. V., Schoukens, J., Pintelon, R.이 Transactions on Neural Networks A. 180, 1-14, 1999에 기고한 변수내오차(errors-in-variables) 방법을 사용하는 노이즈를 가진 입력을 가진 학습 신경망}. EIV 방법의 단점은 그것을 실시하는 데에 입력과 출력에 관한 분산에 대한 지식이 요구된다는 것이다. 많은 실제적 셋팅(setting)에서, 이 정보는 이용가능하지 않으며, 따라서 EIV 방법의 효용성을 심각하게 제한한다. 그 방법은 비록 노이즈가 있는 측정에서 더욱 우수하게 동작하지만, 또한 대형 기억장치를 요구하고 국부적 최소치에 얽매일 수 있다. (1) DE 방법을 적용한 후의 포스트 프로세싱으로서 EIV를 사용하기, (2) 추정치 대신에 측정된 입력 및 출력을 사용하기, 및 (3) 수정된 학습 및 최적화 방안 등 대체적 방법이 다양하게 제안 및 설명되었다(Gorp, J. V., Schoukens, J., Pintelon, R. 이 Intelligent Engineering System Through Artificial Neural Networks, 8, 141-146, 1998에 기고한 노이즈 있는 입력을 가진 학습 신경망을 위한 변수내오차 비용 함수). ANN 모델의 성능에 대한 노이즈의 부가의 효과를 보고하는 문헌은 비교적 드물고, 현재까지 소수의 체계적 연구가 수행되었을 뿐이다. 학습 데이터에 노이즈를 부가하는 것이 보다 우수한 일반화 성능을 보유하는 모델을 얻는 것을 돕는다는 것이 일반적으로 알려졌다. 시에츠마(Sietsma)와 다우(Dow)(Sietsma, J., Dow, R. J.이 Neural Networks 4, 67-79, 1991에 기고한 일반화하는 인공 신경망을 생성하기)는 노이즈의 이로운 효과를 보고하였고, 학습 패턴(벡터)의 각각의 요소에 의사 가우스 분포 노이즈를 부가하였다. 그들은 노이즈 부가 데이터가 다층 인식망(MLP network)의 분류 능력을 향상시킨다는 것을 보였다. 그 연구는 또한 더 많은 수의 망 노드가 이제 요구되고, 각각의 노드는 해결에 독립적으로 기여하는 것을 보였으며, 망의 출력에 심각하게 기여하지 않는 몇 개의 유닛이 적절한 망 가지치기 기술(network pruning technique)을 통해 제거될 수 있다는 것도 가능하다는 것을 보였다. 이러한 관점은 또한 각각의 노드가 글로벌 계산에 작은 정도로 기여하는 대형 망을 생성하는 것을 제안한 미나이(Minai) 및 윌리엄스(Williams)에 의해 공유되었다(Minai, A. A., Williams, R. D.이 Neural networks, 7(5), 783-796, 1994에 기고한 피드포워드 망에서의 교란 응답). 다른 방대한 연구에서, 안(An)(An, G.이 Neural Comput., 8, 643-674, 1996에 기고한 일반화 성능에 대한 역방향 전파 훈련 동안의 노이즈 부가의 효과)은 EBP 기반 망 훈련의 일반화 성능에 대한 노이즈 부가의 효과를 연구하였다. 따라서, 안의 연구는 망의 예측 성능에 대한 입력, 가중치 및 출력에서의 노이즈의 효과를 개별적으로 분석하였다. 그 연구는 출력에서의 노이즈는 일반화를 향상시키지 않는 반면에, 입력 및 가중치에서의 노이즈는 도움이 된다는 것을 보였다. 또한 랑제방 노이즈(Langevin noise)를 사용하여 망을 훈련시키면 시뮬레이트된 어닐링 방법을 사용하여 얻어진 것과 유사한 글로벌 최소화에 도달한다는 것을 보였다. 이론적 연구에서, 비숍{Bishop, C. M.이 Neural Comput., 7, 108-116, 1995에 기고한 노이즈를 가지고 훈련하는 것은 티코노프(Tikhonov) 정규화에 해당한다는 논문}은 노이즈에 의해 유발된 오차항은 일반화된 정규화기(regularizer)의 등급에 대응한다고 주장하였다. 정규화{Poggio, T 및 Girosi, F가 Science, 247,978, 1990에 기고한 다층 망에 해당하는 학습용 정규화 알고리즘(regularization algorithms for learning)}는 벌점항(penalty term)의 부가를 통해 오차 함수를 수정하고, 망에 의해 발생된 분산을 제어한다. 본질적으로, 훈련 데이터에 노이즈를 부가하면 일종의 유연성이 제공되며, 이러한 방법은 효과가 있는데, 왜냐하면 ANN에 의해 학습된 기능은 일반적으로 유연하거나 적어도 유한한 수의 영역에서 개별적으로(piecewise) 연속적이기 때문이다. 그러한 설명은 잘 정리된 문제에 대해 유일한 해가 존재하며 데이터 내의 작은 교란은 그 해에 대해 작은 변화만 초래할 것이라는 저변 가정을 구체화한다. 다시 말해서, 2개의 유사한 입력에 대해, 2개의 유사한 출력이 예상된다. 따라서, 주어진 표본 데이터 집합에 대해, 소량의 노이즈를 중첩함으로써 추가적 망 훈련 패턴이 생성될 수 있다. 노이즈 크기는 작아야만 하는데, 왜냐하면 대량의 노이즈는 명백히 입력과 출력 사이의 고유 관계를 왜곡시키는 반면에, 너무 작은 양의 노이즈는 별 변화가 없어 아무 결과도 주지 못하기 때문이다. 입력 및 출력 표본 데이터에 중첩될 노이즈의 "소량"을 정확히 정량화하는 것이 필요하다는 것을 바로 알 수 있다. 제조 및 프로세싱 산업에서 흔히 존재하는 비선형 시스템에서, 입력 변수의 변화가 출력 변수에 미치는 정도에 민감성은 상당히 다를 수 있다. 따라서, 각각의 입력 및 출력 변수에 노이즈의 양을 변화시켜 부가하는 것이 필요하다. 각각의 입력 및 출력 변수에 부가될 노이즈의 정확한 양을 결정하는 것은 까다로운 문제이며, 본 발명은 이러한 문제를 해결하기 위해서 유전적 알고리즘(genetic algorithm) 기반 유효 해를 제공한다. 유전적 알고리즘(Goldberg, D. E.이 Addison-Wesley, New York, 1989에 기고한 탐색, 최적화 및 머신 학습에서의 유전적 알고리즘, Holland, J.이 University of Michigan Press, Ann Arbor, MI, USA에 기고한 신경 및 인공 시스템에서의 적응)은 "확률론적 최적화 알고리즘"이라고 알려진 함수 최소화/최대화 형식주의의 부류(class)의 한 요소(member)이다. 그것들은 생물의 다윈의 진화론에서 주요한 역할을 하는 자연적 선택 및 유전의 기구(mechanism)에 기초한다. GA는 노이즈가 있고, 불연속, 다중 모덜(multi-modal), 넌-컨벡스(non-convex) 해 공간(solution space)을 탐색하는 데에 효과적이라고 알려졌으며, 그들의 특징은 (1) 그것들이 0차('zero'th order) 탐색 기술이며 이것은 GA가 최적화될 대상 함수의 물리량만 필요로 할 뿐 도함수를 필요로 하지는 않는다는 것을 뜻하고, (2) GA가 글로벌 탐색을 수행하고, 따라서 그것들은 대상 함수 표면상에서 글로벌 최적화로 대체로 수렴하고, (3) GA가 사용하는 탐색 절차는 확률론적이며, 따라서, 그것들은 대상 함수의 형상에 관한 평활도, 미분가능성, 연속성 등 ad-hoc 가정을 소환하지 않고 사용될 수 있고{이러한 특징으로 인해, GA는 대상 함수가 동시에 상기 기준을 충족시킬 것을 요구하는 고전적인 구배 기반(gradient-based) 알고리즘을 사용하여 해결할 수 없었던 최적화 문제를 해결하는 데에 사용될 수 있다}, (4)GA 절차는 효과적으로 병렬화될 수 있고, 이것은 대형 다차원 해 공간을 효율적으로 또한 신속히 탐색하는 것을 돕는다.

본 발명은 표본 집합의 각각의 입력/출력 변수에 부가될 노이즈의 최적 레벨에 도달하고 따라서 ANN 훈련에 사용될 확장된 노이즈 중첩된 표본 데이터세트를 생성하여 훈련된 망이 향상된 예측 정확도와 일반화된 성능을 보유하는 유전적 알고리즘 기반 방법을 기술한다.

GA 절차에서, 표본 집합 내의 입력/출력 변수에 중첩될 노이즈의 허용치를 나타내는 최적 해(solution) 벡터("결정 벡터"라고도 지칭된다)의 탐색은 가능한(probable)(candidate) 해의 무작위로 초기화된 모집단(population)으로부터 시작한다. 통상적으로 이진 스트링(string){염색체(chromosomes)}의 형태로 코딩되는 해는 다음에는 최적화 목표 예로서 함수의 최소화 또는 최대화를 충족시킴에 있어서의 그들의 적합성(fitness)을 측정하기 위해서 테스트된다. 그 후에, 후보 해는 그들의 적합성 점수가 감소하는 순으로 등급이 매겨지고, 선택, 교차(crossover), 및 변이(mutation)를 포함하여 GA 조작의 메인 루프가 상기 등급이 매겨진 모집단에 대해 수행된다. 루프의 실시는 후보 해의 새로운 모집단을 생성하는데, 그것은 통상적으로 현재의 모집단에 비하여 최적화 목적을 더 잘 충족시킨다. 상기 루프를 수 회 반복한 후에 나타나는 최적 스트링은 최적 문제에 대한 해를 형성한다. 해 벡터의 적합성을 평가하는 동안에, 그 해 벡터에 포함된 입력/출력 변수 특정 노이즈 허용치는 표본 집합 내의 각각의 패턴에 대응하여 많은 수의 노이즈-중첩된 표본 입력-출력 패턴을 생성하는 데 사용되고, 결과적으로 생성된 확장된 데이터 집합은 다음에는 RMSE등 최소 자승 비용 함수를 최소화시키는 관점에서 신경망을 훈련하기 위해 사용된다. ANN의 훈련은 구배 기반 또는 다른 적절한 가중치-경신 형식을 사용하여 수행된다. 그렇게 해서 얻어진 RMSE 크기는 노이즈 허용치를 포함하는 후보 벡터 해의 적합성 값을 계산하기 위해서 사용된다. GA 최적화된 노이즈 허용치를 사용해서 생성된 데이터 상에서 훈련된 망은 계기 노이즈 및/또는 측정 오차의 존재 하에서 참 입력-출력 관계를 더욱 잘 근사화하고, 따라서, 우수한 예측 정확성 및 일반화 성능을 보유한다.

본 발명은 두가지 예, 즉 (1) 산업적 중합 반응로의 ANN 기반 모델링, 및 (2) 발열 연속 A→B→C 반응이 발생하는 연속적 교반 탱크 반응로(CSTR)의 ANN 기반 모델링을 고려하는 데에 기초한다. 본 발명의 방법을 사용하여 얻어진 예측 정확성은 일반적으로 사용된 망 훈련 절차를 사용하여 얻어진 것과 비교된다.

본 발명의 주 목적은 계기 노이즈 및/또는 측정 오차를 포함하는 입력-출력 데이터의 존재 하에 인공 신경망 모델의 예측 정확성 및 일반화 성능을 향상시키는 방법을 제공하는 것이다. 구체적으로 말하면, 각각의 입력/출력 변수에 부가될 노이즈의 양이 유전적 알고리즘(GA) 기반 전략을 사용하여 최적화되는 망 훈련에 사용될 가우스 노이즈 중첩된 확장된 표본 입력-출력 데이터 집합을 컴퓨터를 사용해서 생성되는 방법이 발명되었다. GA 기반 방법은 2개의 유사한 입력은 2개의 유사한 출력을 생성해야 한다는 견해에 따름으로써 표본 데이터의 입력-출력 변수에 부가될 노이즈의 최적 레벨을 고정시킨다.

본 발명은 향상된 예측 정확성과 일반화 성능을 보유하는 ANN 모델을 구축하기 위해 인공적으로 생성된 노이즈 중첩된 입력-출력 데이터 패턴을 사용한다. 본질적으로, 본 발명에 제공된 방법은 ANN으로 하여금 입력과 출력 사이에 존재하는 노이즈가 있는 관계를 학습하도록 강요한다. 본 발명의 방법은 망 훈련을 위한 노이즈 중첩된 확장된 표본 데이터 집합을 생성하기 위해 입력-출력 변수 특정 노이즈 허용치를 사용한다. 구체적으로 말해서, 알려진 허용치의 가우스 노이즈는 표본 집합의 각각의 입력 및 출력 변수에 부가되고, 이러한 방법으로, 복수의 노이즈 중첩된 패턴은 표본 집합 내의 각각의 패턴에 대응하여 생성된다. 본 발명에서, 각각의 입력/출력 변수에 특정한 허용치는 "유전적 알고리즘"으로 알려진 신규한 진화적 확률론적 최적화 형식주의를 사용하여 최적화된다. 노이즈 중첩된 확장된 표본 데이터 상에서 훈련된 ANN 모델은 향상된 예측 정확성과 일반화 능력을 보유하는 것으로 발견되었다.

따라서, 본 발명은 망 모델을 구성하기 위해 이용가능한, 표본 집합으로 알려진 입력-출력 데이터가 계기 노이즈 및/또는 측정 오차를 포함할 때 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능을 향상시키는 방법에 있어서,

컴퓨터 시뮬레이션을 사용하여 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합을 생성하는 단계,

상기 표본 집합 내의 각각의 입력-출력 패턴에 대해, 컴퓨터 시뮬레이션을 사용하여 M 개의 노이즈 중첩된 표본 입력-출력 패턴(벡터)을 생성하는 단계,

각각의 입력/출력 변수에 특정한 노이즈 허용치를 사용하여 노이즈 중첩된 표본 입력-출력 패턴을 생성하는 단계,

노이즈 중첩된 표본 입력-출력 패턴을 생성하기 위해서 컴퓨터 시뮬레이션을 사용하여 가우스(정상) 분포된 무작위 수를 생성하는 단계,

확률론적 탐색 및 최적 기법을 사용하여 상기 표본 집합 내의 각각의 입력/출력 변수에 부가될 가우스 노이즈의 정확한 양을 결정하는 단계, 및

상기 비선형 인공 신경망 모델을 구성하기 위해서 컴퓨터에 의해 생성된 상기 노이즈 중첩된 표본 입력-출력 패턴을 "훈련 집합"으로서 사용하는 단계

를 포함하는 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법을 제공한다.

본 발명의 한 실시예에서, 유전적 알고리즘에 의해 결정된 상기 표본 집합의 각각의 입력-출력 변수에 부가될 가우스 노이즈의 정확한 양이 국부적이 아닌 전체적으로 최적이다.

본 발명의 다른 실시예에서, 상기 표본 집합은 상기 인공 신경망 모델의 상기 일반화 성능을 감시하기 위한 "테스트 집합"으로서 사용된다.

본 발명의 또 다른 실시예에서, 상기 인공 신경망의 구조는 "피드-포워드", 즉 상기 망 내의 정보 흐름이 입력층으로부터 출력층으로의 단일 방향이다.

본 발명의 또 다른 실시예에서, 상기 피드-포워드 신경망 구조는 다중층 인식망{multilayer perception(MLP) network}, 래디얼(radial) 기반 기능망(RBFN), 및 역전파(counterpropagation) 신경망(CPNN)을 포함한다.

본 발명의 또 다른 실시예에서, 상기 인공 신경망 모델을 구성 또는 훈련하기 위해 사용되는 상기 알고리즘은 오차-역방향 전파(error-back-propagation), 공액 구배, 퀵프롭(Quickprop) 및 RPROP를 포함한다.

본 발명의 또 다른 실시예에서, 상기 노이즈 허용치를 최적화하기 위해서 사용되는 상기 확률론적 탐색 및 최적화 기법은 유전적 알고리즘 및 관련 방법, 즉 시뮬레이션된 어닐링(simulated annealing)(SA), 동시 교란 확률론적 근사화(SPSA), 진화 알고리즘(evolutionary algorithm)(EA), 및 메메틱(memetic) 알고리즘(MA)을 참조한다.

본 발명의 또 다른 실시예에서, 상기 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합은 소형 표본 입력-출력 집합으로부터 컴퓨터 시뮬레이션을 사용하여 생성된다.

본 발명은 다음의 실시예의 형태로 더욱 설명된다.

표본 집합을 나타내는 P개의 입력-출력 패턴

을 고려한다. N차원 입력 벡터

와 대응 K차원 출력 벡터

사이의 상호 관계는

로 정의되는 K차원 비선형 함수 벡터

에 의해 지배된다.

와

벡터는 또한 입력 패턴 및 대응 출력(목표) 패턴이라고도 지칭된다. p번째 N차원 입력 벡터

는

로 정의되고, 대응 K차원 목표 출력 벡터

는

로 정의된다. MLP(도 1 참조) 등 피드포워드 신경망(FFNN)은 아래의 식 (1)에 의해 주어진

와

사이의 비선형 관계식을 근사화한다.

(1)

여기에서, 행렬 W^H와 W^O는 각각 MLP의 입력층 노드와 숨겨진 층 노드 사이와, 숨겨진 층 노드와 출력층 노드 사이의 연결 상의 가중치를 나타낸다. MLP 망을 훈련하는 궁극적인 목적은 적절한 최소 자승을 최소화하는 것이다.

오차 함수, 예로서, 식 (2)로 정의된 평균 자승 제곱근 오차(RMSE)이다(Nandi, S., Ghosh, S., Tambe, S. S., Kulkarni, B. D.가 AIChE J., 47, 126,2001에 기고한 인공 신경망 지원 확률론적 프로세스 최적 전략).

(2)

여기에서, i는 입력 패턴의 지표(i=1, 2,...., N)를 나타내고, K는 출력 노드의 수를 나타내고, E는 식 (5)로 정의된 합 자승 오차(sum-sqaured-error)(SSE)를 나타낸다.

(3)

여기에서,

는 i번째 입력 패턴이 망의 입력층에 적용될 때 k번째 출력 노드의 실제 출력을 나타내고,

는 대응 목표 출력을 나타낸다. RMSE 최소화의 임무는 일반화된 델타 룰(GDR) 기반 오차 역방향 전파(EBP), 공액 구배, 또는 더욱 진보된 방법, 다시 말해서, 퀵프롭(Fahlman, S. E.가 Proceedings of the 1988 Connectionist Models Summer School에 기고한 역방향 전파 상에서의 변화를 더욱 빠르게 학습하기, 또한 D. S. Touretzky, G. E. Hinton, 및 T. J. Sejnowski가 Eds., pp. 38-51, Morgan Kaufmann, San Mateo, CA, 1988에 기고한 것) 및 탄성적 역방향 전파(RPROP)(Riedmiller, M., Braun H.가 Proc. of IEEE Int. Conf. On Neutral Net, San Fransisco, CA, March 28-April 1, 1993에 기고한 더욱 빠른 역방향 전파 학습을 위한 직접 적응 방법: RPROP 알고리즘) 등 적절한 구배-강하(gradient-descent) 기법을 사용하여 달성된다. 망 훈련은 가중치 행렬 W^H 및 W^O를 무작위로 초기화하는 것으로 시작되는 반복적 절차이다. 훈련 반복은 망 층 을 통한 2개의 형태의 패스(pass) 즉 순방향 및 역방향의 패스로 구성된다. 순방향 패스에서, 훈련 데이터 집합으로부터의 입력 패턴은 입력 노드에 적용되고, 숨겨진 노드의 출력은 평가된다. 상기 출력을 계산하기 위해서, 우선 숨겨진 노드에 대한 입력의 가중치 합이 계산되고, 그것은 다음에는 로지스틱 시그모이드(logistic sigmoid) 등 비선형 활성화 기능을 사용하여 변형된다. 숨겨진 노드의 출력은 출력층 노드에 대한 입력을 형성하는데, 그 출력은 숨겨진 노드의 출력과 유사한 방법으로 평가된다. 망 출력이라고도 지칭되는 출력층 노드의 출력은 목표 출력과 비교되고, 역방향 패스에서, 망과 목표 출력 사이의 차이(예측 오차)는 가중치 행렬 W^H 및 W^O를 갱신하는 데에 사용된다. 훈련 집합 내의 모든 패턴에 대해 반복될 때의 가중치 갱신 절차는 하나의 훈련 반복을 완료한다. 가중치 행렬 W^H 및 W^O은 EBP, 공액 구배, 퀵프롭 및 RPROP 등 여러 가지 방법을 사용하여 갱신될 수 있다. 본 발명은 훈련 데이터로서 사용될 노이즈 중첩된 확장된 표본 입력-출력 데이터 집합이 표본 집합으로부터 생성되게 하고, 각각의 입력/출력 변수에 부가될 노이즈의 최적 양이 유전적 알고리즘을 사용하여 결정되어 결과적인 ANN 모델이 향상된 예측 정확성 및 일반화 성능을 보유하는 방법을 제안한다. 표본 집합의 각각의 입력/출력 변수에 부가될 노이즈의 양을 최적화하는 본 발명의 방법이 아래에 기술된다.

표본 집합 내의 P개의 N차원 입력 벡터를 [PxN] 입력 행렬 X로, 동일한 수의 대응 K차원 출력 벡터를 [PxK] 출력 행렬 Y로 고려한다. 본 발명은 ANN 훈련을 위해 훈련 입력 및 출력 집합으로 사용되는 행렬 X 및 Y의 노이즈 중첩된 행렬 버전

과

을 각각 생성한다. 부가될 가우스(정상 분포됨) 노이즈의 양은 입력/출력 변수에 특정하고, 허용치 퍼센티지로 특징지어진다. 입력 행렬 X와 출력 행렬 Y에 노이즈를 도입하기 위해 사용될 노이즈 허용치 벡터는 각각

및

로 정의된다. N 차원 입력 벡터의 각각의 요소에 부가될 노이즈를 특징짓는 N 차원 노이즈 허용 벡터는 다음식과 같이 정의된다.

(4)

그것의 n번째 요소

는 입력 행렬 X의 n번째 칼럼 요소

내에 가우스 노이즈를 도입하기 위해 사용된다. 노이즈 허용치

는 다음 식과 같이 정의된다.

(5)

여기에서,

과

은 가우스 분포의 평균 표준 편차를 나타낸다. 식 (5)를 재정렬하면, 표준 편차는 다음과 같이 계산된다.

(6)

를 가우스 분포의 평균 편차로서,

를 가우스 분포의 표준 편차로서 사용하면, M개의 노이즈 중첩된 표본 입력 패턴은 표본 집합 내의 p번째(p=1, 2, ...., P) 입력 패턴에 대응하여 생성된다. 결과적인 노이즈 중첩된 유도 입력 행렬

은 차원[(MPxN)]을 갖는다.

노이즈 허용치 벡터

와 유사하게, 입력에 대해, K차원 출력 노이즈 허용치 벡터

를 다음과 같이 정의한다.

(7)

이 허용 벡터의 k번째 요소

는 목표 출력 행렬 Y의 k번째 칼럼 요소

에 가우스 노이즈를 도입하기 위해 사용된다. 허용치 벡터

는 다음식과 같이 정의된다.

(8)

여기에서,

와

는 각각 가우스 분포의 평균 및 표준 편차를 지칭한다. 식 (8)을 재정렬하면, 표준 편차는 다음식과 같이 평가될 수 있다.

(9)

노이즈 중첩된 표본 출력 행렬

는 컴퓨터 시뮬레이션을 사용하여 행렬

와 유사하게 생성되고, 여기에서,

와

는 각각 가우스 편차의 평균 및 표준 편차로서 사용되고, M개의 노이즈 중첩된 표본 출력 패턴은 표본 집합 내의 p번째(p=1, 2, ..., P) 목표 출력 패턴에 대응하여 형성된다. 결과적인 노이즈 중첩된 표본 출력 행렬

는 차원[(MxP)]을 갖는다. ANN 훈련 동안에, 행렬

및

는 입력-출력 훈련 데이터로서 사용되고, 행렬 X와 Y는 망의 일반화 성능을 감시하기 위해서 테스트 입력-출력 데이터로서 사용된다.

입력과 출력 사이의 관계가 비선형인 시스템에서, 종속(dependent)(출력) 변수는 원인(causal)(입력) 변수의 변화에 대하여 민감성의 가변 정도를 보인다. 따 라서, 표본 집합 내의 각각의 입력/출력 변수에 부가될 노이즈의 정확한 양의 결정(허용치 벡터의 요소

와

에 의해 정의된다)은 결정적인 문제가 된다. 본 발명은 표본 데이터 집합의 입력-출력 요소에 부가된 노이즈의 정확한 양을 최적화하기 위해서 GA 기반 방법을 도입한다. 망을 훈련하는 데에 사용될 때의 노이즈 중첩된 데이터는 향상된 예측 정확성 및 일반화 성능을 보유하는 망 모델을 발생시킨다. 아래에서, 표본 집합의 각각의 입력/출력 요소에 부가될 노이즈의 정확한 양을 최적화하는 GA 기반 방법의 설명에 제공된다.

GA 기반 최적화의 임무는 다음과 같이 기술되는데, 즉, 노이즈 허용치를 사용하여 생성된 노이즈 중첩된 확장된 훈련 집합이 향상된 예측 정확성 및 일반화 성능을 보유하는 망 모델을 발생시키도록 입력/출력 변수 특정 노이즈 허용치의 최적 값을 찾는 것이다. 본질적으로, GA의 임무는 최적 입력 및 출력 노이즈 허용치 벡터

와

를 찾아서, 그것들이 노이즈 중첩된 확장된 입력-출력 훈련 데이터 집합을 생성하기 위해 사용될 때, 테스트 집합에 대한 RMSE 오차가 최소화되게 하는 것이다. 따라서, GA에 의해 최소화될 목표 함수는 테스트 집합 RMSE로서, 다음식과 같이 정의된다.

(10)

여기에서, i는 테스트 입력 패턴(i=1, 2,..., N_tst)의 지표를 나타내고, K는 MLP 구조 내의 출력 노드의 수를 나타내고, N_tst는 테스트 집합 내의 패턴의 수를 나타내고, N_i는 i번째 테스트 패턴에 대응하는 합 자승 오차(SSE)를 나타낸다.

RMSE_tst 최소화에 포함되는 유전적 알고리즘 단계는 다음과 같다.

(1) 후보 해 모집단의 초기화

생성 지표(N_gen)를 제로로 설정하고, N_pop개의 이진 스트링(염색체)의 모집단을 무작위로 생성하며, 총

비트를 보유하는 각각의 스트링은 최적화될 결정 변수의 수(N+K) 만큼 많은 세그멘트로 분할된다. 스트링의 (N+K)개의 이진 세그멘트의 십진 동등물(equivalent)은 첫 번째 N개의 요소가 N개의 입력 변수에 대응하는 노이즈 허용치를 기술하고 다음 K개의 요소는 그만큼 많은 출력 변수에 대응하는 노이즈 허용치를 나타내는 후보 해 벡터를 나타낸다는 것에 유의하여야 한다. 따라서, N_pop개의 후보 해의 모집단은 입력-출력 노이즈 허용치의 조합된 집합으로 기술될 수 있다.

(11)

(2) 적합성 계산

입력-출력 노이즈 허용치의 벡터 쌍을 포함하는 현재의 모집단 내의

번째

후보 해를 사용하여 그 해의 적합성 값을 계산한다. 구체적으로 말해서, 입력-출력 노이즈 허용치는 앞에서 개략 설명된 절차{또한 식 (6) 및 식 (9) 참조}를 따라서 상기 가우스 노이즈 중첩된 확장된 훈련 집합

을 생성하기 위해 사용된다. 그렇게 생성된 훈련 집합은 EBP, 공액 구배, 퀵프롭 및 RPROP 등 적절한 학습 알고리즘의 골조 내의 망 가중치 행렬

과

을 조정하기 위해 사용된다. 훈련 동안에, 표본 입력-출력 집합은 테스트 집합으로서 사용되고, 대응 RMSE 값

은 다음식을 사용하여

번째 후보 해의 적합성

을 계산하는 데에 사용된다.

(12)

식 (12)에 정의된 적합성 함수의 형태는 적합성 값

을 평가하기 위해 사용될 수 있는 여러 가지 중의 하나라는 것에 유의하여야 한다. 벌점항을 포함하는 적합성 함수를 사용하는 것도 가능하다(Deb, K.이 Prentice-Hall, New Delhi, 1995에 기고한 엔지니어링 디자인, 알고리즘 및 예를 위한 최적화). 적합성 평가에 따라서, 후보 스트링이 그들의 적합성 값의 내림차순으로 등급이 매겨진다.

(3) 모본(parent)의 선택

메이팅 풀(mating pool)을 형성하기 위해서 현재의 모집단으로부터 N_pop개의 모본 염색체를 선택한다. 이 풀의 멤버는 상대적으로 높은 적합성 점수를 보유하도록 선택되고, 오프스프링(offspring) 스트링을 생성하기 위해 사용된다. 일반적으로 사용되는 모본 선택 기법은 룰렛-휘일(Roulette-Wheel)(RW) 방법, 및 확률론적 나머지(remainder) 선택(SRS)(Goldverg, D. E.이 Addison-Wesley: New York, 1989에 기고한 탐색, 최적화, 및 머신 학습에서의 유전적 알고리즘)으로 알려진 RW 방법의 더욱 안정된 변형이다.

(4) 교차(Crossover)

메이팅 풀로부터, N_pop/2개의 모본 쌍을 무작위로 선택하고, P_cr(0<P_c≤1.0)과 같은 교차 확률을 갖고 각각의 쌍에 대해 교차 조작을 수행한다. 교차에서, 모본 쌍의 각각의 멤버는 동일하게 무작위하게 선택된 교차 점에서 절단된다. 그 결과로서, 2개의 서브스트링은 각각의 모본 스트링으로부터 형성되고, 서브스트링은 모본 사이에서 상호 교환되고 2개의 오프스프링 염색체를 얻기 위해서 조합된다. "단일 점 교차"라고 지칭되는 이 교차 조작은 모든 모본 쌍에 대해 수행될 때 N_pop개의 오프스프링 스트링을 포함하는 모집단을 생성한다.

(5) 변이(Mutation)

플립핑된(flipped)(뒤집기)(제로로부터 1로, 또는 그 역) 비트의 확률이 P_mut와 같고, P_mut의 권고된 범위는 [0.01-0.05]인 오프스프링 스트링에 대해 변이(비트-플립핑)을 수행한다.

(6) 세대 지표(generation index)를 1만큼 증가시키고(N_gen=N_gen+1), 수렴이 달성될 때까지 새로이 생성된 오프스프링 스트링에 대해 단계 2 내지 단계 5를 반복한다. GA 수렴을 위한 기준은, N_gen이 그 최대 한계

를 초과하거나, 변이된 오프스프링 모집단 내의 가장 양호한 스트링의 적합성 점수가 연속적 세대에 걸쳐서 매우 작은 변화를 겪거나 전혀 변화를 겪지 않는다는 것일 수 있다. GA 수렴이 달성된 후에, 가장 높은 적합성 값을 보유하는 스트링은 최적화된 해를 얻기 위해 서 디코딩된다. 통상적으로, 최소 RMSE_tst 크기를 발생시키는 최적 해 벡터

를 얻기 위해서 많은 수의 세대가 필요하다.

본 발명의 바람직한 실시예가 아래에서 설명되는데, 본 발명은 변화 및 수정될 수 있다. 따라서, 본 발명의 범위는 그 유효성을 나타내기 위해서 사용된 예들의 정확한 상세사항에 제한되지 않는다.

본 발명의 한 실시예에서, 비선형 모델링 및 분류를 수행하기 위해 사용되는 인공 신경망은 노이즈 중첩된 확장된 입력-출력 데이터 집합을 사용하여 훈련되는데, 표본 집합 내의 각각의 입력/출력 변수에 부가될 노이즈의 최적 양은 망으로 하여금 향상된 예측 정확성 및 일반화 성능을 보유하게 하는 유전적 알고리즘이라고 알려진 확률론적 최적 형식을 사용하여 결정되었다.

본 발명의 다른 실시예에서, 상기 방법은 계기 노이즈 및/또는 측정 오차를 포함하는 "표본 집합"이라고 지칭된 입력-출력 데이터가 오프라인 또는 온라인으로 수집되었을 때 적용가능하다는 것을 보여준다.

본 발명의 또 다른 실시예에서, 상기 방법은 그 실시를 위해서 프로세스 감시 시스템, 프로세스 및 센서 하드웨어의 형태의 지식을 요구하지 않는다.

본 발명의 또 다른 실시예에서, 표본 데이터에 부가될 최적 노이즈는 동시 교란 확률론적 근사화(SPSA), 시뮬레이트된 어닐링(SA), 앤트 콜로니(ant colony) 방법 및 메메틱 알고리즘 등 다른 확률론적 최적 기법을 사용하여 결정될 수 있다.

본 발명의 추가적인 실시예에서, 상기 방법은 입력 및 출력 표본 데이터 사 이의 관계가 비선형인 상황에서 인공 신경망 모델을 개발하기 위해 사용될 수 있다.

본 발명의 또 다른 추가적 실시예에서, 본 발명의 형식은 오차 역방향 전파, 공액 구배, 퀵프롭 및 RPROP 등 여러 가지 판별적 및 확률론적 인공 신경망 훈련 방법에 적용될 수 있다.

따라서, 본 발명은 계기 노이즈 및/또는 측정 오차를 포함하는 데이터의 존재 하에 인공 신경망 모델의 예측 정확성 및 일반화 성능을 향상시키는 방법을 제공하는데, 그 방법은 다음의 단계를 포함한다(도 2 참조).

(a) 원인(입력) 변수의 [PxN] 행렬(X)과 종속(출력) 변수의 대응[PxK] 행렬(Y)의 형태의 프로세스 데이터(표본 집합)를 수집한다.

(b) 표본 데이터 집합을 전처리하는데, 즉, 명백한 특이점(obvious outlier) 및 모호한 특이점(non-obvious outlier)를 제거하고, 분실된 데이터, 오류 센서 판독 등을 포함하는 패턴을 버린다.

(c) 각각의 해가 N개의 입력 노이즈 허용치

와 K개의 출력 노이즈 허용치

를 기술하는 [N+K] 차원 판정 변수 벡터인 크기가 N_pop인 스트링의 후보 행 모집단을 무작위로 생성함으로써 GA 탐색 및 최적화 절차를 시작한다(세대 수, N_gen=0).

(d)

번째(

=1, 2,..., N_pop) 후보 해를 사용하여 다음의 단계를 수행한다.

(i) 표본 집합 내의 p번째(p=1, 2,..., P) 입력-출력 패턴에 대응하여, 컴퓨터 시뮬레이션을 사용하여 M개의 가우스 노이즈 중첩된 표본 입력-출력 패턴을 생성한다. 입력 및 출력 표본 패턴을 생성하기 위한 표준 편차값

은 각각 식 (6)과 식 (9)를 사용하여 계산된다. 결과적인 표본 입력 행렬

및 출력 행렬

은 각각 차원 [(MP), N] 및 [(MP), K]이다.

(ii) N개의 입력 노드, N_H개의 숨겨진 노드, 입력 및 숨겨진 층 각각에 있는 편향 노드, 및 K개의 출력 노드를 수용하는 MLP 등 피드포워드 ANN을 적절한 훈련 알고리즘, 예로서 오차 역방향 전파, 공액 구배, 퀵프롭 또는 RPROP를 사용하여 훈련시킨다. 훈련 동안에, 망 가중치 행렬

과

이 각각 노이즈 중첩된 표본 입력-출력 행렬

및

을 사용하여 조정되고, 표본 입력-출력 행렬 X와 Y가 망의 일반화 능력을 측정하는 테스트 데이터로서 사용된다. 망 훈련의 목적은 테스트 집합(RMSE_tst)에 대하여 RMSE를 최소화하는 것이다. 이러한 목적을 달성하기 위해서, 숨겨진 층의 수, 각각의 숨겨진 층 내의 노드의 수, 훈련 알고리즘 특정 매개변수, 즉 EBP 알고리즘 내의 학습율 및 모멘텀 계수를 최적화하는 것이 필요하다.

번째 후보 해에 대응하는 최소화된 테스트 집합 RMSE 값은

로 정의된다.

(e) 앞의 단계에서 얻어진 최소화된

값을 사용하여 후보 해의 적합성 값

을 계산한다. 아래에서 주어진 것 등 적절한 적합성 함수는 적합성 값을 계산하기 위해 사용될 수 있다.

(13)

여기에서,

은

번째 후보 해의 적합성 점수를 나타내고,

은

번째 해가 노이즈 중첩된 확장된 훈련 데이터를 생성하기 위해서 사용될 때 최소화된 테스트 집합 RMSE 값을 나타낸다. 적합성 값을 평가한 후에, 후보 해는 적합성 점수의 내림차순으로 등급이 매겨진다.

(f) 새로운 세대의 해(N_gen=N_gen+1)를 얻기 위해서 후보 해의 현재 등급의 모집단에 대해 앞에서 상세히 설명되었듯이 선택, 교차 및 변이 조작을 행한다.

(g) 수렴이 달성될 때까지 새로운 세대의 후보 해에 대해 단계(d) 내지 단계(f)를 수행한다. 성공적인 수렴의 기준은, GA가 많은 세대

에 걸쳐 진화되거나 최적 해의 적합성 값이 연속적 세대에서 무시할 만 하거나 전혀 변화를 보이지 않는 것이다. 수렴된 모집단 내에서 가장 높은 적합성 값을 보유하는 후보 해는 GA 최적화된 해

를 나타내고, 이 해에 대응하는 가중치 행렬

은 향상된 예측 정확성 및 일반화 성능을 보유하는 ANN 모델의 최적 가중치를 나타낸다.

도 1은 다중층 인식(MLP) 등 대표적 피드포워드 신경망의 개략도이다.

도 2는 본 발명의 단계를 상세히 설명하는 흐름도이다.

본 발명을 이용하는 다음의 예는 설명을 위해서 주어진 것이며, 따라서 본 발명의 범위를 제한하는 것으로 간주되어서는 안 된다.

예 1

본 발명의 첫 번째 설명에 사용된 데이터는 현행 산업적 중합체 프로세스로부터 얻어진 것이다. 그 프로세스 데이터는 9개의 입력과 하나의 출력으로 구성되는데, 입력은 프로세스 상태를 기술하고, 출력은 중합체 품질 매개변수를 나타낸다. 총 28개의 입력-출력 데이터 패턴(표본 집합)이 ANN 모델링에 이용가능하였다. 이러한 데이터는 계기 노이즈 및 측정 오차를 포함하였다. MLP를 ANN 패러다임을 사용하여, 첫 번째 여러개의 망 모델이 EBP, 공액 구배, 퀵프롭(Quickprop) 및 RPROP 등 여러 가지 훈련 알고리즘을 사용하여 중합체 품질 매개변수를 예측하도록 개발되었다. MLP 기반 모델을 개발하는 동안에, 숨겨진 층의 수, 각각의 숨겨진 층 내의 노드의 수, 학습율, 모우멘텀(momentum) 계수 등 여러 가지 망 구조 매개변수의 효과가 세밀히 검토되었다. 또한, 망 가중치의 여러 가지 초기화 및 훈련 및 테스트 집합의 크기의 효과가 광범위하게 조사되었다. 학습 및 테스트 집합에 대해 가장 작은 RMSE 값을 준 상기 방법을 사용하여 훈련된 MLP 망의 구조는 입력층에 9개의 노드, 제1 숨겨진 층에 6개의 노드, 제2 숨겨진 층에 7개의 노드, 및 출력층에 1개의 노드를 포함하였다. 학습 및 테스트 집합에 대한 RMSE 오차의 크기는 각각 0.00590(RMSE_trn)와 0.03436(RMSE_tst)이었다. RMSE 값으로부터 알 수 있듯이, RMSE_tst가 RMSE_trn보다 훨씬 크고, 따라서 망 모델의 일반화 능력이 만족스럽지 않다는 것을 알 수 있다. 망 모델의 예측 정확성과 일반화 성능을 둘 다 향상시키기 위해서, 본 발명에 설명된 방법이 사용되었다. 구체적으로 말해서, 25(M=25)개의 노 이즈 중첩된 표본 입력-출력 패턴이 표본 집합 내의 각각의 패턴에 대해 생성되었다. 총 700개의 입력-출력 패턴을 포함하는 노이즈 중첩된 데이터를 생성하기 위해 사용된 최적 입력-출력 노이즈 허용치

가 본 발명에 도입된 유전적 알고리즘 기반 전략을 사용하여 얻어졌다(도 2 참조). GA에 의해 주어진 최적 허용치가 표1에 도시되었다. 이 값은 다음의 GA-특정 매개변수 값, 즉, (1) 각각의 모집단 스트링의 길이

=10 비트, (2) 모집단 크기(N_pop)=16, (3) 교차의 확률(P_cr)=0.9, 및 (4) 변이 확률(P_mut)=0.05를 사용하여 얻어졌다. 노이즈 중첩된 데이터 상에서 훈련된 MLP 망은 표2에 보고된 RMSE 값을 발생하였고, 비교의 목적을 위해서, 노이즈가 중첩되지 않은 데이터를 훈련 집합으로서 사용하여 얻어진 가장 작은 RMSE 값이 또한 표2에 도시되었다. 표2에 도시된 값으로부터, 노이즈 중첩된 데이터 상에서 훈련된 망은 훈련 및 테스트 데이터 둘 다에 대해 가장 작은 RMSE 값을 발생시켰다는 것을 알 수 있다. 더욱 중요한 것은, RMSE_tst가 0.03436으로부터 0.00172로 현저하게 감소하였다. 비교를 편리하게 하기 위해서, 망 예측값과 목표 출력값 사이의 평균 퍼센티지 오차와 상관 계수(CC)가 계산되었고, 또한 표2에 도시되었다. 관찰될 수 있듯이, CC 값은 노이즈 중첩된 데이터가 망 훈련을 위해서 사용될 때 증가되었다. 더욱 작은 훈련 및 테스트 집합 RMSE 값이 노이즈 중첩된 데이터 상에서 훈련된 망 모델의 향상된 예측 정확성 및 일반화 성능을 각각 나타낸다. 또한, 망 예측 출력과 소정의 크기 사이의 평균 퍼센티지 오차는 상당히 감소되었다. 따라서, 본 발명은 망 모델의 예측 정확성 및 일반화 성능을 향상시키는 데에 있어서 성공적이었다고 생각할 수 있다.

표1 산업적 중합체 프로세스에 대해 GA 기반 전략을 사용하여 얻어진 입력-출력 변수에 대한 최적 노이즈 허용치

표2 노이즈가 중첩되지 않은 훈련 데이터 집합과 노이즈 중첩된 훈련 데이터 집합을 사용하여 얻어진 RMSE 값, 상관 계수 및 평균 예측 오차의 비교

예 2

이 예에서, 2개의 1차 반응이 시리즈로 발생하는 즉 A→B→C가 발생하는 재킷(jacketed) 비-등온 연속 교반된 탱크 반응로(CSTR)를 포함하는 프로세스가 고려된다. 프로세스 데이터는 6개의 CSTR 조작 변수(입력)의 정상 상태 값을 포함하고, 그것에서의 단일 출력은 제품 품질 변수의 대응 정상 상태 값을 기술한다. 총 50개의 입력-출력 데이터 패턴(표본 집합)이 ANN 기반 모델링을 위해 이용가능하였고, 데이터는 계기 노이즈 및/또는 측정 오차를 포함하였다. MLP 모델은 우선 EBP, 공액 구배, 퀵프롭 및 PROP 등 여러 가지 훈련 알고리즘이 사용된 출력 변수의 값을 예측하기 위해 훈련 데이터로서 표본 집합을 사용하여 개발되었다. MLP 망 모델을 개발하는 동안에, 여러 가지 구조적 매개변수, 예로서 숨겨진 층의 수, 각각의 숨겨진 층 내의 노드의 수, 훈련율, 모멘텀 계수 등의 효과가 연구되었다. 또한, 망 가중치의 다른 초기화, 훈련 및 테스트 집합의 크기의 효과도 상세히 조사되었다. 상기 방법을 사용하여 훈련되고 상기 훈련 및 테스트 집합에 대해 가장 작은 RMSE 오차를 주는 MLP 망의 구조는 입력층에 6개의 노드, 제1 숨겨진 층 내에 개의 노드, 제2 숨겨진 층 내에 4개의 노드, 및 출력층에 1개의 노드를 포함하였다. 학습 및 테스트 집합에 대한 RMSE 오차는 각각 0.00909(RMSE_trn)와 0.01405(RMSE_tst)이었다. RMSE 값으로부터, 여전히 망 모델의 예측 정확성과 일반화 성능을 향상시키기 위해 고려되어야 할 범위가 있다는 것을 알 수 있다. 이 목적을 위해서, 본 발명에 설명된 방법이 사용되었다. 구체적으로 말해서, 25(M=25)개의 노이즈 중첩된 표본 입력-출력 패턴이 표본 집합 내의 각각의 패턴에 대해 생성되었다. 총 1250개의 표본 입력-출력 패턴을 포함하는 노이즈 중첩된 데이터를 생성하기 위해 사용된 최적 허용치

가 본 발명에 도입된 유전적 알고리즘 기반 전략을 사용하여 얻어졌다(도 2 참조). GA에 의해 주어진 최적 허용치가 표3에 도시되었다. 이 값은 다음의 GA-특정 매개변수 값, 즉, (1) 각각의 모집단 스트링의 길이

=10 비트, (2) 모집단 크기(N_pop)=14, (3) 교차의 확률(P_cr)=0.9, 및 (4) 변이 확률(P_mut)=0.05를 사용하여 얻어졌다. 노이즈 중첩된 데이터를 사용하여 얻어진 가장 작은 훈련 및 테스트 집합 RMSE 값이 표4에 도시되었고, 비교의 목적을 위해서, 노이즈 중첩을 하지 않은 데이터를 사용하여 얻어진 가장 작은 RMSE 값이 또한 표4에 도시되었다. 표4에 도시된 값으로부터, 노이즈 중첩된 데이터 상에서 훈련된 망은 훈련 및 테스트 데이터 둘 다에 대해 더욱 낮은 RMSE 값을 발생시켰다는 것을 알 수 있다. 더욱 중요한 것은, RMSE_tst가 0.01405로부터 0.00183으로 현저하게 감소하였다. 매우 작은 훈련 및 테스트 집합 RMSE 값이 노이즈 중첩된 데이터 상에서 훈련된 망 모델의 강화된 예측 정확성 및 일반화 성능을 각각 나타낸다.

이러한 추론은 또한 대응하는 더욱 높은 (

1) 상관 계수치와 더욱 작은 평균 예측 오차(%)에 의해 지지된다. 따라서, 본 발명은 CSTR용 모델의 예측 정확성 및 일반화 성능을 향상시킴에 있어서 성공적이었다고 결론지을 수 있다.

표3 CSTR 프로세스에 대해 GA 기반 전략을 사용하여 얻어진 입력-출력 변수에 대한 최적 노이즈 허용치

표4 CSTR 프로세스에 대해 노이즈가 중첩되지 않은 훈련 데이터 집합과 노이즈 중첩된 훈련 데이터 집합을 사용하여 얻어진 RMSE 값, 상관 계수 및 평균 예측 오차의 비교

이점

(1) 계기 노이즈 및/또는 측정 오차를 포함하는 데이터의 존재 하에 비선형 인공 신경망을 구성하기 위한 실시하기 쉬운 형식.

(2) 방법이 검퓨터 시뮬레이션만으로 확장된 훈련 데이터 집합을 생성하고, 따라서 인공 신경망의 예측 정확성 및 일반화 능력을 향상기키기 위한 추가적 프로세스 데이터의 수집을 피할 수 있기 때문에 비용면에서 효율적이다.

(3) 본 발명 방법은 각각의 입력-출력 변수에 부가될 노이즈의 양이 임의적으로 선택되지 않고, 신규하고 강력한 확률론적 최적 기법 즉 유전적 알고리즘을 사용하여 선택되는 인공 신경망 모델의 정확성 및 일반화 성능을 향상시키기 위한 노이즈 중첩된 훈련 데이터를 생성한다.

(4) 유전적 알고리즘을 사용하면 표본 데이터의 각각의 입력-출력 변수에 부가될 글로벌하게(국부적이 아님) 최적의 노이즈 양을 얻을 수 있다.

(5) 본 발명의 방법은 표본 데이터가 ANN 훈련을 실행하기에 부적합한 때에도 유효한데, 왜냐하면 그것은 노이즈 중첩 기법을 사용하여 추가적 훈련 데이터를 생성하기 때문이다.

(6) 본 발명의 방법은 충분히 일반적이어서 다중 입력-다중 출력 비선형 시스템의 모델링 및 분류의 적용을 보장한다.

(7) 본 발명의 방법은 인공 신경망 기반 모델링 및 분류를 포함하여 실시간 응용에 사용될 수 있다.

(8) 본 발명의 형식은 병렬 컴퓨터를 사용하여 실시하기 위해 효과적으로 병렬화 될 수 있다.

(9) 본 발명의 실시는 완전히 자동적이어서 사용자의 개입을 최소한으로 요구하거나 전혀 요구하지 않는다.

Claims

망 모델을 구성하기 위해 이용가능한, 표본 집합으로 알려진 입력-출력 데이터가 계기 노이즈 및/또는 측정 오차를 포함할 때 비선형 인공 신경망 모델(artifical neural network model)의 예측 정확성 및 일반화 성능을 향상시키는 방법에 있어서,

(a) 컴퓨터 시뮬레이션을 사용하여, 상기 표본 집합으로부터 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합을 생성하는 단계,

(b) 상기 단계 (a)의 상기 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합을 생성하기 위하여, 상기 컴퓨터 시뮬레이션을 사용하여 상기 표본 집합 내의 각각의 입력-출력 패턴에 대해, M 개의 노이즈 중첩된 표본 입력-출력 패턴(벡터)을 생성하는 단계,

(c) 상기 단계(a)의 상기 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합을 생성하기 위하여, 각각의 입력 및 출력 변수에 대한 특정의 노이즈 허용치를 사용하여 노이즈 중첩된 표본 입력-출력 패턴을 생성하는 단계,

(d) 상기 노이즈 중첩된 표본 입력-출력 패턴을 포함하는 상기 단계 (a)의 상기 노이즈 중첩된 확장된 입력-출력 표본 데이터를 생성하기 위하여, 상기 컴퓨터 시뮬레이션을 사용하여 가우스(정상) 분포된 무작위 수를 생성하는 단계,

(e) 확률론적 탐색 및 최적화 기법을 사용하여, 상기 단계 (a)의 상기 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합을 생성하기 위하여, 상기 표본 집합 내의 각각의 입력 및 출력 변수에 부가될 가우스 노이즈의 정확한 양을 결정하는 단계, 및

(f) 상기 비선형 인공 신경망 모델을 구성하기 위해서, 상기 단계 (a)의 상기 노이즈 중첩된 확장된 입력-출력 표본 데이터 집합을 "훈련 집합"으로서 사용하는 단계

를 포함하는 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
제1항에 있어서,

상기 확률론적 탐색 및 최적화 기법은 유전적 알고리즘이고,

상기 유전적 알고리즘에 의해 결정된 상기 표본 집합의 각각의 입력-출력 변수에 부가될 가우스 노이즈의 정확한 양이 국부적이 아닌 전체적으로 최적인 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
제1항에 있어서,

상기 표본 집합은 상기 인공 신경망 모델의 상기 일반화 성능을 감시하기 위한 "테스트 집합"으로서 사용되는 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
제1항에 있어서,

상기 인공 신경망의 구조는 "피드-포워드", 즉 상기 망 내의 정보 흐름이 입력층으로부터 출력층으로의 단일 방향인 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
제4항에 있어서,

상기 피드-포워드 신경망 구조는 다중층 인식망{multilayer perception(MLP) network}, 래디얼(radial) 기반 기능망(RBFN), 및 역전파(counterpropagation) 신경망(CPNN) 중 하나 이상을 포함하는 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
제1항에 있어서,

상기 인공 신경망 모델을 구성 또는 훈련하기 위해 사용되는 알고리즘은 오차-역방향 전파(error-back-propagation), 공액 구배, 퀵프롭(Quickprop) 및 RPROP중 하나 이상을 포함하는 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
제1항에 있어서,

상기 노이즈 허용치를 최적화하기 위해서 사용되는 상기 확률론적 탐색 및 최적화 기법은 유전적 알고리즘 및 관련 방법, 즉 시뮬레이션된 어닐링(simulated annealing)(SA), 동시 교란 확률론적 근사화(SPSA), 진화 알고리즘(evolutionary algorithm)(EA), 및 메메틱(memetic) 알고리즘(MA)을 참조하는 비선형 인공 신경망 모델의 예측 정확성 및 일반화 성능 향상 방법.
삭제