KR101941924B1 - 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법 - Google Patents

Abstract

자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법이 제공되며, 사용자 단말로부터 음성 또는 텍스트로 입력문장을 입력받는 단계,입력문장을 공백이 없는 상태로 재정렬하고, 맥락정보 및 기 학습된 단어모델에 기반하여 입력문장의 중심단어를 기준으로 배치될 확률이 높은 적어도 하나의 앞 연관어 및 뒤 연관어를 추출하는 단계, 추출된 적어도 하나의 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델에 의해 학습된 횟수 및 학습 여부에 기초하여 산출된 점수로 정렬하고, 가장 높은 점수를 가진 앞 연관어 및 뒤 연관어로 중심단어와 연결하여 분석문장을 완성하는 단계, 및 입력문장과 분석문장의 유사도 구간에 따라 앞 연관어 및 뒤 연관어를 포함하는 연관정보를 기 학습된 단어모델에 추가하여 학습하거나, 연관정보로 새로운 단어모델을 학습시키는 단계를 포함한다.

Description

자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법{METHOD FOR PROVIDING ASSOCIATION MODEL BASED INTENTION NANO ANALYSIS SERVICE USING COGNITIVE NEURAL NETWORK}

본 발명은 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법에 관한 것으로, 사용자의 질의에 대한 정확한 분석을 수행할 수 있는 방법에 관한 것이다.

대화 시스템은 인간과 기계의 상호작용 도구로서 양방향 소통이 가능한 시스템이다. 대화 시스템은 크게 음성인식, 자연어 이해, 대화 관리, 자연어 생성으로 나눌 수 있다. 그 중 자연어 이해(Natural language understanding) 모델은 사용자의 의도 파악하는 단계로 대화 시스템을 위해 매우 중요한 비중을 차지한다. 최근에는 합성곱 신경망(Convolution Neural Network, CNN)과 순환 신경망(Recurrent Neural Network, RNN) 등을 이용한 많은 심층학습 기법들이 제안되고 있다.

이때, 발화 의도를 분석하기 위하여 문장의 언어학적 구조를 이용한 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2016-0008949호(2016년01월25일 공개)에는, 학습자가 발화한 문장을 인식하여 텍스트로 변환하고, 텍스트로 변환된 발화 문장에 대한 발화의도를 추정하고, 발화 문장을 구성하는 각 어휘에 대한 언어학적 구조분석을 하고, 추정된 발화의도에 기초하여 발화 문장에 대한 응답을 생성하고, 언어학적 구조분석 결과에 기초하여 발화 문장에 포함되어 있는 오류를 인식하고, 오류에 대한 교정 피드백을 제공하는 구성을 개시하고 있다.

다만, 의도 분석과 같은 문장 분류 분야는 한 문장에서 최대한 많은 정보를 추출하여 분류를 진행해야 하지만 상술한 구성에서는 음절 또는 자소 단위의 임베딩을 활용한 방법은 개시되어 있지 않다. 또한, 심층 학습 기반의 한국어 의도 분석 모델의 연구 및 개발이 전무하며, 이러한 입력 정보의 한계를 극복하기 위해 영어의 형태소 분석 또는 개체명 인식 분야에서는 단어를 쪼개 얻을 수 있는 문자 단위의 임베딩을 신경망을 통해 추출할 수도 있지만, 단어 단위의 임베딩만 사용한 모델로는 입력의 정보를 충분히 활용하지 못했다는 한계를 가지고 있다.

본 발명의 일 실시예는, 사용자의 질의 문장 중 중심단어를 추출하고, 맥락(Context)과 단어모델에 기반하여 중심단어의 앞뒤에 배치되는 연관어의 확률을 계산하고 유사도에 기반하여 추가 학습 또는 새로 학습을 실시함으로써, 사용자의 발화 의도를 파악할 때 가장 적합한 문장으로 나눔으로써 의도분석에 필요한 연산량을 줄이고, 형태소와 오타를 구분할 수 있도록 하며, 새로운 단어를 인식할 수 있는 유연성을 기를 수 있는, 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 음성 또는 텍스트로 입력문장을 입력받는 단계,입력문장을 공백이 없는 상태로 재정렬하고, 맥락정보 및 기 학습된 단어모델에 기반하여 입력문장의 중심단어를 기준으로 배치될 확률이 높은 적어도 하나의 앞 연관어 및 뒤 연관어를 추출하는 단계, 추출된 적어도 하나의 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델에 의해 학습된 횟수 및 학습 여부에 기초하여 산출된 점수로 정렬하고, 가장 높은 점수를 가진 앞 연관어 및 뒤 연관어로 중심단어와 연결하여 분석문장을 완성하는 단계, 및 입력문장과 분석문장의 유사도 구간에 따라 앞 연관어 및 뒤 연관어를 포함하는 연관정보를 기 학습된 단어모델에 추가하여 학습하거나, 연관정보로 새로운 단어모델을 학습시키는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자의 질의 문장 중 중심단어를 추출하고, 맥락(Context)과 단어모델에 기반하여 중심단어의 앞뒤에 배치되는 연관어의 확률을 계산하고 유사도에 기반하여 추가 학습 또는 새로 학습을 실시함으로써, 사용자의 발화 의도를 파악할 때 가장 적합한 문장으로 나눔으로써 의도분석에 필요한 연산량을 줄이고, 형태소와 오타를 구분할 수 있도록 하며, 새로운 단어를 인식할 수 있는 유연성을 기를 수 있음으로써, 궁극적으로 고객의 감성 품질을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 의도 분석 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스가 구현된 다른 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

본 발명의 일 실시예에 있어서, 나노 의도 분석 방법은, 단어모델이 단어 하나의 의미를 가지는 작은 나노화된 단어모델로, 구조가 아닌 시점에 따라 나노 단어모델이 병렬적으로 데이터를 확인하여 중앙으로 전달하는 구조에 따른 방법을 실행하는 것으로 정의한다. 이때, 각각 단어 학습모델은 갖는 서로 간의 연관성이 상대적 가지는 임베딩 역할을 수행하며, 이를 통하여 새로 들어온 분석문장을 예측하여 토큰화, 올바른 문장 예측, 다음 단어에 대한 확률적 형태소 분석이 한 번에 이루어져 의사결정엔진으로 전달되고, 이후 분석된 내용으로 임계치에 따라 새로운 단어모델을 신규로 생성하거나 기 저장된 단어모델에 새로운 연관성을 업데이트하는 형태로 시점별로 이루어지는 것으로 정의한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 의도 분석 서비스 제공 서버(300)를 포함할 수 있다. 다만, 이러한 도 1의 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 의도 분석 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 의도 분석 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100)과 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 채팅 또는 음성으로 대화를 하는 사용자의 단말일 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 채팅 또는 음성을 통하여 명령을 내리거나 검색을 하거나 대화를 하는 사용자의 단말일 수 있고, 이에 대한 응답을 의도 분석 서비스 제공 서버(300) 또는 의도 분석 서비스 제공 서버(300)와 연동된 페이지, 프로그램 또는 애플리케이션으로부터 수신하고 이를 출력하는 단말일 수 있다. 이때, 적어도 하나의 사용자 단말(100)의 컴퓨팅 자원 및 네트워킹 자원이 의도 분석 서비스를 자체적으로 구동할 만큼 보유하고 있다면 의도 분석 서비스 제공 서버(300)를 통하지 않고 상술한 구성을 구동하는 것이 가능할 수 있다. 다만, 의도 분석 서비스 제공 서버(300)와 연동하여 구동하는 것을 배제하는 것은 아니다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

의도 분석 서비스 제공 서버(300)는, 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 의도 분석 서비스 제공 서버(300)는, 사용자 단말(100)로부터 수신된 입력문장을 분석하여 중심단어를 추출하고, 추출된 중심문장의 앞뒤에 배치된 연관어의 쌍이, 기 학습된 단어모델의 연관어의 쌍과 유사한지를 확인하며, 역치값이 기준미달인 경우에는 오타로 판정하는 서버일 수 있다. 이때, 의도 분석 서비스 제공 서버(300)는 기 학습된 단어모델의 연관어를 이용하여 중심단어를 중심으로 분석문장을 생성하고, 분석문장과 입력문장을 분석하여 의도를 파악하거나, 두 문장의 유사도가 역치값 미만인 경우에는 새로운 단어모델을 생성하여 학습시키거나, 기 학습된 단어모델에 추가된 단어를 입력하여 학습시킴으로써 문장의 의도를 파악하는 서버일 수 있다. 그리고, 기 학습된 단어모델 및 새로운 단어모델을 학습시킴으로써 중심단어를 중심으로 배치되는 연관어의 쌍이 나타날 확률을 파악하고, 오타가 발생했는지 또는 오타가 발생했을지라도 올바른 연관어로 고정시키는 역할을 수행하는 서버일 수 있다.

여기서, 의도 분석 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 의도 분석 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스가 구현된 일 실시예를 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스가 구현된 다른 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 의도 분석 서비스 제공 서버(300)는, 입력부(310), 추출부(320), 완성부(330), 학습부(340), 의사결정부(350), 오타확인부(360)를 포함할 수 있다.

본 발명의 일 실시예에 따른 의도 분석 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100)로 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100)은, 자율 인지 신경망 기반 연관 모델 학습을 이용한 의도 분석 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

도 2를 참조하면, 입력부(310)는, 사용자 단말(100)로부터 음성 또는 텍스트로 입력문장을 입력받을 수 있다. 이때, 음성이나 텍스트 또는 이미지와 같은 콘텐츠도 모두 포함하며, 수화와 같은 모션 동작도 포함할 수 있다. 음성은 음성인식기술로, 수화는 모션인식기술 등으로 인식가능하고 공지기술이므로 상세한 설명은 생략하기로 한다.

추출부(320)는, 입력문장을 공백이 없는 상태로 재정렬하고, 맥락정보 및 기 학습된 단어모델에 기반하여 입력문장의 중심단어를 기준으로 배치될 확률이 높은 적어도 하나의 앞 연관어 및 뒤 연관어를 추출할 수 있다. 예를 들어, A 문장의 중심단어가 B라고 가정하고, B의 앞뒤에는 C와 D가 쌍으로 나타나는 것이 일반적이며 이를 학습하여 기 학습된 단어모델에 C-B-D와 같이 저장되었다고 가정한다. 물론, B를 중심으로 E-F가 나타날 확률도 존재하고 다양한 쌍이 존재할 수 있지만 상술한 쌍(C-D)이 가장 나타날 확률과 쓰이는 확률이 높다고 가정한다. 이와 같은 경우, B를 중심으로 기 학습된 단어모델에 C-D쌍이 저장되어 있으므로, 추출부(320)는, C-D를 추출하게 된다.

여기서, 맥락(Context) 정보의 분석은 대화 시스템에서 중요한 언어 이해의 한 분야로 사용자의 발화에서 의미를 나타내는 개념정보들을 인식하는 것이다. 예를 들어 입력발화 “How much is this?”에서 의문을 나타내는“Question”과 수량을 나타내는 “Quantity”등 정보를 추출하는 것 등일 수 있다. 이때, 맥락정보를 분석하기 위하여 합성곱 신경망(Convolutional Neural Network)과 순환 신경망(Recurrent Neural Network)을 이용한 많은 딥러닝 기법이 사용될 수 있고, 단어 임베딩 기법을 이용한 합성곱 신경망으로 현재 발화의 화행을 분석하는 모델이 이용될 수도 있다. 이때, 문서분류나 감정분석과 같이 문서사이의 독립적인 관계와 다르게 대화는 특정 대화의 여러 발화들 사이에 일정한 연관성이 존재한다. 따라서 이러한 연관성을 단서로 사용하면 현재 발화의 화행을 보다 정확하게 분석할 수 있다. 이를 이용하여, 이전 발화들을 누적하여 합성곱 신경망으로 표현한 후 순환 신경망의 입력으로 사용하여 부분 대화의 토픽을 추출하는 방법 등을 이용할 수 있으나, 상술한 방법에 한정되지 않고 문맥이나 맥락정보를 파악하는 방법이면 그 어느 것이든 이용가능하다.

특히, 본 발명의 일 실시예에서는, 맥락정보를 추적하기 위하여, 순환신경망의 한 종류인 장·단기 기억망(LSTM: Long Short-Term Memory)을 이용할 수 있다. LSTM은 입력, 망각 및 출력 으로 이루어진 세 개 게이트를 사용하며 기본적인 RNN보다 입력된 정보를 오래 동안 유지할 수 있다. 추적하고자 하는 이전 발화의 개수를 파라미터로 정하고 추적 대상 발화의 모든 단어들의 임베딩 벡터를 순차적으로 LSTM에 입력으로 사용하고 최종 출력을 이전 대화의 문맥 정보로 사용할 수 있다. 물론, 상술한 방법만이 이용될 수 있는 것은 아니고 다양한 방법이 이용될 수 있음은 상술한 바와 같다.

완성부(330)는, 추출된 적어도 하나의 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델에 의해 학습된 횟수 및 학습 여부에 기초하여 산출된 점수로 정렬하고, 가장 높은 점수를 가진 앞 연관어 및 뒤 연관어로 중심단어와 연결하여 분석문장을 완성할 수 있다. 상술한 예를 계속 인용하면, 사용자는 문장 A(A = E-B-F)를 입력했고, B의 가장 잘 어울리는 또는 알맞은 앞뒤 연관어는 C-D로 학습되어 저장되어 있다. 이러한 경우에는, 사용자가 입력한 문장 A는 그대로 두고, B를 중심으로 C-D를 새로 배치하여 새로운 문장, 즉 분석문장인 B(B=C-B-D)를 생성한다. 이때, B를 중심으로는 이하 표 1과 같은 단어모델이 생성되어 있을 수 있다.

중심단어 B	단어모델(앞뒤 연관어 쌍)
	C-D(50%)
	E-F(24%)
	G-H(9%)
	I-J(8%)
	.....

즉, B를 중심으로 C-D가 가장 많은 빈도 및 확률로 사용되고 있으므로 문장을 정확히 분석하기 위해서는 사용자가 말한 문장 외에 올바른 문장을 만들어야 하는데, B를 중심으로 E-F가 아닌 C-D를 배치함으로써 기계가 의도를 파악할 수 있는 올바른 폼(Form)을 생성하거나 또는 비문인 경우 올바른 문장으로 변경해야 한다. 따라서, 완성부(330)는 높은 점수, 즉 확률이나 사용 퍼센트가 가장 높은 앞뒤 연관어 쌍을 추출하고, 이를 중심단어의 앞뒤에 배치하여 문장을 만들고, 이를 분석문장이라고 한다. 예를 들어, A 문장의 중심단어가 B라고 가정하고, B의 앞뒤에는 C와 D가 쌍으로 나타나는 것이 일반적이며 이를 학습하여 기 학습된 단어모델에 C-B-D와 같이 저장되었다고 가정한다. 물론, B를 중심으로 E-F가 나타날 확률도 존재하고 다양한 쌍이 존재할 수 있지만 상술한 쌍(C-D)이 가장 나타날 확률과 쓰이는 확률이 높다고 가정한다. 이와 같은 경우, B를 중심으로 기 학습된 단어모델에 C-D쌍이 저장되어 있으므로, 추출부(320)는, C-D를 추출하게 된다.

학습부(340)는, 입력문장과 분석문장의 유사도 구간에 따라 앞 연관어 및 뒤 연관어를 포함하는 연관정보를 기 학습된 단어모델에 추가하여 학습하거나, 연관정보로 새로운 단어모델을 학습시킬 수 있다. 이때, 유사도 구간은, 일부 유사, 모두 비유사, 모두 유사와 같은 구간으로 나뉠 수 있다. 첫 번째와 같은 구간인 경우, 즉 학습부(340)는, 입력문장과 분석문장의 유사도가 기 설정된 역치값 미만이고, 각 문장에 포함된 일부 단어에 대해서만 유사도가 기 설정된 역치값 미만인 경우 일부 단어를 기 학습된 단어모델에 추가하여 학습을 진행할 수 있다.

두 번째와 같은 구간인 경우, 즉 입력문장과 분석문장의 유사도가 기 설정된 역치값 미만이고, 각 문장에 포함된 모든 단어에 대해서 유사도가 기 설정된 역치값 미만인 경우, 새로운 단어모델을 생성하여 모든 단어에 대하여 학습을 진행할 수 있다. 마지막으로, 세 번째와 같은 구간인 경우, 입력문장과 분석문장의 유사도가 기 설정된 역치값 이상인 경우에는 추가적인 학습을 진행하지 않을 수 있다.

이때, 앞 연관어 및 뒤 연관어는 중심단어를 기준으로 앞뒤에 배치될 확률이 존재하는 단어이고, 앞 연관어 및 뒤 연관어는 공백 및 문장을 이루는 최소단위를 포함할 수 있다. 즉, 단어에 한정하지 않고 공백도 포함하며, 의미 단위에 한정하지 않고 조사나 형태소 등도 모두 포함할 수 있다.

의사결정부(350)는, 완성부(330)에서 추출된 적어도 하나의 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델에 의해 학습된 횟수 및 학습 여부에 기초하여 산출된 점수로 정렬하고, 가장 높은 점수를 가진 앞 연관어 및 뒤 연관어로 중심단어와 연결하여 분석문장을 완성한 후, 완성된 분석문장은 대화를 이어나가기 위한 의사 결정 엔진으로 입력시킬 수 있다. 이때, 입력문장은 사용자가 입력한 문장, 분석문장은 시스템상에서 중심단어 앞뒤에 올바른 연관어 쌍을 배치하여 생성한 문장으로 정의한다.

오타확인부(360)는, 입력부(310)에서 사용자 단말(100)로부터 음성 또는 텍스트로 입력문장을 입력받은 이후에, 입력문장의 중심단어에 기 매칭되어 기 학습된 단어모델에 저장된 앞 연관어 및 뒤 연관어와, 입력문장의 중심단어의 앞뒤에 위치한 앞 연관어 및 뒤 연관어를 비교할 수 있다. 그리고, 오타확인부(360)는, 비교결과 각 앞 연관어 및 뒤 연관어가 일치하지 않는 경우, 입력문장의 중심단어의 앞뒤에 위치한 앞 연관어 및 뒤 연관어의 발생확률을 산출할 수 있고, 발생확률에 기초하여 입력문장의 중심단어의 앞뒤에 위치한 앞 연관어 및 뒤 연관어의 오타 여부 및 중심단어와의 연관 정도를 파악할 수 있다.

예를 들어, 상술한 예를 계속하여 인용하면, A 문장의 중심단어 B를 중심으로 앞뒤에 C-D가 올바른 쌍이라고 가정하면, C-D가 높은 확률로 나타날 것이다. 이때, B 앞뒤에 X-Y가 출현했고, X-Y가 나타날 확률이 현저히 낮다면 중심단어 B와의 연관도도 낮게 측정될 것이고, 이에 따라 오타인지의 여부를 확인할 수 있게 된다. 이에 따라, 오타 여부 및 연관도에 따라 해당 쌍을 올바른 연관어 쌍으로 변경함으로써 올바른 문장의 생성으로 대화 의도를 정확히 파악할 수 있는 입력값을 제공할 수 있다.

이때, 오타확인부(360)는 발생확률에 기초하여 입력문장의 중심단어의 앞뒤에 위치한 앞 연관어 및 뒤 연관어의 오타 여부 및 중심단어와의 연관 정도를 파악한 후, 입력문장에 오타가 발생되었다고 파악되는 경우, 입력문장의 중심단어를 기준으로 앞뒤에 배치된 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델의 앞 연관어 및 뒤 연관어로 대체하여 고정할 수 있다.

한편, 기 학습된 단어모델 및 새로운 단어모델은, 자율 인지 신경망에 의해 학습되어 학습된 단어장으로 저장될 수 있다. 학습된 단어장은 사용자가 사용자 단말(100)을 이용하지 않는 시간 등에 주기적 또는 실시간으로 학습한 내용들을 재학습되도록 설정될 수 있다.

도 3b를 참조하면, 나노 의도 분석 방법은, 단어모델이 단어 하나의 의미를 가지는 작은 나노화된 단어모델로, 구조가 아닌 시점에 따라 나노 단어모델이 병렬적으로 데이터를 확인하여 중앙으로 전달하는 구조에 따른 방법을 실행할 수 있다. 이때, 각각 단어 학습모델은 갖는 서로 간의 연관성이 상대적 가지는 임베딩 역할을 수행하며, 이를 통하여 새로 들어온 분석문장을 예측하여 토큰화, 올바른 문장 예측, 다음 단어에 대한 확률적 형태소 분석이 한 번에 이루어져 의사결정엔진으로 전달되고, 이후 분석된 내용으로 임계치에 따라 새로운 단어모델을 신규로 생성하거나 기 저장된 단어모델에 새로운 연관성을 업데이트하는 형태로 시점별로 이루어지는 것으로 정의한다.

본 발명의 일 실시예에 따른 의도 분석 방법에서, 모든 단어모델이 나노화되어 있기 때문에 나노 의도 분석기로 명명되었는데, 예를 들어, 1 개의 단어모델이 단어 하나의 의미를 가리키고 그 1 개의 단어모델은 다른 단어모델 간의 앞 뒤 연관성을 학습할 수 있다. 이에 따라, 1 개의 단어모델이 6 개라면, 6 개의 모듈형태로 되어 있지 않고, 6 개 모듈에서 하는 기능이 나노화된 여러 개의 모델을 통해 시간에 따라 다르게 작동할 수 있다.

이때, 시점 1에서 데이터가 입력되면, 시점 2에서 데이터의 공백을 없애고 모든 모델에 각 단어들을 대입해서 예측된 확률 점수가 가장 높은 문장을 완성하여 의사결정엔진으로 정보를 전달할 수 있고, 이때, 오타 및 올바른 문장여부의 예측이 가능하다. 또한, 시점 3에서 올바른 문장에서 나오는 각 예측된 단어 중 예측 임계치에 따라 새로운 모델 생성 또는 기존 모델에 추가 학습을 진행할 수 있다.

이하, 상술한 도 2의 의도 분석 서비스 제공 서버의 구성에 따른 동작 과정을 도 3 및 도 4를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, 사용자가 "배 고파"라는 질문을 입력했다고 가정하자. 이때, 의도 분석 서비스 제공 서버(300)는, 중심단어인 "배"를 중심으로 앞에는 공백이, 뒤에는 "고파"가 존재한다. 이때, 배를 중심으로 앞에는 공백이 올 확률과, 뒤에는 "고파"가 올 확률을 계산하는데, 여기서의 공백은 앞 연관어, "고파"는 뒤 연관어로 정의되고, 각 연관어가 학습된 단어모델에 존재하는지, 존재한다면 사용확률이 얼마인지를 확인하는 것이다. 이때, 맥락정보를 고려함은 상술한 바와 같고, 각 중심단어는 기 학습된 단어모델별로 연관어와 사용확률이 다르게 저장될 수 있다. 상황에 따라 동일한 단어라도 다르게 해석되는 경우가 있기 때문이다.

이때, 확률 예측은, 기 학습된 단어모델에 존재하는 연관어 쌍이라면 더 높은 점수를, 그렇지 않다면 더 낮은 점수를 부여하는 방법으로 이루어질 수 있다. 여기서, 기 학습된 단어모델 내에서도 학습 횟수나 사용 횟수에 따라 서로 다른 점수가 부여될 수 있으며, 이러한 점수에 기초하여 확률을 정할 수 있다.

이렇게 앞 연관어가 공백, 뒤 연관어가 "고파"일 확률이 100%라면 가장 높은 점수를 받은 것이므로 해당 연관어 + 중심단어를 이용하여 완성된 문장의 정보를 출력하고, 이는 의사결정엔진에 입력되게 된다.

한편, 모델의 예측이 완료된 후 완성된 문장을 기준으로 유사도에 따라 새로운 단어 모델을 생성하는 것과 기존 모델에 연관어를 추가하는 구성이 이어지며, 모든 단어가 유사도 역치 이내인 경우에는 별도의 학습이나 추가학습이 이루어지지 않고, 일부가 추가되거나 새로운 데이터인 경우에는 추가적으로 학습시키거나 새로운 모델을 생성하여 학습시킴은 상술한 바와 같다.

도 4를 참조하면, (a)와 같이 의도 분석을 한 결과 가장 적합한 문장으로 나뉠 수 있다. 즉, 아버지가 가방에 들어가신다와, 아버지 가방에 들어가신다의 문장이 존재한다고 가정하면, 중심문장을 기준으로 앞뒤 연관어의 확률을 알 수 있고, 아버지가 방에 들어가신다가 높은 확률로 나타남을 알 수 있고, 높은 점수를 받았으며, 아버지 가방에 들어가신다는 낮은 확률로 나타남을 알 수 있다. 또한, 중심단어와 앞뒤 연관어를 학습하고, 중심단어와 다른 단어 간의 관계를 학습하다보면 "아버지" 단어에 "가방"보다는 "가"가 더 많이 학습되므로 "아버지" 다음에 "가"라는 단어가 연관어로 붙은 경우를 높은 점수를 가지는 최적 문장으로 인식되게 된다. 이에 따라, 높은 점수를 받은 아버지가 방에 들어가신다, 즉 [아버지, 가, 방, 에]를 최적의 문장으로 판단할 수 있고, 맥락에 따라 관련된 단어만 앞뒤 연관어의 점수나 확률 등을 분석한다면 의도 분석을 위한 연산량도 현저히 줄어들 수 있다.

(b)와 같은 경우, 형태소와 오타를 분석할 수 있다는 것을 알 수 있다. 즉, 확률 예측을 할 때 양쪽으로 매칭되는 연관어의 확률을 구하기 때문에, 원래 학습된 연관어의 결과값과 비교하면 올바른 단어가 발생할 확률을 구할 수 있을 뿐만 아니라, 오타인지의 여부와 중심단어와의 연관 정도를 알 수 있다. 또한, 다음 단어의 형태소가 무엇인지를 확률적으로 추론할 수 있다. 그리고, 올바른 문장으로 완성된 문장의 각 형태소 정보는 각 단어의 연관어의 형태소와 동일해야 하므로, 복수의 형태소를 가지는 단어일지라도 올바른 문장에 맞는 형태소로 고정되게 된다.

(c)와 같은 경우 새로운 단어가 인식이 가능하다는 것을 알 수 있다. 즉, 새로운 단어가 아는 단어 사이에 여러 개 들어오면, 각 단어 간 연관성이 생긴다. 그런데, 새로운 단어 일부가 새로 들어왔다면 그 일부 새로운 단어에 연관성이 생기고, 다시 새로운 단어가 들어왔을 때 이미 학습한 새로운 단어 일부를 제외한 나머지 부분은 또 다른 새로운 단어가 된다. 이러한 방법의 반복 과정을 거쳐 단어들은 연관성이 있는 최소 단위로 나뉘게 된다.

이와 같은 도 2 및 도 3의 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 의도 분석 서비스 제공 서버는, 사용자 단말로부터 음성 또는 텍스트로 입력문장을 입력받는다(S5100).

그리고, 의도 분석 서비스 제공 서버는 입력문장을 공백이 없는 상태로 재정렬하고, 맥락정보 및 기 학습된 단어모델에 기반하여 입력문장의 중심단어를 기준으로 배치될 확률이 높은 적어도 하나의 앞 연관어 및 뒤 연관어를 추출하고(S5200), 추출된 적어도 하나의 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델에 의해 학습된 횟수 및 학습 여부에 기초하여 산출된 점수로 정렬하고, 가장 높은 점수를 가진 앞 연관어 및 뒤 연관어로 중심단어와 연결하여 분석문장을 완성한다(S5300).

마지막으로, 의도 분석 서비스 제공 서버는 입력문장과 분석문장의 유사도 구간에 따라 앞 연관어 및 뒤 연관어를 포함하는 연관정보를 기 학습된 단어모델에 추가하여 학습하거나, 연관정보로 새로운 단어모델을 학습시킨다(S5400).

상술한 단계들(S5100~S5400)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5400)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

1. 의도 분석 서비스 제공 서버에서 실행되는 의도 분석 서비스 제공 방법에 있어서,
   사용자 단말로부터 음성 또는 텍스트로 입력문장을 입력받는 단계;
   상기 입력문장을 공백이 없는 상태로 재정렬하고, 맥락정보 및 기 학습된 단어모델에 기반하여 상기 입력문장의 중심단어를 기준으로 배치될 확률이 높은 적어도 하나의 앞 연관어 및 뒤 연관어를 추출하는 단계;
   상기 추출된 적어도 하나의 앞 연관어 및 뒤 연관어를, 상기 기 학습된 단어모델에 의해 학습된 횟수 및 학습 여부에 기초하여 산출된 점수로 정렬하고, 가장 높은 점수를 가진 앞 연관어 및 뒤 연관어로 상기 중심단어와 연결하여 분석문장을 완성하는 단계;
   상기 완성된 분석문장은 대화를 이어나가기 위한 의사 결정 엔진으로 입력되는 단계;
   상기 입력문장과 분석문장의 유사도 구간에 따라 상기 앞 연관어 및 뒤 연관어를 포함하는 연관정보를 상기 기 학습된 단어모델에 추가하여 학습하거나, 상기 연관정보로 새로운 단어모델을 학습시키는 단계;
   를 포함하는 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법.
   
2. 제 1 항에 있어서,
   상기 입력문장과 분석문장의 유사도 구간에 따라 상기 앞 연관어 및 뒤 연관어를 포함하는 연관정보를 상기 기 학습된 단어모델에 추가하여 학습하거나, 상기 연관정보로 새로운 단어모델을 학습시키는 단계는,
   상기 입력문장과 분석문장의 유사도가 기 설정된 역치값 이상인 경우에는 추가적인 학습을 진행하지 않는 단계;
   상기 입력문장과 분석문장의 유사도가 기 설정된 역치값 미만이고, 각 문장에 포함된 일부 단어에 대해서만 상기 유사도가 기 설정된 역치값 미만인 경우 상기 일부 단어를 상기 기 학습된 단어모델에 추가하여 학습을 진행하는 단계;
   상기 입력문장과 분석문장의 유사도가 기 설정된 역치값 미만이고, 각 문장에 포함된 모든 단어에 대해서 상기 유사도가 기 설정된 역치값 미만인 경우, 새로운 단어모델을 생성하여 상기 모든 단어에 대하여 학습을 진행하는 단계;
   를 포함하는 것인, 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법.
   
3. 제 1 항에 있어서,
   상기 앞 연관어 및 뒤 연관어는 중심단어를 기준으로 앞뒤에 배치될 확률이 존재하는 단어이고,
   상기 앞 연관어 및 뒤 연관어는 공백 및 문장을 이루는 최소단위를 포함하는 것인, 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법.
   
4. 삭제
5. 제 1 항에 있어서,
   상기 사용자 단말로부터 음성 또는 텍스트로 입력문장을 입력받는 단계 이후에,
   상기 입력문장의 중심단어에 기 매칭되어 상기 기 학습된 단어모델에 저장된 앞 연관어 및 뒤 연관어와, 상기 입력문장의 중심단어의 앞뒤에 위치한 앞 연관어 및 뒤 연관어를 비교하는 단계;
   상기 비교결과 각 앞 연관어 및 뒤 연관어가 일치하지 않는 경우, 상기 입력문장의 중심단어의 앞뒤에 위치한 앞 연관어 및 뒤 연관어의 발생확률을 산출하는 단계;
   상기 발생확률에 기초하여 상기 입력문장의 중심단어의 앞뒤에 위치한 상기 앞 연관어 및 뒤 연관어의 오타 여부 및 중심단어와의 연관 정도를 파악하는 단계;
   를 더 포함하는 것인, 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법.
   
6. 제 5 항에 있어서,
   상기 발생확률에 기초하여 상기 입력문장의 중심단어의 앞뒤에 위치한 상기 앞 연관어 및 뒤 연관어의 오타 여부 및 중심단어와의 연관 정도를 파악하는 단계 이후에,
   상기 입력문장에 오타가 발생되었다고 파악되는 경우, 상기 입력문장의 중심단어를 기준으로 앞뒤에 배치된 앞 연관어 및 뒤 연관어를, 기 학습된 단어모델의 앞 연관어 및 뒤 연관어로 대체하여 고정하는 단계;
   를 더 포함하는 것인, 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법.
   
7. 제 1 항에 있어서,
   상기 기 학습된 단어모델 및 새로운 단어모델은, 자율 인지 신경망에 의해 학습되어 학습된 단어장으로 저장되는 것인, 자율 인지 신경망 기반 연관 모델 학습을 이용한 나노 의도 분석 서비스 제공 방법.

Images