KR20200103165A - 대화 서비스 제공을 위한 문장 의미 관계 분류 프로그램 - Google Patents

Abstract

본 발명은 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한 문장 의미 관계 분류 프로그램에 있어서, 학습 대상인 학습 문서 데이터를 입력받는 단계; 상기 학습 문서의 단어들을 벡터 공간상에 맵핑하는 단어 벡터 변환 처리를 수행하는 단계; 상기 단어 벡터를 이용하여, 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하는 단계; 상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하는 단계; 상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성하는 단계; 및 상기 생성된 분류기에 기초한 사용자 입력 문서의 의도 분류 처리를 수행하는 단계;를 컴퓨터에서 실행시킬 수 있도록 매체에 기록된 것을 특징으로 한다.

Description

대화 서비스 제공을 위한 문장 의미 관계 분류 프로그램{A PROGRAM OF CLASSIFICATING SEMANTIC RELATIONS BETWEEN SENTENCES FOR PROVIDING CONVERSATION SERVICES}

본 발명은 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한 문장 의미 관계 분류 프로그램에 관한 것이다.

인공지능(Artificial Intelligence)은 비즈니스, 조직운영, 생활방식 그리고 커뮤니케이션 방법에 혁신을 일으키고 있다. 매일매일 빠르게 변화하는 현대적 문화의 생활 방식과 다양하게 끊임없이 변화되는 고객의 요구사항에 최적의 서비스를 제공하기 위한 다양한 정보화 프로젝트가 진행되고 있다.

그중에서도 최근 빅데이터와 딥러닝 관련 기술이 빠른 속도로 발전하여 특정 분야에서는 실생활에 적용되고 있는 인공지능 기술이 구현되었으며, 특정 데이터에 대한 분석과, 개개인에게 특화된 다양한 분야의 정보를 통합 제공 및 활용하는 지능화된 개인 서비스에도 적용되고 있다.

이와 같이 인공지능 및 데이터 분석 서비스 등 다양한 사용자 서비스들을 제공하기 위해, 매우 방대한 양의 텍스트 및 기타 언어 기반 정보에 대한 데이터 마이닝이 요구되고 있으며, 이를 위해 주로 기계학습 방식이 이용되고 있다.

이러한 문서의 기계학습은 현재 문서가 가진 단어들을 임베딩한 벡터 값으로 문장만을 나타내는 문서 벡터를 이용한 분류 방식이 주로 이용되고 있다.

그러나, 기존의 분류 방식은 문장들 사이의 의미 관계를 파악하기 어려운 문제점이 있다. 이와 같은 문제점은 결과적으로 분류기의 성능에 한계를 보여주게 된다.

예를 들어, 서로 다른 주제를 가진 '유럽'이라는 클래스와 '축구'라는 클래스가 있을 때 '유럽'이라는 문서 데이터 안에 '유럽의 축구'와 관련된 내용이 있다면 '유럽' 클래스와 '축구' 관련된 문장과 '축구' 클래스의 문장들은 의미 관계를 갖고 있다고 할 수 있으나, 현재의 분류기에서는 이와 관련한 어떠한 정보도 연관되어 처리되고 있지 못하고 있는 실정이다.

즉, 기존의 방식들은 정해진 문장 클래스별 데이터로 학습을 하고 분류하기 때문에 서로 다른 클래스의 문장 즉, 문서 내에서도 서로 다른 주제를 가진 문장들 사이에서 어떠한 의미 관계가 나타난다고 하더라도 현재의 방식으로는 그 연관된 의미 관계를 파악할 수 없다.

이러한 문제점은 기계학습 기반 챗봇, 상담 서비스 등의 대화 서비스에 있어서, 사전 분류되지 않은 새로운 문장에 대한 클래스 구분력 저하로 이어지게 되며, 결과적으로 정상적 대화로 이어지지 않고, 서비스의 품질 저하를 가져오게 된다.

또한, 현재는 문장 벡터 및 분류 프로세스가 통합적으로 구성되어 있어, 문서의 도메인이 변경되더라도 분류 모델을 가변적으로 적용하기 어려운 측면이 있는 바, 분류 효율 또한 떨어지는 문제점이 있다.

(001) 한국공개특허공보 10-2006-0043333호(2006.05.15.)(명칭:데이터의 의도를 판정하고 의도에 기초하여 데이터에 응답하는 시스템 및 방법)

본 발명은 상기한 바와 같은 문제점을 해결하고자 안출된 것으로, 문장 사이의 관계를 추론하여 새로운 문장의 의미를 파악해 클래스를 결정하도록 하여 최종적으로 분류기 성능 향상 및 의미관계 해석을 용이하게 하는 대화 서비스 제공을 위한 문장 의미 관계 분류 프로그램을 제공하는 데 그 목적이 있다.

상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 대화 서비스 제공을 위해 컴퓨터에서 실행하기 위해 매체에 기록된 문장 의미 관계 분류 프로그램은, 문장 간 의미 관계 모델을 이용한 데이터 처리기반 사용자 대화 서비스를 제공하기 위한 문장 의미 관계 분류 방법으로서, 학습 대상인 학습 문서 데이터를 입력받는 단계; 상기 학습 문서의 단어들을 벡터 공간상에 맵핑하는 단어 벡터 변환 처리를 수행하는 단계; 상기 단어 벡터를 이용하여, 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하는 단계; 상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하는 단계; 상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성하는 단계; 및 상기 생성된 분류기에 기초한 사용자 입력 문서의 의도 분류 처리를 수행하는 단계;를 컴퓨터에서 실행시킬 수 있도록 매체에 기록된 것을 특징으로 한다.

또한, 상기한 바와 같은 과제를 해결하기 위한 본 발명의 실시 예에 따른 분류장치는, 문장 간 의미 관계 모델을 이용한 데이터 처리기반 사용자 대화 서비스를 제공하기 위한 문장 의미 관계 분류 장치로서,

학습 모델 생성 프로세스를 수행하여 생성된 학습 모델 정보를 저장해둔 학습 데이터 베이스로부터 학습 문서를 입력받고, 상기 학습 문서의 단어들을 벡터 공간상에 맵핑하는 단어 벡터 변환 처리를 수행하는 단어-벡터 변환부; 상기 단어 벡터를 이용하여, 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하는 문장-벡터 변환부; 및 상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하고, 상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성하며, 상기 생성된 분류기에 기초한 사용자 입력 문서의 의도 분류 처리를 수행하는 의미 관계 분류부를 포함한다.

본 발명의 실시 예에 따르면, 학습 문서의 단어들을 벡터 공간상에 맵핑하고, 상기 단어 벡터를 이용하여 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하며, 상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하여 상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성할 수 있다.

이에 따라, 본 발명의 실시 예에 따르면 문장 사이의 관계를 추론하여 새로운 문장의 의미를 파악해 클래스를 결정할 수 있는 의미 관계가 학습된 문장 기반의 분류기를 제공할 수 있으며, 이에 따른 대화 서비스에 있어서의 의미 관계 기반 문장 분류 처리를 통해, 보다 풍부한 응답을 가능하게 하는 바, 분류기 성능 향상 및 의미관계 해석을 용이하게 하는 대화 서비스 제공을 위한 문장 의미 관계 분류장치 및 그 동작 방법을 제공할 수 있게 된다.

또한, 본 발명은 단어 벡터화, 문장 벡터 및 분류 프로세스 각각의 개별적 분류 프로세스들을 제공함으로써, 문서의 도메인이 변경되더라도 분류 모델을 가변적으로 적용할 수 있게 됨에 따라, 시스템 응용성 및 분류 효율을 높일 수 있게 되는 장점이 있다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 개념도이다.
도 2는 본 발명의 실시 예에 따른 분류 장치를 보다 구체적으로 설명하기 위한 블록도이다.
도 3은 본 발명의 실시 예에 따른 분류 장치의 동작 방법을 보다 구체적으로 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 벡터 변환 처리를 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 실시 예에 따른 분류 프로세스 및 결과 예시도이다.
도 7은 본 발명의 실시 예에 따른 서비스 제공 프로세스를 설명하기 위한 흐름도이다.
도 8 및 도 9는 본 발명의 실시 예에 따른 컨볼루션 뉴럴 네트워크 기반 샘플링 및 트리플렛 로스 함수 적용에 따른 결과 데이터를 도시한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 전체 시스템을 개략적으로 도시한 도면이다.

도 1을 참조하면 본 발명의 일 실시 예에 따른 시스템은, 학습 장치(100), 서비스 제공 장치(200), 사용자 단말(300)을 포함할 수 있으며, 학습 장치(100)는 학습 데이터베이스(180)를 포함하거나 상기 학습 데이터베이스(180)에 연결되어 있을 수 있다.

보다 구체적으로, 학습 장치(100)는, 학습 데이터베이스(180)에서 저장된 학습 문서 데이터에 기초하여, 기계학습(machine learning)을 수행하여 문서 학습 모델을 생성할 수 있으며, 생성된 학습 모델을 이용하여, 서비스 제공 장치(200)로부터 입력되는 사용자 입력 문장에 대응한 분류 정보를 출력하거나, 이에 대응한 응답 문장을 서비스 제공 장치(200)로 제공할 수 있다.

특히, 본 발명의 실시 예에 따른 학습 장치(100)는, 서비스 제공 장치(200)의 대화 서비스 제공에 이용될 수 있으며, 학습 대상인 학습 문서 데이터를 입력받아, 상기 학습 문서의 단어들을 벡터 공간상에 맵핑하는 단어 벡터 변환 처리를 수행하고, 상기 단어 벡터를 이용하여, 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하며, 상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하고, 상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성하며, 상기 생성된 분류기에 기초한 사용자 입력 문서의 의도 분류 처리를 수행할 수 있다.

나아가, 학습 장치(100)는, 상기 문장 벡터간 컨볼루션 뉴럴 네트워크(Convilutional Neural Network) 기반의 학습 처리를 수행하여 문장 벡터 학습 모델을 생성하고, 상기 문장 벡터 학습 모델에 대응한 문장 벡터간 트리플렛 로스(Triplet-loss) 함수를 처리하며, 상기 트리플렛 로스 함수 처리 결과에 따라, 상기 문장 벡터간 관계 정도에 기초한 문장 간 의미 관계 학습 모델을 출력할 수 있는 바, 이는 문장 사이의 관계를 추론하여 같은 분류의 문장이 서로 가까워지도록 학습하게 하는 것으로. 학습 장치(100)의 출력 레이어에는 문장 사이의 관계 추론 학습이 모두 끝난 후의 문장 사이의 관계를 표현한 문장 벡터가 포함될 수 있다.

그리고, 서비스 제공 장치(200)는 이와 같이 처리된 문장 간 의미 관계 모델을 이용한 데이터 처리기반 사용자 대화 서비스를 사용자 단말(300)로 제공할 수 있다. 사용자 대화 서비스는 본 발명의 실시 예에 따른 학습 장치(100)의 동작에 의해 생성된 학습 데이터베이스(180) 및 이에 따른 문장 의미 관계 모델을 이용하여, 사용자 단말(300)의 입력 문장에 응답하는 대화 서비스를 포함할 수 있다.

예를 들어, 서비스 제공 장치(200)는 챗봇 서비스, 상담 서비스 등을 사용자 단말(300)로 제공할 수 있다.

예를 들어, 사용자의 표현 방법은 항시 달라지기 때문에 분류되지 않은 문장이 입력된다면, 응답에 대한 한계가 존재 할 수 있다. 이를 위해 딥러닝 기술이 챗봇에 활용되고 있으나, 모든 문의에 대한 응답을 처리하기에는 학습 데이터가 현저하게 적은 문제가 있으며, 기존 상담 데이터를 활용하기에는 데이터가 분류 되지 않았으며, 사람이 분류하기에는 오랜 시간이 사용되는 문제점이 있다.

따라서, 본 발명의 실시 예에 따른 학습 장치(100)는, 분류되지 않는 문장들이 입력되더라도, 문장 간 의미 관계 모델에 따라, 유사 문장들로의 효과적인 분류 처리를 수행할 수 있게 되는 장점이 있다.

한편, 사용자 단말(300) 및 서비스 제공 장치(200)는 네트워크를 통해 유선 또는 무선으로 연결될 수 있으며, 네트워크간 상호간 통신을 위해 각 사용자 단말(100) 및 서비스 제공 장치(300)는 인터넷 네트워크, LAN, WAN, PSTN(Public Switched Telephone Network), PSDN(Public Switched Data Network), 케이블 TV 망, WIFI, 이동 통신망 및 기타 무선 통신망 등을 통하여 데이터를 송수신할 수 있다. 또한, 각 사용자 단말(300) 및 서비스 제공 장치(200)는 각 통신망에 상응하는 프로토콜로 통신하기 위한 각각의 통신 모듈을 포함할 수 있다.

그리고, 본 명세서에서 설명되는 사용자 단말(100)에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있으나, 본 발명은 이에 한정되지 아니하며 그 이외에 사용자 입력 및 정보 표시 등이 가능한 다양한 장치일 수 있다.

이와 같은 시스템에 있어서, 사용자 단말(300)은 서비스 제공 장치(200)와 연결되어 상술한 데이터 기반 대화 서비스를 제공받을 수 있다.

도 2는 본 발명의 실시 예에 따른 학습 장치를 보다 구체적으로 설명하기 위한 블록도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 학습 장치(100)는, 입력부(110), 학습부(120), 분류장치(150) 및 학습 데이터베이스(180)를 포함할 수 있으며, 분류장치(150)는, 단어-벡터 변환부(151), 문장-벡터 변환부(152), 의미 관계 분류부(153) 및 결과 출력부(154)를 포함한다.

먼저, 입력부(110)는, 학습을 위한 학습 문서를 학습 데이터베이스(180)로부터 입력받아 학습부(120)로 전달하여 학습에 이용되도록 처리하거나, 서비스 제공 장치(200)로부터 전달된 사용자 입력 문서를 분류장치(150)로 전달하여 분류 처리된 결과 데이터가 결과 출력부(154)에서 출력되도록 처리할 수 있다. 결과 출력부(154)의 결과 데이터는 다시 서비스 제공 장치(200)로 전달될 수 있다.

한편, 학습부(120)는 분류장치(150)의 동작 및 입력부(110)로부터 입력된 학습 데이터에 기초한 학습 모델 생성 프로세스를 수행할 수 있다. 이와 같이 생성된 학습 모델 정보는 학습 데이터베이스(180)에 저장될 수 있다.

특히, 본 발명의 실시 예에 따른 분류장치(150)는 학습 모델 생성에 있어서, 문장 간 의미 관계 학습 모델이 생성되도록 처리함으로써, 문장의 의미 관계 분류를 가능하게 한다.

이를 위해, 분류장치(150)는 상기 학습 문서의 단어들을 벡터 공간상에 맵핑하는 단어 벡터 변환 처리를 수행하는 단어-벡터 변환부(151)와, 상기 단어 벡터를 이용하여, 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하는 문장-벡터 변환부(152)와, 상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하고, 상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성하며, 상기 생성된 분류기에 기초한 사용자 입력 문서의 의도 분류 처리를 수행하는 의미 관계 분류부(153)를 포함할 수 있다.

그리고, 결과 출력부(154)는 상기 분류 처리 결과를 출력하기 위한 하나 이상의 출력 모듈로 구성될 수 있다.

보다 구체적으로, 의미 관계 분류부(153)는, 상기 문장 벡터간 컨볼루션 뉴럴 네트워크(Convilutional Neural Network, CNN) 기반의 학습 처리를 수행하여 문장 벡터 학습 모델을 생성하고, 상기 문장 벡터 학습 모델에 대응한 문장 벡터간 트리플렛 로스(Triplet-loss) 함수를 처리하며, 상기 트리플렛 로스 함수 처리 결과에 따라, 상기 문장 벡터간 관계 정도에 기초한 문장 간 의미 관계 학습 모델을 생성한다.

여기서, 문장-벡터 변환부(152)는, 단어-벡터 변환부(151)에서 학습 문서의 단어들에 대응하는 단어 벡터 변환 값들이 산출되면, 상기 단어 벡터를 이용한 문장 벡터 변환 처리에 따라 상기 단어 벡터로 표현되는 문장 벡터들을 생성할 수 있다. 이와 같이 단어 벡터들로 표현된 문장 벡터들은 상기 컨볼루션 뉴럴 네트워크의 입력 데이터로서 사용될 수 있다.

여기서, 단어 인식 수용력 증대를 위하여, 학습 문서는 미리 결정된 정보 사이트, 예를 들어 위키피디아 사이트 등으로부터 수집된 문서로 사전 결정될 수 있다. 이러한 문서들로부터 다양한 어휘가 수용될 수 있으며, 다양한 어휘의 단어 벡터들로 표현된 문장들 간의 의미 관계 정보가 효과적으로 분류될 수 있다.

한편, 의미 관계 분류부(153)는 컨볼루션 뉴럴 네트워크의 필터 사이즈의 크기를 조절함에 따라, 문장 내에서 원하는 범위를 획득할 수 있고, 따라서 서로 다른 사이즈의 필터들을 이용해서 레이어를 적층함에 따라 문장 내에서도 여러 범위의 단어부터 구절, 문장까지 점진적인 문장 분류를 처리할 수 있다.

그리고, 의미 관계 분류부(153)는 트리플렛 로스(Triplet-loss) 함수 적용을 위해, 상기 컨볼루션 뉴럴 네트워크 학습에 따라 1차 분류된 분류 클래스에 따른 앵커(Anchor) 데이터에 기초하여, 문장 벡터들이 같은 클래스인 긍정(Positive) 데이터와, 다른 클래스인 부정(Negative) 데이터로 분류되도록 한다.

그리고, 의미 관계 분류부(153)는 앵커 데이터와 같은 클래스인 긍정 데이터들이 상기 앵커 데이터와의 유클리드 거리가 더 가까이 위치하도록 하고, 다른 클래스인 부정 데이터와의 거리는 더 멀리 위치하도록 조절함에 따라, 군집 데이터간 균형있는 분류 처리할 수 있다. 이와 같은 트리플렛 로스 함수는 데이터 군집간 분류를 용이하게 하는 손실함수일 수 있다.

이에 따라, 본 발명의 실시 예에 따른 의미 관계 분류부(153)는, 상기 문장 벡터들에 대응한 주제 분류에 따라, 각 분류 클래스별 앵커, 긍정 및 부정 데이터를 샘플링하고, 상기 각 샘플링 데이터간 유클리디안 거리 값이 일정 범위 이내가 될 때까지 샘플링 데이터간 손실(loss) 값을 가변할 수 있으며, 상기 손실 값 가변을 위하여, 상기 문장 벡터 학습 모델에 대응한 신경망 가중치 값을 조절을 처리할 수 있다.

그리고, 의미 관계 분류부(153)는 상기 샘플링 데이터간 유클리디안 거리 값이 일정 범위 이내인 경우, 현재 조절된 가중치 값에 따른 문장 벡터 학습 모델을 문장 간 의미 관계 학습 모델로 출력할 수 있다.

또한, 의미 관계 분류부(153)는 상기 문장 간 의미 관계 학습 모델을 이용한 문장 의도 분류기를 생성할 수 있으며, 상기 사용자 입력 문서가 사전 설정된 분류 기준에 포함되어 있는 경우, 상기 분류 기준에 대응하는 분류 처리를 수행하고, 상기 사용자 입력 문서가 사전 설정된 분류 기준에 포함되어 있지 않은 경우, 상기 문장 간 의미 관계 학습 모델을 이용한 문장 의도 분류기에 기초하여, 상기 사용자 입력 문서와 유사 의도를 갖는 유사 문장을 색인할 수 있다.

결과 출력부(154)는 상기 색인된 유사 문장에 대응하는 분류 정보를 출력할 수 있는 바, 분류 기준에 없는 문장이라 하더라도 유사 문장이 사용자에게 제공되도록 처리할 수 있다.

도 3은 본 발명의 실시 예에 따른 학습 장치의 동작 방법을 보다 구체적으로 설명하기 위한 흐름도이다.

도 3을 참조하면, 본 발명의 실시 예에 따른 학습 장치(100)는, 먼저 입력부(110)를 통해 학습 문서가 입력되면(S101), 학습 문서의 단어들에 대응하는 단어 벡터 변환 처리를 수행한다(S109).

그리고, 학습 장치(100)는, 학습 문서에서, 단어 벡터를 이용한 문장 벡터 변환을 처리한다(S111).

이후, 학습 장치(100)는, 문장 벡터 임베딩에 따른 문장 간 의미 관계 분류 학습 처리를 수행하고(S113), 의미 관계가 학습된 문장들을 이용한 분류기를 생성한다(S115).

이후, 학습 장치(100)는 분류기를 이용한 사용자 입력 문서의 의도 분류 처리를 수행한다(S117).

도 4는 본 발명의 실시 예에 따른 벡터 변환 처리를 설명하기 위한 도면이다.

도 4를 참조하면, 기존 분류기준 기반 챗봇에 사용되는 데이터가 학습 문서 데이터로 입력될 수 있으며, 학습 문서는 사용자가 입력할 수 있는 예상 시나리오에 맞게 작성된 문장 30건이 예시될 수 있다. 학습 문서는 도 4에 도시된 바와 같이, 레이블과 콘텐트로 구분 저장 되어, 학습부(120)의 의미 관계 분류부(153) 기반 단어 벡터화 프로세스의 입력 값으로 사용될 수 있다.

벡터화 프로세스에 따라, 단어-벡터 변환부(151)는, 각 문장의 단어들을 단어 벡터화 하여 벡터 공간상에 맵핑하게 되며, 문장-벡터 변환부(152)는 단어 벡터 데이터를 이용한 문장 벡터 데이터를 획득할 수 있다.

이후, 의미 관계 분류부(153)는 상기 단어 벡터로 표현된 문장 벡터를 샘플링 모듈의 입력 값으로 입력할 수 있으며, 샘플링된 벡터 데이터를 이용하여, 전술한 컨볼루션 뉴럴 네트워크 생성 및 트리플렛 로스 함수 적용을 통해 문장 간 의미 관계를 나타내도록 처리할 수 있다.

예를 들어, 도 4에 도시된 바와 같이, 샘플링에 의해 군집화된 임베딩 벡터 데이터가 생성될 수 있으며, 상기와 같이 군집화 된 벡터 공간상의 데이터는 의미 관계 분류부(153)의 함수 처리를 위한 임베딩 벡터 데이터 입력값으로 사용될 수 있고, 의미 관계 분류부(153)는 상기 군집화 된 문장들을 이용하여 각 문장들의 관계를 학습함으로써, 문장 간 의미 관계 학습 모델을 생성할 수 있다.

도 5 및 도 6은 본 발명의 실시 예에 따른 분류 프로세스 및 결과 예시도이다.

도 5에 도시된 바와 같이, 문장 간 의미 관계 학습 모델에 따른 분류기(153)가 생성되면, 분류장치(150)는 전술한 바와 같이, 단어-벡터 변환부(151)와, 문장-벡터 변환부(152)와, 분류기(153)에 기초한 대화 서비스를 제공할 수 있다.

특히, 본 발명의 실시 예에 따른 단어-벡터 변환부(151)와 문장-벡터 변환부(152) 및 분류기(153)는 각각 독립적으로 생성될 수 있는 바, 향후의 기술 발전 및 도메인 변경이 이루어지더라도 분류 모델을 변경하기 용이하게 구성될 수 있으며, 독립적으로 다른 프로세스와 연결될 수 있도록 처리할 수 있다. 따라서, 본 발명의 실시 예에 따른 분류 프로세스는 별도 서비스 프로세스들과도 용이하게 결합하여 구성될 수 있다.

입력 데이터로 사용되는 샘플 데이터는 사용자가 챗봇 상에서 입력하는 데이터일 수 있으며, 실제 학습 되지 않아 기존 분류에 정의되어 있지 않은 문장일 수 있다. 통상적으로 도 6 상단에 개시된 바와 같이 기존 분류 방식의 경우, 문장 의도가 파악되지 못할 수 있다.

이에 반해, 도 5를 참조하면, 학습 되지 않은 샘플 데이터가 입력되더라도, 분류장치(150)는 어떠한 문장과 의미 관계를 가지는지 확인할 수 있는 바, 각 단어 및 문장에 대응하는 분류 결과는, 예측 값이 가장 높은 10번 레이블을 가지고 있는 문장과 벡터 공간 상 가장 가까움을 나타낼 수 있다.

이에 따라, 분류장치(150)는 결과 출력부(154)를 통해, 예측 값이 가장 높은 10번 레이블을 가지고 있는 문장들을 출력하게 할 수 있는 바, 이는 도 6 하단에 도시된 바와 같이, 의미가 연관된 다양하고 풍부한 답변이 이루어질 수 있도록 한다.

도 7은 본 발명의 실시 예에 따른 서비스 제공 프로세스를 설명하기 위한 흐름도이다.

도 7을 참조하면, 본 발명의 실시 예에 따른 학습 장치(100)는 기존 룰(기존 규칙) 기반의 문장 학습 처리를 수행하되(S201), 입력부(110)를 통해 사용자 정의 문장이 입력되면(S203), 상기 룰 기반의 문장인지를 판단한다(S205).

먼저, 룰 기반의 문장인 경우 학습 장치(100)는 룰 기반 응답 내용을 출력하도록 서비스 제공 장치(200)로 응답할 수 있다(S207).

그러나, 룰 기반 문장이 아닌 경우, 학습 장치(100)는 분류장치(150)로 전달하여, 문장 의미 관계 추론을 통한 유사 문장이 추론되도록 처리할 수 있으며(S209), 추론된 유사 문장에 대응하는 응답 내용이 출력되도록 서비스 제공 장치(200)로 응답할 수 있다(S211).

이와 같이, 기존 룰 기반 챗봇 서비스는 작성된 시나리오에 따른 사용자 문의만 대응할 수 있도록 되어 있어, 저장 되지 않은 문장이 들어오는 경우 챗봇 서비스에서 알아 듣지 못하는 문제가 있으나,

본 발명의 실시 예에 따른 문장 의미 관계 분류가 가능한 학습 장치(100)를 이용하는 경우, 학습 또는 분류 저장 되지 않은 문장이 들어 오더라도 학습된 문장 의미 관계 분류기를 통해 어떠한 문장과 의미 관계가 유사한지 판단하여 해당 내용에 맞게 응답 할 수 있게 된다.

도 8 및 도 9는 본 발명의 실시 예에 따른 컨볼루션 뉴럴 네트워크 기반 샘플링 및 트리플렛 로스 함수 적용에 따른 결과 데이터를 도시한 도면이다.

먼저 도 8을 참조하면, 도 8은 컨볼루션 뉴럴 네트워크를 학습하기 위해 각 Anchor, Negative, Positive 데이터를 샘플링 하는 과정의 예시를 설명하기 위한 도면이다.

먼저, 하기 수학식 1을 참고하면, 트리플렛 로스 함수 적용을 위한 컨볼루션 뉴럴 네트워크 변수는 아래와 같이 설정될 수 있다.

여기서, Ｃ를 데이터에 존재하는 모든 클래스의 집합이라고 할 때, Positive 데이터 개수를 표현한Ｐ는 Ｃ에 포함된 임의의 클래스의 데이터 집합 사이즈를 나타낼 수 있다. 또한 Anchor 역시 Ｐ와 같은 클래스이므로 Ｐ와 같이 Ｃ가 가진 클래스 중 하나를 나타낼 수 있다. Negative 의 데이터 개수를 표현한 Ｎ은 Ｃ에 속한 클래스중 Ｐ와 다른 클래스이면서 Ｐ보다는 데이터 집합 수가 적은 클래스의 데이터 수를 나타낼 수 있다.

그리고, 본 발명의 실시 예에 따른 트리플렛 로스 함수는 Positive, Anchor 의 데이터 샘플의 수를 Ｎ만큼 즉, Negative 와 똑같이 맞춤으로써, 분류기를 구현하고자 하는 것이다.

예를 들어, 도 8을 참조하면, 도면에서 class 는 같은 주제를 가지고 있는 문장들의 분류를 나타ㅐㄹ 수 있다. 각 Ｓ는 워드 임베딩의 벡터로 문장을 표현한 것이고 번호는 문장의 식별번호를 나타낸다. 도 8에 도시된 바와 같이 데이터에 총 3개의 클래스가 존재하고 class A 는 문장이 총 100개, class B 는 문장이 총 120개, class C 는 문장이 총 30개 있을 수 있다.

여기서 특정 문장 분류에 대응하는 Positive 문장 집합이 class A 에 포함된 문장인 경우, Negative 문장 집합은 class A 가 아닌 나머지 클래스인 class B 또는 class C 중에 Class A 가 가진 데이터 수보다 더 적은 데이터를 가지고 있는 클래스인 Class C 의 문장을 포함할 수 있다.

이에 따라, Negative, Positive 집합의 데이터 수에 차이가 존재하게 되며, Anchor 와의 거리가 계산될 수 있고, 정확한 분류를 위해, 거리에 따른 균형이 맞춰질 수 있다. 거리 계산을 위한 샘플 데이터의 수를 정하는 기준은 클래스 중 문장의 수가 가장 적은 클래스를 기준으로 할 수 있으며, 따라서 class C 의 데이터 개수인 30 이 샘플 데이터 수의 기준이 될 수 있다.

이에 따라, 의미 관계 분류부(153)는 상기 문장들의 관계를 학습하는 문장 임베딩을 위해, 상기 트리플렛 로스 함수를 샘플 데이터에 적용할 수 있으며 거리 계산 및 조절에 따라, 각 문장들의 의미 관계를 학습하여 추론하는 학습 모델이 생성되도록 처리 할 수 있다. 아래 수학식 2는 트리플렛 로스 함수 적용식을 나타낸다.

상기 수학식 2에서, f 는 임베딩 함수, a 는 achor, p 는 positive, n 은 negative 이다. 따라서

는 anchor 의 임베딩 값,

는 positive 의 임베딩 값,

는 negative 의 임베딩 값이라고 할 수 있다.

그리고, 의미 관계 분류부(153)는, 유클리디안 거리를 이용해서 anchor 와 positive 의 거리, anchor 와 negative 거리의 차가

이 만족하도록 anchor 와 positive 사이의 거리는 작아지게 하고 negative 사이의 거리는 커지게 조절할 수 있다.

는

와

가 0 이 되지 않게 하기 위한 즉 두 개의 값이 너무 가깝지 않게 하는 margin 을 조절하는 하이퍼파라미터이다.

도 9는 트리플렛 로스 함수 적용을 위한 샘플링 과정 이후, CNN(Convolutional Neural Network) 및 트리플렛 로스 함수에 따라 일정 범위 내의 loss 를 조절하는 과정까지의 입력 데이터 및 결과 데이터의 사이즈 변화를 나타낸 것이다.

이와 같이, 의미 관계 분류부(153)는 트리플렛 로스를 이용한 손실 함수를 이용하여 같은 클래스인 Anchor, Positive 의 데이터의 loss 는 작게 만들어서 거리를 더 가깝게 하고, 다른 클래스인 Anchor 와 Negative 사이의 loss 를 크게 만들도록 컨볼루션 신경망의 weight 를 조정할 수 있다. 이에 따라, 의미 관계 분류부(153)는 여러 클래스에 대한 문장 의미 관계가 학습된 벡터 모델 분류기를 생성할 수 있게 된다.

한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법은 프로그램으로 구현되어 다양한 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장된 상태로 각 서버 또는 기기들에 제공될 수 있다. 이에 따라, 사용자 단말(100)은 서버 또는 기기에 접속하여, 상기 프로그램을 다운로드할 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (7)

1. 사용자 음성을 입력부를 통해서 사용자 입력문서로 입력받아, 문장 간 의미 관계 모델을 이용한 데이터 처리기반으로 사용자 대화 서비스를 제공하기 위한 문장 의미 관계 분류 프로그램으로서,
   학습 대상인 학습 문서 데이터를 입력받는 단계와;
   상기 학습 문서의 단어들을 벡터 공간상에 맵핑하는 단어 벡터 변환 처리를 수행하는 단계와;
   상기 단어 벡터를 이용하여, 상기 학습 문서의 문장들에 대응하는 문장 벡터 변환 처리를 수행하는 단계와;
   상기 문장 벡터간 관계 정도에 따라, 문장 간 의미 관계 분류 학습을 수행하는 단계와;
   상기 의미 관계 분류 학습에 따라 의미 관계가 학습된 문장 기반의 분류기를 생성하는 단계; 및
   상기 생성된 분류기에 기초한 사용자 입력 문서의 의도 분류 처리를 수행하는 단계;를 포함하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.
2. 제1항에 있어서,
   상기 사용자 입력문서를 기존 룰 기반 문장 학습 방법에 따른 룰 기반 문장인지를 판단하여 룰 기반 문장인 경우에 룰기반 응답 내용을 출력하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.
3. 제2항에 있어서,
   상기 사용자 입력문서가 룰 기반 문장이 아닌 경우, 상기 분류 처리 정보에 기초하여 유사 문장을 추론하고, 추론된 유사문장에 대한 응답 내용을 출력하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.
4. 제1항에 있어서,
   상기 문장 간 의미 관계 분류 학습을 수행하는 단계는,
   상기 문장 벡터간 컨볼루션 뉴럴 네트워크(Convilutional Neural Network) 기반의 학습 처리를 수행하여 문장 벡터 학습 모델을 생성하는 단계; 및
   상기 문장 벡터 학습 모델에 대응한 문장 벡터간 트리플렛 로스(Triplet-loss) 함수를 처리하는 단계; 및
   상기 트리플렛 로스 함수 처리 결과에 따라, 상기 문장 벡터간 관계 정도에 기초한 문장 간 의미 관계 학습 모델을 출력하는 단계;를 포함하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.
5. 제4항에 있어서,
   상기 트리플렛 로스 함수를 처리하는 단계는,
   상기 문장 벡터들에 대응한 주제 분류에 따라, 각 분류 클래스별 앵커, 긍정 및 부정 데이터를 샘플링하는 단계; 및
   상기 각 샘플링 데이터간 유클리디안 거리 값이 일정 범위 이내가 될 때까지 샘플링 데이터간 손실(loss) 값을 가변하는 단계;를 포함하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.
6. 제5항에 있어서,
   상기 손실 값 가변을 위하여, 상기 문장 벡터 학습 모델에 대응한 신경망 가중치 값을 조절을 처리하는 단계;
   상기 샘플링 데이터간 유클리디안 거리 값이 일정 범위 이내인 경우, 현재 조절된 가중치 값에 따른 문장 벡터 학습 모델을 문장 간 의미 관계 학습 모델로 출력하는 단계;를 더 포함하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.
7. 제6항에 있어서,
   상기 사용자 입력 문서의 의도 분류 처리를 수행하는 단계는,
   상기 사용자 입력 문서가 사전 설정된 분류 기준에 포함되어 있는 경우, 상기 분류 기준에 대응하는 분류 처리를 수행하는 단계; 및
   상기 사용자 입력 문서가 사전 설정된 분류 기준에 포함되어 있지 않은 경우, 상기 문장 간 의미 관계 학습 모델을 이용한 문장 의도 분류기에 기초하여, 상기 사용자 입력 문서와 유사 의도를 갖는 유사 문장을 색인하는 단계; 및
   상기 색인된 유사 문장에 대응하는 분류 정보를 출력하는 단계;를 포함하는 대화 서비스 제공을 위해 컴퓨터에서 실행시키기 위한
   문장 의미 관계 분류 프로그램.

Images