KR20190060995A - 논팩토이드형 질의응답 시스템 및 방법 그리고 그것을 위한 컴퓨터 프로그램 - Google Patents

Abstract

(과제) 단서어를 명시적으로 포함하지 않는 표현을 포함하는 응답의 패턴을 이용하여, 논팩토이드형 질문에 적확한 응답을 줄 수 있는 질의응답 시스템을 제공한다.
(해결수단) 질의응답 시스템(30)은, 인과관계를 나타내는 표현을 기억하는 기억부(60), 질문과 그 질문에 대한 응답후보를 포함하는 응답 패시지를 수신하는 응답 수신부(52), 응답 패시지의 각각으로부터 인과관계 표현을 추출하는 인과관계 표현 추출부(82), 질문과 응답 패시지의 조합에 대하여 기억부(60) 내로부터 그 조합에 가장 관련되는 관련 표현을 선택하는 관련 인과관계 표현 추출부(86), 질문과, 응답 패시지와, 응답 패시지에 대한 의미적 관계 표현과, 상기 질문 및 응답 패시지의 조합에 대한 관련 표현의 1개로 이루어지는 조합을 받고, 질문에 대한 응답을 응답 패시지 중에서 선택하는 뉴럴 네트워크(92)를 포함한다.

Description

논팩토이드형 질의응답 시스템 및 방법 그리고 그것을 위한 컴퓨터 프로그램

본 발명은 질의응답 시스템에 관한 것으로서, 특히 간단한 단어로 대답할 수 있는 사실에 관한 질문이 아니라, 이유, 방법, 정의 등의 논팩토이드형 질문에 대한 질의응답 시스템의 개량에 관한 것이다.

인과관계는 Why형 질의응답 태스크에 있어서의 가장 중요한 의미적 지식이다. Why형 질의응답 태스크란, 「왜 쓰나미가 발생하는 것인가?」와 같은 Why형 질문에 대한 응답을 대량의 텍스트로 이루어지는 텍스트 아카이브를 검색해서 인출하는 태스크이다. 이것을 위한 선행기술로서, 비특허문헌 1에 개시된 것이 있다. 이 비특허문헌 1은, 「왜냐하면」과 같은 단서어 또는 「A가 원인으로 B가 일어난다」와 같은 특정의 인과관계 패턴을 이용하여 응답 패시지 중의 인과관계를 인식하고, 인식한 인과관계를 응답 선택 또는 응답 랭킹의 단서로서 사용하고 있었다. 이러한 처리를 행하는 예로서는, 응답 패시지의 정오 분류, 옳음의 정도에 따른 응답 패시지의 랭킹 등이 있다.

J.-H.　Oh,　K.　Torisawa,　C.　Hashimoto,　M.　Sano,　S. De　Saeger,　and　K.　Ohtake.　Why-question　answering　using　intra-　and inter-sentential　causal　relations.　In　Proceedings　of　the　51st　Annual Meeting　of　the　Association　for　Computational　Linguistics(ACL　2013), pp.　1733-1743,　Sofia,　Bulgaria,　August,　2013.

그러나, 명시적인 단서어 또는 패턴에 의존하는 선행기술에는, 응답 패시지 내의 인과관계가 명시적인 형태가 아니라(단서어 없이) 암묵적으로 표현되어 있을 경우에, 인과관계를 적확하게 인식할 수 없다고 하는 문제가 있다. 예를 들면, 이하와 같은 질문과 응답을 사용할 경우가 상정된다.

여기에서, 밑줄을 친 부분(CE1)은 인과관계를 나타내고 있지만, 단서어는 사용되어 있지 않다. CE1과 같은 표현에는 단서어가 없기 때문에, 종래의 기술로는 이 인과관계를 인식할 수 없고, 따라서 위와 같은 질문에 응답 1과 같은 응답을 찾을 수는 없는 것으로 추정된다.

또한, Why형 질의응답 태스크에 있어서 인과관계가 가장 중요한 의미적 지식인 것은 상술한 바와 같지만, 인과관계에 관한 의미적 지식만으로 응답을 추정할 수 있는 질문 뿐만 아니라, 그 이외의 의미적 관계에 대한 질문도 있다. 따라서, 일반적인 논팩토이드형 질문에 대해서도 높은 정확도로 응답을 찾을 수 있는 질의응답 시스템이 바람직하다.

그러므로 본 발명의 목적은, 단서어를 명시적으로 포함하지 않는 인과관계 등의 의미적 관계의 표현을 포함하는 응답의 패턴을 이용함으로써 논팩토이드형 질문에 적확한 응답을 줄 수 있는 논팩토이드형 질의응답 시스템 및 그것을 위한 컴퓨터 프로그램을 제공하는 것이다.

본 발명의 제 1 국면에 따른 논팩토이드형 질의응답 시스템은, 문장 내에 출현하는 제 1 의미적 관계를 나타내는 표현에 착안하여 논팩토이드형의 질문에 대한 응답을 생성한다. 이 논팩토이드형 질의응답 시스템은, 제 1 의미적 관계를 나타내는 복수개의 표현을 기억하는 제 1 표현 기억수단과, 질문과 상기 질문에 대한 응답후보를 포함하는 복수개의 응답 패시지를 수신하는 질문·응답 수신수단과, 복수개의 응답 패시지의 각각으로부터 제 1 의미적 관계를 나타내는 의미적 관계 표현을 추출하는 제 1 표현 추출수단과, 질문과 복수개의 응답 패시지의 조합 각각에 대하여, 제 1 표현 기억수단이 기억하고 있는 복수개의 표현으로부터 상기 조합에 가장 관련되는 표현인 관련 표현을 선택하는 관련 표현 선택수단과, 질문, 복수개의 응답 패시지, 상기 응답 패시지에 대한 의미적 관계 표현, 및 상기 질문과 상기 응답 패시지의 조합에 대한 관련 표현 중 하나로 이루어지는 조합의 각각을 입력으로서 받고, 질문에 대한 응답을 복수개의 응답 패시지 중에서 선택하도록 미리 기계학습에 의해 학습한 응답 선택수단을 포함한다.

바람직하게는, 논팩토이드형 질의응답 시스템은, 질문과 복수개의 응답 패시지의 조합 각각에 대하여, 제 1 표현 기억수단이 기억한 복수개의 표현 내에 있어서의 질문에 출현하는 각 단어와 상기 응답 패시지에 출현하는 각 단어의 제 1 의미적 상관관계량을 산출하는 제 1 의미적 상관관계량 산출수단을 더 포함한다. 응답 선택수단은, 질문, 복수개의 응답 패시지, 상기 응답 패시지에 대한 의미적 관계 표현, 및 질문과 상기 응답 패시지의 조합에 대한 관련 표현의 조합을 입력으로서 받고, 입력 중의 각 단어에 대한 가중치로서 제 1 의미적 상관관계량을 이용하여 상기 응답 패시지가 질문에 대한 응답인 척도를 나타내는 평가값을 산출해 출력하도록 미리 기계학습에 의해 학습한 평가수단과, 복수개의 응답 패시지의 각각에 대하여 평가수단이 출력하는 평가값을 이용하여 복수개의 응답 패시지 중 어느하나를 질문에 대한 응답으로서 선택하는 선택수단을 포함한다.

보다 바람직하게는, 논팩토이드형 질의응답 시스템은 문서 아카이브로부터 제 1 의미적 관계를 나타내는 표현을 추출해서 제 1 표현 기억수단에 격납하는 제 1 의미적 관계 표현 추출수단을 더 포함한다.

더 바람직하게는, 제 1 의미적 상관관계량 산출수단은, 제 1 표현 기억수단이 기억한 제 1 의미적 관계를 나타내는 복수개의 표현에 포함되는 단어쌍의 제 1 의미적 상관관계량을, 각 단어쌍에 대하여 산출해 기억하는 제 1 의미적 상관관계량 기억수단과, 질문과 복수개의 응답 패시지의 조합 각각에 대해서, 상기 질문 내의 단어와 상기 응답 패시지 내의 1개의 단어의 쌍마다 제 1 의미적 상관관계량을 제 1 의미적 상관관계량 기억수단으로부터 판독하고, 한쪽의 축에 질문 내의 단어가 배열되고, 다른쪽의 축에 상기 응답 패시지 내의 단어가 배열된 매트릭스로서, 한쪽의 축과 다른쪽의 축이 교차하는 위치의 셀에 상기 위치에 대응하는 단어끼리의 제 1 의미적 상관관계량이 각각 배치된 제 1 매트릭스를 생성하는 제 1 매트릭스 생성수단과, 제 1 매트릭스의 한쪽의 축에 배치된 각 단어에 대하여 다른쪽의 축 방향으로 배치된 제 1 의미적 상관관계량의 최대값을 기억하는 제 1 단어-문장 매트릭스, 및 제 1 매트릭스의 다른쪽의 축에 배치된 각 단어에 대하여 한쪽의 축 방향으로 배치된 제 1 의미적 상관관계량의 최대값을 기억하는 제 2 단어-문장 매트릭스로 이루어지는 2개의 제 2 매트릭스를 생성하는 제 2 매트릭스 생성수단을 포함한다. 논팩토이드형 질의응답 시스템은, 응답 선택수단에 주어지는 질문 내에 출현하는 단어의 각각에 대하여는 제 1 단어-문장 매트릭스의 제 1 의미적 상관관계량을, 응답 패시지 내에 출현하는 단어의 각각에 대하여는 제 2 단어-문장 매트릭스의 제 1 의미적 상관관계량을 각각 사용해서 가중치 부여를 하기 위한 수단을 더 포함한다.

바람직하게는, 2개의 제 2 매트릭스에 기억되는 제 1 의미적 상관관계량의 각각은 소정의 구간에서 정규화되어 있다.

보다 바람직하게는, 제 1 의미적 관계는 인과관계이다.

더 바람직하게는, 인과관계를 나타내는 표현의 각각은 원인부와 결과부를 포함한다. 관련 표현 선택수단은, 질문으로부터 명사, 동사 및 형용사를 추출하는 제 1 단어 추출수단과, 제 1 표현 기억수단이 기억하고 있는 표현으로부터 제 1 단어 추출수단이 추출한 명사를 결과부에 모두 포함하는 것을 소정 개수만큼 선택하는 제 1 표현 선택수단과, 제 1 표현 기억수단이 기억하고 있는 표현으로부터 제 1 단어 추출수단이 추출한 명사를 모두 포함하고, 또한, 제 1 단어 추출수단이 추출한 동사 또는 형용사를 적어도 1개만 결과부에 포함하는 것을 소정 개수만큼 선택하는 제 2 표현 선택수단과, 복수개의 응답 패시지의 각각에 대해서 제 1 표현 선택수단 및 제 2 표현 선택수단이 선택한 표현 중에서, 상기 응답 패시지와 공통되는 단어를 결과부에 가지고, 또한 상기 공통되는 단어에 대한 가중치 부여에 의해 산출되는 스코어에 의해 상기 응답 패시지와 가장 관련이 높다고 판정되는 것을 선택하는 관련 인과관계 표현 선택수단을 포함한다.

바람직하게는, 논팩토이드형 질의응답 시스템은 문장 내에 출현하는 제 1 의미적 관계를 나타내는 표현과 제 2 의미적 관계를 나타내는 표현에 착안함으로써 논팩토이드형의 질문에 대한 응답을 생성한다. 이 논팩토이드형 질의응답 시스템은, 제 2 의미적 관계를 나타내는 복수개의 표현을 기억하는 제 2 표현 기억수단과, 질문과 복수개의 응답 패시지의 각각의 조합에 대하여 제 2 표현 기억수단이 기억한 복수개의 표현 내에 있어서의 질문에 출현하는 각 단어와 상기 응답 패시지에 출현하는 각 단어의 상관관계를 나타내는 제 2 의미적 상관관계량을 산출하는 제 2 의미적 상관관계량 산출수단을 더 포함한다. 평가수단은, 질문, 복수개의 응답 패시지, 상기 응답 패시지에 대한 제 1 표현 추출수단이 추출한 의미관계 표현, 및 질문과 상기 응답 패시지에 대한 관련 표현의 조합을 입력으로서 받고, 입력 중의 각 단어에 대한 가중치로서 제 1 의미적 상관관계량과 제 2 의미적 상관관계량을 사용함으로써 평가값을 출력하도록 미리 기계학습에 의해 학습한 뉴럴 네트워크를 포함한다.

보다 바람직하게는, 제 2 의미적 관계는 특정의 의미적 관계에 한정되지 않는 통상의 의미적 관계이며, 제 2 표현 기억수단은 무작위로 수집된 표현을 기억한다.

본 발명의 제 2 국면에 따른 컴퓨터 프로그램은, 컴퓨터를 상기한 어느 하나의 장치의 각 수단으로서 기능시킨다.

본 발명의 제 3 국면에 따른 논팩토이드형 질문에 대한 응답 방법은, 문장 내에 출현하는 소정의 제 1 의미적 관계를 나타내는 표현에 착안함으로써 논팩토이드형의 질문에 대한 응답을 생성하는, 컴퓨터에 의해 실현되는 방법이다. 이 방법은, 컴퓨터가 제 1 의미적 관계를 나타내는 복수개의 표현을 기억한 제 1 기억장치와 통신 가능하게 접속하는 스텝과, 컴퓨터가 질문과 상기 질문에 대한 응답후보를 포함하는 복수개의 응답 패시지를 입력장치를 통해서 수신하는 스텝과, 컴퓨터가 복수개의 응답 패시지의 각각으로부터 제 1 의미적 관계를 나타내는 표현을 추출하는 스텝과, 컴퓨터가 질문과 복수개의 응답 패시지의 조합 각각에 대하여 제 1 표현 기억수단이 기억한 복수개의 표현으로부터 상기 조합에 가장 관련되는 표현을 선택하는 스텝과, 컴퓨터가 질문, 복수개의 응답 패시지, 추출하는 스텝에 있어서 추출된 복수개의 표현, 및 선택하는 스텝에 있어서 선택된 표현 중 하나로 이루어지는 조합의 각각을, 질문에 대한 응답을 복수개의 응답 패시지 중에서 선택하도록 미리 기계학습에 의해 학습한 응답 선택수단에 입력해서 그 출력을 얻음으로써 질문에 대한 응답을 생성하는 스텝을 포함한다.

바람직하게는, 이 방법은, 컴퓨터가 질문과 복수개의 응답 패시지의 조합 각각에 대하여 제 1 표현 기억수단이 기억한 복수개의 표현 내에 있어서의 질문에 출현하는 각 단어와 상기 응답 패시지에 출현하는 각 단어의 상관관계를 나타내는 제 1 의미적 상관관계량을 산출하는 스텝을 더 포함한다. 선택하는 스텝은, 컴퓨터가 질문, 복수개의 응답 패시지, 상기 응답 패시지로부터 추출하는 스텝에 있어서 추출된 표현, 및 질문과 상기 응답 패시지에 대하여 선택 스텝에 있어서 선택된 표현의 조합 각각을, 상기 응답 패시지가 질문에 대한 응답인 척도를 나타내는 평가값을 산출해 출력하도록 미리 기계학습에 의해 학습한 평가수단에 입력으로서 주는 스텝을 포함한다. 평가수단은, 평가값의 산출에 있어서 입력 중의 각 단어에 대한 가중치로서 제 1 의미적 상관관계량을 사용하고, 방법은 또한, 컴퓨터가 복수개의 응답 패시지의 각각에 대하여 평가수단이 출력하는 평가값을 이용하여 복수개의 응답 패시지 중 어느 하나를 질문에 대한 응답으로서 선택하는 스텝을 포함한다.

본 발명의 제 4 국면에 따른 논팩토이드 질의응답 시스템은, 질문문과 상기 질문문에 대한 복수개의 응답 패시지를 받는 질문·응답 수신수단과, 복수개의 응답 패시지로부터 복수개의 응답 내 인과관계 표현을 추출하는 인과관계 표현 추출수단과, 대량의 문서로 이루어지는 문서 아카이브로부터 추출된 복수개의 아카이브 인과관계 표현을 기억한 아카이브 인과관계 표현 기억수단을 포함한다. 응답 내 인과관계 표현 및 아카이브 인과관계 표현의 각각은 원인부와 결과부를 포함한다. 논팩토이드형 질의응답 시스템은, 아카이브 인과관계 표현 기억수단에 기억되어 있는 복수개의 아카이브 인과관계 표현에 대해서 응답 패시지의 각각과의 관련도의 크기에 의거하여 랭킹하고, 질문과 응답 패시지의 조합 각각에 대해서 랭크의 상위의 아카이브 인과관계 표현을 선택하기 위한 랭킹수단과, 질문, 복수개의 응답 패시지, 복수개의 응답 내 인과관계 표현, 및 랭킹수단에 의해 선택된 아카이브 인과관계 표현을 입력으로서 받고, 질문에 대한 응답으로서 복수개의 응답 패시지 중 어느 하나를 선택하도록 미리 기계학습에 의해 학습한 분류수단을 더 포함한다.

바람직하게는, 논팩토이드형 질의응답 시스템은, 각 응답 패시지에 사용되어 있는 각 단어쌍의 상관관계를 나타내는 척도인 상관관계량을 기억하는 상관관계량 기억수단과, 질문과 응답 패시지의 각각의 조합 각각에 대해서 질문으로부터 추출된 단어와 응답 패시지로부터 추출된 단어의 조합 각각에 대하여 상관관계량을 상관관계량 기억수단으로부터 판독하고, 분류수단에 주어지는 질문과 응답 패시지의 각 단어에 대하여 상관관계량에 따른 가중치를 부여하기 위한 가중치 부여수단을 더 포함한다.

보다 바람직하게는, 가중치 부여수단은, 질문과 응답 패시지의 각각의 조합 각각에 대해서, 질문으로부터 추출된 단어와 응답 패시지로부터 추출된 단어의 조의 각각에 대하여 상관관계량을 상관관계량 기억수단으로부터 판독하고, 한쪽의 축이 질문으로부터 추출된 단어의 배열, 다른족의 축이 응답 패시지로부터 추출된 단어의 배열, 한쪽의 축과 다른쪽의 축이 교차하는 위치에 각 축의 상기 위치에 대응하는 단어끼리의 상관관계량이 각각 배치된 단어-단어 상관관계량 매트릭스로 이루어지는 제 1 매트릭스를 생성하는 제 1 매트릭스 생성수단과, 상관관계량 매트릭스의 한쪽의 축에 배치된 각 단어에 대하여 다른쪽의 축 방향으로 배치된 상관관계량의 최대값을 기억하는 제 1 단어-문장 매트릭스, 및 상관관계량 매트릭스의 다른쪽의 축에 배치된 각 단어에 대하여 한쪽의 축 방향으로 배치된 상관관계량의 최대값을 기억하는 제 2 단어-문장 매트릭스로 이루어지는 2개의 제 2 매트릭스를 생성하는 제 2 매트릭스 생성수단과, 분류수단에 주어지는, 질문을 나타내는 단어 벡터의 각각에 대하여는 제 1 매트릭스 및 제 1 단어-문장 매트릭스를 사용하고, 응답 패시지를 나타내는 단어 벡터의 각각에 대하여는 제 1 매트릭스 및 상기 제 2 단어-문장 매트릭스를 사용하여, 각각 인과관계 어텐션에 의한 가중치 부여를 하기 위한 수단을 포함한다.

더 바람직하게는, 제 1 매트릭스, 및 2개의 제 2 매트릭스에 기억되는 상관관계량은 0부터 1의 사이에서 정규화되어 있다.

랭킹 수단은, 질문으로부터 명사, 동사 및 형용사를 추출하는 제 1 단어 추출수단과, 아카이브 인과관계 표현으로부터 제 1 단어 추출수단에 의해 추출된 명사를 모두 포함하는 것을 소정 개수만큼 선택하는 제 1 아카이브 인과관계 표현 선택수단과, 아카이브 인과관계 표현으로부터 제 1 단어 추출수단에 의해 추출된 명사를 모두 포함하고, 또한, 제 1 단어 추출수단에 의해 추출된 동사 또는 형용사를 적어도 1개 포함하는 것을 소정 개수만큼 선택하는 제 2 아카이브 인과관계 표현 선택수단과, 응답 패시지의 각각에 대해서 제 1 및 제 2 아카이브 인과관계 선택수단에 의해 선택된 아카이브 인과관계 표현 중에서, 상기 응답 패시지와 공통되는 단어를 결과부에 가지고, 또한 상기 공통되는 단어에 대한 가중치 부여에 의해 산출되는 스코어에 의해 상기 응답 패시지와 가장 관련이 높다고 판정되는 것을 선택하는 관련 인과관계 표현 선택수단을 포함해도 좋다.

도 1은 본 발명의 제 1 실시형태에 따른 논팩토이드형 질의응답 시스템의 개략 구성을 나타내는 블럭도이다.
도 2는 도 1에 나타내는 질문관련 아카이브 인과관계 표현 선택부의 개략 구성을 나타내는 블럭도이다.
도 3은 단어간의 상호정보량 매트릭스의 구성을 나타내는 개략도이다.
도 4는 본 발명의 제 1 실시형태에서 사용되는, 멀티컬럼의 컨볼루션 뉴럴 네트워크의 개략 구성을 나타내는 도면이다.
도 5는 컨볼루션 뉴럴 네트워크 내의 구성을 설명하기 위한 모식도이다.
도 6은 본 발명의 제 1 실시형태에 따른 논팩토이드형 질의응답 시스템의 학습 과정을 설명하기 위한 모식도이다.
도 7은 본 발명의 제 1 실시형태에 따른 논팩토이드형 질의응답 시스템을 컴퓨터에 의해 실현하기 위한 프로그램의 제어 구조를 나타내는 플로우차트이다.
도 8은 본 발명의 제 1 실시형태에 따른 논팩토이드형 질의응답 시스템에 의한 실험 결과를 표형식으로 나타내는 도면이다.
도 9는 본 발명의 제 1 실시형태에 따른 논팩토이드형 질의응답 시스템의 성능을 종래 기술과 비교한 그래프이다.
도 10은 본 발명의 제 1 실시형태에 따른 논팩토이드형 질의응답 시스템을 실현하는 컴퓨터 시스템의 외관을 나타내는 도면이다.
도 11은 도 10에 외관을 나타내는 컴퓨터 시스템의 하드웨어 구성을 나타내는 블럭도이다.
도 12는 본 발명의 제 2 실시형태에 따른 논팩토이드형 질의응답 시스템의 개략 구성을 나타내는 블럭도이다.
도 13은 도 12에 나타내는 유사도 어텐션 매트릭스 생성부의 개략 구성을 나타내는 블럭도이다.
도 14는 도 12에 나타내는 컨볼루션 뉴럴 네트워크 내의 개략 구성을 나타내기 위한 모식도이다.
도 15는 제 2 실시형태에 따른 논팩토이드형 질의응답 시스템을 컴퓨터에 의해 실현하기 위한 프로그램의 제어 구조를 나타내는 플로우차트이다.
도 16은 제 2 실시형태에 따른 논팩토이드형 질의응답 시스템에 의한 응답의 정확도를 종래의 방법 및 제 1 실시형태의 정확도와 합쳐서 표형식으로 나타내는 도면이다.

이하의 설명 및 도면에서는, 동일한 부품에는 동일한 참조번호를 붙이고 있다. 따라서, 그것들에 대한 상세한 설명은 반복하지 않는다. 또, 이하의 실시형태에서는, 제 1 의미적 관계 표현으로서 인과관계를 예로 하지만, 본 발명은 그러한 실시형태에는 한정되지 않는다. 후술하는 바와 같이, 재료관계(예: <A로 B를 생산한다>, (옥수수, 바이오 연료) 등), 필요관계(예: <A는 B에 필수적이다>, (일광, 광합성) 등), 사용관계(예: <A를 B에 사용한다>, (iPS 세포, 재생 의료) 등) 및 예방관계(예: <A로 B를 막는다>, (백신, 인플루엔자) 등) 또는 이것들의 임의의 조합을 사용할 수 있다.

[기본적인 사고방식]

상기한 CE1과 같은 인과관계 표현은, 단서어를 이용하여 「지진에 의해 해저가 상하하고, 그 주변의 해수도 상하로 움직이기 때문에, 쓰나미가 발생한다.」(CE2)와 같이 바꿔 말해서 표현할 수 있다(「때문에」가 단서어). 이러한 문장은 2011년의 동일본 대지진과 관계가 없는 문맥에서도 생길 수 있는 것과, 이 표현만으로는 상기한 질문에 대한 대답으로서는 불충분한 것에 주의가 필요하다. 그러나, 이러한 인과관계 표현을 명시적인 단서어 등을 이용하여 자동적으로 인식할 수 있고, 어떠한 수단에 의해 이러한 명시적인 단서어 등이 없는 인과관계 표현을 보완할 수 있으면, Why형 질의응답 태스크의 응답의 정확도를 높일 수 있다.

이하의 실시형태에서는, 입력된 질문과 응답 패시지의 쌍방에 관련된 인과관계 표현을, 명시적인 단서어 등을 포함하는 대량의 텍스트 아카이브로부터 선택한다. 응답 패시지란, 질문에 대한 응답일 가능성을 갖는다고 해서 기존의 문서로부터 추출된 문서의 단편을 말한다. 선택된 인과관계 표현을, 질문과 응답 패시지와 함께 컨볼루션 뉴럴 네트워크에 주고, 질문에 대한 응답으로서 옳은 확률을 나타내는 스코어를 각 응답 패시지에 부여하고, 질문에 대한 응답으로서 가장 옳다고 생각되는 응답을 선택한다. 이하의 설명에서는, 텍스트 아카이브로부터 추출한 인과관계 표현을 아카이브 인과관계 표현이라고 부르고, 응답 패시지로부터 추출한 인과관계 표현을 응답 내 인과관계 표현이라고 부른다. 이하의 실시형태에서는, 질문과 응답 패시지의 쌍방에 깊게 관련되는 아카이브 인과관계 표현을 추출해서 사용하지만, 이것들의 인과관계 표현을 관련 인과관계 표현이라고 부른다.

이하의 실시형태에서는 또한, 아카이브 인과관계 표현을 이용하여 암묵적인 인과관계 표현을 보완한다고 하는 사고방식을 채용하고 있다. 예를 들면 위에 예시한 응답 패시지와, 명시적인 단서어 등을 포함하는 인과관계 표현 CE2는, 공통되는 단어(바다와 물)를 가지는 것에 주목하고, 그러한 공통의 단어는 가령 암묵적인 인과관계 표현을 특정할 수 없는 경우에도 충분한 응답을 발견하기 위한 단서로서 사용할 수 있을 것으로 생각했다. 즉, 아카이브 인과관계 표현과 응답 패시지 사이에서 공통되는 단어에 충분하게 주의하면, 응답 패시지 내의 암묵적인 인과관계 표현을 인식할 수 없을 때라도, 그 바꿔 말하기로서 명시적인 단서어를 포함하는 아카이브 인과관계 표현을 추정할 수 있고, 그 결과, 질문에 대한 정확도를 높일 수 있다고 생각된다. 본 명세서에서는 이러한 사고방식을 인과관계 어텐션(Causality-Attention: 이하 「CA」)이라고 부른다.

즉, 바다, 및 물,과 같은 공통의 단어는 질문과 그 응답 사이의 인과관계에 직접적이든 간접적이든 관계되어 있다고 상정한다. 본 명세서에서는, 그러한 공통의 단어를 CA 단어(Causality-Attention words)라고 부르고, 아카이브 인과관계 표현으로부터 그러한 단어를 추출한다. 이하의 실시형태에서는, 분류기는 주어진 질문에 대한 원인 또는 이유를 찾을 때에 그러한 CA 단어에 착안해서 응답의 선택을 행한다. 이러한 기능을 실현하기 위해서, 이하의 실시형태에서는 후술하는 바와 같이 복수의 컨볼루션 뉴럴 네트워크로 이루어지는 멀티컬럼 뉴럴 네트워크(Multi Column Neural Network:MCNN)를 분류기로서 사용한다. CA 단어에 착안한다고 하는 의미에서, 이 MCNN을 CA-MCNN이라고 부른다.

[제 1 실시형태]

〔구성〕

<논팩토이드형 질의응답 시스템(30)>

도 1을 참조하여, 본원의 일실시형태에 따른 논팩토이드형 질의응답 시스템(30)은, 질문(32)을 받는 질문 접수부(50)와, 질문 접수부(50)가 접수한 질문을 기존의 질의응답 시스템(34)에 줌으로써 질의응답 시스템(34)으로부터 어떠한 형태로 질문(32)에 대한 응답 패시지를 소정 개수만 수신하는 응답 수신부(52)와, 대량의 문서로 이루어지는 웹 아카이브를 기억한 웹 아카이브 기억부(56)와, 웹 아카이브 기억부(56)에 기억된 웹 아카이브, 질문 접수부(50)가 접수한 질문(130), 및 응답 수신부(52)가 질의응답 시스템(34)으로부터 수신한 응답 패시지를 이용하여, 후술하는 인과관계 어텐션 매트릭스를 산출하기 위한 인과관계 어텐션 처리부(40)를 포함한다.

인과관계 어텐션 처리부(40)는, 웹 아카이브 기억부(56)로부터 기존의 기술에 의해 단서어 등을 이용하여 인과관계 표현을 추출하는 인과관계 표현 추출부(58)와, 인과관계 표현 추출부(58)가 추출한 인과관계 표현(아카이브 인과관계 표현)을 기억하는 아카이브 인과관계 표현 기억부(60)와, 아카이브 인과관계 표현 기억부(60)에 기억된 아카이브 인과관계 표현에 포함되는 단어를 추출하고, [-1,1]로 정규화된 단어간의 상관관계를 나타내는 하나의 척도인 상호정보량을 산출하는 상호정보량 산출부(62)와, 쌍방의 축에 각 단어를 배치하고, 한쪽 축 상의 단어와 다른쪽 축 상의 단어의 교차 위치에, 그 단어쌍 사이의 상호정보량을 배치한 상호정보량 매트릭스를 기억하는 상호정보량 매트릭스 기억부(64)와, 상호정보량 매트릭스 기억부(64)에 기억된 상호정보량 매트릭스, 질문 접수부(50)가 접수한 질문(130), 및 질문(130)에 대하여 얻어진 응답 패시지를 사용하여 질문(130)에 대한 각 응답 패시지의 평가값인 스코어를 산출할 때에 사용되는 인과관계 어텐션 매트릭스를 생성하는 인과관계 어텐션 매트릭스 생성부(90)를 포함한다. 인과관계 어텐션 매트릭스 생성부(90)의 구성에 대해서는 후술한다. 또, 본 실시형태에서는 인과관계 표현으로부터 얻어진, 단어끼리의 상관관계를 나타내는 척도인 상호정보량을 인과관계 어텐션으로서 사용하지만, 상관관계를 나타내는 척도로서는 이것 이외의 것도 사용할 수 있다. 예를 들면, 인과관계 표현의 집합 내에 있어서의 단어간의 공기 빈도, Dice 계수, Jaccard 계수 등, 상관관계를 나타내는 다른 척도를 사용해도 좋다.

논팩토이드형 질의응답 시스템(30)은 또한, 응답 수신부(52)가 수신한 응답 패시지, 질문 접수부(50)가 접수한 질문(130), 아카이브 인과관계 표현 기억부(60)에 기억된 아카이브 인과관계 표현, 및 인과관계 어텐션 매트릭스 생성부(90)에 의해 생성된 인과관계 어텐션 매트릭스를 이용하여, 질문(32)에 대한 응답 패시지의 스코어를 산출해 출력하는 분류부(54)와, 질문(32)에 대한 응답후보로서 분류부(54)에 의해 출력된 스코어와 응답 패시지를 관련지어서 기억하는 응답후보 기억부(66)와, 응답후보 기억부(66)에 기억된 응답후보를 스코어에 따라서 내림차순으로 소트하고, 가장 높은 스코어의 응답후보를 응답(36)으로서 출력하는 응답후보 랭킹부(68)를 포함한다.

<분류부(54)>

분류부(54)는 응답 수신부(52)가 수신한 응답 패시지를 기억하기 위한 응답 패시지 기억부(80)와, 응답 패시지 기억부(80)에 기억된 응답 패시지에 포함되는 인과관계 표현을 추출하는 인과관계 표현 추출부(82)와, 인과관계 표현 추출부(82)에 의해 응답 패시지로부터 추출된 관계 표현을 기억하는 응답 내 인과관계 표현 기억부(84)를 포함한다. 이와 같이 응답 패시지로부터 추출된 인과관계 표현을 응답 내 인과관계 표현이라고 부른다.

분류부(54)는 또한, 아카이브 인과관계 표현 기억부(60)에 기억된 아카이브 인과관계 표현으로부터 질문 접수부(50)가 접수한 질문(130)과 응답 패시지 기억부(80)에 기억된 응답 패시지의 각각의 조합에 대하여 가장 관련되는 아카이브 인과관계 표현을 각각 추출하는 관련 인과관계 표현 추출부(86)와, 관련 인과관계 표현 추출부(86)에 의해 추출된 인과관계 표현을 기억하는 관련 인과관계 표현 기억부(88)를 포함한다. 관련 인과관계 표현 추출부(86)에 의해 추출되는 아카이브 인과관계 표현은 응답 패시지 내 인과관계 표현의 바꿔 말하기로 생각된다.

분류부(54)는 또한, 질문 접수부(50)가 접수한 질문(130), 응답 내 인과관계 표현 기억부(84)에 의해 기억된 응답 내 인과관계 표현, 관련 인과관계 표현 기억부(88)에 기억된 관련 인과관계 표현, 및 인과관계 어텐션 매트릭스 생성부(90)에 의해 생성된 인과관계 어텐션 매트릭스의 입력을 받고, 응답 패시지 기억부(80)에 기억된 응답 패시지가 질문(130)에 대한 응답으로서 옳은 것일 확률을 나타내는 스코어를 출력하도록, 미리 학습완료된 뉴럴 네트워크(92)를 포함한다.

뉴럴 네트워크(92)는, 후술하는 바와 같이 멀티컬럼의 컨볼루션 뉴럴 네트워크이다. 뉴럴 네트워크(92)는 인과관계 어텐션 매트릭스 생성부(90)에 의해 생성된 인과관계 어텐션에 의해, 응답 패시지 기억부(80)에 기억된 응답 패시지 내에서 질문(130)에 포함되는 단어와 관련이 있다고 생각되는 단어에 특히 주목해서 스코어를 산출한다. 이와 같이, 질문(130)에 포함되는 단어와 관련이 있다고 생각되는 단어라고 하는 것은, 인간의 경우에는 각자가 갖는 인과관계에 관한 상식에 의거하여 선택하고 있는 것으로 생각된다. 그래서, 본 실시형태에서는 이와 같이 상호정보량에 의거하여 응답 패시지 중의 단어에 착안해 응답 패시지를 평가하는 것을 상술한 바와 같이 인과관계 어텐션이라고 부른다. 또한, 이러한 인과관계 어텐션을 이용하여 응답 패시지에 스코어 부여하는 멀티컬럼의 뉴럴 네트워크(92)를 CA-MCNN이라고 부른다. 이 뉴럴 네트워크(92)의 구성에 대해서는 도 4 및 도 5를 참조해서 후술한다.

《관련 인과관계 표현 추출부(86)》

관련 인과관계 표현 추출부(86)는, 질문 접수부(50)가 접수한 질문(130)으로부터 내용어를 추출하고, 아카이브 인과관계 표현 기억부(60)에 기억되어 있는 아카이브 인과관계 표현 중 질문(130)로부터 추출한 단어를 결과부에 갖는 것을 선택하는 질문관련 아카이브 인과관계 표현 선택부(110)와, 질문관련 아카이브 인과관계 표현 선택부(110)가 선택한 아카이브 인과관계 표현을 기억하는 질문관련 인과관계 표현 기억부(112)와, 응답 패시지 기억부(80)에 기억된 응답 패시지의 각각에 대해서 응답 패시지와 공통되는 단어를 어느 정도 포함할지를 나타내는 소정의 계산식에 의거하여 질문관련 인과관계 표현 기억부(112)에 기억된 질문관련 인과관계 표현을 랭킹하고, 최상위의 질문관련 인과관계 표현을 질문 및 응답 패시지의 세트에 관련되는 인과관계 표현으로서 선택해 출력하는 랭킹부(114)를 포함한다. 랭킹부(114)가 랭킹에 사용하는 소정의 식은 이하의 식으로 나타내어지는 가중치 부여 단어 출현수 wgt-wc(x,y)이다. 또한 이하에서는, 가중치 부여 단어 출현수 wgt-wc(x,y) 이외에도 3개의 평가값 wc(x,y), ratio(x,y), 및 wgt-ratio(x,y)를 정의하고 있다. 이것들은 모두 뉴럴 네트워크(92)로의 입력이 된다.

여기에서, MW(x,y)는 표현 x 내의 내용어이며, 또한 표현 y 중에도 존재하는 것의 집합을 나타내고, Word(x)는 표현 x 내의 내용어의 집합을 나타내고, idf(x)는 단어 x의 문서 빈도의 역수를 나타낸다. 상기 랭킹부(114)에 의한 처리에서는, x는 질문관련 인과관계의 원인부를 나타내고, y는 응답 패시지를 나타낸다.

-질문관련 아카이브 인과관계 표현 선택부(110)-

관련 인과관계 표현 추출부(86) 내의 질문관련 아카이브 인과관계 표현 선택부(110)의 개략 구성을 도 2에 나타낸다. 도 2를 참조하여, 질문관련 아카이브 인과관계 표현 선택부(110)는 질문(130)을 질문 접수부(50)로부터 받고, 질문(130)에 포함되는 명사를 추출하는 명사 추출부(150)와, 질문(130)에 포함되는 동사 및 형용사를 추출하는 동사·형용사 추출부(152)와, 아카이브 인과관계 표현 기억부(60)를 검색하고, 명사 추출부(150)에 의해 추출된 명사를 모두 결과부에 포함하는 아카이브 인과관계 표현을 추출하고, 질문관련 인과관계 표현 기억부(112)에 격납하기 위한 제 1 검색부(154)와, 아카이브 인과관계 표현 기억부(60)를 검색하고, 명사 추출부(150)가 추출한 명사의 모두와 동사·형용사 추출부(152)가 추출한 동사 및 형용사 중 적어도 하나를 결과부에 포함하는 아카이브 인과관계 표현을 추출하고, 질문관련 인과관계 표현 기억부(112)에 격납하기 위한 제 2 검색부(156)를 포함한다.

《인과관계 어텐션 매트릭스 생성부(90)》

본 실시형태에서는, 인과관계 어텐션이라고 하는 개념에 의해 뉴럴 네트워크(92)에 의한 응답 패시지의 스코어링시에, 질문 및 응답 패시지에 포함되는 CA 단어에 다른 것보다 큰 가중치를 부여한다. 그것을 위해서 사용하는 것이 상호정보량 매트릭스이다. 여기에서의 가중치 부여는, 질문에 포함되는 CA 단어와 응답 패시지에 포함되는 CA 단어가 어느 정도의 인과관계적인 관련성을 가질지를 나타내는 것이며, 본 실시형태에서는 그 값으로서 단어간의 상호정보량을 사용한다.

P(x,y)는 단어 x 및 단어 y가 각각 같은 아카이브 인과관계 표현의 원인부 및 결과부에 존재할 확률을 나타내는 것으로 한다. 이 확률은, 도 1에 나타내는 아카이브 인과관계 표현 기억부(60)에 기억된 모든 아카이브 인과관계 표현으로부터 통계적으로 얻어진다. P(x,*) 및 P(*,y)를 각각, 단어 x 및 단어 y가 아카이브 인과관계 표현의 전체에 있어서 각각 원인부 및 결과부에 나타날 확률을 나타내는 것으로 한다. 그러면, 단어 x 및 y 사이의 인과관계적 관련성의 강도는, 이하와 같이 [-1,1]의 범위에서 정규화된 점별 상호정보량(npmi)에 의해 나타내어진다.

본 실시형태에서는, 이하에 서술하는 바와 같이 2종류의 인과관계 어텐션 매트릭스를 사용한다. 제1은 단어-단어 매트릭스 A이며, 제2는 단어-문장 매트릭스 ^A이다. 단어-문장 매트릭스 ^A에는 또한 2종류가 있다. 한쪽은 질문 내의 각 단어로부터 본, 응답 패시지 내의 각 단어와의 상호정보량의 최대값으로 이루어지는 매트릭스 ^A_q이며, 다른쪽은 응답 패시지의 각 단어로부터 본, 질문 내의 각 단어와의 상호정보량의 최대값으로 이루어지는 매트릭스 ^A_p이다.(서컴플렉스 기호 「^」는, 본래, 직후의 문자의 바로 위에 기재해야 하는 것이다.)

질문 q 및 응답 패시지 p라고 하면, 매트릭스 A∈R^|p|×|q|는 이하의 식에 의해 구한다.

단, q_j 및 p_i는 각각, 질문의 j번째의 단어 및 응답 패시지의 i번째의 단어를 나타낸다. A[i,j]에는 npmi(·)>0일 때만 npmi(·)의 값이 대입되고, 그 이외의 경우에는 0으로 되므로 npmi(·)>0으로 되는 CA 단어밖에 본 실시형태의 인과관계 어텐션에는 영향을 주지 않는다. 또한, npmi(·)<0일 때에도 매트릭스 A[i,j]에 값을 대입하는 실시형태도 가능하다. 실험에서는, 식 (3)과 같이 npmi(·)<0일 때에는 0으로 치환한 편이 좋은 결과가 얻어지기 때문에, 본 실시형태에서는 식 (3)의 제약을 A[i,j]에 부과하고 있다.

질문 중의 단어 q_j(또는 응답 패시지 중의 단어 p_i)에는, 그 단어 q_j(또는 단어 p_i)와 인과관계적으로 깊게 관계되어 있는 단어가, 대응하는 문장, 즉 응답 패시지(또는 질문) 내에 많이 출현하고 있으면, 인과관계 어텐션 표현 중에 있어서 큰 어텐션 가중치가 주어진다. 그러나, 질문과 그 응답 패시지의 페어 중에 나타나는 단어수는 적으므로, 매트릭스 A는 성긴 행렬로 된다. 이 때문에, 모델 파라미터 W_q' 및 W_p'를 효과적으로 학습하는 것은 곤란하다. 이 문제를 해결하기 위해서, 이 매트릭스 A로부터 상기한 매트릭스 ^A_q 및, 매트릭스 ^A_p(총괄하여 「^A」라고 쓴다.)를 생성하고, 이것들을 사용한다. 이것들에 대해서는 도 3을 참조해서 후술한다.

도 1을 참조하여, 인과관계 어텐션 처리부(40)의 인과관계 어텐션 매트릭스 생성부(90)는, 질문 접수부(50)로부터의 질문(130), 및 응답 패시지 기억부(80)에 기억된 응답 패시지의 각각의 조합마다, 그것들에 포함되는 내용어를 모두 추출하기 위한 단어 추출부(120)와, 단어 추출부(120)에 의해 추출된 질문의 단어를 가로축에, 응답 패시지의 단어를 세로축에 배치하고, 가로축 및 세로축의 교차 위치에 그 위치에 대응하는 2단어의 상호정보량을 상호정보량 매트릭스 기억부(64)로부터 판독하고, 음의 값을 0으로 치환해서 배치한 제 1 상호정보량 매트릭스를 산출하는 제 1 매트릭스 산출부(122)와, 제 1 매트릭스 산출부(122)가 산출한 제 1 상호정보량 매트릭스로부터, 이하에 서술하는 방법으로 2개의 제 2 상호정보량 매트릭스를 산출하는 제 2 매트릭스 산출부(124)를 포함한다. 상호정보량의 음의 값을 0으로 치환하고 있으므로, 제 1 상호정보량 매트릭스 내의 상호정보량의 값은, [0,1]의 범위에서 정규화되어 있다.

도 3을 참조하여, 제 1 상호정보량 매트릭스 A(170)는, 상술한 바와 같이 가로축에 질문으로부터 추출한 단어를 배치하고, 세로축에 처리 대상의 응답 패시지로부터 추출한 단어를 배치하고, 그것들이 교차하는 위치에 그 교차 위치에 대응하는 단어간의 상호정보량을 상호정보량 매트릭스 기억부(64)로부터 판독하여, 음의 값을 0으로 치환해서 격납한 매트릭스이다. 이것에 대하여, 제 2 매트릭스는 매트릭스 ^A_q(180) 및 매트릭스 ^A_p(182)의 2개로 이루어진다. 매트릭스 ^A_q(180)는 상호정보량 매트릭스 A(170) 중, 질문에 포함되는 각 단어에 대응해서 각 열에 기억되어 있는 상호정보량의 최대값을 구해서 얻어지는 것이다. 매트릭스 ^A_p(182)는 상호정보량 매트릭스 A(170) 중, 응답 패시지에 포함되는 각 단어에 대응해서 각 행에 기억되어 있는 상호정보량의 최대값을 구해서 얻어지는 것이다. 따라서, 매트릭스 ^A_q(180) 및 매트릭스 ^A_p(182)의 어느 것에 있어서나, 상호정보량의 값은 [0,1]의 범위로 정규화되어 있다.

질문 중의 단어(「질문어」라고 한다.)의 인과관계 어텐션의 특징량은, 매트릭스 ^A에 있어서 질문어와 모든 응답 패시지 중의 단어(「응답어」라고 한다.)의 가능한 모든 조합 중에서 가장 높은 값인 npmi값에 의해 나타내어진다. 마찬가지로, 응답어의 인과관계 어텐션의 특징량은, 매트릭스 ^A에 있어서 응답어와 모든 질문어의 가능한 모든 조합 중에서 가장 높은 값인 npmi값에 의해 나타내어진다. 이것은, 매트릭스 ^A 내의 단어의 인과관계 어텐션의 특징량은 매트릭스 A로부터 추출한 가장 중요한 인과관계 어텐션 특징량에 의해 표현되는 것을 시사하고 있다.

이 처리에 의해, 2개의 인과관계 어텐션 특징량 매트릭스가 얻어진다. 한쪽은 질문에 관한 매트릭스 ^A_q(180)이며, 다른쪽은 응답 패시지에 관한 매트릭스 ^A_p(182)이다.

예를 들면, 열 172(「쓰나미」에 대응한다.)를 아래로 보아 가면, 상호정보량의 최대값은 「지진」의 「0.65」이다. 즉, 「쓰나미」라고 하는 질문어는 「지진」이라고 하는 응답어와 가장 강한 인과관계적 관련을 갖는다. 마찬가지로, 각 열의 최대값을 구함으로써 매트릭스 ^A_q(180)가 얻어진다. 또한, 예를 들면 행 174(「지진」에 대응한다.)를 옆으로 보아 가면, 최대값은 「쓰나미」의 「0.65」이다. 즉, 「지진」이라고 하는 응답어와 가장 강한 인과관계적 관련을 갖는 질문어는 「쓰나미」이다. 이것을 각 행에 대해서 구해 감으로써 매트릭스 ^A_p(182)가 얻어진다. 실제로는, 도 3에서 알 수 있는 바와 같이 매트릭스 ^A_q(180)는 1행의 횡벡터이며, 매트릭스 ^A_p(182)는 1열의 종벡터가 된다.

<컨볼루션 뉴럴 네트워크>

도 4를 참조하여, 도 1에 나타내는 뉴럴 네트워크(92)는 후술하는 바와 같이, 질문, 응답 패시지, 응답 내 인과관계 표현(응답 CE), 및 관련 인과관계 표현(관련 CE)을 받아서 인과관계 어텐션에 의한 가중치 부여를 행한 단어 벡터를 생성하는 입력층(200)과, 입력층(200)의 출력을 받아서 특징량 벡터를 출력하는 컨볼루션/풀링층(202)과, 컨볼루션/풀링층(202)의 출력을 받아서 입력된 질문에 대하여 입력된 응답이 옳은 응답일 확률을 출력하는 출력층(204)을 포함한다. 이 뉴럴 네트워크(92)는 4개의 컬럼(C1∼C4)을 갖는다.

《입력층(200)》

입력층(200)은 질문이 입력되는 제 1 컬럼(C1)과, 응답 패시지가 입력되는 제 2 컬럼(C2)과, 응답 내 인과관계 표현(응답 CE)이 입력되는 제 3 컬럼(C3)과, 관련 인과관계 표현(관련 CE)이 입력되는 제 4 컬럼(C4)을 포함한다.

제 1 컬럼(C1) 및 제 2 컬럼(C2)은, 각각 질문 및 응답 패시지를 구성하는 단어열의 입력을 받고, 그것들을 단어 벡터로 변환하는 기능과, 상술한 인과관계 어텐션에 의해 각 단어 벡터에 가중치 부여를 행하는 기능(210)을 갖는다. 제 3 컬럼(C3) 및 제 4 컬럼(C4)은, 인과관계 어텐션에 의한 가중치 부여의 기능(210)은 가지지 않지만, 각각 응답 내 인과관계 표현과 관련 인과관계 표현에 포함되는 단어열을 단어 임베딩 벡터로 변환하는 기능을 갖는다.

본 실시형태에서는, 단어열 t에 포함되는 i번째의 단어를 d차원의 단어 임베딩 벡터 x_i로 나타낸다(후술하는 실험에서는 d=300). 단어열은 d×|t|의 단어 임베딩 벡터열 X에 의해 나타내어진다. 여기에서, |t|는 단어열 t의 길이를 나타낸다. 그러면, 벡터열 X는 이하의 식 (9)에 의해 나타내어진다.

x_i:i+j는 x_i, …, x_i+j의 임베딩 벡터를 연결한 것이며, i<1 또는 i>|t|에서는 어느 것이나 영 채우기(zero padding)된 것을 나타내는 것으로 한다.

인과관계 어텐션은 질문 중의 단어 및 응답 패시지 중의 단어에 대하여 주어진다. 본 실시형태에서는 단어열 t에 대한 d×t차원의 어텐션 벡터열 X'를 CA 단어 에 의거하여 산출한다. CA 단어는 질문과 생각되는 응답 사이의 인과관계를 직접적 또는 간접적으로 나타내는 것이며, 아카이브 인과관계 표현으로부터 자동적으로 추출된다. 여기에서는, 단어열 t에 대한 단어 임베딩 벡터열 X와 어텐션 벡터열 X'에 대해서, 성분별로 가산함으로써 가중치 부여된 단어 임베딩 벡터열 ^X를 얻는다.

《컨볼루션/풀링층(202)》

컨볼루션/풀링층(202)은 4개의 컬럼(C1∼C4)에 대응해서 설치된 4개의 컨볼루션 뉴럴 네트워크와, 그것들의 출력을 각각 받아서 맥스 풀링에 의한 결과를 출력하는 4개의 풀링층을 포함한다.

즉, 도 5를 참조하여, 컨볼루션/풀링층(202) 내의, 소정 컬럼(390)은 입력층(400), 컨볼루션층(402), 및 풀링층(404)으로 이루어져 있는 것으로 한다. 단 컨볼루션/풀링층(202)은 이러한 구성에는 한정되지 않고, 이 3가지의 층을 복수개 구비하고 있는 것이라도 좋다.

입력층(400)에는, 입력층(200)의 대응하는 컬럼으로부터의 단어 벡터열 X₁, …, X_|t|가 입력된다. 이 단어 벡터열 X₁, …, X_|t|는 행렬 T=[X₁, X₂, …, X_|t|]^T로서 나타내어진다. 이 행렬 T에 대하여 다음의 컨볼루션층(402)에 의해 M개의 특징자질 맵 f₁∼f_M이 적용된다. 각 특징자질 맵은 벡터이며, 각 특징자질 맵의 요소인 벡터는 연속하는 단어 벡터로 이루어지는 n그램(410)에 대하여 w로 나타내어지는 필터를 적용하면서 n그램(410)을 이동시켜서 그 출력을 각각 얻음으로써 계산된다. n은 임의의 자연수이다. 특징자질 맵 f의 출력을 O로 하면, O의 i번째의 요소 O_i는 다음 식 (10)에 의해 나타내진다.

또, 특징자질 맵의 전체에 걸쳐 n을 같게 해도 좋고, 다른 것이 있어도 좋다. n으로서는 2, 3, 4 및 5 정도가 적당할 것이다. 본 실시형태에서는 필터의 가중치 행렬은 모든 컨볼루션 뉴럴 네트워크에 있어서 같게 하고 있다. 이것들은 서로 다르게 되어 있어도 좋지만, 실제로 서로 같게 한 쪽이 각 가중치 행렬을 독립적으로 학습할 경우보다 정확도가 높아진다.

이 특징자질 맵의 각각에 대해서, 다음의 풀링층(404)은 소위 맥스 풀링을 행한다. 즉, 풀링층(404)은, 예를 들면 특징자질 맵 f_M의 요소 중 최대의 요소(420)를 선택하고, 요소(430)로서 추출한다. 이것을 특징자질 맵의 각각에 대하여 행함으로써 요소(430, …, 432)를 추출하고, 이것들을 f₁부터 f_M의 순서로 연접하여 도 4에 나타내는 출력층(204)에 벡터(440)로서 출력한다. 각 풀링층으로부터는 이렇게하여 얻어진 벡터(440) 등이 출력층(204)에 출력된다.

《출력층(204)》

출력층(204)에서는 이들 특징 벡터의 유사도를 유사도 산출부(212)가 산출하고, Softmax층(216)에 준다. 또한, 4개의 컬럼(C1∼C4)에 주어지는 단어열의 사이에서 단어 매칭(208)이 행하여지고, 공통되는 단어수의 지표인 식 (1)에 나타내는 4개의 값을 공통 단어수의 계수부(214)가 산출하여 Softmax층(216)에 준다. Softmax층(216)은 입력에 대하여 선형 소프트 맥스 함수를 적용하고, 응답 패시지가 질문에 대하여 옳은 응답일 확률을 출력한다.

본 실시형태에서는 2개의 특징 벡터의 유사도는 이아와 같이 산출한다. 또, 유사도로서는 이것 이외에 코사인 유사도 등, 다른 벡터 유사도도 적용 가능하다.

본 실시형태에서는, 이 유사도를 이용하여 이하의 4종류의 유사도 스코어 sv₁(n)∼sv₄(n)을 산출하고, 사용했다.

이것들은 모두 유사도 산출부(212)에 의해 산출되어 출력층(204)에 주어진다.

또한, 본 실시형태에서는 위에 나타낸 바와 같은 특징 벡터의 유사도만을 출력층(204)으로의 입력으로 했지만, 입력하는 정보는 이것에 한정되지 않는다. 예를 들면, 특징 벡터 자체를 사용해도 되고, 특징 벡터와 그것들의 유사도의 조합을 사용해도 된다.

또한, 논팩토이드형 질의응답 시스템(30)을 컴퓨터에 의해 실현하기 위한 컴퓨터 프로그램의 제어 구조를 나타내는 플로우차트를 도 7에 나타낸다. 도 7에 나타내는 컴퓨터 프로그램의 구성에 대한 설명은, 논팩토이드형 질의응답 시스템(30)의 동작의 설명과 중복되는 부분이 있어서 동작의 설명과 함께 행한다.

〔동작〕

논팩토이드형 질의응답 시스템(30)의 동작에는, 학습 페이즈(phase)와 실제의 질문에 대한 응답을 출력하는 가동 페이즈가 있다.

<학습 페이즈>

도 1을 참조하여, 질문(32)이 주어지는 것에 앞서서, 인과관계 표현 추출부(58)에 의해 웹 아카이브 기억부(56)로부터 아카이브 인과관계 표현이 추출되고, 상호정보량 산출부(62)에 의해 상호정보량 매트릭스가 계산되어서 상호정보량 매트릭스 기억부(64)에 기억되어 있다.

제 1 매트릭스 산출부(122) 및 제 2 매트릭스 산출부(124)에서 사용되는 가중치 파라미터에 대해서는, 학습용의 질문과 그것에 대한 응답 패시지와, 그것들 응답이 질문에 대한 옳은 대답인지의 여부를 수작업으로 붙인 라벨로 이루어지는 학습 데이터에 의해 학습이 되고 있다. 뉴럴 네트워크(92)에 대해서도, 같은 학습 데이터를 이용하여 입력된 질문과 응답 패시지의 조합에 대하여 그것이 옳은 조합인 것을 나타낼 확률을 출력하도록, 통상의 뉴럴 네트워크와 같이 오차 역전파법 을 이용하여 미리 학습이 이루어진다.

<가동 페이즈)>

가동 페이즈의 논팩토이드형 질의응답 시스템(30)의 동작의 개략에 대해서 도 6을 참조해서 설명한다. 우선, 대량의 웹 텍스트 아카이브로부터 인과관계 표현을 자동 인식하는 처리(460)를 행하고, 대량의 아카이브 인과관계 표현(462)을 모은다. 이 중에서, 공기 빈도에 의거하여 인과관계 관련성이 높은 단어쌍를 선택함으로써 인과관계의 관련 단어(466)를 추출하는 처리(464)를 행한다. 이 관련 단어(466)로부터 인과관계 어텐션(468)을 표현하는 정보가 얻어진다. 이 인과관계 어텐션(468)에 의해 질문과 응답 패시지 중에서 인과관계를 나타낸다고 해서 특히 주목해야 할 단어에, 다른 것보다 큰 가중치가 주어진다.

한편, 질문(470)과 응답 패시지(472)의 세트가 주어지면, 아카이브로부터 추출한 아카이브 인과관계 표현(462) 중에서 질문과 응답 패시지에 포함되는 단어를 많이 포함하는 인과관계를 선택하는 처리(474)를 행한다. 이 결과, 응답 패시지 내의 응답 내 인과관계의 바꿔 말하기 표현(476)(관련 인과관계 표현)이 얻어진다.

이렇게 해서 얻어진 질문(470), 응답 패시지(472), 응답 패시지 중에 포함되는 인과관계 표현, 인과관계 어텐션(468), 및 응답 패시지에 대응하는 인과관계의 바꿔 말하기 표현(관련 인과관계 표현)(476)을 모두 뉴럴 네트워크(92)에 준다. 응답 패시지(472)가 질문(470)에 대한 옳은 응답일 확률이 뉴럴 네트워크(92)에 의해 산출된다. 이 확률을 각 응답 패시지에 대하여 산출하고, 옳은 응답일 확률이 가장 높은 응답 패시지를 질문(470)에 대한 응답으로서 선택한다.

보다 구체적으로는, 도 1을 참조하여, 가동 페이즈에 앞서서 인과관계 표현 추출부(58)에 의해 웹 아카이브로부터 아카이브 인과관계 표현이 추출되어 아카이브 인과관계 표현 기억부(60)에 기억된다. 또한, 아카이브 인과관계 표현 기억부(60)에 기억된 인과관계 표현으로부터 상호정보량 산출부(62)가 단어간의 상호정보량을 산출하고, 상호정보량 매트릭스로서 상호정보량 매트릭스 기억부(64)에 기억한다.

실제로 질문(32)이 질문 접수부(50)에 주어지면, 질문 접수부(50)는 이 질문을 응답 수신부(52)에 준다. 응답 수신부(52)는 이 질문을 질의응답 시스템(34)에 송신한다(도 7의 스텝 480). 질문 접수부(50)는 또한, 질문(32)을 질문(130)으로서 관련 인과관계 표현 추출부(86), 인과관계 어텐션 매트릭스 생성부(90)의 단어 추출부(120), 및 뉴럴 네트워크(92)에 준다.

응답 수신부(52)는 질의응답 시스템(34)으로부터 질문(32)에 대한 응답 패시지를 소정 개수(예를 들면 20개) 수신한다. 응답 수신부(52)는, 이들 응답 패시지를 분류부(54)의 응답 패시지 기억부(80)에 격납한다(도 7의 스텝 482).

도 2를 참조하여, 질문관련 아카이브 인과관계 표현 선택부(110)의 명사 추출부(150)는 질문(130)을 질문 접수부(50)로부터 받고, 질문(130)에 포함되는 명사를 추출하여 제 1 검색부(154) 및 제 2 검색부(156)에 준다. 동사·형용사 추출부(152)는 질문(130)에 포함되는 동사 및 형용사를 추출하여 제 2 검색부(156)에 준다(도 7의 스텝 484). 제 1 검색부(154)는 아카이브 인과관계 표현 기억부(60)를 검색하여, 명사 추출부(150)에 의해 추출된 명사를 모두 결과부에 포함하는 아카이브 인과관계 표현을 추출하고, 추출된 아카이브 인과관계 표현을 질문관련 인과관계 표현 기억부(112)에 격납한다(도 7의 스텝 486). 제 2 검색부(156)는 아카이브 인과관계 표현 기억부(60)을 검색하여, 명사 추출부(150)가 추출한 명사의 모두를 포함하고, 동사·형용사 추출부(152)가 추출한 동사 및 형용사 중 적어도 하나를 결과부에 포함하는 아카이브 인과관계 표현을 추출하고, 질문관련 인과관계 표현 기억부(112)에 격납한다(도 7의 스텝 490).

모든 응답 패시지가 수신되고, 또한 질문관련 아카이브 인과관계 표현 선택부(110)에 의한 처리가 모두 완료되면, 이하, 응답 패시지 기억부(80)에 기억된 각응답 패시지에 대하여 스텝 492에서 이하의 처리(도 7에 나타내는 처리 494)가 행하여진다.

우선, 인과관계 표현 추출부(82)는 기존의 인과관계 표현의 추출 알고리즘 을 이용하여 처리 대상의 응답 패시지로부터 응답 내 인과관계 표현을 추출하고, 응답 내 인과관계 표현 기억부(84)에 격납한다(도 7의 스텝 500). 랭킹부(114)는 처리 대상의 응답 패시지에 대해서 가중치 부여 단어 출현수 wgt-wc(x,y)를 계산하고(도 7의 스텝 502), 이 가중치 부여 단어 출현수를 이용하여 질문관련 인과관계 표현 기억부(112)에 기억된 질문관련 인과관계 표현을 랭킹한다. 랭킹부(114)는 또한, 최상위의 질문관련 인과관계 표현을 질문 및 처리 중의 응답 패시지의 세트에 관련되는 인과관계 표현으로서 선택해 출력한다(도 7의 스텝 504). 관련 인과관계 표현 기억부(88)는 관련 인과관계 표현 추출부(86)에 의해 응답 패시지마다 1개 출력된 관련 인과관계 표현을 기억한다.

인과관계 어텐션 처리부(40)의 인과관계 어텐션 매트릭스 생성부(90)에 있어서, 단어 추출부(120)는 질문 접수부(50)가 접수한 질문 및 처리 중의 응답 패시지에 출현하는 단어를 모두 추출하여, 제 1 매트릭스 산출부(122)에 준다(도 7의 스텝 506). 제 1 매트릭스 산출부(122)는 질문문의 단어를 가로축, 처리 중의 응답 패시지의 단어를 세로축으로 한 행렬을 생성하기 위해서 2차원의 배열을 선언한다(도 7의 스텝 508). 제 1 매트릭스 산출부(122)는 또한, 이들 단어의 교차 위치의 셀에 대응하는 단어 사이의 상호정보량을 상호정보량 매트릭스 기억부(64)로부터 판독하고, 음의 값을 0으로 치환해서 배치함으로써 그들 단어끼리의 상호정보량 매트릭스 A(170)(제 1 매트릭스(170))를 생성한다(도 7의 스텝 510). 제 2 매트릭스 산출부(124)는 제 1 매트릭스 산출부(122)가 산출한 제 1 상호정보량 매트릭스로부터, 이미 서술한 방법으로 2개의 제 2 상호정보량 매트릭스 ^A_q(180)(제 2 매트릭스(180)) 및 ^A_p(182)(제 2 매트릭스(182))를 산출한다(도 7의 스텝 512).

질문(32)에 대하여 응답 패시지 기억부(80)에 기억된 응답 패시지마다 상기한 관련 아카이브 인과관계 표현의 추출, 상호정보량 매트릭스 A(170), ^A_q(180) 및 ^A_p(182)의 산출이 끝나면(도 7의 스텝 500, 504, 및 512까지의 처리가 모두 완료하면), 도 4를 참조하여 뉴럴 네트워크(92)의 제 1 컬럼에는, 질문 접수부(50)가 접수한 질문이 주어진다. 제 2 컬럼에는 처리 중의 응답 패시지가 주어진다. 제 3 컬럼에는 응답 내 인과관계 표현 기억부(84)에 기억된 처리 중의 응답 패시지로부터 추출한 모든 응답 내 인과관계 표현이 소정의 구획 문자를 개재해서 연결하여 주어진다. 제 4 컬럼에는 관련 인과관계 표현 기억부(88)에 기억된 처리 중의 응답 패시지에 관련되는 인과관계 표현이 주어진다(도 7의 스텝 514).

이것들은 모두 뉴럴 네트워크(92)의 입력층(200)에 있어서 단어 임베딩 벡터로 변환된다. 제 1 컬럼의 질문, 제 2 컬럼의 응답 패시지를 구성하는 각 단어의 단어 임베딩 벡터에 대해서는, 상호정보량 매트릭스 ^A_q 및 ^A_p로부터 얻어진 가중치가 곱해진다. 뉴럴 네트워크(92)의 출력층(204)에서는, 우선 이들 특징 벡터의 4종류의 유사도 스코어 sv₁(n)∼sv₄(n)이 산출되어, Softmax층(216)에 대하여 출력된다. 또한, 상기한 바와 같이 이러한 유사도 스코어가 아니라, 특징 벡터 자체, 또는 특징 벡터와 유사도의 조합을 Softmax층(216)으로의 입력으로 해도 된다.

또한, 제 1 컬럼(C1)∼제 4 컬럼(C4)에 주어진 단어열에 대해서는, 상술한 바와 같이 단어 매칭이 행하여지고, 공통의 단어수의 지표인 식 (1)에 나타내는 4개의 값이 출력층(204)에 주어진다.

Softmax층(216)은 출력층(204)로부터의 출력에 의거하여 입력된 응답 패시지가 질문에 대한 옳은 응답일 확률을 출력한다. 이 값은 도 1에 나타내는 응답후보 기억부(66)에 각 응답후보와 함께 축적된다(도 7의 스텝 516).

응답후보 랭킹부(68)는 응답후보에 대하여 상기 처리가 모두 완료한 후, 응답후보 기억부(66)에 기억된 응답후보를 스코어에 따라서 내림차순으로 소트하고, 가장 높은 스코어의 응답후보, 또는 스코어 상위의 N개(N>1)의 응답후보를 응답(36)으로서 출력한다.

〔실험〕

이하, 본 실시형태의 구성을 이용하여 실시한 실험결과의 예를 나타낸다. 이 실험에서는, 850문장의 질문과, 그것들 각 질문에 대한 상위 20개씩의 응답 패시지(합계로 17,000개의 질문-응답 패시지의 페어)를 사용했다. 이 데이터 중, 15,000페어는 학습 데이터로 하고, 1,000페어를 개발 데이터, 나머지의 1,000페어를 테스트 데이터로 했다. 개발 데이터는 뉴럴 네트워크(92)의 하이퍼파라미터의 일부(필터의 윈도우 사이즈, 필터수, 및 미니 배치수)를 결정하는데 사용했다.

필터 파라미터로서, {2,3,4,5,6} 중의 3, 4, 5개의 연속한 수를 이용하여 다른 윈도우 사이즈의 필터를 구성하고, 윈도우 사이즈의 각 조합에 대한 필터수는 {25,50,75,100}으로부터 선택했다. 가능한 하이퍼파라미터의 조합의 수는 120가지다. 실험에서는 이것들 모두를 사용하여 개발 데이터에 대한 평균 정확도를 기준으로 해서 가장 좋은 설정값을 선택했다. 모든 처리에 있어서, 출력층에서는 0.5의 드롭아웃을 적용했다. 학습 데이터 전체를 이용하여 10에포크의 학습을 행하였다. 각 에포크는 다수의 미니 배치로 분할하여 행하였다.

뉴럴 네트워크(92)의 학습에서는, 미니 배치 확률적 구배 강하법을 이용하고, 필터 W와 인과관계 어텐션의 가중치를 (-0.01,0.01)의 범위에서 랜덤으로 초기화했다.

평가는 P＠1(최상위 응답의 정확도) 및 MAP(평균 적합률의 평균)를 사용해 행하였다. P＠1은 몇개의 질문에 대하여 옳은 톱 응답이 얻어졌는지를 나타낸다. MAP는 시스템에 의해 랭킹된 톱 n개의 응답의 전체적인 질을 측정함으로써 이하의 식에 의해 산출된다.

단 Q는 테스트 데이터 내의 질문의 집합을 나타내고, Answer_q는 질문 q∈Q에 대한 옳은 응답의 집합이다. Prec(k)는 상위 n개의 응답 패시지에 있어서의 컷오프 k에서의 적합률이며, rel(k)는 랭크 k의 항목이 집합 Answer_q 내의 정해이면 1, 잘못이면 0으로 되는 지표이다.

도 8에, 상기 실시형태에 의한 결과와 대조예에 의한 결과를 표형식으로 나타낸다. 이 도면에 나타내는 대조예 등의 기호를 이하에 나타낸다.

<OH13> 비특허문헌 1에 나타내어진 지도 학습 시스템. 단어 n-그램, 단어 클래스, 및 응답 내 인과관계를 특징자질로서 사용하는 SVM에 의한 시스템.

<OH16> 뒤에 나타내는 참고문헌 1에 나타내어진 준지도 학습 시스템. 준지도 학습의 초기 시스템으로서 상기 OH13에 의한 것을 이용하여, 아카이브 인과관계 표현을 이용하여 학습 데이터를 확장하는 것.

<Base> 질문, 응답 패시지, 및 응답 내 인과관계 표현과 그것들에 관련되는 공통어 카운트만을 입력으로 하는 베이스라인의 MCNN 시스템. 상기 실시형태에서 인과관계 어텐션도 관련 인과관계 표현도 사용하지 않는 것.

<Proposed-CA> 상기 실시형태에서 관련 인과관계 표현만을 사용하고, 인과관계 어텐션을 사용하지 않는 것.

<Proposed-R_CE> 상기 실시형태에서 인과관계 어텐션만을 사용하고, 관련 인과관계 표현을 사용하지 않는 것.

<Proposed> 상기 실시형태에 따른 시스템.

<Ubound> 질문에 대한 n개의 옳은 응답이 테스트 데이터 내에 있으면 항상 그것들 n개를 톱 n개의 응답으로서 찾아내는 시스템. 금회의 실험에 있어서의 응답 선택 성능의 상한을 나타낸다.

도 8로부터 알 수 있는 바와 같이, 본원 실시형태에 따른 시스템은 종래 기술과 비교해서 안정되고 높은 성능을 나타냈다. 보다 상세하게는, 관련 인과관계 표현을 이용하여 인과관계의 바꿔 말하기를 함으로써 P＠1이 4∼6% 향상하는 것을 알 수 있다(도 8의 참조부호 520→524, 522→526). 또한, 인과관계 어텐션을 사용함으로써 P＠1이 6% 향상하는 것을 알 수 있다(참조부호 520→522, 524→526).

또한, 도 8로부터 본원 발명에서는 R(P＠1)이 81.8%(54/66, 참조부호 526과 참조부호 528)에 도달하고 있는 것을 알 수 있다. 이 결과, 질문에 대하여 적어도 1개의 옳은 응답을 본원 발명의 시스템이 추출할 수 있으면, Why형 질문에 대하여 높은 재현율로 톱 응답을 찾아낼 수 있는 것을 알 수 었었다.

또한, 본 발명에 의한 톱 응답의 정확도를 조사하기 위해서 상기 OH13 및 OH16과 Proposed에 의한 톱 응답의 질에 대해서 검토했다. 그것을 위해서, 시스템마다 테스트 데이터에서의 각 질문에 대한 톱 응답만을 선택하고, 각 시스템에 의해 부여된 스코어에 의해 모든 톱 응답을 랭킹했다. 또한, 각 랭크에 있어서의 톱 응답의 랭크의 적합률을 계산했다. 결과를 도 9에 나타낸다.

도 9에 있어서, x축은 랭킹된 리스트의, 모든 톱 응답에 대한 톱 응답의 누적률을 나타내고, y축은 x축 상의 각 점에 있어서의 적합률을 나타낸다. 도 9를 참조하여, 톱 응답의 30%에 대해서 평가했을 경우, 본원 발명(그래프 530)에서는 100%의 적합률을 나타냈다. 이 값은 OH13(그래프 534) 및 OH16(그래프 532)의 어느 것과 비교해도 매우 높다. 이 결과로부터, 본원 발명에 의한 시스템에서는 톱 응답의 질이 선행기술과 비교해서 효율적으로 개선되어 있는 것을 알 수 있다.

〔컴퓨터에 의한 실현〕

본 발명의 실시형태에 따른 논팩토이드형 질의응답 시스템(30)은, 컴퓨터 하드웨어와, 그 컴퓨터 하드웨어 상에서 실행되는 컴퓨터 프로그램에 의하여 실현할 수 있다. 도 10은 이 컴퓨터 시스템(630)의 외관을 나타내고, 도 11은 컴퓨터 시스템(630)의 내부구성을 나타낸다.

도 10을 참조하여, 이 컴퓨터 시스템(630)은 메모리 포트(652) 및 DVD(Digital Versatile Disk) 드라이브(650)를 갖는 컴퓨터(640)와, 키보드(646)와, 마우스(648)와, 모니터(642)를 포함한다.

도 11을 참조하여, 컴퓨터(640)는 메모리 포트(652) 및 DVD 드라이브(650)에 추가해서, CPU(중앙처리장치)(656)와, CPU(656), 메모리 포트(652) 및 DVD 드라이브(650)에 접속된 버스(666)와, 기동 프로그램 등을 기억하는 판독전용 메모리(ROM)(658)와, 버스(666)에 접속되어 프로그램 명령, 시스템 프로그램 및 작업 데이터 등을 기억하는 랜덤 액세스 메모리(RAM)(660)와, 하드디스크(654)를 포함한다. 컴퓨터 시스템(630)은 또한, 타단말과의 통신을 가능하게 하는 네트워크(668)에의 접속을 제공하는 네트워크 인터페이스(I/F)(644)를 포함한다.

컴퓨터 시스템(630)을 상기한 실시형태에 따른 논팩토이드형 질의응답 시스템(30)의 각 기능부로서 기능시키기 위한 컴퓨터 프로그램은, DVD 드라이브(650) 또는 메모리 포트(652)에 장착되는 DVD(662) 또는 리무버블 메모리(664)에 기억되고, 또한 하드디스크(654)에 전송된다. 또는, 프로그램은 네트워크(668)를 통해서 컴퓨터(640)에 송신되어 하드디스크(654)에 기억되어도 좋다. 프로그램은 실행의 때에 RAM(660)에 로드된다. DVD(662)로부터, 리무버블 메모리(664)로부터 또는 네트워크(668)를 통해서, 직접적으로 RAM(660)에 프로그램을 로드해도 좋다.

이 프로그램은, 컴퓨터(640)를 상기 실시형태에 따른 논팩토이드형 질의응답 시스템(30)의 각 기능부로서 기능시키기 위한 복수의 명령으로 이루어지는 명령열을 포함한다. 컴퓨터(640)에 이 동작을 행하게 하는데 필요한 기본적 기능의 몇개는 컴퓨터(640) 상에서 동작하는 오퍼레이팅시스템 또는 제3자의 프로그램 또는 컴퓨터(640)에 인스톨되는 동적 연결 가능한 각종 프로그래밍 툴키트 또는 프로그램 라이브러리에 의해 제공된다. 따라서, 이 프로그램 자체는 이 실시형태의 시스템, 장치 및 방법을 실현하는데 필요한 기능 모두를 반드시 포함하지 않아도 좋다. 이 프로그램은, 명령 중 원하는 결과가 얻어지도록 제어된 방식으로 적절한 기능 또는 프로그래밍 툴키트 또는 프로그램 라이브러리 내의 적절한 프로그램을 실행시에 동적으로 호출함으로써, 상기한 시스템, 장치 또는 방법으로서의 기능을 실현하는 명령만을 포함하고 있으면 좋다. 물론, 프로그램에서만 필요한 기능을 모두 제공해도 좋다.

[제 2 실시형태]

〔구성〕

상기 제 1 실시형태에서는, 어텐션으로서 인과관계 어텐션만을 사용했다. 이것만으로도 실험에서 확인한 바와 같이 종래의 것과 비교해서 논팩토이드형 질의응답 시스템에 있어서의 응답의 질을 향상시킬 수 있는 것을 알 수 있었다. 그러나 본 발명은 그러한 실시형태에는 한정되지 않는다. 다른 관계에 대한 어텐션을 사용할 수도 있다. 딘, Why형 질문에 대한 옳은 응답으로서의 조건을 만족시키는 응답후보를 도출할 수 있는 어텐션을 사용할 필요가 있다.

여기에서, Why형 질문에 대한 옳은 응답이 가져야 할 성질로서, 이하의 3가지를 생각할 필요가 있다.

1) 질문의 토픽에 대한 적합성

2) 질문이 구하는 이유 또는 원인의 제시

3) 질문이 구하는 이유 또는 원인과 질문의 토픽 사이의 인과관계

이것들이 모두 드러나는 응답후보이면, Why형 질문에 대한 옳은 응답을 준다고 생각할 수 있다.

상기 제 1 실시형태에서는, 이들 중, 2)의 이유 또는 원인의 제시와 3)의 인과관계에 대해서 고려되어 있지만, 1)의 토픽에 관한 적합성에 대해서는 특별히 명시적으로는 고려되어 있지 않다. 이 제 2 실시형태에서는, 질문의 토픽에 대한 적합성에 관한 어텐션을 사용하고, 이것을 인과관계 어텐션과 동시에 사용해서 질문 에 대한 응답을 구한다. 즉, 단일의 관점으로부터 본 어텐션 뿐만 아니라, 서로 다른 관점에 의한 어텐션을 이용하여 응답을 구한다. 그 때문에 이하의 제 2 실시형태에서는, 질문 및 응답후보의 각 단어에 대해서 각각 다른 관점으로부터 본 문맥에서의 단어의 의미에 착안하고, 이것들을 뉴럴 네트워크로의 입력시의 어텐션(가중치)으로 한다.

이 제 2 실시형태에서는, 토픽에 관한 적합성에 대한 관점으로서 일반적인 텍스트의 문맥에 있어서의 단어의 의미를 사용한다. 즉, 인과관계, 재료관계 등과 같은 특정적인 단어의 의미적 관계가 아니라, 그것들 의미적 관계와 특별히 관계를 가지지 않는 일반적인 문맥에 있어서의 단어와 단어의 의미적 관계를 사용한다. 토픽에 관한 적합성은, 대부분의 경우, 질문에서 출현하는 단어와 응답후보에 출현하는 단어가 의미적으로 유사한지의 여부에 의거하여 판정할 수 있다. 그러한 유사한 단어는 서로 유사한 문맥에 출현하는 경우가 많다. 따라서, 토픽에 관한 적합성으로서, 일반적 문맥으로부터 학습한 단어 임베딩 벡터(「일반 단어 임베딩 벡터」라고 부른다.)의 유사도를 사용하는 것으로 한다.

도 12에, 제 2 실시형태에 따른 논팩토이드형 질의응답 시스템(730)의 블럭도를 나타낸다. 도 12를 참조하여, 이 논팩토이드형 질의응답 시스템(730)이 도 1에 나타내는 논팩토이드형 질의응답 시스템(30)과 다른 것은, 논팩토이드형 질의응답 시스템(30)의 구성에 추가해서 웹 아카이브 기억부(56)에 기억된 웹 아카이브에 의거하여, 질문과 응답 패시지의 조합마다 출현하는 단어끼리의 유사도 매트릭스를 인과관계 어텐션 매트릭스 생성부(90)와 인과관계 어텐션 처리부(40)와 마찬가지로 생성하는 유사도 어텐션 처리부(740)를 포함하는 점이다.

또한, 도 1의 분류부(54) 대신에, 유사도 어텐션 처리부(740)에 의해 생성된 유사도 어텐션을 인과관계 어텐션과 동시에 사용해서 응답후보의 스코어를 산출하는 기능을 갖는 분류부(754)를 갖는 점에 있어서도 논팩토이드형 질의응답 시스템(730)은 논팩토이드형 질의응답 시스템(30)과 다르다.

또한, 분류부(754)가 분류부(54)와 다른 것은, 분류부(54)의 뉴럴 네트워크(92) 대신에, 유사도 어텐션과 인과관계 어텐션을 동시에 사용해서 각 응답 패시지의 스코어를 산출하는 기능을 갖는 뉴럴 네트워크(792)를 포함하는 점 뿐이다.

유사도 어텐션 처리부(740)는 웹 아카이브 기억부(56)에 기억된 텍스트에 출현하는 단어의 각각에 대해서 의미 벡터를 산출하는 의미 벡터 산출부(758)를 포함한다. 본 실시형태에서는, 의미 벡터로서는 일반 단어 임베딩 벡터를 사용한다.

유사도 어텐션 처리부(740)는 또한, 이들 단어 중 2개의 단어의 조합의 모두에 대해서 그 의미 벡터의 유사도를 산출함으로써, 그것들 2개의 단어의 유사도를 산출하는 유사도 산출부(762)와, 유사도 산출부(762)에 의해 2개의 단어의 조합마다 산출된 유사도를, 가로축 및 세로축에 각 단어를 배치한 매트릭스로서 기억하는 유사도 매트릭스 기억부(764)를 포함한다. 유사도 매트릭스 기억부(764)가 기억하는 매트릭스는, 논팩토이드형 질의응답 시스템(730)에 출현하는 단어를 모두 가로축 및 세로축에 배치하고, 가로축의 단어와 세로축의 단어의 교점의 위치에 그들 단어 사이의 유사도를 기억한 것이다.

유사도 어텐션 처리부(740)는 또한, 질문 접수부(50)로부터의 질문(130)과 응답 패시지 기억부(80)로부터 판독된 응답 패시지로부터 각각 출현하는 단어와, 유사도 매트릭스 기억부(764)에 기억된 유사도 매트릭스를 이용하여, 뉴럴 네트워크(792)가 스코어 계산에 사용하는 유사도 어텐션을 기억한 매트릭스(유사도 어텐션 매트릭스)를 생성하기 위한 유사도 어텐션 매트릭스 생성부(790)를 포함한다. 뉴럴 네트워크(792)는 질문(130)에 대한 각 응답 패시지의 스코어를 산출할 때에, 질문(130)과 그 응답 패시지 사이에서 유사도 어텐션 매트릭스 생성부(790)에 의해 산출된 유사도 어텐션 매트릭스를 사용한다. 뉴럴 네트워크(792)의 구성에 대해서는 도 14를 참조해서 후술한다.

도 13에 유사도 어텐션 매트릭스 생성부(790)의 구성을 블럭도 형식으로 나타낸다. 도 13을 도 1과 비교하면 알 수 있는 바와 같이, 유사도 어텐션 매트릭스 생성부(790)와 도 1에 나타내는 인과관계 어텐션 매트릭스 생성부(90)는 아주 유사한 구조를 갖는다.

도 13을 참조하여, 유사도 어텐션 매트릭스 생성부(790)는 질문 접수부(50)로부터의 질문(130), 및 응답 패시지 기억부(80)에 기억된 응답 패시지의 각각의 조합마다, 그것들에 포함되는 내용어를 모두 추출하기 위한 단어 추출부(820)와, 단어 추출부(820)에 의해 추출된 질문의 단어를 가로축에, 응답 패시지의 단어를 세로축에 배치하고, 가로축 및 세로축의 교차 위치에, 그 위치에 대응하는 2단어의 유사도를 유사도 매트릭스 기억부(764)로부터 판독하여 배치한 유사도 매트릭스를 산출하는 제 3 매트릭스 산출부(822)와, 제 3 매트릭스 산출부(822)가 산출한 유사도 매트릭스로부터, 이하에 서술하는 방법으로 2개의 제 4 유사도 매트릭스를 산출하는 제 4 매트릭스 산출부(824)를 포함한다. 모든 유사도 매트릭스 내의 유사도의 값은 [0,1]의 범위에서 정규화되어 있다.

제 4 매트릭스 산출부(824)에 의한 2개의 제 4 유사도 매트릭스의 생성 방법은, 도 3에 나타내는 제 2 매트릭스(180 및 182)의 생성 방법과 같다. 따라서, 여기에서는 그 상세한 것은 반복하지 않는다.

도 14에 뉴럴 네트워크(792)의 개략 구성을 나타낸다. 도 14에 나타내는 뉴럴 네트워크(792)의 구성은, 도 4에 나타내는 뉴럴 네트워크(92)의 구성과 거의 같다. 뉴럴 네트워크(792)가 뉴럴 네트워크(92)와 다른 것은, 도 4의 입력층(200) 대신에 입력층(900)을 가지는 것이다. 입력층(900)의 제 3 컬럼 및 제 4 컬럼은 입력층(200)의 것과 같다. 입력층(900)의 제 1 컬럼(C1) 및 제 2 컬럼(C2)은, 각각 질문 및 응답 패시지를 구성하는 단어열의 입력을 받고, 그것들을 단어 벡터로 변환하는 기능과, 상술한 인과관계 어텐션과 유사도 어텐션을 요소마다 더한 값에 의해 각 단어 벡터에 가중치 부여를 행하는 기능(910)을 가지는 점에서 입력층(200)과 다르다. 본 실시형태에서는, 인과관계 어텐션과 유사도 어텐션의 대응하는 요소의 쌍방에 가중치를 가한 후에 양자를 가산하기로 하고 있다. 이 가중치는 뉴럴 네트워크(792)의 학습 파라미터의 일부를 이룬다. 이것 이외의 점에서는 뉴럴 네트워크(792)는 도 4에 나타내는 뉴럴 네트워크(92)와 동일한 구성이다. 따라서 그들 공통되는 부분에 대한 설명은 여기에서는 반복하지 않는다.

〔동작〕

이 제 2 실시형태에 따른 논팩토이드형 질의응답 시스템(730)은 이하와 같이 동작한다.

학습시의 논팩토이드형 질의응답 시스템(730)의 동작은 논팩토이드형 질의응답 시스템(30)과 같다. 단, 학습에 앞서, 의미 벡터 산출부(758) 및 유사도 산출부(762)가 웹 아카이브 기억부(56)에 기억된 텍스트로부터 유사도 매트릭스를 산출하고, 유사도 매트릭스 기억부(764)에 기억하는 점이 다르다. 또한, 논팩토이드형 질의응답 시스템(730)에 있어서는 웹 아카이브 기억부(56)에 기억된 텍스트로부터 산출되는 유사도 매트릭스와 상호정보량 매트릭스에 의거하여, 학습 데이터의 질문과 응답 패시지의 조합마다 유사도 어텐션과 인과관계 어텐션을 계산하고, 이것들을 동시에 사용해서 뉴럴 네트워크(792)의 학습을 행하는 점에서도 논팩토이드형 질의응답 시스템(730)의 학습은 논팩토이드형 질의응답 시스템(30)의 학습과 다르다.

학습은 학습 데이터를 반복해 사용해서 뉴럴 네트워크(792)의 파라미터를 반복해 갱신하고, 파라미터의 변화량이 소정의 임계값보다 작아진 시점에서 종료한다. 단, 학습의 종료 타이밍은 그것에만 한정되는 것은 아니다. 예를 들면 같은 학습 데이터를 이용하여 소정 횟수의 학습을 행한 시점을 종료로 해도 된다.

가동시의 논팩토이드형 질의응답 시스템(730)의 동작도 유사도 어텐션을 사용하는 것을 제외하고, 제 1 실시형태의 논팩토이드형 질의응답 시스템(30)과 같다. 보다 구체적으로는, 도 12에 나타내는 질문 접수부(50), 응답 수신부(52), 응답 패시지 기억부(80), 인과관계 표현 추출부(82), 응답 내 인과관계 표현 기억부(84), 관련 인과관계 표현 추출부(86), 관련 인과관계 표현 기억부(88), 및 인과관계 어텐션 처리부(40)는 제 1 실시형태와 마찬가지로 동작한다.

의미 벡터 산출부(758) 및 유사도 산출부(762)는 미리 유사도 매트릭스를 생성해 유사도 매트릭스 기억부(764)에 기억해 둔다.

질문(32)이 논팩토이드형 질의응답 시스템(730)에 주어지면, 제 1 실시형태와 같이 그 질문에 대한 응답 패시지가 질의응답 시스템(34)으로부터 모아지고, 그것들로부터 추출된 응답 내 인과관계 표현이 응답 내 인과관계 표현 기억부(84)에 기억된다. 마찬가지로, 웹 아카이브 기억부(56)로부터 아카이브 인과관계 표현이 추출되고, 응답 패시지와 질문(130)에 의거하여 관련 인과관계 표현이 아카이브 인과관계 표현으로부터 추출되고, 관련 인과관계 표현 기억부(88)에 기억된다.

질문(130)으로부터 얻어진 단어와 응답 패시지로부터, 인과관계 어텐션 매트릭스가 인과관계 어텐션 매트릭스 생성부(90)에 의해 생성된다. 마찬가지로, 유사도 어텐션 매트릭스가 유사도 어텐션 매트릭스 생성부(790)에 의해 생성된다. 이들 어텐션은 뉴럴 네트워크(792)에 주어진다. 뉴럴 네트워크(792)는 질문과 응답 패시지를 구성하는 단어의 각각을 입력으로서 받고, 인과관계 어텐션과 유사도 어텐션을 가산한 가중치 부여를 해서 뉴럴 네트워크의 숨겨진 층에 입력한다. 이 결과, 그 페어에 대한 스코어가 뉴럴 네트워크(792)로부터 출력된다.

응답 패시지의 각각과 질문의 페어의 모두에 대해서 이렇게 해서 스코어를 산출하고, 스코어의 상위의 것을 응답후보 기억부(66)에 기억한다. 이하, 응답후보 랭킹부(68)에 의해 응답후보를 랭킹하고, 랭킹의 상위의 응답후보를 응답(36)으로서 출력한다.

도 15에, 이 제 2 실시형태에 따른 논팩토이드형 질의응답 시스템(730)을 컴퓨터에 의해 실현하기 위한 컴퓨터 프로그램의 제어 구조를 플로우차트 형식으로 나타낸다. 도 15에 나타내는 프로그램이 도 7에 나타내는 제 1 실시형태의 것과 다른 것은, 도 7의 처리 494 대신에 일반의 문맥에 의한 어텐션을 계산하기 위한 스텝을 포함하는 처리 950을 포함하는 점이다.

처리 950은 처리 494와 비교하면, 처리 494의 스텝 508 대신에 2개의 2차원의 배열을 준비하는 스텝 952와, 스텝 952로부터 스텝 510과 따로 분기되고, 제 3 매트릭스를 산출하는 스텝 954과, 스텝 954에서 산출된 제 3 매트릭스에 의거하여, 도 3에 나타내는 방법과 같은 방법으로 2개의 제 4 매트릭스를 산출하는 스텝 956을 포함하는 점과, 도 7의 스텝 514 대신에 스텝 500의 출력, 스텝 504의 출력, 스텝 512의 출력, 및 스텝 956의 출력을 뉴럴 네트워크(792)에 주는 스텝 958을 포함하는 점이 다르다.

이 제 2 실시형태에서는 뉴럴 네트워크(792)의 제 1 컬럼에는 질문 접수부(50)가 접수한 질문이 주어진다. 제 2 컬럼에는 처리 중의 응답 패시지가 주어진다. 제 3 컬럼에는 응답 내 인과관계 표현 기억부(84)에 기억된, 처리 중의 응답 패시지로부터 추출한 모든 응답 내 인과관계 표현이 소정의 구획 문자를 개재해서 연결해서 주어진다. 제 4 컬럼에는 관련 인과관계 표현 기억부(88)에 기억된, 처리 중의 응답 패시지에 관련되는 인과관계 표현이 주어진다.

이것들은 모두 뉴럴 네트워크(792)의 입력층(900)에 있어서 단어 임베딩 벡터로 변환된다. 제 1 컬럼의 질문과 제 2 컬럼의 응답 패시지를 구성하는 각 단어의 단어 임베딩 벡터에 대해서는, 상호정보량 매트릭스 ^A_q 및 ^A_p로부터 얻어진 가중치에, 제 3 매트릭스 및 제 4 매트릭스로부터 얻어진 가중치를 요소마다 가산한 것이 곱해진다.

〔실험 결과〕

제 1 실시형태에 대해서 도 8에 나타낸 것과 다른 조건이기는 하지만, 베이스라인, 제 1 실시형태의 시스템, 및 제 2 실시형태의 시스템에 의해 얻어진 응답의 정확도를 도 16에 표형식으로 나타낸다.

도 16에 있어서, OH13은 도 8에 나타낸 것과 같은 방법으로, 본 실험의 베이스라인이 되는 것이다. 도 8과 마찬가지로, 도 16으로부터도 알 수 있는 바와 같이, 베이스라인의 방법과 비교하여 제 1 실시형태는 상당한 성능향상을 초래하고 있다. 그러나, 제 2 실시형태에 의하면, 제 1 실시형태와 비교해서 한층더 높은 정확도가 얻어졌다.

또한, 도 16에 결과를 나타내는 실험은, 17,000건의 질문·응답쌍(850 질문 에 대한 20건의 응답후보)에 대해서, 10-fold Cross Validation(학습:15,000건, 개발:1,000건, 평가:1,000건)을 행한 결과이다. 도 16에 있어서, 「P＠1」은 최상위결과의 정확도를 나타내고, 「MAP」은 상위 20건 전체의 품질을 나타낸다. 또한, 도 8의 실험과는, 10-fold Cross Validation을 가고 있는 점이 다르다.

이상과 같이, 본 발명의 제 1 실시형태 및 제 2 실시형태에 의하면, 종래의 방법에 대하여 매우 높은 정확도로 논팩토이드형의 질문에 대한 응답을 얻을 수 있다. 예를 들면 공장의 제조라인에서 생긴 문제, 최종적으로 얻어진 제품에 생긴 문제, 소프트웨어의 시험에서 생긴 문제, 어떠한 실험 과정에서 생긴 문제 등을 학습 데이터로 해서 이들 질의응답 시스템을 구축함으로써, 다양한 실제적인 질문에 대한 유용한 응답을 얻을 수 있다. 그 결과, 공장에 있어서의 생산 효율의 향상, 공업제품 및 소프트웨어의 효율적인 설계, 실험 계획의 효율화 등이 초래되고, 산업의 발전에 큰 공헌을 할 수 있다. 또한, 용도로서는 제조업에 한하지 않고, 교육 분야, 고객대응, 관청에 있어서의 자동응답, 소프트웨어의 조작 설명 등의 서비스에의 적용도 가능하다.

제 2 실시형태에서는 인과관계 어텐션과 유사도 어텐션의 2종류의 어텐션을 동시에 사용하고 있다. 그러나 본 발명은 그러한 실시형태에는 한정되지 않는다. 어플리케이션에 따라 또 다른 종류의 어텐션을 사용해도 된다. 예를 들면, 일본 특허공개 2015-121896호 공보에 개시되어 있는 이하와 같은 관계를 이용한 어텐션을 채용할 수 있다. 또한, 인과관계 어텐션 또는 유사도 어텐션의 어느 한쪽 또는 쌍방 대신에, 상기 관계의 어느 한쪽 또는 2종류 이상의 어텐션을 사용할 수도 있다.

-재료관계(예: <A로 B를 생산한다>, (옥수수, 바이오 연료) 등)

-필요관계(예: <A는 B에 필수적이다>, (일광, 광합성) 등)

-사용관계(예: <A를 B에 사용한다>, (iPS 세포, 재생 의료) 등)

-예방관계(예: <A로 B를 막는다>, (백신, 인플루엔자) 등)

이러한 의미적 관계를 이용함으로써, 예를 들면 「왜 인플루엔자에 백신을 사용할 수 있는 것인가?」, 「 왜 iPS 세포가 주목받는 것인가?」, 「 왜 식물에 일광이 필요한 것인가?」 등의 질문(각각, 예방관계, 사용관계, 필요관계에 대응)에 보다 높은 정확도로 응답이 가능해진다.

이러한 관계에 의한 어텐션에 대해서는 인과관계 어텐션과 마찬가지로 해서 취득할 수 있다. 이들 관계를 나타내는 표현을 취득하는 방법으로서는, 상기한 일본 특허공개 2015-121896호 공보에 기재된 것을 사용할 수 있다. 즉, 의미적 관계 패턴을 추출할 때의 소스가 되는, 특정의 패턴(이것을 시드 패턴이라고 부른다.) 그룹과 단어의 의미 클래스 정보를 데이터베이스에 기억해 둔다. 웹 아카이브 기억부(56)로부터, 이들 데이터베이스에 기억된 시드 패턴과 유사한 패턴을 추출함으로써 의미적 관계 패턴의 데이터베이스를 구축한다. 그들 의미적 패턴에 합치하는 표현을 웹 아카이브로부터 수집하고, 수집된 표현의 집합 내에 있어서의 단어의 상호정보량을 계산해서 그 관계에 관한 어텐션 매트릭스를 생성한다. 또한, 질문 및 각 응답 패시지로부터도 마찬가지로 단어를 추출하고, 먼저 작성해 둔 어텐션 매트릭스로부터 도 3에 나타내는 것과 같은 방법으로 2개의 매트릭스를 생성하고, 이것들을 뉴럴 네트워크로의 입력의 각 단어로의 가중치로 한다.

또한, 어텐션으로서 3종류 이상을 사용할 경우, 도 12에 나타내는 분류부(754)와 같은 것을 관계마다 준비하고, 뉴럴 네트워크(792)의 컬럼수를 그것에 맞춰서 증가시켜도 좋다. 또는, 특정의 의미적 관계를 위한 분류부(754)만을 준비하고, 다른 의미적 관계에 대해서는 어텐션만을 계산하도록 하여도 좋다. 이 경우, 뉴럴 네트워크(792) 내부에서는 이들 어텐션을 요소마다 가산한 값을 각 단어에의 가중치로 하면 좋다.

[참고문헌 일람]

〔참고문헌 1〕 J.-H. Oh, K. Torisawa, C. Hashimoto, R. Iida, M. Tanaka, and J. Kloetzer. A semi-supervised learning approach to why-question answering. In Proceedings of AAAI ’16, pages 3022-3029,2016.

(산업상의 이용 가능성)

본 발명은 인간이 그 생활상에서 조우하는 다양한 문제에 대하여 그 응답을 줄 수 있기 때문에, 그러한 기능을 제공하는 장치를 제조하는 산업, 및 그러한 기능을 네트워크 상에서 사람들에게 제공하는 산업에 이용할 수 있다. 또한, 분야를 막론하고 산업활동 및 연구활동에 있어서 활동 주체가 직면하는 다양한 문제에 대하여 그 이유, 방법, 정의 등의 응답을 줄 수 있기 때문에, 전체 산업 및 전체 연구분야에 있어서 본 발명을 이용함으로써 산업활동 및 연구활동을 보다 원활하게, 또한 신속하게 진행시킬 수 있다.

이번 개시된 실시형태는 단지 예시이며, 본 발명이 상기한 실시형태에만 제한되는 것은 아니다. 본 발명의 범위는 발명의 상세한 설명의 기재를 참작한 뒤에, 청구범위의 각 청구항에 의해 나타내어지고, 거기에 기재된 문언과 균등한 의미 및 범위 내에서의 모든 변경을 포함한다.

30, 730 : 논팩토이드형 질의응답 시스템
32, 130 : 질문
34 : 질의응답 시스템
36 : 응답
40 : 인과관계 어텐션 처리부
50 : 질문 접수부
52 : 응답 수신부
54, 754 : 분류부
56 : 웹 아카이브 기억부
58, 82 : 인과관계 표현 추출부
60 : 아카이브 인과관계 표현 기억부
62 : 상호정보량 산출부
64 : 상호정보량 매트릭스 기억부
66 : 응답후보 기억부
68 : 응답후보 랭킹부
80 : 응답 패시지 기억부
84 : 응답 내 인과관계 표현 기억부
86 : 관련 인과관계 표현 추출부
88 : 관련 인과관계 표현 기억부
90 : 인과관계 어텐션 매트릭스 생성부
92, 792 : 뉴럴 네트워크
110 : 질문관련 아카이브 인과관계 표현 선택부
112 : 질문관련 인과관계 표현 기억부
114 : 랭킹부
120, 820 : 단어 추출부
122 : 제 1 매트릭스 산출부
124 : 제 2 매트릭스 산출부
150 : 명사 추출부
152 : 동사·형용사 추출부
154 : 제 1 검색부
156 : 제 2 검색부
170 : 상호정보량 매트릭스 A
180, 182 : 매트릭스
200, 900 : 입력층
202, 902 : 컨볼루션/풀링층
204, 904 : 출력층
208 : 단어 매칭
216, 916 : Softmax층
740 : 유사도 어텐션 처리부
758 : 의미 벡터 산출부
762 : 유사도 산출부
764 : 유사도 매트릭스 기억부
790 : 유사도 어텐션 매트릭스 생성부
822 : 제 3 매트릭스 산출부
824 : 제 4 매트릭스 산출부

Claims (12)

1. 문장 내에 출현하는 제 1 의미적 관계를 나타내는 표현에 착안하여 논팩토이드형의 질문에 대한 응답을 생성하는 논팩토이드형 질의응답 시스템으로서,
   상기 제 1 의미적 관계를 나타내는 복수개의 표현을 기억하는 제 1 표현 기억수단과,
   질문과 상기 질문에 대한 응답후보를 포함하는 복수개의 응답 패시지를 수신하는 질문·응답 수신수단과,
   상기 복수개의 응답 패시지의 각각으로부터 상기 제 1 의미적 관계를 나타내는 의미적 관계 표현을 추출하는 제 1 표현 추출수단과,
   상기 질문과 상기 복수개의 응답 패시지의 조합 각각에 대하여, 상기 제 1 표현 기억수단이 기억하고 있는 상기 복수개의 표현으로부터 상기 조합에 가장 관련되는 표현인 관련 표현을 선택하는 관련 표현 선택수단과,
   상기 질문, 상기 복수개의 응답 패시지, 상기 응답 패시지에 대한 상기 의미적 관계 표현, 및 상기 질문과 상기 응답 패시지의 조합에 대한 상기 관련 표현 중 하나로 이루어지는 조합의 각각을 입력으로서 받고, 상기 질문에 대한 응답을 상기 복수개의 응답 패시지 중에서 선택하도록 미리 기계학습에 의해 학습한 응답 선택수단을 포함하는 논팩토이드형 질의응답 시스템.
2. 제 1 항에 있어서,
   상기 질문과 상기 복수개의 응답 패시지의 조합 각각에 대하여, 상기 제 1 표현 기억수단이 기억한 상기 복수개의 표현 내에 있어서의 상기 질문에 출현하는 각 단어와 상기 응답 패시지에 출현하는 각 단어의 제 1 의미적 상관관계량을 산출하는 제 1 의미적 상관관계량 산출수단을 더 포함하고,
   상기 응답 선택수단은, 상기 질문, 상기 복수개의 응답 패시지, 상기 응답 패시지에 대한 상기 의미적 관계 표현, 및 상기 질문과 상기 응답 패시지의 조합에 대한 상기 관련 표현의 조합을 입력으로서 받고, 입력 중의 각 단어에 대한 가중치로서 상기 제 1 의미적 상관관계량을 이용하여 상기 응답 패시지가 상기 질문에 대한 응답인 척도를 나타내는 평가값을 산출해 출력하도록 미리 기계학습에 의해 학습한 평가수단과,
   상기 복수개의 응답 패시지의 각각에 대하여 상기 평가수단이 출력하는 상기 평가값을 이용하여 상기 복수개의 응답 패시지 중 어느 하나를 상기 질문에 대한 응답으로서 선택하는 선택수단을 포함하는 논팩토이드형 질의응답 시스템.
3. 제 1 항 또는 제 2 항에 있어서,
   문서 아카이브로부터, 상기 제 1 의미적 관계를 나타내는 표현을 추출해서 상기 제 1 표현 기억수단에 격납하는 제 1 의미적 관계 표현 추출수단을 더 포함하는 논팩토이드형 질의응답 시스템.
4. 제 2 항에 있어서,
   상기 제 1 의미적 상관관계량 산출수단은,
   상기 제 1 표현 기억수단이 기억한 상기 제 1 의미적 관계를 나타내는 복수개의 표현에 포함되는 단어쌍의 상기 제 1 의미적 상관관계량을, 각 단어쌍에 대하여 산출해 기억하는 제 1 의미적 상관관계량 기억수단과,
   상기 질문과 상기 복수개의 응답 패시지의 조합 각각에 대해서, 상기 질문 내의 단어와 상기 응답 패시지 내의 단어의 쌍마다 상기 제 1 의미적 상관관계량을 상기 제 1 의미적 상관관계량 기억수단으로부터 판독하고, 한쪽의 축에 상기 질문 내의 단어가 배열되고, 다른쪽의 축에 상기 응답 패시지 내의 단어가 배열된 매트릭스로서, 상기 한쪽의 축과 상기 다른쪽의 축이 교차하는 위치의 셀에 상기 위치에 대응하는 단어끼리의 상기 제 1 의미적 상관관계량이 각각 배치된 제 1 매트릭스를 생성하는 제 1 매트릭스 생성수단과,
   상기 제 1 매트릭스의 상기 한쪽의 축에 배치된 각 단어에 대하여, 상기 다른쪽의 축 방향으로 배치된 상기 제 1 의미적 상관관계량의 최대값을 기억하는 제 1 단어-문장 매트릭스, 및 상기 제 1 매트릭스의 상기 다른쪽의 축에 배치된 각 단어에 대하여, 상기 한쪽의 축 방향으로 배치된 상기 제 1 의미적 상관관계량의 최대값을 기억하는 제 2 단어-문장 매트릭스로 이루어지는 2개의 제 2 매트릭스를 생성하는 제 2 매트릭스 생성수단을 포함하고,
   상기 응답 선택수단에 주어지는 상기 질문 내에 출현하는 단어의 각각에 대하여는 상기 제 1 단어-문장 매트릭스의 상기 제 1 의미적 상관관계량을, 상기 응답 패시지 내에 출현하는 단어의 각각에 대하여는 상기 제 2 단어-문장 매트릭스의 상기 제 1 의미적 상관관계량을 각각 사용해서 가중치 부여를 하기 위한 수단을 더 포함하는 논팩토이드형 질의응답 시스템.
5. 제 4 항에 있어서,
   상기 2개의 제 2 매트릭스에 기억되는 상기 제 1 의미적 상관관계량의 각각은 소정의 구간에서 정규화되어 있는 논팩토이드형 질의응답 시스템.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   상기 제 1 의미적 관계는 인과관계인 논팩토이드형 질의응답 시스템.
7. 제 6 항에 있어서,
   상기 인과관계를 나타내는 표현의 각각은 원인부와 결과부를 포함하고,
   상기 관련 표현 선택수단은,
   상기 질문으로부터 명사, 동사 및 형용사를 추출하는 제 1 단어 추출수단과,
   상기 제 1 표현 기억수단이 기억하고 있는 표현으로부터 상기 제 1 단어 추출수단이 추출한 명사를 상기 결과부에 모두 포함하는 것을 소정 개수만큼 선택하는 제 1 표현 선택수단과,
   상기 제 1 표현 기억수단이 기억하고 있는 표현으로부터 상기 제 1 단어 추출수단이 추출한 명사를 모두 포함하고, 또한, 상기 제 1 단어 추출수단이 추출한 동사 또는 형용사를 적어도 1개만 상기 결과부에 포함하는 것을 소정 개수만큼 선택하는 제 2 표현 선택수단과,
   상기 복수개의 응답 패시지의 각각에 대해서 상기 제 1 표현 선택수단 및 상기 제 2 표현 선택수단이 선택한 표현 중에서, 상기 응답 패시지와 공통되는 단어를 상기 결과부에 가지고, 또한 상기 공통되는 단어에 대한 가중치 부여에 의해 산출되는 스코어에 의해 상기 응답 패시지와 가장 관련이 높다고 판정되는 것을 선택하는 관련 인과관계 표현 선택수단을 포함하는 논팩토이드형 질의응답 시스템.
8. 제 2 항에 있어서,
   상기 논팩토이드형 질의응답 시스템은, 문장 내에 출현하는 상기 제 1 의미적 관계를 나타내는 표현과 제 2 의미적 관계를 나타내는 표현에 착안함으로써 논팩토이드형의 질문에 대한 응답을 생성하는 논팩토이드형 질의응답 시스템으로서,
   상기 제 2 의미적 관계를 나타내는 복수개의 표현을 기억하는 제 2 표현 기억수단과,
   상기 질문과 상기 복수개의 응답 패시지의 각각의 조합에 대하여, 상기 제 2 표현 기억수단이 기억한 상기 복수개의 표현 내에 있어서의 상기 질문에 출현하는 각 단어와 상기 응답 패시지에 출현하는 각 단어의 상관관계를 나타내는 제 2 의미적 상관관계량을 산출하는 제 2 의미적 상관관계량 산출수단을 더 포함하고,
   상기 평가수단은, 상기 질문, 상기 복수개의 응답 패시지, 상기 응답 패시지에 대한 상기 제 1 표현 추출수단이 추출한 상기 의미관계 표현, 및 상기 질문과 상기 응답 패시지에 대한 상기 관련 표현의 조합을 입력으로서 받고, 입력 중의 각 단어에 대한 가중치로서 상기 제 1 의미적 상관관계량과 상기 제 2 의미적 상관관계량을 사용함으로써 상기 평가값을 출력하도록 미리 기계학습에 의해 학습한 뉴럴 네트워크를 포함하는 논팩토이드형 질의응답 시스템.
9. 제 8 항에 있어서,
   상기 제 2 의미적 관계는 특정의 의미적 관계에 한정되지 않는 통상의 의미적 관계이며,
   상기 제 2 표현 기억수단은 무작위로 수집된 표현을 기억하는 논팩토이드형 질의응답 시스템.
10. 컴퓨터를, 제 1 항 내지 제 9 항 중 어느 한 항에 기재된 각 수단으로서 기능시키는 컴퓨터 프로그램.
11. 문장 내에 출현하는 소정의 제 1 의미적 관계를 나타내는 표현에 착안함으로써 논팩토이드형의 질문에 대한 응답을 생성하는, 컴퓨터에 의해 실현되는 논팩토이드형 질문에 대한 응답 방법으로서,
    상기 컴퓨터가 상기 제 1 의미적 관계를 나타내는 복수개의 표현을 기억한 제 1 기억장치와 통신 가능하게 접속하는 스텝과,
    상기 컴퓨터가 질문과 상기 질문에 대한 응답후보를 포함하는 복수개의 응답 패시지를 입력장치를 통해서 수신하는 스텝과,
    상기 컴퓨터가 상기 복수개의 응답 패시지의 각각으로부터 상기 제 1 의미적 관계를 나타내는 표현을 추출하는 스텝과,
    상기 컴퓨터가 상기 질문과 상기 복수개의 응답 패시지의 조합 각각에 대하여, 상기 제 1 표현 기억수단이 기억한 상기 복수개의 표현으로부터 상기 조합에 가장 관련되는 표현을 선택하는 스텝과,
    상기 컴퓨터가 상기 질문, 상기 복수개의 응답 패시지, 상기 추출하는 스텝에 있어서 추출된 복수개의 표현, 및 상기 선택하는 스텝에 있어서 선택된 표현 중 하나로 이루어지는 조합 각각을, 상기 질문에 대한 응답을 상기 복수개의 응답 패시지 중에서 선택하도록 미리 기계학습에 의해 학습한 응답 선택수단에 입력해서 그 출력을 얻음으로써 상기 질문에 대한 응답을 생성하는 스텝을 포함하는 논팩토이드형 질문에 대한 응답 방법.
12. 제 11 항에 있어서,
    상기 컴퓨터가, 상기 질문과 상기 복수개의 응답 패시지의 조합 각각에 대하여, 상기 제 1 표현 기억수단이 기억한 상기 복수개의 표현 내에 있어서의 상기 질문에 출현하는 각 단어와 상기 응답 패시지에 출현하는 각 단어의 상관관계를 나타내는 제 1 의미적 상관관계량을 산출하는 스텝을 더 포함하고,
    상기 선택하는 스텝은, 상기 컴퓨터가 상기 질문, 상기 복수개의 응답 패시지, 상기 응답 패시지로부터 상기 추출하는 스텝에 있어서 추출된 상기 표현, 및 상기 질문과 상기 응답 패시지에 대하여 상기 선택 스텝에 있어서 선택된 상기 표현의 조합 각각을, 상기 응답 패시지가 상기 질문에 대한 응답인 척도를 나타내는 평가값을 산출해 출력하도록 미리 기계학습에 의해 학습한 평가수단에 입력으로서 주는 스텝을 포함하고,
    상기 평가수단은, 상기 평가값의 산출에 있어서 상기 입력 중의 각 단어에 대한 가중치로서 상기 제 1 의미적 상관관계량을 사용하고,
    상기 방법은 또한, 상기 컴퓨터가 상기 복수개의 응답 패시지의 각각에 대하여 상기 평가수단이 출력하는 상기 평가값을 이용하여 상기 복수개의 응답 패시지 중 어느 하나를 상기 질문에 대한 응답으로서 선택하는 스텝을 포함하는 논팩토이드형 질문에 대한 응답 방법.

Images