WO2017010652A1 - 자동질의응답 방법 및 그 장치 - Google Patents
자동질의응답 방법 및 그 장치 Download PDFInfo
- Publication number
- WO2017010652A1 WO2017010652A1 PCT/KR2016/002275 KR2016002275W WO2017010652A1 WO 2017010652 A1 WO2017010652 A1 WO 2017010652A1 KR 2016002275 W KR2016002275 W KR 2016002275W WO 2017010652 A1 WO2017010652 A1 WO 2017010652A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- query
- sentence
- query sentence
- response
- natural language
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
Definitions
- the present invention relates to an automatic query response method and apparatus, and more particularly, to an automatic query response method and apparatus for grasping an information request from a natural language query sentence and extracting information suitable for the information request from a database based on a knowledge base. It is about.
- the knowledge base is composed of triples of ⁇ objects, relationships and entities>, which are atomic forms of fragmentary knowledge. This triple can be used as a resource for solving the user's information needs.
- the source of information in the automatic query response method based on the existing technology of information retrieval is large text. Because the paragraphs retrieved from these large tests are provided as a response to an information request, an automated query response method based on information retrieval can add text to broaden the resolution of the information request, but the accuracy of the response is relatively low. low.
- the knowledgebase-based automatic query response method is relatively accurate because a suitable response is retrieved from a highly structured knowledgebase.
- the range of the knowledge base-based automatic query response method is relatively narrow. Because of these characteristics, knowledge base based automatic query response and information retrieval based automatic query response can complement each other.
- An object of the present invention for solving the above problems is to provide an automatic query response method and apparatus for grasping an information request from a natural language query sentence and extracting information suitable for the information request from a database based on a knowledge base. .
- the automatic query response method comprises the steps of: splitting the input natural language query sentence into one or more phrases; Converting a word included in each of the phrases into a formal language; Generating a first query sentence by combining the phrases converted into a formal language according to a predefined grammar relating to the formal language; And extracting a first response sentence for the first query sentence from a database composed of a plurality of query sentence-response sentences expressed in the formal language, based on a database composed of a plurality of sample query sentences. Extracting a query pattern corresponding to the natural language query sentence from a predefined query pattern; Generating a second query sentence by applying a template corresponding to the extracted query pattern to the natural language query sentence; And extracting a second response sentence for the second query sentence.
- the automatic query response method may further include displaying the first response sentence, but additionally displaying the second response sentence.
- the dividing into the phrase may include dividing the natural language query sentence into word units; And generating the phrase by combining the words, but the existing word may be omitted in the combining process.
- the formal language may express the natural language query sentence in a formalized structure that is not sensitive to word order or vocabulary changes.
- the word may be converted into an attribute and an entity name of the formal language.
- the generating of the first query sentence may include: generating one or more query sentence candidates expressed in the formal language; And selecting, as the first query sentence, a query sentence candidate having the highest sum of similarities evaluated as air information of a formal language included in the query sentence candidate.
- a candidate evaluation model trained based on a database composed of pairs of natural language query sentence-correct query sentences may be used.
- the extracting of the query pattern may include whether the natural language query sentence includes a predefined phenotype, and whether the chunk includes a predefined vocabulary when the natural language query sentence is analyzed in chunks.
- the query pattern may be extracted in consideration of at least one of the number of chunks and the type of the chunks.
- the template may include: a slot information template for extracting slot information about a formal language corresponding to the natural language query sentence; And a query template for converting the natural language query sentence into the second query sentence using the slot information.
- the automatic query response apparatus generates a first query sentence expressed in a formal language from an input natural language query sentence, and comprises a database composed of a plurality of pairs of query sentence-response sentences expressed in a formal language.
- a semantic parsing module that extracts a first response sentence from the first query sentence from the first query sentence; And generating a second query sentence by applying a query template included in the query pattern corresponding to the natural language query sentence to the natural language query sentence among predefined query patterns, and generating a second response to the second query sentence from the database. It includes a query pattern template module to extract the.
- the semantic parsing module may include: a parser that divides the input natural language query sentence into word units and combines the words to generate one or more phrases, and omits existing words in the recombination process; A candidate generation module for converting the phrase into a formal language phrase expressed in a formal language and generating one or more query sentence candidates by combining the formal language syntax based on a predefined grammar relating to the formal language; A candidate evaluation module that selects, as a first query sentence, a query sentence candidate having the highest sum of similarities evaluated as air information of a formal language included in the query sentence candidate; And an output module that extracts a first response sentence for the first query sentence.
- the query pattern template module may include a pattern extraction module configured to extract a query pattern corresponding to the natural language query sentence from a predefined query pattern; A template application module for generating a second query sentence by applying a template included in the query pattern to the natural language query sentence; And an output module for extracting a second response to the second query sentence.
- the automatic query response device may further include a display unit that primarily displays the first response sentence and additionally displays the second response sentence.
- the formal language may express the natural language query sentence in a formalized structure that is not sensitive to word order or vocabulary changes.
- the candidate generation module may convert the word into an attribute and an entity name of a formal language.
- the output module is a query that conforms to the SPARQL standard, which is a standard that can query the database consisting of a plurality of query sentence-response sentences expressed in the formal language of the first query sentence or the second query sentence. Can be converted to a sentence.
- SPARQL standard is a standard that can query the database consisting of a plurality of query sentence-response sentences expressed in the formal language of the first query sentence or the second query sentence. Can be converted to a sentence.
- the candidate evaluation module may use a candidate evaluation model learned through a database composed of pairs of the natural language query sentence and the correct sentence sentence to evaluate the query sentence candidate.
- the pattern extraction module may include whether the natural language query sentence includes a predefined phenotype, whether the chunk includes a predefined vocabulary when the natural language query sentence is analyzed in chunks, and the chunk.
- the query pattern may be extracted in consideration of at least one of the number of and the type of the chunk.
- the template may include: a slot information template for extracting slot information about a formal language corresponding to the natural language query sentence; And a query template for converting the natural language query sentence into the second query sentence using the slot information.
- a response having a high degree of suitability can be output by grasping a user's information request even in a variation such as a change in word order or a change in a vocabulary of a natural language query sentence.
- FIG. 1 is a block diagram of an automatic query response device according to an embodiment of the present invention.
- FIG. 2 is a flowchart illustrating an automatic query response method according to an embodiment of the present invention.
- first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
- the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
- FIG. 1 is a block diagram of an automatic query response device according to an embodiment of the present invention.
- an automatic query response system includes an automatic query response device 100, a database 200, a candidate evaluation model trainer 310, and a candidate evaluation model 320.
- the database 200 includes a database composed of a pair of query sentence-response sentences expressed in a formal language, a database composed of a plurality of sample query sentences, a database composed of a pair of natural language query sentence-correct query sentences, and a natural language-attribute. It may include a dictionary database such as a dictionary or entity name dictionary.
- the database 200 according to the embodiment of the present invention means a database in the form of a knowledge base.
- the automatic query response apparatus 100 includes a semantic parsing module 110 and a query pattern template module 120.
- the semantic parsing module 110 generates a first query sentence expressed in a formal language from an input natural language query sentence, and generates a first query sentence from a database composed of a plurality of pairs of query sentence-response sentences expressed in the formal language.
- the first response sentence may be extracted.
- the query pattern template module 120 generates a second query sentence by applying the query template included in the query pattern corresponding to the natural language query sentence to the natural language sentence from among the predefined query patterns, and from the database 200, the second query sentence. A second response to may be extracted.
- the process of extracting the first response sentence by the semantic parsing module 110 and the process of extracting the second response sentence by the query pattern template module 120 may occur simultaneously or sequentially regardless of the order.
- the automatic query response apparatus 100 may simultaneously display or sequentially display the first response sentence and the second response sentence to the user using a display unit (not shown).
- the automatic query response apparatus 100 may display a second response sentence that is distinguished from the first response sentence according to the input natural language query sentence. Accordingly, the user may identify the first response sentence as a response to the natural language query sentence, and may check and refer to the second response sentence if the first response sentence is not suitable as a response. Therefore, from the user's point of view, the template module 120 may play an additional role of extracting a second response regarding the natural language query sentence.
- the semantic parsing module 110 may include a parser 111, a candidate generation module 112, a candidate evaluation module 113, and an output module 114.
- the semantic parsing module 110 may derive a formal semantic expression from a natural language query sentence.
- Formal semantic representations of natural language query sentences may be represented by a formal language.
- the formal language may express a natural language query sentence in a formal structure that is not sensitive to word order or vocabulary changes.
- the semantic parsing module 110 may generate the first query sentence expressed in the formal language from the natural language query sentence using the formal language.
- the semantic parsing module 110 generates a first query sentence expressed in a formal language from an input natural language query sentence, and generates a first query from a database composed of a plurality of query sentence-response sentences expressed in the formal language. The first response to the sentence may be extracted.
- the parser 111 divides the input natural language query sentence into word units and combines each word again to generate one or more phrases. In this process, the parser 111 may omit an existing word included in a natural language query sentence. That is, words that do not significantly affect the meaning of words constituting the natural language query sentence may be omitted.
- the phrase refers to a sequence of words forming a natural language query sentence. In generating the phrase, the order of the words appearing in the natural language query sentence should be maintained. For example, if a natural query statement is "who is the wife of abraham lincoln?", A phrase such as "who", "is”, ..., "who is” may be generated.
- the candidate generation module 112 may generate one or more query sentence candidates by converting the generated syntax into a formal language syntax expressed in a formal language, and combining the formal language syntax based on a grammar relating to a predefined formal language. have. That is, the natural language query sentence divided into a plurality of phrases in the parser module 111 may be converted into a knowledge base vocabulary, which is a formal language corresponding to a portion corresponding to an entity name and a portion corresponding to an attribute in the candidate generation module 112. Can be.
- a word having a higher similarity evaluated by air (co-occurrence) information included in the dictionary database may be selected.
- air refers to a phenomenon in which a word and a word are used together in a single document or sentence. In other words, form, morpheme, phoneme, phoneme and so on appear in the same sentence, phrase, or word without grammatical deviation.
- the grammatical elements that have a favorable relationship are called air expressions and such a relationship is called air relations.
- one or more query sentence candidates corresponding to the formal semantic expression may be generated according to a compound grammar between knowledge base vocabularies, which are grammars for the formal language.
- the dictionary database used for the knowledge base lexical conversion may include a natural language-property dictionary and an entity name dictionary.
- Natural language-property dictionaries are dictionary databases that represent natural language phrases and knowledgebase attribute vocabulary. Information is extracted from a large amount of text by an information extraction tool, and the extracted information and the actual knowledge base are aligned to generate a pair of natural language phrases and attribute vocabulary, and the obtained air information is used for similarity evaluation.
- the entity name dictionary is a dictionary database constructed by collecting a knowledge base entity name vocabulary.
- a concatenation rule dictionary is a dictionary that includes a few derivation rules for synthesizing from the minimum unit form semantic representation of a statement to a formal semantic representation representing the entire query statement.
- the candidate evaluation module 113 may select, as the first query sentence, a query sentence candidate having the highest sum of similarities evaluated as air information of a formal language included in the query sentence candidate. That is, the candidate evaluation module 113 has a formal semantic expression that is evaluated as having the highest similarity as the sum of similarity previously evaluated by the air information with respect to the formal semantic expression of the query sentence candidate generated by the candidate generation module 112.
- the query sentence may be selected as the first query sentence.
- the candidate evaluation module 113 may use a candidate evaluation model learned through a database composed of pairs of natural language question sentence-correct query sentences to evaluate a query sentence candidate.
- the output module 114 converts the first query sentence or the second query sentence into a query sentence that conforms to the SPARQL standard, which is a standard for querying a database composed of a plurality of query statement-response sentences expressed in a formal language. Can be.
- the candidate evaluation model trainer 310 trains the candidate evaluation model 320. That is, the candidate evaluation model trainer 310 may play a role of learning a model for evaluating a candidate of formal semantic expression in a machine learning method from a database composed of pairs of natural language sentence-correct query sentences.
- the query pattern template module 120 extracts a response from the database by extracting a query pattern corresponding to the input natural language query sentence from a plurality of sample query sentences and applying a template included in the query pattern to the natural language query sentence. do.
- the query pattern template module 120 may include a pattern extraction module 121, a template application module 122, and an output module 123.
- the pattern extraction module 121 checks the feature values from the natural language query sentence and extracts a query pattern in which the feature values match.
- the pattern extraction module 121 is a feature value, and whether the natural language query sentence includes a predefined phenotype, and if the natural language query sentence is analyzed in chunks, whether the chunk includes a predefined vocabulary.
- the query pattern may be extracted in consideration of at least one of the number of chunks and the type of chunks.
- the chunk may be composed of words in a sentence that are semantically or grammatically related to each other.
- a chunk means a sequence of words in a sentence including a core vocabulary representing a function or a role.
- the template application module 122 may convert a natural language query sentence into a second query sentence expressed in a formal language by applying a template corresponding to the extracted query pattern to the natural language query sentence.
- the template applied here may include a slot information template for extracting slot information about a formal language corresponding to a natural language query sentence and a query template for converting a natural language query sentence into a second query sentence using slot information. .
- FIG. 2 is a flowchart illustrating an automatic query response method according to an embodiment of the present invention.
- the parser 111 may divide the input natural language query sentence into word units and combine the divided words to generate one or more phrases (S211).
- the parser 111 may omit the existing word in the recombination process.
- the candidate generation module 112 may generate one or more query sentence candidates by converting a word included in each phrase into a formal language and combining the formal language phrases based on the grammar of the predefined formal language (S212, S213).
- the candidate evaluation module 113 may select, as the first query sentence, a query sentence candidate having the highest sum of similarities evaluated as the cumulative change number of the formal language included in the query sentence candidate.
- the output module 114 may extract a first response sentence for the first query sentence from a database composed of a plurality of query sentence-response characters expressed in a formal language (S214).
- the automatic query response device 100 may perform the following procedure. That is, the automatic query response apparatus 100 may primarily display the first response sentence, but additionally display the second response sentence. The displaying of the second response sentence may be at the user's option.
- the pattern extraction module 121 may extract a query pattern corresponding to a natural language query sentence from a predefined query pattern based on a database composed of a plurality of sample query sentences (S221).
- the database consisting of a plurality of sample query sentences may be implemented in the form of a pattern dictionary.
- the pattern dictionary may be manually implemented in advance.
- One entry in the pattern dictionary includes a sentence pattern rule, a slot information template, and a query template.
- Sentence pattern rules are further divided into lexical patterns, chunk type patterns, and chunk patterns.
- Vocabulary patterns are rules that determine matching patterns through the presence of direct vocabulary.
- the chunk pattern is a rule for determining a matching pattern through the number and type of chunks obtained as a result of chunking a natural language query sentence.
- the pattern in the chunk is a rule for determining a matching pattern through whether or not a vocabulary having a part of speech included in the rule exists among the elements in the chunk.
- the template application module 122 may generate a second query sentence by applying a template included in the extracted query pattern to the natural language query sentence (S222).
- the output module 123 may extract a second response sentence for the second query sentence from a database composed of a plurality of query sentence-response sentences expressed in a formal language (S223).
- the automatic query response device 100 displays the first response to the first query sentence using the semantic parsing module 110 with respect to the input natural language query sentence, and additionally.
- the second response to the second query sentence may be displayed using the query pattern template module 120 for the natural language query sentence.
- the method of using the semantic parsing module 110 is suitable for a natural language query sentence in which various components are combined, and the method of using the query pattern template module 120 is suitable for a simple form of natural language query sentence. Therefore, according to the present invention, the response can be extracted by different methods according to the form of the natural language query sentence, and the response corresponding to the information request of the user can be output.
- the methods according to the invention can be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer readable medium.
- Computer-readable media may include, alone or in combination with the program instructions, data files, data structures, and the like.
- the program instructions recorded on the computer readable medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in computer software.
- Examples of computer readable media include hardware devices that are specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
- Examples of program instructions include machine language code, such as produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.
- the hardware device described above may be configured to operate with at least one software module to perform the operations of the present invention, and vice versa.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
자동질의응답 장치 및 그 방법이 개시된다. 자동질의응답 장치는, 입력된 자연어 질의 문장으로부터 형식 언어로 표현된 제1 질의 문장을 생성하고, 데이터베이스로부터 제1 질의 문장에 대한 제1 응답 문장을 추출하는 의미 파싱 모듈; 및 미리 정의된 질의 패턴 중에서 자연어 질의 문장이 해당하는 질의 패턴에 포함된 질의 템플릿을 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하고, 데이터베이스로부터 제2 질의 문장에 대한 제2 응답을 추출하는 질의 패턴 템플릿 모듈을 포함한다. 따라서, 자연어 질의 문장의 어순 변화나 어휘의 교체와 같은 변이에도 사용자의 정보 요구를 파악하여 적합도가 높은 응답을 출력할 수 있다.
Description
본 발명은 자동질의응답 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 자연어 질의 문장으로부터 정보 요구를 파악하고 해당 정보 요구에 적합한 정보를 지식베이스 기반의 데이터베이스에서 추출하는 자동질의응답 방법 및 그 장치에 관한 것이다.
최근 Freebase 또는 Dbpedia와 같은 커뮤니티 활동에 의한 대규모 지식베이스가 배포되었다. 지식베이스는 단편적인 지식의 원자적인 형태인 <개체, 관계, 개체>의 트리플로 구성되어 있다. 이러한 트리플은 사용자의 정보 요구 해결을 위한 자원으로 활용될 수 있다.
기존의 기술인 정보 검색에 기반하는 자동질의응답 방법의 정보원은 대규모 텍스트이다. 정보 요구에 대한 응답으로서 이러한 대규모 테스트로부터 검색된 문단이 제공되기 때문에, 정보 검색에 기반하는 자동질의응답 방법은 텍스트를 추가함으로써 정보 요구에 대한 해결 가능 범위를 넓힐 수 있으나, 상대적으로 그 응답의 정확도가 낮다.
이에 반해 지식베이스 기반의 자동질의응답 방법은, 고도로 구조화된 지식베이스로부터 적합한 응답이 탐색되기 때문에 정확도는 비교적 높다. 다만, 사람에 의해 직접 지식베이스 내로 내재화된 지식만이 대상이 되기 때문에, 지식베이스 기반의 자동질의응답 방법의 해결 가능 범위는 상대적으로 좁다. 이와 같은 특징 때문에 지식베이스 기반의 자동질의응답과 정보검색 기반의 자동질의응답은 상호 보완이 가능하다.
지식베이스 기반의 자동질의응답 시스템에서는 사용자의 질의에서 의도된 정보 요구에 적합한 데이터가 지식베이스 데이터베이스로부터 추출되는 것이 요구된다. 이를 위해서는 자연어 질의 문장으로부터 사용자가 의도한 정보 요구가 적절히 파악되어 이에 기반한 형식 언어 질의가 생성됨으로써 지식베이스 데이터베이스로부터 적합성이 높은 응답이 추출되는 것이 필요하다.
그런데, 지식베이스 기반의 자동질의응답 방법이 사용되는 경우에도 자연어 질의 문장의 성질로 인하여 입력된 자연어 질의 문장으로부터 사용자의 정보요구가 잘 파악되지 않는 오류가 발생하는 경우가 있을 수 있다. 이러한 오류는 자연어 질의 문장이 비교적 간단한 정보요구를 하는 경우에 발생할 수 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 자연어 질의 문장으로부터 정보 요구를 파악하고 해당 정보 요구에 적합한 정보를 지식베이스 기반의 데이터베이스에서 추출하는 자동질의응답 방법 및 그 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따르면, 자동질의응답 장치에서 수행되는 자동질의응답 방법에 있어서, 자동질의응답 방법은 입력된 자연어 질의 문장을 하나 이상의 구문으로 분할하는 단계; 상기 구문 각각에 포함된 단어를 형식 언어로 변환하는 단계; 미리 정의된 상기 형식 언어에 관한 문법에 따라 형식 언어로 변환된 상기 구문을 결합함으로써 제1 질의 문장을 생성하는 단계; 및 상기 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 상기 제1 질의 문장에 대한 제1 응답 문장을 추출하는 단계를 포함하되, 복수의 샘플 질의 문장으로 구성된 데이터베이스를 기초로 미리 정의된 질의 패턴 중에서 상기 자연어 질의 문장이 해당하는 질의 패턴을 추출하는 단계; 상기 추출된 질의 패턴에 해당하는 템플릿을 상기 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하는 단계; 및 상기 제2 질의 문장에 대한 제2 응답 문장을 추출하는 단계를 더 포함한다.
여기서, 상기 자동질의응답 방법은, 일차적으로 상기 제1 응답 문장을 표시하되, 부가적으로 상기 제2 응답 문장을 표시하는 단계를 더 포함할 수 있다.
여기서, 상기 구문으로 분할하는 단계는, 상기 자연어 질의 문장을 단어 단위로 분할하는 단계; 및 상기 단어를 결합하여 상기 구문을 생성하는 단계를 포함하되, 상기 결합 과정에서 기존 단어의 생략이 가능할 수 있다.
여기서, 상기 형식 언어는, 상기 자연어 질의 문장을 어순이나 어휘 변화에 민감하지 않은 형식화된 구조로 표현할 수 있다.
여기서, 상기 형식 언어로 변환하는 단계에서, 상기 단어를 형식 언어의 속성과 개체명으로 변환할 수 있다.
여기서, 상기 제1 질의 문장을 생성하는 단계는, 상기 형식 언어로 표현된 하나 이상의 질의 문장 후보를 생성하는 단계; 및 상기 질의 문장 후보에 포함된 형식 언어의 공기 정보로 평가되는 유사도의 합이 가장 높은 질의 문장 후보를 상기 제1 질의 문장으로 선택하는 단계를 포함할 수 있다.
여기서, 상기 제1 질의 문장으로 선택하는 단계는, 상기 질의 문장 후보를 평가하기 위하여, 자연어 질의 문장-정답 질의 문장의 쌍으로 구성된 데이터베이스를 기반으로 학습된 후보 평가 모델을 이용할 수 있다.
여기서, 상기 질의 패턴을 추출하는 단계는, 상기 자연어 질의 문장이 미리 정의된 표현형을 포함하는지 여부, 상기 자연어 질의 문장이 청크(chunk) 단위로 분석되는 경우 상기 청크가 미리 정의된 어휘를 포함하는지 여부, 상기 청크의 수 및 상기 청크의 유형 중에서 적어도 하나를 고려하여 상기 질의 패턴을 추출할 수 있다.
여기서, 상기 템플릿은, 상기 자연어 질의 문장에 대응하는 형식 언어에 관한 슬롯 정보를 추출하기 위한 슬롯 정보 템플릿; 및 상기 슬롯 정보를 이용하여 상기 자연어 질의 문장을 상기 제2 질의 문장으로 변환하기 위한 질의 템플릿을 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 자동질의응답 장치는 입력된 자연어 질의 문장으로부터 형식 언어로 표현된 제1 질의 문장을 생성하고, 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 상기 제1 질의 문장에 대한 제1 응답 문장을 추출하는 의미 파싱 모듈; 및 미리 정의된 질의 패턴 중에서 상기 자연어 질의 문장이 해당하는 질의 패턴에 포함된 질의 템플릿을 상기 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하고, 상기 데이터베이스로부터 상기 제2 질의 문장에 대한 제2 응답을 추출하는 질의 패턴 템플릿 모듈을 포함한다.
여기서, 상기 의미 파싱 모듈은, 입력된 자연어 질의 문장을 단어 단위로 분할하고, 상기 단어를 결합하여 하나 이상의 구문을 생성하되, 상기 재조합 과정에서 기존 단어를 생략 가능한 파서; 상기 구문을 형식 언어로 표현된 형식 언어 구문으로 변환하고, 미리 정의된 상기 형식 언어에 관한 문법에 기초하여 상기 형식 언어 구문을 결합함으로써 하나 이상의 질의 문장 후보를 생성하는 후보 생성 모듈; 상기 질의 문장 후보에 포함된 형식 언어의 공기 정보로 평가되는 유사도의 합이 가장 높은 질의 문장 후보를 제1 질의 문장으로 선택하는 후보 평가 모듈; 및 상기 제1 질의 문장에 대한 제1 응답 문장을 추출하는, 출력 모듈을 포함할 수 있다.
여기서, 상기 질의 패턴 템플릿 모듈은, 미리 정의된 질의 패턴 중에서 상기 자연어 질의 문장이 해당하는 질의 패턴을 추출하는 패턴 추출 모듈; 상기 질의 패턴에 포함된 템플릿을 상기 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하는 템플릿 적용 모듈; 및 상기 제2 질의 문장에 대한 제2 응답을 추출하는 출력 모듈을 포함할 수 있다.
여기서, 상기 자동질의응답 장치는, 일차적으로 상기 제1 응답 문장을 표시하되, 부가적으로 상기 제2 응답 문장을 표시하는 표시부를 더 포함할 수 있다.
여기서, 상기 형식 언어는, 상기 자연어 질의 문장을 어순이나 어휘 변화에 민감하지 않은 형식화된 구조로 표현할 수 있다.
여기서, 상기 후보 생성 모듈은, 상기 단어를 형식 언어의 속성과 개체명으로 변환할 수 있다.
여기서, 상기 출력 모듈은, 상기 제1 질의 문장 또는 상기 제2 질의 문장을 상기 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스에 질의할 수 있는 표준인 SPARQL 규격을 준수하는 질의 문장으로 변환할 수 있다.
여기서, 상기 후보 평가 모듈은, 상기 질의 문장 후보를 평가하기 위하여, 상기 자연어 질의 문장 및 정답 문장의 쌍으로 구성된 데이터베이스를 통해 학습된 후보 평가 모델을 이용할 수 있다.
여기서, 상기 패턴 추출 모듈은, 상기 자연어 질의 문장이 미리 정의된 표현형을 포함하는지 여부, 상기 자연어 질의 문장이 청크(chunk) 단위로 분석되는 경우 상기 청크가 미리 정의된 어휘를 포함하는지 여부, 상기 청크의 수 및 상기 청크의 유형 중에서 적어도 하나를 고려하여 상기 질의 패턴을 추출할 수 있다.
여기서, 상기 템플릿은, 상기 자연어 질의 문장에 대응하는 형식 언어에 관한 슬롯 정보를 추출하기 위한 슬롯 정보 템플릿; 및 상기 슬롯 정보를 이용하여 상기 자연어 질의 문장을 상기 제2 질의 문장으로 변환하기 위한 질의 템플릿을 포함할 수 있다.
본 발명에 의하면, 자연어 질의 문장의 어순 변화나 어휘의 교체와 같은 변이에도 사용자의 정보 요구를 파악하여 적합도가 높은 응답을 출력할 수 있다.
도 1은 본 발명의 실시예에 따른 자동질의응답 장치에 관한 블록도이다.
도 2는 본 발명의 실시예에 따른 자동질의응답 방법에 관한 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 자동질의응답 장치에 관한 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 자동질의응답 시스템은 자동질의응답 장치(100), 데이터베이스(200), 후보 평가 모델 훈련기(310) 및 후보 평가 모델(320)을 포함한다.
여기서, 데이터베이스(200)는 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스, 복수의 샘플 질의 문장으로 구성된 데이터베이스, 자연어 질의 문장-정답 질의 문장의 쌍으로 구성된 데이터베이스와 자연어-속성 사전, 개체명 사전과 같은 사전 데이터베이스를 포함할 수 있다. 또한, 본 발명의 실시예에 관한 데이터베이스(200)는 지식베이스(knowledge base) 형태의 데이터베이스(database)를 의미한다.
본 발명의 실시예에 따른 자동질의응답 장치(100)는 의미 파싱 모듈(110) 및 질의 패턴 템플릿 모듈(120)을 포함한다.
의미 파싱 모듈(110)은 입력된 자연어 질의 문장으로부터 형식 언어로 표현된 제1 질의 문장을 생성하고, 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 제1 질의 문장에 대한 제1 응답 문장을 추출할 수 있다.
질의 패턴 템플릿 모듈(120)은 미리 정의된 질의 패턴 중에서 자연어 질의 문장이 해당하는 질의 패턴에 포함된 질의 템플릿을 자연어 문장에 적용함으로써 제2 질의 문장을 생성하고, 데이터베이스(200)로부터 제2 질의 문장에 대한 제2 응답을 추출할 수 있다.
여기서, 의미 파싱 모듈(110)에 의한 제1 응답 문장을 추출하는 과정과 질의 패턴 템플릿 모듈(120)에 의한 제2 응답 문장을 추출하는 과정은 동시에 발생하거나 순서에 관계없이 순차적으로 발생할 수 있다. 그리고, 본 발명의 실시예에 따른 자동질의응답 장치(100)는 표시부(미도시)를 이용하여 제1 응답 문장 및 제2 응답 문장을 사용자에게 동시에 표시하거나 순차적으로 표시할 수 있다.
입력되는 자연어 질의 문장에 따라 자동질의응답 장치(100)는 제1 응답 문장과 구별되는 제2 응답 문장을 표시할 수 있다. 따라서, 사용자는 자연어 질의 문장에 대한 응답으로서 제1 응답 문장을 확인할 수 있고, 제1 응답 문장이 응답으로서 적합하지 않은 경우 제2 응답 문장을 확인 및 참고할 수 있다. 따라서, 사용자 입장에서 템플릿 모듈(120)은 자연어 질의 문장에 관한 제2 응답을 추출하는 부가적인 역할을 수행할 수 있다.
의미 파싱 모듈(110)은 파서(111), 후보 생성 모듈(112) 및 후보 평가 모듈(113) 및 출력 모듈(114)을 포함할 수 있다.
의미 파싱 모듈(110)은 자연어 질의 문장으로부터 형식적인 의미 표현을 도출할 수 있다. 자연어 질의 문장에 관한 형식적인 의미 표현은 형식 언어에 의해 표현될 수 있다. 여기서, 형식 언어는 자연어 질의 문장을 어순이나 어휘 변화에 민감하지 않은 형식화된 구조로 표현할 수 있다. 따라서, 의미 파싱 모듈(110)은 형식 언어를 이용하여 자연어 질의 문장으로부터 형식 언어로 표현된 제1 질의 문장을 생성할 수 있다. 구체적으로, 의미 파싱 모듈(110)은 입력된 자연어 질의 문장으로부터 형식 언어로 표현된 제1 질의 문장을 생성하고, 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 제1 질의 문장에 대한 제1 응답을 추출할 수 있다.
파서(111)는 입력된 자연어 질의 문장을 단어 단위로 분할하고, 각각의 단어를 다시 결합하여 하나 이상의 구문을 생성할 수 있다. 이 과정에서, 파서(111)는 자연어 질의 문장에 포함된 기존 단어를 생략할 수 있다. 즉, 자연어 질의 문장을 구성하는 단어 중에서 의미에 큰 영향을 미치지 않는 단어는 생략될 수 있다. 여기서, 구문은 자연어 질의 문장을 이루는 단어의 연속열을 의미한다. 그리고 구문을 생성함에 있어서, 자연어 질의 문장 내에서 출현하는 단어의 순서가 유지되어야 한다. 예를 들어 자연어 질의 문장이 "who is the wife of abraham lincoln?"인 경우에, "who", "is", ..., "who is" 와 같은 구문이 생성될 수 있다.
후보 생성 모듈(112)은, 생성된 구문을 형식 언어로 표현된 형식 언어 구문으로 변환하고, 미리 정의된 형식 언어에 관한 문법에 기초하여 형식 언어 구문을 결합함으로써 하나 이상의 질의 문장 후보를 생성할 수 있다. 즉, 파서 모듈(111)에서 복수의 구문으로 분할된 자연어 질의 문장은 후보 생성 모듈(112)에서 개체명에 해당하는 부분과 속성에 해당하는 부분에 각각 상응하는 형식 언어인 지식베이스 어휘로 변환될 수 있다.
생성된 구문이 복수의 지식베이스 어휘로 변환이 가능한 경우, 사전 데이터베이스에 포함된 공기(co-occurrence, 共起) 정보에 의해 평가된 유사도가 더 높은 어휘가 선택될 수 있다. 여기서, 공기란 단어와 단어가 하나의 문서나 문장에서 함께 쓰이는 현상을 뜻한다. 다시 말하면, 형태, 형태소, 음, 음소 따위가 문법적으로 벗어나지 않고 동일한 문장, 구, 단어 안에서 나타나는 것을 뜻한다. 호응 관계가 있는 문법적 요소끼리 쓰이는 것을 공기 표현이라 하고 그러한 관계를 공기 관계라 한다.
각각의 구문에 대한 지식베이스 어휘로의 변환이 끝나면 형식 언어에 관한 문법인 지식베이스 어휘 간의 합성 문법에 따라 형식 의미 표현에 해당하는 하나 이상의 질의 문장 후보가 생성될 수 있다.
지식베이스 어휘 변환에 이용되는 사전 데이터베이스는 자연어-속성 사전 및 개체명 사전을 포함할 수 있다. 자연어-속성 사전은 자연어 어구와 지식베이스 속성 어휘와의 사상을 나타내는 사전 데이터베이스이다. 대량의 텍스트로부터 정보 추출 도구에 의해 정보가 추출되고, 추출된 정보와 실제 지식베이스가 정렬되어 자연어 어구와 속성 어휘의 쌍이 생성될 수 있으며, 이 때 얻어진 공기 정보가 유사도 평가에 사용된다.
개체명 사전은 지식베이스 개체명 어휘를 수집하여 구축된 사전 데이터베이스이다.
여기서, 형식 언어에 관한 문법은 결합규칙 사전으로 구현될 수 있다. 결합규칙 사전은 구문의 최소 단위 형식 의미 표현으로부터 전체 질의 문장을 대표하는 형식 의미 표현으로 합성하기 위한 소수의 유도 규칙을 포함하는 사전이다.
후보 평가 모듈(113)은, 질의 문장 후보에 포함된 형식 언어의 공기 정보로 평가되는 유사도의 합이 가장 높은 질의 문장 후보를 제1 질의 문장으로 선택할 수 있다. 즉, 후보 평가 모듈(113)은 후보 생성 모듈(112)에서 생성된 질의 문장 후보의 형식 의미 표현에 대하여 미리 앞서 공기 정보에 의하여 평가된 유사도의 합으로써 가장 유사도가 높다고 평가되는 형식 의미 표현을 갖는 질의 문장을 제1 질의 문장으로 선택할 수 있다.
또한, 후보 평가 모듈(113)은 질의 문장 후보를 평가하기 위하여, 자연어 질의 문장-정답 질의 문장의 쌍으로 구성된 데이터베이스를 통해 학습된 후보 평가 모델을 이용할 수 있다.
출력 모듈(114)은 제1 질의 문장 또는 제2 질의 문장을 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스에 질의할 수 있는 표준인 SPARQL 규격을 준수하는 질의 문장으로 변환할 수 있다.
후보 평가 모델 훈련기(310)는 후보 평가 모델(320)을 학습시킨다. 즉, 후보 평가 모델 훈련기(310)는 자연어 질의 문장-정답 질의 문장의 쌍으로 구성된 데이터베이스로부터 기계학습적 방법으로 형식적 의미 표현의 후보를 평가하기 위한 모델을 학습시키는 역할을 할 수 있다.
질의 패턴 템플릿 모듈(120)은 복수의 샘플 질의 문장으로부터, 입력된 자연어 질의 문장에 해당하는 질의 패턴을 추출하여 해당 질의 패턴에 포함된 템플릿을 자연어 질의 문장에 적용하여 데이터베이스로부터 응답을 추출하는 역할을 한다. 질의 패턴 템플릿 모듈(120)은, 패턴 추출 모듈(121), 템플릿 적용 모듈(122) 및 출력 모듈(123)을 포함할 수 있다.
패턴 추출 모듈(121)은 자연어 질의 문장으로부터 자질값을 확인하여 자질값이 일치하는 질의 패턴을 추출한다. 패턴 추출 모듈(121)은 자질값으로, 자연어 질의 문장이 미리 정의된 표현형을 포함하는지 여부, 자연어 질의 문장이 청크(chunk) 단위로 분석되는 경우 청크(chunk)가 미리 정의된 어휘를 포함하는지 여부, 청크(chunk)의 수 및 청크(chunk)의 유형 중에서 적어도 하나를 고려하여 질의 패턴을 추출할 수 있다. 여기서, 청크(chunk)는 의미적 또는 문법적으로 기능이 서로 유관한 문장 내의 단어로 구성될 수 있다. 또한, 청크(chunk)는 기능 또는 역할을 대표하는 핵심어휘를 포함하는 문장 내 단어의 연속열을 의미한다.
템플릿 적용 모듈(122)은 추출된 질의 패턴에 해당하는 템플릿을 자연어 질의 문장에 적용하여 자연어 질의 문장을 형식 언어로 표현된 제2 질의 문장으로 변환할 수 있다.
여기서 적용되는 템플릿은, 자연어 질의 문장에 대응하는 형식 언어에 관한 슬롯 정보를 추출하기 위한 슬롯 정보 템플릿 및 슬롯 정보를 이용하여 자연어 질의 문장을 제2 질의 문장으로 변환하기 위한 질의 템플릿을 포함할 수 있다.
이하 본 발명의 실시예에 따른 자동질의응답 방법에 대해 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 자동질의응답 방법에 관한 흐름도이다.
도 2를 참조하면, 파서(111)는 입력된 자연어 질의 문장을 단어 단위로 분할하고, 분할된 단어를 결합하여 하나 이상의 구문을 생성할 수 있다(S211). 여기서, 파서(111)는, 재조합 과정에서 기존 단어를 생략할 수 있다.
후보 생성 모듈은(112) 구문 각각에 포함된 단어를 형식 언어로 변환하고, 미리 정의된 형식 언어에 관한 문법에 기초하여 형식 언어 구문을 결합함으로써 하나 이상의 질의 문장 후보를 생성할 수 있다(S212, S213).
또한, 후보 평가 모듈(113)은 질의 문장 후보에 포함된 형식 언어의 누적 변화 수로 평가되는 유사도의 합이 가장 높은 질의 문장 후보를 제1 질의 문장으로 선택할 수 있다.
출력 모듈(114)은 형식 언어로 표현된 복수의 질의 문장-응답 문자의 쌍으로 구성된 데이터베이스로부터 제1 질의 문장에 대한 제1 응답 문장을 추출할 수 있다(S214).
다음으로, 부가적인 절차로서 자동질의응답 장치(100)는 다음의 절차를 수행할 수 있다. 즉, 자동질의응답 장치(100)는 일차적으로 제1 응답 문장을 표시하되, 부가적으로 제2 응답 문장을 표시할 수 있다. 제2 응답 문장을 표시하는 단계는 사용자의 선택에 의할 수 있다.
패턴 추출 모듈(121)은 복수의 샘플 질의 문장으로 구성된 데이터베이스를 기초로 미리 정의된 질의 패턴 중에서 자연어 질의 문장이 해당하는 질의 패턴을 추출할 수 있다(S221). 여기서, 복수의 샘플 질의 문장으로 구성된 데이터베이스는 패턴 사전 형태로 구현될 수 있다. 패턴 사전은 미리 수동으로 구현될 수 있다. 패턴 사전 내의 하나의 엔트리는 문장 패턴 규칙, 슬롯 정보 템플릿, 질의 템플릿을 포함한다.
문장 패턴 규칙은 다시 어휘 패턴, 청크(chunk) 유형 패턴, 청크 내 패턴으로 나뉜다. 어휘 패턴은 직접적인 어휘의 존재 여부를 통해 일치하는 패턴을 판단하는 규칙이다. 청크 패턴은 자연어 질의 문장을 청킹(chunking) 한 결과 얻어진 청크(chunk)의 수 및 유형을 통해 일치하는 패턴을 판단하는 규칙이다. 청크 내 패턴은 청크 내의 요소 중 규칙에 포함된 품사를 갖는 어휘가 존재하는 지의 여부를 통해 일치하는 패턴을 판단하는 규칙이다.
다음으로 템플릿 적용 모듈(122)은 추출된 질의 패턴에 포함된 템플릿을 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성할 수 있다(S222).
다음으로 출력 모듈(123)은 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 제2 질의 문장에 대한 제2 응답 문장을 추출할 수 있다(S223).
이상과 같이 본 발명의 실시예에 따른 자동질의응답 장치(100)는 입력된 자연어 질의 문장에 대해 의미 파싱 모듈(110)을 이용하여 제1 질의 문장에 대한 제1 응답을 표시하는 한편, 부가적으로 자연어 질의 문장에 대해 질의 패턴 템플릿 모듈(120)을 이용하여 제2 질의 문장에 대한 제2 응답을 표시할 수 있다. 여기서, 의미 파싱 모듈(110)를 이용하는 방법은 여러 가지 구성 요소가 결합된 형태의 자연어 질의 문장에 적합하고, 질의 패턴 템플릿 모듈(120)을 이용하는 방법은 단순한 형태의 자연어 질의 문장에 적합하다. 따라서, 본 발명에 의하면, 자연어 질의 문장의 형태에 따라 서로 다른 방법에 의해 응답을 추출할 수 있어서, 사용용자의 정보 요구에 부합하는 응답을 출력할 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (19)
- 자동질의응답 장치에서 수행되는 자동질의응답 방법에 있어서,입력된 자연어 질의 문장을 하나 이상의 구문으로 분할하는 단계;상기 구문 각각에 포함된 단어를 형식 언어로 변환하는 단계;미리 정의된 상기 형식 언어에 관한 문법에 따라 형식 언어로 변환된 상기 구문을 결합함으로써 제1 질의 문장을 생성하는 단계; 및상기 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 상기 제1 질의 문장에 대한 제1 응답 문장을 추출하는 단계를 포함하되,복수의 샘플 질의 문장으로 구성된 데이터베이스를 기초로 미리 정의된 질의 패턴 중에서 상기 자연어 질의 문장이 해당하는 질의 패턴을 추출하는 단계;상기 추출된 질의 패턴에 해당하는 템플릿을 상기 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하는 단계; 및상기 제2 질의 문장에 대한 제2 응답 문장을 추출하는 단계를 더 포함하는, 자동질의응답 방법.
- 청구항 1에 있어서,상기 자동질의응답 방법은,일차적으로 상기 제1 응답 문장을 표시하되, 부가적으로 상기 제2 응답 문장을 표시하는 단계를 더 포함하는, 자동질의응답 방법.
- 청구항 1에 있어서,상기 구문으로 분할하는 단계는,상기 자연어 질의 문장을 단어 단위로 분할하는 단계; 및상기 단어를 결합하여 상기 구문을 생성하는 단계를 포함하되,상기 결합 과정에서 기존 단어의 생략이 가능한, 자동질의응답 방법.
- 청구항 1에 있어서,상기 형식 언어는,상기 자연어 질의 문장을 어순이나 어휘 변화에 민감하지 않은 형식화된 구조로 표현하는, 자동질의응답 방법.
- 청구항 4에 있어서,상기 형식 언어로 변환하는 단계에서,상기 단어를 형식 언어의 속성과 개체명으로 변환하는, 자동질의응답 방법.
- 청구항 1에 있어서,상기 제1 질의 문장을 생성하는 단계는,상기 형식 언어로 표현된 하나 이상의 질의 문장 후보를 생성하는 단계; 및상기 질의 문장 후보에 포함된 형식 언어의 공기(co-occurrence, 共起) 정보로 평가되는 유사도의 합이 가장 높은 질의 문장 후보를 상기 제1 질의 문장으로 선택하는 단계를 포함하는, 자동질의응답 방법.
- 청구항 6에 있어서,상기 제1 질의 문장으로 선택하는 단계는,상기 질의 문장 후보를 평가하기 위하여, 자연어 질의 문장-정답 질의 문장의 쌍으로 구성된 데이터베이스를 기반으로 학습된 후보 평가 모델을 이용하는, 자동질의응답 방법.
- 청구항 1에 있어서,상기 질의 패턴을 추출하는 단계는,상기 자연어 질의 문장이 미리 정의된 표현형을 포함하는지 여부, 상기 자연어 질의 문장이 청크(chunk) 단위로 분석되는 경우 상기 청크가 미리 정의된 어휘를 포함하는지 여부, 상기 청크의 수 및 상기 청크의 유형 중에서 적어도 하나를 고려하여 상기 질의 패턴을 추출하는, 자동질의응답 방법.
- 청구항 1에 있어서,상기 템플릿은,상기 자연어 질의 문장에 대응하는 형식 언어에 관한 슬롯 정보를 추출하기 위한 슬롯 정보 템플릿; 및상기 슬롯 정보를 이용하여 상기 자연어 질의 문장을 상기 제2 질의 문장으로 변환하기 위한 질의 템플릿을 포함하는, 자동질의응답 방법.
- 자동질의응답 장치에 있어서,입력된 자연어 질의 문장으로부터 형식 언어로 표현된 제1 질의 문장을 생성하고, 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스로부터 상기 제1 질의 문장에 대한 제1 응답 문장을 추출하는 의미 파싱 모듈; 및미리 정의된 질의 패턴 중에서 상기 자연어 질의 문장이 해당하는 질의 패턴에 포함된 질의 템플릿을 상기 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하고, 상기 데이터베이스로부터 상기 제2 질의 문장에 대한 제2 응답을 추출하는 질의 패턴 템플릿 모듈을 포함하는, 자동질의응답 장치.
- 청구항 10에 있어서,상기 의미 파싱 모듈은,입력된 자연어 질의 문장을 단어 단위로 분할하고, 상기 단어를 결합하여 하나 이상의 구문을 생성하되, 상기 재조합 과정에서 기존 단어를 생략 가능한 파서;상기 구문을 형식 언어로 표현된 형식 언어 구문으로 변환하고, 미리 정의된 상기 형식 언어에 관한 문법에 기초하여 상기 형식 언어 구문을 결합함으로써 하나 이상의 질의 문장 후보를 생성하는 후보 생성 모듈;상기 질의 문장 후보에 포함된 형식 언어의 공기 정보로 평가되는 유사도의 합이 가장 높은 질의 문장 후보를 제1 질의 문장으로 선택하는 후보 평가 모듈; 및상기 제1 질의 문장에 대한 제1 응답 문장을 추출하는, 출력 모듈을 포함하는, 자동질의응답 장치.
- 청구항 10에 있어서,상기 질의 패턴 템플릿 모듈은,미리 정의된 질의 패턴 중에서 상기 자연어 질의 문장이 해당하는 질의 패턴을 추출하는 패턴 추출 모듈;상기 질의 패턴에 포함된 템플릿을 상기 자연어 질의 문장에 적용함으로써 제2 질의 문장을 생성하는 템플릿 적용 모듈; 및상기 제2 질의 문장에 대한 제2 응답을 추출하는 출력 모듈을 포함하는, 자동질의응답 장치.
- 청구항 10에 있어서,상기 자동질의응답 장치는,일차적으로 상기 제1 응답 문장을 표시하되, 부가적으로 상기 제2 응답 문장을 표시하는 표시부를 더 포함하는, 자동질의응답 장치.
- 청구항 11에 있어서,상기 형식 언어는,상기 자연어 질의 문장을 어순이나 어휘 변화에 민감하지 않은 형식화된 구조로 표현하는, 자동질의응답 장치.
- 청구항 11에 있어서,상기 후보 생성 모듈은,상기 단어를 형식 언어의 속성과 개체명으로 변환하는, 자동질의응답 장치.
- 청구항 11 또는 12에 있어서,상기 출력 모듈은,상기 제1 질의 문장 또는 상기 제2 질의 문장을 상기 형식 언어로 표현된 복수의 질의 문장-응답 문장의 쌍으로 구성된 데이터베이스에 질의할 수 있는 표준인 SPARQL 규격을 준수하는 질의 문장으로 변환하는, 자동질의응답 장치.
- 청구항 11에 있어서,상기 후보 평가 모듈은,상기 질의 문장 후보를 평가하기 위하여, 상기 자연어 질의 문장-정답 질의 문장의 쌍으로 구성된 데이터베이스를 통해 학습된 후보 평가 모델을 이용하는, 자동질의응답 장치.
- 청구항 12에 있어서,상기 패턴 추출 모듈은,상기 자연어 질의 문장이 미리 정의된 표현형을 포함하는지 여부, 상기 자연어 질의 문장이 청크(chunk) 단위로 분석되는 경우 상기 청크가 미리 정의된 어휘를 포함하는지 여부, 상기 청크의 수 및 상기 청크의 유형 중에서 적어도 하나를 고려하여 상기 질의 패턴을 추출하는, 자동질의응답 장치.
- 청구항 12에 있어서,상기 템플릿은,상기 자연어 질의 문장에 대응하는 형식 언어에 관한 슬롯 정보를 추출하기 위한 슬롯 정보 템플릿; 및상기 슬롯 정보를 이용하여 상기 자연어 질의 문장을 상기 제2 질의 문장으로 변환하기 위한 질의 템플릿을 포함하는, 자동질의응답 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150100531A KR101678787B1 (ko) | 2015-07-15 | 2015-07-15 | 자동질의응답 방법 및 그 장치 |
KR10-2015-0100531 | 2015-07-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017010652A1 true WO2017010652A1 (ko) | 2017-01-19 |
Family
ID=57576302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2016/002275 WO2017010652A1 (ko) | 2015-07-15 | 2016-03-08 | 자동질의응답 방법 및 그 장치 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101678787B1 (ko) |
WO (1) | WO2017010652A1 (ko) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110162538A (zh) * | 2019-04-19 | 2019-08-23 | 平安科技(深圳)有限公司 | 自动生成通用查询语言cql的方法、装置和计算机设备 |
CN110298030A (zh) * | 2019-05-24 | 2019-10-01 | 平安科技(深圳)有限公司 | 语义分析模型准确度的校验方法、装置、存储介质及设备 |
CN110597968A (zh) * | 2019-04-28 | 2019-12-20 | 河北省讯飞人工智能研究院 | 一种回复选择方法及装置 |
CN110750632A (zh) * | 2019-10-21 | 2020-02-04 | 闽江学院 | 一种改进的中文alice智能问答方法及*** |
CN110807091A (zh) * | 2019-03-01 | 2020-02-18 | 王涵 | 一种酒店智能问答推荐与决策支持分析方法及*** |
CN111506595A (zh) * | 2020-04-20 | 2020-08-07 | 金蝶软件(中国)有限公司 | 一种数据查询方法、***及相关设备 |
CN111897915A (zh) * | 2020-07-24 | 2020-11-06 | 青岛海信电子产业控股股份有限公司 | 问答设备和答复信息确定方法 |
CN112989002A (zh) * | 2021-03-31 | 2021-06-18 | 中国工商银行股份有限公司 | 一种基于知识图谱的问答处理方法、装置及设备 |
CN113051393A (zh) * | 2019-12-27 | 2021-06-29 | 财团法人工业技术研究院 | 问答学习方法、问答学习***及其计算机程序产品 |
CN114579605A (zh) * | 2022-04-26 | 2022-06-03 | 阿里巴巴达摩院(杭州)科技有限公司 | 表格问答数据处理方法、电子设备及计算机存储介质 |
WO2023051021A1 (zh) * | 2021-09-30 | 2023-04-06 | 阿里巴巴达摩院(杭州)科技有限公司 | 人机对话方法、装置、设备及存储介质 |
CN115964471A (zh) * | 2023-03-16 | 2023-04-14 | 成都安哲斯生物医药科技有限公司 | 医疗数据近似查询方法 |
US11704497B2 (en) | 2020-09-09 | 2023-07-18 | International Business Machines Corporation | Generating and using a sentence model for answer generation |
US12014284B2 (en) | 2019-12-27 | 2024-06-18 | Industrial Technology Research Institute | Question-answering learning method and question-answering learning system using the same and computer program product thereof |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108446286B (zh) * | 2017-02-16 | 2023-04-25 | 阿里巴巴集团控股有限公司 | 一种自然语言问句答案的生成方法、装置及服务器 |
KR102099670B1 (ko) * | 2018-05-16 | 2020-04-10 | (주)아이브릭스 | 질의자 의도를 이해하기 위한 구문 규칙 자동생성 장치 및 방법 |
KR102090237B1 (ko) * | 2018-07-31 | 2020-03-17 | 주식회사 포티투마루 | 시맨틱 트리플 기반의 지식 확장 시스템, 방법 및 컴퓨터 프로그램 |
CN109460503B (zh) * | 2018-09-14 | 2022-01-14 | 阿里巴巴(中国)有限公司 | 答案输入方法、装置、存储介质及电子设备 |
KR102261199B1 (ko) * | 2018-09-19 | 2021-06-07 | 주식회사 포티투마루 | 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램 |
KR102128549B1 (ko) | 2018-09-19 | 2020-07-08 | 주식회사 포티투마루 | 인공 지능 질의 응답 시스템, 방법 및 컴퓨터 프로그램 |
KR102346244B1 (ko) * | 2018-11-13 | 2022-01-04 | 울산과학기술원 | 신경망 기반 자동 슬롯 채우기 기술 및 장치 |
KR102150908B1 (ko) * | 2019-01-31 | 2020-09-03 | 주식회사 카카오 | 자연어 질의해석 방법 및 시스템 |
KR102280792B1 (ko) * | 2019-11-07 | 2021-07-22 | 주식회사 솔트룩스 | 대화 재구성 기반의 질의 응답 시스템 |
CN112988986B (zh) * | 2019-12-02 | 2024-05-31 | 阿里巴巴集团控股有限公司 | 人机交互方法、装置与设备 |
KR102345568B1 (ko) * | 2019-12-26 | 2021-12-31 | 포항공과대학교 산학협력단 | 자연어 단어를 데이터베이스의 컬럼 및 테이블과 연결하는 방법 |
CN111626059B (zh) * | 2020-04-30 | 2022-07-26 | 联想(北京)有限公司 | 一种信息处理方法及装置 |
KR102464121B1 (ko) * | 2020-11-24 | 2022-11-04 | 경희대학교 산학협력단 | 응답과 질의 토큰의 관계에 기초하여 상기 질의에 대한 답변을 제공하는 방법 및 전자 장치 |
CN114817510B (zh) * | 2022-06-23 | 2022-10-14 | 清华大学 | 问答方法、问答数据集生成方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07210556A (ja) * | 1994-01-21 | 1995-08-11 | Toshiba Corp | 自然言語処理装置及び自然言語処理方法 |
KR20020030545A (ko) * | 2000-10-18 | 2002-04-25 | 남 데이비드 이 | 인공지능과 자연어처리 기술에 기반한 자연어 문장형질문에 대한 자동 해답 및 검색 제공 방법 |
KR20050032937A (ko) * | 2003-10-02 | 2005-04-08 | 한국전자통신연구원 | 언어분석 기반 자동 질문/정답 색인 방법과 그 질의응답방법 및 시스템 |
KR20100120977A (ko) * | 2009-05-07 | 2010-11-17 | 포항공과대학교 산학협력단 | 미등록어를 포함한 환경에서 오디오 및 비디오의 음성 데이터 검색 방법 및 장치 |
-
2015
- 2015-07-15 KR KR1020150100531A patent/KR101678787B1/ko active IP Right Grant
-
2016
- 2016-03-08 WO PCT/KR2016/002275 patent/WO2017010652A1/ko active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07210556A (ja) * | 1994-01-21 | 1995-08-11 | Toshiba Corp | 自然言語処理装置及び自然言語処理方法 |
KR20020030545A (ko) * | 2000-10-18 | 2002-04-25 | 남 데이비드 이 | 인공지능과 자연어처리 기술에 기반한 자연어 문장형질문에 대한 자동 해답 및 검색 제공 방법 |
KR20050032937A (ko) * | 2003-10-02 | 2005-04-08 | 한국전자통신연구원 | 언어분석 기반 자동 질문/정답 색인 방법과 그 질의응답방법 및 시스템 |
KR20100120977A (ko) * | 2009-05-07 | 2010-11-17 | 포항공과대학교 산학협력단 | 미등록어를 포함한 환경에서 오디오 및 비디오의 음성 데이터 검색 방법 및 장치 |
Non-Patent Citations (1)
Title |
---|
SHIM, HYO SUP ET AL.: "Assisting Semantic Parsing-based QA System with Lexico-semantic Pattern Query Template", THE 26TH ANNUAL CONFERENCE ON HUMAN & COGNITIVE LANGUAGE TECHNOLOGY, 2014, pages 255 - 258 * |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110807091A (zh) * | 2019-03-01 | 2020-02-18 | 王涵 | 一种酒店智能问答推荐与决策支持分析方法及*** |
CN110807091B (zh) * | 2019-03-01 | 2023-08-18 | 王涵 | 一种酒店智能问答推荐与决策支持分析方法及*** |
CN110162538B (zh) * | 2019-04-19 | 2024-03-01 | 平安科技(深圳)有限公司 | 自动生成通用查询语言cql的方法、装置和计算机设备 |
CN110162538A (zh) * | 2019-04-19 | 2019-08-23 | 平安科技(深圳)有限公司 | 自动生成通用查询语言cql的方法、装置和计算机设备 |
CN110597968A (zh) * | 2019-04-28 | 2019-12-20 | 河北省讯飞人工智能研究院 | 一种回复选择方法及装置 |
CN110298030A (zh) * | 2019-05-24 | 2019-10-01 | 平安科技(深圳)有限公司 | 语义分析模型准确度的校验方法、装置、存储介质及设备 |
CN110750632A (zh) * | 2019-10-21 | 2020-02-04 | 闽江学院 | 一种改进的中文alice智能问答方法及*** |
CN110750632B (zh) * | 2019-10-21 | 2022-09-09 | 闽江学院 | 一种改进的中文alice智能问答方法及*** |
US12014284B2 (en) | 2019-12-27 | 2024-06-18 | Industrial Technology Research Institute | Question-answering learning method and question-answering learning system using the same and computer program product thereof |
CN113051393A (zh) * | 2019-12-27 | 2021-06-29 | 财团法人工业技术研究院 | 问答学习方法、问答学习***及其计算机程序产品 |
CN111506595A (zh) * | 2020-04-20 | 2020-08-07 | 金蝶软件(中国)有限公司 | 一种数据查询方法、***及相关设备 |
CN111506595B (zh) * | 2020-04-20 | 2024-03-19 | 金蝶软件(中国)有限公司 | 一种数据查询方法、***及相关设备 |
CN111897915A (zh) * | 2020-07-24 | 2020-11-06 | 青岛海信电子产业控股股份有限公司 | 问答设备和答复信息确定方法 |
CN111897915B (zh) * | 2020-07-24 | 2024-04-12 | 海信集团有限公司 | 问答设备和答复信息确定方法 |
US11704497B2 (en) | 2020-09-09 | 2023-07-18 | International Business Machines Corporation | Generating and using a sentence model for answer generation |
CN112989002B (zh) * | 2021-03-31 | 2022-08-23 | 中国工商银行股份有限公司 | 一种基于知识图谱的问答处理方法、装置及设备 |
CN112989002A (zh) * | 2021-03-31 | 2021-06-18 | 中国工商银行股份有限公司 | 一种基于知识图谱的问答处理方法、装置及设备 |
WO2023051021A1 (zh) * | 2021-09-30 | 2023-04-06 | 阿里巴巴达摩院(杭州)科技有限公司 | 人机对话方法、装置、设备及存储介质 |
CN114579605A (zh) * | 2022-04-26 | 2022-06-03 | 阿里巴巴达摩院(杭州)科技有限公司 | 表格问答数据处理方法、电子设备及计算机存储介质 |
CN115964471B (zh) * | 2023-03-16 | 2023-06-02 | 成都安哲斯生物医药科技有限公司 | 医疗数据近似查询方法 |
CN115964471A (zh) * | 2023-03-16 | 2023-04-14 | 成都安哲斯生物医药科技有限公司 | 医疗数据近似查询方法 |
Also Published As
Publication number | Publication date |
---|---|
KR101678787B1 (ko) | 2016-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2017010652A1 (ko) | 자동질의응답 방법 및 그 장치 | |
WO2013081301A1 (ko) | 작문 자동 평가를 위해 샬로우 파서를 이용한 문장 자동 평가 장치, 이를 위한 오류 검출 장치 및 이를 위한 방법 | |
EP1217533A2 (en) | Method and computer system for part-of-speech tagging of incomplete sentences | |
US20150154173A1 (en) | Method of detecting grammatical error, error detecting apparatus for the method, and computer-readable recording medium storing the method | |
US9141601B2 (en) | Learning device, determination device, learning method, determination method, and computer program product | |
WO2014069779A1 (ko) | 구문 전처리 기반의 구문 분석 장치 및 그 방법 | |
WO2012026668A2 (ko) | 의존관계 포레스트를 이용한 통계적 기계 번역 방법 | |
WO2013062302A1 (ko) | 작문 자동 평가를 위한 예제기반 오류 검출 시스템, 이를 위한 방법 및 이를 위한 오류 검출 장치 | |
JP2017510924A5 (ko) | ||
WO2016208941A1 (ko) | 텍스트 전처리 방법 및 이를 수행하는 전처리 시스템 | |
KR20140026703A (ko) | 문법의 오류 검출 방법 및 이를 위한 장치 | |
Zeroual et al. | A new Quranic Corpus rich in morphosyntactical information | |
Hawkins et al. | Using learner language from corpora to profile levels of proficiency: Insights from the English Profile Programme | |
Yoko et al. | Extracting definitions of mathematical expressions in scientific papers | |
Moran | The ACQDIV database: Min (d) ing the ambient language | |
Okinina et al. | Ctap for italian: Integrating components for the analysis of italian into a multilingual linguistic complexity analysis tool | |
WO2020111827A1 (ko) | 프로필 자동생성서버 및 방법 | |
Xue et al. | Improved correction detection in revised ESL sentences | |
Gamallo | Dependency parsing with compression rules | |
Costa et al. | MORDigital: the advent of a new lexicographical Portuguese project | |
JP2016164707A (ja) | 自動翻訳装置及び翻訳用モデル学習装置 | |
Koh | A comparative error analysis of neural machine translation output: based on film corpus | |
WO2011049313A2 (ko) | 표현 및 설명 추출을 위한 문서 처리 장치 및 방법 | |
CN115017902A (zh) | 基于深度学习的藏语短语结构识别模型的构建方法及装置 | |
WO2017122872A1 (ko) | 전자 출판물에 대한 정보를 생성하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16824570 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16824570 Country of ref document: EP Kind code of ref document: A1 |