KR20200066119A - Method of fake news evaluation based on knowledge-based inference, recording medium and apparatus for performing the method - Google Patents
Method of fake news evaluation based on knowledge-based inference, recording medium and apparatus for performing the method Download PDFInfo
- Publication number
- KR20200066119A KR20200066119A KR1020190008303A KR20190008303A KR20200066119A KR 20200066119 A KR20200066119 A KR 20200066119A KR 1020190008303 A KR1020190008303 A KR 1020190008303A KR 20190008303 A KR20190008303 A KR 20190008303A KR 20200066119 A KR20200066119 A KR 20200066119A
- Authority
- KR
- South Korea
- Prior art keywords
- question
- answer
- natural language
- knowledge
- language content
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000011156 evaluation Methods 0.000 title 1
- 238000004458 analytical method Methods 0.000 claims abstract description 107
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000007405 data analysis Methods 0.000 claims description 25
- 238000013135 deep learning Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 17
- 238000012790 confirmation Methods 0.000 claims description 15
- 230000001364 causal effect Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 7
- 238000012850 discrimination method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
본 발명은 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것으로서, 더욱 상세하게는 질문에 해당하는 문장의 사실성을 판단하는 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치에 관한 것이다.The present invention relates to a method for discriminating fake news using knowledge-based reasoning and reliability analysis, and a recording medium and apparatus for performing the same, more specifically, using knowledge-based reasoning and reliability analysis to determine the truthfulness of a sentence corresponding to a question It relates to a fake news discrimination method, a recording medium and a device for performing the fake news.
고속 이동통신망 및 스마트폰이 널리 보급된 모바일 시대가 도래하면서, 각종 사회관계망서비스(SNS)의 사용이 급속도로 증가하고 있다. 특히, 근래에 들어 블로그(blog), 카카오톡(KakaoTalk), 라인(Line), 페이스북(Facebook), 트위터(Twitter), 인스타그램(Instagram) 및 텀블러(Tumblr)와 같은 SNS의 사용이 급증하면서, 각종 SNS를 통한 정보 또는 뉴스의 전달 역시 폭발적으로 증가하고 있다.With the advent of the mobile era in which high-speed mobile communication networks and smartphones are widely spread, the use of various social networking services (SNS) is rapidly increasing. In particular, in recent years, the use of SNS such as blogs, KakaoTalk, Line, Facebook, Twitter, Instagram and Tumblr is rapidly increasing. Meanwhile, the delivery of information or news through various SNS is also explosively increasing.
그러나, 선거와 같은 정치적 행사가 있을 때마다 각종 SNS를 통해 잘못된 정보 또는 뉴스가 퍼지는 경우 또한 적지 않게 발생하는 것이 현실이다. 또한, 더욱 심각한 것은 특정한 목적을 가지고 의도적으로 각종 SNS를 통해 잘못된 정보 또는 뉴스를 전파하는 경우도 빈번히 발생하고 있다는 점인데, 이와 같은 이유로 SNS를 통한 정보 또는 뉴스의 전달이 향후 중요한 사회적 문제가 될 가능성이 높다고 볼 수 있다.However, it is also a reality that whenever a political event such as an election spreads false information or news through various SNSs. In addition, more seriously, it is a frequent occurrence of intentionally disseminating wrong information or news through various SNS for a specific purpose, and for this reason, the delivery of information or news through SNS may become an important social problem in the future. It can be said that this is high.
한편 위와 같이 특정한 목적을 가지고 의도적으로 조작된 뉴스인 가짜뉴스는 대부분 사람에 의해 탐색되고, 그 진위 여부가 판별된다. On the other hand, fake news, which is news intentionally manipulated with a specific purpose as described above, is mostly searched by people, and the authenticity is determined.
예를 들어, 한국등록특허 제10-1869815호에 따르면 SNS 상게 게재된 뉴스에 대해서 SNS 이용자들이 직접 뉴스의 진위 여부를 파악하여 태그를 입력하고, 태그로부터 의심 지수를 산출하는 방법이 개시된다.For example, according to Korean Patent Registration No. 10-1869815, a method is disclosed in which SNS users directly identify the authenticity of the news, input a tag, and calculate a suspicious index from the tag.
이처럼 종래의 가짜뉴스 탐색 방법은 사람이 직접 검증하는 방식으로 많은 시간과 노력을 필요로 한다. 따라서, 사람의 판단을 요구하지 않으며, 가짜뉴스를 실시간으로 선별할 수 있는 새로운 가짜뉴스 탐색 모델이 필요한 실정이다. As described above, the conventional method of searching for fake news requires a lot of time and effort in a way that a person directly verifies. Accordingly, there is a need for a new fake news search model capable of selecting fake news in real time without requiring human judgment.
본 발명은 자연어 콘텐츠를 정제한 후 지식 기반 데이터베이스를 구축하고, 지식 기반 데이터베이스를 통해 질문에 대한 답변을 생성하는 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법, 이를 수행하기 위한 기록매체 및 장치를 제공한다.The present invention provides a method for determining a fake news using knowledge-based reasoning and reliability analysis that builds a knowledge-based database after refining natural language content and generates answers to questions through the knowledge-based database, and a recording medium and a device for performing the same. to provide.
본 발명의 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 과제를 해결하기 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치는 판별 대상 뉴스에 해당하는 질문을 입력 받는 질문 입력부, 인터넷 상의 자연어로 이루어진 문장에 해당하는 자연어 콘텐츠를 입력 받는 자연어 콘텐츠 입력부, 상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하고, 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 지식 기반 데이터베이스 구성부 및 상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 지식 기반 추론부를 포함한다.The fake news discrimination device using knowledge-based reasoning and reliability analysis includes a question input unit that receives a question corresponding to a news to be discriminated, a natural language content input unit that receives natural language content corresponding to a sentence composed of natural languages on the Internet, and Construct a knowledge base database by analyzing natural language content, and extract the natural language content related to the question from the knowledge base database as a candidate group for answering the question, and a knowledge base database constructing unit and the question and answer candidate group in the form of the question And a knowledge-based reasoning unit that generates an answer to the question by inputting it to a reasoning model determined according to.
한편, 상기 지식 기반 추론부는, 상기 질문의 형태를 분석하여 상기 질문에 대한 답변 형태를 참/거짓 문답의 답변, 인과 답변 및 확인 답변 중 하나로 설정하는 답변 형태 분석부를 포함할 수 있다.Meanwhile, the knowledge-based reasoning unit may include an answer type analysis unit that analyzes the type of the question and sets the answer type to the question as one of true/false answer, causal answer, and confirmation answer.
또한, 상기 지식 기반 추론부는, 상기 질문에 대한 답변 형태가 참/거짓 문답의 답변으로 설정되는 경우, 상기 질문 및 상기 답변 후보군을 트리화하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 트리구조 분석 모델을 상기 질문의 추론 모델으로 설정하고, 상기 질문에 대한 답변 형태가 인과 답변 또는 확인 답변으로 설정되는 경우, 딥러닝 학습 기반의 추론 모델을 상기 질문의 추론 모델으로 설정하는 추론 엔진 모델 선택부를 더 포함할 수 있다.In addition, the knowledge-based reasoning unit, if the answer form for the question is set to the answer of the true / false answer, the query and the answer candidates are treeed to intention of the natural language content included in the question and the answer candidates When a tree structure analysis model to be compared is set as a reasoning model of the question, and when the answer form for the question is set as a causal answer or a confirmation answer, a reasoning setting a deep learning learning-based reasoning model as the reasoning model of the question The engine model selection unit may be further included.
또한, 상기 지식 기반 데이터베이스 구성부는, 상기 자연어 콘텐츠를 도메인의 스코프, 미디어 종류 및 도메인의 카테고리에 따라 분류하고, 상기 자연어 콘텐츠를 데이터의 크기, 언어 형태 및 데이터의 구조에 따라 분류하며, 상기 자연어 콘텐츠의 문장 구조를 분석하여 벡터 값을 산출하는 입력 데이터 분석부를 포함할 수 있다.In addition, the knowledge base configuration unit classifies the natural language content according to domain scope, media type, and domain category, and classifies the natural language content according to data size, language form, and data structure, and the natural language content. It may include an input data analysis unit for calculating a vector value by analyzing the sentence structure of.
또한, 상기 지식 기반 데이터베이스 구성부는, 상기 자연어 콘텐츠의 분류 결과에 따라 상기 자연어 콘텐츠의 전달 루트를 분석하여 상기 자연어 콘텐츠의 출처 경위를 확인하고, 상기 자연어 콘텐츠를 출처 경위에 따라 계층적으로 분류하여 상기 지식 기반 데이터베이스로 저장하는 계층적 출처 분석부를 더 포함할 수 있다.In addition, the knowledge base database construction unit analyzes a route of delivery of the natural language content according to the classification result of the natural language content, checks the origin of the natural language content, and classifies the natural language content hierarchically according to the origin of the content. It may further include a hierarchical source analysis unit that stores the knowledge-based database.
또한, 상기 지식 기반 데이터베이스 구성부는, 상기 질문의 출처를 식별하고, 상기 질문의 출처에 기반하여 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 신뢰성 메트릭 기반 분석부를 더 포함할 수 있다.In addition, the knowledge-based database configuration unit, the reliability metric-based analysis unit for identifying the source of the question and extracting natural language content related to the question from the knowledge-based database as a candidate candidate for answering the question based on the source of the question It may further include.
또한, 상기 지식 기반 추론부는, 상기 추론 모델 중 하나로 상기 질문 및 상기 답변 후보군의 문장 구조를 트리화하고, 상기 질문 및 상기 답변 후보군에 대한 개체명 및 구문론적 분석을 수행하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 방식으로 상기 질문에 대한 답변을 생성하는 트리구조 분석 모델 및 상기 답변 후보군의 문장 구조를 분석하여 산출되는 벡터 값을 BERT 딥러닝 네트워크에 입력하여 상기 질문에 대한 답변을 생성하는 딥러닝 학습 기반 추론 모델을 포함할 수 있다.In addition, the knowledge-based reasoning unit, as one of the inference models, tree the sentence structure of the question and answer candidate groups, and performs the subject and syntactic analysis of the question and answer candidate groups to perform the question and answer candidate groups A tree structure analysis model that generates an answer to the question by comparing the intention of natural language content included in the sentence, and a vector value calculated by analyzing the sentence structure of the answer candidate group are input to a BERT deep learning network to answer the question You can include a deep learning learning-based reasoning model that generates answers.
또한, 상기 지식 기반 추론부에서 생성하는 답변의 신뢰성을 검증하는 답변 검증부를 더 포함할 수 있다.In addition, an answer verification unit for verifying the reliability of the answer generated by the knowledge-based reasoning unit may be further included.
한편, 본 발명의 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법은 판별 대상 뉴스에 해당하는 질문을 입력 받는 단계, 인터넷 상의 자연어로 이루어진 문장에 해당하는 자연어 콘텐츠를 입력 받는 단계, 상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계, 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 단계 및 상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 단계를 포함한다.On the other hand, the method for discriminating fake news using knowledge-based reasoning and reliability analysis of the present invention comprises: receiving a question corresponding to the news to be discriminated; inputting natural language content corresponding to a sentence composed of natural language on the Internet; Analyzing and constructing a knowledge-based database, extracting natural language content related to the question from the knowledge-based database into a candidate group for answering the question, and an inference model determining the question and answer candidate group according to the type of the question And typing in to generate an answer to the question.
한편, 상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계는, 상기 질문의 형태를 분석하여 상기 질문에 대한 답변 형태를 참/거짓 문답의 답변, 인과 답변 및 확인 답변 중 하나로 설정하는 단계를 포함할 수 있다.On the other hand, analyzing the natural language content and constructing a knowledge-based database includes analyzing the type of the question and setting the answer type for the question as one of true/false answer, causal answer, and confirmation answer. can do.
또한, 상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 단계는, 상기 질문에 대한 답변 형태가 참/거짓 문답의 답변으로 설정되는 경우, 상기 질문 및 상기 답변 후보군을 트리화하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 트리구조 분석 모델을 상기 질문의 추론 모델으로 설정하는 단계 및 상기 질문에 대한 답변 형태가 인과 답변 또는 확인 답변으로 설정되는 경우, 딥러닝 학습 기반의 추론 모델을 상기 질문의 추론 모델으로 설정하는 단계를 더 포함할 수 있다.In addition, the step of generating an answer to the question by inputting the question and the answer candidate group into an inference model determined according to the type of the question, when the answer type of the question is set to an answer of true/false question and answer Setting a tree structure analysis model that compares the intent of the natural language content included in the answer candidate group to the question by treeing the question and answer candidate groups as a reasoning model of the question, and the answer form for the question is causally When the answer or confirmation answer is set, the step of setting the deep learning learning-based reasoning model as the reasoning model of the question may be further included.
또한, 상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계는, 상기 자연어 콘텐츠를 도메인의 스코프, 미디어 종류 및 도메인의 카테고리에 따라 분류하는 단계, 상기 자연어 콘텐츠를 데이터의 크기, 언어 형태 및 데이터의 구조에 따라 분류하는 단계 및 상기 자연어 콘텐츠의 문장 구조를 분석하여 벡터 값을 산출하는 단계를 포함할 수 있다.In addition, analyzing the natural language content and constructing a knowledge base database may include classifying the natural language content according to a domain scope, media type, and domain category, and classifying the natural language content into data size, language form, and data. The method may include classifying according to a structure and calculating a vector value by analyzing the sentence structure of the natural language content.
또한, 상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계는, 상기 자연어 콘텐츠의 분류 결과에 따라 상기 자연어 콘텐츠의 전달 루트를 분석하여 상기 자연어 콘텐츠의 출처 경위를 확인하는 단계, 상기 자연어 콘텐츠를 출처 경위에 따라 계층적으로 분류하여 상기 지식 기반 데이터베이스로 저장하는 단계를 더 포함할 수 있다.In addition, analyzing the natural language content and constructing a knowledge-based database includes: analyzing a delivery route of the natural language content according to a classification result of the natural language content, and determining the origin of the natural language content, and originating the natural language content The method may further include classifying hierarchically according to the circumstances and storing it in the knowledge base database.
또한, 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 단계는, 상기 질문의 출처를 식별하고, 상기 질문의 출처에 기반하여 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 단계를 포함할 수 있다.In addition, the step of extracting the natural language content related to the question from the knowledge base database into a candidate group for answering the question, identifying the source of the question, and relating to the question from the knowledge base database based on the source of the question And extracting natural language content as a candidate group for answering the question.
또한, 상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 단계는, 상기 추론 모델 중 하나로 상기 질문 및 상기 답변 후보군의 문장 구조를 트리화하고, 상기 질문 및 상기 답변 후보군에 대한 개체명 및 구문론적 분석을 수행하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 방식으로 상기 질문에 대한 답변을 생성하는 단계 및 상기 답변 후보군의 문장 구조를 분석하여 산출되는 벡터 값을 BERT 딥러닝 네트워크에 입력하여 상기 질문에 대한 답변을 생성하는 단계를 포함할 수 있다.In addition, the step of generating an answer to the question by inputting the question and the answer candidate group into an inference model determined according to the type of the question, tree structure of the question and the answer candidate group as one of the reasoning models And generating an answer to the question in a manner of comparing the intention of the natural language content included in the answer candidate group and the subject by performing an object name and syntactic analysis of the question and answer candidate group and the answer candidate group The method may include generating a response to the question by inputting a vector value calculated by analyzing the sentence structure of the BERT deep learning network.
또한, 상기 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.In addition, the computer-readable recording medium in which a computer program is recorded for performing the method for discriminating fake news using the knowledge-based reasoning and reliability analysis.
본 발명에 따르면 사람이 직접 판별 대상 뉴스를 검증하는 것이 아니라 지식 기반 데이터베이스를 통해 판별 대상 뉴스의 사실성에 대한 답변을 생성하므로 빠르고 정확한 가짜 뉴스 탐색이 가능하다.According to the present invention, it is possible to search for fake news quickly and accurately because a person generates an answer to the fact of the news to be determined through a knowledge base rather than directly verifying the news to be determined.
도 1은 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치의 블록도이다.
도 2는 도 1에 도시된 지식 기반 데이터베이스 구성부의 세부 블록도이다.
도 3은 도 1에 도시된 지식 기반 추론부의 세부 블록도이다.
도 4는 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법의 흐름도이다. 1 is a block diagram of a fake news discrimination apparatus using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention.
FIG. 2 is a detailed block diagram of the knowledge base database configuration unit illustrated in FIG. 1.
3 is a detailed block diagram of the knowledge-based reasoning unit illustrated in FIG. 1.
4 is a flowchart of a fake news discrimination method using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.For a detailed description of the present invention, which will be described later, reference is made to the accompanying drawings that illustrate, by way of example, specific embodiments in which the invention may be practiced. These examples are described in detail enough to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and properties described herein can be implemented in other embodiments without departing from the spirit and scope of the invention in connection with one embodiment. In addition, it should be understood that the location or placement of individual components within each disclosed embodiment can be changed without departing from the spirit and scope of the invention. Therefore, the following detailed description is not intended to be taken in a limiting sense, and the scope of the present invention, if appropriately described, is limited only by the appended claims, along with all ranges equivalent to those claimed. In the drawings, similar reference numerals refer to the same or similar functions throughout several aspects.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치의 블록도이다.1 is a block diagram of a fake news discrimination apparatus using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치(1)는 자연어 콘텐츠 입력부(10), 질문 입력부(15), 지식 기반 데이터베이스 구성부(30), 지식 기반 추론부(50), 답변 검증부(70) 및 출력부(90)를 포함한다.Referring to FIG. 1, the fake
본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치(1, 이하 장치)는 자연어 콘텐츠를 이용하여 지식 기반 데이터베이스를 구축하고, 지식 기반 데이터베이스를 토대로 질문 문장에 대해 답변을 생성하여 출력할 수 있다. The fake news discrimination apparatus (1, hereinafter devices) using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention constructs a knowledge-based database using natural language content and answers a question sentence based on the knowledge-based database It can be generated and printed.
본 발명의 일 실시예에 따른 장치(1)는 지식 기반 추론 및 신뢰도 분석을 이용하여 질문에 대한 답변 생성을 위한 소프트웨어(어플리케이션)가 설치되어 실행될 수 있으며, 자연어 콘텐츠 입력부(10), 질문 입력부(15), 지식 기반 데이터베이스 구성부(30), 지식 기반 추론부(50), 답변 검증부(70) 및 출력부(90)는 지식 기반 추론 및 신뢰도 분석을 이용하여 질문에 대한 답변 생성을 위한 소프트웨어에 의해 제어될 수 있다.The
자연어 콘텐츠 입력부(10), 질문 입력부(15), 지식 기반 데이터베이스 구성부(30), 지식 기반 추론부(50), 답변 검증부(70) 및 출력부(90)의 구성은 통합 모듈로 형성되거나, 하나 이상의 모듈로 이루어질 수 있다. 그러나, 이와 반대로 각 구성은 별도의 모듈로 이루어질 수도 있다.The configuration of the natural language
본 발명의 일 실시예에 따른 장치(1)는 이동성을 갖거나 고정될 수 있다. 본 발명의 일 실시예에 따른 장치(1)는 컴퓨터(computer), 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), MT(mobile terminal), UT(user terminal), SS(subscriber station), 무선기기(wireless device), PDA(personal digital assistant), 무선 모뎀(wireless modem), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.The
이하, 도 1에 도시된 본 발명의 일 실시예에 따른 장치(1)의 각 구성에 대해 구체적으로 설명한다.Hereinafter, each configuration of the
자연어 콘텐츠 입력부(10)는 인터넷 상의 자연어로 이루어진 문장에 해당하는 자연어 콘텐츠를 수집할 수 있다. The natural language
예를 들면, 자연어 콘텐츠는 인터넷 상의 뉴스, 백과사전, 보고서, 나무위키 등으로부터 수집되는 문장에 해당한다.For example, natural language content corresponds to sentences collected from news, encyclopedias, reports, and tree wikis on the Internet.
질문 입력부(15)는 판별 대상 뉴스에 해당하는 질문 문장을 입력 받을 수 있다.The
질문 입력부(15)에서 입력 받는 질문 문장의 형태는 참/거짓 문답의 질문, 인과 질문, 확인 질문, 의견을 구하는 질문 등으로 나뉠 수 있다. The form of the question sentence received by the
지식 기반 데이터베이스 구성부(30)는 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하고, 지식 기반 데이터베이스로부터 질문과 관련된 자연어 콘텐츠를 질문에 대한 답변 후보군으로 추출할 수 있다. 이와 관련하여 구체적인 설명은 도 2를 참조하여 후술한다.The knowledge
지식 기반 추론부(50)는 질문의 형태에 따라 추론 모델을 선정하고, 질문 및 답변 후보군을 추론 모델에 입력하여 질문에 대한 답변을 생성할 수 있다. 본 실시예에서 추론 모델은 트리구조 분석 모델과 딥러닝 학습 기반의 추론 모델로 나뉠 수 있다. 이와 관련하여 구체적인 설명은 도 3을 참조하여 후술한다.The knowledge-based
답변 검증부(70)는 지식 기반 추론부(50)에서 생성하는 답변의 신뢰성을 검증할 수 있다. The
예를 들면, 답변 검증부(70)는 이전에 사실로 판별된 문장, 사실로 알려진 문장 등에 답변이 있는지 역 추적하여 답변을 검증할 수 있다.For example, the
또는, 답변 검증부(70)는 문장을 출처 경위에 따라 분류하여 저장하는 지식 기반 데이터베이스를 이용하여 답변과 다른 출처에 답변과 비슷한 문장이 있는지를 확인하는 방식으로 답변을 검증할 수 있다.Alternatively, the
또는, 답변 검증부(70)는 신뢰성 메트릭을 이용하여 답변을 검증할 수 있다. 신뢰성 메트릭은 지식 기반 데이터베이스 구성부(30)에서 답변 후보군을 추출하기 위해 구성하는 것으로, 시간 분류, 출처 식별, 경로 분석, 대명사 출처, 지식 수준 분석 등의 식별 및 분류 작업이 이루어질 수 있다. 답변 검증부(70)는 신뢰성 메트릭의 시간 분류, 출처 식별, 경로 분석, 대명사 출처, 지식 수준 분석 각각에 해당하는 식별 및 분류에 가중치를 더하여, 답변에 해당하는 신뢰도를 수치적으로 계산할 수도 있다.Alternatively, the
출력부(90)는 질문에 대한 답변 문장을 출력할 수 있다.The
출력부(90)에서 출력 하는 답변 문장의 형태는 질문의 형태에 따라 참/거짓 문답의 답변, 인과 답변, 확인 답변 등으로 나뉠 수 있다.The form of the answer sentence output from the
도 2는 도 1에 도시된 지식 기반 데이터베이스 구성부의 세부 블록도이다.FIG. 2 is a detailed block diagram of the knowledge base database configuration unit illustrated in FIG. 1.
도 2를 참조하면, 지식 기반 데이터베이스 구성부(30)는 입력 데이터 분석부(31), 계층적 출처 분석부(33) 및 신뢰성 메트릭 기반 분석부(35)를 포함할 수 있다.Referring to FIG. 2, the knowledge
입력 데이터 분석부(31)는 도 1에 도시된 자연어 콘텐츠 입력부(10)에서 수집하는 자연어 콘텐츠를 분석할 수 있다. The input
입력 데이터 분석부(31)는 자연어 콘텐츠의 도메인, 데이터 타입 및 문장 구조를 분석할 수 있다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠의 도메인을 분석하여, 자연어 콘텐츠를 도메인 스코프, 미디어의 종류 및 도메인 카테고리에 따라 분류할 수 있다. The input
입력 데이터 분석부(31)는 자연어 콘텐츠의 도메인 스코프를 정의하고, 자연어 콘텐츠의 미디어 종류를 분류할 수 있다. 예를 들면, 미디어의 종류는 라디오, 텔레비전, 인터넷 뉴스 등에 해당한다. 그리고, 입력 데이터 분석부(31)는 자연어 콘텐츠의 도메인 카테고리를 분류할 수 있다. 예를 들면, 도메인 카테고리는 스포츠, 음악, 정치, IT, 건강 등으로 나뉠 수 있다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠의 데이터 타입을 분석하여, 자연어 콘텐츠를 데이터의 크기, 언어 형태 및 데이터의 구조에 따라 분류할 수 있다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠의 데이터 크기를 크게 세 가지 타입으로 분류할 수 있다. 또한 입력 데이터 분석부(31)는 자연어 콘텐츠의 언어 형태를 분류할 수 있다. 예를 들면, 언어 형태의 종류는 한국어, 영어, 스페인어 등에 해당한다. 또한 입력 데이터 분석부(31)는 자연어 콘텐츠의 데이터의 구조를 분류할 수 있다. 예를 들면, 데이터의 구조는 정형 데이터, 준정형 데이터 및 비정형 데이터로 나뉠 수 있다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠의 문장 구조를 형태론적, 구문론적, 의미론적으로 분석하여 벡터 값을 산출할 수 있다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠를 최소 의미 단위인 형태소로 나누어 형태론적으로 분석할 수 있다. 입력 데이터 분석부(31)는 자연어 콘텐츠를 문장 단위로 자르고, 각각의 문장마다의 Sen2vec을 이용한 문장 임베딩을 통해 벡터 값으로 나타낼 수 있다. 입력 데이터 분석부(31)는 문장 단위로 자른 자연어 콘텐츠를 Mecab-ko 형태소 분석기를 이용하여 형태소 단위로 나누고, 문맥에서의 단어들 간의 관계를 파악하는 임베딩을 통해 벡터 값으로 나타낼 수 있다. 그리고 입력 데이터 분석부(31)는 형태소의 특징 벡터를 추가할 수 있다. 입력 데이터 분석부(31)는 형태소의 특징으로 형태소의 종류인 형태소의 코드(예를 들면, 인명, 지명, 고유명사, 일반명사, 동사, 기타 등)를 분류하여 각각 가중치를 주고, 형태소의 중요도, 전체 빈도, 문서 내의 빈도, 타이틀 출현, 문서의 카테고리 등을 포함하는 특징 벡터를 추가할 수 있다. 이러한 형태론적 분석을 통해 산출되는 자연어 콘텐츠의 벡터 값은 추후 질문에 대한 답변 후보군 추출에 사용될 수 있을 것이다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠를 문장을 이루는 구성 성분으로 분해하여 구문론적으로 분석할 수 있다. 입력 데이터 분석부(31)는 자연어 콘텐츠를 그 문장을 이루는 구성 성분으로 분해하고, 구성 성분 간의 위치 관계에 따라 문장의 구조를 결정하여 분류할 수 있다.The input
입력 데이터 분석부(31)는 자연어 콘텐츠를 작성한 사용자의 의도를 파악하여 의미론적으로 분석할 수 있다. 입력 데이터 분석부(31)는 자연어 콘텐츠의 어휘의 의미와 문맥을 분석하여 자연어 콘텐츠를 해석할 수 있다.The input
계층적 출처 분석부(33)는 입력 데이터 분석부(31)에서의 자연어 콘텐츠 분석 결과에 따라 자연어 콘텐츠를 서로 연관성 있는 콘텐츠 별로 분류하여 지식 기반 데이터베이스로 저장할 수 있다.The hierarchical
계층적 출처 분석부(33)는 입력 데이터 분석부(31)에서의 자연어 콘텐츠 분류 결과에 따라 자연어 콘텐츠의 전달 루트를 분석하여 해당 내용의 출처 경위를 확인할 수 있다. 계층적 출처 분석부(33)는 자연어 콘텐츠를 출처 경위에 따라 계층적으로 분류하여 지식 기반 데이터베이스로 저장할 수 있다.The hierarchical
계층적 출처 분석부(33)는 자연어 콘텐츠가 서로 다른 출처 경위가 확인되는 경우, 자연어 콘텐츠를 각 출처 경위에 따라 계층적으로 분류하여 저장하되 가중치를 부여할 수 있다.The hierarchical
신뢰성 메트릭 기반 분석부(35)는 지식 기반 데이터베이스에서 질문 입력부(15)에서 입력 받는 질문과 관련된 자연어 콘텐츠를 질문에 대한 답변 후보군으로 추출할 수 있다.The reliability metric-based
신뢰성 메트릭 기반 분석부(35)는 지식 기반 데이터베이스로부터 답변 후보군을 추출하기 위해 질문을 식별 및 분류하여 신뢰성 메트릭을 구성할 수 있다.The reliability metric-based
예를 들면, 신뢰성 메트릭 기반 분석부(35)는 시간 분류자를 포함하여 질문이 발생한 시간을 식별할 수 있다. 신뢰성 메트릭 기반 분석부(35)는 질문이 발생한 시간을 이용하여 지식 기반 데이터베이스에서 답변 후보군을 추출할 수 있다.For example, the reliability metric-based
신뢰성 메트릭 기반 분석부(35)는 출처 식별자를 포함하여 질문의 출처를 식별할 수 있다. 예를 들면, 출처 식별자는 질문에 포함되는 "~에 따르면, ~에 의해"등의 문장으로부터 질문의 출처를 식별할 수 있다. 신뢰성 메트릭 기반 분석부(35)는 질문의 출처를 이용하여 지식 기반 데이터베이스에서 답변 후보군을 추출할 수 있다.The reliability metric-based
신뢰성 메트릭 기반 분석부(35)는 경로 분석기를 포함하여 지식 기반 데이터베이스에서 질문의 출처 경위를 찾아 실제 질문에 해당하는 자연어 콘텐츠가 존재하는지를 파악할 수 있다. 이러한 신뢰성 메트릭 기반 분석부(35)의 경로 탐색 결과는 질문이 가짜 뉴스에 해당하는지를 판단하거나, 답변의 신뢰성을 검증하는 데에 사용될 수 있다.The reliability metric-based
신뢰성 메트릭 기반 분석부(35)는 대명사 출처 분석기를 포함하여 질문의 주어에 해당하는 인물, 기관 등을 식별할 수 있다. 대명사 출처 분석기는 주어에 따라 가중치를 부여할 수 있다. 신뢰성 메트릭 기반 분석부(35)는 질문의 주어를 이용하여 지식 기반 데이터베이스에서 답변 후보군을 추출할 수 있다.The reliability metric-based
신뢰성 메트릭 기반 분석부(35)는 지식 수준 분석기를 포함하여 대명사 출처 분석기에서 식별한 질문의 주어의 지식 수준을 분석할 수 있다. 신뢰성 메트릭 기반 분석부(35)는 지식 기반 데이터베이스를 이용하여 질문의 주어가 관련 지식에 대해 충분한 판단과 결과를 얻어낼 수 있는 사람인지, 해당 부분의 지식과 관련 없는 사람인지를 비교할 수 있다.The reliability metric based
도 3은 도 1에 도시된 지식 기반 추론부의 세부 블록도이다.3 is a detailed block diagram of the knowledge-based reasoning unit illustrated in FIG. 1.
도 3을 참조하면, 지식 기반 추론부(50)는 답변 형태 분석부(51), 추론 엔진 모델 선택부(53), 데이터 전처리부(55), 트리구조 분석 모델(57) 및 딥러닝 학습 기반 추론 모델(59)을 포함할 수 있다.Referring to FIG. 3, the knowledge-based
답변 형태 분석부(51)는 질문 입력부(15)에서 입력 받는 질문 문장의 형태에 따라 답변 형태를 설정할 수 있다.The answer
답변 형태 분석부(51)는 질문 문장의 형태를 분석하여 질문에 대한 답변 형태를 참/거진 문답의 답변, 인과 답변 및 확인 답변 중 하나로 설정할 수 있다.The answer
추론 엔진 모델 선택부(53)는 답변 형태에 따라 추론 모델을 설정할 수 있다. 여기서, 추론 모델은 트리구조 분석 모델(57) 또는 딥러닝 학습 기반 추론 모델(59) 중 하나일 수 있다.The inference engine
추론 엔진 모델 선택부(53)는 답변 형태가 참/거짓 문답의 답변으로 설정되는 경우, 추론 모델로 트리구조 분석 모델(57)을 설정할 수 있다.The reasoning engine
추론 엔진 모델 선택부(53)는 답변 형태가 인과 답변 또는 확인 답변과 같이 참/거짓 문답의 답변이 아닌 답변으로 설정되는 경우, 추론 모델로 딥러닝 학습 기반의 추론 모델을 설정할 수 있다.The reasoning engine
데이터 전처리부(55)는 신뢰성 메트릭 기반 분석부(35)에서 추출하는 질문에 대한 답변 후보군을 추론 모델의 입력 데이터로 사용할 수 있도록 답변 후보군의 형태론적 분석을 진행할 수 있다.The
데이터 전처리부(55)는 답변 후보군에 포함되는 자연어 콘텐츠에 있어서 상술한 입력 데이터 분석부(31)와 같이 형태론적 분석을 재차 진행하여 벡터 값을 산출할 수 있다.The
트리구조 분석 모델(57)은 추론 모델 중 하나로 답변 후보군으로부터 답변을 생성할 수 있다. The tree
트리구조 분석 모델(57)은 입력 데이터로 질문 문장 및 답변 후보군의 문장을 사용할 수 있다. 트리구조 분석 모델(57)은 질문 문장 및 답변 후보군의 문장 구조를 트리화하고, 질문 및 답변 후보군에 대한 개체명 및 구문론적 분석을 수행하여 질문과 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 방식으로 최종 결과를 추론할 수 있다.The tree
트리구조 분석 모델(57)은 질문 문장 및 답변 후보군의 트리구조에 대한 개체명 분석 방법으로, 문장의 의도를 파악하고 어휘의 의미와 문맥을 분석하여 문장을 해석할 수 있다. 예를 들면, 트리구조 분석 모델(57)은 한국어의 개체명 인식 딥러닝 방식 중 하나인 BiLSTM-CRF를 활용하여 개체명 인식으로 단어 간의 의미를 태깅할 수 있다. 개체명 태깅은 인물(PERSON), 학문분야(STUDY_FIELD), 이론(THEROY), 인공물(ARTIFACTS), 기관(ORGANIZATION), 지역(LOCATION), 문명(CIVILIZATION), 날짜(DATE), 시간(TIME), 수량(QUANTITY), 이벤트(EVENT), 동물(ANIMAL), 식물(PLANT), 물질(MATERIAL), 용어(TERM)의 15개로 나뉠 수 있다. 트리구조 분석 모델(57)은 질문에 태깅된 개체명이 답변 후보군에 포함되는 자연어 콘텐츠에 각각 의미론적으로 알맞게 속해있는지를 확인하는 개체명 분석을 수행할 수 있다.The tree
트리구조 분석 모델(57)은 질문 문장 및 답변 후보군의 트리구조에 대한 구문론적 분석 방법으로, 질문 및 답변 후보군의 문장 구성 성분 간의 위치 관계를 분석하여 문장의 구조를 해석할 수 있다. 예를 들면, 트리구조 분석 모델(57)은 문장에서의 각 형태소간의 문장 문법을 파악하여 구문 태그와 기능 태그를 통해 문장의 형태소간의 관계를 파악할 수 있다. 구문 태그로는 NP_체언(명사, 대명사, 수사), VP_용언(동사, 형용사, 보조용언), AP_부사구, VNP_긍정 지정사구(명사+이다), DP_관형사구, IP_감탄사구(호칭 및 대답 등의 표현), X_의사 구(pseudo pharse, 조사 단독 어절 또는 기호 등), L_부호(왼쪽 괄호 및 따옴표), R_부호(오른쪽 괄호 및 따옴표) 등으로 나뉠 수 있다. 기능 태그로는 SBJ_주어, OBJ_목적어, MOD_관형어(체언 수식어), AJT_부사어(용언 수식어), CMP_보어, CNJ_접속어(~와) 등으로 나뉠 수 있다. The tree
트리구조 분석 모델(57)은 이와 같이 질문 및 답변 후보군의 트리구조에 대한 개체명 및 구문론적 비교 분석을 수행하여 질문의 의도에 해당하는 내용이 답변 후보군에 존재하는지 여부에 따라 참/거짓의 답변을 생성할 수 있을 것이다.The tree
딥러닝 학습 기반 추론 모델(59)은 답변 후보군의 문장 구조를 분석하여 산출되는 벡터 값을 BERT 딥러닝 네트워크에 입력하여 질문에 대한 답변을 생성할 수 있다. 예를 들면, 답변 후보군의 문장 구조를 분석하여 단어 임베딩을 통해 산출되는 벡터 값은 300차원이고, 형태소의 특징 벡터 값은 300차원으로 총 600차원의 벡터일 수 있다. BERT 딥러닝 네트워크는 질문 답변 방법의 오픈소스로 공개되어 있으며, 딥러닝 학습 기반 추론 모델(59)은 BERT 딥러닝 네트워크에 600차원의 벡터를 입력 값으로 하여 결과 값을 획득할 수 있으며, 그 결과 값을 질문에 대한 답변으로 생성할 수 있을 것이다.The deep learning learning-based
이와 같은, 본 발명의 일 실시예에 따른 장치(1)는 자연어 콘텐츠를 정제한 후 지식 기반 데이터베이스를 구축하고, 지식 기반 데이터베이스를 통해 질문에 대한 답변을 생성할 수 있다. 즉, 본 발명의 일 실시예에 따른 장치(1)는 사람이 직접 판별 대상 뉴스를 검증하는 것이 아니라 지식 기반 데이터베이스를 통해 판별 대상 뉴스의 사실성에 대한 답변을 생성하므로 빠르고 정확한 가짜 뉴스 탐색이 가능하다.As described above, the
이하 도 4를 참조하여 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법에 대해 설명한다.Hereinafter, a method of discriminating fake news using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention will be described with reference to FIG. 4.
도 4는 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법의 흐름도이다.4 is a flowchart of a fake news discrimination method using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법은 도 1에 도시된 본 발명의 일 실시예에 따른 장치(1)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서 도 1의 장치(1)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다.The method for discriminating fake news using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention may be performed in substantially the same configuration as the
도 4를 참조하면, 자연어 콘텐츠 입력부(10) 및 질문 입력부(15)는 각각 자연어 콘텐츠 및 질문을 입력 받을 수 있다(S100).Referring to FIG. 4, the natural language
자연어 콘텐츠 입력부(10)는 인터넷 상의 자연어로 이루어진 문장에 해당하는 자연어 콘텐츠를 수집할 수 있다. 예를 들면, 자연어 콘텐츠는 인터넷 상의 뉴스, 백과사전, 보고서, 나무위키 등으로부터 수집되는 문장에 해당한다.The natural language
질문 입력부(15)는 판별 대상 뉴스에 해당하는 질문 문장을 입력 받을 수 있다. 질문 입력부(15)에서 입력 받는 질문 문장의 형태는 참/거짓 문답의 질문, 인과 질문, 확인 질문, 의견을 구하는 질문 등으로 나뉠 수 있다. The
지식 기반 데이터베이스 구성부(30)는 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성할 수 있다(S200).The knowledge
지식 기반 데이터베이스 구성부(30)는 자연어 콘텐츠의 도메인, 데이터 타입 및 문장 구조를 분석할 수 있다. 지식 기반 데이터베이스 구성부(30)는 자연어 콘텐츠 분석 결과에 따라 자연어 콘텐츠를 서로 연관성 있는 콘텐츠 별로 분류하여 지식 기반 데이터베이스로 저장할 수 있다. 지식 기반 데이터베이스 구성부(30)는 자연어 콘텐츠 분류 결과에 따라 자연어 콘텐츠의 전달 루트를 분석하여 해당 내용의 출처 경위를 확인할 수 있다. 계층적 출처 분석부(33)는 자연어 콘텐츠를 출처 경위에 따라 계층적으로 분류하여 지식 기반 데이터베이스로 저장할 수 있다.The knowledge
지식 기반 데이터베이스 구성부(30)는 지식 기반 데이터베이스로부터 질문에 대한 답변 후보군을 추출할 수 있다(S300).The knowledge
지식 기반 데이터베이스 구성부(30)는 지식 기반 데이터베이스에서 질문 입력부(15)에서 입력 받는 질문과 관련된 자연어 콘텐츠를 질문에 대한 답변 후보군으로 추출할 수 있다. 지식 기반 데이터베이스 구성부(30)는 지식 기반 데이터베이스로부터 답변 후보군을 추출하기 위해 질문을 식별 및 분류하여 신뢰성 메트릭을 구성할 수 있다.The knowledge
지식 기반 추론부(50)는 질문 및 답변 후보군을 추론 엔진에 입력하여 답변을 생성할 수 있다(S400).The knowledge-based
지식 기반 추론부(50)는 질문 문장의 형태에 따라 답변 형태를 참/거진 문답의 답변, 인과 답변 및 확인 답변 중 하나로 설정할 수 있다. 지식 기반 추론부(50)는 답변 형태가 참/거짓 문답의 답변으로 설정되는 경우, 추론 모델로 트리구조 분석 모델을 설정하고, 답변 형태가 인과 답변 또는 확인 답변과 같이 참/거짓 문답의 답변이 아닌 답변으로 설정되는 경우, 추론 모델로 딥러닝 학습 기반의 추론 모델을 설정할 수 있다. The knowledge-based
트리구조 분석 모델 질문 및 답변 후보군의 트리구조에 대한 개체명 및 구문론적 비교 분석을 수행하여 질문의 의도에 해당하는 내용이 답변 후보군에 존재하는지 여부에 따라 참/거짓의 답변을 생성할 수 있다.Tree structure analysis model By performing object name and syntactic comparison analysis of the tree structure of the question and answer candidate groups, a true/false answer can be generated according to whether the content corresponding to the intention of the question exists in the answer candidate group.
딥러닝 학습 기반 추론 모델은 답변 후보군의 문장 구조를 분석하여 산출되는 벡터 값을 BERT 딥러닝 네트워크에 입력하여 질문에 대한 답변을 생성할 수 있다. The deep learning learning-based reasoning model may generate an answer to a question by inputting a vector value calculated by analyzing a sentence structure of an answer candidate group into a BERT deep learning network.
답변 검증부(70)는 지식 기반 추론부(50)에서 생성한 답변을 검증하고, 출력부(90)는 이를 출력할 수 있다(S500)The
답변 검증부(70)는 지식 기반 추론부(50)에서 생성하는 답변의 신뢰성을 검증할 수 있다. 예를 들면, 답변 검증부(70)는 이전에 사실로 판별된 문장, 사실로 알려진 문장 등에 답변이 있는지 역 추적하여 답변을 검증할 수 있다. 또는, 답변 검증부(70)는 문장을 출처 경위에 따라 분류하여 저장하는 지식 기반 데이터베이스를 이용하여 답변과 다른 출처에 답변과 비슷한 문장이 있는지를 확인하는 방식으로 답변을 검증할 수 있다. 또는, 답변 검증부(70)는 신뢰성 메트릭을 이용하여 답변을 검증할 수 있다. 신뢰성 메트릭은 시간 분류, 출처 식별, 경로 분석, 대명사 출처, 지식 수준 분석 등의 식별 및 분류 작업이 이루어질 수 있다. 답변 검증부(70)는 신뢰성 메트릭의 시간 분류, 출처 식별, 경로 분석, 대명사 출처, 지식 수준 분석 각각에 해당하는 식별 및 분류에 가중치를 더하여, 답변에 해당하는 신뢰도를 수치적으로 계산할 수도 있다.The
이와 같은 본 발명의 일 실시예에 따른 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법은 어플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.Such a method for discriminating fake news using knowledge-based reasoning and reliability analysis according to an embodiment of the present invention is implemented in the form of program instructions that can be implemented as an application or performed through various computer components to a computer-readable recording medium. Can be recorded. The computer-readable recording medium may include program instructions, data files, data structures, or the like alone or in combination.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the computer-readable recording medium are specially designed and configured for the present invention, and may be known and available to those skilled in the computer software field.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Examples of program instructions include not only machine language codes produced by a compiler, but also high-level language codes executable by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments, those skilled in the art understand that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. Will be able to.
1: 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치
10: 자연어 콘텐츠 입력부
15: 질문 입력부
30: 지식 기반 데이터베이스 구성부
50: 지식 기반 추론부
70: 답변 검증부
90: 출력부1: Fake news discrimination device using knowledge-based reasoning and reliability analysis
10: natural language content input unit
15: Question input
30: Knowledge Base Database Components
50: knowledge base reasoning
70: answer verification department
90: output
Claims (16)
인터넷 상의 자연어로 이루어진 문장에 해당하는 자연어 콘텐츠를 입력 받는 자연어 콘텐츠 입력부;
상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하고, 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 지식 기반 데이터베이스 구성부; 및
상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 지식 기반 추론부;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.A question input unit that receives a question corresponding to the news to be determined;
A natural language content input unit that receives natural language content corresponding to a sentence in natural language on the Internet;
A knowledge base database constructing unit configured to analyze the natural language content to construct a knowledge base database, and extract natural language content related to the question from the knowledge base database as a candidate candidate for answering the question; And
A knowledge-based reasoning unit comprising: a knowledge-based reasoning unit that generates the answer to the question by inputting the question and the answer candidate group into an inference model determined according to the type of the question.
상기 지식 기반 추론부는,
상기 질문의 형태를 분석하여 상기 질문에 대한 답변 형태를 참/거짓 문답의 답변, 인과 답변 및 확인 답변 중 하나로 설정하는 답변 형태 분석부;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.According to claim 1,
The knowledge-based reasoning unit,
Analyzing the type of the question and setting the answer type for the question as one of true/false question answer, causal answer, and confirmation answer; including, knowledge-based reasoning and reliability analysis to determine fake news Device.
상기 지식 기반 추론부는,
상기 질문에 대한 답변 형태가 참/거짓 문답의 답변으로 설정되는 경우, 상기 질문 및 상기 답변 후보군을 트리화하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 트리구조 분석 모델을 상기 질문의 추론 모델으로 설정하고,
상기 질문에 대한 답변 형태가 인과 답변 또는 확인 답변으로 설정되는 경우, 딥러닝 학습 기반의 추론 모델을 상기 질문의 추론 모델으로 설정하는 추론 엔진 모델 선택부;를 더 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.According to claim 2,
The knowledge-based reasoning unit,
If the answer type for the question is set to answer true/false questions and answers, the tree structure analysis model that compares the intent of the natural language content included in the answer candidate group by treeing the question and answer candidate group is recalled. Set it as a reasoning model for questions,
If the answer form for the question is set to a causal answer or confirmation answer, further comprising: a reasoning engine model selection unit for setting a deep learning learning-based reasoning model as the reasoning model of the question; further comprising, knowledge-based reasoning and reliability analysis Fake news discrimination device using.
상기 지식 기반 데이터베이스 구성부는,
상기 자연어 콘텐츠를 도메인의 스코프, 미디어 종류 및 도메인의 카테고리에 따라 분류하고, 상기 자연어 콘텐츠를 데이터의 크기, 언어 형태 및 데이터의 구조에 따라 분류하며, 상기 자연어 콘텐츠의 문장 구조를 분석하여 벡터 값을 산출하는 입력 데이터 분석부;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.According to claim 1,
The knowledge base database configuration unit,
The natural language content is classified according to a domain scope, media type, and domain category, and the natural language content is classified according to data size, language form, and data structure, and the sentence structure of the natural language content is analyzed to obtain a vector value. Computing input data analysis unit; including, knowledge-based reasoning and fake news discrimination device using reliability analysis.
상기 지식 기반 데이터베이스 구성부는,
상기 자연어 콘텐츠의 분류 결과에 따라 상기 자연어 콘텐츠의 전달 루트를 분석하여 상기 자연어 콘텐츠의 출처 경위를 확인하고, 상기 자연어 콘텐츠를 출처 경위에 따라 계층적으로 분류하여 상기 지식 기반 데이터베이스로 저장하는 계층적 출처 분석부;를 더 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.The method of claim 4,
The knowledge base database configuration unit,
A hierarchical source that analyzes the delivery route of the natural language content according to the classification result of the natural language content, checks the origin of the natural language content, classifies the natural language content hierarchically according to the origin, and stores the natural language content in the knowledge base database Analysis unit; further comprising, fake news discrimination device using knowledge-based reasoning and reliability analysis.
상기 지식 기반 데이터베이스 구성부는,
상기 질문의 출처를 식별하고, 상기 질문의 출처에 기반하여 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 신뢰성 메트릭 기반 분석부;를 더 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.The method of claim 5,
The knowledge base database configuration unit,
Reliability metric based analysis unit for identifying the source of the question and extracting natural language content related to the question from the knowledge base database as a candidate candidate for answering the question based on the source of the question; And fake news discrimination device using reliability analysis.
상기 지식 기반 추론부는,
상기 추론 모델 중 하나로 상기 질문 및 상기 답변 후보군의 문장 구조를 트리화하고, 상기 질문 및 상기 답변 후보군에 대한 개체명 및 구문론적 분석을 수행하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 방식으로 상기 질문에 대한 답변을 생성하는 트리구조 분석 모델; 및
상기 답변 후보군의 문장 구조를 분석하여 산출되는 벡터 값을 BERT 딥러닝 네트워크에 입력하여 상기 질문에 대한 답변을 생성하는 딥러닝 학습 기반 추론 모델;을 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.According to claim 1,
The knowledge-based reasoning unit,
Trim the sentence structure of the question and answer candidate groups as one of the inference models, and perform the object name and syntactic analysis of the question and answer candidate groups to determine the intention of natural language content included in the question and answer candidate groups. A tree structure analysis model for generating answers to the questions in a comparison manner; And
Including a vector value calculated by analyzing the sentence structure of the candidate candidate group into a BERT deep learning network to generate a response to the question; a deep learning learning-based reasoning model; including, fake news using knowledge-based reasoning and reliability analysis Discrimination device.
상기 지식 기반 추론부에서 생성하는 답변의 신뢰성을 검증하는 답변 검증부;를 더 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 장치.According to claim 1,
Further comprising, answer verification unit for verifying the reliability of the answer generated by the knowledge-based reasoning unit; Fake news discrimination apparatus using knowledge-based reasoning and reliability analysis.
인터넷 상의 자연어로 이루어진 문장에 해당하는 자연어 콘텐츠를 입력 받는 단계;
상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계;
상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 단계; 및
상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 단계;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.Receiving a question corresponding to the discrimination target news;
Receiving natural language content corresponding to a sentence in natural language on the Internet;
Constructing a knowledge base by analyzing the natural language content;
Extracting natural language content related to the question from the knowledge base as a candidate candidate for answering the question; And
And generating a response to the question by inputting the question and the answer candidate group into an inference model determined according to the type of the question. A method of determining fake news using knowledge-based reasoning and reliability analysis.
상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계는,
상기 질문의 형태를 분석하여 상기 질문에 대한 답변 형태를 참/거짓 문답의 답변, 인과 답변 및 확인 답변 중 하나로 설정하는 단계;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.The method of claim 9,
The step of constructing a knowledge base by analyzing the natural language content is
Analyzing the type of the question and setting the answer type to the question as one of true/false question answer, causal answer, and confirmation answer; including, knowledge-based reasoning and fake news discrimination method using reliability analysis.
상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 단계는,
상기 질문에 대한 답변 형태가 참/거짓 문답의 답변으로 설정되는 경우, 상기 질문 및 상기 답변 후보군을 트리화하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 트리구조 분석 모델을 상기 질문의 추론 모델으로 설정하는 단계; 및
상기 질문에 대한 답변 형태가 인과 답변 또는 확인 답변으로 설정되는 경우, 딥러닝 학습 기반의 추론 모델을 상기 질문의 추론 모델으로 설정하는 단계;를 더 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.The method of claim 10,
Generating an answer to the question by inputting the question and the answer candidate group into an inference model determined according to the type of the question,
If the answer type for the question is set to answer true/false questions and answers, the tree structure analysis model that compares the intent of the natural language content included in the answer candidate group by treeing the question and answer candidate group is recalled. Establishing a question inference model; And
When the answer form for the question is set as a causal answer or confirmation answer, setting a deep learning learning-based reasoning model as the reasoning model of the question; further comprising, fake news using knowledge-based reasoning and reliability analysis Discrimination method.
상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계는,
상기 자연어 콘텐츠를 도메인의 스코프, 미디어 종류 및 도메인의 카테고리에 따라 분류하는 단계;
상기 자연어 콘텐츠를 데이터의 크기, 언어 형태 및 데이터의 구조에 따라 분류하는 단계; 및
상기 자연어 콘텐츠의 문장 구조를 분석하여 벡터 값을 산출하는 단계;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.The method of claim 9,
The step of constructing a knowledge base by analyzing the natural language content is
Classifying the natural language content according to a domain scope, media type, and domain category;
Classifying the natural language content according to data size, language form, and data structure; And
Comprising the step of analyzing the sentence structure of the natural language content to calculate a vector value; including, knowledge-based reasoning and fake news discrimination method using reliability analysis.
상기 자연어 콘텐츠를 분석하여 지식 기반 데이터베이스를 구성하는 단계는,
상기 자연어 콘텐츠의 분류 결과에 따라 상기 자연어 콘텐츠의 전달 루트를 분석하여 상기 자연어 콘텐츠의 출처 경위를 확인하는 단계;
상기 자연어 콘텐츠를 출처 경위에 따라 계층적으로 분류하여 상기 지식 기반 데이터베이스로 저장하는 단계;를 더 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.The method of claim 12,
The step of constructing a knowledge base by analyzing the natural language content is
Determining a source of origin of the natural language content by analyzing a delivery route of the natural language content according to the classification result of the natural language content;
A method of discriminating fake news using knowledge-based reasoning and reliability analysis, further comprising: classifying the natural language content hierarchically according to the source context and storing it in the knowledge-based database.
상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 단계는,
상기 질문의 출처를 식별하고, 상기 질문의 출처에 기반하여 상기 지식 기반 데이터베이스로부터 상기 질문과 관련된 자연어 콘텐츠를 상기 질문에 대한 답변 후보군으로 추출하는 단계;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.The method of claim 13,
Extracting natural language content related to the question from the knowledge base into candidate groups for answering the question,
Identifying the origin of the question, and extracting natural language content related to the question from the knowledge base database as a candidate candidate for answering the question based on the origin of the question; Using knowledge-based reasoning and reliability analysis How to identify fake news.
상기 질문 및 상기 답변 후보군을 상기 질문의 형태에 따라 정해지는 추론 모델에 입력하여 상기 질문에 대한 답변을 생성하는 단계는,
상기 추론 모델 중 하나로 상기 질문 및 상기 답변 후보군의 문장 구조를 트리화하고, 상기 질문 및 상기 답변 후보군에 대한 개체명 및 구문론적 분석을 수행하여 상기 질문과 상기 답변 후보군에 포함되는 자연어 콘텐츠의 의도를 비교하는 방식으로 상기 질문에 대한 답변을 생성하는 단계; 및
상기 답변 후보군의 문장 구조를 분석하여 산출되는 벡터 값을 BERT 딥러닝 네트워크에 입력하여 상기 질문에 대한 답변을 생성하는 단계;를 포함하는, 지식 기반 추론 및 신뢰도 분석을 이용한 가짜뉴스 판별 방법.The method of claim 9,
Generating an answer to the question by inputting the question and the answer candidate group into an inference model determined according to the type of the question,
Trim the sentence structure of the question and answer candidate groups as one of the inference models, and perform the object name and syntactic analysis of the question and answer candidate groups to determine the intention of natural language content included in the question and answer candidate groups. Generating an answer to the question in a manner of comparison; And
And generating a response to the question by inputting a vector value calculated by analyzing a sentence structure of the answer candidate group into a BERT deep learning network; a method of discriminating fake news using knowledge-based reasoning and reliability analysis.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20180151971 | 2018-11-30 | ||
KR1020180151971 | 2018-11-30 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200066119A true KR20200066119A (en) | 2020-06-09 |
KR102206781B1 KR102206781B1 (en) | 2021-01-25 |
Family
ID=71082730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190008303A KR102206781B1 (en) | 2018-11-30 | 2019-01-22 | Method of fake news evaluation based on knowledge-based inference, recording medium and apparatus for performing the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102206781B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220001619A (en) * | 2020-06-30 | 2022-01-06 | 주식회사 에이아이스페라 | Method and program for providing fraud information |
WO2022045488A1 (en) * | 2020-08-25 | 2022-03-03 | 숭실대학교산학협력단 | Method and apparatus for knowledge completion via rule generation based on neural symbolic method |
KR102451552B1 (en) * | 2021-06-21 | 2022-10-06 | 강미현 | Content analysis system for authenticity verifying of content based on deep learning |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020017076A (en) * | 2000-08-28 | 2002-03-07 | 인소란, 최정자 | Knowledge base custom made information offer system and service method thereof |
KR20170107282A (en) * | 2016-03-15 | 2017-09-25 | 한국전자통신연구원 | Apparatus and method for supporting decision making based on natural language understanding and question and answer |
KR20180004960A (en) * | 2016-07-05 | 2018-01-15 | 한국전자통신연구원 | Hybrid reasoning based natural language query and answer system and method thereof |
KR101849750B1 (en) * | 2017-01-26 | 2018-04-17 | 주식회사 솔트룩스 | Interactive Automatic Question-Answering System |
-
2019
- 2019-01-22 KR KR1020190008303A patent/KR102206781B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020017076A (en) * | 2000-08-28 | 2002-03-07 | 인소란, 최정자 | Knowledge base custom made information offer system and service method thereof |
KR20170107282A (en) * | 2016-03-15 | 2017-09-25 | 한국전자통신연구원 | Apparatus and method for supporting decision making based on natural language understanding and question and answer |
KR20180004960A (en) * | 2016-07-05 | 2018-01-15 | 한국전자통신연구원 | Hybrid reasoning based natural language query and answer system and method thereof |
KR101849750B1 (en) * | 2017-01-26 | 2018-04-17 | 주식회사 솔트룩스 | Interactive Automatic Question-Answering System |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220001619A (en) * | 2020-06-30 | 2022-01-06 | 주식회사 에이아이스페라 | Method and program for providing fraud information |
WO2022045488A1 (en) * | 2020-08-25 | 2022-03-03 | 숭실대학교산학협력단 | Method and apparatus for knowledge completion via rule generation based on neural symbolic method |
KR102451552B1 (en) * | 2021-06-21 | 2022-10-06 | 강미현 | Content analysis system for authenticity verifying of content based on deep learning |
Also Published As
Publication number | Publication date |
---|---|
KR102206781B1 (en) | 2021-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
García-Díaz et al. | Detecting misogyny in Spanish tweets. An approach based on linguistics features and word embeddings | |
KR101723862B1 (en) | Apparatus and method for classifying and analyzing documents including text | |
KR20190133931A (en) | Method to response based on sentence paraphrase recognition for a dialog system | |
CN104471568A (en) | Learning-based processing of natural language questions | |
Kausar et al. | ProSOUL: a framework to identify propaganda from online Urdu content | |
CN106570180A (en) | Artificial intelligence based voice searching method and device | |
US9632998B2 (en) | Claim polarity identification | |
KR102206781B1 (en) | Method of fake news evaluation based on knowledge-based inference, recording medium and apparatus for performing the method | |
CN113590810B (en) | Abstract generation model training method, abstract generation device and electronic equipment | |
CN111259645A (en) | Referee document structuring method and device | |
Shekhawat | Sentiment classification of current public opinion on BREXIT: Naïve Bayes classifier model vs Python’s TextBlob approach | |
Park et al. | Using syntactic features for phishing detection | |
CN112069312A (en) | Text classification method based on entity recognition and electronic device | |
CN111241397A (en) | Content recommendation method and device and computing equipment | |
Atreja et al. | Citicafe: An interactive interface for citizen engagement | |
CN114186040A (en) | Operation method of intelligent robot customer service | |
Kasmuri et al. | Subjectivity analysis in opinion mining—a systematic literature review | |
CN111274354B (en) | Referee document structuring method and referee document structuring device | |
Shrestha | Detecting fake news with sentiment analysis and network metadata | |
Hussain et al. | A technique for perceiving abusive bangla comments | |
US8666987B2 (en) | Apparatus and method for processing documents to extract expressions and descriptions | |
Malhar et al. | Deep learning based Answering Questions using T5 and Structured Question Generation System’ | |
Sweeney et al. | Multi-entity sentiment analysis using entity-level feature extraction and word embeddings approach. | |
CN111949781B (en) | Intelligent interaction method and device based on natural sentence syntactic analysis | |
Nguyen-Son et al. | Identifying adversarial sentences by analyzing text complexity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |