KR102640449B1 - 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치 - Google Patents

딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치 Download PDF

Info

Publication number
KR102640449B1
KR102640449B1 KR1020230100998A KR20230100998A KR102640449B1 KR 102640449 B1 KR102640449 B1 KR 102640449B1 KR 1020230100998 A KR1020230100998 A KR 1020230100998A KR 20230100998 A KR20230100998 A KR 20230100998A KR 102640449 B1 KR102640449 B1 KR 102640449B1
Authority
KR
South Korea
Prior art keywords
hallucination
sentence
natural language
document
deep learning
Prior art date
Application number
KR1020230100998A
Other languages
English (en)
Inventor
조창희
고형석
이홍재
Original Assignee
(주)유알피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유알피 filed Critical (주)유알피
Priority to KR1020230100998A priority Critical patent/KR102640449B1/ko
Application granted granted Critical
Publication of KR102640449B1 publication Critical patent/KR102640449B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치에 관한 것으로, 딥러닝 기반 생성형 모델을 통해 요약문을 생성하는 과정에서 발생할 수 있는 할루시네이션(hallucination, 인공지능 환각) 현상을 제거할 수 있도록 하는 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치에 관한 것이다.

Description

딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치{APPARATUS FOR HALLUCINATION REMOVAL OF DEEP LEARNING BASED GENERATIVE DOCUMENT SUMMARY}
본 발명은 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치에 관한 것으로, 더욱 상세하게는 딥러닝 기반 생성형 모델을 통해 요약문을 생성하는 과정에서 발생할 수 있는 할루시네이션(hallucination, 인공지능 환각) 현상을 제거할 수 있도록 하는 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치에 관한 것이다.
인공지능(Artificial Intelligence)는 컴퓨터 시스템이 주어진 작업을 수행하기 위해 데이터와 패턴을 분석하고 학습하여 지능적인 결정을 내리는 것으로서, 빅데이터, 클라우드 컴퓨팅 등과 결합하여 더욱 강력한 성능을 보이고 있으며, 의료 진단, 금융 예측, 자율 주행, 자연어 처리, 게임 개발 등의 다양한 분야에 사용되고 있다.
이 중에서 자연어 처리 분야가 각광받으면서 주어진 문서의 핵심 내용을 추출하거나 요약하여 간결하고 이해하기 쉬운 형태로 제공하는 작업에 인공지능이 활발하게 사용되고 있다.
이를 통해서 장문의 문서 내용으로부터 핵심적인 문장이나 단어를 식별하여 짧은 내용으로 변환함으로써, 시간을 절약할 수 있는 것은 물론, 정보의 전달을 보다 효율적으로 수행할 수 있게 되었다.
이러한 인공지능을 이용한 문서 요약은 대규모 데이터셋을 사용하여 인공지능 모델을 학습시키고, 문서의 핵심적인 정보를 추출하거나 생성하는 방식으로 진행된다.
그러나, 인공지능을 이용한 문서 요약 과정에서 본문 내용을 기반으로 요약이 이루어져야 하지만 할루시네이션(Hallucination) 현상으로 인해서 본문에 실제 존재하지 않은 내용이 요약으로 생성되거나, 의미적으로 일관성이 없는 단어나 문장을 요약으로 생성할 가능성이 있었으며, 이로 인해서 요약의 품질이 저하되는 문제가 있었다.
할루시네이션은 인공지능을 신뢰할 수 없게 만들 수 있고, 특히 신뢰성이 중요한 응용 분야에서는 심각한 문제가 되기 때문에, 각 기업, 대학 등에서 할루시네이션을 해결하기 위한 연구와 개발을 활발하게 진행하고 있는 상황이다.
이에 따라 본 발명에서는 요약 대상 문서로부터 요약문을 생성할 때 발생할 수 있는 할루시네이션을 제거함으로써, 생성할 요약문의 품질을 개선할 수 있는 방안을 제시하고자 한다.
특히, 본 발명은 딥러닝 기반 생성형 모델을 이용하여 생성한 문서 요약 결과와 요약 대상 문서를 딥러닝 기반 자연어 추론을 통해서 평가하고, 평가 결과를 토대로 할루시네이션이 제거된 요약문을 생성할 수 있도록 하는 방안을 제시하고자 한다.
다음으로 본 발명의 기술분야에 존재하는 선행발명에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행발명에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.
한국공개특허 제2023-0066707호(2022.08.29.)는 질의 응답 시스템 결과 검증에 자연어 추론 모델을 적용하여 질의응답 시스템이 정답을 추출하는데 도움이 된다고 판단한 근거문서가 최종적으로 도출된 정답 및 질의에 대한 정보를 올바르게 포함하고 있는지 검증하고, 이러한 검증 시스템을 통하여 각 질의 응답 결과물에 점수를 매김으로써 여러 질의 응답 시스템이 도출한 정보 및 근거문서를 재순위화 하는 자연어 추론 신경망 모델을 이용한 질의응답 결과 재순위화 장치 및 방법에 관한 선행발명이다.
하지만, 본 발명은 딥러닝 기반 생성형 모델로부터 도출한 결과를 자연어 추론 모델에 적용하여 평가하고, 그 결과를 토대로 할루시네이션이 제거된 요약문을 생성하는 것으로서, 근거 문서, 질의에 대한 대답에 대해 자연어 추론 신경망 모델을 적용하여 질의응답 결과를 재순위화하는 상기 한국공개특허 제2023-0066707호와 비교해 볼 때, 현저한 구성상 차이점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 딥러닝 기반 생성형 모델을 통해 요약문을 생성하는 과정에서 발생할 수 있는 할루시네이션(hallucination, 인공지능 환각) 현상을 제거할 수 있는 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치를 제공하는 것을 목적으로 한다.
특히, 본 발명은 딥러닝 기반 생성형 모델을 이용하여 생성한 문서 요약 결과와 요약 대상 문서를 딥러닝 기반 자연어 추론(NLI, Natural Language Inference)을 통해서 평가하여 할루시네이션이 제거된 요약문을 생성할 수 있도록 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치는, 요약 대상 문서에 대한 임시 요약문을 생성하는 임시 요약문 생성부; 상기 생성한 임시 요약문을 문장 단위로 분리하는 문장 분리부; 상기 문장 단위로 분리한 각각의 문장별로 자연어 추론 평가를 수행하는 자연어 추론 평가부; 상기 수행한 자연어 추론 평가결과를 토대로 할루시네이션이 발생한 문장을 제거하는 할루시네이션 처리부; 및 상기 할루시네이션을 제거한 문장으로 최종 요약문을 생성하는 최종 요약문 생성부;를 포함하는 것을 특징으로 한다.
또한, 상기 임시 요약문은, 상기 요약 대상 문서를 GPT(Generative Pretrained Transformer) 시리즈를 포함한 딥러닝 기반 생성형 모델에 입력하여 생성한 것으로서, 기 설정된 개수 이상의 문장으로 생성되는 것을 특징으로 한다.
또한, 상기 딥러닝 기반 생성형 모델은, 외부서버로부터 수집하거나 요청받은 복수의 요약 대상 문서와 각각의 요약 대상 문서에 대한 요약문으로 구성한 학습 데이터셋을 학습하여 생성되는 것을 특징으로 한다.
또한, 상기 자연어 추론 평가부는, 상기 요약 대상 문서와 상기 요약 대상 문서에 대한 임시 요약문으로부터 분리한 각각의 문장을 딥러닝 기반 자연어 추론(Natural Language Inference) 모델에 입력하여, 각각의 문장별로 참(entailment), 거짓(contradiction), 중립(neutral) 중 어느 하나로 평가하는 것을 특징으로 한다.
또한, 상기 할루시네이션 처리부는, 상기 평가한 결과가 거짓이면, 거짓으로 평가된 해당 문장을 최종 요약문 생성에 사용되지 않도록 제외하고, 상기 평가한 결과가 참이면, 참으로 평가된 해당 문장을 최종 요약문 생성에 사용되도록 하며, 기 평가한 결과가 중립이면, 중립으로 평가된 해당 문장과 상기 요약 대상 문서의 유사도에 대한 스코어를 측정한 다음, 상기 측정한 유사도에 대한 스코어가 임계값 스코어 이상인지를 판단하고, 상기 판단한 결과 상기 측정한 유사도에 대한 스코어가 임계값 스코어 이상인 문장을 최종 요약문 생성에 사용되도록 하는 것을 특징으로 한다.
또한, 상기 할루시네이션 처리부는, BLEU 스코어(Bilingual Evaluation Understudy Score) 모델을 통해 상기 중립으로 평가된 해당 문장과 상기 요약 대상 문서의 유사도에 대한 스코어를 측정하며, 상기 임계값 스코어를 0.95로 설정하는 것을 특징으로 한다.
또한, 상기 할루시네이션 처리부는, 상기 최종 요약문 생성에 사용되도록 평가된 문장의 개수를 카운트하고, 상기 카운트한 문장의 개수가 사전에 설정된 최소 문장 개수 이상인지를 판단하고, 상기 판단한 결과 상기 카운트한 문장의 개수가 사전에 설정된 최소 문장 개수 이상이면, 상기 최종 요약문 생성에 사용되도록 평가된 문장을 상기 최종 요약문 생성부로 제공하며, 상기 판단한 결과 상기 카운트한 문장의 개수가 사전에 설정된 최소 문장 개수 미만이면, 상기 임시 요약문의 생성, 상기 임시 요약문의 문장 단위 분리 및 자연어 추론 평가를 통한 할루시네이션 처리를 다시 수행하도록 하는 것을 특징으로 한다.
이상에서와 같이 본 발명의 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치에 따르면, 할루시네이션이 발생한 요약문장을 제거하여 요약 대상 문서에 없는 내용이 요약문으로 생성되는 것을 방지할 수 있는 효과가 있다.
다만, 본 발명의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치를 포함한 전체 구성을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치의 구성을 보다 상세하게 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치의 하드웨어 구조를 나타낸 도면이다.
이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다.
또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치를 포함한 전체 구성을 개략적으로 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명은 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치(100, 이하, 할루시네이션 제거장치라 약칭함), 복수의 외부서버(200), 데이터베이스(300) 등을 포함하여 구성된다. 즉, 본 발명은 특정 요약 대상 문서로부터 생성형 문서 요약을 수행할 때 발생할 수 있는 할루시네이션을 효과적으로 제거하여 딥러닝 기반 생성형 문서 요약 모델을 구현하기 위한 것이다.
상기 할루시네이션 제거장치(100)는 서버 컴퓨터, 플랫폼 등으로서, 네트워크를 통해 복수의 외부서버(200)로부터 문서를 수집하거나 제공받는다.
이때 상기 네트워크는 유선 공중망, 무선 이동 통신망, 또는 휴대인터넷 등과 통합된 코어 망일 수도 있고, TCP/IP 프로토콜 및 그 상위 계층에 존재하는 여러 서비스, 즉 HTTP(Hyper Text Transfer Protocol), HTTPS(Hyper Text Transfer Protocol Secure), Telnet, FTP(File Transfer Protocol), DNS(Domain Name System), SMTP(Simple Mail Transfer Protocol) 등을 제공하는 전 세계적인 개방형 컴퓨터 네트워크 구조를 의미할 수 있으며, 이러한 예에 한정하지 않고 다양한 형태로 데이터를 송수신할 수 있는 데이터 통신망을 포괄적으로 의미한다.
그리고 상기 문서는 각종 행정 문서, 보고서, 논문, 평가서 및 기사 등의 다양한 종류로 구성되며, hwp, pdf, txt 등의 다양한 파일형식으로 작성된 것을 의미한다.
또한, 상기 할루시네이션 제거장치(100)는 상기 외부서버(200)로부터 수집하거나 제공받은 문서(즉 요약 대상 문서)를 딥러닝 기반 생성형 모델에 입력하여 문서 요약 결과(즉 임시 요약문)를 생성한다.
이때 특정 문서로부터 생성형 문서 요약을 위해 사용되는 상기 딥러닝 기반 생성형 모델은 GPT(Generative Pretrained Transformer) 시리즈를 포함한 생성형 AI 모델(예를 들어, OpenAI의 ChatGPT)로서, 문서 요약을 수행할 경우에는 본문 내용을 기반으로 수행되어야 하지만 할루시네이션 현상으로 인해서 해당 문서에 없는 내용이 요약으로 생성되는 경우가 발생할 수 있다.
이러한 할루시네이션이 발생하면 특정 문서로부터 생성되는 생성형 요약 문서의 품질이 크게 저하되는 문제가 발생하므로, 본 발명에서는 문서 요약과정에서 할루시네이션이 발생한 문장을 제거하여 생성형 문서 요약의 품질을 높일 수 있도록 한다.
이를 위해서, 상기 할루시네이션 제거장치(100)는 상기 딥러닝 기반 생성형 모델을 이용하여 생성한 문서 요약 결과(여러 요약문장으로 구성된 임시 요약문)와 문서 요약의 대상이 되는 특정 문서(요약 대상 문서)를 딥러닝 기반 자연어 추론(NLI, Natural Language Inference) 모델에 입력하여, 각각의 요약문장별로 자연어 추론 평가를 통해 할루시네이션이 제거된 문장으로 최종 요약문을 생성할 수 있도록 한다.
즉 각각의 요약문장별 자연어 추론 평가 결과에 따라 참(entailment)으로 판명된 요약문장은 유효한 것으로 하여 그대로 사용하고, 거짓(contradiction)으로 판명된 요약문장은 사용하지 않도록 버리고, 중립(neutral)으로 판명된 요약문장은 BLEU 스코어(Bilingual Evaluation Understudy Score) 모델을 통해 측정한 유사도 스코어 비교와 최소 문장 개수 만족여부에 따라 유효 여부를 확인하며, 할루시네이션을 제거하여 유효한 것으로 확인된 요약문장으로 최종 요약문을 생성하도록 하는 것이다.(도 2 참조)
여기서, 본 발명에서는 각각의 요약문장별 자연어 추론 평가를 수행할 때 딥러닝 기반 자연어 추론(NLI) 모델을 적용하고, 자연어 추론 평가결과 중립으로 판명된 요약문장의 유사도 측정을 수행할 때 BLEU 스코어 모델을 적용하는 것을 예로 하여 설명하지만, 이에 한정되는 것은 아니며 다양한 방식의 자연어 추론 방식과 유사도 측정 방식을 사용할 수 있음을 밝혀둔다.
상기 외부서버(200)는 상기 할루시네이션 제거장치(100)에서 특정 API나 웹 크롤링 기술을 활용하여 문서를 수집하거나, 상기 할루시네이션 제거장치(100)에 보유하고 있는 각종 문서를 제공하는 대상이 되는 서버이다.
이때 상기 외부서버(200)는 빅데이터 서버, SNS(Social Network Service), 뉴스 사이트, 문서 관리 시스템, 커뮤니티 사이트, 기업 시스템 등 분야에 제한되지 않고 인터넷 상에서 각종 카테고리별 보고서, 논문, 기사, SNS 등의 데이터 수집 및 제공이 가능한 서버들을 포함할 수 있다.
또한, 상기 외부서버(200)는 서버 환경을 수행하기 위한 다른 구성들이 포함될 수 있으며, 임의의 형태의 장치를 모두 포함할 수 있다. 일 예로, 랩톱(laptop) 컴퓨터, 노트북 컴퓨터, 데스크톱 컴퓨터, 웹 패드, 이동 전화기와 같이 프로세서를 탑재하고 메모리를 구비한 연산 능력을 갖춘 디지털 기기일 수 있다.
상기 데이터베이스(300)는 상기 할루시네이션 제거장치(100)에서 요약 대상 문서로부터 생성형 문서 요약을 추출하기 위해 사용할 딥러닝 기반 생성형 모델, 자연어 추론 평가를 위해 사용할 딥러닝 기반 자연어 추론 모델, 자연어 추론 평가에 따라 중립으로 판정된 요약문장에 대한 요약 대상 문서와의 유사도 측정을 위해 사용할 BLEU 스코어 모델 등을 저장하여 관리한다.
또한, 상기 데이터베이스(300)는 상기 외부서버(200)로부터 수집하거나 제공받은 각종 원본 문서를 저장하여 관리한다.
도 2는 본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치의 구성을 보다 상세하게 나타낸 블록도이다.
도 2에 도시된 바와 같이, 상기 할루시네이션 제거장치(100)는 요약 대상 문서 입력부(110), 임시 요약문 생성부(120), 문장 분리부(130), 자연어 추론 평가부(140), 할루시네이션 처리부(150), 최종 요약문 생성부(160) 등을 포함하여 구성된다.
상기 요약 대상 문서 입력부(110)는 네트워크를 통해 상기 외부서버(200)로부터 각종 문서를 수집하거나 제공받는다. 그 이외에 상기 요약 대상 문서 입력부(110)는 자체적으로 구비한 문서를 이용하는 것도 가능하다.
이때 상기 요약 대상 문서 입력부(110)에서 다수의 외부서버(200)로부터 문서를 수집할 경우에는, 스크래핑(Web Scraping), 웹 크롤링(Web Crawling), Open API 등의 다양한 방식으로 보고서, 논문 등의 문서를 수집할 수 있다.
상기 임시 요약문 생성부(120)는 상기 요약 대상 문서 입력부(110)에서 상기 외부서버(200)로부터 수집하거나 제공받은 요약 대상 문서를 GPT(Generative Pretrained Transformer) 시리즈를 포함한 딥러닝 기반 생성형 모델에 입력하여 임시 요약문을 생성한다.
여기서, 상기 딥러닝 기반 생성형 모델은 상기 외부서버(200)로부터 수집하거나 요청받은 복수의 요약 대상 문서와 각각의 요약 대상 문서에 대한 요약문으로 구성한 학습 데이터셋을 학습하여 생성할 수 있다.
또한, 상기 임시 요약문 생성부(120)는 특정 요약 대상 문서로부터 임시 요약문을 생성할 때, 소정 개수 이상의 요약문장을 포함하여 생성하도록 설정하는 것이 가능하다.
일 예로, 본 발명에서는 요약문장을 5개 이상으로 하여 임시 요약문을 생성하도록 설정할 수 있다.
상기 문장 분리부(130)는 상기 임시 요약문 생성부(120)에서 특정 요약 대상 문서로부터 생성한 임시 요약문을 문장 단위로 분리하고, 상기 분리한 각각의 요약문장을 상기 자연어 추론 평가부(140)로 제공하여 자연어 추론 평가를 수행하도록 한다.
상기 자연어 추론 평가부(140)는 상기 문장 분리부(130)로부터 제공되는 문장 단위로 분리한 각각의 문장별로 자연어 추론 평가를 수행한다.
즉, 상기 자연어 추론 평가부(140)는 상기 요약 대상 문서 입력부(110)를 통해 상기 외부서버(200)로부터 수집하거나 제공받은 요약 대상 문서와 상기 문장 분리부(130)에서 상기 요약 대상 문서에 대한 임시 요약문으로부터 분리한 각각의 문장을 사전에 설정해둔 딥러닝 기반 자연어 추론(Natural Language Inference) 모델에 입력하고, 각각의 문장별로 참(entailment), 거짓(contradiction), 중립(neutral) 중 어느 하나로 평가하여 출력하는 것이다.
이때 상기 자연어 추론 평가부(140)에서 사용하는 딥러닝 기반 자연어 추론 모델은 BERT(Bidirectional Encoder Representations from Transformers) 기반으로 학습된 모델일 수 있다.
상기 할루시네이션 처리부(150)는 상기 자연어 추론 평가부(140)에서 수행한 자연어 추론 평가결과를 토대로 할루시네이션이 발생한 문장을 제거하는 기능을 수행한다.
즉, 상기 할루시네이션 처리부(150)는 상기 자연어 추론 평가부(140)에서 수행한 자연어 추론 평가결과가 거짓이면, 거짓으로 평가된 해당 문장을 최종 요약문 생성에 사용되지 않도록 제외한다.
또한, 상기 할루시네이션 처리부(150)는 상기 자연어 추론 평가부(140)에서 수행한 자연어 추론 평가결과가 참이면, 참으로 평가된 해당 문장을 최종 요약문 생성에 사용되도록 한다.
또한, 상기 할루시네이션 처리부(150)는 상기 자연어 추론 평가부(140)에서 수행한 자연어 추론 평가결과가 중립이면, BLEU 스코어 모델을 통해 상기 중립으로 평가된 해당 문장과 상기 요약 대상 문서의 유사도에 대한 스코어를 측정한다. 이어서, 상기 측정한 유사도에 대한 스코어가 임계값 스코어 이상인지를 판단하고, 상기 판단한 결과 상기 측정한 유사도에 대한 스코어가 임계값 스코어 이상인 문장을 최종 요약문 생성에 사용되도록 한다.
일 예로, 상기 할루시네이션 처리부(150)는 상기 임계값 스코어를 0.95로 설정하여, 상기 측정한 유사도가 0.95를 넘는 문장을 최종 요약문을 생성하는데 사용할 수 있도록 한다. 물론, 상기 임계값 스코어는 사용 환경에 따라 임의로 변경 가능한 수치이다.
이렇게 자연어 추론 평가결과에 따라 유효한 문장을 확인한 상기 할루시네이션 처리부(150)는 상기 최종 요약문 생성에 사용되도록 평가된 문장의 개수를 카운트하고, 상기 카운트한 문장의 개수가 사전에 설정된 최소 문장 개수 이상인지를 판단한다. 즉, 할루시네이션이 제거된 유효한 문장의 개수가 최종 요약문 생성에 필수적인 최소 문장 개수를 만족하는지의 여부를 확인하는 것이다.
상기 판단한 결과 상기 카운트한 문장의 개수가 사전에 설정된 최소 문장 개수 이상이면, 상기 할루시네이션 처리부(150)는 상기 최종 요약문 생성에 사용되도록 평가된 문장을 상기 최종 요약문 생성부(160)로 제공한다.
그러나 상기 판단한 결과 상기 카운트한 문장의 개수가 사전에 설정된 최소 문장 개수 미만이면, 상기 할루시네이션 처리부(150)는 상기 임시 요약문 생성부(120)를 통한 임시 요약문의 생성, 상기 문장 분리부(130)를 통한 임시 요약문의 문장 단위 분리, 상기 자연어 추론 평가부(140)를 통한 자연어 추론 평가 및 평가결과를 이용한 할루시네이션 처리를 다시 순차적으로 수행하도록 할 수 있다.
상기 최종 요약문 생성부(160)는 상기 할루시네이션 처리부(150)에서 수행한 할루시네이션이 제거된 문장을 참조하여 최종 요약문을 생성한다.
도 3은 본 발명의 일 실시예에 따른 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치의 하드웨어 구조를 나타낸 도면이다.
도 3에 도시한 것과 같이, 상기 할루시네이션 제거장치(100)의 하드웨어 구조는, 중앙처리장치(1000), 메모리(2000), 사용자 인터페이스(3000), 데이터베이스 인터페이스(4000), 네트워크 인터페이스(5000), 웹서버(6000) 등을 포함하여 구성된다.
상기 사용자 인터페이스(3000)는 그래픽 사용자 인터페이스(GUI, graphical user interface)를 사용함으로써, 사용자에게 입력과 출력 인터페이스를 제공한다.
상기 데이터베이스 인터페이스(4000)는 데이터베이스와 하드웨어 구조 사이의 인터페이스를 제공한다. 상기 네트워크 인터페이스(5000)는 사용자가 보유한 장치 간의 네트워크 연결을 제공한다.
상기 웹 서버(6000)는 사용자가 네트워크를 통해 하드웨어 구조로 액세스하기 위한 수단을 제공한다. 대부분의 사용자들은 원격에서 웹 서버로 접속하여 상기 할루시네이션 제거장치(100)를 사용할 수 있다.
상술한 구성 또는 방법의 각 단계는, 컴퓨터 판독 가능한 기록매체 상의 컴퓨터 판독 가능 코드로 구현되거나 전송 매체를 통해 전송될 수 있다. 컴퓨터 판독 가능한 기록매체는, 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터를 저장할 수 있는 데이터 저장 디바이스이다.
컴퓨터 판독 가능한 기록매체의 예로는 데이터베이스, ROM, RAM, CD-ROM, DVD, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 디바이스가 있으나 이에 한정되는 것은 아니다. 전송매체는 인터넷 또는 다양한 유형의 통신 채널을 통해 전송되는 반송파를 포함할 수 있다. 또한 컴퓨터 판독 가능한 기록매체는, 컴퓨터 판독 가능 코드가 분산 방식으로 저장되고, 실행되도록 네트워크 결합 컴퓨터 시스템을 통해 분배될 수 있다.
또한 본 발명에 적용된 적어도 하나 이상의 구성요소는, 각각의 기능을 수행하는 중앙처리장치(CPU), 마이크로프로세서 등과 같은 프로세서를 포함하거나 이에 의해 구현될 수 있으며, 상기 구성요소 중 둘 이상은 하나의 단일 구성요소로 결합되어 결합된 둘 이상의 구성요소에 대한 모든 동작 또는 기능을 수행할 수 있다. 또한 본 발명에 적용된 적어도 하나 이상의 구성요소의 일부는, 이들 구성요소 중 다른 구성요소에 의해 수행될 수 있다. 또한 상기 구성요소들 간의 통신은 버스(미도시)를 통해 수행될 수 있다.
이처럼, 본 발명은 딥러닝 기반 자연어 추론을 통해서 평가한 결과를 통해서 할루시네이션이 제거된 요약문을 생성할 수 있도록 하기 때문에, 요약 대상 문서에 없는 내용이 요약문으로 생성되어 품질이 저하되는 것을 방지할 수 있으며, 할루시네이션이 발생한 요약문장을 제거하여 딥러닝 기반 생성형 모델을 통해 생성되는 요약문의 품질을 높일 수 있다.
첨부된 도면은 본 발명의 기술적 사상을 보다 명확하게 표현하기 위해, 본 발명의 기술적 사상과 관련성이 없거나 떨어지는 구성에 대해서는 간략하게 표현하거나 생략하였다.
상기에서는 본 발명에 따른 실시예를 기준으로 본 발명의 구성과 특징을 설명하였으나 본 발명은 이에 한정되지 않으며, 본 발명의 사상과 범위 내에서 다양하게 변경 또는 변형할 수 있음은 본 발명이 속하는 기술분야의 당업자에게 명백한 것이며, 따라서 이와 같은 변경 또는 변형은 첨부된 특허청구범위에 속함을 밝혀둔다.
100 : 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치
110 : 요약 대상 문서 입력부 120 : 임시 요약문 생성부
130 : 문장 분리부 140 : 자연어 추론 평가부
150 : 할루시네이션 처리부 160 : 최종 요약문 생성부
200 : 외부서버 300 : 데이터베이스

Claims (7)

  1. 요약 대상 문서에 대한 임시 요약문을 생성하는 임시 요약문 생성부;
    상기 생성한 임시 요약문을 문장 단위로 분리하는 문장 분리부;
    상기 문장 단위로 분리한 각각의 문장별로 자연어 추론 평가를 수행하는 자연어 추론 평가부;
    상기 수행한 자연어 추론 평가결과를 토대로 할루시네이션이 발생한 문장을 제거하는 할루시네이션 처리부; 및
    상기 할루시네이션을 제거한 문장으로 최종 요약문을 생성하는 최종 요약문 생성부;를 포함하며,
    상기 자연어 추론 평가부는,
    외부서버로부터 수집하거나 제공받은 상기 요약 대상 문서와 상기 요약 대상 문서에 대한 임시 요약문으로부터 분리한 각각의 문장을 딥러닝 기반 자연어 추론(Natural Language Inference) 모델에 입력하여, 각각의 문장별로 참(entailment), 거짓(contradiction), 중립(neutral) 중 어느 하나로 평가하여 출력하며,
    상기 할루시네이션 처리부는,
    상기 자연어 추론 평가결과가 거짓이면, 거짓으로 평가된 해당 문장을 최종 요약문 생성에 사용되지 않도록 제외하고,
    상기 자연어 추론 평가결과가 참이면, 참으로 평가된 해당 문장을 최종 요약문 생성에 사용되도록 하며,
    상기 자연어 추론 평가결과가 중립이면, BLEU 스코어(Bilingual Evaluation Understudy Score) 모델을 통해 상기 중립으로 평가된 해당 문장과 상기 요약 대상 문서의 유사도에 대한 스코어를 측정한 다음, 상기 측정한 유사도에 대한 스코어가 기 설정된 임계값 스코어 이상인지를 판단하고, 상기 판단한 결과 상기 측정한 유사도에 대한 스코어가 임계값 스코어 이상인 문장을 최종 요약문 생성에 사용되도록 하는 것을 특징으로 하는 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치.
  2. 청구항 1에 있어서,
    상기 임시 요약문은,
    상기 요약 대상 문서를 GPT(Generative Pretrained Transformer) 시리즈를 포함한 딥러닝 기반 생성형 모델에 입력하여 생성한 것으로서,
    기 설정된 개수 이상의 문장으로 생성되는 것을 특징으로 하는 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치.
  3. 청구항 2에 있어서,
    상기 딥러닝 기반 생성형 모델은,
    외부서버로부터 수집하거나 요청받은 복수의 요약 대상 문서와 각각의 요약 대상 문서에 대한 요약문으로 구성한 학습 데이터셋을 학습하여 생성되는 것을 특징으로 하는 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
KR1020230100998A 2023-08-02 2023-08-02 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치 KR102640449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230100998A KR102640449B1 (ko) 2023-08-02 2023-08-02 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230100998A KR102640449B1 (ko) 2023-08-02 2023-08-02 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치

Publications (1)

Publication Number Publication Date
KR102640449B1 true KR102640449B1 (ko) 2024-02-27

Family

ID=90058400

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230100998A KR102640449B1 (ko) 2023-08-02 2023-08-02 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치

Country Status (1)

Country Link
KR (1) KR102640449B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220021360A (ko) * 2020-08-13 2022-02-22 네이버 주식회사 문서-레벨 자연어 처리 모델들을 훈련시키는 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220021360A (ko) * 2020-08-13 2022-02-22 네이버 주식회사 문서-레벨 자연어 처리 모델들을 훈련시키는 방법 및 시스템

Similar Documents

Publication Publication Date Title
Wulczyn et al. Ex machina: Personal attacks seen at scale
US10417581B2 (en) Question answering system-based generation of distractors using machine learning
US20150356420A1 (en) Rating Difficulty of Questions
US20180005117A1 (en) Corpus Quality Analysis
CN113656807B (zh) 一种漏洞管理方法、装置、设备及存储介质
US20170169355A1 (en) Ground Truth Improvement Via Machine Learned Similar Passage Detection
US10394868B2 (en) Generating important values from a variety of server log files
JP2020520002A (ja) エンティティ・モデルの確立
CN105589953A (zh) 一种突发公共卫生事件互联网文本抽取方法
JP2023535913A (ja) 対話エージェントを用いた対話システムの性能を改善するシステム、方法、プログラム
Zrnec et al. Social network aided plagiarism detection
Al-Kfairy et al. A sentiment analysis approach for identifying users’ security and privacy perception of metaverse in twitter
KR102576320B1 (ko) 딥러닝 기반 생성형 ai 시스템의 학습용 데이터셋 증폭장치 및 그 방법
KR102640449B1 (ko) 딥러닝 기반 생성형 문서 요약의 할루시네이션 제거장치
Sugandhika et al. Assessing information quality of wikipedia articles through ***’s eat model
KR102640452B1 (ko) 할루시네이션이 제거된 인공지능을 활용한 생성형 문서 요약 방법
US20200142998A1 (en) Cognitive document quality determination with automated heuristic generation
US11068376B2 (en) Analytics engine selection management
Zarra et al. Cloud computing and sentiment analysis in E-learning systems
Zhang et al. [Retracted] Design and Implementation of an Online Learning Behavior Evaluation System Based on Data Mining
Tavares et al. How COVID-19 Impacted Data Science: a Topic Retrieval and Analysis from GitHub Projects’ Descriptions
Bhuvaneswari et al. Enhancing the sentiment classification accuracy of twitter data using machine learning algorithms
Hocutt The complex example of online search: Studying emergent agency in digital environments
Naik et al. DESIGN AND DEVELOPMENT OF SIMULATION TOOL FOR TESTING SEO COMPLIANCE OF A WEB PAGE-A CASE STUDY.
KR102672373B1 (ko) 생성형 딥러닝 모델 학습을 위한 특정 도메인의 게시물 수집을 통한 질문 및 답변 데이터셋 추출 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant