KR102410582B1

KR102410582B1 - 유해어에 대한 학습 데이터를 증강하는 장치, 방법 및 컴퓨터 프로그램

Info

Publication number: KR102410582B1
Application number: KR1020210146563A
Authority: KR
Inventors: 박규병
Original assignee: 주식회사 튜닙
Priority date: 2021-10-29
Filing date: 2021-10-29
Publication date: 2022-06-22

Abstract

유해어에 대한 학습 데이터를 증강하는 장치에 있어서, 학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하고, 상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하는 유해어 검출부; 상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하는 유해어 분류부; 및 상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 방법을 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하는 유해어 증강부를 포함한다.
서울특별시 서울산업진흥원 2021년도 서울혁신챌린지(예선)(SC210060) "오픈 도메인 대화형 챗봇 사업을 위한 윤리성 판별 엔진 개발"을 통해 개발된 기술이다.

Description

유해어에 대한 학습 데이터를 증강하는 장치, 방법 및 컴퓨터 프로그램{APPARATUS, METHOD AND COMPUTER PROGRAM FOR AUGMENTING LEARNING DATA FOR HARMFUL WORDS}

본 발명은 유해어에 대한 학습 데이터를 증강하는 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.

최근 인공지능 챗봇 '이루다'의 성희롱 및 혐오 발언 논란으로 대화형 인공지능의 윤리적 언어 표현과 인식에 대한 문제가 대두되었다.

인공지능은 자연언어로 된 사람들의 대화를 학습하는 과정에서 데이터에 내재되어 있는 각종 편향과 비윤리적 표현들을 그대로 흡수한다. 특히 익명성이 보장된 온라인 공간에서는 욕설, 혐오 표현 등 비윤리적 언어 사용이 보다 자유롭기 때문에 이러한 대화를 학습의 원재료로 사용할 경우 인공지능에도 필연적으로 편향이 생긴다.

한편, 영어에 비해 기계 학습을 위한 한국어 비윤리 데이터 세트와 관련 연구는 아직 부족하다. 영어는 상대적으로 다양한 데이터가 공개되어 있으며 혐오 표현에 대한 기준이 세분화되어 있다. 통상적으로 개인이나 집단의 정체성을 표적 삼아 욕하거나, 공격하거나, 모욕하는 표현을 혐오 표현이라고 정의한다.

그러나, 현재 공개된 혐오 표현 한국어 데이터는 국내 포털 사이트의 연예 기사 댓글을 수집한 Korean Hate Speech Detection Dataset이 유일하다. 해당 세트에서는 댓글 10,000문장을 Hate, Offensive, None 등 세 가지 기준으로 분류했으며 젠더 편향 포함 여부를 판별했다.

이와 관련하여, 최근 인공지능을 이용하여 특정 발화에 포함된 욕설, 모욕 및 성차별 등과 같은 비윤리 발화를 탐지하는 기술이 있다. 종래 기술은 인공지능 기반의 학습 모델을 이용하여 특정 발화에 포함된 비윤리 발화를 탐지한다.

그러나, 종래 기술에 따른 학습 모델은 다양한 기준으로 분류될 수 있는 비윤리 발화에 대한 세부적인 분류가 없어, 다양한 서비스에 유연하게 적용하기가 용이하지 않다. 예를 들어, 제 1 학습 모델은 '편견'과 관련된 발화에는 민감하게 감지하나, '성희롱'과 관련된 발화에는 상대적으로 둔감하고, 제 2 학습 모델은 '성희롱'과 관련된 발화에는 민감하게 감지하나, '비방'과 관련된 발화에는 상대적으로 둔감하다. 또한, 종래 기술에 따른 학습 모델은 비윤리적 표현의 유무를 이분법적으로 판별하기 때문에 검출 정확도나 데이터 활용의 유연성이 떨어질 수 있다. 나아가 특정 속성만을 강조한 분류 기준이 제한적일 수 있다.

서울특별시 서울산업진흥원 2021년도 서울혁신챌린지(예선)(SC210060) "오픈 도메인 대화형 챗봇 사업을 위한 윤리성 판별 엔진 개발"을 통해 개발된 기술이다.

한국등록특허공보 제10-0662337호 (2006. 12. 21. 등록) 한국공개특허공보 제10-2011-0056999호 (2011. 5. 31. 공개)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 유해어를 탐지하는 윤리 모델이 다양한 서비스에 유연하게 적용할 수 있도록 학습하는 학습 데이터 증강 장치를 제공하고자 한다.

또한, 형태가 변형된 유해어 및 일부 형태가 생략된 유해어 등 여러 형태의 유해어를 정확하게 탐지할 수 있도록 학습하는 학습 데이터 증강 장치를 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 유해어에 대한 학습 데이터를 증강하는 장치에 있어서, 학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하고, 상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하는 유해어 검출부; 상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하는 유해어 분류부; 및 상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 방법을 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하는 유해어 증강부를 포함하는 것인, 학습 데이터 증강 장치를 제공 할 수 있다.

본 발명의 다른 실시예는, 유해어에 대한 학습 데이터를 증강하는 방법에 있어서, 학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하는 단계; 상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하는 단계; 상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하는 단계; 및 상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 방법을 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하는 단계를 포함하는 것인, 학습 데이터 증강 방법을 제공할 수 있다.

본 발명의 또 다른 실시예는, 유해어에 대한 학습 데이터를 증강하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우, 학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하고, 상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하고, 상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하고, 상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하도록 하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램을 제공할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 유해어에 대한 세부 분류 기준에 기초하여 특정 발화에 포함된 유해어를 검출할 수 있고, 해당 유해어를 세부 분류 기준에 따라 분류할 수 있다. 세부 분류 기준에 따라 분류된 유해어에 기초하여 윤리 모델을 학습할 수 있다. 따라서, 유해어를 탐지하기 위한 윤리 모델이 다양한 서비스에 적용되고 유연하게 활용될 수 있는 학습 데이터 증강 장치를 제공할 수 있다.

또한, 특정 발화에 포함된 유해어에 기초하여 적어도 하나 이상의 유해어를 증강할 수 있다. 증강된 유해어는 기정의된 음절 변형 방법에 따라 형태가 변형되거나, 일부 형태가 생략될 수 있다. 증강된 유해어를 이용하여 윤리 모델을 학습할 수 있고, 따라서, 학습된 윤리 모델을 통해 특정 발화에 포함된 여러 형태의 유해어를 정확하게 탐지할 수 있는 학습 데이터 증강 장치를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 학습 데이터 증강 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 윤리 모델을 사전 학습하는 과정을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 일 실시예에 따른 윤리 모델을 설명하기 위한 예시적인 도면이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 유해 단어를 증강하는 과정을 설명하기 위한 예시적인 도면이다.
도 6 및 도 7은 본 발명의 일 실시예에 따른 유해 어구를 증강하는 과정을 설명하기 위한 예시적인 도면이다.
도 8은 본 발명의 일 실시예에 따른 학습 데이터 증강 방법의 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 학습 데이터 증강 장치의 구성도이다. 도 1을 참조하면, 학습 데이터 증강 장치(100)는 유해어 검출부(110), 유해어 분류부(120), 유해어 증강부(130) 및 학습부(140)를 포함할 수 있다. 다만 위 구성 요소들(110 내지 140)은 학습 데이터 증강 장치(100)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것일 뿐이다.

도 1의 학습 데이터 증강 장치(100)의 각 구성요소들, 예를 들어, 유해어 검출부(110), 유해어 분류부(120), 유해어 증강부(130) 및 학습부(140)는 동시에 또는 시간 간격을 두고 연결될 수 있다.

학습 데이터 증강 장치(100)는 유해어에 대한 세부 분류 기준에 기초하여 특정 발화에 포함된 유해어를 검출할 수 있고, 해당 유해어를 세부 분류 기준에 따라 분류할 수 있다. 예를 들어, 학습 데이터 증강 장치(100)는 특정 발화에서 검출된 유해어를 '욕설', '모욕', '폭력/위험' 및 '외설' 등을 포함하는 기설정된 복수의 비윤리 클래스 중 적어도 어느 하나로 분류할 수 있다.

학습 데이터 증강 장치(100)는 세부 분류 기준에 따라 분류된 유해어에 기초하여 윤리 모델을 학습할 수 있다. 따라서, 학습 데이터 증강 장치(100)는 학습된 윤리 모델을 다양한 서비스에 적용하여 유연하게 활용되도록 할 수 있다.

학습 데이터 증강 장치(100)는 특정 발화에 포함된 유해어에 기초하여 적어도 하나 이상의 유해어를 증강할 수 있다. 예를 들어, 학습 데이터 증강 장치(100)는 기정의된 음절 변형 방법에 따라 유해어의 형태를 변형시키거나, 일부 형태를 생략하거나 또는 유해어를 구성하는 어절의 순서를 변경하여 유해어를 증강할 수 있다. 학습 데이터 증강 장치(100)는 증강된 유해어를 이용하여 윤리 모델을 학습할 수 있다.

따라서, 학습 데이터 증강 장치(100)는 학습된 윤리 모델을 통해 특정 발화에 포함된 여러 형태의 유해어를 정확하게 탐지하도록 할 수 있다.

이하, 학습 데이터 증강 장치(100)의 각 구성에 대해 살펴보도록 한다.

유해어 검출부(110)는 학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출할 수 있다. 예를 들어, 복수의 비윤리 클래스는 욕설, 모욕, 폭력/위협, 외설, 범죄/조장, 성별, 연령, 인종 출신지, 성적 지향, 장애, 종교, 정치 성향 및 기타 혐오로 세분화되어 총 13개의 비윤리 클래스로 설정될 수 있다.

구체적으로, 유해어 검출부(110)는 특정 발화를 어절로 분할할 수 있다. 유해어 검출부(110)는 분할된 각 어절을 기학습된 윤리 모델에 입력하여 적어도 하나의 어절에 대한 복수의 확률값을 산출할 수 있고, 복수의 확률값에 기초하여 특정 발화에 포함된 유해어를 검출할 수 있다.

예를 들어, 유해어 검출부(110)는 특정 발화, 일예로, '사이버 공간에서 행하는 범죄'를 '사이버', '공간에서', '행하는' 및 '범죄'로 각각 분할할 수 있고, 분할된 각 어절, '사이버', '공간에서', '행하는' 및 '범죄'를 기학습된 윤리 모델에 입력할 수 있다. 유해어 검출부(110)는 적어도 하나의 어절, 일예로, '범죄'가 총 13개의 비윤리 클래스에 속할 확률값을 각각 산출할 수 있고, 산출된 확률값으로부터 '범죄'가 유해어인지 여부를 검출할 수 있다.

유해어 분류부(120)는 유해어에 대한 복수의 확률값에 기초하여 유해어를 복수의 비윤리 클래스 중 적어도 어느 하나로 분류할 수 있다. 예를 들어, 유해어 분류부(120)는 특정 발화에서 유해어가 검출된 경우, 일예로, '범죄'라는 어절이 유해어로 검출된 경우, '범죄'가 13개의 비윤리 클래스에 속할 각각의 확률값에 기초하여 '범죄'를 13개의 비윤리 클래스 중 범죄 조장 클래스로 분류할 수 있다.

이와 같이, 학습 데이터 증강 장치(100)는 범주별로 세분화된 비윤리 클래스에 기초하여 특정 발화에 포함된 유해어를 검출할 수 있고, 검출된 유해어가 세분화된 각 범주에 어느 정도 속하는지에 대한 확률값을 산출하여 특정 발화에 포함된 유해어를 세분화된 각 범주 중 어느 하나의 범주로 분류할 수 있다. 따라서, 학습 데이터 증강 장치(100)는 다양한 분야의 서비스에 적용될 수 있고, 각 서비스 분야에서 해당 유해어를 민감하게 감지할 수 있다.

유해어 증강부(130)는 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 유해어에 기정의된 음절 변형 방법을 적용함으로써 유해어를 증강하여 신규 학습 데이터를 생성할 수 있다. 예를 들어, 유해어 증강부(130)는 특정 발화에서 유해어가 검출된 경우, 일예로, '범죄'라는 어절이 유해어로 검출된 경우, '범죄'가 분류된 범죄 조장 클래스의 확률값에 기초하여 '범죄'에 기정의된 음절 변형 방법을 적용하여 '범죄'에 대한 유해어를 증강할 수 있다.

본 발명에 따른 기정의된 음절 변형 방법은, 예를 들어, 제 1 방법 내지 제 5 방법을 포함할 수 있다. 제 1 방법은 유해어에 포함된 초성, 중성 또는 종성을 분리할 수 있고, 제 2 방법은 유해어의 모음을 유사 모음으로 치환할 수 있다. 예를 들어, 제 1 방법에 따라 '범죄'에 포함된 초성, 중성 또는 종성을 분리하여 'ㅂㅓㅁㅈㅗㅣ'를 생성할 수 있고, 제 2 방법에 따라 '범죄'의 모음을 유사 모음으로 치환하여 '범좨'를 생성할 수 있다.

제 3 방법은 유해어의 자음 및 모음을 유사 문자로 치환할 수 있고, 제 4 방법은 유해어 사이에 문자를 삽입할 수 있고, 제 5 방법은 유해어의 배열 순서를 변경할 수 있다. 예를 들어, 제 3 방법에 따라 '범죄'의 자음 및 모음을 유사 문자로 치환하여 '범조|'를 생성할 수 있고, 제 4 방법에 따라 '범죄' 사이에 문자를 삽입하여 '범@죄'를 생성할 수 있고, 제 5 방법에 따라 '범죄'의 배열 순서를 변경하여 '죄범'을 생성할 수 있다.

유해어 증강부(130)는 검출된 유해어가 단어이고, 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 가장 높은 어느 한 비윤리 클래스의 확률값이 기설정된 확률값 이상인 경우, 단어에 제 1 방법 내지 제 5 방법 중 적어도 어느 하나의 방법을 적용할 수 있다.

예를 들어, 유해어 증강부(130)는 '범죄'라는 유해어에 대하여 분류된 범죄 조장 클래스, 기타 혐오 클래스 및 폭력 위협 클래스 중 가장 높은 확률값이 산출된 범죄 조장 클래스의 확률값과 기설정된 확률값을 비교할 수 있다. 유해어 증강부(130)는 범죄 조장 클래스의 확률값과 기설정된 확률값의 비교 결과에 따라 기정의된 음절 변형 방법, 제 1 방법 내지 제 5 방법 중 적어도 어느 하나의 방법을 적용할 수 있다.

또한, 유해어 증강부(130)는 단어의 글자 형태에 따라 기정의된 음절 변형 방법, 즉 제 1 방법 내지 제 5 방법 중 적어도 어느 하나의 방법을 적용할 수 있다. 유해어 증강부(130)는 단어의 모든 글자가 초성, 중성으로만 이루어진 경우, 제 1 방법 내지 제 5 방법을 모두 적용할 수 있다.

유해어 증강부(130)는 단어의 모든 글자가 초성, 중성 및 종성으로 이루어진 경우, 제 1 방법, 제 4 방법 및 제 5 방법을 적용할 수 있고, 단어의 글자에서 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는 경우, 제 1 방법 내지 제 3 방법을 적용할 수 있다.

유해어 증강부(130)는 단어마다 증강된 단어, 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어 사전을 구축할 수 있다. 예를 들어, 유해어 증강부(130)는 '범죄' 단어에 증강된 단어, 'ㅂㅓㅁㅈㅗㅣ', '범좨', '범조|', '범@죄' 및 '죄범'과, 분류된 비윤리 클래스의 확률값, 범죄 조장 클래스/0.7, 기타 혐오 클래스/0.5 및 폭력 위협 클래스/0.4가 매핑되어 저장된 유해어 사전을 구축할 수 있다.

유해어 증강부(130)는 검출된 유해어가 어구인 경우, 어구가 유해어 사전에 포함되어 있는지 여부를 판단할 수 있다. 유해어 증강부(130)는 검출된 유해어가 어구이고, 어구가 유해어 사전에 포함되어 있지 않은 경우, 어구에 제 1 방법 내지 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 어구를 증강할 수 있다.

예를 들어, 유해어 증강부(130)는 검출된 유해어가 어구인 경우, 일예로, '유해 환경을 차단하자'라는 어구가 유해어로 검출된 경우, 해당 어구를 각 어절로 분할할 수 있고, 분할된 어절이 유해어 사전에 포함되어 있는지 여부를 판단할 수 있다. 유해어 증강부(130)는 해당 어구로부터 분할된 어절이 유해어 사전에 포함되어 있지 않은 경우, 해당 어구에 대해 기정의된 음절 변형 방법, 제 1 방법 내지 제 5 방법에 기초하여 해당 어구를 증강할 수 있다.

유해어 증강부(130)는 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값 중 기설정된 개수의 상위 복수의 비윤리 클래스의 확률값들의 합이 기설정된 임계치 이상인 경우, 어구에 기정의된 어구 변형 방법을 적용함으로써 어구를 증강할 수 있다.

예를 들어, 유해어 증강부(130)는 검출된 유해 어구, 일예로, '유해 환경을 차단하자'에 대한 비윤리 클래스의 확률값 중 상위 3개의 비윤리 클래스, 폭력 위협 클래스의 확률값, 범죄 조장 클래스의 확률값 및 기타 혐오 클래스의 확률값을 합할 수 있고, 상위 3개의 비윤리 클래스의 확률값의 합과 기설정된 임계치를 비교할 수 있다. 유해어 증강부(130)는 상위 3개의 비윤리 클래스의 확률값의 합, 0.7이 기설정된 임계치(예: 0.5)보다 큰 경우, 검출된 유해 어구에 기정의된 어구 변형 방법을 적용하여 해당 어구를 증강할 수 있다.

본 발명에 따른 기정의된 어구 변형 방법은 제 6 방법 내지 제 8 방법을 포함할 수 있다. 제 6 방법은 어구에 포함된 단어를 유사 단어로 치환할 수 있고, 제 7 방법은 어구 내 어절의 배열 순서를 변경할 수 있다. 제 8 방법은 어구에 포함된 단어를 삭제할 수 있다. 예를 들어, 제 6 방법에 따라 '유해 환경을 차단하자'에 포함된 단어를 유사 단어로 치환하여 '유해 환경을 배제하자'를 생성할 수 있고, 제 7 방법에 따라, '유해 환경을 차단하자'에서 어절의 배열 순서를 변경하여 '환경 유해을 차단하자'를 생성할 수 있고, 제 8 방법에 따라 '유해 환경을 차단하자'에 포함된 단어를 삭제하여 '유해을 차단하자'를 생성할 수 있다.

유해어 증강부(130)는 기정의된 어구 변형 방법에 따라 변형된 어구를 윤리 모델에 입력하여 변형된 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출할 수 있다.

예를 들어, 유해어 증강부(130)는 변형된 어구, '유해 환경을 배제하자', '환경 유해을 차단하자' 및 '유해을 차단하자'를 윤리 모델에 입력하여 각 변형된 어구가 13개의 비윤리 클래스 각각에 속할 확률값을 산출할 수 있다.

유해어 증강부(130)는 기설정된 개수의 상위 복수의 비윤리 클래스 확률값들의 합이 기설정된 임계치 이상인 경우, 어구마다 변형된 어구, 변형된 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어구 사전을 구축할 수 있다.

예를 들어, 유해어 증강부(130)는 변형된 어구, '유해 환경을 배제하자'에 대하여 상위 3개의 비윤리 클래스의 확률값의 합(예: 0.7)이 기설정된 임계치(예: 0.5)보다 큰 경우, '유해 환경을 차단하자'라는 어구에 변형된 어구, '유해 환경을 배제하자'와 범죄 조장 클래스의 확률값(0.7), 폭력 위협 클래스의 확률값(0.4) 및 기타 혐오 클래스의 확률값(0.3)이 매핑되어 저장된 유해어구 사전을 구축할 수 있다.

학습부(140)는 생성 모델(Generator)이 특정 발화로부터 생성된 복수의 토큰 중 적어도 하나의 토큰을 페이크 토큰으로 변형하도록 사전 학습할 수 있고, 판별 모델(Discriminator)이 복수의 토큰에 포함된 페이크 토큰을 판별하도록 사전 학습시킬 수 있다. 예를 들어, 학습부(140)는 트랜스포머 인코더(Transformer Encoder)를 이용하여 생성 모델 및 판별 모델을 사전 학습할 수 있다.

본 발명에 따른 윤리 모델은 판별 모델 및 순환 신경망(Feed Forward Neural Network)을 포함할 수 있다. 예를 들어, 학습부(140)는 사전 학습된 판별 모델에 순환 신경망을 추가하여 윤리 모델을 생성할 수 있다. 학습부(140)는 사전 학습된 판별 모델을 토큰별로 분류하는 방식으로 파인튜닝할 수 있다.

학습부(140)는 유해어 사전 및 유해어구 사전에 기초하여 순환 신경망을 업데이트하여 윤리 모델을 학습시킬 수 있다. 예를 들어, 학습부(140)는 증강된 유해어를 활용하여 윤리 모델을 재학습시킬 수 있다.

따라서, 학습 데이터 증강 장치(100)는 특정 발화에 포함된 여러 형태의 유해어를 정확하게 탐지할 수 있다. 예를 들어, 학습 데이터 증강 장치(100)는 특정 발화에 포함된 형태가 변형되거나 일부 형태가 생략된 유해어를 정확하게 검출할 수 있다.

도 2는 본 발명의 일 실시예에 따른 윤리 모델을 사전 학습하는 과정을 설명하기 위한 예시적인 도면이다. 도 2를 참조하면, 학습 데이터 증강 장치(100)는 생성 모델(230) 및 판별 모델(250)을 사전 학습할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 특정 발화로부터 복수의 토큰(210)을 생성할 수 있고, 복수의 토큰(210)을 생성 모델(230)에 입력하여 복수의 토큰(210)에 포함된 하나 이상의 토큰을 페이크 토큰으로 변형할 수 있다. 학습 데이터 증강 장치(100)는 생성 모델(230)이 복수의 토큰(210)으로부터 페이크 토큰을 포함하는 복수의 토큰(240)을 생성하도록 사전 학습할 수 있다.

구체적으로, 학습 데이터 증강 장치(100)는 특정 발화로부터 생성된 복수의 토큰(210)에 대해 마스킹할 위치의 집합을 결정할 수 있다. 예를 들어, 복수의 토큰(210) 중 마스킹을 수행할 위치는 1과 n 사이의 정수이고, 하기 수학식 1과 같이 표현될 수 있다.

<수학식 1>

수학식 1에서, m은 복수의 토큰(210) 내에서 마스킹을 수행할 위치를 의미하고, k는 복수의 토큰(210) 내에서 마스킹을 수행할 개수를 의미한다. 예를 들어, 마스킹을 수행할 개수 k는 0.15n일 수 있고, 학습 데이터 증강 장치(100)는 복수의 토큰(210) 전체에서 약 15%의 토큰에 대해 마스킹 처리할 수 있다. 복수의 토큰(210) 내에서 마스킹 처리하기로 결정된 위치의 토큰은 하기 수학식 2와 같이 표현될 수 있다.

<수학식 2>

예를 들어, 학습 데이터 증강 장치(100)는 {the, chef, cooked, the, meal}을 포함하는 복수의 토큰(210)에서 1번째 토큰 및 3번째 토큰에 대해 마스킹 처리할 수 있고, 1번째 토큰 및 3번째 토큰이 마스킹 처리된 복수의 토큰(220), {[MASK], chef, [MASK], the, meal}을 생성할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 마스킹 처리된 복수의 토큰(220)을 생성 모델(230)에 입력하여 마스킹 처리된 토큰이 무엇인지 예측할 수 있다. 생성 모델(230)은 하기 수학식 3으로 표현할 수 있다.

<수학식 3>

수학식 3에서, e(·)는 임베딩을 의미하고, 수학식 3을 통해 생성 모델(230)의 출력 레이어와 임베딩 레이어는 가중치를 공유할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 수학식 3을 이용하여 생성 모델(230)을 통해 마스킹 처리된 복수의 토큰(220) 내 포함된 일부 마스킹 처리된 토큰에 대한 의미를 예측할 수 있다. 학습 데이터 증강 장치(100)는 마스킹 처리된 복수의 토큰(220)에서 마스킹 처리된 일부 토큰에 대한 의미를 예측하여 페이크 토큰을 생성할 수 있다. 즉, 학습 데이터 증강 장치(100)는 마스킹 처리된 복수의 토큰(220)을 생성 모델(230)에 입력하여 페이크 토큰을 포함하는 복수의 토큰(240)을 생성할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 마스킹 처리된 복수의 토큰(220), {[MASK], chef, [MASK], the, meal}을 생성 모델(230)에 입력하여 페이크 토큰을 포함하는 복수의 토큰(240), {the, chef, ate, the, meal}을 생성할 수 있다. 페이크 토큰의 생성은 하기 수학식 4로 표현될 수 있다.

<수학식 4>

구체적으로, 학습 데이터 증강 장치(100)는 생성 모델(230)을 통해 마스킹 처리된 1번째 토큰을 처음과 같은 'the' 토큰으로 예측하여 출력할 수 있고, 마스킹 처리된 3번째 토큰을 처음과 다른 'ate' 토큰으로 예측하여 대체된 토큰을 출력할 수 있다. 즉, 학습 데이터 증강 장치(100)는 생성 모델(230)을 통해 3번째 토큰이 대체된, 페이크 토큰을 포함하는 복수의 토큰(240)을 생성할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 페이크 토큰을 포함하는 복수의 토큰(240)을 판별 모델(250)에 입력하여 페이크 토큰이 포함되어 있는지 여부를 판별할 수 있다. 즉, 학습 데이터 증강 장치(100)는 판별 모델(250)이 페이크 토큰을 포함하는 복수의 토큰(240)에 포함된 페이크 토큰을 판별하도록 사전 학습할 수 있다.

구체적으로, 판별 모델(250)은 페이크 토큰을 포함하는 복수의 토큰(240)에 포함된 각 토큰이 일반(original) 토큰인지, 생성 모델(230)을 통해 페이크(replaced) 토큰인지 여부를 구분하여 이진 분류로 사전 학습할 수 있다. 여기서, 일반 토큰은 처음과 같은 토큰을 의미하고, 페이크 토큰은 처음과 달리 생성 모델(230)을 거쳐 대체된 토큰을 의미한다.

예를 들어, 학습 데이터 증강 장치(100)는 손실 함수를 이용하여 생성 모델(230) 및 판별 모델(250)을 사전 학습할 수 있다. 손실 함수는 하기 수학식 5와 같이 표현될 수 있다.

<수학식 5>

수학식 5를 참조하면, 손실 함수는 평균 제곱 오차(Mean Square Error, MSE)일 수 있다. 예를 들어, 학습 데이터 증강 장치(100)는 수학식 5와 같은 손실 함수를 이용하여 생성 모델(230) 및 판별 모델(250)에 대한 사전 학습을 수행할 수 있다.

도 3은 본 발명의 일 실시예에 따른 윤리 모델을 설명하기 위한 예시적인 도면이다. 도 3을 참조하면, 학습 데이터 증강 장치(100)는 사전 학습이 완료된 판별 모델(320)에 기초하여 윤리 모델(300)을 생성할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 사전 학습된 판별 모델(320)에 순환 신경망(330)을 추가하여 윤리 모델(300)을 생성할 수 있다. 학습 데이터 증강 장치(100)는 사전 학습된 판별 모델(320)이 토큰별로 클래스를 분류하는 방식으로 파인 튜닝할 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 특정 발화로부터 생성된 복수의 토큰(310)을 윤리 모델(300)에 입력하여 각 토큰이 기설정된 복수의 비윤리 클래스(340) 중 하나 이상의 클래스로 분류할 수 있다. 여기서, 기설정된 복수의 비윤리 클래스(340)는 예를 들어, 욕설/모욕/폭력위협/외설/범죄조장/성별/연령/인종출신자/성적지향/장애/종교/정치성향/기타혐오와 같이 총 13개의 비윤리 클래스(340)로 세분화될 수 있다.

예를 들어, 학습 데이터 증강 장치(100)는 특정 발화로부터 생성된 복수의 토큰(310), 일예로, {the, chef, cooked, the, meal}을 윤리 모델(300)에 입력하여 각 토큰, 일예로, {meal} 토큰이 13개의 비윤리 클래스(340)에 속할 확률값을 각각 산출할 수 있다. 학습 데이터 증강 장치(100)는 확률값에 기초하여 각 토큰, 일예로, {meal} 토큰을 기타 혐오 클래스로 분류할 수 있다.

도 4 및 도 5는 본 발명의 일 실시예에 따른 유해 단어를 증강하는 과정을 설명하기 위한 예시적인 도면이다. 도 4를 참조하면, 학습 데이터 증강 장치(100)는 검출된 유해어가 단어인 경우, 해당 단어에 대한 비윤리 클래스의 확률값 중 가장 높은 비윤리 클래스의 확률값(x)과 기설정된 확률값(예: 0.5)을 비교할 수 있다(S410).

예를 들어, 학습 데이터 증강 장치(100)는 검출된 유해 단어, '범죄'에 대한 범죄 조장 클래스의 확률값(예: 0.7) 및 기타 혐오 클래스의 확률값(예: 0.4) 중 가장 높은 범죄 조장 클래스의 확률값(예: 0.7)과 기설정된 확률값(예: 0.5)을 비교할 수 있다.

학습 데이터 증강 장치(100)는 단어에 대한 비윤리 클래스의 확률값, x가 기설정된 확률값, 일예로 0.5보다 큰 경우(S411), 단어의 모든 글자가 초성 및 중성으로만 이루어져있는지 판단할 수 있다(S420).

예를 들어, 학습 데이터 증강 장치(100)는 '범죄'에 대한 범죄 조장 클래스의 확률값(예: 0.7)이 기설정된 확률값(예: 0.5)보다 큰 경우, '범죄'의 모든 글자가 초성 및 중성으로만 이루어져있는지 판단할 수 있다.

학습 데이터 증강 장치(100)는 단어의 모든 글자가 초성 및 중성으로만 이루어진 경우(S421), 기정의된 음절 변형 방법 중 제 1 방법 내지 제 5 방법을 모두 적용할 수 있다(S430).

예를 들어, 학습 데이터 증강 장치(100)는 '바보'와 같이, 단어의 글자가 초성 및 중성으로만 이루어진 경우, '바보'에 포함된 초성, 중성 또는 종성을 분리할 수 있고, '바보'에 포함된 모음을 유사 모음으로 치환할 수 있고, '바보'에 포함된 자음 및 모음을 유사 문자로 치환할 수 있고, '바보' 사이에 문자를 삽입할 수 있고, '바보'의 배열 순서를 변경하여, '바보'에 대하여 'ㅂㅏㅂㅗ', '뱌뵤', 'ㅂr보', '바@보' 및 '보바'와 같은 학습 데이터를 증강할 수 있다.

반면에, 학습 데이터 증강 장치(100)는 단어의 모든 글자가 초성 및 중성으로만 이루어지지 않은 경우(S422), 단어의 모든 글자가 초성, 충성 및 종성으로 이루어져있는지 판단할 수 있다(S440).

예를 들어, 학습 데이터 증강 장치(100)는 '범죄'와 같이 모든 글자가 초성 및 중성으로만 이루어지지 않은 경우, '범죄'가 초성, 중성 및 종성으로 이루어져있는지 판단할 수 있다.

학습 데이터 증강 장치(100)는 단어의 모든 글자가 초성, 중성 및 종성으로 이루어진 경우(S441), 기정의된 음절 변형 방법 중 제 1 방법, 제 4 방법 및 제 5 방법을 적용할 수 있다(S450).

예를 들어, 학습 데이터 증강 장치(100)는 '형벌'과 같이 모든 글자가 초성, 중성 및 종성으로 이루어진 경우, '형벌'에 포함된 초성, 중성 또는 종성을 분리할 수 있고, '형벌' 사이에 문자를 삽입할 수 있고, '형벌'의 배열 순서를 변경하여, '형벌'에 대하여, 'ㅎㅕㅇ ㅂㅓㄹ', '형@벌' 및 '벌형'과 같은 학습 데이터를 증강할 수 있다.

반면에, 학습 데이터 증강 장치(100)는 단어의 모든 글자가 초성, 중성 및 종성으로 이루어지지 않은 경우(S442), 단어의 글자에서 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는지 판단할 수 있다(S460).

예를 들어, 학습 데이터 증강 장치(100)는 '무근'과 같이 모든 글자가 초성, 중성 및 종성으로 이루어지지 않은 경우, '무근'에 포함된 글자에서 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는지 판단할 수 있다.

학습 데이터 증강 장치(100)는 단어의 글자에서 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는 경우(S461), 기정의된 음절 변형 방법 중 제 1 방법 내지 제 3 방법을 적용할 수 있다(S470).

예를 들어, 학습 데이터 증강 장치(100)는 '나쁜'과 같이 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는 경우, '나쁜'에 포함된 초성, 중성 또는 종성을 분리할 수 있고, '나쁜'에 포함된 모음을 유사 모음으로 치환할 수 있고, '나쁜'에 포함된 자음 및 모음을 유사 문자로 치환하여, '나쁜'에 대하여 'ㄴㅏㅃㅡㄴ', '냐쁜' 및 'ㄴr쁜'과 같은 학습 데이터를 증강할 수 있다.

도 5를 참조하면, 학습 데이터 증강 장치(100)는 검출된 유해어가 단어인 경우, 해당 단어에 대한 비윤리 클래스의 확률값 중 가장 높은 비윤리 클래스의 확률값(x)과 기설정된 확률값(예: 0.5 및 0.3)을 비교할 수 있다(S510).

예를 들어, 학습 데이터 증강 장치(100)는 검출된 유해 단어, '바보'에 대한 범죄 조장 클래스의 확률값(예: 0.2) 및 기타 혐오 클래스의 확률값(예: 0.4) 중 가장 높은 기타 혐오 클래스의 확률값(예: 0.4)과 기설정된 확률값(예: 0.5 및 0.3)를 비교할 수 있다.

학습 데이터 증강 장치(100)는 단어에 대한 비윤리 클래스의 확률값, x가 기설정된 확률값, 일예로 0.5보다 작으나, 0.3보다 큰 경우(S511), 단어의 모든 글자가 초성 및 중성으로만 이루어져있는지 판단할 수 있다(S520).

예를 들어, 학습 데이터 증강 장치(100)는 '바보'에 대한 기타 혐오 클래스의 확률값(예: 0.4)이 기설정된 확률값, 일예로 0.5보다 작고, 0.3보다 큰 경우, '바보'의 모든 글자가 초성 및 중성으로만 이루어져있는지 판단할 수 있다.

학습 데이터 증강 장치(100)는 단어의 모든 글자가 초성 및 중성으로만 이루어진 경우(S521), 기정의된 음절 변형 방법 중 제 1 방법 내지 제 5 방법을 모두 적용할 수 있다(S530).

반면에, 학습 데이터 증강 장치(100)는 단어의 모든 글자가 초성 및 중성으로만 이루어지지 않은 경우(S522), 해당 단어에 대한 비윤리 클래스의 확률값 중 가장 높은 비윤리 클래스의 확률값(x) 및 기설정된 개수(예: 3개)의 상위 복수의 비윤리 클래스 확률값들의 합과 기설정된 확률값(예: 0.3) 및 기설정된 임계치(예: 0.3)를 비교할 수 있다(S540)

예를 들어, 학습 데이터 증강 장치(100)는 '형벌'와 같이 모든 글자가 초성 및 중성으로만 이루어지지 않은 경우, '형벌'에 대한 범죄 조장 클래스의 확률값(예: 0.2)과 기설정된 확률값(예: 0.3)을 비교할 수 있고, '형벌'에 대한 상위 3개의 범죄 조장 클래스의 확률값(예: 0.2), 종교 클래스의 확률값(예: 0.1) 및 기타 혐오 클래스의 확률값(예: 0.1)과 기설정된 임계치(예: 0.3)를 비교할 수 있다.

학습 데이터 증강 장치(100)는 단어에 대한 비윤리 클래스의 확률값, x가 기설정된 확률값, 일예로 0.3보다 작으나, 기설정된 개수, 일예로 상위 3개의 비윤리 클래스 확률값들의 합이 기설정된 임계치, 일예로 0.3보다 큰 경우(S540), 기정의된 음절 변형 방법 중 제 1 방법 내지 제 5 방법을 모두 적용할 수 있다(S550).

예를 들어, 학습 데이터 증강 장치(100)는 '형벌'에 대한 범죄 조장 클래스의 확률값, 0.2가 기설정된 확률값, 일예로 0.3보다 작으나, 기설정된 개수, 일예로 상위 3개의 범죄 조장 클래스의 확률값(예: 0.2), 종교 클래스의 확률값(예: 0.1) 및 기타 혐오 클래스의 확률값(예: 0.1)의 합, 0.4가 기설정된 임계치, 일예로 0.3보다 큰 경우, '형벌'에 포함된 초성, 중성 또는 종성을 분리할 수 있고, '형벌'에 포함된 모음을 유사 모음으로 치환할 수 있고, '형벌'에 포함된 자음 및 모음을 유사 문자로 치환할 수 있고, '형벌' 사이에 문자를 삽입할 수 있고, '형벌'의 배열 순서를 변경하여, '형벌'에 대하여 'ㅎㅕㅇㅂㅓㄹ', '형별', '형%벌' 및 '벌형' 등과 같은 학습 데이터를 증강할 수 있다.

도 6 및 도 7은 본 발명의 일 실시예에 따른 유해 어구를 증강하는 과정을 설명하기 위한 예시적인 도면이다. 도 6을 참조하면, 학습 데이터 증강 장치(100)는 검출된 유해어가 어구인 경우, 해당 어구에 대한 비윤리 클래스의 확률값 중 가장 높은 비윤리 클래스의 확률값(x)과 기설정된 확률값(예: 0.5)을 비교할 수 있다(S610).

예를 들어, 학습 데이터 증강 장치(100)는 검출된 유해 어구, '유해 환경을 배제하자'에 대한 범죄 조장 클래스의 확률값(예: 0.7) 및 기타 혐오 클래스의 확률값(예: 0.4) 중 가장 높은 범죄 조장 클래스의 확률값(예: 0.7)과 기설정된 확률값(예: 0.5)을 비교할 수 있다.

학습 데이터 증강 장치(100)는 단어에 대한 비윤리 클래스의 확률값, x가 기설정된 확률값, 일예로 0.5보다 큰 경우(S611), 해당 어구가 유해어 사전에 포함되어 있는지 여부를 판단할 수 있다(S620).

예를 들어, 학습 데이터 증강 장치(100)는 '유해 환경을 배제하자'에 대한 범죄 조장 클래스의 확률값(예: 0.7)이 기설정된 확률값(예:0.5)보다 큰 경우, '유해 환경을 배제하자'에 포함되어 있는 각 어구, '유해', '환경을' 및 '배제하자'가 유해어 사전에 포함되어 있는지 여부를 판단할 수 있다.

학습 데이터 증강 장치(100)는 해당 어구가 유해어 사전에 포함되어 있지 않은 경우(S621), 어구에 기정의된 음절 변형 방법 중 제 1 방법 내지 제 5 방법 중 적어도 하나의 방법을 적용하여 어구를 증강할 수 있다(S630).

예를 들어, 학습 데이터 증강 장치(100)는 각 어구, '유해', '환경을' 및 '배제하자'가 유해어 사전에 포함되어 있지 않은 경우, 각 어구, '유해', '환경을' 및 '배제하자'에 포함된 초성, 중성 또는 종성을 분리하거나, 모음을 유사 모음으로 치환하거나, 자음 및 모음을 유사 문자로 치환하거나, 각 어구 사이에 문자를 삽입하거나, 각 어구 내의 배열 순서를 변경할 수 있다.

도 7을 참조하면, 학습 데이터 증강 장치(100)는 검출된 유해어가 어구인 경우, 해당 어구에 대한 기설정된 개수(예: 3개)의 상위 복수의 비윤리 클래스 확률값들의 합과 기설정된 임계치(예: 0.3)를 비교할 수 있다(S710).

예를 들어, 학습 데이터 증강 장치(100)는 검출된 유해 어구, '유해 환경을 배제하자'에 대한 상위 3개의 범죄 조장 클래스의 확률값(예: 0.3), 폭력 위협 클래스의 확률값(예: 0.1) 및 기타 혐오 클래스의 확률값(예: 0.2)의 합(예: 0.6)과 기설정된 임계치(예: 0.3)를 비교할 수 있다.

학습 데이터 증강 장치(100)는 어구에 대한 기설정된 개수, 일예로 상위 3개의 비윤리 클래스 확률값들의 합이 기설정된 임계치, 일예로 0.3보다 큰 경우(S711), 어구에 기정의된 어구 변형 방법을 적용하여 어구를 증강할 수 있다(S720).

예를 들어, 학습 데이터 증강 장치(100)는 '유해 환경을 배제하자'에 대한 상위 3개의 범죄 조장 클래스의 확률값(예: 0.3), 폭력 위협 클래스의 확률값(예: 0.1) 및 기타 혐오 클래스의 확률값(예: 0.2)의 합(예: 0.6)이 기설정된 임계치(예: 0.3)보다 큰 경우, '유해 환경을 배제하자'에 포함된 단어를 유사 단어로 치환할 수 있고, 어절의 배열 순서를 변경할 수 있고, 각 어구에 포함된 단어를 삭제하여, '유해 환경을 배제하자'에 대하여 '유해 환경을 배제하자', '환경 유해을 차단하자' 및 '유해을 차단하자'를 생성하여 학습 데이터를 증강할 수 있다.

학습 데이터 증강 장치(100)는 변형된 어구를 윤리 모델에 입력하여 변형된 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출할 수 있다(S730).

예를 들어, 학습 데이터 증강 장치(100)는 변형된 어구, '유해 환경을 배제하자', '환경 유해을 차단하자' 및 '유해을 차단하자'를 각 윤리 모델에 입력하여 각 어구가 13개의 비윤리 클래스에 속할 각각의 확률값을 산출할 수 있다.

학습 데이터 증강 장치(100)는 변형된 어구에 대한 기설정된 개수(예: 3개)의 상위 복수의 비윤리 클래스 확률값들의 합과 기설정된 임계치(예: 0.3)를 비교할 수 있다(S740).

예를 들어, 학습 데이터 증강 장치(100)는 변형된 어구, 일예로, '유해 환경을 배제하자'에 대한 상위 3개의 범죄 조장 클래스의 확률값(예: 0.2), 폭력 위협 클래스의 확률값(예: 0.1) 및 기타 혐오 클래스의 확률값(예: 0.2)의 합(예: 0.5)과 기설정된 임계치(예: 0.3)를 비교할 수 있다.

학습 데이터 증강 장치(100)는 변형된 어구에 대한 기설정된 개수, 일예로 상위 3개의 비윤리 클래스 확률값들의 합이 기설정된 임계치, 일예로 0.3보다 큰 경우(S741), 어구마다 변형된 어구, 변형된 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어구 사전을 구축할 수 있다(S750).

예를 들어, 학습 데이터 증강 장치(100)는 변형된 어구, 일예로, '유해 환경을 배제하자'에 대한 상위 3개의 범죄 조장 클래스의 확률값(예: 0.2), 폭력 위협 클래스의 확률값(예: 0.1) 및 기타 혐오 클래스의 확률값(예: 0.2)의 합(예: 0.5)이 기설정된 임계치(예: 0.3)보다 큰 경우, '유해 환경을 차단하자'에 대한 유해 어구에 변형된 어구, '유해 환경을 배제하자' 및 변형된 어구에 대한 범죄 조장 클래스의 확률값(예: 0.2), 폭력 위협 클래스의 확률값(예: 0.1), 기타 혐오 클래스의 확률값(예: 0.2)이 매핑되어 저장된 유해어구 사전을 구축할 수 있다.

도 8은 본 발명의 일 실시예에 따른 학습 데이터 증강 방법의 순서도이다. 도 8에 도시된 학습 데이터 증강 방법은 도 1 내지 도 7에 도시된 실시예에 따라 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1 내지 도 7에 도시된 실시예에 따른 학습 데이터 증강 장치에서 유해어에 대한 학습 데이터를 증강하는 방법에도 적용된다.

단계 S810에서 학습 데이터 증강 장치는 학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출할 수 있다.

단계 S820에서 학습 데이터 증강 장치는 복수의 확률값에 기초하여 특정 발화에 포함된 유해어를 검출할 수 있다.

단계 S830에서 학습 데이터 증강 장치는 유해어에 대한 복수의 확률값에 기초하여 유해어를 복수의 비윤리 클래스 중 적어도 어느 하나로 분류할 수 있다.

단계 S840에서 학습 데이터 증강 장치는 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 유해어에 기정의된 음절 변형 방법을 적용함으로써 유해어를 증강하여 신규 학습 데이터를 생성할 수 있다.

상술한 설명에서, 단계 S810 내지 S840는 본 발명의 구현 예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 전환될 수도 있다.

도 1 내지 도 8을 통해 설명된 학습 데이터 증강 장치에서 유해어에 대한 학습 데이터를 증강하는 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행 가능한 명령어들을 포함하는 기록 매체의 형태로도 구현될 수 있다. 또한, 도 1 내지 도 8을 통해 설명된 학습 데이터 증강 장치에서 유해어에 대한 학습 데이터를 증강하는 방법은 컴퓨터에 의해 실행되는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램의 형태로도 구현될 수 있다.

컴퓨터 판독 가능 기록매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 기록매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 학습 데이터 증강 장치
110: 유해어 검출부
120: 유해어 분류부
130: 유해어 증강부
140: 학습부

Claims

유해어에 대한 학습 데이터를 증강하는 장치에 있어서,
학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하고, 상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하는 유해어 검출부;
상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하는 유해어 분류부; 및
상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 방법을 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하는 유해어 증강부
를 포함하며,
상기 기정의된 음절 변형 방법은,
상기 유해어에 포함된 초성, 중성 또는 종성을 분리하는 제 1 방법; 상기 유해어의 모음을 유사 모음으로 치환하는 제 2 방법; 상기 유해어의 자음 및 모음을 유사 문자로 치환하는 제 3 방법; 상기 유해어 사이에 문자를 삽입하는 제 4 방법; 및 상기 유해어의 배열 순서를 변경하는 제 5 방법 중 적어도 하나를 포함하고,
상기 유해어 증강부는,
상기 검출된 유해어가 단어이고, 상기 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 가장 높은 어느 한 비윤리 클래스의 확률값이 기설정된 확률값 이상인 경우, 상기 단어에 상기 제 1 방법 내지 상기 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 상기 단어를 증강하고,
상기 단어마다 상기 증강된 단어, 상기 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어 사전을 구축하고,
상기 검출된 유해어가 어구이고, 상기 어구가 상기 유해어 사전에 포함되어 있지 않은 경우, 상기 어구에 상기 제 1 방법 내지 상기 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 상기 어구를 증강하고,
상기 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값 중 기설정된 개수의 상위 복수의 비윤리 클래스의 확률값들의 합이 기설정된 임계치 이상인 경우, 상기 어구에 기정의된 어구 변형 방법을 적용함으로써 상기 어구를 증강하는 것인, 학습 데이터 증강 장치.
제 1 항에 있어서,
상기 유해어 검출부는,
상기 특정 발화를 어절로 분할하고, 분할된 각 어절을 상기 기학습된 윤리 모델에 입력하여 적어도 하나의 어절에 대한 상기 복수의 확률값을 산출하고, 상기 특정 발화에 포함된 유해어를 검출하는 것인, 학습 데이터 증강 장치.
삭제
삭제
제 1 항에 있어서,
상기 유해어 증강부는,
상기 단어의 모든 글자가 초성, 중성으로만 이루어진 경우, 상기 제 1 방법 내지 상기 제 5 방법을 모두 적용하고, 상기 단어의 모든 글자가 초성, 중성 및 종성으로 이루어진 경우, 상기 제 1 방법, 상기 제 4 방법 및 상기 제 5 방법을 적용하고, 상기 단어의 글자에서 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는 경우, 상기 제 1 방법 내지 상기 제 3 방법을 적용하는 것인, 학습 데이터 증강 장치.
삭제
삭제
삭제
제 1 항에 있어서,
상기 기정의된 어구 변형 방법은,
상기 어구에 포함된 단어를 유사 단어로 치환하는 제 6 방법; 상기 어구 내 어절의 배열 순서를 변경하는 제 7 방법; 및 상기 어구에 포함된 단어를 삭제하는 제 8 방법 중 적어도 하나를 포함하는 것인, 학습 데이터 증강 장치.
제 9 항에 있어서,
상기 유해어 증강부는,
상기 기정의된 어구 변형 방법에 따라 변형된 어구를 상기 윤리 모델에 입력하여 상기 변형된 어구가 상기 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하고,
기설정된 개수의 상위 복수의 비윤리 클래스 확률값들의 합이 기설정된 임계치 이상인 경우, 상기 어구마다 상기 변형된 어구, 상기 변형된 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어구 사전을 구축하는 것인, 학습 데이터 증강 장치.
제 10 항에 있어서,
상기 윤리 모델을 학습하는 학습부
를 더 포함하고,
상기 학습부는 생성 모델(Generator)이 상기 특정 발화로부터 생성된 복수의 토큰 중 적어도 하나의 토큰을 페이크 토큰으로 변형하도록 사전 학습하고, 판별 모델(Discriminator)이 상기 복수의 토큰에 포함된 상기 페이크 토큰을 판별하도록 사전 학습시키는 것인, 학습 데이터 증강 장치.
제 11 항에 있어서,
상기 윤리 모델은 상기 판별 모델 및 순환 신경망(Feed Forward Neural Network)을 포함하고,
상기 학습부는,
상기 유해어 사전 및 상기 유해어구 사전에 기초하여 상기 순환 신경망을 업데이트하여 상기 윤리 모델을 학습시키는 것인, 학습 데이터 증강 장치.
학습 데이터 증강 장치에 의해 수행되는 유해어에 대한 학습 데이터를 증강하는 방법에 있어서,
학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하는 단계;
상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하는 단계;
상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하는 단계; 및
상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 방법을 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하는 단계
를 포함하며,
상기 기정의된 음절 변형 방법은,
상기 유해어에 포함된 초성, 중성 또는 종성을 분리하는 제 1 방법; 상기 유해어의 모음을 유사 모음으로 치환하는 제 2 방법; 상기 유해어의 자음 및 모음을 유사 문자로 치환하는 제 3 방법; 상기 유해어 사이에 문자를 삽입하는 제 4 방법; 및 상기 유해어의 배열 순서를 변경하는 제 5 방법 중 적어도 하나를 포함하고,
상기 유해어를 증강하여 신규 학습 데이터를 생성하는 단계는,
상기 검출된 유해어가 단어이고, 상기 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 가장 높은 어느 한 비윤리 클래스의 확률값이 기설정된 확률값 이상인 경우, 상기 단어에 상기 제 1 방법 내지 상기 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 상기 단어를 증강하는 단계;
상기 단어마다 상기 증강된 단어, 상기 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어 사전을 구축하는 단계;
상기 검출된 유해어가 어구이고, 상기 어구가 상기 유해어 사전에 포함되어 있지 않은 경우, 상기 어구에 상기 제 1 방법 내지 상기 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 상기 어구를 증강하는 단계; 및
상기 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값 중 기설정된 개수의 상위 복수의 비윤리 클래스의 확률값들의 합이 기설정된 임계치 이상인 경우, 상기 어구에 기정의된 어구 변형 방법을 적용함으로써 상기 어구를 증강하는 단계를 포함하는 것인, 학습 데이터 증강 방법.
제 13 항에 있어서,
상기 유해어를 검출하는 단계는,
상기 특정 발화를 어절로 분할하는 단계;
상기 분할된 각 어절을 상기 기학습된 윤리 모델에 입력하여 적어도 하나의 어절에 대한 상기 복수의 확률값을 산출하는 단계; 및
상기 특정 발화에 포함된 유해어를 검출하는 단계
를 포함하는 것인, 학습 데이터 증강 방법.
삭제
삭제
제 13 항에 있어서,
상기 유해어를 증강하여 신규 학습 데이터를 생성하는 단계는,
상기 단어의 모든 글자가 초성, 중성으로만 이루어진 경우, 상기 제 1 방법 내지 상기 제 5 방법을 모두 적용하고, 상기 단어의 모든 글자가 초성, 중성 및 종성으로 이루어진 경우, 상기 제 1 방법, 상기 제 4 방법 및 상기 제 5 방법을 적용하고, 상기 단어의 글자에서 초성 및 중성으로만 이루어진 글자가 적어도 하나 존재하는 경우, 상기 제 1 방법 내지 상기 제 3 방법을 적용하는 단계
를 더 포함하는 것인, 학습 데이터 증강 방법.
삭제
삭제
삭제
제 13 항에 있어서,
상기 기정의된 어구 변형 방법은,
상기 어구에 포함된 단어를 유사 단어로 치환하는 제 6 방법; 상기 어구 내 어절의 배열 순서를 변경하는 제 7 방법; 및 상기 어구에 포함된 단어를 삭제하는 제 8 방법 중 적어도 하나를 포함하는 것인, 학습 데이터 증강 방법.
제 21 항에 있어서,
상기 유해어를 증강하여 신규 학습 데이터를 생성하는 단계는,
상기 기정의된 어구 변형 방법에 따라 변형된 어구를 상기 윤리 모델에 입력하여 상기 변형된 어구가 상기 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하는 단계; 및
기설정된 개수의 상위 복수의 비윤리 클래스 확률값들의 합이 기설정된 임계치 이상인 경우, 상기 어구마다 상기 변형된 어구, 상기 변형된 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어구 사전을 구축하는 단계
를 더 포함하는 것인, 학습 데이터 증강 방법.
제 22 항에 있어서,
상기 윤리 모델을 학습하는 단계
를 더 포함하고,
상기 윤리 모델을 학습하는 단계는,
생성 모델(Generator)이 상기 특정 발화로부터 생성된 복수의 토큰 중 적어도 하나의 토큰을 페이크 토큰으로 변형하도록 사전 학습하는 단계; 및
판별 모델(Discriminator)이 상기 복수의 토큰에 포함된 상기 페이크 토큰을 판별하도록 사전 학습시키는 단계
를 포함하는 것인, 학습 데이터 증강 방법.
제 23 항에 있어서,
상기 윤리 모델은 상기 판별 모델 및 순환 신경망(Feed Forward Neural Network)을 포함하고,
상기 윤리 모델을 학습하는 단계는,
상기 유해어 사전 및 상기 유해어구 사전에 기초하여 상기 순환 신경망을 업데이트하여 상기 윤리 모델을 학습시키는 단계
를 더 포함하는 것인, 학습 데이터 증강 방법.
유해어에 대한 학습 데이터를 증강하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 컴퓨팅 장치에 의해 실행될 경우,
학습 데이터에 포함된 특정 발화를 기학습된 윤리 모델에 입력하여 상기 특정 발화에 포함된 어휘 및 어구가 기설정된 복수의 비윤리 클래스 각각에 속할 복수의 확률값을 산출하고,
상기 복수의 확률값에 기초하여 상기 특정 발화에 포함된 유해어를 검출하고,
상기 유해어에 대한 상기 복수의 확률값에 기초하여 상기 유해어를 상기 복수의 비윤리 클래스 중 적어도 어느 하나로 분류하고,
상기 유해어에 분류된 적어도 하나의 비윤리 클래스의 확률값에 기초하여 상기 유해어에 기정의된 음절 변형 방법을 적용함으로써 상기 유해어를 증강하여 신규 학습 데이터를 생성하도록 하며,
상기 기정의된 음절 변형 방법은,
상기 유해어에 포함된 초성, 중성 또는 종성을 분리하는 제 1 방법; 상기 유해어의 모음을 유사 모음으로 치환하는 제 2 방법; 상기 유해어의 자음 및 모음을 유사 문자로 치환하는 제 3 방법; 상기 유해어 사이에 문자를 삽입하는 제 4 방법; 및 상기 유해어의 배열 순서를 변경하는 제 5 방법 중 적어도 하나를 포함하고,
상기 유해어를 증강하여 신규 학습 데이터를 생성하는 것은,
상기 검출된 유해어가 단어이고, 상기 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 가장 높은 어느 한 비윤리 클래스의 확률값이 기설정된 확률값 이상인 경우, 상기 단어에 상기 제 1 방법 내지 상기 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 상기 단어를 증강하고,
상기 단어마다 상기 증강된 단어, 상기 단어에 분류된 적어도 하나의 비윤리 클래스의 확률값이 매핑되어 저장된 유해어 사전을 구축하고,
상기 검출된 유해어가 어구이고, 상기 어구가 상기 유해어 사전에 포함되어 있지 않은 경우, 상기 어구에 상기 제 1 방법 내지 상기 제 5 방법 중 적어도 어느 하나의 방법을 적용함으로써 상기 어구를 증강하고,
상기 어구에 분류된 적어도 하나의 비윤리 클래스의 확률값 중 기설정된 개수의 상위 복수의 비윤리 클래스의 확률값들의 합이 기설정된 임계치 이상인 경우, 상기 어구에 기정의된 어구 변형 방법을 적용함으로써 상기 어구를 증강하는 명령어들의 시퀀스를 포함하는, 컴퓨터 판독가능 기록매체에 저장된 컴퓨터 프로그램.