KR102573967B1 - 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 - Google Patents
기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 Download PDFInfo
- Publication number
- KR102573967B1 KR102573967B1 KR1020210149398A KR20210149398A KR102573967B1 KR 102573967 B1 KR102573967 B1 KR 102573967B1 KR 1020210149398 A KR1020210149398 A KR 1020210149398A KR 20210149398 A KR20210149398 A KR 20210149398A KR 102573967 B1 KR102573967 B1 KR 102573967B1
- Authority
- KR
- South Korea
- Prior art keywords
- word
- user
- prediction
- input
- predicted
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 65
- 238000010801 machine learning Methods 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000000295 complement effect Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 230000000153 supplemental effect Effects 0.000 description 14
- 235000015109 caffè americano Nutrition 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 5
- 238000003058 natural language processing Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002730 additional effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002490 cerebral effect Effects 0.000 description 2
- 230000002354 daily effect Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 208000035976 Developmental Disabilities Diseases 0.000 description 1
- 206010013952 Dysphonia Diseases 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 235000020317 vanilla latte Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B21/00—Teaching, or communicating with, the blind, deaf or mute
- G09B21/04—Devices for conversing with the deaf-blind
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/10—Transforming into visible information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Machine Translation (AREA)
Abstract
기계학습을 이용한 예측을 통해 보완 대체 의사소통을 제공하는 방법에 있어서, 사용자로부터 단어를 입력받는 단계; 기계학습 모델을 통해, 입력된 상기 단어를 이용하여 상기 사용자가 다음에 사용할 확률이 높은 단어를 예측하는 단계; 상기 예측하는 단계에서 예측된 예측 단어를 표시하는 단계; 및 미리 설정된 카테고리를 통해 제공되는 기본 단어를 상기 예측 단어와 구분하여 표시하는 단계를 포함하는, 보완 대체 의사소통 제공 방법을 제공할 수 있다.
Description
본원은 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법에 관한 것이다.
일반적으로, 보완 대체 의사소통(Augmentative and Alternative Communication, AAC)은 의사 표현에 어려움을 겪는 사람들의 문제를 감소시키고 언어능력을 촉진하기 위해 사용하는 말(구어) 이외의 여러 형태의 의사소통 방법을 말하며, 구어 사용을 보완하는 경우와 완전히 대신하는 경우를 모두 포함한다. 달리 말해, 보완 대체 의사소통은 말을 하거나 글을 쓰는 방식을 통해 의사소통을 하기 어려운 사람들이 몸짓과 사진, 그림 등을 이용해 다른 사람들에게 자신이 하고 싶은 말을 전달할 수 있도록 하는 것을 통칭한다.
이러한 보완 대체 의사소통에서는 그림, 몸짓과 같은 상징(Symbol)을 활용하며, 비전자 방식의 AAC 제공 수단 또는 전자 AAC 기기를 사용하는 경우가 많다. 그러나, 이러한 전자 AAC 기기는 비용이 상당하여, 최근에는 앱을 이용한 AAC 서비스들이 등장하고 있다. 예를 들어, 사용자가 카페에서 음료를 주문하고 싶은 경우, AAC 앱 화면에 표시되어 있는 상징들 예컨대, "바닐라 라떼", "한 잔", "차가운", "주세요"의 의미를 나타내는 상징들을 선택함으로써 원하는 문장을 생성하여 표현할 수 있다.
그러나, 화면에 표시되어 있는 상징만으로는 표현할 수 있는 단어의 수가 제한적이기 때문에 다양한 상황에서 원하는 표현을 자유롭게 구사하기 어렵다. 한편, 표시된 상징이 너무 많은 경우에는 화면에서 원하는 상징을 찾는데 시간이 많이 소요되어 문장을 생성하는데 오랜 시간이 걸리는 문제가 발생한다.
종래의 기계학습 기반 AAC 기술은 발성 장애가 있는 사용자의 음성과 이에 대응하는 뜻을 매칭 저장하고, 이를 학습 데이터로 하여 기계학습 모델을 학습시킨 후, 학습된 모델을 이용하여 사용자가 일상에서 단어나 문장을 발성하면 음성 인식 기능이 이를 인지해 해당 단어나 문장을 표시해주는 구성을 개시하고 있을 뿐, 기계학습을 통해 다음에 올 단어를 예측하여 표시하는 기술에는 이르지 못하였다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2309505호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 기계학습에 기반한 예측을 이용하여 보다 편리하고 효율적인 보완 대체 의사소통을 제공하는 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법은, 사용자로부터 단어를 입력받는 단계, 기계학습 모델을 통해, 입력된 상기 단어를 이용하여 상기 사용자가 다음에 사용할 확률이 높은 단어를 예측하는 단계, 상기 예측하는 단계에서 예측된 예측 단어를 표시하는 단계, 및 미리 설정된 카테고리를 통해 제공되는 기본 단어를 상기 예측 단어와 구분하여 표시하는 단계를 포함할 수 있다.
또한, 상기 사용자로부터 상징 표시 여부를 선택받는 단계를 더 포함하고, 상징 표시를 선택한 경우, 상기 예측 단어와 상기 기본 단어를 대응하는 상징과 함께 표시하고, 상징 표시 안함을 선택한 경우, 상기 예측 단어와 상기 기본 단어를 상징 없이 표시할 수 있다.
또한, 상기 입력받는 단계는, 상기 사용자로부터 상기 예측 단어와 상기 기본 단어 중 어느 하나를 선택받는 단계를 포함할 수 있다.
또한, 상기 입력받는 단계는 상기 사용자로부터 키보드를 통해 상기 단어를 입력받는 단계를 포함할 수 있다.
또한, 보완 대체 의사소통을 제공하는 방법은 입력된 상기 단어를 이용하여 문장을 생성하는 단계, 생성된 상기 문장을 표시하는 단계, 및 상기 예측 단어, 상기 기본 단어 및 상기 문장 중 적어도 하나를 음성으로 출력하는 단계를 더 포함할 수 있다.
또한, 상기 예측 단어를 영어 단어로 번역하는 단계; 및 상기 영어 단어에 대응하는 상징을 픽토그램 데이터베이스에서 검색하는 단계를 더 포함하고, 상기 예측 단어를 표시하는 단계는 상기 예측 단어를 검색된 상기 상징과 함께 표시하는 것일 수 있다.
한편, 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치는 사용자로부터 단어를 입력받는 입력부, 기계학습 모델을 통해, 입력된 상기 단어를 이용하여 상기 사용자가 다음에 사용할 확률이 높은 단어를 예측하는 예측부, 및 상기 예측부에서 예측된 예측 단어를 표시하고 미리 설정된 카테고리를 통해 제공되는 기본 단어를 상기 예측 단어와 구분하여 표시하는 표시부를 포함할 수 있다.
또한, 상기 사용자로부터 상징 표시 여부를 선택받는 설정부를 더 포함하고, 상기 표시부는 상기 사용자가 상징 표시를 선택한 경우, 상기 예측 단어와 상기 기본 단어를 대응하는 상징과 함께 표시하고, 상징 표시 안함을 선택한 경우, 상기 예측 단어와 상기 기본 단어를 상징 없이 표시하는 것일 수 있다.
또한, 상기 입력부는, 상기 사용자로부터 상기 예측 단어와 상기 기본 단어 중 어느 하나를 선택받는 것일 수 있다.
또한, 상기 입력부는, 상기 사용자로부터 키보드를 통해 상기 단어를 입력받는 것일 수 있다.
또한, 입력된 상기 단어를 이용하여 문장을 생성하는 문장 생성부, 및 상기 예측 단어, 상기 기본 단어 및 상기 문장 중 적어도 하나를 음성으로 출력하는 음성 출력부를 더 포함하고, 상기 표시부는 생성된 상기 문장을 표시하는 것일 수 있다.
또한, 상기 예측 단어를 영어 단어로 번역하는 번역부, 및 상기 영어 단어에 대응하는 상징을 픽토그램 데이터베이스에서 검색하는 검색부를 더 포함하고, 상기 표시부는 상기 예측 단어를 검색된 상기 상징과 함께 표시하는 것일 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 기계학습을 통해 직전에 입력된 단어에 기반하여 사용자가 다음에 사용할 확률이 높은 단어를 예측하고 이를 표시함으로써 사용자가 보다 빠르고 편리하게 문장을 형성할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 예측한 다음 단어뿐만 아니라 카테고리를 통해 제공하는 기본 단어도 같이 표시함으로써 기계학습으로 예측되지 않은 단어도 사용자가 쉽게 입력할 수 있어 선택 가능한 단어의 범위를 확장할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 단어뿐 아니라 조사까지 함께 예측하여 자연스러운 문장 형성이 가능할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치의 구성도이다.
도 2는 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 웹의 구조를 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법을 나타낸 흐름도이다.
도 4a 내지 4l은 본원의 일 실시예에 따른 보완 대체 의사소통 서비스를 이용하여 사용자가 문장을 생성하는 과정을 설명하는 도면이다.
도 2는 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 웹의 구조를 설명하기 위한 도면이다.
도 3은 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법을 나타낸 흐름도이다.
도 4a 내지 4l은 본원의 일 실시예에 따른 보완 대체 의사소통 서비스를 이용하여 사용자가 문장을 생성하는 과정을 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 사용자로 하여금 보다 편리하고 효율적으로 문장을 생성할 수 있도록 하는, 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치의 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 보완 대체 의사소통 제공 장치(100)는 입력부(110), 예측부(120), 번역부(130), 검색부(140), 표시부(150), 문장 생성부(160), 음성 출력부(170) 및 설정부(180)를 포함할 수 있다.
입력부(110)는 사용자로부터 단어를 입력받을 수 있다. 입력부(110)는 화면에 표시한 예측 단어와 기본 단어 중 어느 하나를 사용자로부터 선택받아 단어를 입력받을 수 있다.
본원에 있어서, "단어"는 "어절" 또는 "어절들"의 의미를 포함하는 용어로 사용될 수 있다. 본원에 있어서 사전상 자립할 수 있는 의미를 가지는 단어뿐만 아니라, 조사도 함께 예측이 가능하기 때문에 본 명세서에서의 "단어"는 "어절"을 포함하며, 맥락을 반영하여 다음 단어를 예측하기 때문에 앞에서 선택된 복수의 단어들을 모두 아우르기 때문에 본 명세서에서의 "단어"는 "어절들"을 포함할 수 있다.
예컨대, 사용자는 단어를 입력한 후에 화면에 표시되는 예측 단어, 즉 사용자가 다음에 사용할 확률이 높다고 예측된 단어 중 어느 하나를 선택하거나, 또는 카테고리를 선택하였을 때 표시되는 기본 단어중 어느 하나를 선택하여 원하는 단어를 입력할 수 있다. 이를 통해 사용자는 터치만으로도 간단하게 문장을 생성할 수 있다.
입력부(110)는 사용자로부터 키보드를 통해 단어를 입력받을 수 있다. 예측이 될 수 없는 특이한 단어나 예측이 되는 단어 리스트에 사용하고자 하는 단어가 부득이 하게 없는 경우, 예컨대 예측되지 않은 고유명사의 입력이 필요한 경우 등에 사용자가 키보드를 이용하여 직접 타이핑하여 단어를 입력할 수 있다. 또는, 사용자는 각 카테고리에 포함되어 있는 상황별 고유명사 표시들 중에서 선택할 수 있고, 입력부(110)는 선택된 입력을 수신할 수 있다.
이를 통해, 입력 가능한 단어의 범위를 확장할 수 있을 뿐만 아니라, 현재 시점에서 사용자가 실질적으로 키보드를 활용할 능력이 없더라도 사용자가 키보드에 접근할 수 있는 기회를 제공함으로써 최종적으로 문자를 읽고 쓰는 능력을 개발할 수 있도록 도울 수 있다.
예측부(120)는 기계학습 모델을 통해, 입력된 단어를 이용하여 다음 단어를 예측할 수 있다. 예측부(120)는 사용자의 상황과 의도에 맞게 사용자가 다음에 사용할 확률이 가장 높은 순으로 단어를 예측할 수 있다. 여기서 기계학습은 딥러닝을 의미할 수 있으나 이에 제한되지 않는다. 본원의 일 실시예에 따르면, 예측부(120)는 사용자가 입력 또는 선택하는 단어(제1단어)에 이어서 올 가능성이 있는 단어(제2단어)를 어떠한 제1단어가 입력되더라도 예측할 수 있다.
예측부(120)는, 예를 들어, Pretrained BERT Models For Korean을 사용하여 사용자가 다음 입력할 확률이 높은 단어를 예측할 수 있으나, 이에 제한되지 않는다. BERT는 자연어 처리 신경망 구조로서, BERT Models For Korean은 한국어 기반의 자연어 처리 신경망 구조 모델이다. 예를 들어, BERT Models For Korean은 127억개의 단어를 이용하여 학습되고, BERT-KOR-base 파라미터는 4만2천개의 예측 단어(토큰)를 가질 수 있다.
또한, 본원의 일 실시예에 따르면, 예측부(120)는 추가적으로 BERT 모델에 단어데이터를 학습시켜 각 이용자별 맞춤 단어를 예측할 수 있다. 예컨데, 예측부(120)는 BERT 모델에 파인 튜닝(FINE-TUNING)을 적용하여 이용자별, 상황별 맞춤 단어의 예측의 정확도를 향상시킬 수 있다. 예를 들어, 예측부(120)는 'K-steroset'이라는 단어 데이터셋으로 파인 튜닝을 하여 비장애인 사용자 맞춤형 단어에서 벗어나 '휠체어'와 같은 단어도 함께 예측될 수 있도록 하거나, 이용자별 맞춤 데이터를 통해 외국인 노동자나 다문화가정 등 한국어가 미숙한 사용자에게 도움이 될 수 있는 단어 예측이 가능하다.
예측부(120)는, 예를 들어, 적절한 전처리를 통해 일상 생활 텍스트 데이터를 학습에 사용할 수 있다. 일상 생활 텍스트를 학습 데이터로 사용하여 일상 생활에서 사용되는 자연스러운 단어를 예측 단어로 제공할 수 있다. 단어 예측까지 걸리는 시간은 평균 3초 정도 소요되나, 사용하는 모델, 서버의 용량, 데이터 등에 따라 변동될 수 있다.
기존의 보완 대체 의사소통 서비스는 화면에 고정된 선택지 안에서만 단어를 선택할 수 있었는데, 이러한 방식은 단어 선택에 제한이 있어 사용자가 시시각각 변하는 상황속에서 각각의 상황에 맞는 문장을 생성하는데 큰 불편함이 있었다. 본 발명의 일 실시예에 따른 보완 대체 의사소통 제공 방법은 사용자가 단어를 입력할 때마다, 입력한 단어에 기반하여 사용자가 다음에 사용할 확률이 높은 단어를 예측하여 화면에 표시함으로써, 즉 화면에 표시되는 단어가 사용자가 단어를 입력할때마다 변함으로써 사용자가 화면에 표시된 단어를 선택하는 것만으로도 쉽게 상황에 맞는 자연스러운 문장을 생성할 수 있도록 할 수 있다.
번역부(130)는 예측부(120)에서 예측한 단어, 즉 한국어 단어를 영어 단어로 번역할 수 있다. 한국어 단어를 영어 단어로 번역함으로써, 영어 단어 기반의 픽토그램 사이트에서 픽토그램을 이용할 수 있다.
검색부(140)는 번역부(130)에서 번역한 영어 단어에 대응하는 상징을 픽토그램 데이터베이스에서 검색할 수 있다. 예를 들어, 검색부(140)는 픽토그램 사이트에서 이미지와 연계된 고유단어 ID로 크롤링하여 픽토그램 데이터베이스에 구축하고, 데이터베이스 내에서 단어에 해당하는 픽토그램을 추출할 수 있다. 여기서 픽토그램(pictogram)이란, 그림을 뜻하는 픽처(picture)와 전보를 뜻하는 텔레그램(telegram)의 합성어로, 무언가 중요한 사항이나 장소 등을 알리기 위해, 그 어떤 사람이 보더라도 같은 의미로 통할 수 있는 그림을 의미한다. 본 발명의 일 실시예에서의 상징은 픽토그램을 포함할 수 있다.
표시부(150)는 사용자가 다음에 사용할 확률이 높은 예측 단어를 화면에 표시할 수 있다. 이를 통해 사용자는 보다 효율적으로 문장을 생성할 수 있다. 표시부(150)는 카테고리를 통해 제공되는 기본 단어를 표시할 수 있다. 이를 통해 사용자가 예측부(120)에서 예측되지 않은 단어를 선택하고 싶은 경우에도 카테고리에서 원하는 단어를 선택할 수 있어 단어 선택의 범위를 확장시킬 수 있다.
표시부(150)는 예측 단어와 기본 단어를 구분하여 표시할 수 있다. 예를 들어, 표시부(150)는 예측 단어의 경우 사용자로부터 단어가 입력된 직후에 화면에 표시하고, 기본 단어는 사용자가 카테고리를 선택하였을 때 표시함으로써 기본 단어와 예측 단어를 구분하여 표시할 수 있으나, 구분하여 표시하는 방법은 이에 제한되지 않는다. 표시부(150)는 매번 입력되는 제1단어에 이어서 올 가능성이 있는 예측 단어인 제2단어와 카테고리로 구분되어 미리 저장되어 있는 기본 단어를 선택적으로 또는 구분하여 표시할 수 있다. 또한, 일 실시예로서, 표시부(150)는 예측 단어를 표시함에 있어서, 제1단어에 이어서 올 가능성이 높은 순서대로 예측 단어(제2단어)를 표시하거나, 가능성이 높은 순서대로 예측 단어의 출력 크기를 크게 하거나, 가능성에 따라 색상을 다르게 하여 표시할 수 있다.
표시부(150)는 사용자가 후술할 설정부(180)에서 "상징 표시"를 선택한 경우, 예측 단어와 기본 단어를 표시할 때 해당 단어에 대응하는 상징을 함께 표시할 수 있다. 표시부(150) 사용자가 "상징 표시 안함"을 선택한 경우, 예측 단어와 기본 단어를 상징 없이 표시할 수 있다.
표시부(150)는 단어에 대응하는 상징이 없는 경우, 상징이 표시되어야 할 자리에 단어 자체를 표시할 수 있다.
표시부(150)는 후술할 문장 생성부(160)에서 생성된 문장을 표시할 수 있다. 이 때, 문장에 포함된 단어들에 각각 대응하는 상징들을 함께 표시할 수 있다.
문장 생성부(160)는 입력된 상기 단어를 이용하여 문장을 생성할 수 있다. 예를 들어, 사용자가 7개의 단어 "저는", "아메리카노", "한", "잔", "테이크아웃", "하고", "싶네요"를 입력한 경우, "저는 아메리카노 한 잔 테이크아웃 하고 싶네요"라는 문장을 생성할 수 있다.
음성 출력부(170)는 예측 단어, 기본 단어 및 문장 중 적어도 하나를 음성으로 출력할 수 있다. 음성 출력부(170)는 사용자가 단어를 선택했을 때 단어마다 음성을 출력(단어 단위 음성 출력)할 수 있고, 사용자가 완성된 문장을 클릭하면 문장 전체의 음성을 출력(문장 단위 음성 출력)할 수 있다.
음성 출력부(170)는 예를 들어, 보완 대체 의사소통 서비스의 첫 화면에 보완 대체 의사소통을 사용하는 것에 대한 양해 문구가 배치되어 있는 경우, 예컨대"보완 대체 의사소통 시스템을 활용하여 대화를 하고자 합니다. 이용자의 대답이 느려도 조금만 기다려 주세요. 감사합니다"를 음성으로 출력할 수 있다.
설정부(180)는 사용자로부터 단어 입력 또는 문장 출력 시의 상징 표시 여부를 선택받을 수 있다. 예를 들어, 발달/뇌병변 장애인들 중 의사소통 수준이 상대적으로 낮은 경우 "상징 표시"를 선택할 수 있고, 발달장애와 뇌병변 장애인 중 의사소통 능력이 상대적으로 높은 경우에는 "상징 표시 안함"을 선택할 수 있다. 예를 들어, 의사소통 수준의 평가는 미리 정의된 평가 방법에 따라 스코어를 도출하고, 미리 설정된 기준값과 스코어를 비교하는 방식으로 결정될 수 있다.
의사소통 능력이 높은 경우 상징이 있는 보완 대체 의사소통 서비스에 거부감을 느낄 수 있으므로, 사용자가 화면 안에서 상징을 ON/OFF로 설정 가능케 함으로써 이러한 문제를 해결할 수 있다.
또한, 본원의 일 실시예에 따른 보완 대체 의사소통 제공 장치(100)는 사용자 개개인의 정보, 장애 유형, 장애 정도 등을 고려하여 개인화된 단어의 예측 및 출력이 가능하다. 예를 들어, 입력부(110) 또는 별도의 수단을 통해 보완 대체 의사소통 제공 장치(100)는 사용자의 성별, 연령, 선호 관심 분야, 장애 유형, 장애 기간 등의 사용자 정보를 수신할 수 있다. 그리고, 예측부(120)는 입력부(110)가 수신한 입력 단어 이외에 상술한 사용자 정보 및 장애 정도 테스트를 위한 스코어를 더 고려하여 다음 단어를 예측할 수 있다. 예측부(120)는 단어 예측을 위한 사용자 정보 및 장애 정도 스코어 점수를 입력으로 하는 별도의 딥러닝 모델을 활용할 수도 있으며, 앞서 설명한 단어 예측을 위한 딥러닝 모델을 거쳐 산출된 다음 단어 후보군들 중에서 보다 정확한 단어 예측을 위한 사용자 정보 및 장애 정도 스코어 점수를 더 고려하여 최종 예측 단어를 선정할 수도 있다. 이와 같이 함으로써, 개인화된 특성 정보를 반영하여 보다 정확한 다음 단어 예측이 가능하다.
도 2는 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 웹의 구조를 설명하기 위한 도면이다.
도 2의 BERT 모델(210), 번역기(220), 픽토그램 데이터 베이스(230), 플라스크 서버(240), 플라스크 웹-앱(250)을 포함하는 부분은 도 1에 도시된 본원의 일 실시예에 따른 보완 대체 의사소통 제공 장치(100)에 대응될 수 있다.
사용자(200)는 말과 언어의 이해에 장애를 가진 사람일 수 있으며, 예를 들어, 발달 장애, 언어 장애, 뇌병변 장애 등을 가진 사람일 수 있으나, 이에 제한되지 않고, 보완 대체 의사소통 서비스를 필요로 하는 모든 사람을 포함할 수 있다.
사용자(200)는 사용자 단말을 통해 보완 대체 의사소통 서비스 웹 또는 앱에서 단어를 입력할 수 있다. 사용자 단말은, 예를 들어, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 통신 장치일 수 있다.
사용자(200)가 입력한 단어는 BERT 모델(210)의 입력값으로 이용될 수 있고, 이를 통해 BERT 모델(210)은 사용자(200)가 다음에 사용할 확률이 높은 단어를 예측할 수 있다.
BERT 모델(210)은 Bidirectional Encoder Representations from Transformers의 약자로, 언어 이해의 우수성이 높은 자연어 처리 언어 모델이다. BERT 모델(210)은 대용량 한국어 코퍼스로 구축될 수 있으며, 이를 통해 사용자로부터 입력된 단어를 이용해 사용자가 다음에 입력할 확률이 높은 단어를 생성할 수 있다.
BERT 모델(210)에서 생성된 예측 단어는 번역기(220)에서 영어 단어로 변역될 수 있다.
번역기(220)는, 예를 들어, NLTK와 정규표현식을 이용하여 조사 등을 제외하고, 그 결과를 파파고 번역 API를 거쳐 영어 단어로 번역할 수 있다. 한글 단어를 영어 단어로 변환함으로써 영단어 기반 픽토그램 사이트에서 데이터를 가져올 수 있게 되어 보다 방대한 양의 픽토그램을 이용할 수 있다.
픽토그램 데이터 베이스(230)는 번역기(220)에서 정제된 영어 단어에 대응하는 픽토그램을 제공할 수 있다. 예컨대, 픽토그램 데이터 베이스(230)는 고유 단어 ID를 추출하고 픽토그램을 불러올 수 있다.
플라스크 서버(240)는 BERT 모델(210)에서 생성된 한국어 단어와 픽토그램 데이터 베이스(230)에서 추출한 픽토그램을 플라스크 웹-앱(250) 서비스 상에 표시할 수 있다. 이를 통해 사용자(200)는 화면에 표시된 단어와 픽토그램을 선택하여 다음 단어를 입력할 수 있다.
본 발명의 일 실시예에 따른 보완 대체 의사소통 서비스는 웹으로 구현될 수 있으나, 이에 제한되지 않고 모바일에서 구동 가능한 앱 등으로 구현될 수도 있다. 앱으로 구현하는 경우, 최신 OS 및 특정 제조사 호환되지 않는 경우가 있을 수 있어 웹 기반으로 구현하여 접근성을 보다 향상 시킬 수 있다.
도 3은 본원의 일 실시예에 따른 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법을 나타낸 흐름도이다.
도 3에 도시된 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법은 앞서 설명된 보완 대체 의사소통 제공 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 보완 대체 의사소통 제공 장치(100)에 대하여 설명된 내용은 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 3을 참조하면, 단계 S310에서, 보완 대체 의사소통 제공 장치(100)는 사용자로부터 단어를 입력받을 수 있다. 사용자로부터 단어를 입력받는 단계는, 사용자로부터 예측 단어와 기본 단어 중 어느 하나를 선택받아 단어를 입력받는 단계 또는 사용자로부터 키보드를 통해 단어를 입력받는 단계 중 적어도 하나를 포함할 수 있다.
단계 S320에서 보완 대체 의사소통 제공 장치(100)는 기계학습 모델을 통해, 사용자로부터 입력된 단어를 이용하여 사용자가 다음에 사용할 확률이 높은 단어를 예측할 수 있다. 보완 대체 의사소통 제공 장치(100)는 자연어 처리 언어 모델, 예컨대 BERT 모델을 사용하여 다음 단어를 예측할 수 있다.
단계 S330에서 보완 대체 의사소통 제공 장치(100)는 예측된 단어를 표시할 수 있다. 예컨대, 보완 대체 의사소통 제공 장치(100)는 사용자가 이전 단어를 입력한 후 사용자의 추가 동작 없이 예측된 단어를 화면에 표시할 수 있다.
단계 S340에서 보완 대체 의사소통 제공 장치(100)는 미리 설정된 카테고리를 통해 제공되는 기본 단어를 예측 단어와 구분하여 표시할 수 있다. 예를 들어, 보완 대체 의사소통 제공 장치(100)는 사용자가 카테고리를 선택했을 때, 즉 사용자의 추가 동작이 있는 경우에 기본 단어를 화면에 표시할 수 있다.
도시하지 않았지만, 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법은 사용자로부터 상징 표시 여부를 선택받는 단계를 더 포함할 수 있다. 보완 대체 의사소통 제공 장치(100)는 사용자가 "상징 표시"를 선택한 경우, 예측 단어와 기본 단어를 대응하는 상징과 함께 표시하고, 사용자가 "상징 표시 안함"을 선택한 경우, 예측 단어와 기본 단어를 상징 없이 표시할 수 있다.
도시하지 않았지만, 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법은 사용자로부터 입력된 단어를 이용하여 문장을 생성하는 단계, 생성된 문장을 표시하는 단계, 및 예측 단어, 기본 단어 및 문장 중 적어도 하나를 음성으로 출력하는 단계를 더 포함할 수 있다.
도시하지 않았지만, 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법은 예측 단어를 영어 단어로 번역하는 단계, 및 영어 단어에 대응하는 상징을 검색하는 단계를 더 포함할 수 있다.
상술한 설명에서, 단계 S310 내지 S340는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 4a 내지 4l은 본원의 일 실시예에 따른 보완 대체 의사소통 서비스를 이용하여 문장을 생성하는 과정을 설명하는 도면이다. 도 4a 내지 4l은 사용자가 보완 대체 의사소통 서비스를 이용하여 "저는 아메리카노 한잔 테이크아웃 하고 싶네요"라는 문장을 생성하는 경우를 예로 들어 보여준다.
도 4a를 참조하면, 사용자는 문장 만들기 버튼을 선택하여 '저는'이라는 인칭대명사를 선택할 수 있다.
도 4b는 사용자가 '저는'이라는 단어를 입력한 후의 화면을 나타낸다. 화면의 입력칸 아래에는 사용자가 다음으로 입력할 확률이 높은 단어 12개 "제품을", "다", "모두", "항상" 등이 표시될 수 있다. 사용자가 다음으로 입력하고 싶은 단어 "아메리카노"는 예측된 12개의 단어에 포함되어 있지 않을 수 있다.
도 4c는 사용자가 카테고리에서 카페 카테고리를 선택했을 때의 화면을 나타낸다. 사용자는 카페 카테고리에서 원하는 단어 "아메리카노"를 선택할 수 있다.
도 4d는 사용자가 "아메리카노"를 입력한 후의 화면을 나타낸다. 사용자가 다음에 입력할 확률이 높은 단어 11개 "추천", "와", "주문", "하고" 등이 표시될 수 있다. 사용자는 예측 단어 마지막에 있는 더보기 버튼을 눌러 단어 선택의 폭을 늘릴 수 있다. 사용자가 다음에 입력하고 싶은 단어 "한"은 예측된 단어에 포함되어 있지 않을 수 있다.
도 4e는 사용자가 숫자 카테고리를 선택했을 때의 화면을 나타낸다. 사용자는 숫자 카테고리에서 원하는 단어 "한"을 선택할 수 있다.
도 4f는 사용자가 "한"을 입력한 후의 화면을 나타낸다. 사용자가 다음에 입력할 확률이 높은 단어 11개 "번", "잔", "번에", "잔을" 등이 표시될 수 있다. 사용자가 다음에 입력하고 싶은 단어인 "잔"이 예측 단어에 포함되어 있으므로, 사용자는 표시된 "잔"을 선택하여 입력할 수 있다.
도 4g는 사용자가 "잔"을 입력한 후의 화면을 나타낸다. 사용자가 다음에 입력할 확률이 높은 단어 11개 "더", "하고", "추천", "하며" 등이 표시될 수 있다. 사용자가 다음에 입력하고 싶은 단어인 "테이크아웃"은 예측 단어에 포함되어 있지 않을 수 있다.
도 4h는 사용자가 카테고리에서 카페 카테고리를 선택했을 때의 화면을 나타낸다. 사용자는 입력하고자 하는 단어 "테이크아웃"을 카페 카테고리에서 선택하여 입력할 수 있다.
도 4i는 사용자가 "테이크아웃"을 선택한 후의 화면을 나타낸다. 사용자가 다음에 입력할 확률이 높은 단어 11개 "하고", "후", "해서", "했음" 등이 표시될 수 있다. 사용자가 다음에 입력하고 싶은 단어인 "하고"가 예측 단어에 포함되어 있으므로, 사용자는 예측 단어 "하고"를 선택하여 입력할 수 있다.
도 4j는 사용자가 "하고"를 입력한 후의 화면을 나타낸다. 사용자가 다음에 입력할 확률이 높은 단어 11개 "왔", "온", "나왔", "나와" 등이 표시될 수 있다. 한편, 사용자가 다음에 입력하고 싶은 단어인 "싶네요"는 예측 단어에 포함되어 있지 않을 수 있다.
도 4k는 사용자가 '마침표'를 선택했을 때의 화면을 나타낸다. 사용자는 문장을 마치고 싶은 경우, 카테고리 창에서 '마침표'를 눌러 끝낼 수 있는 단어를 선택할 수 있다. 사용자는 입력하고자 한 단어 "싶네요"를 선택하여 입력할 수 있다.
도 4l은 사용자가 '문장크게만들기' 버튼을 눌렀을 때의 화면을 나타낸다. 사용자가 입력한 문장이 상징과 함께 크게 표시될 수 있다.
도 4a 내지 4l에서 도시된 바와 같이, 단어는 상징과 함께 표시될 수 있으며, 단어에 해당하는 상징이 없는 경우에는 단어 자체가 상징이 표시될 부분이 표시될 수 있다.
본원의 일 실시 예에 따른 보완 대체 의사소통을 제공하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 보완 대체 의사소통 제공 장치
110: 입력부
120: 예측부
130: 번역부
140: 검색부
150: 표시부
160: 문장 생성부
170: 음성 출력부
180: 설정부
110: 입력부
120: 예측부
130: 번역부
140: 검색부
150: 표시부
160: 문장 생성부
170: 음성 출력부
180: 설정부
Claims (12)
- 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 방법에 있어서,
사용자로부터 단어를 입력받는 단계;
기계학습 모델을 통해, 입력된 상기 단어를 이용하여 상기 사용자가 다음에 입력할 확률이 높은 단어를 예측하는 단계;
상기 예측하는 단계에서 예측된 예측 단어를 표시하는 단계; 및
미리 설정된 카테고리를 통해 제공되는 기본 단어를 상기 예측 단어와 구분하여 표시하는 단계;
를 포함하되,
상기 예측하는 단계는,
상기 기계학습 모델을 통해 도출된 단어 후보군 중에서 상기 사용자의 성별, 연령, 선호 관심 분야, 장애 유형 및 장애 기간 중 적어도 하나를 포함하는 사용자 정보와 상기 사용자의 장애 정도 스코어 점수를 고려하여 상기 예측 단어를 최종 선정하는 것이고,
상기 예측 단어와 구분하여 표시하는 단계는,
상기 확률에 따라 상기 예측 단어 각각의 표시 순서, 출력 크기 및 색상 중 적어도 하나를 상이하게 적용하여 상기 단어가 입력된 후 상기 예측 단어를 표시하되, 상기 사용자가 상기 카테고리를 선택하면, 상기 카테고리에 대응하는 상기 기본 단어를 표시하는 것인, 보완 대체 의사소통 제공 방법. - 제1항에 있어서,
상기 예측하는 단계 이후에,
상기 사용자로부터 상징 표시 여부를 선택받는 단계
를 더 포함하고,
상징 표시를 선택한 경우, 상기 예측 단어와 상기 기본 단어를 대응하는 상징과 함께 표시하고, 상징 표시 안함을 선택한 경우, 상기 예측 단어와 상기 기본 단어를 상징 없이 표시하는 것인, 보완 대체 의사소통 제공 방법. - 제1항에 있어서,
상기 입력받는 단계는,
상기 사용자로부터 상기 예측 단어와 상기 기본 단어 중 어느 하나를 선택받는 단계
를 포함하는, 보완 대체 의사소통 제공 방법. - 제1항에 있어서,
상기 입력받는 단계는
상기 사용자로부터 키보드를 통해 상기 단어를 입력받는 단계
를 포함하는, 보완 대체 의사소통 제공 방법. - 제1항에 있어서,
상기 예측 단어와 구분하여 표시하는 단계 이후에,
입력된 상기 단어를 이용하여 문장을 생성하는 단계;
생성된 상기 문장을 표시하는 단계; 및
상기 예측 단어, 상기 기본 단어 및 상기 문장 중 적어도 하나를 음성으로 출력하는 단계
를 더 포함하는, 보완 대체 의사소통 제공 방법. - 제1항에 있어서,
상기 예측하는 단계 이후에,
상기 예측 단어를 영어 단어로 번역하는 단계; 및
상기 영어 단어에 대응하는 상징을 픽토그램 데이터베이스에서 검색하는 단계
를 더 포함하고,
상기 예측 단어를 표시하는 단계는 상기 예측 단어를 검색된 상기 상징과 함께 표시하는 것인, 보완 대체 의사소통 제공 방법. - 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치에 있어서,
사용자로부터 단어를 입력받는 입력부;
기계학습 모델을 통해, 입력된 상기 단어를 이용하여 상기 사용자가 다음에 입력할 확률이 높은 단어를 예측하는 예측부; 및
상기 예측부에서 예측된 예측 단어를 표시하고, 미리 설정된 카테고리를 통해 제공되는 기본 단어를 상기 예측 단어와 구분하여 표시하는 표시부
를 포함하되,
상기 예측부는,
상기 기계학습 모델을 통해 도출된 단어 후보군 중에서 상기 사용자의 성별, 연령, 선호 관심 분야, 장애 유형 및 장애 기간 중 적어도 하나를 포함하는 사용자 정보와 상기 사용자의 장애 정도 스코어 점수를 고려하여 상기 예측 단어를 최종 선정하고,
상기 표시부는,
상기 확률에 따라 상기 예측 단어 각각의 표시 순서, 출력 크기 및 색상 중 적어도 하나를 상이하게 적용하여 상기 단어가 입력된 후 상기 예측 단어를 표시하되, 상기 사용자가 상기 카테고리를 선택하면, 상기 카테고리에 대응하는 상기 기본 단어를 표시하는 것인, 보완 대체 의사소통 제공 장치. - 제7항에 있어서,
상기 사용자로부터 상징 표시 여부를 선택받는 설정부
를 더 포함하고,
상기 표시부는 상기 사용자가 상징 표시를 선택한 경우, 상기 예측 단어와 상기 기본 단어를 대응하는 상징과 함께 표시하고, 상징 표시 안함을 선택한 경우, 상기 예측 단어와 상기 기본 단어를 상징 없이 표시하는 것인, 보완 대체 의사소통 제공 장치. - 제7항에 있어서,
상기 입력부는, 상기 사용자로부터 상기 예측 단어와 상기 기본 단어 중 어느 하나를 선택받는 것인, 보완 대체 의사소통 제공 장치. - 제7항에 있어서,
상기 입력부는, 상기 사용자로부터 키보드를 통해 상기 단어를 입력받는 것인, 보완 대체 의사소통 제공 장치. - 제7항에 있어서,
입력된 상기 단어를 이용하여 문장을 생성하는 문장 생성부; 및
상기 예측 단어, 상기 기본 단어 및 상기 문장 중 적어도 하나를 음성으로 출력하는 음성 출력부
를 더 포함하고,
상기 표시부는 생성된 상기 문장을 표시하는 것인, 보완 대체 의사소통 제공 장치. - 제7항에 있어서,
상기 예측 단어를 영어 단어로 번역하는 번역부; 및
상기 영어 단어에 대응하는 상징을 픽토그램 데이터베이스에서 검색하는 검색부
를 더 포함하고,
상기 표시부는 상기 예측 단어를 검색된 상기 상징과 함께 표시하는 것인, 보완 대체 의사소통 제공 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210149398A KR102573967B1 (ko) | 2021-11-03 | 2021-11-03 | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210149398A KR102573967B1 (ko) | 2021-11-03 | 2021-11-03 | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230064143A KR20230064143A (ko) | 2023-05-10 |
| KR102573967B1 true KR102573967B1 (ko) | 2023-09-01 |
Family
ID=86386540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210149398A KR102573967B1 (ko) | 2021-11-03 | 2021-11-03 | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102573967B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0545988A1 (en) | 1990-08-09 | 1993-06-16 | Semantic Compaction System | Communication system with text message retrieval based on concepts inputted via keyboard icons |
| KR101669202B1 (ko) | 2015-08-13 | 2016-11-09 | 박정은 | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 |
| KR102309505B1 (ko) | 2021-02-10 | 2021-10-06 | 김재성 | 음성인식 및 인공지능의 학습을 이용한 개인별 맞춤형 보완대체 의사소통 장치 및 그 방법 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5169342A (en) * | 1990-05-30 | 1992-12-08 | Steele Richard D | Method of communicating with a language deficient patient |
| US20210390881A1 (en) * | 2018-10-22 | 2021-12-16 | 2542202 Ontario Inc. | Assistive communication device, method, and apparatus |
-
2021
- 2021-11-03 KR KR1020210149398A patent/KR102573967B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0545988A1 (en) | 1990-08-09 | 1993-06-16 | Semantic Compaction System | Communication system with text message retrieval based on concepts inputted via keyboard icons |
| KR101669202B1 (ko) | 2015-08-13 | 2016-11-09 | 박정은 | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 |
| KR102309505B1 (ko) | 2021-02-10 | 2021-10-06 | 김재성 | 음성인식 및 인공지능의 학습을 이용한 개인별 맞춤형 보완대체 의사소통 장치 및 그 방법 |
Non-Patent Citations (2)
| Title |
|---|
| 국제공개공보 WO2020/084431(2020.4.30.) 1부.* |
| 미국 특허공보 US5169342(1992.12.8.) 1부.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230064143A (ko) | 2023-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4263181B2 (ja) | コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム | |
| US9842101B2 (en) | Predictive conversion of language input | |
| US8346537B2 (en) | Input apparatus, input method and input program | |
| Guion et al. | Factors affecting stress placement for English nonwords include syllabic structure, lexical class, and stress patterns of phonologically similar words | |
| US20080177528A1 (en) | Method of enabling any-directional translation of selected languages | |
| JP2003015803A (ja) | 小型キーパッド用日本語入力メカニズム | |
| JP2006510095A (ja) | 多モードの音声言語翻訳及び表示 | |
| US20130211838A1 (en) | Apparatus and method for emotional voice synthesis | |
| JP5106608B2 (ja) | 読み上げ支援装置、方法、およびプログラム | |
| US20080195375A1 (en) | Echo translator | |
| JP5317093B2 (ja) | 学習コンテンツ生成装置、学習コンテンツの生成方法、学習コンテンツ生成装置としてコンピュータを機能させるためのプログラム、および当該プログラムを格納したコンピュータ読み取り可能な記録媒体 | |
| KR101751942B1 (ko) | 자동 번역 시스템에서 중국어 문장의 단어의 뜻을 제공하는 방법, 번역 장치 및 단말기, 그리고 이 방법을 실행시키기 위한 프로그램을 저장한 기록매체 | |
| JP4200874B2 (ja) | 感性情報推定方法および文字アニメーション作成方法、これらの方法を用いたプログラム、記憶媒体、感性情報推定装置、文字アニメーション作成装置 | |
| KR101731016B1 (ko) | 상황 인지 기반 번역 제공 방법 및 이를 위한 장치 | |
| KR102573967B1 (ko) | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 | |
| Venkatagiri | Techniques for enhancing communication productivity in AAC: A review of research | |
| Alsaif et al. | Towards intelligent Arabic text-to-speech application for disabled people | |
| JP2004240859A (ja) | 言い換えシステム | |
| JP2022018724A (ja) | 情報処理装置、情報処理方法、及び情報処理プログラム | |
| JP2010020531A (ja) | 会話装置および会話方法 | |
| Judge et al. | What is the potential for context aware communication aids? | |
| EP4379598A1 (en) | A sign language translation method and system thereof | |
| WO2021161908A1 (ja) | 情報処理装置及び情報処理方法 | |
| KR101853341B1 (ko) | 자동 번역을 제공하기 위한 번역 장치 및 번역 방법 | |
| Lieberman et al. | Commonsense on the go |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |