KR101669202B1 - 의사 소통 보조 디바이스 및 의사 소통 보조 방법 - Google Patents
의사 소통 보조 디바이스 및 의사 소통 보조 방법 Download PDFInfo
- Publication number
- KR101669202B1 KR101669202B1 KR1020150114567A KR20150114567A KR101669202B1 KR 101669202 B1 KR101669202 B1 KR 101669202B1 KR 1020150114567 A KR1020150114567 A KR 1020150114567A KR 20150114567 A KR20150114567 A KR 20150114567A KR 101669202 B1 KR101669202 B1 KR 101669202B1
- Authority
- KR
- South Korea
- Prior art keywords
- sentence
- communication
- components
- input
- output
- Prior art date
Links
- 238000004891 communication Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000001771 impaired effect Effects 0.000 claims description 4
- 238000011160 research Methods 0.000 abstract description 3
- 230000008878 coupling Effects 0.000 abstract 1
- 238000010168 coupling process Methods 0.000 abstract 1
- 238000005859 coupling reaction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000003607 modifier Substances 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- -1 bore Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/51—Translation evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/04—Speaking
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 개시는 언어 장애자의 의사 소통을 보조하는 디바이스 및 의사 소통 보조 방법에 관한 것으로, 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 입력을 수신하는 단계, 수신된 문장 성분을 결합하여 문장을 생성하는 단계 및 생성된 문장을 음성으로 출력하는 단계를 포함하고, 문장 성분 중 조사에 대한 입력은 글자의 모양 또는 의미를 부호화한 영상 중 선택하는 형태로 이루어지는 의사 소통 보조 방법 등이 제공될 수 있다.
Description
본 개시의 실시예들은 의사 소통 보조 디바이스 및 의사 소통 보조 방법에 관한 것이다.
언어 장애자의 의사 소통을 보조하는 방법 및 디바이스에 대한 연구는 꾸준히 있어왔다.
그러나 종래 기술은 사용자의 개개인의 어학 수준 및 특성에 따라 차별화된 지원이 어렵고, 미리 정의된 한정된 문장만 사용 가능한 등의 문제가 있어왔다.
본 개시의 실시예들은 조사 및 활용 어미를 포함하는 각 문장 성분을, 각 문장 성분을 나타내는 영상의 형태로 입력받아 문장을 생성하고 음성으로 출력하는 의사 소통 보조 디바이스 및 의사 소통 보조 방법을 제공하고자 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따르면, 언어 장애자의 의사 소통을 보조하는 방법에 있어서, 출력하고자하는 문장을 구성하는 각 문장 성분에 대하여, 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 입력을 수신하는 단계, 상기 수신된 문장 성분을 결합하여 문장을 생성하는 단계 및 상기 생성된 문장을 음성으로 출력하는 단계를 포함하고, 상기 문장 성분 중에서 조사에 대한 입력은 글자의 모양 또는 의미를 부호화한 영상 중 선택하는 형태로 이루어지는 의사 소통 보조 방법이 제공될 수 있다.
의사 소통 보조 방법은 상기 출력하는 단계가 수행된 장소를 저장하는 단계, 상기 저장된 장소에 관한 데이터를 기초로 의사 소통 보조 디바이스가 위치한 장소로부터 소정 거리 이내에서 출력된 문장을 빈도 순서대로 디스플레이하는 단계를 더 포함할 수 있다.
상기 문장 성분을 나타내는 영상은 사용자에 의한 생성, 수정 및 삭제가 가능할 수 있다.
상기 디스플레이된 문장은 각 문장 성분을 나타내는 영상이 결합된 형태를 포함할 수 있다.
의사 소통 보조 방법은 상기 생성된 문장을 위젯으로 생성할 수 있다.
본 발명 일 실시예의 또 다른 측면에 따르면, 언어 장애자의 의사 소통을 보조하는 디바이스에 있어서, 출력하고자하는 문장을 구성하는 각 문장 성분에 대하여, 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 입력을 수신하는 입력부, 상기 수신된 문장 성분을 결합하여 문장을 생성하는 프로세서 및 상기 생성된 문장을 음성으로 출력하는 출력부를 포함하고, 상기 문장 성분 중에서 조사에 대한 입력은 글자의 모양 또는 의미를 부호화한 영상 중 선택하는 형태로 이루어지는 의사 소통 보조 디바이스가 제공될 수 있다.
상기 프로세서는 상기 출력이 수행된 장소를 저장하고, 상기 저장된 장소에 관한 데이터를 기초로 의사 소통 보조 디바이스가 위치한 장소로부터 소정 거리 이내에서 출력된 문장을 빈도 순서대로 디스플레이하도록 제어할 수 있다.
상기 문장 성분을 나타내는 영상은 사용자에 의한 생성, 수정 및 삭제가 가능할 수 있다.
상기 디스플레이된 문장은 각 문장 성분을 나타내는 영상이 결합된 형태를 포함할 수 있다.
의사 소통 보조 디바이스는 상기 생성된 문장을 위젯으로 생성할 수 있다.
본 개시 일 실시예의 또 다른 측면에 따르면, 프로세서에 의해 독출되어 수행되었을 때, 의사 소통 보조 방법을 수행하는 컴퓨터 프로그램 코드들을 저장하는 컴퓨터 판독가능 기록매체에 있어서, 상기 의사 소통 보조 방법은, 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 입력을 수신하는 단계, 상기 수신된 문장 성분을 결합하여 문장을 생성하는 단계 및 상기 생성된 문장을 음성으로 출력하는 단계를 포함하고, 상기 문장 성분 중에서 조사에 대한 입력은 글자의 모양 또는 의미를 부호화한 영상 중 선택하는 형태로 이루어지는 의사 소통 보조 방법을 포함하는 컴퓨터 판독 가능 기록매체가 제공될 수 있다.
도 1은 다양한 실시예에 따른 네트워크 환경 내에서의 의사 소통 보조 디바이스에 대한 개략적인 블록도이다.
도 2는 다양한 실시예에 따른 의사 소통 보조 디바이스의 개략적인 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 개략적인 블록도이다.
도 4는 일 실시예에 따른 의사 소통 보조 디바이스의 개략적인 블록도이다.
도 5는 일 실시예에 따른 의사 소통 보조 방법의 흐름도이다.
도 6은 일 실시예에 따른 의사 소통 보조 방법의 예시이다.
도 7은 일 실시예에 따른 의사 소통 보조 방법의 실행에 대한 예시이다.
도 8은 일 실시예에 따라 조사들을 나타내는 영상에 대한 예시이다.
도 9는 일 실시예에 따라 활용 어미들을 나타내는 영상에 대한 예시이다.
도 10A는 일 실시예에 따라 각 문장 성분에 대한 입력을 수신하는 예시이다.
도 10B는 일 실시예에 따라 각 문장 성분을 결합하여 문장을 생성하는 예시이다.
도 11은 일 실시예에 따라 특정 장소 주변에서 사용된 빈도가 높은 문장을 디스플레이하는 예시이다.
도 2는 다양한 실시예에 따른 의사 소통 보조 디바이스의 개략적인 블록도이다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 개략적인 블록도이다.
도 4는 일 실시예에 따른 의사 소통 보조 디바이스의 개략적인 블록도이다.
도 5는 일 실시예에 따른 의사 소통 보조 방법의 흐름도이다.
도 6은 일 실시예에 따른 의사 소통 보조 방법의 예시이다.
도 7은 일 실시예에 따른 의사 소통 보조 방법의 실행에 대한 예시이다.
도 8은 일 실시예에 따라 조사들을 나타내는 영상에 대한 예시이다.
도 9는 일 실시예에 따라 활용 어미들을 나타내는 영상에 대한 예시이다.
도 10A는 일 실시예에 따라 각 문장 성분에 대한 입력을 수신하는 예시이다.
도 10B는 일 실시예에 따라 각 문장 성분을 결합하여 문장을 생성하는 예시이다.
도 11은 일 실시예에 따라 특정 장소 주변에서 사용된 빈도가 높은 문장을 디스플레이하는 예시이다.
이하, 본 명세서는 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)도 본 명세서의 내용에 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서 사용되는 용어는 본 명세서에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 실시예의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 명세서에서 모바일 디바이스는 사용자가 휴대 가능한 비교적 작은 크기의 컴퓨터 장치를 의미하는 것으로, 예로는 휴대 전화, PDA, 노트북 등이 있을 수 있다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 문장 성분이란 주어, 서술어, 목적어, 보어, 수식어를 가리키는 일반적인 국어학적 의미의 문장 성분이 아니라, 일반적인 의미의 주어, 서술어, 목적어, 보어, 수식어로부터 조사와 활용 어미를 분리하여, 분리한 조사와 활용 어미 역시 별도의 문장 성분을 구성하고, 조사와 활용 어미가 분리된 후에 남은 주어, 서술어, 목적어, 보어, 수식어도 각각 별도의 문장 성분을 구성하는 것으로 한다.
예를 들어, ‘나는 학교에 가고 싶다’라는 문장에서 문장 성분은 나, 는, 학교, 에, 가다, 싶다 이렇게 총 6개일 수 있다.
본 명세서에서 주어, 서술어, 목적어, 보어, 수식어란 일반적인 의미의 주어, 서술어, 목적어, 보어, 수식어에서 조사 및 활용 어미를 분리한 후에 남는 단어를 의미할 수 있다.
예를 들어, ‘나는 학교에 가고 싶다’에서 일반적인 의미의 주어는 ‘나는’이지만 본 명세서에서 주어는 ‘나’일 수 있다.
본 명세서에서 활용 어미란 단어의 활용이 어미의 교체로 행해질 때, 그 교체되는 부분을 의미할 수 있다. 활용 어미는 ‘는데’, ‘으나’, ‘고’ 등과 같은 연결형 어미 및 ‘했다’, ‘싶다’등과 같은 종결형 어미를 포함할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.
본 명세서의 다양한 실시예들에 따른 의사 소통 보조 디바이스는, 예를 들면, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 서버, PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에 따르면, 웨어러블 장치는 액세서리 형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드(skin pad) 또는 문신), 또는 생체 이식형(예: implantable circuit) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에서, 의사 소통 보조 디바이스는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 어떤 실시예에 따른 의사 소통 보조 디바이스는 플렉서블 전자 장치일 수 있다. 또한, 본 명세서의 실시예에 따른 의사 소통 보조 디바이스는 전술한 기기들에 한정되지 않으며, 기술 발전에 따른 새로운 전자 장치를 포함할 수 있다.
이하, 첨부 도면을 참조하여, 다양한 실시예에 따른 의사 소통 보조 디바이스가 설명된다. 본 명세서에서, 사용자라는 용어는 의사 소통 보조 디바이스를 사용하는 사람 또는 의사 소통 보조 디바이스를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 다양한 실시예에 따른 네트워크 환경 내에서의 의사 소통 보조 디바이스에 대한 개략적인 블록도이다. 의사 소통 보조 디바이스(101)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(150), 디스플레이(160), 및 통신 인터페이스(170)를 포함할 수 있다. 어떤 실시예에서는, 의사 소통 보조 디바이스(101)는, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스(110)는, 예를 들면, 구성요소들(110-170)을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 및/또는 데이터)을 전달하는 회로를 포함할 수 있다.
프로세서(120)는, 중앙처리장치(central processing unit(CPU)), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서(120)는, 예를 들면, 의사 소통 보조 디바이스(101)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리(130)는, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리(130)는, 예를 들면, 의사 소통 보조 디바이스(101)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리(130)는 소프트웨어 및/또는 프로그램(140)을 저장할 수 있다.
프로그램(140)은, 예를 들면, 커널(141), 미들웨어(143), 어플리케이션 프로그래밍 인터페이스(application programming interface(API))(145), 및/또는 어플리케이션 프로그램(또는 "어플리케이션")(147) 등을 포함할 수 있다. 커널(141), 미들웨어(143), 또는 API(145)의 적어도 일부는, 운영 시스템(operating system(OS))으로 지칭될 수 있다.
입출력 인터페이스(150)는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 의사 소통 보조 디바이스(101)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스(150)는 의사 소통 보조 디바이스(101)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이(160)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(160)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 또는 심볼 등)을 표시할 수 있다. 디스플레이(160)는, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다.
통신 인터페이스(170)는, 예를 들면, 의사 소통 보조 디바이스(101)와 외부 장치(예: 제 1 외부 전자 장치(102), 제 2 외부 전자 장치(104), 또는 서버(106)) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스(170)는 무선 통신 또는 유선 통신을 통해서 네트워크(162)에 연결되어 외부 장치(예: 제 2 외부 전자 장치(104) 또는 서버(106))와 통신할 수 있다.
무선 통신은, 예를 들면, 셀룰러 통신 프로토콜로서, 예를 들면, LTE(long-term evolution), LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용할 수 있다. 또한, 무선 통신은, 예를 들면, 근거리 통신(164)을 포함할 수 있다. 근거리 통신(164)은, 예를 들면, WiFi(wireless fidelity), 블루투스(Bluetooth), NFC(near field communication), 또는 GNSS(global navigation satellite system) 등 중 적어도 하나를 포함할 수 있다. GNSS는 사용 지역 또는 대역폭 등에 따라, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 “Beidou”) 또는 Galileo, the European global satellite-based navigation system 중 적어도 하나를 포함할 수 있다. 이하, 본 명세서에서는, “GPS”는 “GNSS”와 혼용되어 사용(interchangeably used)될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 통신 네트워크(telecommunications network), 예를 들면, 컴퓨터 네트워크(computer network)(예: LAN 또는 WAN), 인터넷, 또는 전화 망(telephone network) 중 적어도 하나를 포함할 수 있다.
제 1 및 제 2 외부 전자 장치(102, 104) 각각은 의사 소통 보조 디바이스(101)와 동일한 또는 다른 종류의 장치일 수 있다. 한 실시예에 따르면, 서버(106)는 하나 또는 그 이상의 서버들의 그룹을 포함할 수 있다. 다양한 실시예에 따르면, 의사 소통 보조 디바이스(101)에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치(102,104), 또는 서버(106)에서 실행될 수 있다. 한 실시예에 따르면, 의사 소통 보조 디바이스(101)가 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 의사 소통 보조 디바이스(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치(102, 104), 또는 서버(106))에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치(102, 104), 또는 서버(106))는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 의사 소통 보조 디바이스(101)로 전달할 수 있다. 의사 소통 보조 디바이스(101)는 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 다양한 실시예에 따른 의사 소통 보조 디바이스(201)의 블록도이다. 의사 소통 보조 디바이스(201)는, 예를 들면, 도 1에 도시된 의사 소통 보조 디바이스(101)의 전체 또는 일부를 포함할 수 있다. 의사 소통 보조 디바이스(201)는 하나 이상의 프로세서(예: AP(application processor))(210), 통신 모듈(220), 가입자 식별 모듈(224), 메모리(230), 센서 모듈(240), 입력 장치(250), 디스플레이(260), 인터페이스(270), 오디오 모듈(280), 카메라 모듈(291), 전력 관리 모듈(295), 배터리(296), 인디케이터(297), 및 모터(298) 를 포함할 수 있다.
프로세서(210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(210)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서(210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(221))를 포함할 수도 있다. 프로세서(210) 는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(220)은, 도 1의 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(220)은, 예를 들면, 셀룰러 모듈(221), WiFi 모듈(223), 블루투스 모듈(225), GNSS 모듈(227)(예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(228) 및 RF(radio frequency) 모듈(229)를 포함할 수 있다.
메모리(230)(예: 메모리(130))는, 예를 들면, 내장 메모리(232) 또는 외장 메모리(234)를 포함할 수 있다. 내장 메모리(232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나를 포함할 수 있다.
외장 메모리(234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 의사 소통 보조 디바이스(201)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
센서 모듈(240)은, 예를 들면, 물리량을 계측하거나 의사 소통 보조 디바이스(201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(240)은, 예를 들면, 제스처 센서(240A), 자이로 센서(240B), 기압 센서(240C), 마그네틱 센서(240D), 가속도 센서(240E), 그립 센서(240F), 근접 센서(240G), 컬러(color) 센서(240H)(예: RGB(red, green, blue) 센서), 생체 센서(240I), 온/습도 센서(240J), 조도 센서(240K), 또는 UV(ultra violet) 센서(240M) 중의 적어도 하나를 포함할 수 있다. 센서 모듈(240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 의사 소통 보조 디바이스(201)는 프로세서(210)의 일부로서 또는 별도로, 센서 모듈(240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(240)을 제어할 수 있다.
입력 장치(250)는, 예를 들면, 터치 패널(touch panel)(252), (디지털) 펜 센서(pen sensor)(254), 키(key)(256), 또는 초음파(ultrasonic) 입력 장치(258)를 포함할 수 있다. 터치 패널(252)은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키(256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치(258)는 마이크(예: 마이크(288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이(260)(예: 디스플레이(160))는 패널(262), 홀로그램 장치(264), 또는 프로젝터(266)를 포함할 수 있다. 패널(262)은, 도 1의 디스플레이(160)와 동일 또는 유사한 구성을 포함할 수 있다. 패널(262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(262)은 터치 패널(252)과 하나의 모듈로 구성될 수도 있다.
인터페이스(270)는, 예를 들면, HDMI(high-definition multimedia interface)(272), USB(universal serial bus)(274), 광 인터페이스(optical interface)(276), 또는 D-sub(D-subminiature)(278)를 포함할 수 있다.
오디오 모듈(280)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(280)의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스(145)에 포함될 수 있다. 오디오 모듈(280)은, 예를 들면, 스피커(282), 리시버(284), 이어폰(286), 또는 마이크(288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시(flash)(예: LED 또는 xenon lamp 등)를 포함할 수 있다.
전력 관리 모듈(295)은, 예를 들면, 의사 소통 보조 디바이스(201)의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈(295)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 배터리 게이지는, 예를 들면, 배터리(296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다.
인디케이터(297)는 의사 소통 보조 디바이스(201) 또는 그 일부(예: 프로세서(210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다.
본 명세서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치는 본 명세서에서 기술된 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 다양한 실시예에 따른 전자 장치의 구성요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 다양한 실시예에 따른 프로그램 모듈의 블록도이다. 한 실시예에 따르면, 프로그램 모듈(310)(예: 프로그램(140))은 전자 장치(예: 의사 소통 보조 디바이스(101))에 관련된 자원을 제어하는 운영 체제(operating system(OS)) 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램(147))을 포함할 수 있다. 운영 체제는, 예를 들면, 안드로이드(android), iOS, 윈도우즈(windows), 심비안(symbian), 타이젠(tizen), 또는 바다(bada) 등이 될 수 있다.
프로그램 모듈(310)은 커널(320), 미들웨어(330), 어플리케이션 프로그래밍 인터페이스(application programming interface (API))(360), 및/또는 어플리케이션(370)을 포함할 수 있다. 프로그램 모듈(310)의 적어도 일부는 전자 장치 상에 프리로드(preload) 되거나, 외부 전자 장치(예: 전자 장치(102, 104), 서버(106) 등)로부터 다운로드(download) 가능하다.
커널(320)(예: 커널(141))은, 예를 들면, 시스템 리소스 매니저(321) 및/또는 디바이스 드라이버(323)를 포함할 수 있다. 시스템 리소스 매니저(321)는 시스템 리소스의 제어, 할당, 또는 회수 등을 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저(321)는 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부 등을 포함할 수 있다. 디바이스 드라이버(323)는, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다.
미들웨어(330)는, 예를 들면, 어플리케이션(370)이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션(370)이 전자 장치 내부의 제한된 시스템 자원을 효율적으로 사용할 수 있도록 API(360)를 통해 다양한 기능들을 어플리케이션(370)으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어(330)(예: 미들웨어(143))는 런타임 라이브러리(335), 어플리케이션 매니저(application manager)(341), 윈도우 매니저(window manager)(342), 멀티미디어 매니저(multimedia manager)(343), 리소스 매니저(resource manager)(344), 파워 매니저(power manager)(345), 데이터베이스 매니저(database manager)(346), 패키지 매니저(package manager)(347), 연결 매니저(connectivity manager)(348), 통지 매니저(notification manager)(349), 위치 매니저(location manager)(350), 그래픽 매니저(graphic manager)(351), 또는 보안 매니저(security manager)(352) 중 적어도 하나를 포함할 수 있다.
미들웨어(330)는 전술한 구성요소들의 다양한 기능의 조합을 형성하는 미들웨어 모듈을 포함할 수 있다. 미들웨어(330)는 차별화된 기능을 제공하기 위해 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 또한, 미들웨어(330)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다.
API(360)(예: API(145))는, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠(tizen)의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션(370)(예: 어플리케이션 프로그램(147))은, 예를 들면, 홈(371), 다이얼러(372), SMS/MMS(373), IM(instant message)(374), 브라우저(375), 카메라(376), 알람(377), 컨택트(378), 음성 다이얼(379), 이메일(380), 달력(381), 미디어 플레이어(382), 앨범(383), 또는 시계(384), 건강 관리(health care)(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보 제공(예: 기압, 습도, 또는 온도 정보 등을 제공) 등의 기능을 수행할 수 있는 하나 이상의 어플리케이션을 포함할 수 있다.
다양한 실시예에 따르면, 프로그램 모듈(310)의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어, 또는 이들 중 적어도 둘 이상의 조합으로 구현될 수 있다. 프로그램 모듈(310)의 적어도 일부는, 예를 들면, 프로세서(예: 프로세서(210))에 의해 구현(implement)(예: 실행)될 수 있다. 프로그램 모듈(310)의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그램 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서(120))에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는, 예를 들면, 메모리(130)가 될 수 있다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 명세서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 명세서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 명세서의 범위는, 본 명세서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
도 4는 일 실시예에 따른 의사 소통 보조 디바이스의 개략적인 블록도이다. 의사 소통 보조 디바이스(401)는 입력부(410), 프로세서(430) 및 출력부(450)를 포함할 수 있다.
입력부(410)는 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 형태로 각 문장 성분에 대한 입력을 수신할 수 있다. 문장 성분을 나타내는 영상은 해당 문장 성분 또는 그 의미를 나타내는 영상이거나, 글자의 모양을 단순화한 부호일 수 있다. 문장 성분을 나타내는 영상은 사용자에 의하여 생성, 수정 및 삭제가 가능할 수 있다.
예를 들어, 음식 이름, 동물 이름, 신체 부위에 대한 명칭 등과 같은 명사는 해당 명사를 나타내는 그림 또는 사진일 수 있고, 감정 표현, 동작 표현 등과 같은 동사 및 형용사는 그 의미를 나타내는 그림 또는 사진일 수 있으며, 조사나 활용 어미 등과 같이 독립된 뜻을 가지지 않는 보조적인 문장 성분들은 글자의 모양 및 의미를 단순화하여 부호화한 영상일 수 있다. 조사나 활용 어미를 부호화 한 영상에 대한 예시는 도 8 및 도 9에서 후술한다.
입력부(410)는 터치 스크린, 마우스, 터치 패드, 키보드, 센서 등의 다양한 입력 장치를 통하여 드래그, 터치, 클릭, 센싱 등의 다양한 방법으로 사용자의 입력을 수신할 수 있다.
프로세서(430)는 입력부(410)를 통하여 수신된 각 문장 성분을 결합하여 문장을 생성할 수 있다. 문장이란 일상 생활에서 사용되는 자연스러운 언어를 의미할 수 있다. 자세한 내용은 도 10A 및 도 10B에서 후술한다.
출력부(450)는 프로세서(430)에서 생성된 문장을 음성으로 출력할 수 있다. 출력되는 음성은 여성, 남성, 어린이, 노인 등의 다양한 음성 타입 중에서 선택될 수 있다. 또한, 출력부(450)는 출력되는 음성의 출력 속도를 조절할 수 있다.
본 실시예에서 입력부(410), 프로세서(430) 및 출력부(450)는 별도의 구성 단위로 표현되어 있으나, 일부 실시예에서는 입력부(410), 프로세서(430) 및 출력부(450)가 합쳐져 동일한 구성 단위로 구현될 수도 있다.
또한 본 실시예에서 입력부(410), 프로세서(430) 및 출력부(450)는 의사 소통 보조 디바이스(401) 내부에 인접하여 위치한 구성 단위로 표현되었지만, 입력부(410), 프로세서(430) 및 출력부(450)의 각 기능을 담당하는 장치는 반드시 물리적으로 인접할 필요는 없으므로, 실시 예에 따라 입력부(410), 프로세서(430) 및 출력부(450)가 분산되어 있을 수 있다.
또한, 의사 소통 보조 디바이스(401)는 물리적 장치에 한정되지 않으므로, 의사 소통 보조 디바이스(401)의 기능 중 일부는 하드웨어가 아닌 소프트웨어로 구현될 수도 있다.
도 5는 일 실시예에 따른 의사 소통 보조 방법의 흐름도이다.
단계 S510에서 의사 소통 보조 디바이스(401)는 각 문장 성분에 대한 입력을 수신할 수 있다. 의사 소통 보조 디바이스(401)는 주어, 목적어, 서술어, 수식어, 보어, 조사, 활용 어미를 포함하는 각 문장 성분에 대한 입력을 차례로 수신할 수 있다.
본 개시에서 의사 소통 보조 디바이스(401)는 조사 및 활용 어미까지도 문장 성분으로 별도 입력 받음으로써, 의사 소통을 보조하는 역할뿐 아니라, 아동 및 외국인 등이 한글의 문법 등을 체계적으로 학습하게 하는 역할도 수행할 수 있다.
의사 소통 보조 디바이스(401)는 각 문장 성분을 나타내는 영상을 선택하는 형태로 각 문장 성분에 대한 입력을 수신할 수 있다. 각 문장 성분을 나타내는 영상은 기본적으로 제공되지만, 사용자가 더 쉽게 사용할 수 있는 영상으로 대체될 수 있다.
일부 실시예에서 사용자는 기본적으로 제공되는 문장 성분을 나타내는 영상에 더하여 새로운 영상을 추가할 수 있다.
일부 실시예에서 사용자는 기본적으로 제공되는 문장 성분 중 잘 사용하지 않는 문장 성분을 삭제할 수 있다.
일부 실시예에서 고급 사용자는 문장 성분을 나타내는 영상을 사용하는 대신 한글 문자를 사용할 수도 있다. 이러한 기능을 통하여 의사 소통 보조 디바이스(401)는 사용자의 수준에 따라 사용 방법을 다르게 할 수 있다
단계 S530에서 의사 소통 보조 디바이스(401)는 각 문장 성분을 결합하여 문장을 생성할 수 있다.
의사 소통 보조 디바이스(401)는 개별적으로 입력된 각 문장 성분을 결합하여 일상적으로 사용되는 자연스러운 문장을 생성할 수 있다.
일부 실시예에서 의사 소통 보조 디바이스(401)는 최근 생성된 문장 리스트 중 하나에 대한 선택을 수신하여 위젯을 생성할 수 있다. 위젯은 애플리케이션 실행 없이도 클릭만 하면 바로 음성으로 출력될 수 있다. 사용자는 휴대 전화의 바탕 화면에 자주 사용하는 문장의 위젯을 설치함으로써 언어 대응을 신속하게 할 수 있다.
일부 실시예에서 의사 소통 보조 디바이스(401)는 생성된 문장에 대한 히스토리를 저장하여, 최근 사용 문장 목록 및 최다 사용 문장 목록 등을 제공할 수 있다.
단계 S550에서 의사 소통 보조 디바이스(401)는 생성된 문장을 음성으로 출력할 수 있다. 출력되는 음성은 여성, 남성, 어린이, 노인 등의 다양한 음성 타입 중 선택될 수 있다. 출력되는 음성의 크기도 선택될 수 있다.
도 6은 일 실시예에 따른 의사 소통 보조 방법의 예시이다. 도 5의 의사 소통 보조 방법은 애플리케이션의 형태로 구현될 수 있다. 의사 소통 보조 애플리케이션은 각종 모바일 디바이스에 설치될 수 있다.
본 실시예와 같이 의사 소통 보조 애플리케이션은 휴대 전화에 설치될 수 있다. 애플리케이션의 홈 화면은 문장 생성부(610) 및 문장 성분부(630)를 포함할 수 있다.
사용자가 문장 성분부(630)에서 특정 문장 성분을 선택하면 의사 소통 보조 디바이스(401)는 선택된 문장 성분을 그 뜻과 함께 문장 생성부(610)에 디스플레이할 수 있다.
문장 성분부(630)는 복수개의 카테고리를 가질 수 있다. 본 실시예에서 문장 성분부(630)는 사람, 조사, 활용 어미, 장소, 응급, 동물, 기분, 행동, 형용사의 카테고리를 포함할 수 있다.
예를 들어, ‘엄마 집에 가고 싶어요’를 말하고 싶을 때, 사용자는 문장 성분부(630)의 사람 카테고리(650)에서 세부 항목으로 엄마를 선택하고, 장소 카테고리(660)에서 세부 항목으로 집을 선택한 후, 조사 카테고리(670)에서 ‘에’를 선택하고, 행동 카테고리(680)에서 ‘가다’를 선택한 후, 활용 어미 카테고리(690)에서 ‘싶어요’를 선택할 수 있다.
문장 생성부(610)는 사용자로부터 수신한 각 문장 성분을 수신한 순서대로 ‘엄마 집 에 가다 싶어요’를 디스플레이할 수 있다. 문장 생성부(610)는 사용자로부터 수신한 각 문장 성분을 기초로 ‘엄마 집에 가고 싶어요’와 같은 문장을 생성할 수 있다.
이러한 애플리케이션의 레이아웃 및 구성은 단지 예시일 뿐이고, 애플리케이션은 다른 다양한 형태로 구현될 수 있다. 문장 성분부(630)는 예시된 카테고리 이외에 식물, 음식, 기분, 친구 등의 다양한 카테고리를 더 포함할 수 있다.
이러한 카테고리의 배열 순서는 사용 빈도에 따라 자동으로 결정될 수도 있고, 사용자의 선택에 따라 수동적으로 결정될 수도 있다. 사용자의 부모는 카테고리 배열 순서가 변경되지 않도록 잠금 기능을 사용할 수도 있다.
일부 실시예에서는 사용자 별 카테고리를 생성하여, 카테고리의 구분과 관계 없이 해당 사용자가 주로 사용하는 문장 성분을 해당 사용자 카테고리의 구성 요소로 포함시킬 수 있다.
일부 실시예에서, 카테고리 리스트는 사용 중에 수정, 추가, 삭제될 수 있다. 예를 들어, 언어 장애자 및 아동의 부모는 언어 장애자 및 아동의 사용 형태에 따라 카테고리를 수정, 추가, 삭제할 수 있다.
일부 실시예에서, 애플리케이션은 카메라 기능을 포함할 수 있다. 사용자는 카메라 기능을 활용하여 카테고리 리스트를 수정하거나 추가할 수 있다.
도 7은 일 실시예에 따른 의사 소통 보조 방법의 실행에 대한 예시이다. 본 실시예는 도 6의 문장 성분부(630) 중 하나의 카테고리인 사람 카테고리(650)를 선택한 경우 디스플레이되는 화면에 대한 예시이다.
사람 카테고리(650)는 세부 항목으로 아빠, 엄마, 할머니, 할아버지, 친구, 동생, 선생님 등의 사람 유형을 포함할 수 있다.
각 사람 유형은 기본적으로 제공되는 영상으로 표시되지만, 사용자에 따라 카메라 기능을 이용하여 촬영한 해당되는 인물의 실제 사진으로 대체될 수도 있다. 또한, 추가 버튼을 이용하여 카메라로 새로운 사람 유형을 추가할 수 있다. 예를 들어, 새로 사귄 친구를 카메라로 촬영한 후, 추가 버튼을 이용하여 새로운 사람 유형으로 추가할 수 있다. 각 세부 항목이 디스플레이되는 순서는 빈도 수에 따라 자동으로 결정되거나, 사용자의 입력을 수신하여 수동적으로 결정될 수 있다.
도 7에서는 카테고리의 세부 항목인 사람 유형을 원형의 형태로 디스플레이하고 있지만 이는 예시일 뿐이고, 원형의 형태 이외에 다양한 형태로 디스플레이될 수 있다. 일부 실시예에서는 의사 소통 보조 디바이스(401)는 의사 소통 보조 디바이스(401)의 카메라 기능, 키보드 기능 등을 이용하여 새로운 개인별 카테고리를 추가하도록 할 수 있다.
도 8은 일 실시예에 따라 조사들을 나타내는 영상에 대한 예시이다. 조사를 나타내는 영상은 글자의 모양 및 의미를 단순화하여 부호화한 영상일 수 있다. 조사를 나타내는 영상은 사용의 용이성, 이해의 용이성, 직관성 등을 고려하여 결정될 수 있다.
예를 들어, ‘~이’의 경우 
와 같이 글자와 동일한 모양의 영상일 수 있고(810), ‘~가’의 경우, 
와 같이, 훈민 정음에 나오는 점(.)을 이용하여 단순화 시킨 영상일 수 있다(830). 또한 ‘~에’의 경우, 
와 같이 글자의 의미를 직관화시켜 표현하는 영상일 수도 있다(850).
그러나, 도 8에 나타난 부호들은 모두 예시일 뿐이고 동일한 조사에 대하여 다른 부호가 사용될 수도 있다.
도 9는 일 실시예에 따라 활용 어미들을 나타내는 영상에 대한 예시이다. 활용 어미를 나타내는 영상은 글자의 모양 및 의미를 단순화하여 부호화한 영상일 수 있다. 활용 어미를 나타내는 영상은 사용의 용이성, 이해의 용이성, 직관성 등을 고려하여 결정될 수 있다.
예를 들어, ‘~이다’, ‘이에요’및 ‘입니다’의 경우 
와 같이, ‘아니다’의 경우 
와 같이 글자의 의미를 단순화하여 영상을 결정할 수 있다(930). 이 밖에 ‘있어요’, ‘없어요’, ‘하고 있어요’, ‘하자’등도 글자의 의미를 직관적으로 단순화하여 각각 
, 
, 
, 
와 같은 영상으로 결정할 수 있다.
그러나 도 9 에 도시된 부호들은 모두 예시일 뿐이고 동일한 활용 어미에 대하여 다른 부호가 사용될 수도 있다. 또한 도 9에 도시되지 않은 다양한 활용 어미들이 추가될 수 있다.
도 10A는 일 실시예에 따라 각 문장 성분에 대한 입력을 수신하는 예시이고, 도 10B는 일 실시예에 따라 각 문장 성분을 결합하여 문장을 생성하는 예시이다.
의사 소통 보조 디바이스(401)는 각 문장 성분에 대하여 최초 입력을 수신하였을 때, 입력 받은 그대로 ‘친구 와 집 에 가다 싶어요’(1050)의 형태로 각 문장 성분을 디스플레이할 수 있다. 그러나 의사 소통 보조 디바이스(401)는 소정의 지시를 수신하면, ‘친구와 집에 가고 싶어요’(1070)의 형태로 각 문장 성분을 결합하여 문장을 생성할 수 있다.
소정의 지시는 버튼, 키보드의 특정 키, 마우스 클릭, 터치 스크린 터치 등을 포함하는 다양한 형태로 수신될 수 있다.
도 11은 일 실시예에 따라 특정 장소 주변에서 사용된 빈도가 높은 문장을 디스플레이하는 예시이다. 의사 소통 보조 디바이스(401)는 생성된 문장을 음성으로 출력한 후, 출력된 장소를 내부 또는 외부 저장 장치에 저장할 수 있다.
출력된 장소는 위도와 경도를 이용한 좌표, GPS상의 위치, 행정 구역 상의 위치 등의 다양한 형태로 저장될 수 있다.
의사 소통 보조 디바이스(401)는 문장이 저장된 장소에 관한 누적 데이터를 기초로 현재 의사 소통 보조 디바이스가 위치한 장소로부터 소정 거리 이내에서 이전에 출력되었던 문장을 빈도 순서대로 디스플레이할 수 있다. 이전에 출력되었던 문장이란 소정의 기간 내에 출력되었던 문장을 의미할 수 있다.
예를 들어, 의사 소통 보조 디바이스(401)는 동물원에 관하여 누적 데이터를 기초로 출력 빈도 수가 가장 큰 순서로 문장을 디스플레이할 수 있다. 예를 들어, 동물원 반경 10미터 내에서 이전에 출력되었던 빈도 수가 가장 큰 문장은 ‘집에 가고 싶어요’(1110), ‘사자가 보고싶어요’(1130), ‘아이스크림이 먹고 싶어요’(1150), ‘다리가 아파요’(1170)일 수 있다. 의사 소통 보조 디바이스(401)는 출력 빈도 수가 큰 순서대로 위 문장들을 디스플레이할 수 있다. 문장은 도 10b의 1070과 같이 각 문장 성분을 나타내는 영상이 결합된 형태로 디스플레이될 수 있다.
일부 실시예에서 의사 소통 보조 디바이스(401)는 생성된 문장을 음성으로 출력한 후, 출력된 시간을 내부 또는 외부 저장 장치에 저장할 수 있다.
출력된 시간은 의사 소통 보조 디바이스(401)가 위치한 지역의 표준 시간으로 저장될 수 있다.
의사 소통 보조 디바이스(401)는 문장이 저장된 시간에 관한 누적 데이터를 기초로 현재 시간으로부터 소정 범위 내에서 이전에 출력되었던 문장을 빈도 순서대로 디스플레이할 수 있다. 이전에 출력되었던 문장이란 소정의 기간 내에 출력되었던 문장을 의미할 수 있다.
일부 실시예에서 의사 소통 보조 디바이스(401)는 사용 이력이 없는 장소에서는 시간을 기준으로 사용 빈도 수가 높은 순서대로 문장을 디스플레이할 수 있다.
일부 실시예에서 의사 소통 보조 디바이스(401)는 사용 이력이 없는 시간에는 장소를 기준으로 사용 빈도 수가 높은 순서대로 문장을 디스플레이할 수 있다.
한편, 본 발명은 컴퓨터 판독가능 저장매체에 컴퓨터가 판독 가능한 코드를 저장하여 구현하는 것이 가능하다. 상기 컴퓨터 판독가능 저장매체는 컴퓨터 시스템에 의하여 판독될 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다.
상기 컴퓨터가 판독 가능한 코드는, 상기 컴퓨터 판독가능 저장매체로부터 프로세서에 의하여 독출되어 실행될 때, 본 발명에 따른 영상 처리 방법을 구현하는 단계들을 수행하도록 구성된다. 상기 컴퓨터가 판독 가능한 코드는 다양한 프로그래밍 언어들로 구현될 수 있다. 그리고 본 발명의 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 통상의 기술자들에 의하여 용이하게 프로그래밍될 수 있다.
컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 위 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (11)
- 언어 장애자의 의사 소통을 보조하는 방법에 있어서,
출력하고자하는 문장을 구성하는 각 문장 성분에 대하여, 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 입력을 수신하는 단계;
상기 수신된 문장 성분을 결합하여 문장을 생성하는 단계; 및
상기 생성된 문장을 음성으로 출력하는 단계를 포함하고,
상기 문장 성분 중에서 조사에 대한 입력은 글자의 모양 또는 의미를 부호화한 영상 중 선택하는 형태로 이루어지고,
상기 문장 성분을 나타내는 영상은 사용자에 의한 생성, 수정 및 삭제가 가능한 의사 소통 보조 방법. - 제1항에 있어서,
상기 출력하는 단계가 수행된 장소를 저장하는 단계;
상기 저장된 장소에 관한 데이터를 기초로 의사 소통 보조 디바이스가 위치한 장소로부터 소정 거리 이내에서 출력된 문장을 빈도 순서대로 디스플레이하는 단계를 더 포함하는 의사 소통 보조 방법. - 삭제
- 제2항에 있어서,
상기 디스플레이된 문장은 각 문장 성분을 나타내는 영상이 결합된 형태를 포함하는 의사 소통 보조 방법. - 제1항에 있어서,
상기 생성된 문장을 위젯으로 생성하는 의사 소통 보조 방법. - 언어 장애자의 의사 소통을 보조하는 디바이스에 있어서,
출력하고자하는 문장을 구성하는 각 문장 성분에 대하여, 화면에 디스플레이된 문장 성분을 나타내는 영상 중 하나를 선택하는 입력을 수신하는 입력부;
상기 수신된 문장 성분을 결합하여 문장을 생성하는 프로세서; 및
상기 생성된 문장을 음성으로 출력하는 출력부를 포함하고,
상기 문장 성분 중에서 조사에 대한 입력은 글자의 모양 또는 의미를 부호화한 영상 중 선택하는 형태로 이루어지고,
상기 문장 성분을 나타내는 영상은 사용자에 의한 생성, 수정 및 삭제가 가능한 의사 소통 보조 디바이스. - 제6항에 있어서,
상기 프로세서는 상기 출력이 수행된 장소를 저장하고, 상기 저장된 장소에 관한 데이터를 기초로 의사 소통 보조 디바이스가 위치한 장소로부터 소정 거리 이내에서 출력된 문장을 빈도 순서대로 디스플레이하도록 제어하는 의사 소통 보조 디바이스. - 삭제
- 제7항에 있어서,
상기 디스플레이된 문장은 각 문장 성분을 나타내는 영상이 결합된 형태를 포함하는 의사 소통 보조 디바이스. - 제6항에 있어서,
상기 생성된 문장을 위젯으로 생성하는 의사 소통 보조 디바이스. - 제1항 내지 제2항 및 제4항 내지 제5항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150114567A KR101669202B1 (ko) | 2015-08-13 | 2015-08-13 | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 |
| PCT/KR2016/008987 WO2017026874A1 (ko) | 2015-08-13 | 2016-08-16 | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 |
| US15/750,544 US10650196B2 (en) | 2015-08-13 | 2016-08-16 | Communication assistive device and communication assistive method outputting an audible sentence based on touch screen image selections comprising postpositions |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150114567A KR101669202B1 (ko) | 2015-08-13 | 2015-08-13 | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101669202B1 true KR101669202B1 (ko) | 2016-11-09 |
Family
ID=57529036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150114567A KR101669202B1 (ko) | 2015-08-13 | 2015-08-13 | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10650196B2 (ko) |
| KR (1) | KR101669202B1 (ko) |
| WO (1) | WO2017026874A1 (ko) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102112822B1 (ko) * | 2019-08-19 | 2020-05-19 | 주식회사 샤크로 | 보완 대체 의사소통 시스템 |
| KR102175751B1 (ko) * | 2019-12-23 | 2020-11-06 | 하승완 | 보완 대체 의사소통을 위한 시계형 단말 및 그를 이용한 보완 대체 의사소통 제공 방법 |
| KR20220077403A (ko) * | 2020-12-02 | 2022-06-09 | 성신여자대학교 연구 산학협력단 | 위치 기반 보완 대체 의사소통 시스템 |
| KR102526772B1 (ko) * | 2021-11-26 | 2023-04-26 | 광운대학교 산학협력단 | 맥락 정보 기반 보완 대체 의사소통 방법 및 장치 |
| KR20230064143A (ko) * | 2021-11-03 | 2023-05-10 | 송상민 | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080063947A (ko) * | 2007-01-03 | 2008-07-08 | 삼성전자주식회사 | 휴대단말기의 위치에 따른 번역 방법 |
| KR101151865B1 (ko) * | 2010-11-24 | 2012-05-31 | (주)엘피케이에스 | 청각장애인용 휴대용 대화 장치 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050066675A (ko) | 2003-12-26 | 2005-06-30 | 이은실 | 의미심볼을 이용한 언어장애인용 aac시스템의 술어예측 |
| KR20050092293A (ko) | 2004-03-15 | 2005-09-21 | 고진복 | 장애인용 보완대체 의사 소통 단말기 |
| US8065154B2 (en) * | 2004-07-30 | 2011-11-22 | The Research Foundation of State Univesity of New York | Augmentative communications device for the speech impaired using commercial-grade technology |
| US7603621B2 (en) * | 2006-01-25 | 2009-10-13 | Microsoft Corporation | Computer interface for illiterate and near-illiterate users |
| US20110257977A1 (en) * | 2010-08-03 | 2011-10-20 | Assistyx Llc | Collaborative augmentative and alternative communication system |
| KR101907406B1 (ko) * | 2012-05-08 | 2018-10-12 | 삼성전자 주식회사 | 통신 서비스 운용 방법 및 시스템 |
| US9239824B2 (en) * | 2012-07-27 | 2016-01-19 | Semantic Compaction Systems, Inc. | Apparatus, method and computer readable medium for a multifunctional interactive dictionary database for referencing polysemous symbol sequences |
-
2015
- 2015-08-13 KR KR1020150114567A patent/KR101669202B1/ko active IP Right Grant
-
2016
- 2016-08-16 US US15/750,544 patent/US10650196B2/en active Active
- 2016-08-16 WO PCT/KR2016/008987 patent/WO2017026874A1/ko active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080063947A (ko) * | 2007-01-03 | 2008-07-08 | 삼성전자주식회사 | 휴대단말기의 위치에 따른 번역 방법 |
| KR101151865B1 (ko) * | 2010-11-24 | 2012-05-31 | (주)엘피케이에스 | 청각장애인용 휴대용 대화 장치 |
Non-Patent Citations (1)
| Title |
|---|
| 논문1:한국정보과학회 학술발표논문집 (2003)* * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102112822B1 (ko) * | 2019-08-19 | 2020-05-19 | 주식회사 샤크로 | 보완 대체 의사소통 시스템 |
| KR102175751B1 (ko) * | 2019-12-23 | 2020-11-06 | 하승완 | 보완 대체 의사소통을 위한 시계형 단말 및 그를 이용한 보완 대체 의사소통 제공 방법 |
| KR20220077403A (ko) * | 2020-12-02 | 2022-06-09 | 성신여자대학교 연구 산학협력단 | 위치 기반 보완 대체 의사소통 시스템 |
| KR102435629B1 (ko) | 2020-12-02 | 2022-08-23 | 성신여자대학교 연구 산학협력단 | 위치 기반 보완 대체 의사소통 시스템 |
| KR20230064143A (ko) * | 2021-11-03 | 2023-05-10 | 송상민 | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 |
| KR102573967B1 (ko) | 2021-11-03 | 2023-09-01 | 송상민 | 기계학습에 기반한 예측을 이용하여 보완 대체 의사소통을 제공하는 장치 및 방법 |
| KR102526772B1 (ko) * | 2021-11-26 | 2023-04-26 | 광운대학교 산학협력단 | 맥락 정보 기반 보완 대체 의사소통 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10650196B2 (en) | 2020-05-12 |
| US20180260391A1 (en) | 2018-09-13 |
| WO2017026874A1 (ko) | 2017-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11386892B2 (en) | Voice assistant discoverability through on-device targeting and personalization | |
| JP6749440B2 (ja) | インテリジェントタスクディスカバリ | |
| US11495218B2 (en) | Virtual assistant operation in multi-device environments | |
| US10841265B2 (en) | Apparatus and method for providing information | |
| US20220284901A1 (en) | Voice assistant discoverability through on-device targeting and personalization | |
| CN108806669B (zh) | 用于提供语音识别服务的电子装置及其方法 | |
| KR101669202B1 (ko) | 의사 소통 보조 디바이스 및 의사 소통 보조 방법 | |
| KR102568097B1 (ko) | 파싱 데이터의 관련 정보를 표시하는 방법 및 전자 장치 | |
| CN105824772B (zh) | 用于使用多个处理器来管理数据的方法和装置 | |
| US11137978B2 (en) | Method for operating speech recognition service and electronic device supporting the same | |
| KR20180022021A (ko) | 음성 인식 방법 및 이를 수행하는 전자 장치 | |
| KR20160071732A (ko) | 음성 입력을 처리하는 방법 및 장치 | |
| KR20180058476A (ko) | 다양한 입력 처리를 위한 방법, 이를 위한 전자 장치 및 서버 | |
| KR20180055231A (ko) | 아이콘을 이용한 어플리케이션의 실행 화면을 표시하기 위한 전자 장치 및 방법 | |
| KR20170034154A (ko) | 콘텐츠 제공 방법 및 이를 수행하는 전자 장치 | |
| CN108351892B (zh) | 用于提供对象推荐的电子装置和方法 | |
| KR20170077670A (ko) | 컨텐츠를 제어하기 위한 방법 및 그 전자 장치 | |
| CN108369585B (zh) | 用于提供翻译服务的方法及其电子装置 | |
| KR20190018886A (ko) | 음성 인식을 수행하는 방법 및 이를 사용하는 전자 장치 | |
| EP3404519A1 (en) | Method for displaying user interface and electronic device for supporting same | |
| US20180059894A1 (en) | Answer providing method and electronic device supporting the same | |
| KR20160133755A (ko) | 회전 입력에 따른 추가 정보 제공 방법 및 장치 | |
| WO2019231537A1 (en) | Virtual assistant operation in multi-device environments | |
| KR20160105215A (ko) | 텍스트 처리 장치 및 방법 | |
| KR20180101926A (ko) | 전자 장치 및 전자 장치의 어플리케이션 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190826 Year of fee payment: 4 |