KR20220148365A - Language healing system and method based on word loss detection - Google Patents

Language healing system and method based on word loss detection Download PDF

Info

Publication number
KR20220148365A
KR20220148365A KR1020210055090A KR20210055090A KR20220148365A KR 20220148365 A KR20220148365 A KR 20220148365A KR 1020210055090 A KR1020210055090 A KR 1020210055090A KR 20210055090 A KR20210055090 A KR 20210055090A KR 20220148365 A KR20220148365 A KR 20220148365A
Authority
KR
South Korea
Prior art keywords
healing
word
language
loss detection
speech
Prior art date
Application number
KR1020210055090A
Other languages
Korean (ko)
Other versions
KR102559617B1 (en
Inventor
이종태
소현지
이재호
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020210055090A priority Critical patent/KR102559617B1/en
Publication of KR20220148365A publication Critical patent/KR20220148365A/en
Application granted granted Critical
Publication of KR102559617B1 publication Critical patent/KR102559617B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Biophysics (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Primary Health Care (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Neurosurgery (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Social Psychology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Hematology (AREA)
  • Anesthesiology (AREA)
  • Machine Translation (AREA)

Abstract

The present invention relates to a technique for determining a suspected dementia situation and for a language therapy and, more specifically, to a language therapy system and method based on detection of word forgetfulness, which perform natural language processing of everyday conversations to generate brain vocabulary maps, and suggest language therapy methods for detection of word forgetfulness and short-term memory recovery in dementia patients using the same. According to one embodiment of the present invention, dementia can be detected and advanced stages of dementia can be identified based on the brain vocabulary maps, and language therapy can be performed through memory stimulation of individual forgotten words through specific forgotten word information.

Description

단어 망실 감지를 통한 언어 치유 시스템 및 방법 {LANGUAGE HEALING SYSTEM AND METHOD BASED ON WORD LOSS DETECTION}Language healing system and method through word loss detection {LANGUAGE HEALING SYSTEM AND METHOD BASED ON WORD LOSS DETECTION}

본 발명은 치매 의심 상황 판단 및 언어 치유 기술에 관한 것으로, 더욱 상세하게는 일상 대화를 자연어 처리하여 뇌 어휘 지도를 생성하고, 이를 이용해 치매 환자의 단어 망실 감지 및 단기 기억 회복을 위한 언어 치유 방법을 제안하는 단어 망실 감지를 통한 언어 치유 시스템 및 방법에 대한 것이다.The present invention relates to a dementia-suspected situation determination and language healing technology, and more specifically, a method of language healing for detecting word loss and recovering short-term memory in dementia patients by generating a brain vocabulary map by processing daily conversations in natural language. A system and method for speech healing through word loss detection are proposed.

치매 환자들이 현재 기억하고 있는 단어들의 수준을 분석하기 위해서는 보스톤 이름 대기 검사 등과 같은 몇 가지 검사 기술을 이용한다. 이러한 검사를 바탕으로 요양원이나 요양 병원 등에서는 기억력을 자극하기 위해서 라디오, TV 등을 무작위로 틀어놓거나 간병인이 지속적으로 대화를 진행하여 단어들을 기억하도록 자극하는 방법을 사용한다. 이러한 방법들은 무작위로 단어들의 콘텐츠를 제공하여 환자의 기억을 자극한다. 하지만 치매 환자의 뇌에서 구체적으로 어떤 단어들이 어떤 패턴으로 망실되는지 알 수 없기 때문에 무작위로 제공되는 단어들의 집합은 매우 시간 소모적이며, 정확하게 망실되는 단어들을 파악하고 이에 맞춤형으로 기억을 자극할 수 있는 언어 치유 방법에 비해 효과가 제한적일 것이다.To analyze the level of words that people with dementia currently remember, several testing techniques, such as the Boston name waiting test, are used. Based on these tests, nursing homes or nursing hospitals use a method to stimulate memory by turning on the radio or TV at random, or by continuously having a conversation with the caregiver to memorize words in order to stimulate memory. These methods stimulate the patient's memory by presenting the content of words at random. However, because it is not possible to know which words are specifically lost in what pattern in the brain of dementia patients, a set of randomly provided words is very time-consuming, and it is a language that can accurately identify lost words and stimulate memory accordingly. The effect will be limited compared to the healing method.

1. 한국 등록특허공보 제10-2041848호 “인공지능 기반의 음성분석을 통한 우울증, 불안증, 조기치매 또는 자살 징후 조기 판별 시스템”(등록일자: 2019년 11월 01일)1. Korean Patent Publication No. 10-2041848 “A system for early identification of depression, anxiety, early dementia or suicide signs through artificial intelligence-based voice analysis” (Registration date: November 01, 2019)

본 발명은 일상 대화를 일정 기간 수행하여 확보된 뇌 어휘 지도로부터 단어 망실을 감지하여 치매 발생 의심 여부와 진행 상황을 식별하고, 망실된 개별 단어에 대한 치매 환자의 언어 기억을 자극하는 언어 치유를 수행하는 단어 망실 감지를 통한 언어 치유 시스템 및 방법을 제공한다. The present invention detects the loss of a word from a brain vocabulary map obtained by conducting daily conversations for a certain period of time to identify whether dementia is suspected and the progress of the disease, and performs speech healing by stimulating the speech memory of a dementia patient for each lost individual word To provide a language healing system and method through the detection of lost words.

본 발명의 일 측면에 따르면, 단어 망실 감지를 통한 언어 치유 시스템을 제공한다.According to one aspect of the present invention, there is provided a language healing system through word loss detection.

본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템은 뇌 어휘 지도를 생성하는 지도 생성부, 일상 대화를 통해 단어의 망실 여부를 감지하는 망실 감지부, 상기 뇌 어휘 지도를 기반으로 치매 의심 여부를 분류하는 분류부 및 상기 치매 의심 여부에 따라 언어 치유 콘텐츠를 제공하는 치유부를 포함할 수 있다.A language healing system through word loss detection according to an embodiment of the present invention includes a map generator that generates a brain vocabulary map, a loss detector that detects whether a word is lost through daily conversation, and dementia based on the brain vocabulary map It may include a classification unit that classifies whether or not the dementia is suspected, and a healing unit that provides speech healing content according to whether the dementia is suspected.

본 발명의 다른 일 측면에 따르면, 단어 망실 감지를 통한 언어 치유 방법 및 이를 실행하는 컴퓨터 프로그램을 제공한다.According to another aspect of the present invention, there is provided a language healing method through word loss detection and a computer program executing the same.

본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 방법 및 이를 실행하는 컴퓨터 프로그램은 스마트 스피커를 이용한 질문을 하는 단계, 질문에 대한 답변을 획득하는 단계, 답변을 텍스트로 변환하는 단계, 뇌 어휘 지도를 생성하는 단계, 단어 망실을 감지하는 단계 및 망실된 단어 위주의 언어 치유 콘텐츠를 제공하는 단계를 포함할 수 있다.A method for language healing through word loss detection and a computer program executing the same according to an embodiment of the present invention include the steps of asking a question using a smart speaker, obtaining an answer to the question, converting the answer into text, the brain It may include generating a vocabulary map, detecting a lost word, and providing language healing content centered on the lost word.

본 발명의 일 실시 예에 따르면, 뇌 어휘 지도 기반으로 치매 감지 및 진행 상태 식별할 수 있고, 구체적인 망실 단어 정보를 통해 망실된 개별 단어의 기억 자극을 통한 언어 치유를 수행한다.According to an embodiment of the present invention, dementia detection and progression status can be identified based on a brain vocabulary map, and language healing is performed through memory stimulation of individual lost words through specific lost word information.

또한, 본 발명의 일 실시 예에 따르면, 일상 대화의 자연어 처리를 통한 뇌 어휘 지도 생성은 정확한 망실 단어를 파악할 수 있도록 하여 효과적인 언어 치유를 수행할 수 있다.In addition, according to an embodiment of the present invention, the generation of a brain vocabulary map through natural language processing of daily conversations enables accurate lost words to be recognized and effective speech healing can be performed.

또한, 본 발명의 일 실시 예에 따르면, 스마트 스피커와의 대화를 통한 뇌 어휘 지도 생성하고, 이에 기반한 치매 감지 및 망실 단어 자극용 언어 치유 방법을 저비용 고효율로 제공할 수 있다. In addition, according to an embodiment of the present invention, it is possible to generate a brain vocabulary map through conversation with a smart speaker, and provide a speech healing method for dementia detection and lost word stimulation based on this at low cost and high efficiency.

또한, 본 발명의 일 실시 예에 따르면, 기존의 언어 치료사와 주어진 시간에만 할 수 있는 언어 치유법에 비해, 스마트 스파크를 통해 퀴즈 제공, 그림 연상법 등의 다양한 콘텐츠를 이용하고 제한없이 언어 치유를 할 수 있다.In addition, according to an embodiment of the present invention, it is possible to use various contents such as quiz provision and picture association method through Smart Spark and perform speech healing without limitation, compared to the existing speech therapist and speech healing method that can only be done at a given time. have.

도 1은 본 발명의 일 실시예에 따른 단어 망실 감지를 통한 언어 치유 시스템을 간략히 예시한 블록도
도 2 내지 도 4는 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 단어 망실을 판단하는 예시들.
도 5 및 도 6는 본 발명의 일 실시예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 생성한 뇌 어휘 지도를 설명하기 위한 도면들.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 제공하는 언어 치유에 대해 설명하기 위한 도면들.
도 9 및 도 10은 본 발명의 일 실시예에 따른 뇌 어휘 지도를 기반하여 단어 망실 감지를 통한 언어 치유 방법을 도시한 도면.
도 11은 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 뇌 어휘 지도를 생성하는 일부 단계의 예시들.
도 12 내지 도 13은 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 단어 망실을 판단하는 방법을 설명하기 위한 도면들.
도 14는 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 단어 망실을 이용해 치매 의심 판단하는 방법에 관한 도면.1 is a block diagram schematically illustrating a speech healing system through word loss detection according to an embodiment of the present invention;
2 to 4 are examples in which the speech healing system through word loss detection determines word loss according to an embodiment of the present invention.
5 and 6 are diagrams for explaining a brain vocabulary map generated by a language healing system through word loss detection according to an embodiment of the present invention.
7 and 8 are diagrams for explaining speech healing provided by the speech healing system through word loss detection according to an embodiment of the present invention.
9 and 10 are diagrams illustrating a speech healing method through word loss detection based on a brain vocabulary map according to an embodiment of the present invention.
11 is an example of some steps of generating a brain vocabulary map by a system for speech healing through word loss detection according to an embodiment of the present invention.
12 to 13 are diagrams for explaining a method of determining a word loss by a language healing system through word loss detection according to an embodiment of the present invention.
14 is a diagram illustrating a method of determining a dementia suspicion using a word loss by a language healing system through word loss detection according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention. In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Also, as used in this specification and claims, the terms "a" and "a" and "a" are to be construed to mean "one or more" in general, unless stated otherwise.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. do it with

본 발명은 스마트스피커를 통해 일상적인 대화를 수행하여 정보를 수집하고, 환자가 말하는 자연어를 데이터베이스에 저장하여 어휘들로 구성되는 뇌 어휘 지도를 생성한다. 본 발명은 뇌 어휘 지도를 이용해 정확하게 망실 단어를 식별하고, 망실된 개별 단어를 기억 자극하여 언어 치유를 한다.The present invention collects information by conducting daily conversations through a smart speaker, and stores the natural language spoken by the patient in a database to generate a brain vocabulary map composed of vocabularies. The present invention accurately identifies a lost word using a brain vocabulary map, and memory-stimulates each lost word for language healing.

도 1은 본 발명의 일 실시예에 따른 단어 망실 감지를 통한 언어 치유 시스템을 간략히 예시한 블록도이다.1 is a block diagram schematically illustrating a speech healing system through word loss detection according to an embodiment of the present invention.

도 1을 참조하면, 단어 망실 감지를 통한 언어 치유 시스템(10)은 지도 생성부(100), 망실 감지부(200), 분류부(300) 및 치유부(400)를 포함할 수 있다.Referring to FIG. 1 , the language healing system 10 through word loss detection may include a map generation unit 100 , a loss detection unit 200 , a classification unit 300 , and a healing unit 400 .

지도 생성부(100)는 뇌 어휘 지도를 생성할 수 있다.The map generator 100 may generate a brain vocabulary map.

지도 생성부(100)는 스마트 스피커를 통해 일상적인 대화를 수행하고, 환자가 말하는 자연어를 데이터베이스에 저장하여 어휘들로 구성되는 뇌 어휘 지도를 생성한다. 뇌 어휘 지도는 그래프 자료 구조로 저장되어 단어들 간의 연관 관계 그래프 상에서 빠르게 검색할 수 있다.The map generator 100 generates a brain vocabulary map composed of vocabularies by performing daily conversations through the smart speaker and storing the natural language spoken by the patient in a database. The brain vocabulary map is stored as a graph data structure so that it can be quickly searched on a graph of association relationships between words.

지도 생성부(100)는 스마트 스피커를 통해 획득된 음성을 STT(Speech To Text) 모듈로 음성을 텍스트로 변환한다. 지도 생성부(100)는 변환된 텍스트로 뇌 어휘 지도를 생성한다. 지도 생성부(1000는 스마트 스피커가 획득한 모든 문장을 문장 단위로 입력받아 단어를 추출하여 뇌 어휘 지도를 생성하여 지속적으로 갱신할 수 있다. 뇌 어휘 지도는 그래프 자료 구조로 노드(node)는 단어를 저장하고, 에지(edge)는 단어와의 연결 관계를 저장한다.The map generator 100 converts the voice acquired through the smart speaker into text using a Speech To Text (STT) module. The map generator 100 generates a brain vocabulary map from the converted text. The map generator 1000 receives all sentences acquired by the smart speaker in sentence units and extracts words to generate and continuously update the brain vocabulary map. The brain vocabulary map is a graph data structure, and nodes are words. , and an edge stores a connection relationship with a word.

도 2 내지 도 4는 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 단어 망실을 판단하는 예시들이다.2 to 4 are examples in which the speech healing system through word loss detection determines word loss according to an embodiment of the present invention.

망실 감지부(200)는 스마트 스피커를 통한 일상 대화를 통해 단어들의 망실 여부를 감지할 수 있다.The loss detection unit 200 may detect whether or not words are lost through a daily conversation through a smart speaker.

망실 감지부(200)는 문장에서 특정 단어를 느리게 발음하거나 간투사, 지시대명사 또는 불완전한 단어의 사용에 따라 단어 망실을 감지한다.The loss detection unit 200 detects word loss according to slow pronunciation of a specific word in a sentence or use of an interprojection, a referential pronoun, or an incomplete word.

이 때, 간투사는 앗, 응 등과 같이 감탄적 표현과 비슷하지만 의미적인 면에서는 느낌의 정보가 드러나지 않는 단어이고, 지시대명사는 아, 저, 그 등 정확한 단어를 말하지 못하고 의미가 모호한 단어를 의미한다.In this case, the ganto projection is a word similar to an exclamatory expression such as ah, eh, but in a semantic aspect, the information of the feeling is not revealed. .

도 2를 참조하면, 망실 감지부(200)는 스마트 스피커를 통한 대화 음성을 텍스트로 변환할 때 텍스트와 함께 발음 속도를 기록한다. 망실 감지부(200)는 문장 내에서 다른 단어들에 비교하여 느리게 발음되는 단어를 망실 단어로 판단할 수 있다. 예를 들면, 망실 감지부(200)는 발음 시간이 3.1초 해당하는 단어를 망실되었다고 판단할 수 있다. Referring to FIG. 2 , the loss detection unit 200 records the pronunciation speed together with the text when converting the conversation voice through the smart speaker into text. The loss detection unit 200 may determine a word that is pronounced slowly compared to other words in the sentence as a lost word. For example, the loss detection unit 200 may determine that a word corresponding to a pronunciation time of 3.1 seconds is lost.

도 3을 참조하면, 망실 감지부(200)는 명확하지 않은 지시대명사 또는 불완전한 단어를 사용하는 경우에도 해당 단어를 망실 단어로 판단할 수 있다.Referring to FIG. 3 , the loss detecting unit 200 may determine the corresponding word as a lost word even when an unclear indicating pronoun or an incomplete word is used.

도 4의 예시를 참조하면, 망실 감지부(200)는 한달 전의 환자와의 대화와 현재 시점의 대화에서 지시대명사의 사용을 통한 망실 단어의 식별할 수 있다. 예를 들면, 망실 감지부(200)는 인공지능(AI) 언어모델 버트(BERT, Bidirectional Encoder Representations from Transformers)를 사용하여 개별 어휘의 망실 여부를 식별할 수 있다. 도 4의 예시와 같이 망실 감지부(200)는 주기적 또는 상시적 일상적인 대화를 통해 3개월 전에는 “김밥”이라는 명확한 단어를 사용한데 비해 현재 시점에서는 “그거”라는 지시대명사를 사용함으로 “김밥”을 망실 단어로 감지할 수 있다. Referring to the example of FIG. 4 , the loss detection unit 200 may identify the lost word through the use of the referential pronoun in the conversation with the patient one month ago and the conversation at the current time. For example, the loss detection unit 200 may identify whether an individual vocabulary is lost by using an artificial intelligence (AI) language model BERT (Bidirectional Encoder Representations from Transformers). As in the example of FIG. 4 , the loss detection unit 200 used the clear word “gimbap” three months ago through periodic or regular daily conversations, but at the present time it uses the indicating pronoun “that” to “gimbap” can be detected as a lost word.

도 5 및 도 6은 본 발명의 일 실시예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 생성한 뇌 어휘 지도를 설명하기 위한 도면들이다.5 and 6 are diagrams for explaining a brain vocabulary map generated by a system for speech healing through word loss detection according to an embodiment of the present invention.

도 5를 참조하면, 분류부(300)는 뇌 어휘 지도 상에서 망실 단어의 위치를 이용해 정상인지, 단순 건망증인지 또는 치매가 의심이 되는지 분류할 수 있다.Referring to FIG. 5 , the classification unit 300 may classify whether the word is normal, simple forgetfulness, or suspected dementia by using the position of the lost word on the brain vocabulary map.

도 5(a)는 망실 단어가 없는 정상의 뇌 어휘 지도의 예시이다.Fig. 5(a) is an example of a normal brain vocabulary map without missing words.

도 5(b)는 망실 단어의 분포가 무작위(random)한 경우의 뇌 어휘 지도 예시이다. 분류부(300)는 뇌 어휘 지도 상에서 망실 단어의 위치가 무작위(random)로 발생하면 치매 의심 단계가 아니라 일시적인 단순한 건망증은 것으로 식별한다.5(b) is an example of a brain vocabulary map in the case where the distribution of lost words is random. The classification unit 300 identifies that the position of the forgotten word randomly occurs on the brain vocabulary map as a temporary simple forgetfulness rather than a suspected dementia stage.

도 5(c)는 망실 단어의 분포가 군집되어 있는 뇌 어휘 지도의 예시이다. 이 때, 분류부(300)는 망실 단어들의 분포 위치가 특정 위치에 군집화 되어 있는 경우 치매로 인한 단어 망실로 판단하고 치매 의심 상태로 식별한다.5( c ) is an example of a brain vocabulary map in which the distribution of lost words is clustered. At this time, when the distribution positions of the lost words are clustered at a specific position, the classification unit 300 determines that the word is lost due to dementia and identifies it as a dementia-suspected state.

분류부(300)는 k-means 또는 DB-SCAN등과 같은 군집화 계산 방법들을 이용하여 군집화 여부를 판별한다. 망실 감지부(200)는 군집화 계산 방법을 이용해 망실 어휘 군의 분포를 분석하고, 특정 위치에 망실 단어가 군집해 있는 경우 치매 의심 상태로 식별한다.The classifier 300 determines whether to cluster by using clustering calculation methods such as k-means or DB-SCAN. The loss detection unit 200 analyzes the distribution of the lost vocabulary group by using the clustering calculation method, and when the missing word is clustered at a specific location, it is identified as a dementia-suspected state.

분류부(300)는 치매 의심 상태로 식별된 경우 정밀 검진을 제안하거나 망실 단어에 대한 언어 치유 콘텐츠를 치유부(400)에서 제공하도록 한다.When the classification unit 300 is identified as being in a suspected dementia state, the treatment unit 400 proposes a detailed examination or provides language healing content for a lost word.

도 6을 참고하면, 분류부(300)는 주기적 또는 상시적으로 대화하면서 뇌 어휘 지도를 갱신하고, 단어들의 망실 여부를 모니터링한다.Referring to FIG. 6 , the classification unit 300 updates the brain vocabulary map while talking periodically or constantly, and monitors whether words are lost.

도 7 및 도 8은 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 제공하는 언어 치유에 대해 설명하기 위한 도면들이다.7 and 8 are diagrams for explaining speech healing provided by the speech healing system through word loss detection according to an embodiment of the present invention.

도 7을 참조하면, 치유부(400)는 단어 망실 감지를 통해 치매 의심이 감지되는 경우 식별된 망실 어휘 군에서 망실 단어에 대한 치유 콘텐츠를 제공한다. 치유부(400)는 망실 단어로 구성된 다양한 언어 치유 콘텐츠를 제공할 수 있다. 이때 치유부(400)는 퀴즈, 그림, 노래, 동영상 등을 언어 치유 콘텐츠로 제공할 수 있다. 예를 치유부(400)는 동물 군에서의 망실 단어가 다수 발생하면 동물 군에 속하는 망실 단어를 포함한 퀴즈, 그림, 노래, 영화 등의 콘텐츠를 제공하여 기억을 자극할 수 있습니다. 치유부(400)는 망실 어휘 군에 속하는 망실 단어의 기억을 주기적/비주기적으로 다양하게 자극하여 단어 기억력 감소 현상을 억제할 수 있다.Referring to FIG. 7 , when a suspicion of dementia is detected through word loss detection, the healing unit 400 provides healing content for a lost word from the identified lost vocabulary group. The healing unit 400 may provide various language healing contents composed of lost words. In this case, the healing unit 400 may provide a quiz, a picture, a song, a video, etc. as language healing content. For example, the healing unit 400 may stimulate memory by providing content such as quizzes, pictures, songs, movies, etc. including missing words belonging to the animal group when a large number of lost words in the animal group occur. The healing unit 400 may suppress a decrease in word memory by periodically/aperiodically variously stimulating the memory of a lost word belonging to a lost vocabulary group.

치유부(400)는 퀴즈, 그림, 노래 또는 동영상 등의 컨텐츠를 지속적으로 수집하고 관리할 수 있다.The healing unit 400 may continuously collect and manage content such as quizzes, pictures, songs, or videos.

도 8의 예시를 참고하면, 치유부(400)는 뇌 어휘 지도 상 단어들의 연결 관계를 활용한 퀴즈를 제공하여 언어 치유에 이용한다. 치유부(400) 환자가 제공된 퀴즈의 정답을 말하는 것으로 해당 단어의 망실을 막고, 정답을 맞추지 못하는 경우 정답을 제공하여 기억을 하도록 돕는다. 예를 들면. 망실 단어가 '거북이' 인 경우 '전래 동화 토끼와 OOO에서 OOO은 무엇일까요?” 라는 질문을 통해 망실 단어 '거북이'를 기억하도록 유도한다. 치유부(400)는 답을 못 맞춘 경우 퀴즈에 대한 정답을 제시하고 망실 단어 '거북이'에 대한 기억하도록 도울 수 있다. Referring to the example of FIG. 8 , the healing unit 400 provides a quiz using the connection relationship between words on the brain vocabulary map and uses it for language healing. The healing unit 400 prevents the loss of the corresponding word by telling the patient the correct answer of the provided quiz, and provides the correct answer when the correct answer is not correct to help the patient to remember. For example. If the lost word is 'turtle', then ask yourself, 'What is OOO in the traditional fairy tale rabbit and OOO?” It induces them to remember the lost word 'turtle' through the question. The healing unit 400 may provide a correct answer to the quiz when the answer is not answered and help to remember the lost word 'turtle'.

치유부(400)는 망실 단어가 속한 군(group or cluster)에 있는 단어들을 집중적으로 이용하여 퀴즈를 제공할 수 있다. 예를 들면, 치유부(400)는 동물 군에서의 망실 단어가 다수 발생하면 동물 군에 속하는 망실 단어를 포함한 퀴즈, 그림, 노래, 영화 등의 콘텐츠를 제공하여 기억을 자극할 수 있습니다. 치유부(400)는 망실 어휘 군에 속하는 망실 단어의 기억을 주기적/비주기적으로 다양하게 자극하여 단어 기억력 감소 현상을 억제할 수 있다. 치유부(400)는 퀴즈뿐만 아니라 망실 단어를 포함한 노래, 영화 또는 그림을 활용하여 기억 호출에 따르는 자극으로 망실 단어의 치유에 도움을 줄 수 있다.The healing unit 400 may provide a quiz by intensively using words in a group or cluster to which the lost word belongs. For example, the healing unit 400 may stimulate memory by providing content such as quizzes, pictures, songs, movies, etc. including missing words belonging to the animal group when a large number of lost words in the animal group occur. The healing unit 400 may suppress a decrease in word memory by periodically/aperiodically variously stimulating the memory of a lost word belonging to a lost vocabulary group. The healing unit 400 may use a song, a movie, or a picture including the lost word as well as a quiz to help heal the lost word by stimulating the memory recall.

치유부(400)는 주기적 또는 상시적으로 수행하여 치매의 진행 상태를 파악할 수 있고, 이를 기반으로 치유 콘텐츠 제공 주기를 제안할 수 있다. 또한 치유부(400)는 추가적인 약물 치료 등의 의학적 치료 결정 시에 참고 자료로 뇌 어휘 지도 및 망실 단어 등의 정보를 제공할 수 있다.The healing unit 400 may determine the progress of dementia by performing it periodically or constantly, and may suggest a period for providing healing contents based on this. Also, the healing unit 400 may provide information such as a brain vocabulary map and lost words as reference data when determining medical treatment such as additional drug treatment.

도 9 및 도 10은 본 발명의 일 실시예에 따른 뇌 어휘 지도를 기반하여 단어 망실 감지를 통한 언어 치유 방법을 도시한 도면들이다. 이하 설명하는 각 과정은 단계에서 단어 망실 감지를 통한 언어 치유 시스템을 구성하는 각 기능부가 수행하는 과정이나, 본 발명의 간결하고 명확한 설명을 위해 각 단계의 주체를 단계에서 단어 망실 감지를 통한 언어 치유 시스템으로 통칭하도록 한다.9 and 10 are diagrams illustrating a speech healing method through word loss detection based on a brain vocabulary map according to an embodiment of the present invention. Each process described below is a process performed by each functional unit constituting a language healing system through word loss detection in a step, but for a concise and clear explanation of the present invention, the subject of each step is to be referred to as a system.

도9를 참조하면, S910 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 스마트 스피커를 통해 일상적인 대화를 시작한다. 이 때, 단어 망실 감지를 통한 언어 치유 시스템(10)은 주기적 또는 상시적으로 질의할 수 있다. 단어 망실 감지를 통한 언어 치유 시스템(10)은 다양한 일상 내용의 질문들을 미리 저장하고 질문 DB를 이용할 수 있다.Referring to FIG. 9 , in step S910 , the language healing system 10 through the detection of lost words starts a daily conversation through the smart speaker. At this time, the speech healing system 10 through word loss detection may periodically or constantly query. The language healing system 10 through word loss detection may pre-store questions of various daily contents and use the question DB.

S920 단계에서 단어 망실 감지를 통한 언어 치유 시스템 (10)은 질의에 대한 답변자의 답변 내용을 획득한다. 예를 들면 단어 망실 감지를 통한 언어 치유 시스템(10)은 스마트 스피커를 통해 질의하고 답변자의 응답을 음성 정보로 수신할 수 있다. In step S920, the speech healing system 10 through word loss detection acquires the answer of the answerer to the question. For example, the speech healing system 10 through word loss detection may make an inquiry through a smart speaker and receive an answerer's response as voice information.

S930 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 획득한 음성 정보를 STT(Speech-To-Text) 모듈을 이용해 텍스트로 변환한다.In step S930, the speech healing system 10 through word loss detection converts the acquired speech information into text using a Speech-To-Text (STT) module.

S940 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 변환된 텍스트에서 단어를 추출하여 뇌 어휘 지도를 생성하고 지속적으로 갱신한다.In step S940, the language healing system 10 through word loss detection extracts words from the converted text to generate and continuously update the brain vocabulary map.

S950 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 대화를 통해 망신 단어 발생을 감지할 수 있다.In step S950 , the language healing system 10 through word loss detection may detect the occurrence of the embarrassing word through conversation.

S960 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 뇌 어휘 지도 상의 망실 단어의 분포를 분석하여 치매 의심, 일시적인 단순한 건망증 또는 정상 여부를 분류한다.In step S960, the speech healing system 10 through word loss detection analyzes the distribution of the lost word on the brain vocabulary map and classifies whether dementia is suspected, temporary simple forgetfulness, or normal.

치매 의심으로 판단되면S970 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 망실 단어 위주의 언어 콘텐츠를 제공할 수 있다.If it is determined that dementia is suspected, the language healing system 10 through the detection of lost words in step S970 may provide language content focusing on the lost words.

도 10을 참조하면, S1010단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 도 9의 S930 단계에서 수행하여 변환된 텍스트들을 입력받아 수행되는 S940 단계의 뇌 어휘 지도 생성 단계를 시작한다.Referring to FIG. 10 , in step S1010, the speech healing system 10 through word loss detection starts the brain vocabulary map generation step in step S940, which is performed by receiving the converted texts performed in step S930 of FIG. 9 .

S1020 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 변환된 텍스트를 문장 단위로 분리한다.In step S1020, the language healing system 10 through word loss detection separates the converted text into sentence units.

S1030 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 한 문장씩 분리하고 각 문장을 다시 단어로 분리한다. In step S1030, the language healing system 10 through word loss detection separates sentences one by one and separates each sentence into words again.

S1040 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 분리된 단어에서 명사만을 추출한다.In step S1040, the speech healing system 10 through word loss detection extracts only nouns from the separated words.

S1050 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 모든 문장에서 명사가 추출될 수 있도록 순차적으로 명사 추출 작업을 수행한다.In step S1050, the speech healing system 10 through word loss detection sequentially performs noun extraction so that nouns can be extracted from all sentences.

S1060 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 뇌 어휘 지도 생성을 완료한다.In step S1060, the speech healing system 10 through word loss detection completes generation of the brain vocabulary map.

도 11은 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 뇌 어휘 지도를 생성하는 일부 단계의 예시들이다. 11 is an example of some steps of generating a brain vocabulary map by the language healing system through word loss detection according to an embodiment of the present invention.

도 11(a)를 참조하면, 도 10의 S1030 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 “오늘은 김밥을 먹었다” 라는 문장을 “오늘은”, “김밥을” 및 “먹었다” 로 구분할 수 있다.Referring to FIG. 11( a ), in step S1030 of FIG. 10 , the language healing system 10 through word loss detection replaces the sentences “today I ate gimbap” with “today”, “gimbap” and “eat” can be distinguished as

단어 망실 감지를 통한 언어 치유 시스템(10)은 “오늘은”, “김밥을” 및 “먹었다” 로 구분된 단어들을 입력 값을 하여 S1040 단계를 수행하면 “오늘” 과 “김밥” 의 명사만을 추출한다.The speech healing system 10 through word loss detection extracts only the nouns of “today” and “gimbap” when performing step S1040 by inputting the words separated into “today”, “gimbap” and “eaten”. do.

단어 망실 감지를 통한 언어 치유 시스템(10)은 추출된 “오늘” 및 “김밥” 을 도 10의 S1050 단계의 입력값으로 하여 수행하면, “오늘” 및 “김밥” 을 노드로 하고, 두 명사를 링크로 연결하여 뇌 어휘 지도를 생성할 수 있다.When the speech healing system 10 through word loss detection is performed with the extracted “today” and “gimbap” as the input values of step S1050 of FIG. 10, “today” and “gimbap” as nodes, and two nouns You can create a brain vocabulary map by connecting them with a link.

도 11(b)을 참조하면, 도 10의 S1030 단계 내지 도 10의S1050 단계를 문장별로 반복 수행하여 뇌 어휘 지도를 갱신할 수 있다.Referring to FIG. 11( b ) , the brain vocabulary map may be updated by repeating steps S1030 to S1050 of FIG. 10 for each sentence.

도 12 내지 도 13은 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 단어 망실을 판단하는 방법을 설명하기 위한 도면들이다.12 to 13 are diagrams for explaining a method of determining a word loss by a language healing system through word loss detection according to an embodiment of the present invention.

도 12를 참조하면, 단어 망실 감지를 통한 언어 치유 시스템(10)은 말하는 문장 중에 발음이 느려지는 단어를 망실 어휘 또는 망실 단어로 판별한다.Referring to FIG. 12 , the language healing system 10 through word loss detection determines a word whose pronunciation is slow in a spoken sentence as a lost vocabulary or a lost word.

S1210 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 스마트 스피커를 통해 획득한 일상 대화를 문장 단위로 분리하여 한 문장씩 입력받는다.In step S1210, the language healing system 10 through word loss detection divides the daily conversation acquired through the smart speaker into sentence units and receives input sentence by sentence.

S1220 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 문장을 형태소 단위로 분석한다. In step S1220, the language healing system 10 through word loss detection analyzes the sentence in units of morphemes.

S1230 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 문장 내의 단어에 대한 발음 시간을 함께 기록하여 발음 속도를 산출할 수 있다.In step S1230, the system 10 for healing the language through word loss detection may calculate the pronunciation speed by recording the pronunciation time for the words in the sentence together.

S1240 단계 및 S1250단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 문장 중 특정 단어에서의 발음 속도가 일정 시간 이상 소요되면 망실 어휘로 판단한다. 즉, 단어 망실 감지를 통한 언어 치유 시스템(10)은 문장 중에서 상대적으로 느리게 발음하는 단어를 망실 어휘 또는 망실 단어로 판별한다. 예를 들면, 단어 망실 감지를 통한 언어 치유 시스템(10)은 특정 단어의 발음 시간이 글자당 2초 이상 걸린다면 망실 어휘 또는 망실 단어로 판단할 수 있다.In steps S1240 and S1250, the language healing system 10 through detection of word loss determines that the pronunciation of a specific word in a sentence takes a certain amount of time or more as a lost vocabulary. That is, the language healing system 10 through word loss detection determines a word that is pronounced relatively slowly among sentences as a lost vocabulary or a lost word. For example, the language healing system 10 through word loss detection may determine a lost vocabulary or a lost word if the pronunciation time of a specific word is 2 seconds or more per letter.

도 13을 참조하면, 단어 망실 감지를 통한 언어 치유 시스템(10)은 말하는 문장 중에 간투사, 불명확한 지시 대명사 또는 불완전한 단어들을 식별하여 망실 어휘 또는 망실 단어로 판별한다.Referring to FIG. 13 , the language healing system 10 through word loss detection identifies interprojection, ambiguous referential pronouns, or incomplete words in spoken sentences to determine them as lost vocabulary or lost words.

S1310 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 스마트 스피커를 통해 획득한 일상 대화를 문장 단위로 분리하여 한 문장씩 입력받는다.In step S1310, the language healing system 10 through word loss detection divides the daily conversation acquired through the smart speaker into sentence units and receives input sentence by sentence.

S1320 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 문장을 형태소 단위로 분석한다. In step S1320, the speech healing system 10 through word loss detection analyzes the sentence in morpheme units.

S1330 단계 및 S1040단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 문장 중 간투사, 불명확한 지시 대명사 또는 불완전한 단어들을 추출하고 해당 단어들을 망실 어휘 또는 망실 단어로 판별한다.In steps S1330 and S1040, the language healing system 10 through word loss detection extracts inter-projection, ambiguous referential pronouns, or incomplete words from among the sentences, and determines the words as lost vocabulary or lost words.

도 14는 본 발명의 일 실시 예에 따른 단어 망실 감지를 통한 언어 치유 시스템이 단어 망실을 이용해 치매 의심 판단하는 방법에 관한 도면이다.14 is a diagram illustrating a method of determining a dementia suspicion using a word loss by a language healing system through word loss detection according to an embodiment of the present invention.

도 14를 참조하면, 단어 망실 감지를 통한 언어 치유 시스템(10)은 뇌 어휘 지도를 기반으로 망실 어휘 또는 망실 단어의 분포와 군집도를 확인하여 치매 의심 판단 또는 치매 진행 상황을 예측한다.Referring to FIG. 14 , the language healing system 10 through word loss detection predicts dementia-suspected judgment or dementia progression by checking the distribution and clustering of the lost vocabulary or lost words based on the brain vocabulary map.

S1410 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 뇌 어휘 지도의 단어들을 벡터화 한다. 예를 들면 단어 망실 감지를 통한 언어 치유 시스템(10)은 Word2Vec 알고리즘을 이용해 단어를 벡터화 할 수 있다. Word2Vec 알고리즘을 활용하면 단어를 공간 좌표상에 표기할 수 있게 되어 단어 간의 유사도 표현이나 공간적인 그래프로 가시화할 수 있다.In step S1410, the language healing system 10 through word loss detection vectorizes the words of the brain vocabulary map. For example, the speech healing system 10 through word loss detection may vectorize the word using the Word2Vec algorithm. By using the Word2Vec algorithm, words can be marked on spatial coordinates, which can be visualized as a similarity expression between words or a spatial graph.

S1420 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 벡터 값을 2차원 그래프 상에 가시화한다. 예를 들면 단어 망실 감지를 통한 언어 치유 시스템(10)은 t-SNE(t-분포 확률적 임베딩, t-Stochastic Neighbor Embedding) 알고리즘을 이용해 2차원으로 가시화할 수 있다. t-SNE알고리즘은 고차원의 벡터로 표현된 데이터 간의 이웃 구조(neighbor structure)를 보존한 2차원 임베딩 벡터(embedding vector)를 학습하여, 고차원 데이터를 2차원 그래프로 표현할 수 있다. In step S1420, the speech healing system 10 through word loss detection visualizes a vector value on a two-dimensional graph. For example, the speech healing system 10 through word loss detection may be visualized in two dimensions using a t-SNE (t-Stochastic Neighbor Embedding) algorithm. The t-SNE algorithm learns a two-dimensional embedding vector that preserves the neighbor structure between data expressed as a high-dimensional vector, and can express high-dimensional data as a two-dimensional graph.

S1430 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 그래프 상에서 단어들의 벡터 값의 분포를 분석한다.In step S1430, the speech healing system 10 through word loss detection analyzes the distribution of vector values of words on the graph.

S1440 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 망실 단어들의 위치를 분석한다. 이 때 단어 망실 감지를 통한 언어 치유 시스템(10)은 도 11 또는 도 12의 방법으로 추출된 망실 단어들의 위치 분포를 분석한다.In step S1440, the speech healing system 10 through word loss detection analyzes the positions of the lost words. At this time, the speech healing system 10 through word loss detection analyzes the position distribution of the lost words extracted by the method of FIG. 11 or 12 .

S1450 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 망실 단어들의 군집도를 산출한다. 단어 망실 감지를 통한 언어 치유 시스템(10)은 망실 단어들의 분포가 군집되어 있으면 치매 의심 단계로 판단할 수 있다. In step S1450, the language healing system 10 through word loss detection calculates a cluster degree of lost words. The speech healing system 10 through word loss detection may determine the dementia suspicious stage if the distribution of lost words is clustered.

이때 단어 망실 감지를 통한 언어 치유 시스템(10)은 망실 단어들이 무작위(랜덤)로 분포되어 있으면 S1460단계를 수행한다.At this time, the speech healing system 10 through word loss detection performs step S1460 if the lost words are randomly (randomly) distributed.

S1460 단계에서 단어 망실 감지를 통한 언어 치유 시스템(10)은 망실 단어의 개수를 파악하여 일정한 수 이하면 정상, 일정한 수보다 많으면 일시적인 건망증으로 판단할 수 있다.In step S1460 , the language healing system 10 through word loss detection may determine the number of lost words and determine that the number of lost words is normal if the number is less than or equal to the predetermined number, and temporary forgetfulness is determined if the number is greater than the predetermined number.

상술한 단어 망실 감지를 통한 언어 치유 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The above-described speech healing method through word loss detection may be implemented as a computer-readable code on a computer-readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded in the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although acts are shown in a particular order in the drawings, it should not be understood that the acts must be performed in the specific order or sequential order shown, or that all depicted acts must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be construed as necessarily requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.Up to now, the present invention has been looked at focusing on the embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

10: 단어 망실 감지를 통한 언어 치유 시스템
100: 지도 생성부
200: 망실 감지부
300: 분류부
400: 치유부10: Speech healing system through word loss detection
100: map generator
200: loss detection unit
300: classification unit
400: healer

Claims (10)

단어 망실 감지를 통한 언어 치유 시스템에 있어서,
뇌 어휘 지도를 생성하는 지도 생성부;
일상 대화를 통해 단어의 망실 여부를 감지하는 망실 감지부;
상기 뇌 어휘 지도를 기반으로 치매 의심 여부를 분류하는 분류부; 및
상기 치매 의심 여부에 따라 언어 치유 콘텐츠를 제공하는 치유부를 포함하는 단어 망실 감지를 통한 언어 치유 시스템.
In a language healing system through word loss detection,
a map generator that generates a brain vocabulary map;
a loss detection unit for detecting whether a word is lost through daily conversation;
a classification unit for classifying whether dementia is suspected based on the brain vocabulary map; and
A language healing system through word loss detection including a healing unit that provides speech healing contents according to whether the dementia is suspected.
 제1항에 있어서,
상기 치유부는
기억 자극을 위해 퀴즈, 그림, 노래 또는 동영상 중 어느 하나 이상을 포함하는 언어 치유 콘텐츠를 제공하는 단어 망실 감지를 통한 언어 치유 시스템.
According to claim 1,
The healing unit
A language healing system through word loss detection that provides speech healing content including any one or more of a quiz, picture, song or video for memory stimulation.
 제1항에 있어서,
상기 치유부는
주기적 또는 상시적으로 수행하여 치매의 진행 상태를 파악하고, 이를 기반으로 상기 언어 치유 콘텐츠의 제공 주기를 제안하는 단어 망실 감지를 통한 언어 치유 시스템.
According to claim 1,
The healing unit
A language healing system through word loss detection that detects the progress of dementia by performing it periodically or constantly, and suggests a period of providing the language healing content based on this.
 제1항에 있어서,
스마트 스피커를 통한 일상 대화를 수행하여 정보를 수집하는 단어 망실 감지를 통한 언어 치유 시스템.
According to claim 1,
A language healing system through word loss detection that collects information by conducting daily conversations through smart speakers.
 제1항에 있어서,
상시 분류부는
상기 단어의 군집화 여부를 산출하는 단어 망실 기반 언어 치유 시스템.
According to claim 1,
The regular classification department
A word loss-based speech healing system that calculates whether the words are clustered.
 단어 망실 기반 언어 치유 시스템이 수행하는 단어 망실 기반 언어 치유 방법에 있어서,
스마트 스피커를 이용한 질문을 하는 단계;
상기 질문에 대한 답변을 획득하는 단계;
상기 답변을 텍스트로 변환하는 단계;
뇌 어휘 지도를 생성하는 단계;
단어 망실을 감지하는 단계; 및
망실된 상기 단어를 중심으로 언어 치유 콘텐츠를 제공하는 단계를 포함하는 단어 망실 감지를 통한 언어 치유 방법.
In the word loss-based speech healing method performed by the word loss-based speech healing system,
Asking a question using a smart speaker;
obtaining an answer to the question;
converting the answer into text;
generating a brain vocabulary map;
detecting word loss; and
A language healing method through word loss detection, comprising the step of providing language healing content centering on the lost word.
 제6항에 있어서
상기 망실된 상기 단어를 중심으로 언어 치유 콘텐츠를 제공하는 단계는
기억 자극을 위해 퀴즈, 그림, 노래 또는 동영상 중 어느 하나 이상을 포함하는 언어 치유 콘텐츠를 제공하는 단어 망실 감지를 통한 언어 치유 방법.
7. The method of claim 6
The step of providing language healing content centering on the lost word
A method of speech healing through word loss detection that provides speech healing content including any one or more of a quiz, picture, song or video for memory stimulation.
 제6항에 있어서
상기 망실된 상기 단어를 중심으로 언어 치유 콘텐츠를 제공하는 단계는
주기적 또는 상시적으로 수행하여 치매의 진행 상태를 파악하고, 이를 기반으로 상기 언어 치유 콘텐츠의 제공 주기를 제안하는 단어 망실 감지를 통한 언어 치유 방법.
7. The method of claim 6
The step of providing language healing content centering on the lost word
A language healing method through word loss detection, which is performed periodically or constantly to determine the progression of dementia, and based on this, suggests a period of providing the language healing content.
 제6항에 있어서,
스마트 스피커를 이용해 일상적인 대화를 수행하여 정보를 획득하는 단어 망실 감지를 통한 언어 치유 방법.
7. The method of claim 6,
A method of speech healing through word loss detection that acquires information by conducting daily conversations using smart speakers.
 제6항 내지 제9항 중 어느 하나의 항의 단어 망실 감지를 통한 언어 치유 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
10. A computer program recorded in a computer-readable recording medium for executing the speech healing method through the detection of a lost word according to any one of claims 6 to 9.
KR1020210055090A 2021-04-28 2021-04-28 Language healing system and method based on word loss detection KR102559617B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210055090A KR102559617B1 (en) 2021-04-28 2021-04-28 Language healing system and method based on word loss detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210055090A KR102559617B1 (en) 2021-04-28 2021-04-28 Language healing system and method based on word loss detection

Publications (2)

Publication Number Publication Date
KR20220148365A true KR20220148365A (en) 2022-11-07
KR102559617B1 KR102559617B1 (en) 2023-07-25

Family

ID=84043713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210055090A KR102559617B1 (en) 2021-04-28 2021-04-28 Language healing system and method based on word loss detection

Country Status (1)

Country Link
KR (1) KR102559617B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009155A (en) * 2014-07-15 2016-01-26 한양대학교 산학협력단 Method and System for Smart Personalized Learning Tutoring to Provide Service of Effective Study Encouragement and Tutoring and Learning Strategy Establishment
KR20180085602A (en) * 2017-01-19 2018-07-27 주식회사 이드웨어 Device for assisting in performing brain training program for prevention of dementia, and application for executing it
KR102041848B1 (en) 2017-12-29 2019-11-08 동국대학교 산학협력단 Early detection system of depression, anxiety, premature dementia or suicide by Artificial intelligence-based speech analysis
KR20200056863A (en) * 2018-11-15 2020-05-25 웰니스인텔리전스(주) Home care data acquisition system and method for people with dementia based on lifelog
KR102237539B1 (en) * 2020-07-31 2021-04-07 이승연 System and method for determining demendia and congnitive ability using voice conversation analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160009155A (en) * 2014-07-15 2016-01-26 한양대학교 산학협력단 Method and System for Smart Personalized Learning Tutoring to Provide Service of Effective Study Encouragement and Tutoring and Learning Strategy Establishment
KR20180085602A (en) * 2017-01-19 2018-07-27 주식회사 이드웨어 Device for assisting in performing brain training program for prevention of dementia, and application for executing it
KR102041848B1 (en) 2017-12-29 2019-11-08 동국대학교 산학협력단 Early detection system of depression, anxiety, premature dementia or suicide by Artificial intelligence-based speech analysis
KR20200056863A (en) * 2018-11-15 2020-05-25 웰니스인텔리전스(주) Home care data acquisition system and method for people with dementia based on lifelog
KR102237539B1 (en) * 2020-07-31 2021-04-07 이승연 System and method for determining demendia and congnitive ability using voice conversation analysis

Also Published As

Publication number Publication date
KR102559617B1 (en) 2023-07-25

Similar Documents

Publication Publication Date Title
Li et al. TGIF: A new dataset and benchmark on animated GIF description
US10176804B2 (en) Analyzing textual data
Rost et al. Speaker variability augments phonological processing in early word learning
US10803850B2 (en) Voice generation with predetermined emotion type
KR101680007B1 (en) Method for scoring of supply type test papers, computer program and storage medium for thereof
CN111858876B (en) Knowledge base generation method, text searching method and device
Santos et al. Enriching complex networks with word embeddings for detecting mild cognitive impairment from speech transcripts
Lipping et al. Crowdsourcing a dataset of audio captions
US11289070B2 (en) System and method for identifying a speaker's community of origin from a sound sample
Ketmaneechairat et al. Natural language processing for disaster management using conditional random fields
Khorrami et al. Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning?--A computational investigation
Alishahi Computational modeling of human language acquisition
KR102088357B1 (en) Device and Method for Machine Reading Comprehension Question and Answer
Gao et al. Wavprompt: Towards few-shot spoken language understanding with frozen language models
Al-Talabani et al. Emotion recognition from speech: tools and challenges
Calix et al. Automatic detection of nominal entities in speech for enriched content search
KR102559617B1 (en) Language healing system and method based on word loss detection
Origlia et al. Automatic classification of emotions via global and local prosodic features on a multilingual emotional database
Hebbar et al. A dataset for audio-visual sound event detection in movies
Carbajal Separation and acquisition of two languages in early childhood: A multidisciplinary approach
dos Santos et al. Enriching complex networks with word embeddings for detecting mild cognitive impairment from speech transcripts
Aich et al. Towards intelligent clinically-informed language analyses of people with bipolar disorder and schizophrenia
Carbajal et al. The “language filter” hypothesis: A feasibility study of language separation in infancy using unsupervised clustering of i-vectors
Nematzadeh et al. Interaction of word learning and semantic category formation in late talking
Bhavya et al. Machine learning applied to speech emotion analysis for depression recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant