KR102487362B1 - method of diagnosing baby condition based on AI voice recognition - Google Patents
method of diagnosing baby condition based on AI voice recognition Download PDFInfo
- Publication number
- KR102487362B1 KR102487362B1 KR1020200093427A KR20200093427A KR102487362B1 KR 102487362 B1 KR102487362 B1 KR 102487362B1 KR 1020200093427 A KR1020200093427 A KR 1020200093427A KR 20200093427 A KR20200093427 A KR 20200093427A KR 102487362 B1 KR102487362 B1 KR 102487362B1
- Authority
- KR
- South Korea
- Prior art keywords
- baby
- guardian
- voice
- service system
- lullaby
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims abstract description 14
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 4
- 238000010183 spectrum analysis Methods 0.000 claims abstract description 4
- 238000003745 diagnosis Methods 0.000 claims description 33
- 230000033764 rhythmic process Effects 0.000 claims description 15
- 230000036760 body temperature Effects 0.000 claims description 3
- 206010037660 Pyrexia Diseases 0.000 claims 3
- 238000004891 communication Methods 0.000 description 11
- 230000002159 abnormal effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 1
- 238000010418 babysitting Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0208—Combination with audio or video communication, e.g. combination with "baby phone" function
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
- G08B21/0205—Specific application combined with child monitoring using a transmitter-receiver system
- G08B21/0211—Combination with medical sensor, e.g. for measuring heart rate, temperature
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B3/00—Audible signalling systems; Audible personal calling systems
- G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B6/00—Tactile signalling systems, e.g. personal calling systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Child & Adolescent Psychology (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Emergency Management (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Electromagnetism (AREA)
- Probability & Statistics with Applications (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Alarm Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명에 따른 인공지능 음성인식 기반의 아기 진단 서비스 방법은, 아기음성의 스펙트럼 분석 딥 러닝에 기초하여 아기의 상태를 판단하기 위한 맞춤형 음성분석 데이터베이스를 구축한 서비스 시스템과 연동하는 단계; 인터페이싱 장치를 통하여 획득되는 아기 음성을 상기 서비스 시스템에 전송하고 그 음석 분석결과에 따른 아기의 상태 관련정보를 획득하는 단계; 및 상기 아기의 상태정보에 따라, 보호자 단말기로 상기 아기의 상태에 대한 알람기능을 수행하거나, 상기 인터페이싱 장치를 통하여 상기 아기의 상태에 대응되는 컨텐츠를 제공하는 반응 단계를 포함할 수 있다.A method for diagnosing a baby based on artificial intelligence voice recognition according to the present invention includes the steps of interworking with a service system having a customized voice analysis database for determining a baby's condition based on deep learning spectrum analysis of a baby's voice; transmitting the baby's voice obtained through the interfacing device to the service system and acquiring state-related information of the baby according to a result of analyzing the voice; and a response step of performing an alarm function for the state of the baby through a guardian terminal or providing content corresponding to the state of the baby through the interfacing device according to the state information of the baby.
Description
본 발명은 아기 상태 진단 서비스 방법에 관한 것으로, 보다 상세하게는, 아기의 음성을 인공지능으로 분석하여 그에 적합한 피드백을 제공할 수 있는 인공지능 음성인식 기반의 아기 상태 진반 서비스 방법에 관한 것이다.The present invention relates to a baby condition diagnosis service method, and more particularly, to a baby condition diagnosis service method based on artificial intelligence voice recognition capable of analyzing a baby's voice with artificial intelligence and providing appropriate feedback thereto.
의사표현이 서툰 아기의 상태를 판단하는 중요한 요소 중 하나가 아기의 울음소리이다. 아기의 울음소리를 통하여 분명히 아기의 감정이나 상태를 구분할 수 있는 면이 있는 것이다. 그러나 아기의 울음소리를 듣고 아기의 상태를 정확히 판단하는 것에는 한계가 있을 수밖에 없다.One of the important factors in determining the condition of a baby with poor expression is the baby's cry. Through the baby's cry, there is an aspect that can clearly distinguish the baby's emotion or state. However, there is bound to be a limit to hearing the baby's cry and accurately judging the baby's condition.
지금까지 아기의 울음소리에 대한 시간-주파수 분석을 통하여 아기의 상태를 판단하기 위한 다양한 연구가 의료분야나 보육분야에서 활발하게 이루어지고 있으나, 아기의 울음소리의 특징을 기반으로 직관적이고 정확하게 아기의 상태를 판단할 수 있는 분석은 충분히 이루어져 있는 것이 현실이다.Until now, various studies have been actively conducted in the medical field or childcare field to determine the condition of the baby through time-frequency analysis of the baby's cry, but intuitively and accurately based on the characteristics of the baby's cry The reality is that there are enough analyzes to determine the state.
한편, 최근에는 방대한 데이터를 기반으로 한 딥러닝을 수행하는 인공지능을 활용하여 상황판단의 정확성을 비약적으로 향상시킬 수 있는 기술의 발전속도가 매우 빠르다. 이러한 딥러닝 기반의 인공지능 기술을 아기의 울음소리를 분석하는데 접목시킨다면 보다 정확하고 빠르게 아기의 상태를 분석할 수 있을 것이며, 그 분석 결과를 이용하여 다양한 서비스를 구현할 수 있을 것이다.On the other hand, recently, the speed of development of technology that can dramatically improve the accuracy of situational judgment by utilizing artificial intelligence that performs deep learning based on vast amounts of data is very fast. If this deep learning-based artificial intelligence technology is applied to analyzing a baby's cry, it will be possible to analyze the baby's condition more accurately and quickly, and various services can be implemented using the analysis results.
삭제delete
이에 본 발명이 해결하고자 하는 기술적 과제는, 충분한 데이터의 딥러닝을 통한 학습에 기초하여, 보다 빠르고 정확하게 아기의 울음소리로부터 아기의 상태를 분석하고 그에 적합한 서비스를 제공할 수 있는 방법을 제공하는 것이다.Therefore, the technical problem to be solved by the present invention is to provide a method that can more quickly and accurately analyze the baby's condition from the baby's cry and provide a suitable service based on learning through deep learning of sufficient data. .
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the above-mentioned technical problems, and other technical problems not mentioned can be clearly understood by those skilled in the art from the description below. There will be.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 인공지능 음성인식 기반의 아기 진단 서비스 방법은, 아기음성의 스펙트럼 분석 딥 러닝에 기초하여 아기의 상태를 판단하기 위한 음성분석 데이터베이스를 구축한 서비스 시스템과 연동하는 단계; 인터페이싱 장치를 통하여 획득되는 아기음성을 상기 서비스 시스템에 전송하고 그 음석 분석결과에 따른 아기의 상태 관련정보를 획득하는 단계; 및 상기 아기의 상태정보에 따라, 보호자 단말기로 상기 아기의 상태에 대한 알람기능을 수행하거나, 상기 인터페이싱 장치를 통하여 상기 아기의 상태에 대응되는 컨텐츠를 제공하는 반응 단계를 포함할 수 있다.In order to solve the above technical problem, the artificial intelligence voice recognition-based baby diagnosis service method according to the present invention is interlocked with a service system that has built a voice analysis database for determining the baby's condition based on the spectrum analysis deep learning of the baby's voice doing; transmitting the baby's voice obtained through the interfacing device to the service system and acquiring state-related information of the baby according to a result of analyzing the voice; and a response step of performing an alarm function for the state of the baby through a guardian terminal or providing content corresponding to the state of the baby through the interfacing device according to the state information of the baby.
상기 응답 단계는, 상기 아기의 상태가 비정상 상태로 판단되면, 상기 보호자 단말기로, 상기 비정상 상태에 대한 정보를 제공하는 단계; 상기 보호자 단말기로, 상기 비정상 상태를 해소하기 위한 추천 방안을 제공하는 단계; 및 상기 보호자 단말기로, 상기 인터페이싱 장치를 통하여 획득되는 아기 영상을 제공하는 단계를 포함할 수 있다.The responding step may include providing information about the abnormal state to the guardian terminal when the baby's condition is determined to be an abnormal state; providing, to the guardian terminal, a recommended method for resolving the abnormal state; and providing the baby image acquired through the interfacing device to the guardian terminal.
상기 응답 단계는, 상기 아기의 상태가 잠투정을 하는 것으로 판단되면, 상기 인터페이싱 장치를 통하여, 상기 서비스 시스템에 미리 저장되어 있는 보호자 음성 기반의 자장가를 상기 인터페이싱 장치를 통하여 제공하고, 상기 서비스 시스템에 미리 저장되어 있는 아기 돌봄시의 보호자 심박 리듬에 대응되는 저주파 진동을 발생하는 단계를 포함할 수 있다.In the responding step, if it is determined that the baby is struggling to sleep, a lullaby based on the voice of the guardian previously stored in the service system is provided through the interfacing device, and the service system is provided with a lullaby in advance. It may include generating a low-frequency vibration corresponding to the stored heartbeat rhythm of the guardian at the time of caring for the baby.
상기 응답 단계는, 상기 아기의 상태가 잠투정을 하는 것으로 판단되면, 상기 인터페이싱 장치를 통하여, 상기 서비스 시스템에 미리 저장되어 있는 보호자 음성 기반의 자장가를 상기 인터페이싱 장치를 통하여 제공하는 단계를 포함할 수 있다. 이때, 상기 자장가는 상기 서비스 시스템에 미리 저장되어 있는 아기 돌봄시의 보호자 심박 리듬에 기초하여 리듬이 보정된 것임이 바람직하다.The responding step may include providing, through the interfacing device, a lullaby based on the guardian's voice pre-stored in the service system, when it is determined that the baby is struggling to sleep. . At this time, it is preferable that the rhythm of the lullaby is corrected based on the heartbeat rhythm of the guardian at the time of babysitting, which is stored in advance in the service system.
상기 응답 단계는, 상기 아기의 상태가 잠투정을 하는 것으로 판단되면, 상기 보호자 단말기를 통하여 상기 아기의 상태에 대한 알람기능을 수행하는 단계; 상기 보호자 단말기에서 보호자가 부르는 자장가를 획득하여, 상기 인터페이싱 장치를 통하여 제공하는 단계; 및 상기 인터페이싱 장치를 통하여, 상기 보호자 단말기를 통하여 획득되는 상기 보호자의 심박수에 대응되는 저주파 진동을 발생하는 단계를 포함할 수 있다.The response step may include: performing an alarm function for the baby's state through the guardian's terminal when it is determined that the baby's state is in a sleepy state; acquiring a lullaby sung by the guardian from the guardian terminal and providing the lullaby through the interfacing device; and generating, through the interfacing device, low-frequency vibration corresponding to the heart rate of the guardian obtained through the guardian terminal.
본 발명에 따른 인공지능 음성인식 기반의 아기 진단 서비스 방법은, 딥러닝 기반 데이터베이스를 활용한 인공지능 음성인식 기반으로 아기의 상태를 정확하고 빠르게 판단하여 보호자 단말기로 제공할 수 있는 효과를 제공할 수 있다.The artificial intelligence voice recognition-based baby diagnosis service method according to the present invention can provide an effect that can be provided to a guardian terminal by accurately and quickly determining a baby's condition based on artificial intelligence voice recognition using a deep learning-based database. there is.
그리고 본 발명에 따른 인공지능 음성인식 기반의 아기 진단 서비스 방법은, 아기의 비정상 상태를 해소하기 위한 방안을 제공함으로써 보육 또는 육아에 대하여 보호자에게 큰 도움을 줄 수 있는 효과를 제공할 수 있다.In addition, the artificial intelligence voice recognition-based baby diagnosis service method according to the present invention can provide a great help to guardians for childcare or childcare by providing a method for resolving an abnormal state of a baby.
또한, 본 발명에 따른 인공지능 음성인식 기반의 아기 진단 서비스 방법은, 보호자의 목소리와 심박리듬을 활용한 자장가 제공을 통하여 보호자의 관여 없이도 잠투정을 하는 아기를 잠재울 수 있는 효과를 제공할 수 있다.In addition, the artificial intelligence voice recognition-based baby diagnosis service method according to the present invention can provide an effect of putting a struggling baby to sleep without the involvement of a guardian by providing a lullaby using the guardian's voice and heartbeat rhythm.
도 1은 본 발명에 따른 아기 진단 서비스 제공을 위한 전체 시스템의 구성도이다.
도 2는 본 발명에 따른 아기 진단 서비스를 수행하기 위한 인터페이싱 장치의 구성 블락도이다.
도 3은 본 발명에 따른 아기 진단 서비스 방법의 일예를 나타내는 흐름도이다.
도 4는 본 발명에 따른 아기 진단 서비스 방법에 있어서, 아기에 대한 맞춤형 음성분석 데이터베이스를 구축하는 방법을 나타내는 흐름도이다.
도 5는 본 발명에 따른 아기 진단 서비스 방법에 따라, 보호자 단말기로 제공된 알람기능의 실시예를 나타낸다.
도 6은 본 발명에 따른 아기 진단 서비스 방법의 다른 예를 나타내는 흐름도이다.
도 7은 본 발명에 따른 아기 진단 서비스 방법에 있어서, 보호자 음성 기반의 자장가를 생성하여 저장하는 방법을 나타내는 개념도이다.
도 8은 본 발명에 따른 아기 진단 서비스 방법의 또 다른 예를 설명하기 위한 개념도이다.1 is a configuration diagram of an entire system for providing a baby diagnosis service according to the present invention.
2 is a configuration block diagram of an interfacing device for performing a baby diagnosis service according to the present invention.
3 is a flowchart illustrating an example of a baby diagnosis service method according to the present invention.
4 is a flowchart illustrating a method of constructing a customized voice analysis database for a baby in the baby diagnosis service method according to the present invention.
5 shows an example of an alarm function provided to a guardian terminal according to the baby diagnosis service method according to the present invention.
6 is a flowchart illustrating another example of a baby diagnosis service method according to the present invention.
7 is a conceptual diagram illustrating a method of generating and storing a lullaby based on a guardian's voice in the baby diagnosis service method according to the present invention.
8 is a conceptual diagram illustrating another example of a baby diagnosis service method according to the present invention.
본 발명과 본 발명의 동작상 또는 기능상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention, its operational or functional advantages, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings illustrating preferred embodiments of the present invention and the contents described in the accompanying drawings.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낼 수 있다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. Like reference numerals presented in each figure may indicate like members.
도 1은 본 발명에 따른 아기 진단 서비스 제공을 위한 전체 시스템(10)의 구성도이다. 도 2는 본 발명에 따른 아기 진단 서비스를 수행하기 위한 인터페이싱 장치(100)의 구성 블락도이다.1 is a configuration diagram of the
상기 시스템(10)은 인터페이싱 수단(100), 보호자 단말기(200) 및 서비스 시스템(300)를 포함한다. 상기 인터페이싱 수단(100)은 본 발명에 따른 아기 진단 서비스 방법을 수행하기 위한 핵심적 장치로 상기 서비스 시스템(300) 및 상기 보호자 단말기(200)와 무선 통신으로 연결될 수 있다. 이에 대해서는 향후 도 2를 참조하여 보다 상세히 살펴본다.The
상기 보호자 단말기(200)에는 본 발명에 따른 아기 진단 서비스 방법을 수행하기 위한 애플리케이션이 설치되어 있으며, 상기 아기 진단 서비스의 수행에 필요한 각종 기능을 수행한다. 이에 대해서는 향후 다양한 실시예를 예로 들어 살펴본다.An application for performing the baby diagnosis service method according to the present invention is installed in the
상기 서비스 시스템(300)은 서버(310)와 데이터베이스(320)로 구성될 수 있으며, 본 발명에 다른 아기 진단 서비스 방법의 수행에 필요한 맞춤형 음성분석 데이터 베이스를 구축하고 있다. 즉, 상기 데이터베이스(320)에는 아기 음성의 스펙트럼 분석을 딥러닝에 기초하여 수행하여, 아기의 상태를 정확하면서도 빠르게 판단할 수 있도록 구축되어 있다.The
그리고 상기 서비스 시스템(300)은 상기 인터페이싱 수단(100) 또는 상기 보호자 단말기(200)로부터 수신되는 아기 음성에 대한 분석을 통하여 아기의 상태 관련 정보를 이들 기기로 제공할 수 있다. 경우에 따라 상기 서비스 시스템(300)은 직접적으로 상기 보호자 단말기(200)나 상기 인터페이싱 수단(100)을 제어하여 각종 기능을 수행할 수도 있다.In addition, the
상기 인터페이싱 수단(100)은 제어부(110), 메모리(120), 통신부(130), 마이크(140), 카메라(150), 센싱부(160), 스피커(170) 및 진동 발생부(180)를 포함한다. 한편, 상기 인터페이싱 수단(100)은 도 1 및 도 2에 도시된 구성요소들 이외의 다른 구성요소들을 포함할 수도 있고, 이들 중 적어도 하나를 덜 포함할 수도 있다.The
상기 제어부(110)는 본 발명에 따른 아기 진단 서비스를 수행하기 위한 상기 인터페이싱 수단(100)의 동작을 전반적으로 제어한다. 상기 메모리(120)에는 상기 인터페이싱 수단(100)이 본 발명에 따른 아기 진단 서비스를 수행하기 위한 기능을 수행하기 위한 애플리케이션이 저장되어 있을 수도 있고, 관련 데이터가 저장되어 있을 수도 있고, 서비스 중에 생성되는 데이터가 저장될 수도 있다.The
상기 통신부(130)는 상기 보호자 단말기(200) 및 상기 서비스 시스템(300)과 무선통신을 수행할 수 있다. 상기 보호자 단말기(200)와의 무선통신 방식은 근거리 무선통신일 수 있고, 상기 서비스 시스템(300)과의 무선통신 방식은 근거리 또는 원거리 무선통신 방식일 수 있다.The
상기 마이크(140)는 아기(400)의 음성신호를 획득할 수 있다. 상기 카메라(150)는 상기 아기(400)의 영상을 획득할 수 있다. 상기 센싱부(160)는 상기 아기(400)의 체온이나 심박수 등을 센싱할 수 있다. 상기 스피커(170)는 상기 아기에게 음향신호를 출력할 수 있다. The
상기 진동 발생부(180)는 아기가 피부로 느낄 수 있는 저주파 대역의 진동을 발생할 수 있다. 상기 마이크(140), 상기 센싱부(160), 상기 진동 발생부(180)로부터 획득된 정보는 상기 통신부(130)를 통하여 상기 보호자 단말기(200) 및 상기 서비스 시스템(300)으로 전송될 수 있다.The vibration generating
이하에서는 앞서 살펴본 시스템(10)의 구성요소들의 기능 및 다양한 도면들을 참조하여 본 발명에 따른 인공지능 음성인식 기반의 아기 진단 서비스 방법에 대해 구체적으로 살펴본다.Hereinafter, the method of diagnosing a baby based on artificial intelligence voice recognition according to the present invention will be described in detail with reference to the functions and various drawings of the components of the
도 3은 본 발명에 따른 아기 진단 서비스 방법의 일예를 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여 상기 아기 진단 서비스 방법에 대해 살펴본다.3 is a flowchart illustrating an example of a baby diagnosis service method according to the present invention. Hereinafter, the baby diagnosis service method will be described with reference to necessary drawings.
먼저, 인터페이싱 수단(100), 보호자 단말기(200) 및 서비스 시스템(300)은 상호간 통신링크를 형성하여 서로 연동된다(S100). 그런 다음, 상기 인터페이싱 수단(100)은 마이크(140)를 통하여 아기 음성을 획득하고, 상기 획득된 아기 음성은 상기 서비스 시스템(300)에 전송되고, 상기 서비스 시스템(300)의 음성분석 결과에 따른 아기의 상태와 관련된 정보가 획득된다(S110).First, the
그런 다음, 아기(400)의 상태가 비정상인지가 판단된다(S120). 만약, 상기 아기(400)의 상태가 비정상으로 판단되면, 상기 보호자 단말기(200)로의 알람이 필요한지가 판단된다(S120). 이는 상기 서비스 시스템(300) 또는 상기 인터페이싱 수단(100)에 의하여 이루어질 수 있다. 만약, 알람이 필요하다고 판단되면, 상기 서비스 시스템(300) 또는 상기 인터페이싱 수단(100)은 상기 보호자 단말기(200)에 대한 알람기능을 수행한다(S140).Then, it is determined whether the condition of the
만약, 알람이 필요 없다고 판단되면, 상기 인터페이싱 수단(100)은 상기 아기(400)의 상태에 대응되는 컨텐츠를 제공한다(S150). 제공되는 컨텐츠에는 자장가 등과 같은 음향신호, 보호자의 음성신호, 특정 주파의 저주파 진동 등이 포함될 수 있으나 본 발명의 범위가 이로 한정되는 것은 아니다.If it is determined that the alarm is unnecessary, the
도 4는 본 발명에 따른 아기 진단 서비스 방법에 있어서, 아기에 대한 맞춤형 음성분석 데이터베이스를 구축하는 방법을 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여 상기 맞춤형 데이터베이스 구축 방법에 대해 살펴본다.4 is a flowchart illustrating a method of constructing a customized voice analysis database for a baby in the baby diagnosis service method according to the present invention. Hereinafter, the customized database construction method will be described with reference to the necessary drawings.
먼저, 아기(400)의 음성을 획득하여 상기 서비스 시스템(300)으로 전송한다(S200). 이는 보호자 단말기(200) 또는 인터페이싱 수단(100)에 의하여 이루어질 수 있다. 그러면. 상기 서비스 시스템(300)은 상기 아기(400)의 음성을 분석하며, 그 분석 결과에 따른 상기 아기(400)의 상태와 관련된 정보는 상기 보호자 단말기(200) 또는 상기 인터페이싱 수단(100)으로 수신된다(S210). 물론, 이 경우, 상기 서비스 시스템(300)에는 상기 아기(400)의 음성을 분석하기 위한 맞춤형 데이터베이스가 구축되어 있는 상태이다.First, the voice of the
그러면 보호자는 상기 보호자 단말기(200) 또는 상기 인터페이싱 수단(100)을 통하여 상기 아기(400)의 상태 정보에 대한 피드백을 전송하고, 상기 서비스 시스템(300)은 상기 피드백을 수신한다(S220). 그런 다음, 상기 서비스 시스템(300)은 수신된 피드백을 적용하여 맞춤형 음성분석 데이터베이스를 업데이트한다(S230).Then, the guardian transmits feedback on the status information of the
여기서, 상기 아기(400)의 상태 정보에 대한 피드백은 상기 서비스 시스템(300)의 분석결과가 잘못되었으며 상기 아기(400)의 실질적인 상태를 알려주는 것일 수 있는데, 그러면 상기 서비스 시스템(300)은 수신된 상기 아기(400)의 음성을 상기 실질적인 상태에 대응되는 음성신호의 일예로 저장할 수 있다.Here, the feedback on the status information of the
상기 서비스 시스템(300)의 분석결과가 제대로 이루어진 것인 것을 알려주는 것일 수 있는데, 그러면 수신된 상기 아기(400)의 음성을 상기 분석결과에 대응되는 음성의 일예로 저장할 수 있다. It may indicate that the analysis result of the
도 5는 본 발명에 따른 아기 진단 서비스 방법에 따라, 보호자 단말기(200)로 제공된 알람기능의 실시예를 나타낸다. 이하 필요한 도면들을 참조하여 상기 실시예에 대해 살펴본다.5 shows an example of an alarm function provided to the
상기 보호자 단말기(200)의 화면을 참조하면, 상기 알람기능을 통하여 제공되는 정보는, 상기 아기(400)의 상태를 나타내는 메시지(210), 상기 아기(400)의 체온(220), 상기 아기(400)를 촬영한 영상(230), 상기 아기(400)의 비정상 상태를 해소하기 위한 추천방안(240) 등을 포함하는 것을 알 수 있다.Referring to the screen of the
상기 메시지(210), 상기 추천방안(240) 등은 상기 서비스 시스템(300)에 의하여 제공된 것일 수도 있고, 상기 인터페이싱 수단(100)에 의하여 제공된 것일 수도 있다. 상기 영상(230)은 상기 인터페이싱 수단(100)에 의하여 촬영되어 제공된 것일 수 있다.The
한편, 도 5를 참조하여 살펴본 알람기능은 본 발명에 따른 일예일 뿐이며, 본 발명에 따른 아기 진단 서비스 방법에 따르면, 상기 아기(400)의 상태가 비정상 상태로 판단되면, 상기 보호자 단말기(200)로 상기 비정상 상태를 나타내는 정보를 제공할 수 있고, 상기 비정상 상태를 해소하기 위한 추천 방안을 제공할 수 있으며, 상기 인터페이싱 수단(100)을 통하여 획득되는 상기 아기(400)의 영상을 제공할 수 있다.Meanwhile, the alarm function reviewed with reference to FIG. 5 is only one example according to the present invention, and according to the baby diagnosis service method according to the present invention, when the condition of the
도 6은 본 발명에 따른 아기 진단 서비스 방법의 다른 예를 나타내는 흐름도이다. 이하 필요한 도면들을 참조하여, 상기 아기 진단 서비스 방법을 살펴본다.6 is a flowchart illustrating another example of a baby diagnosis service method according to the present invention. Hereinafter, the baby diagnosis service method will be described with reference to necessary drawings.
먼저, 상기 서비스 시스템(300)에는 보호자 음성 기반의 자장가가 저장되어 있고, 아기(400) 돌봄시 상기 보호자의 심박 리듬이 저장되어 있다(S300). First, the
상기 보호자 음성 기반의 자장가는 상기 서비스 시스템(300)에서 가공한 것일 수 있는데 이에 대해서는 향후 도 7을 참조하여 보다 상세히 살펴본다. 한편, 상기 보호자의 심박 리듬은 상기 보호자가 아기를 안거나 업은 상태로 돌보는 상태에서 상기 보호자로부터 센싱한 심박 리듬일 수 있다.The guardian's voice-based lullaby may be processed by the
이 상태에서, 인터페이싱 수단(100)을 통하여 획득된 아기 음성을 분석한 결과, 상기 아기(400)가 잠투정을 하는 것으로 판단된다(S310). 그러면, 상기 인터페이싱 수단(100)은 상기 서비스 시스템(300)에 미리 저장되어 있는 보호자 음성 기반의 자장가 및 아기 돌봄시 보호자의 심박 리듬에 대응되는 저주파 진동을 발생한다(S320). 상기 저주파 진동의 주파수는 20Hz 내지 100Hz로 귀 대신 피부로 느낄 수 있는 범위인 것이 바람직하다.In this state, as a result of analyzing the baby's voice obtained through the interfacing means 100, it is determined that the
그러면, 상기 아기(400)는 상기 보호자의 음성에 기반한 자장가를 귀로 듣고, 상기 보호자가 안거나 업은 상태에서의 심박 리듬에 대응되는 저주파 진동을 피부로 느낌으로써 상기 보호자가 자신을 안거나 업은 상태에서 자장가를 불러주는 것과 같은 상태를 느끼고 편하게 잠을 청할 수 있다.Then, the
그런 다음, 상기 서비스 시스템(300)은 상기 인터페이싱 수단(100)을 통하여 획득되는 상기 아기(400)의 음성을 분석하여 상기 아기(400)가 잠투정을 중단하였는지를 판단하고(S330), 상기 판단 결과에 기초하여 S310 및 S320 단계를 반복하여 수행할지를 결정할 수 있다.Then, the
도 7은 본 발명에 따른 아기 진단 서비스 방법에 있어서, 보호자 음성 기반의 자장가를 생성하여 저장하는 방법을 나타내는 개념도이다.7 is a conceptual diagram illustrating a method of generating and storing a lullaby based on a guardian's voice in the baby diagnosis service method according to the present invention.
먼저, 보호자가 보호자 단말기(200)나 인터페이싱 수단(100)을 통하여 자신의 음성으로 자장가를 녹음한다. 그러면, 상기 녹음된 자장가는 상기 보호자 단말기(200) 또는 상기 인터페이싱 수단(100)을 통하여 상기 서비스 시스템(300)으로 전달된다.First, the guardian records the lullaby with his or her own voice through the
그러면, 상기 서비스 시스템(300)은 상기 보호자가 녹음한 자장가에 대한 음정 및 박자 보정을 수행하고(도 7의 (a) 참조), 상기 자장가에 대한 노이즈를 제거하고(도 7의 (b) 참조), 상기 자장가에 효과음을 믹싱하여(도 7의 (c) 참조), 최종적으로 상기 아기(400)에게 제공될 자장가를 생성하여 저장할 수 있다. 이때, 이러한 처리는 상기 보호자가 상기 보호자 단말기(200)를 통하여 제공되는 인터페이스를 통하여 수행한 것일 수도 있다.Then, the
한편, 본 발명의 다른 구현예에 따르면, 도 6에 도시된 것과 다른 방식으로 보호자 음성 기반의 자장가를 제공할 수도 있다. 예컨대, 상기 서비스 시스템(300)은 상기 아기(400)가 잠투정을 한다고 판단되는 경우, 상기 보호자 음성 기반의 자장가를 제공하되, 상기 자장가는 미리 저장되어 있는 아기 돌봄시의 상기 보호자의 심박 리듬에 기초하여 리듬이 보정된 것일 수 있다. 이 경우에도 상기 아기(400)는 상기 보호자가 자신을 돌보면서 자장가를 불러주는 느낌을 가지면서 편안하게 잠을 청할 수 있다.Meanwhile, according to another embodiment of the present invention, a guardian's voice-based lullaby may be provided in a manner different from that shown in FIG. 6 . For example, when it is determined that the
도 8은 본 발명에 따른 아기 진단 서비스 방법의 또 다른 예를 설명하기 위한 개념도이다.8 is a conceptual diagram illustrating another example of a baby diagnosis service method according to the present invention.
도 8은 아기(400) 잠투정을 하는 것으로 판단되어, 보호자 단말기(200)로 알람기능이 수행된 다음, 보호자(500)가 상기 보호자 단말기(200)를 통하여 자장가를 불러주면 상기 인터페이싱 수단(100)이 이를 스피거(170)를 통하여 아기(400)에게 들려주는 것을 나타낸다.8 , when it is determined that the
이때, 상기 보호자 단말기(200), 스마트 워치(미도시), 센서(미도시)를 통하여 획득된 상기 보호자(500)의 심박에 대응되는 저주파 진동이 상기 인터페이싱 수단(100)의 진동 발생부(180)에 의하여 발생될 수 있다. 이 경우에도 상기 아기(400)는 상기 보호자(500)의 자장가와 심박을 느끼면서 편안하게 잠을 청할 수 있다.At this time, the low-frequency vibration corresponding to the heartbeat of the
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, although the present invention has been described by the limited embodiments and drawings, the present invention is not limited to the above embodiments, and those skilled in the art in the field to which the present invention belongs can make various modifications and variations from these descriptions. this is possible
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments and should not be defined, but should be defined by not only the claims to be described later, but also those equivalent to these claims.
10: 전체 시스템 100: 인터페이싱 장치
110: 제어부 120: 메모리
130: 통신부 140: 마이크
150: 카메라 160: 센싱부
170: 스피커 180: 진동 발생부
200; 보호자 단말기 300: 서비스 시스템
310: 서버 320: 데이터베이스
400: 아기 500: 보호자10: overall system 100: interfacing device
110: control unit 120: memory
130: communication unit 140: microphone
150: camera 160: sensing unit
170: speaker 180: vibration generator
200; Guardian Terminal 300: Service System
310: server 320: database
400: baby 500: guardian
Claims (5)
인터페이싱 장치를 통하여 획득되는 아기 음성을 상기 서비스 시스템에 전송하고 그 음석 분석결과에 따른 아기의 상태 관련정보를 획득하는 단계; 및
상기 아기의 상태에 따라, 보호자 단말기로 상기 아기의 상태에 대한 알람기능을 수행하거나, 상기 인터페이싱 장치를 통하여 상기 아기의 상태에 대응되는 컨텐츠를 제공하는 반응 단계를 포함하며,
상기 반응 단계는,
상기 아기의 상태가 열이 나는 것으로 판단되면,
상기 보호자 단말기를 통하여 상기 아기가 열이 난다는 메시지, 상기 아기의 체온, 상기 아기의 사진 및 상기 아기의 열을 해소하기 위한 방안으로 병원이나 약국을 추천하는 단계를 포함하며,
상기 아기의 상태가 잠투정을 하는 것으로 판단되면,
보호자가 부르는 자장가를 상기 보호자 단말기를 통하여 획득하여, 아기 돌봄 시의 상기 보호자 심박 리듬에 대응되는 저주파 진동과 함께 상기 인터페이싱 장치를 통하여 제공하는 단계를 포함하는 것을 특징으로 하는, 인공지능 음성인식 기반의 아기 진단 서비스 방법.
Interworking with a service system that has built a customized voice analysis database for determining the baby's condition based on deep learning spectrum analysis of the baby's voice;
transmitting the baby's voice obtained through the interfacing device to the service system and acquiring state-related information of the baby according to a result of analyzing the voice; and
A response step of performing an alarm function for the baby's state with a guardian terminal according to the baby's state or providing content corresponding to the baby's state through the interfacing device;
The reaction step is
If the baby's condition is determined to be feverish,
recommending a message that the baby has a fever, the baby's body temperature, a picture of the baby, and a hospital or pharmacy as a way to relieve the baby's fever through the guardian terminal;
If it is determined that the baby's condition is struggling to sleep,
Acquiring a lullaby sung by the guardian through the guardian terminal and providing the lullaby through the interfacing device along with low-frequency vibration corresponding to the guardian's heartbeat rhythm when caring for the baby, based on artificial intelligence voice recognition Baby diagnostic service method.
상기 아기의 상태가 잠투정을 하는 것으로 판단되면, 상기 인터페이싱 장치를 통하여, 상기 서비스 시스템에 미리 저장되어 있는 보호자 음성 기반의 자장가를 상기 인터페이싱 장치를 통하여 제공하고, 상기 서비스 시스템에 미리 저장되어 있는 아기 돌봄 시의 보호자 심박 리듬에 대응되는 저주파 진동을 발생하는 단계를 더 포함하는 것을 특징으로 하는, 인공지능 음성인식 기반의 아기 진단 서비스 방법.
The method of claim 1, wherein the reaction step,
When it is determined that the baby is struggling to sleep, a lullaby based on the voice of the guardian previously stored in the service system is provided through the interfacing device, and the baby care pre-stored in the service system is determined. A baby diagnosis service method based on artificial intelligence voice recognition, characterized in that it further comprises the step of generating a low-frequency vibration corresponding to the heartbeat rhythm of the guardian at the time.
상기 아기의 상태가 잠투정을 하는 것으로 판단되면, 상기 인터페이싱 장치를 통하여, 상기 서비스 시스템에 미리 저장되어 있는 보호자 음성 기반의 자장가를 상기 인터페이싱 장치를 통하여 제공하는 단계를 더 포함하며,
상기 자장가는 상기 서비스 시스템에 미리 저장되어 있는 아기 돌봄 시의 보호자 심박 리듬에 기초하여 리듬이 보정된 것임을 특징으로 하는, 인공지능 음성인식 기반의 아기 진단 서비스 방법.The method of claim 1, wherein the reaction step,
If it is determined that the baby is struggling to sleep, providing, through the interfacing device, a lullaby based on the guardian's voice pre-stored in the service system through the interfacing device;
The lullaby is a baby diagnosis service method based on artificial intelligence voice recognition, characterized in that the rhythm is corrected based on the heartbeat rhythm of the guardian at the time of baby care stored in advance in the service system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200093427A KR102487362B1 (en) | 2020-07-28 | 2020-07-28 | method of diagnosing baby condition based on AI voice recognition |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200093427A KR102487362B1 (en) | 2020-07-28 | 2020-07-28 | method of diagnosing baby condition based on AI voice recognition |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220014448A KR20220014448A (en) | 2022-02-07 |
KR102487362B1 true KR102487362B1 (en) | 2023-01-12 |
Family
ID=80253135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200093427A KR102487362B1 (en) | 2020-07-28 | 2020-07-28 | method of diagnosing baby condition based on AI voice recognition |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102487362B1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100901740B1 (en) * | 2007-06-27 | 2009-06-10 | 전자부품연구원 | Cocoon-type baby-care device and baby-care system using the same |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100517741B1 (en) * | 2002-02-20 | 2005-09-29 | 고세윤 | Bedclothes for the infant |
EP3515570A4 (en) | 2016-09-19 | 2020-05-20 | The Research Institute at Nationwide Children's Hospital | Audio device and method of use |
KR102277967B1 (en) | 2021-02-02 | 2021-07-16 | (주)무지개반사 | System for providing artificial intelligence based baby monitoring service |
-
2020
- 2020-07-28 KR KR1020200093427A patent/KR102487362B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100901740B1 (en) * | 2007-06-27 | 2009-06-10 | 전자부품연구원 | Cocoon-type baby-care device and baby-care system using the same |
Non-Patent Citations (1)
Title |
---|
기사, 이제 AI가 아이를 키운다, https://blog.naver.com/creative_ct/221419231591 |
Also Published As
Publication number | Publication date |
---|---|
KR20220014448A (en) | 2022-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11675971B1 (en) | Context-aware surveys and sensor data collection for health research | |
US10852813B2 (en) | Information processing system, client terminal, information processing method, and recording medium | |
RU2613580C2 (en) | Method and system for helping patient | |
KR101520524B1 (en) | Alzheimers cognitive enabler | |
KR20180137490A (en) | Personal emotion-based computer-readable cognitive memory and cognitive insights for memory and decision making | |
US11881229B2 (en) | Server for providing response message on basis of user's voice input and operating method thereof | |
US11751813B2 (en) | System, method and computer program product for detecting a mobile phone user's risky medical condition | |
US20220183593A1 (en) | Hearing test system | |
WO2020059789A1 (en) | Information processing method, computer program, trained model, and information processing device | |
US20220108775A1 (en) | Techniques for updating a health-related record of a user of an input/output device | |
KR102487362B1 (en) | method of diagnosing baby condition based on AI voice recognition | |
US20210375448A1 (en) | Glucose prediction using machine learning and time series glucose measurements | |
US8856061B2 (en) | User experience adjustment in controllable events | |
JPWO2019181008A1 (en) | Dialogue support devices, dialogue support methods, and programs | |
WO2020105413A1 (en) | Learning system and learning method | |
US20240008766A1 (en) | System, method and computer program product for processing a mobile phone user's condition | |
JP7426790B2 (en) | Information processing method, information processing system, and computer program | |
US12050854B1 (en) | Audio-based patient surveys in a health management platform | |
CN116976439B (en) | Method, device, equipment and storage medium for identifying model contradiction phenomenon | |
US20220044771A1 (en) | Method, system, and device for providing assistance to patients with communication and memory impairment | |
KR20230081935A (en) | Smart robot for psychotheraph and controlling method thereof | |
JP2022127234A (en) | Information processing method, information processing system, and program | |
CN112489797A (en) | Accompanying method, device and terminal equipment | |
JP2020166593A (en) | User support device, user support method, and user support program | |
KR20020052662A (en) | Method for examining a children's power of concentration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
N231 | Notification of change of applicant |