KR20210061707A - Caring device and method using robot - Google Patents
Caring device and method using robot Download PDFInfo
- Publication number
- KR20210061707A KR20210061707A KR1020190149564A KR20190149564A KR20210061707A KR 20210061707 A KR20210061707 A KR 20210061707A KR 1020190149564 A KR1020190149564 A KR 1020190149564A KR 20190149564 A KR20190149564 A KR 20190149564A KR 20210061707 A KR20210061707 A KR 20210061707A
- Authority
- KR
- South Korea
- Prior art keywords
- robot
- subject
- caring
- care
- caregiver
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/06—Control stands, e.g. consoles, switchboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
- B25J19/061—Safety devices with audible signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Toys (AREA)
Abstract
Description
본 발명은 로봇을 이용한 돌봄장치 및 방법에 관한 것으로, 보다 상세하게는 돌보미와 대상자의 소통을 로봇을 매개로 수행함으로써, 자폐 등 사람과 소통이 원활하지 않은 대상자의 정서안정을 도와주고 사회훈련이 이루어질 수 있도록 한 로봇을 이용한 돌봄장치 및 방법에 관한 것이다.The present invention relates to a caring device and method using a robot, and more particularly, by performing communication between a caregiver and a subject through a robot, it helps to stabilize the emotions of a subject who is not able to communicate with a person such as autism and provides social training. It relates to a care device and method using a robot that can be achieved.
산업화, 고령화 등으로 인하여 물질적, 정서적 돌봄이 필요한 대상자 즉, 영유아, 노약자 등이 증가하고 있으며, 특히 자폐나 치매 등 장애를 가진 대상자일수록 그 요구가 증가되고 있다.Due to industrialization and aging, the number of people who need material and emotional care, ie, infants, and the elderly, is increasing. In particular, the demand for those with disabilities such as autism or dementia is increasing.
이 중, 자폐증은 다른 사람과 상호관계가 형성되지 않고 정서적인 유대감도 일어나지 않는 아동기 증후군으로 '자신의 세계에 갇혀 지내는' 것 같은 상태라고 하여 이름 붙여진 발달장애로, 사회적 교류 및 의사소통의 어려움, 언어발달지연, 행동상의 문제, 현저하게 저하된 활동 및 관심 등이 특징이다.Among them, autism is a childhood syndrome in which no mutual relationship with other people is formed and no emotional bond occurs. It is a developmental disorder named as a state of being trapped in one's own world. Difficulty in social exchange and communication, It is characterized by delayed language development, behavioral problems, and significantly reduced activity and attention.
이로 인하여 자폐증을 가진 아동은 학령기가 되면 친구가 없을 뿐 아니라 성인이 되어도 대인 관계나 이성 관계를 제대로 형성하지 못하는 문제점이 있고, 적절한 시기에 적절한 치료가 이루어지지 않는다면, 사람들과의 사회적 상호작용이 불가능하게 된다. Because of this, children with autism do not have friends when they are of school age, and they cannot form interpersonal or heterosexual relationships properly even when they become adults, and social interactions with people are impossible if appropriate treatment is not performed at the right time. It is done.
이에 따라 최근에는 대학병원, 연구기관을 중심으로 자폐증의 조기발견과 행동학적 치료가 활발히 진행되고 있으며, 비교적 사람의 감정표현보다 복잡하지 않은 동물매개 치료도 이루어지고 있다. Accordingly, in recent years, early detection and behavioral treatment of autism has been actively conducted in university hospitals and research institutes, and animal-mediated treatments that are relatively less complex than human emotion expression are also being performed.
그 예로, 반려견이 공을 물어오거나 재주를 보여주고 고양이가 깃털 장난감을 쫓아 마루 위에서 뛰어다니는 모습은 아동에게 웃음을 제공하고, 반려동물과 상호작용을 함으로써 접촉으로 인한 즐거움도 찾을 수 있으며, 이러한 기전으로 동물과 함께하는 즐거운 놀이 경험이 자폐 아동에게 사회적 발달을 촉진시켜줄 수 있는 기회를 제공한다.For example, a dog biting a ball or showing tricks, and a cat running around on the floor after a feather toy provides a laugh to a child, and interacts with a companion animal to find the joy of contact. As a result, enjoyable play experiences with animals provide opportunities for children with autism to promote social development.
또한, 동물을 쓰다듬어주는 일은 자폐 아동을 위로하고 안정감을 주는 효과가 있고, 복종훈련을 받을 수 있는 반려견의 경우 아동에게 훈련기술을 개발할 수 있는 계기를 촉진시켜줄 수 있으며, 아동의 자기개념과 자아존중감을 강화시켜주는 등 사회성 발달이 촉진된다.In addition, petting animals has the effect of comforting children with autism and giving them a sense of stability, and in the case of dogs that can receive obedience training, it can promote the opportunity to develop training skills for the child, and the child's self-concept and self-esteem. The social development is promoted, such as reinforcing them.
한편, 이러한 동물 매개 치료 과정에서 관찰자, 치료사, 보호자 등(이하 통칭하여 돌보미라 함)은 자극에 대한 아동의 반응 등을 관찰하여 기록하고, 이 기록 즉, 관찰일지를 기초로 아동의 치료 경과를 파악함과 아울러 향후 치료 방향을 결정하였다.On the other hand, in the process of animal mediated treatment, observers, therapists, guardians, etc. (hereinafter collectively referred to as caregivers) observe and record the child's response to the stimulus, that is, the progress of the child's treatment based on this record, that is, the observation log. In addition to grasping, the direction of future treatment was determined.
그러나 상기한 돌보미에 의한 관찰 및 관찰일지 기록은 시간이 많이 소요됨은 물론이며, 매우 번거로운 작업이었다.However, the observation and recording of the observation diary by the above-described caregiver took a lot of time and, of course, was a very cumbersome task.
그리고, 상기 동물 매개 치료에서 동물은 지속적으로 훈련과 관리가 필요하고, 제어가 어려우며, 경우에 따라서는 알레르기로 인하여 대상자의 치료가 불가능한 문제점이 있었다.In addition, in the animal-mediated treatment, the animal needs continuous training and management, it is difficult to control, and in some cases, there is a problem that it is impossible to treat the subject due to allergies.
따라서, 보다 효율적인 치료 또는 돌봄이 요구된다.Therefore, more efficient treatment or care is required.
상기한 문제점을 해결하기 위한 본 발명의 목적은 돌보미와 대상자의 소통을 로봇을 매개로 수행함으로써, 자폐아동이나 유아 등 다른 사람과 소통이 원활하지 않은 대상자의 정서안정을 도와줄 수 있고, 별도의 관찰일지를 작성하지 않더라도 돌봄결과가 자동으로 저장되어 언제든 돌봄상황을 확인할 수 있으며, 동물 매개 치료에서 동물을 로봇이 대신함으로써 동물을 돌보기 위한 노력이 필요하지 않고 정확한 제어가 가능한 로봇을 이용한 돌봄장치 및 방법을 제공하는 데 있다.It is an object of the present invention to solve the above problems by performing the communication between the caregiver and the subject through a robot, so that it is possible to help stabilize the emotion of the subject who is not able to communicate with other people such as autistic children or infants. Even if you do not write an observation log, the care result is automatically saved so that you can check the care situation at any time.In animal-mediated treatment, the robot replaces the animal, so no effort to care for the animal is required, and a robot-based care device and a robot capable of accurate control. There is a way to provide.
또한 로봇이 대상자의 얼굴과 음성을 인식하여 대상자의 자극에 대한 반응을 즉시 확인할 수 있도록 하여 해당 대상자에게 최적의 돌봄이 이루어질 수 있도록 하는 데 다른 목적이 있다.In addition, another object is to enable the robot to recognize the subject's face and voice so that the reaction to the subject's stimulus can be immediately confirmed, so that optimal care can be achieved for the subject.
그리고, 돌보미는 이동통신단말기에 설치된 돌봄 전용 앱을 통해서 대상자의 반응을 관찰하고 대상자와 소통중인 로봇에게 적정한 이벤트를 수행하도록 명령함으로써, 원격지에서도 대상자를 용이하게 관찰하고 돌볼 수 있도록 하는 데 다른 목적이 있다.In addition, by observing the reaction of the subject through the dedicated caring app installed on the mobile communication terminal and instructing the robot in communication with the subject to perform an appropriate event, another purpose is to make it easier to observe and take care of the subject even in a remote place. have.
상기한 목적을 달성하기위한 본 발명의 특징은, 스피커, 디스플레이, 카메라, 마이크, 이동수단, 입력수단, 이동을 제외한 각종 동작을 수행하는 모션수행수단을 포함하여 구성되고, 입력되는 제어명령에 따라 음성 및 영상신호를 출력하고 이동하거나 임의의 행동(이하 모션이라 함)을 수행하여 대상자와 상호작용을 통한 돌봄 이벤트를 수행하고, 대상자의 음성 및 영상신호를 획득하여 반응을 판단하며, 대상자의 위치를 파악하기 위한 인체 감지 센서가 구비되어 돌봄 수행 중 대상자와 일정거리 범위내에 위치되도록 이동수단이 구동되는 로봇; 로봇이 돌봄을 수행할 수 있도록 하는 전용 어플리케이션 프로그램(이하 돌봄 전용 앱이라 함)이 설치되고, 상기 돌봄 전용 앱에는 로봇이 프로그램된 메뉴얼에 따라 자동으로 이벤트를 수행하도록 하는 자동 돌봄 메뉴와 돌보미가 로봇의 동작을 직접 제어하는 수동 돌봄 메뉴를 포함하는 이동통신단말기로 구성된 돌보미 단말기; 로봇 및 돌보미 단말기로부터 전송되는 데이터를 기록하고, 대상자 돌봄을 수행하기 위한 각종 데이터가 기록되는 서버; 를 포함하여 구성되는 것을 특징으로 하는 로봇을 이용한 돌봄장치에 있다.Features of the present invention for achieving the above object are configured to include a speaker, a display, a camera, a microphone, a moving means, an input means, a motion performing means for performing various operations except for movement, and according to an input control command. Outputs voice and video signals, moves, or performs a random action (hereinafter referred to as motion) to perform a caring event through interaction with the subject, acquires the subject's voice and video signals to determine the response, and the subject's location A robot that is provided with a human body detection sensor for grasping the movement means to be positioned within a certain distance range from the subject during the caring process; A dedicated application program that enables the robot to perform caring (hereinafter referred to as a caring-only app) is installed, and in the caring-only app, an automatic care menu and a caregiver that allow the robot to automatically perform an event according to the programmed manual are installed. A caregiver terminal configured as a mobile communication terminal including a manual care menu for directly controlling the operation of the child; A server that records data transmitted from the robot and the caregiver terminal, and records various data for performing caring for the subject; There is a caring device using a robot, characterized in that configured to include.
또한, 본 발명의 다른 특징은 통신망으로 서로 연결된 로봇(10), 돌보미 단말기(20), 서버(30)를 포함하여 구성되는 돌봄 장치를 이용한 돌봄 방법에 있어서, 대상자의 정보를 로봇 또는 돌보미 단말기 또는 서버에 기록하는 과정, 로봇과 돌보미 단말기를 매칭시키고 해당 로봇과 돌보미 단말기에 돌봄의 대상자를 매칭시키고 로봇에 해당 대상자의 돌봄을위하여 프로그램된 메뉴얼에 따라 자동으로 이벤트를 수행하도록 하는 자동 돌봄 정보가 전송되는 과정, 해당 대상자별로 설정된 자동 돌봄 정보에 따른 자동 돌봄 혹은 돌보미가 돌보미 단말기를 이용하여 로봇의 동작을 직접 제어하는 수동 돌봄을 로봇이 수행하는 과정, 이벤트 수행과정 중 로봇이 대상자의 음성정보와 얼굴정보를 획득하여 이벤트에 대한 반응을 판단하는 과정, 해당 대상자의 반응에 따라 이벤트의 수행을 제어하는 과정을 포함하여 구성되는 것을 특징으로 하는 로봇을 이용한 돌봄 방법에 있다.In addition, another feature of the present invention is in the caring method using a caring device comprising a
이와 같이 구성된 본 발명에 의하면 로봇을 매개로하여 아동 등 돌봄 대상자와 소통하게 되므로 사람과 대화가 어려운 자폐아동 등의 돌봄효과가 개선되는 효과가 있고, 아동이 좋아하는 캐릭터를 이용한 돌봄이 가능하게 되므로 아동의 정서적 안정에 도움이 되는 효과가 있다.According to the present invention configured as described above, since it communicates with a care target such as a child through a robot, there is an effect of improving the caring effect of autistic children who are difficult to communicate with a person, and caring using a character that the child likes is possible. It has an effect that helps children's emotional stability.
또한 로봇은 돌물처럼 끼니를 챙기고, 씻기는 등의 관리가 필요하지 않고, 알레르기 등을 유발하지 않으므로, 누구에게나 편리하게 돌봄을 제공할 수 있는 효과가 있다.In addition, the robot does not require management such as taking meals and washing like stones, and does not cause allergies, so it has the effect of providing convenient care to anyone.
그리고 로봇을 이용하여 다양한 프로그램을 설정가능하므로 대상자에게 최적의 프로그램을 제공할 수 있어 돌봄효과를 극대화할 수 있는 효과가 있다.In addition, since a variety of programs can be set using a robot, the optimal program can be provided to the subject, thereby maximizing the care effect.
도 1은 본 발명에 따른 로봇을 이용한 돌봄장치를 나타내는 도면
도 2는 본 발명에 따른 촉각체험수단을 나타내는 도면
도 3은 본 발명에 따른 촉각체험수단의 실시 예를 나타내는 도면1 is a view showing a care device using a robot according to the present invention
2 is a view showing a tactile experience means according to the present invention
3 is a view showing an embodiment of a tactile experience means according to the present invention
이하 본 발명의 실시 예를 하기에서 첨부된 도면을 참조하여 설명한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
본 발명에서 대상자는 발육과정에서 인지, 동작, 정서, 언어, 사회심리 등 사회적 상호작용 활동을 필요로 하는 아동에서부터 해당하는 나이에 이루어져야 할 발달이 성취되지 않은 발달지체, 그리고 자폐 혹은 ADHD와 같이 사회훈련 성취도가 떨어지는 아동 등 돌봄이 필요한 아동이나, 치매 등을 갖는 노인 등이다.In the present invention, the subject is a child who needs social interaction activities such as cognition, movement, emotion, language, social psychology, etc. These include children in need of care, such as children with poor training achievement, and elderly people with dementia.
또한, 돌봄이란 사용자의 오감 및 지식 체험, 정서 교감, 감각 반응, 바른 생활습관 배우기, 역할 및 또래 그룹놀이를 통한 행동 표현하기 등과 같은 사회적 상호작용 활동을 훈련시키고 사회적 상호작용을 대상자가 느낄 수 있도록 하는 모든 행위를 말한다.In addition, caring is to train social interaction activities such as experiencing the user's five senses and knowledge, emotional communication, sensory response, learning the right lifestyle, and expressing actions through roles and peer group play, so that the subject can feel social interaction. It refers to all the actions you do.
본 발명에 따른 로봇을 이용한 돌봄장치는 크게, 통신망으로 서로 연결된 로봇(10), 돌보미 단말기(20), 서버(30)를 포함하여 구성된다.A care device using a robot according to the present invention is largely configured to include a
상기 로봇(10)은 스피커, 디스플레이, 카메라, 마이크, 이동수단, 입력수단, 이동을 제외한 각종 동작을 수행하는 모션수행수단을 포함하여 구성되고, 유아들이 좋아하는 캐릭터 형상으로 외관이 형성되어, 입력되는 제어명령에 따라 음성 및 영상신호를 출력하고 이동하거나 임의의 행동(모션)을 수행하는 등 대상자와 상호작용을 통한 돌봄 이벤트를 수행하고, 대상자의 음성 및 영상신호를 획득하여 반응을 판단한다.The
또한, 상기 로봇(10)에는 대상자의 위치를 파악하기 위한 인체 감지 센서(적외선센서, 레이저센서 등)가 구비되어, 돌봄 수행 중 대상자와 항상 일정거리 범위내에 위치되도록 함으로써 대상자에게 지속적인 돌봄 이벤트를 제공하고 대상자의 반응을 획득할 수 있도록 한다. In addition, the
즉, 대상자가 이동하면 상기 로봇(10)은 대상자를 따라서 계속 이동하여 일정 거리를 벗어나지 않도록 한다.That is, when the subject moves, the
상기에서 돌봄 이벤트는 사용자의 오감 및 지식 체험, 정서 교감, 감각 반응, 바른 생활습관 배우기, 역할 및 또래 그룹놀이를 통한 행동 표현하기 등과 같은 사회적 상호작용 활동을 훈련시키고 사회적 상호작용을 대상자가 느낄 수 있도록 하는 돌봄을 실현하기 위하여 설정된 각종 이벤트이다.In the above, the caring event trains social interaction activities such as experiencing the user's five senses and knowledge, emotional connection, sensory response, learning the right lifestyle, and expressing behavior through roles and peer group play, and the subject can feel social interaction. It is a variety of events set up to realize the care that allows.
이러한 돌봄 이벤트의 예로는 몸을 숙여 인사하기, 손을 흔들어 인사하기, 악수하기, 허그(hug) 등, 로봇이 모션을 수행하고 음성신호를 동시에 출력하는 이벤트가 있을 수 있고, 로봇이 돌보미 단말기(20)로부터 전송되는 돌보미 음성을 그대로 혹은 변조하여 출력함으로써 대상자와 대화를 통한 사회적 상호작용을 훈련하고 느낄 수 있도록 하는 이벤트가 있을 수 있으며, 녹화된 영상이나 음성을 로봇의 디스플레이와 스피커를 통해서 출력하고 그에 대한 반응을 획득하는 등 교육을 위한 이벤트가 있을 수 있으며, 이외에도 다양한 돌봄 이벤트가 있을 수 있다.Examples of such care events may include bowing down, shaking hands, shaking hands, hugs, and other events in which the robot performs motion and outputs a voice signal at the same time, and the robot is a caregiver terminal ( 20) There may be an event to train and feel the social interaction through conversation with the subject by outputting or modulating the voice of the caregiver transmitted from the patient, and the recorded video or voice is output through the display and speaker of the robot. There may be events for education such as acquiring responses to them, and there may be various caring events.
그리고, 이러한 이벤트 수행 중 로봇은 대상자의 반응에 대한 응답을 하게 되는데, 그 예로 감정(웃거나, 울거나, 화나는 감정 등)을 영상이나 음성으로 표현하거나, 칭찬을 하거나, 대상자의 행동이 잘못되었음을 꾸짖는 음성을 출력하거나, 대상자의 반응이 돌봄 이벤트에 대하여 적절하고 바른 반응이라면 그에 대한 보상을 수행할 수도 있다.And, while performing these events, the robot responds to the subject's reaction, such as expressing emotions (laughing, crying, angry emotions, etc.) with video or audio, giving praise, or indicating that the subject's behavior is wrong. It is also possible to output a scolding voice, or to compensate if the subject's response is an appropriate and correct response to a care event.
이 중 로봇이 응답으로써 감정을 표현하는 경우의 예로는, 로봇이 특정 캐릭터모양인 경우 디스플레이가 얼굴이 되어 눈과 입모양이 나타나면서 웃거나 울거나 화난 감정 등을 표현을 할 수 있고, 특정 캐릭터가 아닌 경우 디스플레이에 임의의 동물이나 사람의 얼굴이 표시되면서 감정을 표시할 수도 있으며, 이를 위하여 표시되는 얼굴의 종류 즉, 사람이나 동물 등은 돌보미 등이 입력수단을 통해서 선택할 수 있도록 그 메뉴가 로봇 또는 돌보미 단말기에 구비된다.Among them, examples of the case in which the robot expresses emotions as a response is that when the robot is in the shape of a specific character, the display becomes a face, and the shape of eyes and mouth appear to express emotions such as laughing, crying, or angry. If not, a random animal or person's face may be displayed on the display to display emotions. For this purpose, the type of face displayed, i.e., a person or animal, etc., can be selected by a caregiver through an input means. Or it is provided in the caregiver terminal.
그리고, 보상을 수행하는 것은 대상자의 반응이 적절하거나 바른 경우 상기 로봇에 사탕 등 대상자가 좋아하는 상품을 보관하고 이를 보상이 필요할때마다 한개씩 공급하는 것일 수 있으며, 이러한 상품 공급은 통상적으로 실시되고 있는 기술이므로 공지의 기술을 로봇에 적용하여 실시할 수 있다.And, performing compensation may be to store products that the subject likes, such as candy, in the robot if the subject’s reaction is appropriate or correct, and supply them one by one whenever compensation is needed. Since it is a technology, it can be implemented by applying a known technology to a robot.
상기 로봇(10)이 돌봄 이벤트 중 모션을 수행할 수 있도록 하기 위하여, 상기 로봇은 팔을 구비하거나, 다리를 구비하거나, 팔과 다리를 모두 구비할 수 있으며, 이들 팔과 다리를 들어올리고 흔드는 등의 모션 수행을 위하여 모터 등 모션 수행 수단이 구비된다.In order for the
이동수단으로는 무한궤도, 관절 등을 구동하여 전/후진, 회전, 보행 등을 수행한다.As a means of movement, a caterpillar track, joints, etc. are driven to perform forward/reverse, rotation, and walking.
이러한 모션 수행 수단 및 이동수단을 모두 구비한 로봇의 예로서 관절로봇 등이 있다.An example of a robot equipped with both such a motion performing means and a moving means includes a joint robot.
아울러, 로봇(10)은 마이크와 카메라를 통해서 획득된 신호를 이용하여 대상자의 반응 즉, 호감여부(호감, 비호감, 무관심), 감정(즐거움, 슬픔, 화남) 등을 판단하는데, 구체적으로 동공, 눈썹, 눈꺼풀, 관자놀이 등의 움직임을 종합적으로 판단하거나, 입모양으로 판단하거나, 동작으로 판단하거나, 음성으로 판단하거나, 이들을 두가지 이상 종합적으로 사용하여 판단한다.In addition, the
즉, 사람은 무언가에 의하여 놀라거나, 분노하는 경우 두 눈을 더 많이 깜빡거리게 되고, 호감을 느끼고 있는 사람과 함께 있을 때나 동시에 많은 것을 생각해야 할 때도 많이 깜빡이므로 눈꺼풀의 움직인 횟수를 기준으로 호감여부와 감정을 판단할 수 있다.In other words, when a person is surprised or angry by something, they blink more of their eyes, and when they are with a person who is feeling likable or when they have to think about a lot at the same time, they blink a lot. You can judge whether or not you are feeling.
그리고 어떤 물건이나 사람에 대해 매력을 느끼면 동공은 커지고, 불쾌감을 느끼거나 분노하거나 모순되는 것을 볼 때 동공은 수축하므로 동공의 수축정도에 따라 호감여부와 감정을 판단할 수 있다.And when you are attracted to an object or person, your pupils become larger, and when you see discomfort, anger, or contradictions, your pupils contract, so you can judge the likelihood and feelings according to the degree of contraction of the pupil.
아울러 시선을 마주치지 못하는 경우는 부끄럼을 느끼거나 거짓말을 하는 것이므로 로봇과의 대면여부 등에 의해서도 호감여부나 감정을 판단할 수 있다.In addition, if you cannot meet your gaze, you feel embarrassed or lie, so you can judge whether you like or feel likable by whether or not you are in contact with the robot.
아울러, 웃는 소리와 우는 소리 등이 다르므로 소리로 감정 등을 판단할 수도 있다.In addition, since the sound of laughing and the sound of crying are different, you can also judge your emotions by sound.
따라서, 이러한 반응들을 복합적으로 판단하여 대상자의 호감여부 및 감정을 판단하며, 보다 정확한 판단을 위해서는 대상자의 일상생활의 영상과 음성을 일정시간동안 획득하여 이 중에서 대상자의 감정에 따른 기준영상과 기준음성을 미리 획득하여 기록해두고 이후 반응판단시 이를 기준으로 반응을 판단한다.Therefore, by judging these reactions in a complex manner, the subject's liking and feelings are judged. For a more accurate determination, images and audio of the subject's daily life are acquired for a certain period of time. Is obtained in advance and recorded, and the reaction is judged based on this when the reaction is judged later.
한편, 상기 로봇에는 대상자가 촉각자극을 받을 수 있도록 몸체(팔, 다리, 몸통 등)(12)의 임의의 개소에 구멍이 천공되고, 상기 구멍내에는 촉각체험수단(14)이 구비되는데, 상기 촉각체험수단은 외주면이 다수개의 구역으로 구획되고, 각 구역마다 다른 질감을 갖는 피복재로 피복된 롤러를 모터 등을 이용하여 회전각도 및 회전동작이 제어되도록 구성된 것으로, 몸체외부로 촉감이 다른 피복재가 돌출되어 대상자가 다양한 촉감을 체험할 수 있도록 한다.On the other hand, in the robot, a hole is drilled in an arbitrary location of the body (arms, legs, trunk, etc.) 12 so that the subject can receive a tactile stimulus, and a tactile experience means 14 is provided in the hole. The tactile experience means is configured so that the outer circumferential surface is divided into a plurality of zones, and each zone is configured to control the rotation angle and rotational motion by using a motor or the like using a roller coated with a covering material having a different texture. It protrudes so that the subject can experience a variety of tactile sensations.
상기에서 피복재는 비닐, 실리콘, 직물, 플라스틱 등이다.In the above, the covering material is vinyl, silicone, fabric, plastic, and the like.
한편, 돌보미 단말기(20)의 예로는 통상의 스마트폰, 스마트패드, 노트북 등이 있으며, 상기 돌보미 단말기(20)에는 로봇을 제어하여 대상자의 돌봄을 수행할 수 있는 전용 어플리케이션 프로그램(이하 돌봄 전용 앱이라 함)이 설치된다.On the other hand, examples of the
이러한 돌보미 단말기(20)의 돌봄 전용 앱을 실행하면 화면에 돌봄을 위한 각종 메뉴가 출력되는데, 메뉴에는 로봇이 프로그램된 메뉴얼에 따라 자동으로 이벤트를 수행하도록 하는 자동 돌봄 메뉴, 돌보미가 로봇의 동작을 직접 제어하는 수동 돌봄 메뉴 등이 있다.When the care-only app of the
자동 돌봄 메뉴는 인지훈련 메뉴, 동작훈련 메뉴, 돌봄 메뉴, 언어훈련메뉴, 사회심리훈련 메뉴 등 돌봄에 필요한 각종 메뉴들이 있을 수 있으며, 이는 대상자에 따라 다양하게 설정될 수 있으며, 기본메뉴에 대해서는 서버에 대상자의 상태 즉, 자폐여부, 나이 등에 따라 적정한 돌봄이 이루어질 수 있도록 표준 돌봄 메뉴가 설정되고, 여기에 추가로 대상자의 성향에 따른 선택메뉴를 더 추가할 수도 있다.The automatic care menu may include various menus necessary for caring, such as cognitive training menu, motion training menu, caring menu, language training menu, social psychological training menu, etc., which can be set in various ways according to the subject, and the basic menu is server In addition, a standard care menu is set so that appropriate care can be made according to the subject's condition, ie, autism, age, etc., and a selection menu according to the subject's disposition may be added.
한편, 수동 돌봄은 돌보미가 직접 하는 것은 아니고 로봇을 매개로 돌봄을 수행하는 것으로, 돌보미가 대상자와 대화를 희망할 경우 상기 로봇은 단순히 돌보미의 음성을 출력하는 출력수단으로 역할을 하되, 음성변조를 통해서 출력할 수도 있고, 안거나 악수를 하는 등 돌보미가 명령하는 모션을 로봇이 대신 수행하며, 이러한 모션을 로봇이 수행하도록 상기 전용 앱에는 '악수해', '인사해', '안아줘' 등의 모션 명령 메뉴들이 제시된다.On the other hand, manual care is not performed by the caregiver directly, but is carried out through a robot. When the caregiver wishes to communicate with the subject, the robot simply acts as an output means for outputting the voice of the caregiver. It can be output through, or the robot performs motions commanded by the caregiver, such as hugging or shaking hands, and the dedicated app includes'handshake','greet','hug me', etc. so that the robot can perform these motions. Motion command menus are presented.
상기 돌보미 단말기 또는 로봇에 설치된 프로그램에는 자동 돌봄 과정에서 대상자의 반응에 따라 해당 이벤트를 기 설정된 횟수만큼 반복하도록 하거나 특정 조건에서는 해당 이벤트를 더 이상 수행하지 않고 종료하도록 할 수 있는 제어명령이 포함되어 있다.The program installed in the caregiver terminal or robot includes a control command that allows the event to be repeated a preset number of times according to the reaction of the subject during the automatic care process or to terminate the event without further executing the event under certain conditions. .
즉, 임의의 이벤트를 로봇이 수행했을 때, 대상자가 일정시간동안 로봇과 눈을 마주치지 않거나, 표정에 변화가 없는 등 관심이 없음으로 판단되면 해당 이벤트는 종료하고 다음 이벤트를 수행한다.That is, when the robot performs a certain event, if it is determined that the subject does not make eye contact with the robot for a certain period of time, or that there is no change in facial expression, the event is terminated and the next event is performed.
아울러, 로봇이 수행한 이벤트에 대해서 대상자가 로봇에 구비된 입력수단을 통해서 정확한 반응을 입력하거나, 로봇을 통해서 획득된 영상 및 음성신호의 판단을 통해서 대상자가 적절한 반응을 하는 경우, 로봇을 통해서 대상자에게 칭찬을 하는 등 보상을 수행하도록 프로그램이 설정된다.In addition, when the subject inputs an accurate response to an event performed by the robot through an input means provided in the robot, or if the subject responds appropriately through the judgment of the image and audio signals acquired through the robot, the subject through the robot Programs are set up to perform rewards, such as praising someone.
그리고 상기 돌봄 장치에는 바코드, QR코드, IC 칩등 인식수단이 구비된 그림카드를 더 구비하고, 상기 그림카드를 대상자가 로봇 부근으로 가져가면 로봇이 인식하여 해당 그림카드에 대응하는 돌봄 이벤트를 음성으로 출력해주고 그에 따른 모션이 가능한 경우 이를 수행한다.In addition, the care device further includes a picture card equipped with a recognition means such as a barcode, a QR code, and an IC chip, and when the subject takes the picture card to the vicinity of the robot, the robot recognizes and voices a care event corresponding to the picture card. It outputs and performs the motion accordingly if possible.
예를 들어 '인사합니다'라는 인사하는 그림이 그려진 그림카드가 인식된 경우, 상기 로봇은 '안녕하세요'라고 음성을 출력하면서 몸을 숙여 인사하는 모션을 취한다.For example, when a picture card with a picture saying'Greetings' is recognized, the robot performs a bowing motion while outputting a voice saying'Hello'.
상기 서버에는 대상자의 정보(이름, 나이, 장애여부, 교육 또는 치료 정도, 치료 결과 등)가 기록되어, 어떠한 로봇 또는 돌보미 단말기에서도 해당 정보를 다운로드받아 해당 대상자의 돌봄이 가능하도록 하고, 현재 해당 대상자와 매칭된 로봇 및 돌보미 단말기의 정보도 함께 매칭되고 이를 필요한 경우 변경할 수 있도록 한다.The server records the subject's information (name, age, disability, education or treatment degree, treatment result, etc.), downloads the information from any robot or caregiver terminal, and enables the subject to be cared for. The information of the robot and the caregiver terminal matched with is also matched and can be changed if necessary.
상기와 같은 구성을갖는 돌봄 장치를 이용한 돌봄 방법을 하기에서 살펴본다.A caring method using a caring device having the above configuration will be described below.
우선, 대상자의 정보를 로봇 또는 돌보미 단말기로 입력하여 서버에 기록하고, 해당 대상자와 로봇 및 돌보미 단말기를 매칭시켜 서버에 기록한다.First, the subject's information is inputted through a robot or caregiver terminal and recorded in the server, and the subject is matched with the robot and caregiver terminal and recorded in the server.
즉, 해당 대상자의 이름, 나이, 장애여부(자폐증, 등), 현재 돌봄 정도등을 입력하여 기록하고, 해당 대상자에게 돌봄을 수행한 로봇과 돌보미 단말기를 대상자정보와 매칭시켜 기록함으로써 이후 돌봄 과정에서 해당 대상자에게 최적의 돌봄 정보를 제공하고, 로봇을 통한 돌봄 실행 결과를 전달받아 서버에 기록한다.In other words, the subject's name, age, disability (autism, etc.), and current care level, etc., are input and recorded, and the robot and the caregiver terminal that cared for the subject are matched with the subject information and recorded. Optimal care information is provided to the subject, and the result of caring through the robot is received and recorded on the server.
이와 같이 대상자와 로봇 및 돌보미 단말기의 등록을 수행한 후, 해당 로봇을 통해서 돌봄을 수행하게 된다.After registering the subject, the robot, and the caregiver terminal, care is performed through the robot.
이때, 돌봄은 숫자공부, 글자공부 등의 각종 학습일 수 있고, 자폐증 치료를 위한 상호작용일 수 있으며, 단순히 관찰을 수행할 수도 있는 것으로, 대상자에게 필요한 각종 돌봄 메뉴들이 돌보미 단말기의 돌봄 전용 앱에 표시되어 돌보미가 필요한 돌봄 메뉴를 선택할 수 있도록 한다.At this time, care can be a variety of learning such as number study, letter study, etc., may be an interaction for autism treatment, and may be simply observation. Various care menus necessary for the subject are included in the care-only app of the caregiver terminal. It is displayed so that the caregiver can select the care menu that needs it.
돌보미는 돌보미 단말기에 표시된 각종 돌봄메뉴 중 하나를 선태하게 되고, 해당 선택신호가 로봇으로 전달되어 기 설정된 돌봄메뉴별 자동 돌봄을 로봇이 수행하게 된다.The caregiver selects one of the various care menus displayed on the caregiver terminal, and the corresponding selection signal is transmitted to the robot, so that the robot performs automatic care for each preset care menu.
한편, 자동 돌봄을 수행하지 않을 경우 돌보미는 돌보미 단말기를 통하여 언제든 수동 돌봄을 선택할 수 있고, 이에 따라 로봇은 돌보미 단말기로부터 출력되는 돌보미의 수동 돌봄 명령에 따라 돌봄 이벤트를 수행하게 된다.On the other hand, if automatic care is not performed, the caregiver can select manual care at any time through the caregiver terminal, and accordingly, the robot performs a care event according to the caregiver's manual care command output from the caregiver terminal.
이러한 돌봄 이벤트 수행과정 중 로봇은 대상자의 음성정보와 얼굴정보를 획득하여 이벤트에 대한 반응 즉, 관심이 있는지, 감정은 어떤지 등을 판단하고, 그에 따른 반응(웃거나, 칭찬하는 등)을 로봇이 수행하며, 필요한 경우 보상을 수행한다.During the process of carrying out such care events, the robot acquires voice information and face information of the subject, determines the reaction to the event, i.e., whether he is interested, how he feels, and responds accordingly (laughs, praises, etc.). And, if necessary, compensation.
만약 로봇이 수행한 돌봄 이벤트에 대하여 대상자가 관심이 없는 경우, 해당 돌봄 이벤트는 수행을 중단하고 다른 이벤트를 수행하며, 대상자가 관심을 갖는 이벤트에 대해서는 소정시간동안 해당 이벤트를 반복하고 그에 따라 대상자가 좋아하는 기 설정된 보상을 로봇이 수행하는 과정을 포함하여 구성되는 로봇을 이용한 돌봄장치 및 방법에 있다.If the subject is not interested in the caring event performed by the robot, the caring event is stopped and other events are performed. For the event the subject is interested in, the event is repeated for a predetermined period of time, and the subject accordingly It is in a caring device and method using a robot that is configured, including a process for the robot to perform a favorite preset reward.
10 : 로봇 20 : 돌보미 단말기
30 : 서버10: robot 20: caregiver terminal
30: server
Claims (6)
로봇이 돌봄을 수행할 수 있도록 하는 전용 어플리케이션 프로그램(이하 돌봄 전용 앱이라 함)이 설치되고, 상기 돌봄 전용 앱에는 로봇이 프로그램된 메뉴얼에 따라 자동으로 이벤트를 수행하도록 하는 자동 돌봄 메뉴와 돌보미가 로봇의 동작을 직접 제어하는 수동 돌봄 메뉴를 포함하는 이동통신단말기로 구성된 돌보미 단말기(20);
로봇 및 돌보미 단말기로부터 전송되는 데이터를 기록하고, 대상자 돌봄을 수행하기 위한 각종 데이터가 기록되는 서버(30);
를 포함하여 구성되는 것을 특징으로 하는 로봇을 이용한 돌봄장치.It is composed of a speaker, a display, a camera, a microphone, a means of movement, an input means, and a motion performing means that performs various operations excluding movement, and outputs voice and video signals according to the input control command, and moves or arbitrary actions ( Hereinafter referred to as motion) to perform a caring event through interaction with the subject, determine the reaction by acquiring the subject’s voice and image signals, and equipped with a human body sensor to determine the subject’s location, and performing caring. A robot (10) in which the moving means is driven to be located within a range of a predetermined distance from the subject;
A dedicated application program that enables the robot to perform caring (hereinafter referred to as a caring-only app) is installed, and in the caring-only app, an automatic caring menu and a caregiver that allow the robot to automatically perform an event according to the programmed manual are installed. A caregiver terminal 20 configured as a mobile communication terminal including a manual care menu for directly controlling the operation of the device;
A server 30 that records data transmitted from the robot and the caregiver terminal, and records various data for performing caring for the subject;
Care device using a robot, characterized in that configured to include.
대상자의 정보를 로봇 또는 돌보미 단말기 또는 서버에 기록하는 과정,
로봇과 돌보미 단말기를 매칭시키고 해당 로봇과 돌보미 단말기에 돌봄의 대상자를 매칭시키고 로봇에 해당 대상자의 돌봄을위하여 프로그램된 메뉴얼에 따라 자동으로 이벤트를 수행하도록 하는 자동 돌봄 정보가 전송되는 과정,
해당 대상자별로 설정된 자동 돌봄 정보에 따른 자동 돌봄 혹은 돌보미가 돌보미 단말기를 이용하여 로봇의 동작을 직접 제어하는 수동 돌봄을 로봇이 수행하는 과정,
이벤트 수행과정 중 로봇이 대상자의 음성정보와 얼굴정보를 획득하여 이벤트에 대한 반응을 판단하는 과정,
해당 대상자의 반응에 따라 이벤트의 수행을 제어하는 과정을 포함하여 구성되는 것을 특징으로 하는 로봇을 이용한 돌봄 방법.In a caring method using a caring device comprising a robot 10, a caregiver terminal 20, and a server 30 connected to each other through a communication network,
The process of recording the subject's information on the robot or caregiver terminal or server,
The process of transmitting automatic care information that matches the robot and the caregiver terminal, matches the person to be cared for with the robot and the caregiver terminal, and automatically performs an event according to the programmed manual for the care of the subject.
A process in which the robot performs automatic care according to the automatic care information set for each subject or manual care in which the caregiver directly controls the robot's motion using the caregiver terminal,
The process of determining the reaction to the event by the robot acquiring voice information and face information of the subject during the event execution process,
A caring method using a robot, comprising a process of controlling the execution of an event according to the reaction of the subject.
상기 수동 돌봄에서 돌보미가 대상자와 대화를 희망할 경우 상기 로봇은 단순히 돌보미의 음성을 출력하는 출력수단으로 역할을 하되, 음성이 그대로 출력되거나 변조를 통해서 출력될 수 있고, 로봇이 모션을 수행하도록 하는 경우 돌보미 단말기에 해당 로봇이 모션을 수행하도록 하는 메뉴가 구비된 돌봄 전용 앱이 구비되는 것을 특징으로 하는 로봇을 이용한 돌봄 방법.The method of claim 5,
In the manual care, when the caregiver wishes to communicate with the subject, the robot simply serves as an output means for outputting the caregiver's voice, but the voice may be output as it is or may be output through modulation, allowing the robot to perform motion. In case, a caring method using a robot, characterized in that a caring-only app provided with a menu for causing the robot to perform a motion is provided in the carer terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190149564A KR102350752B1 (en) | 2019-11-20 | 2019-11-20 | Caring device using robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190149564A KR102350752B1 (en) | 2019-11-20 | 2019-11-20 | Caring device using robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210061707A true KR20210061707A (en) | 2021-05-28 |
| KR102350752B1 KR102350752B1 (en) | 2022-01-13 |
Family
ID=76140410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190149564A KR102350752B1 (en) | 2019-11-20 | 2019-11-20 | Caring device using robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102350752B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023149652A1 (en) * | 2022-02-04 | 2023-08-10 | 주식회사 히포티앤씨 | Artificial intelligence-based customized content generating method for treating autism spectrum disorder |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070092839A (en) * | 2006-03-09 | 2007-09-14 | 주식회사 유진로봇 | Image processing based robot interface system |
| KR20090090476A (en) | 2008-02-21 | 2009-08-26 | 가톨릭대학교 산학협력단 | Prediction methods for autism using copy number variation and kits by using thereof |
| KR20110114664A (en) | 2009-01-16 | 2011-10-19 | 메사추세츠 인스티튜트 오브 테크놀로지 | Diagnosis and treatment of autism spectrum disorders |
| KR20190126906A (en) * | 2017-03-24 | 2019-11-12 | 후아웨이 테크놀러지 컴퍼니 리미티드 | Data processing method and device for care robot |
-
2019
- 2019-11-20 KR KR1020190149564A patent/KR102350752B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20070092839A (en) * | 2006-03-09 | 2007-09-14 | 주식회사 유진로봇 | Image processing based robot interface system |
| KR20090090476A (en) | 2008-02-21 | 2009-08-26 | 가톨릭대학교 산학협력단 | Prediction methods for autism using copy number variation and kits by using thereof |
| KR20110114664A (en) | 2009-01-16 | 2011-10-19 | 메사추세츠 인스티튜트 오브 테크놀로지 | Diagnosis and treatment of autism spectrum disorders |
| KR20190126906A (en) * | 2017-03-24 | 2019-11-12 | 후아웨이 테크놀러지 컴퍼니 리미티드 | Data processing method and device for care robot |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023149652A1 (en) * | 2022-02-04 | 2023-08-10 | 주식회사 히포티앤씨 | Artificial intelligence-based customized content generating method for treating autism spectrum disorder |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102350752B1 (en) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Papoutsi et al. | Mobile Applications to Improve Emotional Intelligence in Autism-A Review. | |
| Saunderson et al. | How robots influence humans: A survey of nonverbal communication in social human–robot interaction | |
| Breazeal | Designing sociable robots | |
| Breazeal et al. | Robot emotion: A functional perspective | |
| Kendall et al. | Considering CBT with anxious youth? Think exposures | |
| Marti et al. | Engaging with artificial pets | |
| Libin et al. | Person-robot interactions from the robopsychologists' point of view: the robotic psychology and robotherapy approach | |
| Robins et al. | Tactile interactions with a humanoid robot: novel play scenario implementations with children with autism | |
| McColl et al. | Brian 2.1: A socially assistive robot for the elderly and cognitively impaired | |
| Breazeal | Sociable machines: Expressive social exchange between humans and robots | |
| Krueger | Ontogenesis of the socially extended mind | |
| US20130078600A1 (en) | System and method of pervasive developmental disorder interventions | |
| Farmer et al. | The bodily social self: A link between phenomenal and narrative selfhood | |
| Kaburlasos et al. | Social robots for pedagogical rehabilitation: trends and novel modeling principles | |
| Tulsulkar et al. | Can a humanoid social robot stimulate the interactivity of cognitively impaired elderly? A thorough study based on computer vision methods | |
| Sumioka et al. | Technical challenges for smooth interaction with seniors with dementia: Lessons from Humanitude™ | |
| Garzotto et al. | Puffy: A mobile inflatable interactive companion for children with neurodevelopmental disorder | |
| Cooney et al. | Importance of touch for conveying affection in a multimodal interaction with a small humanoid robot | |
| Ponce et al. | Design based on fuzzy signal detection theory for a semi-autonomous assisting robot in children autism therapy | |
| Preisler | Development of communication in deafblind children | |
| KR102350752B1 (en) | Caring device using robot | |
| Zorcec et al. | Enriching human-robot interaction with mobile app in interventions of children with autism spectrum disorder | |
| Kerruish | Perception, imagination and affect in human-robot relationships | |
| Crovari et al. | Designing a smart toy: guidelines from the experience with smart dolphin" SAM" | |
| O’Callaghan et al. | Application of animal-assisted interventions in counseling settings: An overview of alternatives |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |