KR102360284B1 - System and method for intelligent healthcare based on smart mirror - Google Patents

System and method for intelligent healthcare based on smart mirror Download PDF

Info

Publication number
KR102360284B1
KR102360284B1 KR1020210146106A KR20210146106A KR102360284B1 KR 102360284 B1 KR102360284 B1 KR 102360284B1 KR 1020210146106 A KR1020210146106 A KR 1020210146106A KR 20210146106 A KR20210146106 A KR 20210146106A KR 102360284 B1 KR102360284 B1 KR 102360284B1
Authority
KR
South Korea
Prior art keywords
information
user
posture
user terminal
exercise
Prior art date
Application number
KR1020210146106A
Other languages
Korean (ko)
Inventor
김민철
이준호
권혁민
조영대
Original Assignee
주식회사 스위트케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스위트케이 filed Critical 주식회사 스위트케이
Priority to KR1020210146106A priority Critical patent/KR102360284B1/en
Application granted granted Critical
Publication of KR102360284B1 publication Critical patent/KR102360284B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a system and a method for intelligent healthcare based on a smart mirror, capable of recognizing an exercise analysis result more precisely. According to the present invention, the system for the intelligent healthcare includes: an image detection unit; a posture estimation unit; a human body visualization unit; a healthcare unit; a shared information unit; and a display management unit.

Description

스마트 미러를 기반으로 하는 지능형 헬스케어 시스템 및 방법{SYSTEM AND METHOD FOR INTELLIGENT HEALTHCARE BASED ON SMART MIRROR}SYSTEM AND METHOD FOR INTELLIGENT HEALTHCARE BASED ON SMART MIRROR

본 발명은 스마트 미러를 기반으로 하는 지능형 헬스케어 시스템 및 방법에 관한 것이다. 보다 상세하게는, 스마트 미러(미러 디스플레이)를 기반으로 사용자의 스마트폰을 연동하여 다양한 헬스케어 서비스(예를 들면, 3차원 아바타 정보, 운동 정보, 의심 질환정보, 건강 정보 등)를 제공할 수 있는 기술에 관한 것이다.The present invention relates to an intelligent healthcare system and method based on a smart mirror. More specifically, various health care services (eg, 3D avatar information, exercise information, suspected disease information, health information, etc.) can be provided by linking the user's smartphone based on the smart mirror (mirror display). It's about technology.

최근 들어, 건강관리에 대한 사람들의 관심이 높아지면서 전문 피트니스 클럽에 등록하여 체계적인 운동 프로그램으로, 자신의 건강 및 생활패턴에 기초해서 맞춤형 운동을 진행하고 있다. 하지만, 대부분의 사람들은 체계적인 운동관리의 중요성을 인정하지만, 바쁜 일상과 동기 부여의 어려움으로 인해 자신에게 맞는 운동 프로그램을 선택하고 정기적으로 전문 피트니스 클럽에 방문하여 지속적으로 운동하는 것은 상당히 어려운 것이 현실이다.In recent years, as people's interest in health care has increased, they have registered with a professional fitness club and are performing customized exercise based on their health and lifestyle as a systematic exercise program. However, most people acknowledge the importance of systematic exercise management, but the reality is that it is quite difficult to choose an exercise program that suits you and regularly visit a professional fitness club to exercise continuously due to busy daily life and difficulties in motivation. .

따라서, 가정이나 사무실 등에서 자투리 시간을 활용하여 혼자서 운동하는 홈 트레이닝(home training)이 증가하고 있는 추세에 있다. 이러한 경우, 대부분 스마트폰 동영상을 통해 다양한 종류의 헬스기구 사용법과 운동방법을 단편적으로 습득하게 되는데, 사용자(운동자)가 스스로 자신에게 적합한 운동방법을 선택하거나, 작은 스마트폰 화면을 통해 자신이 적절하게 운동을 수행하고 있는지 확인하기 어렵다는 한계를 가지고 있다. 이러한 문제점을 해결하기 위하여, 사용자가 자신의 모습을 실시간 확인하면서 정확한 운동자세를 유지하기 위하여, 거울(미러, mirror)에 카메라 기능과 디스플레이 기능을 결합하여 운동하는 자신의 모습을 실시간 확인할 뿐만 아니라, 운동하는 자신의 모습을 저장하고, 사용자의 신체 자세와 운동을 그래픽적으로 렌더링하여 시각화해주는 서비스가 주목받고 있다.Therefore, there is a trend of increasing home training (home training) to exercise alone using spare time at home or in the office. In this case, in most cases, various types of fitness equipment usage and exercise methods are learned piecemeal through smartphone videos. Users (exercises) choose an exercise method suitable for themselves or use a small smartphone screen to make their own decisions. It has a limitation in that it is difficult to check whether the exercise is being performed. In order to solve this problem, in order for the user to maintain an accurate exercise posture while checking his/her appearance in real time, the camera function and display function are combined with a mirror (mirror) to not only check his/her own exercise in real time, A service that stores the user's exercise and graphically renders and visualizes the user's body posture and movement is attracting attention.

이와 같은, 스마트 미러(Smart Mirror) 기술은 미러 디스플레이(Mirror Display)라고도 불리는데, 사용자에게 시각적으로 다양한 정보 및 실감형 디스플레이를 제공할 수 있어 헬스장, 미용실, 패션, 홍보 분야 등에서 각광받고 있다. 하지만 일반적인 스마트 미러는 2차원적인 디스플레이를 기반으로 단편적인 정보(사용자의 정면모습)의 표출에 한정되어 있으며, 스마트 미러의 터치부를 조작해야만 다양한 정보와 선택이 가능하기 때문에 사용자는 수시로 스마트 미러로 접근해야만 한다는 불편함을 가지고 있다. 또한, 다수의 사용자들이 스마트 미러를 공유하여 사용하는 방식이기 때문에 개인정보와 보안에 취약하다는 한계를 가지고 있다.Such a smart mirror technology, also called a mirror display, can provide a variety of visually and immersive displays to users, so it is spotlighted in the gym, beauty salon, fashion, public relations field, and the like. However, a general smart mirror is limited to the expression of fragmentary information (the user's front view) based on a two-dimensional display, and since various information and selections are possible only by manipulating the touch part of the smart mirror, the user can access the smart mirror from time to time. I have the inconvenience of having to do it. In addition, since a large number of users share and use the smart mirror, there is a limitation in that it is vulnerable to personal information and security.

따라서, 이상에서 설명된 바와 같이, 스마트 미러를 보다 효율적으로 활용하여 제어할 수 있고, 다양한 헬스케어 서비스를 제공할 수 있는 새로운 개념의 시스템에 대한 개발이 요구되고 있다.Therefore, as described above, the development of a new concept system that can control the smart mirror more efficiently and provide various health care services is required.

공개특허공보 제10-2021-0076539호(공개일자: 2021.06.24.)Laid-Open Patent Publication No. 10-2021-0076539 (published date: June 24, 2021)

따라서, 본 발명은 상기와 같은 종래 기술의 제반 문제점을 해결하기 위한 것으로서, 첫째, 사용자가 스마트 미러를 이용할 경우, 별도의 추가적인 센서장치나 복잡한 처리과정 없이도 사용자 단말장치(예를 들면, 스마트폰)의 카메라 모듈을 활용하여, 해당 사용자의 인체정보를 감지하고 자세를 추정하여 3차원 형상으로 시각화된 아바타를 스마트 미러를 통해 제공하는데 그 목적이 있다.Accordingly, the present invention is to solve the problems of the prior art as described above. First, when a user uses a smart mirror, a user terminal device (eg, a smart phone) without a separate additional sensor device or complicated processing process The purpose of this is to provide an avatar visualized in a three-dimensional shape through a smart mirror by detecting the user's human body information and estimating the posture using the camera module of the user.

둘째, 본 발명은 상기 사용자 단말장치의 카메라 모듈만으로도, 사용자 자신의 정면 모습뿐 아니라 좌면, 우면, 후면 등의 다양한 방향에서 자세를 확인하면서 운동할 수 있도록 하는데 다른 목적이 있다.Second, another object of the present invention is to allow the user to exercise while checking his or her posture in various directions such as the left side, the right side, and the rear side as well as the front view of the user only with the camera module of the user terminal device.

셋째, 본 발명은 상기 사용자 단말장치로부터 선택된 동영상 콘텐츠와 상기 동영상 콘텐츠를 따른 해당 사용자의 상기 자세추정 정보를 비교 분석하여, 운동정보를 제공하는데 또 다른 목적이 있다.Third, another object of the present invention is to provide exercise information by comparing and analyzing the video content selected from the user terminal device and the posture estimation information of the user according to the video content.

넷째, 본 발명은 해당 사용자의 주요 신체관절 부위의 각도 및 해당 사용자의 보행주기 분석을 통해 의심질환을 예측하여 제공하는데 또 다른 목적이 있다. Fourth, another object of the present invention is to predict and provide a suspected disease through analysis of the user's main body joint angle and the user's gait cycle.

다섯째, 본 발명은 해당 사용자의 얼굴을 인식하여 얼굴표정에 따라 운동성취도를 산출하여 적합한 운동코스를 추천하는데 또 다른 목적이 있다.Fifth, another object of the present invention is to recommend a suitable exercise course by recognizing the user's face and calculating the exercise achievement according to the facial expression.

본 발명의 상기 목적은, 통신망 상에서 스마트 미러를 기반으로 하는 시스템으로서, 사용자 단말장치와 연동하며, 상기 사용자 단말장치로부터 해당 사용자를 촬영한 영상정보를 수집하여, 이미지 전처리와 상기 이미지 전처리를 통한 분할 이미지에서 인체정보를 감지하는 영상 검출부; 감지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공하는 자세 추정부; 상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하고, 상기 3차원 형상에 상기 자세 추정정보 또는 자세정보를 입력하여 시각화된 아바타 정보를 제공하는 인체 시각화부; 상기 인체정보와 상기 자세추정 정보를 기초로 해당 사용자의 운동결과를 분석하여 운동정보를 제공하거나, 해당 사용자의 신체 관절부위와 보행정보를 분석하여 의심질환 정보 및 이를 포함하는 건강정보를 제공하는 헬스케어부; 상기 사용자 단말장치를 통해 서버에 수집된 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보 중 어느 하나 이상과, 상기 서버에서 수집된 다수의 다른 사용자 단말장치에서 제공되는 아바타 정보, 운동정보, 의심질환 정보, 상기 건강정보 중 어느 하나 이상의 정보를 유사도에 따라 그룹화하여 해당 사용자 랭킹을 포함하는 공유정보를 상기 사용자 단말장치 및 상기 다수의 다른 사용자 단말장치와 공유하는 공유정보부; 및 상기 사용자 단말장치와 연동하여 상기 사용자 단말장치로부터 선택된 동영상 콘텐츠 또는 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보, 상기 공유정보 중 어느 하나 또는 이들의 조합을 상기 스마트 미러로 표출하는 디스플레이 관리부를 포함하는 것을 특징으로 하는 지능형 헬스케어 시스템에 의해 달성된다.The above object of the present invention is a system based on a smart mirror on a communication network, which interworks with a user terminal device, collects image information photographed by the user from the user terminal device, and divides it through image pre-processing and the image pre-processing an image detection unit for detecting human body information from an image; a posture estimator providing posture estimation information through two-dimensional or three-dimensional posture analysis through a deep learning-based human pose estimation method among the detected human body information; a human body visualization unit for constructing a three-dimensional shape based on the human body information and the posture estimation information, and providing the visualized avatar information by inputting the posture estimation information or the posture information into the three-dimensional shape; A health that provides exercise information by analyzing the exercise result of the user based on the human body information and the posture estimation information, or provides suspicious disease information and health information including the same by analyzing the user's body joint parts and gait information care department; Any one or more of the avatar information, the exercise information, the suspicious disease information, and the health information collected to a server through the user terminal device, and avatar information and exercise provided from a plurality of other user terminal devices collected from the server a sharing information unit for grouping any one or more of information, suspected disease information, and the health information according to the degree of similarity to share shared information including a corresponding user ranking with the user terminal device and the plurality of other user terminal devices; and any one or a combination of the video content or the avatar information, the exercise information, the suspected disease information, the health information, and the shared information selected from the user terminal device in conjunction with the user terminal device, or a combination thereof, is displayed on the smart mirror. It is achieved by the intelligent healthcare system, characterized in that it includes a display management unit.

또한, 본 발명의 상기 목적은, 통신망 상에서 스마트 미러를 기반으로 하는 방법으로서, 사용자 단말장치와 연동하며, 상기 사용자 단말장치로부터 해당 사용자를 촬영한 영상정보를 수집하여, 이미지 전처리와 상기 이미지 전처리를 통한 분할 이미지에서 인체정보를 감지하는 영상 검출과정; 감지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공하는 자세 추정과정; 상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하고, 상기 3차원 형상에 상기 자세 추정정보 또는 자세정보를 입력하여 시각화된 아바타 정보를 제공하는 인체 시각화 과정; 상기 인체정보와 상기 자세추정 정보를 기초로 해당 사용자의 운동결과를 분석하여 운동정보를 제공하거나, 해당 사용자의 신체 관절부위와 보행정보를 분석하여 의심질환 정보 및 이를 포함하는 건강정보를 제공하는 헬스케어 과정; 상기 사용자 단말장치를 통해 서버에 수집된 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보 중 어느 하나 이상과, 상기 서버에서 수집된 다수의 다른 사용자 단말장치에서 제공되는 아바타 정보, 운동정보, 의심질환 정보, 상기 건강정보 중 어느 하나 이상의 정보를 유사도에 따라 그룹화하여 해당 사용자 랭킹을 포함하는 공유정보를 상기 사용자 단말장치 및 상기 다수의 다른 사용자 단말장치와 공유하는 공유정보 과정; 및 상기 사용자 단말장치와 연동하여 상기 사용자 단말장치로부터 선택된 동영상 콘텐츠 또는 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보, 상기 공유정보 중 어느 하나 또는 이들의 조합을 상기 스마트 미러로 표출하는 디스플레이 과정을 포함하는 것을 특징으로 하는 지능형 헬스케어를 제공하기 위한 방법에 의해서도 달성된다.In addition, the above object of the present invention is a method based on a smart mirror on a communication network, which interworks with a user terminal device, collects image information photographed by the user from the user terminal device, and performs image pre-processing and the image pre-processing An image detection process of detecting human body information in a divided image through a posture estimation process of providing posture estimation information through two-dimensional or three-dimensional posture analysis through a deep learning-based human pose estimation method among the detected human body information; a human body visualization process of constructing a three-dimensional shape based on the human body information and the posture estimation information, and providing the visualized avatar information by inputting the posture estimation information or the posture information into the three-dimensional shape; A health that provides exercise information by analyzing the exercise result of the user based on the human body information and the posture estimation information, or provides suspicious disease information and health information including the same by analyzing the user's body joint parts and gait information care process; Any one or more of the avatar information, the exercise information, the suspicious disease information, and the health information collected to a server through the user terminal device, and avatar information and exercise provided from a plurality of other user terminal devices collected from the server a shared information process of grouping any one or more of information, suspected disease information, and the health information according to the degree of similarity and sharing the shared information including the corresponding user ranking with the user terminal device and the plurality of other user terminal devices; and any one or a combination of the video content or the avatar information, the exercise information, the suspected disease information, the health information, and the shared information selected from the user terminal device in conjunction with the user terminal device, or a combination thereof, is displayed on the smart mirror. It is also achieved by a method for providing intelligent healthcare, characterized in that it includes a display process.

이 외에도, 본 발명을 구현하기 위한 다른 시스템, 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터 판독 가능한 기록 매체에 의해서도 달성된다.In addition to this, another system for implementing the present invention, a method, and a computer readable recording medium for recording a computer program for executing the method are achieved.

본 발명에 따르면, 첫째, 사용자가 스마트 미러를 이용할 경우, 별도의 추가적인 센서장치나 복잡한 처리과정 없이도 사용자 단말장치(예를 들면, 스마트폰)의 카메라 기능을 활용하여, 해당 사용자의 인체정보를 감지하고 자세를 추정하여 3차원 형상의 시각화된 아바타를 스마트 미러를 통해 편리하고 효율적으로 제공할 수 있는 효과가 있다.According to the present invention, first, when a user uses a smart mirror, the user's human body information is detected by utilizing the camera function of the user terminal device (eg, a smart phone) without a separate additional sensor device or complicated processing process. It has the effect of conveniently and efficiently providing a three-dimensional visualized avatar through a smart mirror by estimating the posture.

둘째, 본 발명에 따르면, 상기 사용자 단말장치의 카메라 모듈만으로도, 사용자 자신의 정면 모습뿐 아니라 좌면, 우면, 후면 등의 다양한 방향에서 자세를 확인하면서 운동할 수 있어 동기유발과 운동효과를 향상시킬 수 있다.Second, according to the present invention, with only the camera module of the user terminal device, the user can exercise while checking his/her posture in various directions, such as the left, right, and rear, as well as the user's own front view, thereby improving motivation and exercise effect. have.

셋째, 본 발명에 따르면, 상기 사용자 단말장치로부터 선택된 동영상 콘텐츠와 상기 동영상 콘텐츠를 따른 해당 사용자의 상기 자세추정 정보를 비교 분석하여, 운동결과 정보를 제공하여 보다 정밀한 운동분석 결과를 확인할 수 있다.Third, according to the present invention, it is possible to compare and analyze the video content selected from the user terminal device and the posture estimation information of the corresponding user according to the video content, and provide exercise result information to confirm a more precise exercise analysis result.

넷째, 본 발명에 따르면, 해당 사용자의 주요 신체관절 부위의 각도 및 해당 사용자의 보행주기 분석을 통해 의심질환을 예측하여 제공할 수 있어, 사용자의 건강상태(질환상태)에 따라 맞춤형 헬스케어 서비스를 제공할 수 있다.Fourth, according to the present invention, it is possible to predict and provide a suspected disease through the angle of the user's major body joint parts and the user's gait cycle analysis, so that a customized health care service can be provided according to the user's health condition (disease state). can provide

다섯째, 본 발명은 해당 사용자의 얼굴을 인식하여 얼굴표정에 따라 운동성취도를 산출하여 적합한 운동코스를 추천할 수 있기 때문에, 사용자의 컨디션을 반영한 합리적인 운동효과를 기대할 수 있다. Fifth, since the present invention can recommend a suitable exercise course by recognizing the user's face and calculating the exercise achievement according to the facial expression, reasonable exercise effects reflecting the user's condition can be expected.

도 1은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어를 위한 전체 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어 시스템(300)의 내부 구성을 상세하게 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어 시스템(300) 영상 검출부(310)의 인체감지를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어 시스템(300) 자세 분석부(320)의 인체 자세 추정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어를 제공하기 위한 순서도이다.
도 6을 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 인체 자세 추청과정의 순서도이다.
도 7을 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 자세비교 과정의 순서도이다.
도 8을 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 의심질환 예측 과정의 순서도이다.
도 9는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 활용을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 활용을 나타내는 다른 도면이다.
도 11은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 예시 화면이다.
도 12는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 다른 예시 화면이다.1 is a diagram showing the configuration of an entire system for intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
2 is a diagram illustrating in detail the internal configuration of an intelligent healthcare system 300 based on a smart mirror according to an embodiment of the present invention.
3 is a diagram showing the human body detection of the image detection unit 310 of the intelligent healthcare system 300 based on a smart mirror according to an embodiment of the present invention.
4 is a diagram showing the human body posture estimation of the posture analysis unit 320 of the intelligent healthcare system 300 based on the smart mirror according to an embodiment of the present invention.
5 is a flowchart for providing intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
6 is a flowchart of a human body posture tracking process of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
7 is a flowchart of a posture comparison process of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
8 is a flowchart of a suspicious disease prediction process of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
9 is a diagram illustrating the use of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
10 is another diagram illustrating the use of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
11 is an exemplary screen of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.
12 is another exemplary screen of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 본 발명에서 첨부된 구성도(블록도)의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있다. 이러한 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 인접하거나 순서에 따라 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0012] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. In the present invention, combinations of each block of the accompanying block diagram and each step of the flowchart may be performed by computer program instructions. Each such block or each step may represent a module, segment, or portion of code comprising one or more executable instructions for executing the specified logical function(s). It should also be noted that it is also possible for the functions recited in blocks or steps to occur out of order in some alternative embodiments. For example, two blocks or steps that are adjacent or shown in order may in fact be performed substantially simultaneously or that the blocks or steps may be performed in reverse order according to a corresponding function.

또한, 각각의 게시된 실시 예 내의 개별 구성요소의 위치 또는 배열은 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 그 청구항들이 주장하는 것과 균등한 모든 범위를 포괄하는 것으로 해석되어야 한다. 또한, 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭하며, 그 형태는 편의를 위하여 과장되어 표현될 수도 있다.In addition, it should be understood that the position or arrangement of individual components in each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the present invention should be construed to cover all scopes equivalent to those claimed by the claims. In addition, like reference numerals in the drawings refer to the same or similar functions in various aspects, and the form may be exaggerated for convenience.

한편, 본 발명에서 사용되는 용어들은 본 발명의 바람직한 실시 예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 이해되어야 할 것이다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "부" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.On the other hand, the terms used in the present invention are terms used to properly express preferred embodiments of the present invention, which may vary depending on the intention of the user or customs in the field to which the present invention belongs. Accordingly, definitions of these terms should be understood based on the content throughout this specification. In the entire specification, when a part "includes" a certain element, this means that other elements may be further included, rather than excluding other elements, unless otherwise stated. In addition, terms such as "unit" described in the specification mean a unit for processing at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시 예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily practice the present invention.

전체 시스템의 구성Whole system configuration

이하의 상세한 설명은, 본 발명에 의한 스마트 미러를 기반으로 하는 지능형 헬스케어를 제공하기 위한 전체 시스템에 관한 것으로, 설명의 편의를 위해, 대표적인 구성으로 통신망(100), 스마트 미러(200), 지능형 헬스케어 시스템(300), 사용자 단말장치(400) 및 서버(500)의 구성을 일 예로 들어 설명하지만, 이러한 구성이 모두 필수구성을 의미하는 것은 아니다. 다른 일 예로, 스마트 미러(200)에 지능형 헬스케어 시스템(300)가 통합되거나, 사용자 단말장치(400)에 지능형 헬스케어 시스템(300)이 통합되어 구성될 수도 있는데, 보다 구체적인 내용은 이하의 상세한 설명에 의해 이해될 수 있을 것이다.The following detailed description relates to an entire system for providing intelligent healthcare based on a smart mirror according to the present invention, and for convenience of explanation, representative configurations of the communication network 100, the smart mirror 200, and the intelligent Although the configuration of the healthcare system 300 , the user terminal device 400 , and the server 500 will be described as an example, all of these configurations do not mean essential configurations. As another example, the intelligent healthcare system 300 may be integrated into the smart mirror 200 or the intelligent healthcare system 300 may be integrated into the user terminal device 400 to be configured. It may be understood by the description.

도 1은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어를 위한 전체 시스템의 구성을 나타내는 도면이다.1 is a diagram showing the configuration of an entire system for intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 스마트 미러(200), 지능형 헬스케어 시스템(300), 사용자 단말장치(400) 및 서버(500)를 포함하여 구성될 수 있다.Referring to FIG. 1 , the entire system according to an embodiment of the present invention includes a communication network 100 , a smart mirror 200 , an intelligent healthcare system 300 , a user terminal device 400 and a server 500 . can be configured.

먼저, 본 발명의 일 실시예에 따른 통신망(100)은, 스마트 미러(200), 지능형 헬스케어 시스템(300), 사용자 단말장치(400) 및 서버(500) 간의 데이터 전송 및 정보 교환을 위한 일련의 데이터 송수신 동작을 수행할 수 있는 네트워크 망으로, 유선 및/또는 무선과 같은 그 통신 양태를 가리지 않고 구성될 수 있다.First, the communication network 100 according to an embodiment of the present invention is a series of data transmission and information exchange between the smart mirror 200 , the intelligent healthcare system 300 , the user terminal device 400 and the server 500 . It is a network network capable of performing data transmission/reception operation of

보다 구체적으로, 이러한 통신망(100)은 근거리 통신망(LAN: Local Area Network), 도시권 통신망(MAN: Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network), 종합정보통신망(ISDN: Integrated Services Digital Network), 무선랜(wireless LAN), 이동통신망(mobile communication network), 와이파이(Wireless Fidelity), 블루투스(Bluetooth) 또는 지그비(ZigBee) 등 중에서 어느 하나이거나, 이들의 조합으로 연계되어 구성될 수 있는 다양한 형태의 유/무선 통신망일 수 있으나, 이는 하나의 예를 들어 설명한 것으로, 본 발명이 이에 한정되는 것은 아니며, 공지된 통신기술을 제한없이 채택하여 사용할 수 있다. 바람직하게는, 월드와이드웹(WWW: World Wide Web) 서비스를 이용할 수 있는 인터넷 망일 수 있다.More specifically, the communication network 100 includes a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and an integrated services digital network (ISDN). ), wireless LAN, mobile communication network, Wi-Fi, Bluetooth, or ZigBee, etc., or a combination of these, and various forms that can be configured It may be a wired/wireless communication network of Preferably, it may be an Internet network that can use a World Wide Web (WWW) service.

다음으로, 본 발명의 일 실시예에 따른 스마트 미러(200)는 사용자의 요구(필요)에 따라 미러(Mirror) 기능 및 디스플레이(Display) 기능 중 적어도 하나 이상을 제공할 수 있는 장치일 수 있다.Next, the smart mirror 200 according to an embodiment of the present invention may be a device capable of providing at least one of a mirror function and a display function according to a user's request (necessity).

보다 구체적으로, 이러한 스마트 미러(200, Smart Mirror)는 사용자의 니즈(needs)에 따라 미러(Mirror) 기능 및 디스플레이(Display) 기능 중 적어도 하나 이상을 제공할 수 있는 장치로, 거울을 의미하는 '미러(Mirror)'와 정보를 시각적으로 표현하는 '디스플레이(Display)'의 합성어로 미러 디스플레이로 명칭 될 수도 있다. 이러한 스마트 미러(미러 디스플레이)는 옥내외에 제한 없이 설치되어, 광고를 포함하는 다양한 정보를 제공하는 장치일 수 있는데, 디스플레이 상에 편광기능을 포함하는 미러 필름(미도시됨)을 더 구비하고 있어, 특정 빛은 반사시키고 특정 빛은 투과시킴으로써 디스플레이와 거울의 역할을 동시에 수행할 수 있는 공지된 장치를 포괄하는 것으로 이해되어야 할 것이다.More specifically, such a smart mirror 200 (Smart Mirror) is a device that can provide at least one of a mirror function and a display function according to the user's needs, and means 'mirror' It may be called a mirror display as a compound word of 'mirror' and 'display' that visually expresses information. Such a smart mirror (mirror display) may be a device that is installed without limitation indoors or outdoors and provides various information including advertisements, and further includes a mirror film (not shown) including a polarization function on the display, It should be understood to encompass known devices capable of simultaneously performing the functions of a display and a mirror by reflecting a specific light and transmitting a specific light.

또한, 스마트 미러(200)는 디스플레이 화면 앞에 위치하는 사용자를 인식하기 위하여 카메라 장치(미도시됨)을 구비할 수 있는데, 이러한 카메라 장치를 통해 해당 사용자를 촬영하고, 이를 사용자 자신이 해당 모습(영상)을 실시간 확인하면서 정확한 운동자세를 유지할 수 있다.In addition, the smart mirror 200 may be provided with a camera device (not shown) to recognize the user located in front of the display screen. ) can be maintained in real time while maintaining an accurate exercise posture.

다만, 본 발명의 바람직한 실시 예에서는 스마트 미러(200)를 다수의 사용자들이 공유하여 사용하는 방식에서, 개인정보와 보안에 취약하다는 한계와 스마트 미러(200)를 벗어난 공간 상에서의 정보 접근성의 한계를 극복하기 위하여, 별도의 카메라 모듈(A)을 포함하는 다수의 사용자 단말장치(400)와 연동하여 해당 사용자를 촬영하고, 촬영된 영상정보를 수집하여 처리하는 기능을 적용하는 것이 바람직할 수 있다. 따라서, 사용자는 정확한 운동자세를 유지하기 위하여, 거울(미러, mirror) 기능과 디스플레이 기능을 활용하여 운동하는 자신의 모습을 사용자 단말장치(400)를 통해 촬영하여 이후 설명되는 지능형 헬스케어 시스템(300)을 통해 스마트 미러(200)로 디스플레이 되는 영상을 실시간 확인할 뿐만 아니라, 운동하는 자신의 모습을 기록하여 신체 자세와 운동결과를 그래픽적으로 3차원 렌더링하여 제공받을 수 있다.However, in a preferred embodiment of the present invention, in a method in which a plurality of users share and use the smart mirror 200, the limitation of being vulnerable to personal information and security and the limitation of information accessibility in a space outside the smart mirror 200 are eliminated. In order to overcome this, it may be desirable to apply a function of photographing a corresponding user in conjunction with a plurality of user terminal devices 400 including a separate camera module (A), and collecting and processing photographed image information. Therefore, in order to maintain an accurate exercise posture, the user takes a picture of himself exercising using a mirror function and a display function through the user terminal device 400, and the intelligent healthcare system 300 to be described later. ) through the smart mirror 200, as well as checking the image displayed by the smart mirror 200 in real time, by recording one's own exercise, body posture and exercise results can be provided by graphically three-dimensional rendering.

여기서, 스마트 미러(200)의 디스플레이 기능은 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등으로 구성될 수 있는 디스플레이 수단으로, 본 발명이 이에 한정되는 것은 아니며 공지된 디스플레이 장치를 제한 없이 채택하여 사용 수 있다. 이때, 스마트 미러(200)에는 터치스크린(touch screen)이 포함될 수 있어서 입력수단의 기능을 수행할 수 있는데, 이를 통해 쌍방향 멀티미디어 기능을 구현할 수도 있다.Here, the display function of the smart mirror 200 is a display means that can be composed of LCD (Liquid Crystal Display), OLED (Organic Light Emitting Diodes), etc., and the present invention is not limited thereto, and known display devices are not limited thereto. can be adopted and used. In this case, the smart mirror 200 may include a touch screen to perform the function of an input means, and an interactive multimedia function may be implemented through this.

다음으로, 본 발명의 일 실시예에 따른 지능형 헬스케어 시스템(300)은, 사용자 단말장치(400)와 연동하여 사용자 단말장치(400)로부터 제공하는 영상정보를 처리하여 인체 자세를 감지하고, 이를 3차원 자세로 분석하여, 운동정보, 건강정보를 연계하는 헬스케어 서비스를 제공하는 장치일 수 있다. 이때, 지능형 헬스케어 시스템(300)은 스마트 미러(200)에 구비되거나 스마트 미러(200)를 제어(연동)하는 장치에 구비될 수 있다.Next, the intelligent healthcare system 300 according to an embodiment of the present invention detects a human body posture by processing image information provided from the user terminal device 400 in conjunction with the user terminal device 400, and It may be a device that analyzes a three-dimensional posture and provides a health care service linking exercise information and health information. In this case, the intelligent healthcare system 300 may be provided in the smart mirror 200 or provided in a device that controls (interlocks) the smart mirror 200 .

보다 구체적으로, 이러한 지능형 헬스케어 시스템(300)은 스마트 미러(200)의 구동모듈(미도시됨)에 포함되도록 구비되거나, 스마트 미러(200)를 제어하는 장치에 포함되어 구비될 수 있는데, 일 예로, 사용자 단말장치(400)에 일부 또는 전부의 지능형 헬스케어 시스템(300)이 통합되어 스마트 미러(200)와 연동하여 본 발명에 의한 지능형 헬스케어 시스템(300)을 구현할 수 있을 것이다.More specifically, such an intelligent healthcare system 300 may be included in a driving module (not shown) of the smart mirror 200 or included in a device for controlling the smart mirror 200, one For example, part or all of the intelligent healthcare system 300 may be integrated into the user terminal device 400 to implement the intelligent healthcare system 300 according to the present invention by interworking with the smart mirror 200 .

이러한 지능형 헬스케어 시스템(300)은 스마트 미러(200)와 연동하는 사용자 단말장치(400)로부터 해당 사용자를 촬영하여 제공되는 영상정보를 수집하여 이미지 전처리와, 상기 이미지 전처리를 통한 분할 이미지에서 인체를 감지할 수 있다.The intelligent health care system 300 collects image information provided by photographing the user from the user terminal device 400 interlocking with the smart mirror 200, image pre-processing, and the human body in the divided image through the image pre-processing. can detect

또한, 지능형 헬스케어 시스템(300)은 상기 인체감지 정보 중에서 딥러닝 기반의 휴먼 포즈(Human Pose Estimation)를 통한 자세 검출 및 2차원의 자세분석과 3차원의 자세 분석을 수행할 수 있다.In addition, the intelligent healthcare system 300 may perform posture detection and two-dimensional posture analysis and three-dimensional posture analysis through deep learning-based human pose estimation among the human body detection information.

또한, 지능형 헬스케어 시스템(300)은 상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하고, 상기 3차원 형상에 자세정보를 입력하여, 정면, 좌면, 우면, 후면 중 어느 하나 이상을 포함하는 시각화된 아바타 정보(3차원 인체 모델)를 제공할 수도 있다.In addition, the intelligent health care system 300 configures a three-dimensional shape based on the human body information and the posture estimation information, and inputs the posture information to the three-dimensional shape, so that any one or more of the front, left, right, and rear surfaces Visualized avatar information (3D human body model) including

따라서, 스마트 미러(또는 미러 디스플레이, 200)를 기반으로 사용자의 사용자 단말장치(400)를 연동하여 다양한 헬스케어 서비스(예를 들면, 아바타 정보, 운동 정보, 의심 질환정보 및 건강 정보 등)를 제공하는 기능을 제공할 수 있다. 이러한 본 발명의 일 실시예에 따른 지능형 헬스케어 시스템(300)은 도 2를 참조한 이하의 상세한 설명에 의해 보다 구체적으로 이해될 수 있을 것이다.Accordingly, various health care services (eg, avatar information, exercise information, suspected disease information and health information, etc.) are provided by interlocking the user's user terminal device 400 based on the smart mirror (or mirror display, 200). function can be provided. The intelligent healthcare system 300 according to an embodiment of the present invention may be understood in more detail by the following detailed description with reference to FIG. 2 .

다음으로, 본 발명의 일 실시예에 따른 사용자 단말장치(400)는, 지능형 헬스케어 시스템(300)과 연동하여 스마트 미러(200)와 해당 사용자를 촬영한 영상정보 및 이와 관련된 정보를 송수신할 수 있는 기능을 포함하는 디지털 기기일 수 있다.Next, the user terminal device 400 according to an embodiment of the present invention can transmit and receive image information photographed by the smart mirror 200 and the corresponding user and related information in conjunction with the intelligent healthcare system 300 . It may be a digital device including a function.

보다 구체적으로, 사용자 단말장치(400)는 지능형 헬스케어 시스템(300)에 접속(통신)하여 사용자 단말장치(400)에 구비되는 카메라 모듈(A)에 의해 해당 사용자를 촬영하여 제공하고, 이를 스마트 미러(200)를 통해 시각적인 정보로 제공받을 수 있다.More specifically, the user terminal device 400 connects (communicates) to the intelligent health care system 300 to photograph and provide the corresponding user by the camera module (A) provided in the user terminal device 400, and provides it It may be provided as visual information through the mirror 200 .

또한, 사용자 단말장치(400)는 다수의 사용자 단말장치(400: 410, 420)일 경우, 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보 중 어느 하나 이상을 해당 사용자 단말장치(410)를 통해 서버(500)에 제공하고, 서버(500)에서 수집된 다수의 다른 사용자 단말장치(420)에서 제공되는 아바타 정보, 운동정보, 의심질환 정보, 건강정보 중 어느 하나 이상의 정보의 유사도에 따라 그룹화하여 해당 사용자의 랭킹을 포함하는 공유정보를 서버(500)로부터 제공받아 해당 사용자 단말장치(410) 및 상기 다수의 다른 사용자 단말장치(420)와 공유하는 기능을 수행할 수도 있다.In addition, when the user terminal device 400 is a plurality of user terminal devices 400: 410, 420, the user terminal device ( The degree of similarity of any one or more of avatar information, exercise information, suspicious disease information, and health information provided to the server 500 through 410) and provided by a plurality of other user terminal devices 420 collected by the server 500 It is also possible to perform a function of receiving the shared information including the ranking of the user by grouping according to the user from the server 500 and sharing with the corresponding user terminal device 410 and the plurality of other user terminal devices 420 .

또한, 사용자 단말장치(400)는 사용자가 수시로 스마트 미러(200)의 디스플레이 화면상을 터치하여 조작해야만 하는 불편함을 해소하기 위하여, 원거리에서 지능형 헬스케어 시스템(300)을 통해 접속(통신)하여 상기 스마트 미러(200)의 디스플레이를 조작할 수 있는 기능을 수행할 수도 있다.In addition, the user terminal device 400 connects (communicates) from a distance through the intelligent healthcare system 300 in order to solve the inconvenience that the user has to touch and operate the display screen of the smart mirror 200 from time to time. A function of manipulating the display of the smart mirror 200 may be performed.

또한, 사용자 단말장치(400)는 스마트 미러(200)에 직접 고정되거나, 주변에 위치하며 연동될 수 있는데, 이에 한정되는 것은 아니며, 서버(500)를 통하여 공간 상의 정보 접근성의 한계 없이, 휴대가 편리한 스마트폰 형태의 사용자 단말장치(400)를 통하여 스마트 미러(200) 및 지능형 헬스케어 시스템(300)에서 저장된 자신의 관련정보 등을 시간과 공간에 제한없이 활용할 수 있다.In addition, the user terminal device 400 may be directly fixed to the smart mirror 200 , located in the vicinity, and linked thereto, but is not limited thereto, and can be carried without limitation of information accessibility in space through the server 500 . Through the user terminal device 400 in the form of a convenient smartphone, the user's related information stored in the smart mirror 200 and the intelligent healthcare system 300 can be utilized without limitation in time and space.

이때, 상기 사용자 단말장치(400)에 구비되는 카메라 모듈(A)은 이미지 센서와 기본적인 영상 처리 모듈을 포함하는 카메라 장치일 수 있어, 외부에서 피사체를 통해 반사되는 빛을 센싱하여 피사체에 대한 이미지를 획득할 수 있는 기능을 수행할 수 있다. 이러한 카메라는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있으며, 또한, 상기 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보인 사용자의 인체 객체를 추출할 수 있다.In this case, the camera module (A) provided in the user terminal device 400 may be a camera device including an image sensor and a basic image processing module, and senses light reflected through the subject from the outside to display an image of the subject. Functions that can be obtained can be performed. Such a camera may process a still image or a moving image obtained by an image sensor (eg, CMOS or CCD), and the image processing module processes the still image or moving image obtained through the image sensor to obtain necessary information It is possible to extract the human body object of the human user.

따라서, 사용자 단말장치(400)는 상기 3차원 자세추정 정보를 반영하여 사용자에 따른 맞춤형 운동정보를 생성/제공할 수 있으며, 이러한 사용자 단말장치(400)에는 본 발명에 의한 다양한 헬스케어 서비스(예를 들면, 3차원 아바타 정보, 운동 정보, 의심 질환정보 및 건강 정보 등) 및 헬스케어 관련 정보를 처리하고 관리할 수 있는 전용 앱(App) 또는 동일한 기능의 전용 웹(Web) 프로그램이 더 설치되어 있을 수 있다.Accordingly, the user terminal device 400 can generate/provide customized exercise information according to the user by reflecting the three-dimensional posture estimation information, and the user terminal device 400 includes various health care services (eg, For example, a dedicated app that can process and manage 3D avatar information, exercise information, suspected disease information and health information) and healthcare-related information or a dedicated web program with the same function is further installed. there may be

한편, 이상에서 설명된, 본 발명의 실시 예에 따른 사용자 단말장치(400: 401, 420)는 이동통신단말장치, 정보통신기기, 멀티미디어 단말장치, 유선 단말장치, 무선 단말장치 및 IP(Internet Protocol) 단말장치 등의 다양한 공지된 디지털 기기가 제한 없이 채택될 수 있다. 구체적으로, 단말장치는 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 폴더블 단말기(Foldable Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device) 등과 같이 메모리 수단을 구비하고 마이크로프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기로, 정보를 입력할 수 있는 키보드, 마우스 등의 입력수단을 구비하면서, 유/무선의 통신기능을 포함하고 있다면 얼마든지 본 발명에 따른 단말장치로서 채택될 수 있을 것이다.Meanwhile, as described above, the user terminal devices 400: 401 and 420 according to the embodiment of the present invention are a mobile communication terminal device, an information communication device, a multimedia terminal device, a wired terminal device, a wireless terminal device, and an IP (Internet Protocol) device. ) A variety of known digital devices such as a terminal device may be employed without limitation. Specifically, the terminal device includes a smart phone, a portable terminal, a mobile terminal, a foldable terminal, a personal digital assistant (PDA), and a portable multimedia (PMP). Player) terminal, telematics terminal, slate PC, tablet PC, ultrabook, wearable device, etc., equipped with memory means and equipped with a microprocessor for computing power As a digital device equipped with a , it can be adopted as a terminal device according to the present invention as long as it includes input means such as a keyboard and mouse for inputting information and includes a wired/wireless communication function.

마지막으로, 본 발명의 일 실시예에 따른 서버(500)는 통신망(100) 상에서 스마트 미러(200), 지능형 헬스케어 시스템(300) 및/또는 사용자 단말장치(400)와 정보를 송수신하는 운영 서버의 기능을 수행할 수 있다.Finally, the server 500 according to an embodiment of the present invention is an operation server that transmits and receives information with the smart mirror 200 , the intelligent healthcare system 300 and/or the user terminal device 400 on the communication network 100 . can perform the function of

보다 구체적으로, 서버(500)는 스마트 미러(200) 마다 지능형 헬스케어 시스템(300)이 설치되어 있을 경우, 이들을 효율적으로 운영할 수 있도록 지능형 헬스케어 시스템(300)에서 제공되는 아바타 정보, 운동 정보, 의심 질환정보 및 건강 정보 중 어느 하나 이상을 해당 사용자 단말장치(410)를 통해 수집하여 관리하고, 이를 다른 사용자 단말장치(420)로 제공하는 기능을 수행할 수 있다. 즉, 상기 정보의 유사도에 따라 그룹화하여 해당 사용자 랭킹을 포함하는 공유정보를 사용자 단말장치(410) 및 상기 다수의 다른 사용자 단말장치(420)와 공유할 수 있도록 통합적으로 운영하는 서버의 기능을 수행할 수 있다.More specifically, when the intelligent healthcare system 300 is installed for each smart mirror 200, the server 500 provides avatar information and exercise information provided by the intelligent healthcare system 300 to efficiently operate them. , it is possible to perform a function of collecting and managing any one or more of suspicious disease information and health information through the corresponding user terminal device 410 , and providing it to another user terminal device 420 . That is, by grouping according to the degree of similarity of the information, it performs the function of a server that operates integrally to share the shared information including the corresponding user ranking with the user terminal device 410 and the plurality of other user terminal devices 420 . can do.

예를 들면, 서버(500)는 인터넷 사이트의 운영 서버일 수 있는데, 이때, 서버(500)에서는 스마트 미러(200), 지능형 헬스케어 시스템(300) 및/또는 사용자 단말장치(400)를 연결하는 전용 앱(App) 및/또는 웹(Web) 프로그램을 운영하거나, 이를 지원하는 기능을 수행할 수 있다. 또한, 서버(500)는 디지털 정보 디스플레이(200)의 콘텐츠 플랫폼을 구현하기 위한 애플리케이션이 구동할 수 있도록, 웹/앱 상에서 API(Application Programming Interface)와 같은 애플리케이션을 구축할 수 있도록 필요한 인터페이스를 지원하는 기능을 수행할 수도 있다.For example, the server 500 may be an operating server of an Internet site. In this case, the server 500 connects the smart mirror 200 , the intelligent healthcare system 300 and/or the user terminal device 400 . A dedicated app and/or web program may be operated, or a function supporting it may be performed. In addition, the server 500 supports an interface necessary to build an application such as an API (Application Programming Interface) on the web/app so that an application for implementing the content platform of the digital information display 200 can be driven. function can also be performed.

한편, 본 발명의 일 실시예를 나타내는 도 1에서는 스마트 미러(200)와 지능형 헬스케어 시스템(300)이 별개로 구성되어 있는 것으로 도시되어 있지만, 본 발명을 구현 시 필요에 따라, 스마트 미러(200)와 지능형 헬스케어 시스템(300)을 통합하여 구성하거나, 지능형 헬스케어 시스템(300)과 사용자 단말장치(400)를 통합하여 구성할 수 있는 것은 당업자에게 자명할 것이다.On the other hand, although it is shown that the smart mirror 200 and the intelligent healthcare system 300 are separately configured in FIG. 1 showing an embodiment of the present invention, if necessary when implementing the present invention, the smart mirror 200 ) and the intelligent healthcare system 300 may be integrated, or the intelligent healthcare system 300 and the user terminal device 400 may be integrated and configured to be apparent to those skilled in the art.

지능형 헬스케어 시스템(300)의 구성Configuration of the intelligent healthcare system 300

이하의 상세한 설명에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 지능형 헬스케어 시스템(300)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.In the following detailed description, the internal configuration of the intelligent healthcare system 300 that performs an important function for the implementation of the present invention and the function of each component will be described.

도 2는 본 발명의 일 실시예에 따른 지능형 헬스케어 시스템(300)의 내부 구성을 상세하게 도시한 도면이다.2 is a diagram illustrating in detail the internal configuration of the intelligent healthcare system 300 according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 지능형 헬스케어 시스템(300)은 영상 검출부(310), 자세 분석부(320), 인체 시각화부(330), 헬스케어부(340), 공유정보부(350), 디스플레이 관리부(360), 데이터베이스(370), 통신부(380) 및 제어부(390)를 포함하여 구성될 수 있다.Referring to FIG. 2 , the intelligent healthcare system 300 according to an embodiment of the present invention includes an image detection unit 310 , a posture analysis unit 320 , a human body visualization unit 330 , a healthcare unit 340 , and sharing It may be configured to include an information unit 350 , a display management unit 360 , a database 370 , a communication unit 380 , and a control unit 390 .

이러한 본 발명의 일 실시예에 따르면, 영상 검출부(310), 자세 분석부(320), 인체 시각화부(330), 헬스케어부(340), 공유정보부(350), 디스플레이 관리부(360), 데이터베이스(370), 통신부(380) 및 제어부(390)는 그 중 적어도 일부가 스마트 미러(200), 사용자 단말장치(400) 및/또는 서버(500)와 데이터를 송수신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 지능형 헬스케어 시스템(300)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있는데, 하드웨어적인 구성요소(예를 들면, 범용 프로세서, 전용 프로세서) 및/또는 소프트웨어적인 구성요소(예를 들면, 펌웨어, 애플리케이션, 프로그램 모듈)와 이들의 조합으로 구현될 수 있다. 또한, 이러한 프로그램 모듈들은 지능형 헬스케어 시스템(300)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 본 발명이 이에 한정되는 것은 아니다.According to this embodiment of the present invention, the image detection unit 310, the posture analysis unit 320, the human body visualization unit 330, the healthcare unit 340, the shared information unit 350, the display management unit 360, the database At least some of the 370 , the communication unit 380 , and the control unit 390 may be program modules for transmitting and receiving data with the smart mirror 200 , the user terminal device 400 , and/or the server 500 . These program modules may be included in the intelligent healthcare system 300 in the form of an operating system, an application program module, and other program modules, and may be physically stored in various known storage devices, For example, it may be implemented as a general-purpose processor, a dedicated processor) and/or a software component (eg, firmware, an application, a program module) and a combination thereof. In addition, these program modules may be stored in a remote storage device capable of communicating with the intelligent healthcare system 300 . Meanwhile, these program modules include routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks to be described later or execute specific abstract data types according to the present invention, but the present invention is not limited thereto. .

먼저, 본 발명의 일 실시예에 따른 영상 검출부(310)는 스마트 미러(200)와 연동하는 사용자 단말장치(400)로부터 해당 사용자를 촬영하여 제공되는 영상정보를 수집하여 이미지 전처리와, 상기 이미지 전처리를 통한 분할 이미지에서 인체를 감지하는 기능을 수행할 수 있다.First, the image detection unit 310 according to an embodiment of the present invention collects image information provided by photographing a corresponding user from the user terminal device 400 interworking with the smart mirror 200 to perform image pre-processing and the image pre-processing It is possible to perform the function of detecting the human body in the divided image through

보다 구체적으로, 이러한 영상 검출부(310)는 사용자 단말장치(400)에 구비되는 카메라 모듈(A)로부터 해당 사용자의 모습을 촬영하여 제공되는 영상정보를 기초로, 이미지 전처리를 수행할 수 있는데, 카메라 모듈(A)에서 수신된 영상 데이터를 스트림 방식으로 획득하여 카메라 모듈(A)에서 획득된 데이터를 시간 순서에 따라 이미지로 추출하는 기능을 수행할 수 있다. 또한, 상기 이미지 데이터를 객체 탐지 모듈에 맞게 사이즈 조정 등의 데이터 전처리를 수행하여 상기 이미지 전처리를 통한 분할 이미지에서 카메라 모듈(A) 정면의 사람 인지를 위한 인체 감지(Body Detection) 기능을 수행할 수도 있다.More specifically, the image detection unit 310 may perform image pre-processing based on image information provided by photographing the user's appearance from the camera module A provided in the user terminal device 400 , the camera It is possible to perform a function of obtaining the image data received from the module (A) in a stream manner and extracting the data obtained from the camera module (A) as an image according to time sequence. In addition, by performing data pre-processing such as adjusting the size of the image data to fit the object detection module, a body detection function for recognizing a person in front of the camera module (A) in the divided image through the image pre-processing may be performed. have.

이러한 본 발명의 일 실시예에 따른 영상 검출부(310)는 도 3을 참조한 이하의 상세한 설명에 의해 보다 구체적으로 이해될 수 있을 것이다.The image detection unit 310 according to an embodiment of the present invention may be understood in more detail by the following detailed description with reference to FIG. 3 .

다음으로, 본 발명의 일 실시예에 따른 자세 추정부(320)는, 탐지된 상기 인체감지 정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation)을 방식 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공하는 기능을 수행할 수 있다.Next, the posture estimator 320 according to an embodiment of the present invention performs a two-dimensional or three-dimensional posture analysis through deep learning-based human pose estimation among the detected human body sensing information. It can perform a function of providing posture estimation information.

보다 구체적으로, 이러한 자세 추정부(320)는 이미지 전처리와 인체 감지(Body Detection) 기능을 통해 탐색된 인체감지 정보에 대하여, 딥러닝 기반의 인체 자세추정(Human Pose Estimation)을 방식 통한 2차원의 자세분석 또는 3차원의 자세분석을 수행하여 자세추정 정보를 얻을 수 있다. 예를 들면, 2차원의 자세추정 방식으로는, FPD(Fast Human Pose Estimation) 학습방식을 활용하여 수행할 수 있으며, 3차원의 자세추정 방식으로는, 3D Human Pose Estimation 에는 3D Body Model을 가지고 하는 Model-based 방식과 3D 모델 없이 추정하는 Model-free방식을 사용할 수 있다. 다만 본 발명이 이에 한정되는 것은 아니며 공지된 다양한 방식의 인체 자세추정 기술을 모두 포괄하는 의미로 이해되어야 할 것이다.More specifically, the posture estimator 320 performs image pre-processing and body detection for the human body detection information discovered through the function of body detection, in a two-dimensional manner through deep learning-based Human Pose Estimation. Posture estimation information can be obtained by performing posture analysis or three-dimensional posture analysis. For example, as a two-dimensional posture estimation method, it can be performed by using the FPD (Fast Human Pose Estimation) learning method. A model-based method and a model-free method for estimating without a 3D model can be used. However, the present invention is not limited thereto, and it should be understood to encompass all known techniques for estimating human body postures in various ways.

또한, 자세 추정부(320)는 데이터 검증을 위하여, 비전기반으로 자세를 추정하는 기능을 수행할 수 있는데, 예를 들면, 초당 10 ~ 15프레임의 이미지를 대상으로 매번 수행하여 얻는 특정 이미지에서 빛 반사 등 여러 가지 요인으로 추정된 값이 오차가 일정 범위 이상일 경우, 해당 데이터에 대하여 이전 5프레임과 비교하여 오차 데이터를 중간 평균값으로 보정하는 데이터 검증 단계를 수행할 수 있다. 이때 프레임 수와 오차 크기(범위)는 가변적으로 설정할 수 있다.In addition, the posture estimator 320 may perform a function of estimating the posture based on vision for data verification. For example, light in a specific image obtained by performing every time for images of 10 to 15 frames per second When the error of a value estimated by various factors such as reflection is within a certain range, a data verification step of correcting the error data to an intermediate average value may be performed by comparing the corresponding data with the previous 5 frames. In this case, the number of frames and the error size (range) can be variably set.

또한, 자세 추정부(320)는 카메라의 특성이 다르고, 촬영 거리도 다르기 때문에 추정된 이미지 내의 사람의 자세정보에 대한 위치값은 각각 다르게 추정될 수 있다. 이때, 스케일(Scale) 조정 단계를 추가하여, 인체 감지(Body Detection)된 대각선 값을 1로 기준하여, 각 관절의 추정된 위치값을 재조정할 수 있다. 따라서, 상대적으로 안정된 자세 추정값을 용이하게 얻을 수 있다.Also, since the posture estimator 320 has different camera characteristics and different shooting distances, position values for posture information of a person in the estimated image may be estimated differently. In this case, by adding a scale adjustment step, the estimated position value of each joint may be readjusted based on the diagonal value detected by the body detection as 1. Accordingly, a relatively stable posture estimation value can be easily obtained.

이러한 본 발명의 일 실시예에 따른 자세 추정부(320)는 도 4 내지 도 6을 참조한 이하의 상세한 설명에 의해 보다 구체적으로 이해될 수 있을 것이다.The posture estimator 320 according to an embodiment of the present invention may be understood in more detail by the following detailed description with reference to FIGS. 4 to 6 .

다음으로, 본 발명의 일 실시예에 따른 인체 시각화부(330)는, 상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하고, 상기 3차원 형상에 상기 자세 추정정보 또는 자세정보를 입력하여 시각화 된 아바타 정보를 제공하는 기능을 수행할 수 있다.Next, the human body visualization unit 330 according to an embodiment of the present invention configures a three-dimensional shape based on the human body information and the posture estimation information, and adds the posture estimation information or posture information to the three-dimensional shape. It can perform a function of providing visualized avatar information by inputting it.

보다 구체적으로, 이러한 인체 시각화부(330)는 상기 인체정보와 상기 인체 자세 추정(Human Pose Estimation) 방식을 통한 자세추정 정보를 분석하고 비교하여, 이를 기초로 사용자 단말장치(400)의 해당 사용자에게 적합한 3차원 형상을 구성하고, 상기 3차원 형상에 자세정보를 입력하여 자세 변화에 따른 시각화된 아바타 정보를 생성하여 제공할 수 있다. 이때, 미리 촬영된 해당 사용자의 상기 정면, 좌면, 우면, 후면 중 어느 하나 이상의 기본 자세를 반영하여 시각화된 상기 아바타의 3차원 특징을 더 정밀하게 제공할 수 있다.More specifically, the human body visualization unit 330 analyzes and compares the human body information and the posture estimation information through the Human Pose Estimation method, and based on this, provides the user of the user terminal device 400 to the corresponding user. A suitable three-dimensional shape may be configured, and posture information may be input to the three-dimensional shape to generate and provide visualized avatar information according to a change in posture. In this case, the three-dimensional characteristics of the visualized avatar may be more precisely provided by reflecting the pre-photographed basic posture of one or more of the front, left, right, and rear of the corresponding user.

이러한 인체 시각화부(330)에서 상기 3차원 형상 구성은, 인체 자세 추정(Human Pose Estimation)에서 추정된 형상(shape) 파라미터와 자세(pose) 파라미터를 사용하여 인체 모델(Human body model)에 적용하여 3차원으로 인체 시각화를 구현할 수 있다. 이어서, 사전에 정의된 인체 모델(Human body model)을 이용하여 2D 정보 분석기로부터 받은 분할(segmentation)정보와 2차원 연결(joint) 정보를 활용하여 3차원 형태의 사람의 표면(Human body shape)을 추론할 수 있다.The three-dimensional shape configuration in the human body visualization unit 330 is applied to a human body model using shape parameters and pose parameters estimated in Human Pose Estimation. It is possible to implement human body visualization in 3D. Then, using a predefined human body model, segmentation information and 2D joint information received from the 2D information analyzer are used to generate a three-dimensional human body shape. can be inferred.

이어서, CNN 기반의 분석모듈을 이용하여 주어진 연결(joint) 정보를 이용하여 인체 모델(Human body model)의 형태 파라미터(shape parameter)와 자세 파라미터(pose parameter)를 추정하여 인체 모델(Human body model)의 인자값을 구성할 수 있다. 이어서, 인체 모델(Human body model)에 형태 및 자세 파라미터를 적용하여 출력된 인체 모델(Human body model)의 더미메쉬(dummy mesh)에 분할(segmentation)값을 이용하여 뒤틀림(Warping)시켜 3차원 메쉬값을 추정할 수 있다. 이어서, 최종 출력값은 3차원 메쉬형태의 데이터와 분할(segmentation) 값으로 구성되어 가시화 모듈로 전달될 수 있다.Then, using the joint information given using the CNN-based analysis module, shape parameters and pose parameters of the human body model are estimated to form a human body model. You can configure the argument values of . Then, the dummy mesh of the human body model output by applying the shape and posture parameters to the human body model is warped by using the segmentation value to warp the 3D mesh. value can be estimated. Subsequently, the final output value may be composed of three-dimensional mesh data and segmentation values and transmitted to the visualization module.

또한, 이러한 인체 시각화부(330)에서 상기 3차원 자세 적용 및 가시화는, 상기 3차원 구성된 모델의 자세 정보를 입력하여 자세를 변화시켜 3D 메쉬(mesh) 정보를 얻을 수 있다. 이어서, 3차원 모델 구성부로부터 받은 3차원 메쉬의 정규화 및 이상치 보간 과정을 통해 메쉬(mesh)값을 보정할 수 있는데, 상기 분할(segmentation) 값을 이용하여 보정된 메쉬에 Texturing을 적용하여 입력 영상의 최종 3차원 형태를 복원하여 3차원 인체 캐릭터를 시각화 할 수 있다.In addition, the 3D posture application and visualization in the human body visualization unit 330 may obtain 3D mesh information by changing the posture by inputting the posture information of the 3D constructed model. Next, the mesh value can be corrected through the normalization and outlier interpolation process of the 3D mesh received from the 3D model configuration unit. Texturing is applied to the corrected mesh using the segmentation value to obtain the input image. 3D human character can be visualized by restoring the final 3D shape of

이러한 본 발명의 일 실시예에 따른 인체 시각화부(330)는 도 5를 참조한 이하의 상세한 설명에 의해 보다 구체적으로 이해될 수 있을 것이다.The human body visualization unit 330 according to an embodiment of the present invention may be understood in more detail by the following detailed description with reference to FIG. 5 .

다음으로, 본 발명의 일 실시예에 따른 헬스케어부(340)는 상기 인체정보와 상기 자세추정 정보를 기초로 해당 사용자의 운동결과를 분석하여 운동정보를 제공하거나, 해당 사용자의 신체관절 부위와 보행정보를 분석하여 의심질환 정보를 포함하는 건강정보를 제공하는 기능을 수행할 수 있다.Next, the health care unit 340 according to an embodiment of the present invention analyzes the exercise result of the user based on the human body information and the posture estimation information and provides exercise information, or provides exercise information with the user's body joint parts and It is possible to perform a function of providing health information including suspicious disease information by analyzing gait information.

보다 구체적으로, 이러한 헬스케어부(340)는 사용자 단말장치(400)로부터 선택된 동영상 콘텐츠(예를 들면, 운동학습용 영상)와 상기 동영상 콘텐츠를 따른 해당 사용자의 상기 자세추정 정보를 비교하여, 해당 사용자의 신체 부위의 위치 및 각도의 피크 프레임을 탐색하고 분석하여, 상기 동영상 콘텐츠와 해당 사용자의 상기 자세추정 정보 중에서 동일 동작에 대한 비교분석을 통해 상기 운동결과 정보를 제공할 수 있다.More specifically, the healthcare unit 340 compares the video content (eg, an exercise learning video) selected from the user terminal device 400 with the posture estimation information of the user according to the video content, and the user By searching for and analyzing the peak frame of the position and angle of the body part, the exercise result information can be provided through comparative analysis of the same motion among the video content and the posture estimation information of the user.

또한, 헬스케어부(340)는 상기 인체정보와 상기 자세추정 정보를 기초로 동작을 분류하여, 해당 사용자의 주요 신체관절 부위의 각도 및 해당 사용자의 보행 시 완주 시간의 데이터를 대상으로 분석을 통해 의심 질환을 분류하며, 상기 신체관절 부위의 각도인 가동 범위를 측정하여 최대각도 탐색하고, 해당 사용자의 보행정보를 분석하여 주요 신체 부위의 각도(가동 범위)와 주기가 되는 거리 파라미터, 걸음 주기 소요시간의 보행 파라미터를 분석하여 의심질환 정보를 포함하는 상기 건강정보를 제공할 수 있다.In addition, the health care unit 340 classifies the motion based on the human body information and the posture estimation information, and analyzes the angle of the user's main body joint parts and the data of the user's lap time when walking. Classify the suspected disease, measure the range of motion, which is the angle of the body joint, to search for the maximum angle, and analyze the user's gait information to determine the angle (range of motion) of the main body part, the distance parameter to be the cycle, and the gait cycle required By analyzing the walking parameters over time, the health information including suspicious disease information may be provided.

또한, 상기 헬스케어부(340)는, 상기 인체정보와 상기 자세추정 정보를 기초로 동작을 분류하여, 해당 사용자의 신체관절 부위의 각도 및 해당 사용자의 보행 시 완주 시간의 데이터를 대상으로 분석을 통해 의심 질환을 분류할 수 있다.In addition, the health care unit 340 classifies the motion based on the human body information and the posture estimation information, and analyzes the angle of the user's body joint part and the data of the user's lap time when walking. Suspected disease can be classified through

예를 들면, 해당 사용자에 대한 운동이력에 대한 조회와 시각화가 가능한 운동기록 제공 모듈, 오십견 및 체간불균형 등의 진단 내용 조회와 시각화가 가능한 진단내용 제공 모듈, 연령/성별/질환별 강습을 선택하고 시각화가 가능한 강습추천 모듈 중 어느 하나 이상을 포함할 수 있다.For example, select an exercise record providing module that enables inquiry and visualization of exercise history for the user, a diagnostic content providing module that enables inquiry and visualization of diagnostic contents such as frozen shoulder and trunk imbalance, and classes by age/sex/disease It may include any one or more of the tutorial recommendation modules that can be visualized.

이때, 상기 운동기록 제공 모듈, 진단내용 제공 모듈, 강습추천 모듈에 포함된 시각화 기능은, 운동 및 재활동작 등의 콘텐츠 영상을 시각화하는 강습 영상 출력기능, 주요신체 부위의 각도 변화에 따른 횟수를 측정하는 시각화가 가능한 동작 횟수 측정기능, 주요신체 부위의 시간에 따른 각도 변화의 정확도를 시각화하는 동작 횟수 측정기능, 오차가 큰 동작의 세부 부분의 확대하여 시각화하는 동작 오류 조회기능, 운동을 수행한 사용자의 모습을 상세하게 시각화하는 운동 영상 촬영기능 중 어느 하나 이상을 제공할 수 있다. 이러한 AI 알고리즘을 통한 처리과정은 공지의 기술을 채택하여 사용할 수 있기 때문에, 본 발명에서는 상세한 설명을 생략하도록 한다.At this time, the visualization function included in the exercise record providing module, the diagnosis content providing module, and the instruction recommendation module measures the number of times according to the change in the angle of the main body part and the instruction image output function to visualize the content image such as exercise and rehabilitation. A function to measure the number of motions that can be visualized, a function to measure the number of motions to visualize the accuracy of the angle change over time of major body parts, a motion error inquiry function to enlarge and visualize the details of a motion with a large error, and a user who performed the exercise It is possible to provide any one or more of the motion image shooting function to visualize the appearance in detail. Since the processing process through the AI algorithm can be used by adopting a known technique, a detailed description thereof will be omitted in the present invention.

또한, 상기 헬스케어부(340)는 해당 사용자의 얼굴을 인식하여 얼굴표정에 따라 운동성취도를 산출하며, 이에 따른 운동코스를 상기 운동정보에 포함하여 추천하는 기능을 수행할 수도 있다. 즉, 본 발명은 해당 사용자를 촬영한 영상정보를 처리하여 인체 감지, 인체 자세추정(Human Pose Estimation) 및 3차원 형상구성의 인체 시각화 과정을 수행하는데, 이에 추가하여 해당 사용자의 얼굴을 인식하는 안면기술을 적용하여 상기 얼굴표정에 따라 컨디션을 추정하고 이에 맞는 운동성취도를 산출하여 최적의 운동코스를 추천할 수 있다. 따라서, 사용자의 컨디션을 반영한 합리적인 운동효과를 기대할 수 있는데, 예를 들면, 해당 사용자 얼굴표정 마다의 컨디션 정보를 미리 지능형 헬스케어 시스템(300) 및/또는 사용자 단말장치(400)에 등록해 두고, 운동 당일 촬영된 해당 사용자의 얼굴표정을 인식하여 기 저장된 얼굴표정 정보와 매칭하여 가장 유사한 얼굴표정에 해당하는 컨디션 정보를 기초로 운동성취도를 예상하여 산출할 수 있다. 이해를 돕기 위하여, 일 예로 사용자 얼굴인식을 통해 5점 만점에 1점의 컨디션 정보가 저장된 얼굴표정이 매칭될 경우, 상기 컨디션 정보에 따라 운동성취도를 낮게 예상하여 비교적 쉬운강도 및 짧은주기의 운동코스를 해당 사용자에게 스마트 미러(200) 상의 디스플레이를 통해 추천하여 제공해 줄 수 있다.In addition, the health care unit 340 may recognize the user's face, calculate the exercise achievement according to the facial expression, and perform a function of recommending the exercise course according to the recognition in the exercise information. That is, the present invention processes the image information photographed by the user to perform human body detection, human pose estimation, and human body visualization process of 3D shape configuration. In addition, facial recognition that recognizes the user's face By applying the technology, it is possible to estimate the condition according to the facial expression and calculate the appropriate exercise achievement to recommend an optimal exercise course. Therefore, a reasonable exercise effect reflecting the user's condition can be expected. For example, condition information for each user's facial expression is registered in advance in the intelligent health care system 300 and/or the user terminal device 400, By recognizing the user's facial expression photographed on the day of exercise, matching it with pre-stored facial expression information, it is possible to estimate and calculate the exercise performance level based on condition information corresponding to the most similar facial expression. In order to help understanding, for example, when a facial expression that stores condition information of 1 point out of 5 through user face recognition is matched, exercise performance is expected to be low according to the condition information, and exercise course of relatively easy intensity and short cycle may be recommended and provided to the user through the display on the smart mirror 200 .

다음으로, 본 발명의 일 실시예에 따른 공유정보부(350)는, 사용자 단말장치(400: 410, 420)를 통해 서버(500)에 수집된 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보 중 어느 하나 이상과, 상기 서버(500)에서 수집된 다수의 다른 사용자 단말장치(420)에서 제공되는 아바타 정보, 운동정보, 의심질환 정보, 상기 건강정보 중 어느 하나 이상의 정보를 유사도에 따라 그룹화하여 해당 사용자 랭킹을 포함하는 공유정보를 사용자 단말장치(410) 및 상기 다수의 다른 사용자 단말장치(420)와 공유하는 기능을 수행할 수 있다.Next, the sharing information unit 350 according to an embodiment of the present invention includes the avatar information, the exercise information, the suspicious disease information, Any one or more of the health information and any one or more of avatar information, exercise information, suspicious disease information, and the health information provided from a plurality of other user terminal devices 420 collected from the server 500 are combined with a degree of similarity. According to the grouping, it is possible to perform a function of sharing shared information including the corresponding user ranking with the user terminal device 410 and the plurality of other user terminal devices 420 .

보다 구체적으로, 이러한 공유정보부(350)는, 다수의 사용자 단말장치(400: 410, 420)의 아바타 정보, 운동정보, 의심질환 정보, 상기 건강정보 중 어느 하나 이상의 정보를 유사도에 따라 그룹화하여 랭킹을 포함하는 공유정보를 공유할 수 있다. 예를 들면, 사용자의 나이, 성별, 운동종류, 의심질환 종류, 건강상태의 유사도에 따라 그룹화하고, 해당 그룹에서는 운동결과의 랭킹 순위를 부여하여 제공할 수 있다.More specifically, the shared information unit 350 groups and ranks one or more of the avatar information, exercise information, suspicious disease information, and health information of a plurality of user terminal devices 400: 410 and 420 according to the degree of similarity. You can share shared information, including For example, the users may be grouped according to the user's age, gender, exercise type, suspected disease type, and similarity of health status, and a ranking order of exercise results may be provided in the corresponding group.

다음으로, 본 발명의 일 실시예에 따른 디스플레이 관리부(360)는, 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보, 상기 공유정보 중 어느 하나 또는 이들의 조합을 스마트 미러(200)로 표출하는 디스플레이 하는 기능을 수행할 수 있다.Next, the display management unit 360 according to an embodiment of the present invention displays any one or a combination of the avatar information, the exercise information, the suspected disease information, the health information, and the shared information to the smart mirror 200 ) can perform a display function.

보다 구체적으로, 이러한 디스플레이 관리부(360)는 스마트 미러(200)의 미러 기능과 디스플레이 기능 중에서, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 등으로 구성될 수 있는 디스플레이 기능을 제어하여, 스마트 미러(200)를 기반으로 사용자 단말장치(400, 예를 들면, 사용자의 스마트폰)을 연동하여 다양한 헬스케어 서비스(예를 들면, 아바타 정보, 운동정보, 의심질환 정보 및 건강정보 등) 정보를 시각적으로 제공할 수 있다.More specifically, the display management unit 360 controls a display function that can be composed of a liquid crystal display (LCD), organic light emitting diodes (OLED), etc. among the mirror function and display function of the smart mirror 200, Various healthcare services (eg, avatar information, exercise information, suspicious disease information, health information, etc.) information by interlocking a user terminal device 400 (eg, a user's smartphone) based on the smart mirror 200 can be provided visually.

다음으로, 본 발명의 일 실시예에 따른 데이터베이스(370)는, 영상정보, 인체정보, 자세추정 정보, 아바타 정보, 운동정보, 의심질환 정보, 건강정보 및 공유정보 등을 저장할 수 있는 저장장치일 수 있다. 이때, 스마트 미러(200), 사용자 단말장치(400) 및/또는 서버(500)의 접속(로그인) 정보, 정보 송수신 내역 등을 더 저장할 수도 있다. 이러한, 데이터베이스는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라, 파일 시스템에 기반한 데이터 기록 등을 포함하는 넓은 의미의 데이터베이스도 포함하여 지칭하며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서 말하는 데이터베이스에 포함될 수 있다.Next, the database 370 according to an embodiment of the present invention is a storage device capable of storing image information, human body information, posture estimation information, avatar information, exercise information, suspicious disease information, health information, and shared information. can In this case, the smart mirror 200 , the user terminal device 400 and/or the server 500 may further store connection (login) information, information transmission/reception history, and the like. Such a database is a concept including a computer-readable recording medium, and refers not only to a narrow database, but also to a database in a broad sense including a data record based on a file system. If it can be extracted, it can be included in the database referred to in the present invention.

다음으로, 본 발명의 일 실시예에 따른 통신부(380)는, 지능형 헬스케어 시스템(300)의 내부 구성들이 스마트 미러(200), 사용자 단말장치(400) 및/또는 서버(500)와 등과 같은 외부 장치와 데이터(정보)를 송수신할 수 있도록 하는 기능을 수행할 수 있다. 일 예로, 외부 장치와 RF 무선통신이 가능한 통신모듈 이거나, USB 2.0, 3.0 방식의 유선 인터페이스 기능을 지원하는 유선 통신방식일 수 있는데, 본 발명이 이에 한정되는 것은 아니며, 공지된 유/무선의 통신방식을 제한없이 채택할 수 있으며, 인터넷 망과 연계되는 통신방식일 수도 있다.Next, in the communication unit 380 according to an embodiment of the present invention, the internal components of the intelligent healthcare system 300 are smart mirror 200 , the user terminal device 400 and/or the server 500 , such as It can perform a function that enables transmission and reception of data (information) with an external device. For example, it may be a communication module capable of RF wireless communication with an external device or a wired communication method supporting a wired interface function of USB 2.0 or 3.0 method, but the present invention is not limited thereto, and known wired/wireless communication The method can be adopted without limitation, and it may be a communication method linked to the Internet network.

마지막으로, 본 발명의 일 실시예에 따른 제어부(390)는, 영상 검출부(310), 자세 분석부(320), 인체 시각부(330), 헬스케어부(340), 공유정보부(350), 디스플레이 관리부(360), 데이터베이스(370), 통신부(380) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(390)는 외부로부터의, 또는 지능형 헬스케어 시스템(300)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 영상 검출부(310), 자세 분석부(320), 인체 시각부(330), 헬스케어부(340), 공유정보부(350), 디스플레이 관리부(360), 데이터베이스(370) 및 통신부(380)에서 각각 고유 기능을 수행하도록 제어할 수 있다.Finally, the control unit 390 according to an embodiment of the present invention includes an image detection unit 310 , a posture analysis unit 320 , a human body visual unit 330 , a healthcare unit 340 , a sharing information unit 350 , It may perform a function of controlling the flow of data between the display management unit 360 , the database 370 , and the communication unit 380 . That is, the control unit 390 according to the present invention controls the flow of data from the outside or between each component of the intelligent healthcare system 300 , so that the image detection unit 310 , the posture analysis unit 320 , the human body vision The unit 330 , the healthcare unit 340 , the shared information unit 350 , the display management unit 360 , the database 370 , and the communication unit 380 may control to perform their own functions, respectively.

영상 검출부(310)의 인체감지Human body detection by the image detection unit 310

도 3은 본 발명의 일 실시예에 따른 지능형 헬스케어 시스템(300)의 영상 검출부(310)의 인체감지를 보여주는 도면이다.3 is a view showing the human body detection of the image detection unit 310 of the intelligent healthcare system 300 according to an embodiment of the present invention.

도 3을 참조하면, 영상 검출부(310)는 사용자 단말장치(400)로부터 해당 사용자(10)를 촬영한 영상정보를 수집하여, 수신된 영상정보를 스트림 방식으로 취득하며 촬영된 시간 순서대로 이미지로 추출할 수 있다. 상기 이미지 데이터를 객체탐지 모듈에 맞게 사이즈 조정 등의 상기 전처리를 수행할 수 있는데, 주요 키포인트(Keypoint)를 찾아 사용자(10) 마다의 키포인트를 구성하는 상향식(bottom-up) 방식과, 사용자(10)를 먼저 찾고 해당 사용자(10)의 키포인트를 찾는 하향식(Top-down) 방식이 있다.Referring to FIG. 3 , the image detection unit 310 collects image information of the corresponding user 10 from the user terminal device 400 , acquires the received image information in a stream manner, and converts the images into images in the order of time taken. can be extracted. It is possible to perform the pre-processing such as adjusting the size of the image data to fit the object detection module, a bottom-up method of finding key keypoints and configuring keypoints for each user 10, and the user 10 ) is first found and there is a top-down method of finding the key point of the corresponding user 10 .

본 발명의 일 실시예에서는 해당 사용자(10)의 정확한 자세 추정을 위하여, 상기 하향식(Top-down) 방식으로 적용할 수 있으며, 이를 위해 상기 전처리를 통한 분할 이미지에서 사용자(10)의 인체(Body)를 탐지하는 인체정보 감지(Body Detection) 과정을 수행할 수 있다. 이러한 인체정보 감지에 의해 추론된 사람 영역으로 이미지를 자르기(cropping)하여 해당부분에 대하여 인체 자세추정(Human Pose Estimation: HPE)을 수행할 수 있는데, 도 4를 참조한 이하의 설명에서 구체화된다.In one embodiment of the present invention, the top-down method can be applied for accurate posture estimation of the user 10, and for this purpose, the body of the user 10 in the divided image through the pre-processing. ) to detect the human body information (Body Detection) can be performed. Human Pose Estimation (HPE) can be performed on the corresponding part by cropping the image to the human region inferred by the detection of the human body information, which will be embodied in the following description with reference to FIG. 4 .

상기 이미지 데이터에서 해당 사용자(10)에 대한 부분을 감지하여 도시된 바와 같이 인체박스(20)의 데이터로 산출될 수 있는데, Mobilenet 아키텍쳐와 인공지능 학습모델인 SSD(Single Shot Multibox Detector) 모델을 이용하여, 상기 SSD의 특성 맵(Feature Map) 마다의 스케일 레벨(scale level: Sk)을 다음과 같이 구할 수 있다.It can be calculated as data of the human body box 20 as shown by detecting a part of the user 10 in the image data, using the Mobilenet architecture and the SSD (Single Shot Multibox Detector) model, which is an artificial intelligence learning model. Accordingly, a scale level (S k ) for each feature map of the SSD can be obtained as follows.

Figure 112021124376291-pat00001
Figure 112021124376291-pat00001

상기 수학식 1에서 상기 m은 특성 맵(feature map) 개수이며, 상기 k는 상기 특성 맵 인텍스(feature map index)이고, 상기 s_min은 0.2, 상기 s_max는 0.9 비율로 설정할 수 있다. 이때, 상기 m값에 따라 일정한 구간을 나누어 스케일 레벨(scale level: Sk)을 설정할 수 있다. 상기 인체박스(20)의 기본값 박스(default box)의 세로가로(

Figure 112021124376291-pat00002
,
Figure 112021124376291-pat00003
) 사이즈는 아래와 같이 구할 수 있다.In Equation 1, m is the number of feature maps, k is the feature map index, s_min may be set to 0.2, and s_max may be set to a ratio of 0.9. In this case, a scale level (S k ) may be set by dividing a certain section according to the m value. The vertical width of the default box of the human body box 20 (
Figure 112021124376291-pat00002
,
Figure 112021124376291-pat00003
) size can be obtained as follows.

Figure 112021124376291-pat00004
Figure 112021124376291-pat00004

상기 수학식 2에서 상기 ar은 일 예로, 1:1, 1:2, 1:3, 3:1, 2:1의 비율일 수 있으며, 상기 스케일 레벨(scale level: Sk) 일 수 있는데, 이때 얻어지는 다수의 인체박스(20, Body Box) 가운데 IoU(Intersection over Union)값을 계산하여 가장 큰 IoU 값을 채택할 수 있다. 여기서, IoU(Intersection over Union) = 교집합 영역 / 합집합 영역으로 객체(인체) 탐지 알고리즘이 얼마나 잘 동작하는지 판단하는 평가 기준일 수 있다.In Equation 2, a r may be, for example, a ratio of 1:1, 1:2, 1:3, 3:1, 2:1, and may be the scale level (S k ). , by calculating an Intersection over Union (IoU) value among a plurality of body boxes 20 obtained at this time, the largest IoU value may be adopted. Here, IoU (Intersection over Union) = intersection area / union area may be an evaluation criterion for determining how well the object (human body) detection algorithm operates.

자세 분석부(320)의 인체자세 추정Estimation of the human body posture of the posture analysis unit 320

도 4는 본 발명의 일 실시예에 따른 지능형 헬스케어 시스템(300)의 자세 분석부(320)의 인체 자세 추정을 보여주는 도면이다.4 is a diagram showing the human body posture estimation of the posture analysis unit 320 of the intelligent healthcare system 300 according to an embodiment of the present invention.

도 4를 참조하면, 자세 분석부(320)는 감지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공할 수 있는데, FPD(Fast Human Pose Estimation, CVPR 2019)에서 제안된 FPD 학습방식을 도시된 바와 같이 활용하여 축소된 네트워크 학습방식을 차용하여 개발할 수도 있다. 이러한 FPD 학습방식은 공지된 기술이므로 상세한 설명은 생략하도록 한다.Referring to FIG. 4 , the posture analysis unit 320 may provide posture estimation information through a two-dimensional or three-dimensional posture analysis through a deep learning-based human pose estimation method among the detected human body information. However, the FPD learning method proposed in FPD (Fast Human Pose Estimation, CVPR 2019) can be used as shown in the figure to borrow and develop a reduced network learning method. Since such an FPD learning method is a known technique, a detailed description thereof will be omitted.

Figure 112021124376291-pat00005
Figure 112021124376291-pat00005

상기 수학식 3에서 상기 이미지 각 픽셀의 x, y 위치에 대하여, 관절 k에 대한 가우스 신뢰구간 안에서 상기 m값을 구하여 별도의 그랙픽 처리 서버가 아닌 일반 단말인 사용자 단말장치(400) 및/또는 지능형 헬스케어 시스템(300) 에서도 높은 성능을 내는 인체 자세추정(Human Pose Estimation: HPE) 방식으로 개발하여 적용할 수 있다. 이때, 본 발명에서는 3차원 인체 자세추정(Human Pose Estimation)에는 3차원 인체모델(3D Body Model)을 가지고 하는 Model-based 방식과 3차원 인체모델(3D Body Model) 없이 추정하는 Model-free방식을 적용할 수 있다.In Equation 3, for the x, y position of each pixel of the image, the m value is obtained within the Gaussian confidence interval for the joint k, and the user terminal device 400, which is a general terminal rather than a separate graphic processing server, and/or intelligent It can be developed and applied in a human pose estimation (HPE) method that has high performance even in the healthcare system 300 . At this time, in the present invention, for 3D human pose estimation, a model-based method with a 3D body model and a model-free method for estimating without a 3D body model are used. can be applied

이러한 상기 3차원 인체모델(3D Body Model)을 사용하는 것이 경량화 측면과 여러 이미지의 프레임에서 안정적인 데이터를 얻는데 효과적이므로 본 발명의 일 실시예에서는 Model-based 방식을 사용할 수 있다.Since using the 3D body model is effective in terms of weight reduction and in obtaining stable data from multiple image frames, a model-based method can be used in an embodiment of the present invention.

상기 3차원 인체모델(3D Body Model)로는 카네기 멜론대학에서 만든 SMPL이 가장 범용적으로 사용되고 있어 해당 모델로 선정할 수 있는데, 딥러닝 알고리즘으로는 SMPL모델을 사용하는 CenterHMR(a Bottom-up Single-shot Method for Multi-person 3D Mesh Recovery from a Single Image) 모델을 사용하여 3차원 자세를 추정할 수 있다. 일 예로, 구글에서 발표된 'GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models'을 기반으로 변경 가능할 수 있다.As the 3D body model, SMPL made at Carnegie Mellon University is most commonly used and can be selected as the model. As the deep learning algorithm, CenterHMR (a Bottom-up Single- The three-dimensional posture can be estimated using the shot Method for Multi-person 3D Mesh Recovery from a Single Image) model. For example, it may be changeable based on 'GHUM & GHUML: Generative 3D Human Shape and Articulated Pose Models' announced by Google.

이상에서 설명된 본 발명에 따른 지능형 헬스케어 시스템(300)의 보다 구체적인 구성에 대한 이해를 돕기 위해, 이하의 상세한 설명에서는 스마트 미러를 기반으로 하는 지능형 헬스케어 과정(방법)에 대하여, 일례를 들어 설명한다.In order to help the understanding of a more specific configuration of the intelligent healthcare system 300 according to the present invention described above, in the following detailed description, an example of an intelligent healthcare process (method) based on a smart mirror is given Explain.

스마트 미러를 기반으로 하는 지능형 헬스케어 과정Intelligent healthcare process based on smart mirror

이하의 상세한 설명에서는, 본 발명에 의한 스마트 미러를 기반으로 하는 지능형 헬스케어 과정에 대하여, 지능형 헬스케어 시스템(300)의 처리과정을 중심으로 일 예를 들어 설명하지만, 이는 설명의 편의를 위해 가장 대표적인 과정을 설명한 것으로, 본 발명이 이에 한정되는 것은 아니다.In the following detailed description, the intelligent healthcare process based on the smart mirror according to the present invention will be described as an example focusing on the processing process of the intelligent healthcare system 300, but this is the most A representative process has been described, but the present invention is not limited thereto.

도 5는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어를 제공하기 위한 순서도이다.5 is a flowchart for providing intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 6을 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 인체 자세 추천과정의 순서도이다.6 is a flowchart of a human body posture recommendation process of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 7을 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 자세비교 과정의 순서도이다.7 is a flowchart of a posture comparison process of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 8을 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 의심질환 예측 과정의 순서도이다.8 is a flowchart of a suspicious disease prediction process of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

먼저, 도 5를 참조하면, 사용자는 자신의 사용자 단말장치(400)를 이용하여 지능형 헬스케어 시스템(300)을 통해 스마트 미러(200)와 연동할 수 있는데, 사용자 단말장치(400)로부터 해당 사용자를 촬영하여 제공되는 영상정보를 수집하는 과정(S100)을 수행할 수 있다. 이때, 상기 사용자는 반드시 사용자 단말장치(400)의 소유자에 한정되는 것은 아니며 해당 사용자 단말장치(400)를 이용하는 자를 포함하는 광의의 개념일 수 있다.First, referring to FIG. 5 , a user may interwork with the smart mirror 200 through the intelligent healthcare system 300 using his/her user terminal device 400 . From the user terminal device 400 , the user A process (S100) of collecting image information provided by photographing may be performed. In this case, the user is not necessarily limited to the owner of the user terminal device 400 , and may be a concept in a broad sense including a person who uses the user terminal device 400 .

이어서, 수집된 영상정보를 이미지 전처리 과정(S200)과, 상기 이미지 전처리를 통한 분할 이미지에서 해당 사용자의 인체정보를 감지하는 영상 검출과정(S300)을 수행할 수 있다.Subsequently, an image pre-processing process ( S200 ) of the collected image information and an image detection process ( S300 ) of detecting the human body information of the corresponding user in the divided image through the image pre-processing may be performed.

이어서, 감지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 산출하는 인체 자세 추정과정(S400)을 수행할 수 있다.Next, the human body posture estimation process (S400) of calculating posture estimation information through two-dimensional or three-dimensional posture analysis through a deep learning-based human pose estimation method among the detected human body information can be performed. .

다음으로, 인체 자세 추정과정(S400)을 보다 구체적으로 살펴보기 위하여 도 6을 참조하면, 딥러닝 기반의 인체 자세추정(Human Pose Estimation)을 방식 통한 2차원의 인체 자세분석 과정(S410) 또는 3차원의 인체 자세분석 과정(S420)을 수행하여 자세추정 정보를 얻을 수 있다. 예를 들면, 2차원의 인체 자세추정 방식으로는, FPD(Fast Human Pose Estimation) 학습방식을 활용하여 수행할 수 있으며, 3차원의 자세추정 방식으로는, 3차원의 인체 자세추정(Human Pose Estimation)을 가지고 하는 Model-based 방식과 3차원 모델 없이 추정하는 Model-free방식을 사용할 수 있다. 다만 본 발명이 이에 한정되는 것은 아니며 공지된 다양한 방식의 인체 자세추정 기술을 모두 포괄하는 의미로 이해되어야 할 것이다.Next, referring to FIG. 6 to examine the human posture estimation process (S400) in more detail, the two-dimensional human posture analysis process (S410) or 3 through deep learning-based human pose estimation (Human Pose Estimation) By performing the dimensional human posture analysis process (S420), it is possible to obtain posture estimation information. For example, as a two-dimensional human pose estimation method, it can be performed by using the FPD (Fast Human Pose Estimation) learning method, and as a three-dimensional pose estimation method, a three-dimensional human pose estimation ) with model-based method and model-free method for estimating without a 3D model can be used. However, the present invention is not limited thereto, and it should be understood to encompass all known techniques for estimating human body postures in various ways.

이어서, 데이터 검증과정(S430)을 수행할 수 있는데, 비전기반으로 자세를 추정하는 기능을 수행할 수 있다. 예를 들면, 초당 10 ~ 15프레임의 이미지를 대상으로 매번 수행하여 얻는 특정 이미지에서 빛 반사 등 여러 가지 요인으로 추정된 값이 오차가 일정 범위 이상일 경우, 해당 데이터에 대하여 이전 5프레임과 비교하여 오차 데이터를 중간 평균값으로 보정하는 데이터 검증 단계를 수행할 수 있다. 이때 프레임 수와 오차 크기(범위)는 가변적으로 설정할 수 있다.Subsequently, the data verification process ( S430 ) may be performed, and a function of estimating the posture based on the vision may be performed. For example, if the error in the value estimated by various factors, such as light reflection, in a specific image obtained by performing each image at 10 to 15 frames per second is within a certain range, compare the data with the previous 5 frames and make an error A data verification step of correcting the data to an intermediate average value may be performed. In this case, the number of frames and the error size (range) can be variably set.

이어서, 카메라의 특성이 다르고, 촬영 거리도 다르기 때문에 추정된 이미지 내의 사람의 자세정보에 대한 위치값은 각각 다르게 추정될 수 있다. 이때, 스케일(Scale) 조정 과정(S440)를 추가하여, 인체 감지(Body Detection)된 대각선 값을 1로 기준하여, 각 관절의 추정된 위치값을 재조정할 수 있다. 따라서, 상대적으로 안정된 자세 추정값을 용이하게 얻을 수 있다.Next, since camera characteristics are different and the shooting distance is different, position values for posture information of a person in the estimated image may be estimated differently. In this case, by adding a scale adjustment process ( S440 ), the estimated position value of each joint may be readjusted based on the diagonal value detected by the body detection as 1. Accordingly, a relatively stable posture estimation value can be easily obtained.

이어서, 해당 사용자(10)의 키포인트(Keypoint)를 저장하는 과정(S450)을 수행하고, 수정 키포인트(Keypoint) 저장과정(S460)을 수행할 수 있다.Subsequently, a process (S450) of storing the keypoint of the corresponding user 10 may be performed, and a process of storing a modified keypoint (Keypoint) (S460) may be performed.

다음으로, 상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하는 과정(S500)을 수행하고, 상기 3차원 형상에 상기 자세 추정정보 또는 자세정보를 입력하여 시각화된 아바타 정보를 제공하는 인체 시각화 과정(S600)을 수행할 수 있다.Next, a process (S500) of constructing a three-dimensional shape based on the human body information and the posture estimation information is performed, and the posture estimation information or the posture information is input to the three-dimensional shape to provide visualized avatar information A human body visualization process ( S600 ) may be performed.

이때, 미리 촬영된 해당 사용자의 정면, 좌면, 우면, 후면 중 어느 하나 이상의 기본 자세를 반영하여, 시각화된 상기 아바타 정보를 제공할 수 있으며, 상기 자세정보는 사용자 단말장치(400)로부터 선택된 상기 동영상 콘텐츠의 자세정보일 수 있다.At this time, the visualized avatar information may be provided by reflecting the pre-photographed basic posture of one or more of the front, left, right, and rear of the user, and the posture information is the moving picture selected from the user terminal device 400 . It may be detailed information of the content.

상술된 과정들 중에서, 인체 자세 추정과정(S400) 이후에, 추가적으로 자세비교 과정(S700) 및/또는 의심질환 과정(S800)을 더 진행할 수 있다. 먼저, 자세비교 과정(S700)의 보다 구체적인 설명을 위하여 도 7을 참조하면, 상기 자세비교 과정(S700)을 수행할 수 있는데, 스케일(Scale)이 맞춰진 수정 키포인트(Keypoint) 데이터를 조회(S710)하여 시계열로 분석할 수 있다. Among the above-described processes, after the human body posture estimation process ( S400 ), the posture comparison process ( S700 ) and/or the suspected disease process ( S800 ) may be further performed. First, with reference to FIG. 7 for a more detailed description of the posture comparison process (S700), the posture comparison process (S700) can be performed, and the scaled corrected keypoint data is searched (S710) It can be analyzed as a time series.

이어서, 상기 피크 프레임 탐색과정(S720)을 수행할 수 있는데, 신체 관절부위(목, 어깨, 허리, 무릅, 발목 등)의 위치 및 각도의 피크 프레임을 분석할 수 있다. 이러한 상기 목, 어깨, 허리, 무릅, 발목 등의 각 주요 신체 부위에 대하여 몸의 중심(Body Detection 된 가운데 좌표)으로부터 거리를 계산할 수 있는데, 계산된 거리가 가까워지다 멀어지는 경우 최소 프레임을 등록할 수 있다. 또한, 계산된 거리가 멀어지다 가까워지는 경우 최대 프레임을 등록할 수 있고, 주요 신체 부위별로 최소, 최대 프레임 발생은 시간내에 여러 번 등록될 수 있다.Then, the peak frame search process (S720) may be performed, and the peak frame of the position and angle of the body joint parts (neck, shoulder, waist, knee, ankle, etc.) may be analyzed. For each major body part such as the neck, shoulder, waist, knee, ankle, etc., the distance can be calculated from the center of the body (body detected center coordinates). have. In addition, when the calculated distance gets closer and further away, the maximum frame may be registered, and the minimum and maximum frame generation for each major body part may be registered several times within a period of time.

이어서, 상기 피크 프레임 매칭과정(S730)을 수행할 수 있는데, 콘텐츠의 시간별 신체부위의 피크프레임과 위에서 찾아진 피크프레임과의 프레임 매칭할 수 있는데, 동영상과 사용자의 동일한 동작에 대한 프레임을 매칭할 수 있다.Then, the peak frame matching process (S730) can be performed, and the peak frame of the body part by time of the content and the peak frame found above can be frame-matched. can

이어서, 상기 위치값 비교과정(S740)을 수행할 수 있는데, 매칭된 프레임의 신체 부위별 피크 값의 차이를 비교하고, 스케일(Scale)이 조정된 값을 사용하기 때문에 크기값의 비교가 의미 있어지기 때문에 피크 값의 차이를 비율로 표현할 수 있다.Subsequently, the position value comparison process (S740) can be performed, and since the difference in the peak value for each body part of the matched frame is compared, and the scale is used, the comparison of the size value is meaningful. Therefore, the difference between the peak values can be expressed as a ratio.

이어서, 각도 비교과정(S750)을 수행할 수 있는데, 2차원 데이터의 경우 각 신체 부위가 피크 위치에 있을 때의 각도를 계산하여 비교할 수 있으며, 3차원 데이터의 경우 피크 각도 값을 그대로 비교할 수 있다. 이후, 정확도가 저장되는 과정을 수행할 수도 있다(S760).Subsequently, an angle comparison process (S750) can be performed. In the case of two-dimensional data, the angle when each body part is at a peak position can be calculated and compared, and in the case of three-dimensional data, the peak angle value can be compared as it is. . Thereafter, a process in which the accuracy is stored may be performed (S760).

다음으로, 의심질환 분석과정(S800)의 보다 구체적인 설명을 위하여 도 8을 참조하면, 수정 키포인트 조회과정(S810)을 수행할 수 있고, 이를 기초로 동작을 분류하는 과정(S820)을 수행할 수 있는데, 이러한 동작분류과정을 통해 목, 어깨, 허리, 무릎, 발목 등의 주요 관절부위의 각도 및 보행 시 완주 시간 등의 데이터를 대상으로 분석을 통해 의심 질환을 분류할 수 있다.Next, referring to FIG. 8 for a more detailed description of the suspicious disease analysis process ( S800 ), the correction key point inquiry process ( S810 ) may be performed, and the process of classifying operations based on this ( S820 ) may be performed. However, through this motion classification process, it is possible to classify suspected diseases by analyzing data such as angles of major joints such as the neck, shoulder, waist, knee, and ankle and the time to complete the gait.

이어서, 상기 동작 분류과정(S820)에서는 주로 오십견과 같은 어깨 질환 분석을 위한 어깨 위주의 동작과 체간 불균형 예측을 위한 보행분석의 동작으로 나눌 수 있다. 따라서, 어깨 관절의 활동각도 분석에 의한 어깨 질환 분석과정(S850)과 보행 파라미터 및 소용시간을 분석하는 보행 분석과정(S860)을 아래와 같이 각각 수행할 수 있다.Subsequently, in the motion classification process ( S820 ), it can be mainly divided into a shoulder-oriented motion for analyzing a shoulder disease such as a frozen shoulder and an operation of a gait analysis for predicting trunk imbalance. Accordingly, the shoulder disease analysis process ( S850 ) by analyzing the activity angle of the shoulder joint and the gait analysis process ( S860 ) of analyzing the gait parameters and duration can be respectively performed as follows.

이어서, 어깨 질환 분석과정(S830)의 경우, 대표적인 어깨질환인 오십견의 척도 분석을 위한 분석, 팔을 앞으로 뻗기, 팔을 옆으로 펼치기, 팔을 조금씩 위로 올림과 같은 주로 어깨의 가동 범위를 보기 위한 영상을 제공할 수 있고, 연령 및 성별에 따라서 가이드를 제공 및 오십견 의심 단계의 수치에 대하여 알림 제공할 수 있는데, 이때 해당 영상과 동작을 따라하면서 어깨가 움직일 수 있는 최대 각도를 측정하는 어깨 최대각도 탐색과정(S850)을 수행할 수 있다.Subsequently, in the case of the shoulder disease analysis process (S830), the analysis for the scale analysis of the frozen shoulder, which is a representative shoulder disease, is mainly used to view the range of motion of the shoulder, such as extending the arm forward, extending the arm to the side, and raising the arm little by little. An image can be provided, and a guide can be provided according to age and gender, and a notification can be provided for the level of suspected frozen shoulder. A search process (S850) may be performed.

이어서, 보행 분석과정(S840)의 경우, 사용자에게 스마트 미러(200) 앞에서 간단하게 원으로 걷는 모습, 앞 뒤로 걷는 모습 등을 수행하게 한 후 관절범위를 분석하는 ROM(Range of motion) 방식을 통해 보행하는 주요 신체 부위의 각도와 주기가 되는 거리 파라미터, 걸음 주기 소요시간 등의 보행 파라미터를 대상으로 분석하는 과정(S860)을 수행할 수 있다.Then, in the case of the gait analysis process (S840), the user is asked to simply walk in a circle in front of the smart mirror 200, walk back and forth, etc. and then analyze the joint range through the ROM (Range of Motion) method. A process ( S860 ) of analyzing gait parameters, such as distance parameters, which are the angles and periods of major body parts that gait, and gait cycle duration time, may be performed.

이어서, 상술된 상기 동작 분류과정(S820)과 보행 분석과정(S840)을 통해 고관절, 습관절과 같은 체간에 불균형이 생기는 범위에 대하여 확대하여 체간 불균형 분류과정(S860)를 수행할 수도 있다.Subsequently, the trunk imbalance classification process ( S860 ) may be performed by expanding the range in which the trunk imbalance occurs, such as the hip joint and the habit joint, through the motion classification process ( S820 ) and the gait analysis process ( S840 ) described above.

이후의, 수행되는 본 발명의 헬스케어 과정, 공유정보 과정, 디스플레이 과정 등은 도 2를 참조한 헬스케어부(340), 공유정보부(350), 디스플레이 관리부(360)와 상세한 설명과 중복됨으로 생략하기로 한다.The following, the healthcare process, shared information process, display process, etc. of the present invention to be performed will be omitted as they overlap with the detailed description of the healthcare unit 340 , the shared information unit 350 , and the display management unit 360 with reference to FIG. 2 . do it with

스마트 미러를 기반으로 하는 지능형 헬스케어의 예시An example of intelligent healthcare based on a smart mirror

이하의 상세한 설명에서는, 본 발명에 의한 스마트 미러를 기반으로 하는 지능형 헬스케어 서비스에 있어서, 일 예로, 건물의 실내에 설치되어 있는 스마트 미러(또는 미러 디스플레이, 200)에 사용자가 자신의 사용자 단말장치(400)인 스마트폰을 연동하여 헬스케어 서비스를 활용하는 경우를 예시로 설명하지만, 이는 설명의 편의를 위해 예를 들어 설명한 것으로, 본 발명이 이에 한정되는 것은 아니다.In the following detailed description, in the intelligent health care service based on the smart mirror according to the present invention, as an example, a user can display his/her own user terminal device on a smart mirror (or mirror display, 200) installed inside a building. A case of using a healthcare service by interlocking a smart phone of 400 is described as an example, but this is described as an example for convenience of explanation, and the present invention is not limited thereto.

도 9는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 활용을 나타내는 도면이다.9 is a diagram illustrating the use of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

먼저, 도 9를 참조하면, 건물 내에서 사람들의 여가, 운동활동이 가능한 위치(예를 들면, 헬스공간, 휴게공간 등)에 스마트 미러(200)가 배치되어 있는 경우, 예를 들면 해당 건물에 근무하는 사람들(직원, 10)이 휴식시간 또는 퇴근시간 등을 이용하여 방문하여 활용할 수 있다.First, referring to FIG. 9 , if the smart mirror 200 is disposed at a location (eg, a health space, a rest space, etc.) where people's leisure and exercise activities are possible in a building, for example, in the building Working people (employees, 10) can visit and use it during breaks or work hours.

이때, 상기 스마트 미러(200)의 배면에 구비되는(또는 내장되는) 구동모듈(미도시됨)에는 도시되지는 않았지만 본 발명에 의한 지능형 헬스케어 시스템(300)이 포함될 수 있는데, 사용자(10)는 자신의 스마트폰을 사용자 단말장치(400)로 활용하여 해당 지능형 헬스케어 시스템(300)과 연동하여 스마트 미러(200)의 구동을 제어할 수 있다.At this time, although not shown, the intelligent healthcare system 300 according to the present invention may be included in the driving module (not shown) provided (or built-in) on the rear surface of the smart mirror 200 , the user 10 . can control the driving of the smart mirror 200 by using his/her smartphone as the user terminal device 400 and interlocking with the corresponding intelligent healthcare system 300 .

다만, 이는 하나의 예시일 뿐, 지능형 헬스케어 시스템(300)이 스마트 미러(200)에 구비되는 위치가 이에 한정되는 것은 아니다. 또한, 다른 형태로는 사용자(10)의 스마트폰인 사용자 단말장치(400)에 일부 또는 전부의 지능형 헬스케어 시스템(300)이 통합되어 설치되어 있을 수 있어, 상기 스마트 미러(200)에 구비되는 구동모듈(미도시됨)에는 별도의 지능형 헬스케어 시스템(300)의 구성이 포함되지 않을 수도 있다. 이러한 지능형 헬스케어 시스템(300)의 구성요소 위치는 당업자에 의해 다양한 형태로 구현될 수 있는 것은 자명할 것이다.However, this is only an example, and the location where the intelligent healthcare system 300 is provided in the smart mirror 200 is not limited thereto. In addition, in another form, a part or all of the intelligent healthcare system 300 may be integrated and installed in the user terminal device 400 which is a smartphone of the user 10 , so that the smart mirror 200 is provided. The driving module (not shown) may not include the configuration of a separate intelligent healthcare system 300 . It will be apparent that the position of the components of the intelligent healthcare system 300 may be implemented in various forms by those skilled in the art.

이어서, 사용자(10)는 자신의 스마트폰(사용자 단말장치: 400)을 해당 지능형 헬스케어 시스템(300)과 연동시킴과 동시에, 자신의 모습을 촬영하기 위하여 스마트 미러(200)에 구비되는 고정수단(210)에 위치시킬 수 있다. 이러한 고정수단(210)은 도시된 바와 같은 스마트 미러(200) 상측일 수 있으나, 좌우측 또는 정면, 배면에 상관없이 상기 스마트폰(사용자 단말장치: 400)을 고정시키면서 바람직하게는 장탈착 할 수 있어서, 스마트 미러(200)의 정면에 위치하는 사용자(10)의 모습을 촬영할 수 있는 위치와 구조하면 제한없이 공지된 수단을 모두 활용할 수 있다. 이때, 스마트폰(사용자 단말장치: 400)과 지능형 헬스케어 시스템(300)은 와이파이(Wireless Fidelity), 블루투스(Bluetooth)와 같은 RF 무선통신이 가능한 통신모듈이거나, USB 2.0, 3.0 방식의 유선 인터페이스 기능을 지원하는 유선 통신방식일 수 있는데, 본 발명이 이에 한정되는 것은 아니며, 공지된 유/무선의 통신방식일 제한 없이 사용할 수 있다.Next, the user 10 interlocks his/her smartphone (user terminal device: 400) with the corresponding intelligent healthcare system 300 and, at the same time, fixing means provided in the smart mirror 200 to photograph himself/herself. It can be located at 210 . This fixing means 210 may be the upper side of the smart mirror 200 as shown, but it can be preferably attached and detached while fixing the smart phone (user terminal device: 400) regardless of the left and right sides, the front, or the back. , all known means can be utilized without limitation as long as the structure and the location where the image of the user 10 located in front of the smart mirror 200 can be photographed is made. At this time, the smart phone (user terminal device: 400) and the intelligent healthcare system 300 are communication modules capable of RF wireless communication such as Wi-Fi (Wireless Fidelity), Bluetooth (Bluetooth), or USB 2.0, 3.0 type wired interface function It may be a wired communication method that supports

이어서, 사용자의 선택에 따라 고정수단(210)에 고정된 상기 스마트폰(사용자 단말장치: 400)로부터 해당 사용자(10)를 촬영하고, 촬영된 해당 영상정보는 스마트 미러(200)의 배면에 내장된 지능형 헬스케어 시스템(300)으로 전송되어 수집될 수 있다. 이때, 사용자(10)는 반드시 사용자 단말장치(400)의 소유자에 한정되는 것은 아니며 해당 사용자 단말장치(400)를 이용하는 사용자를 포함하는 광의의 개념일 수 있다.Then, according to the user's selection, the user 10 is photographed from the smart phone (user terminal device: 400 ) fixed to the fixing means 210 , and the photographed image information is embedded in the rear surface of the smart mirror 200 . It can be transmitted to and collected by the intelligent healthcare system 300 . In this case, the user 10 is not necessarily limited to the owner of the user terminal device 400 , and may be a broad concept including a user who uses the user terminal device 400 .

다음으로, 도 10은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 활용을 나타내는 다른 도면이다.Next, FIG. 10 is another diagram illustrating the utilization of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 10을 참조하면, (a) 화면은 사용자(10)가 자신의 운동모습을 스마트 미러(200)의 거울 기능과 디스플레이 기능을 통해 스마트 미러(200)를 보면서 실시할 경우, (b) 화면과 같이 이를 본 발명에 의한 지능형 헬스케어 시스템(300)을 통해 이미지 전처리와 상기 이미지 전처리를 통한 분할 이미지에서 사용자(10)의 인체정보를 감지하고, 탐지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공하여, 상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상구성의 정면, 좌면, 우면, 후면 중 어느 하나 이상을 포함하는 시각화된 아바타 정보를 사용자(10)에게 제공할 수 있다.Referring to FIG. 10 , (a) the screen is displayed when the user 10 performs his/her exercise while looking at the smart mirror 200 through the mirror function and the display function of the smart mirror 200, (b) the screen and Similarly, the human body information of the user 10 is detected from the image pre-processing and the image pre-processing through the intelligent healthcare system 300 according to the present invention, and deep learning-based human body posture estimation among the detected human body information Any one of the front, left, right, and rear of the three-dimensional shape configuration based on the human body information and the posture estimation information by providing posture estimation information through two-dimensional or three-dimensional posture analysis through the (Human Pose Estimation) method. Visualized avatar information including the above may be provided to the user 10 .

따라서, 사용자(10)의 자신의 정면 모습을 실시간으로 볼 수 있는 전신거울과 같은 기능을 활용함과 동시에 일반적인 거울에서는 얻을 수 없고, 디스플레이 주변에 별도의 수 많은 센서를 설치하여야 구현할 수 있는 입체적인 방향의 모습을 스마트폰(사용자 단말장치: 400)에 구비되는 카메라만으로도 구현할 수 있어, 정면 모습 외 측면, 후면에서의 동작까지도 사용자(10)에게 정확하고 다양한 시각적인 정보와 분석정보를 제공할 수 있다.Therefore, while utilizing a function such as a full-length mirror that can see the user's 10's own front view in real time, a three-dimensional direction that cannot be obtained from a general mirror, and can be implemented only by installing a number of separate sensors around the display can be implemented only with the camera provided in the smartphone (user terminal device: 400), so it is possible to provide accurate and various visual information and analysis information to the user 10 even from the front view, the side, and the rear. .

다음으로, 도 11은 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 예시 화면이다.Next, FIG. 11 is an exemplary screen of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 11을 참조하면, (a) 화면은 사용자(10)의 운동을 도와주는 '코칭 모드'의 일 예로, 운동영상과 1:1 매칭하여 동작을 보고 따라할 수 있는 서비스로 사용자 단말장치(400)인 스마트폰의 앱에서 운동을 선택하여 영상이 시작되면, 스마트 미러(200)에 거치하고 스마트 미러(200)에 구비되는 지능형 헬스케어 시스템(300)을 통해 스마트 미러(200)와 연동하여 디스플레이 될 수 있다. 이때, AI 동작인식 기술을 활용하여 실시간으로 사용자(10)의 신체 부위별로 동작의 정확성을 측정하여 자세 가이드 제공할 수 있는데, 도시된 바와 같이 운동횟수, 정확도, 랭킹 정보 등을 제공할 수 있다.Referring to FIG. 11 , a screen (a) is an example of a 'coaching mode' that helps the user 10 with exercise, and is a service that can match and follow an operation 1:1 with an exercise video, and the user terminal device 400 ), when an image is started by selecting an exercise in the smartphone app, it is mounted on the smart mirror 200 and displayed in conjunction with the smart mirror 200 through the intelligent healthcare system 300 provided in the smart mirror 200 can be At this time, by using AI motion recognition technology, the accuracy of motions for each body part of the user 10 can be measured in real time to provide a posture guide.

이어서, (b) 화면은 상기'코칭모드'를 통해 측정된 운동 동작을 모니터링하여 동작을 좀더 상세히 교정해 주는 서비스인 '모니터 모드'의 일 예로, 신체 부위별(예를 들면, 무름, 어깨 등) 확대 화면과 교정 동작을 비교하여 좀 더 효과적으로 운동 동작을 교정할 수 있다.Subsequently, (b) the screen is an example of the 'monitor mode', which is a service that monitors the exercise motion measured through the 'coaching mode' and corrects the motion in more detail, by body part (eg, tenderness, shoulder, etc.) ) By comparing the enlarged screen and the corrective action, you can correct the movement more effectively.

다음으로, 도 12는 본 발명의 일 실시예에 따른 스마트 미러를 기반으로 하는 지능형 헬스케어의 다른 예시 화면이다.Next, FIG. 12 is another exemplary screen of intelligent healthcare based on a smart mirror according to an embodiment of the present invention.

도 12를 참조하면, 사용자(10)가 수행한 운동과 결과를 분석한 정보를 제공하는'리포트 모드'의 일 예로, 나의 건강 데이터와 운동 기록 데이터 분석을 통해 일 예로, 운동시간, 정확도, 목표 달성율, 레벨, 추이, 월별/요일별 분석을 통해 효과적인 운동추천과 지속적인 건강 관리와 모바일의 타 앱 서비스와 건강 데이터 연동하여 제공하는 서비스를 제공할 수 있다.Referring to FIG. 12 , as an example of a 'report mode' that provides information on an exercise performed and results analyzed by the user 10, through my health data and exercise record data analysis, as an example, exercise time, accuracy, and goal Through analysis of achievement rate, level, trend, and monthly/day of the week, it is possible to provide effective exercise recommendation, continuous health management, and services provided by linking health data with other mobile app services.

이상 설명된 본 발명에 따른 실시 예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the computer software field. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules for carrying out the processing according to the present invention, and vice versa.

또한, 본 발명의 상세한 설명에서는 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시 예들에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다. 따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해지는 것은 아니며, 후술하는 특허청구범위뿐만 아니라 그 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.In addition, in the detailed description of the present invention, it has been described by specific matters such as specific components and limited embodiments and drawings, but these are only provided to help a more general understanding of the present invention, and the present invention is limited to the above embodiments. It is not, and those of ordinary skill in the art to which the present invention pertains can devise various modifications and variations from these descriptions. Therefore, the spirit of the present invention is not limited to the above-described embodiments, and not only the claims described below, but also all modifications equivalently or equivalent to the claims are within the scope of the spirit of the present invention. will do it

A: 카메라 모듈
10: 사용자
100: 통신망
200: 스마트 미러
210: 고정수단
300: 지능형 헬스케어 시스템
310: 영상 검출부
320: 자세 분석부
330: 인체 시각부
340: 헬스케어부
350: 공유정보부
360: 디스플레이 관리부
370: 데이터베이스
380: 통신부
390: 제어부
400: 사용자 단말장치
500: 서버A: Camera module
10: user
100: communication network
200: smart mirror
210: fixing means
300: intelligent healthcare system
310: image detection unit
320: posture analysis unit
330: human visual part
340: health care department
350: shared information department
360: display management unit
370: database
380: communication department
390: control unit
400: user terminal device
500: server

Claims (8)

통신망 상에서 스마트 미러를 기반으로 하는 시스템으로서,
사용자 단말장치와 연동하며, 상기 사용자 단말장치로부터 해당 사용자를 촬영한 영상정보를 수집하여, 이미지 전처리와 상기 이미지 전처리를 통한 분할 이미지에서 인체정보를 감지하는 영상 검출부;
감지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공하는 자세 추정부;
상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하고, 상기 3차원 형상에 상기 자세 추정정보 또는 자세정보를 입력하여 시각화된 아바타 정보를 제공하는 인체 시각화부;
상기 인체정보와 상기 자세추정 정보를 기초로 해당 사용자의 운동결과를 분석하여 운동정보를 제공하거나, 해당 사용자의 신체 관절부위와 보행정보를 분석하여 의심질환 정보 및 이를 포함하는 건강정보를 제공하는 헬스케어부;
상기 사용자 단말장치를 통해 서버에 수집된 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보 중 어느 하나 이상과, 상기 서버에서 수집된 다수의 다른 사용자 단말장치에서 제공되는 아바타 정보, 운동정보, 의심질환 정보, 상기 건강정보 중 어느 하나 이상의 정보를 유사도에 따라 그룹화하여 해당 사용자 랭킹을 포함하는 공유정보를 상기 사용자 단말장치 및 상기 다수의 다른 사용자 단말장치와 공유하는 공유정보부; 및
상기 사용자 단말장치와 연동하여 상기 사용자 단말장치로부터 선택된 동영상 콘텐츠 또는 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보, 상기 공유정보 중 어느 하나 또는 이들의 조합을 상기 스마트 미러로 표출하는 디스플레이 관리부
를 포함하는 것을 특징으로 하는 지능형 헬스케어 시스템.
A system based on a smart mirror on a communication network, comprising:
an image detection unit that interworks with a user terminal device, collects image information photographed by the user from the user terminal device, and detects human body information from image pre-processing and divided images through the image pre-processing;
a posture estimator for providing posture estimation information through two-dimensional or three-dimensional posture analysis through a deep learning-based human pose estimation method among the detected human body information;
a human body visualization unit for constructing a three-dimensional shape based on the human body information and the posture estimation information, and providing the visualized avatar information by inputting the posture estimation information or the posture information into the three-dimensional shape;
A health that provides exercise information by analyzing the exercise result of the user based on the human body information and the posture estimation information, or provides suspicious disease information and health information including the same by analyzing the user's body joint parts and gait information care department;
Any one or more of the avatar information, the exercise information, the suspicious disease information, and the health information collected to a server through the user terminal device, and avatar information and exercise provided from a plurality of other user terminal devices collected from the server a sharing information unit for grouping any one or more of information, suspected disease information, and the health information according to the degree of similarity to share shared information including a corresponding user ranking with the user terminal device and the plurality of other user terminal devices; and
In conjunction with the user terminal device, any one or a combination of the video content or the avatar information, the exercise information, the suspicious disease information, the health information, and the shared information selected from the user terminal device is displayed with the smart mirror. display management
Intelligent healthcare system comprising a.
 제1항에 있어서,
상기 인체 시각화부는,
미리 촬영된 해당 사용자의 정면, 좌면, 우면, 후면 중 어느 하나 이상의 기본 자세를 반영하여, 시각화된 상기 아바타 정보를 제공하며,
상기 자세정보는 상기 사용자 단말장치로부터 선택된 상기 동영상 콘텐츠의 자세정보인 것을 특징으로 하는 지능형 헬스케어 시스템.
According to claim 1,
The human body visualization unit,
Provides the visualized avatar information by reflecting the user's pre-photographed basic posture of any one or more of the front, left, right, and rear,
The posture information is an intelligent health care system, characterized in that the posture information of the video content selected from the user terminal device.
 제1항에 있어서,
상기 헬스케어부는,
상기 사용자 단말장치로부터 선택된 상기 동영상 콘텐츠와 상기 동영상 콘텐츠를 따른 해당 사용자의 상기 자세추정 정보를 비교하여,
해당 사용자의 신체 부위의 위치 및 각도의 피크 프레임을 탐색하고 분석하여, 상기 동영상 콘텐츠와 해당 사용자의 상기 자세추정 정보 중에서 동일 동작에 대한 비교분석을 통해 상기 운동결과 정보를 제공하는 것을 특징으로 하는 지능형 헬스케어 시스템.
According to claim 1,
The health care department,
By comparing the video content selected from the user terminal device and the posture estimation information of the user according to the video content,
Intelligent, characterized in that the exercise result information is provided through comparative analysis of the same motion among the video content and the posture estimation information of the user by searching and analyzing the peak frame of the position and angle of the user's body part health care system.
 제1항에 있어서,
상기 헬스케어부는,
상기 인체정보와 상기 자세추정 정보를 기초로 동작을 분류하여, 해당 사용자의 신체관절 부위의 각도 및 해당 사용자의 보행 시 완주 시간의 데이터를 대상으로 분석을 통해 의심 질환을 분류하며,
상기 신체관절 부위의 각도인 가동 범위를 측정하여 최대각도 탐색하고, 해당 사용자의 보행정보를 분석하여 주요 신체 부위의 각도인 가동 범위와 주기가 되는 거리 파라미터, 걸음 주기 소요시간의 보행 파라미터를 분석하여 의심질환을 포함하는 상기 건강정보를 제공하는 것을 특징으로 하는 지능형 헬스케어 시스템.
According to claim 1,
The health care department,
Classify the motion based on the human body information and the posture estimation information, and classify the suspected disease through analysis of the angle of the user's body joint and the data of the user's walking time when walking,
By measuring the range of motion, which is the angle of the body joint, the maximum angle is searched, and the user's gait information is analyzed to analyze the motion range, which is the angle of the main body part, the distance parameter, which is the period, and the walking parameter of the time required for the step cycle. Intelligent healthcare system, characterized in that it provides the health information including the suspected disease.
 제1항에 있어서,
상기 헬스케어부는,
해당 사용자의 얼굴을 인식하여 얼굴표정에 따라 운동성취도를 산출하며, 이에 따른 운동코스를 상기 운동정보에 포함하여 추천하는 것을 특징으로 하는 지능형 헬스케어 시스템.
According to claim 1,
The health care department,
An intelligent health care system, characterized in that by recognizing the user's face, calculating the exercise achievement according to the facial expression, and recommending the exercise course according to the exercise information in the exercise information.
 제1항에 있어서,
상기 공유정보부는,
해당 사용자의 나이, 성별, 운동종류, 의심질환 종류, 건강상태의 유사도에 따라 그룹화하고, 해당 그룹에서는 상기 운동결과의 랭킹 순위를 부여하여 공유하는 것을 특징으로 하는 지능형 헬스케어 시스템.
According to claim 1,
The shared information unit,
An intelligent healthcare system, characterized in that the users are grouped according to the user's age, gender, exercise type, suspected disease type, and similarity of health status, and the exercise result is ranked and shared in the group.
 통신망 상에서 스마트 미러를 기반으로 하는 방법으로서,
사용자 단말장치와 연동하며, 상기 사용자 단말장치로부터 해당 사용자를 촬영한 영상정보를 수집하여, 이미지 전처리와 상기 이미지 전처리를 통한 분할 이미지에서 인체정보를 감지하는 영상 검출과정;
감지된 상기 인체정보 중에서 딥러닝 기반의 인체 자세추정(Human Pose Estimation) 방식을 통한 2차원 또는 3차원의 자세분석으로 자세추정 정보를 제공하는 자세 추정과정;
상기 인체정보와 상기 자세추정 정보를 기초로 3차원 형상을 구성하고, 상기 3차원 형상에 상기 자세 추정정보 또는 자세정보를 입력하여 시각화된 아바타 정보를 제공하는 인체 시각화 과정;
상기 인체정보와 상기 자세추정 정보를 기초로 해당 사용자의 운동결과를 분석하여 운동정보를 제공하거나, 해당 사용자의 신체 관절부위와 보행정보를 분석하여 의심질환 정보 및 이를 포함하는 건강정보를 제공하는 헬스케어 과정;
상기 사용자 단말장치를 통해 서버에 수집된 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보 중 어느 하나 이상과, 상기 서버에서 수집된 다수의 다른 사용자 단말장치에서 제공되는 아바타 정보, 운동정보, 의심질환 정보, 상기 건강정보 중 어느 하나 이상의 정보를 유사도에 따라 그룹화하여 해당 사용자 랭킹을 포함하는 공유정보를 상기 사용자 단말장치 및 상기 다수의 다른 사용자 단말장치와 공유하는 공유정보 과정; 및
상기 사용자 단말장치와 연동하여 상기 사용자 단말장치로부터 선택된 동영상 콘텐츠 또는 상기 아바타 정보, 상기 운동정보, 상기 의심질환 정보, 상기 건강정보, 상기 공유정보 중 어느 하나 또는 이들의 조합을 상기 스마트 미러로 표출하는 디스플레이 과정
을 포함하는 것을 특징으로 하는 지능형 헬스케어를 제공하기 위한 방법.
A method based on a smart mirror on a communication network, comprising:
an image detection process of interworking with a user terminal device, collecting image information photographed by the user from the user terminal device, and detecting human body information in the divided image through image pre-processing and the image pre-processing;
a posture estimation process of providing posture estimation information through two-dimensional or three-dimensional posture analysis through a deep learning-based human pose estimation method among the detected human body information;
a human body visualization process of constructing a three-dimensional shape based on the human body information and the posture estimation information, and providing the visualized avatar information by inputting the posture estimation information or the posture information into the three-dimensional shape;
A health that provides exercise information by analyzing the exercise result of the user based on the human body information and the posture estimation information, or provides suspicious disease information and health information including the same by analyzing the user's body joint parts and gait information care process;
Any one or more of the avatar information, the exercise information, the suspicious disease information, and the health information collected to a server through the user terminal device, and avatar information and exercise provided from a plurality of other user terminal devices collected from the server a shared information process of grouping any one or more of information, suspected disease information, and the health information according to the degree of similarity and sharing the shared information including the corresponding user ranking with the user terminal device and the plurality of other user terminal devices; and
In conjunction with the user terminal device, any one or a combination of the video content or the avatar information, the exercise information, the suspicious disease information, the health information, and the shared information selected from the user terminal device is displayed with the smart mirror. display process
A method for providing intelligent healthcare comprising a.
 제7항에 있어서,
상기 인체 시각화 과정은,
미리 촬영된 해당 사용자의 정면, 좌면, 우면, 후면 중 어느 하나 이상의 기본 자세를 반영하여, 시각화된 상기 아바타 정보를 제공하며,
상기 자세정보는 상기 사용자 단말장치로부터 선택된 상기 동영상 콘텐츠의 자세정보인 것을 특징으로 하는 지능형 헬스케어를 제공하기 위한 방법.8. The method of claim 7,
The human body visualization process is
Provides the visualized avatar information by reflecting the user's pre-photographed basic posture of any one or more of the front, left, right, and rear,
The posture information is a method for providing intelligent healthcare, characterized in that the posture information of the video content selected from the user terminal device.
KR1020210146106A 2021-10-28 2021-10-28 System and method for intelligent healthcare based on smart mirror KR102360284B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210146106A KR102360284B1 (en) 2021-10-28 2021-10-28 System and method for intelligent healthcare based on smart mirror

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210146106A KR102360284B1 (en) 2021-10-28 2021-10-28 System and method for intelligent healthcare based on smart mirror

Publications (1)

Publication Number Publication Date
KR102360284B1 true KR102360284B1 (en) 2022-02-10

Family

ID=80253623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210146106A KR102360284B1 (en) 2021-10-28 2021-10-28 System and method for intelligent healthcare based on smart mirror

Country Status (1)

Country Link
KR (1) KR102360284B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102593279B1 (en) * 2022-12-15 2023-10-24 에버엑스 주식회사 Method and system for posture estimation and motion analysis
KR102630248B1 (en) 2022-10-14 2024-01-29 (주)에이치엠솔루션 Home training matching system and home training matching method using smart mirror
KR102630247B1 (en) 2022-10-14 2024-01-29 (주)에이치엠솔루션 A contest of online home training between groups with a smart mirror
KR20240053508A (en) 2022-10-14 2024-04-24 (주)에이치엠솔루션 Method for glowing a home training group using smart mirror

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107268A (en) * 2014-03-13 2015-09-23 계명대학교 산학협력단 Mirror device, wearable device and exercise management system
KR20160130085A (en) * 2015-04-30 2016-11-10 모다정보통신 주식회사 Exercising Method and System Using a Smart Mirror
KR20190113265A (en) * 2018-03-28 2019-10-08 주식회사 스탠스 Augmented reality display apparatus for health care and health care system using the same
KR20200107520A (en) * 2019-03-08 2020-09-16 전진 Smart mirror system and method for controlling smart mirror
KR20210076539A (en) 2019-12-16 2021-06-24 하민제 Smart mirror apparatus and control method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150107268A (en) * 2014-03-13 2015-09-23 계명대학교 산학협력단 Mirror device, wearable device and exercise management system
KR20160130085A (en) * 2015-04-30 2016-11-10 모다정보통신 주식회사 Exercising Method and System Using a Smart Mirror
KR20190113265A (en) * 2018-03-28 2019-10-08 주식회사 스탠스 Augmented reality display apparatus for health care and health care system using the same
KR20200107520A (en) * 2019-03-08 2020-09-16 전진 Smart mirror system and method for controlling smart mirror
KR20210076539A (en) 2019-12-16 2021-06-24 하민제 Smart mirror apparatus and control method thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630248B1 (en) 2022-10-14 2024-01-29 (주)에이치엠솔루션 Home training matching system and home training matching method using smart mirror
KR102630247B1 (en) 2022-10-14 2024-01-29 (주)에이치엠솔루션 A contest of online home training between groups with a smart mirror
KR20240053508A (en) 2022-10-14 2024-04-24 (주)에이치엠솔루션 Method for glowing a home training group using smart mirror
KR102593279B1 (en) * 2022-12-15 2023-10-24 에버엑스 주식회사 Method and system for posture estimation and motion analysis

Similar Documents

Publication Publication Date Title
KR102360284B1 (en) System and method for intelligent healthcare based on smart mirror
JP7075085B2 (en) Systems and methods for whole body measurement extraction
KR102097190B1 (en) Method for analyzing and displaying a realtime exercise motion using a smart mirror and smart mirror for the same
US20210183516A1 (en) Systems and methods to identify persons and/or identify and quantify pain, fatigue, mood, and intent with protection of privacy
Jiang et al. Seeing invisible poses: Estimating 3d body pose from egocentric video
Wang et al. Deep eye fixation map learning for calibration-free eye gaze tracking
US12013979B2 (en) Lightweight and low power cross reality device with high temporal resolution
US20220051441A1 (en) Multi-camera cross reality device
Liu et al. Infrared head pose estimation with multi-scales feature fusion on the IRHP database for human attention recognition
JP2008168133A (en) Method, system and program for tracking range of user's body movement
Shi et al. Accurate and fast classification of foot gestures for virtual locomotion
US20210182554A1 (en) Method and system for performing eye tracking using an off-axis camera
KR102411138B1 (en) Artificial intelligence customized exercise provision service system and method for rehabilitation of paralysis patients
KR20190104282A (en) Method and mobile terminal for providing information based on image
Tao et al. Calorie counter: RGB-depth visual estimation of energy expenditure at home
US20190254748A1 (en) System and method for automatically generating a facial remediation design and application protocol to address observable facial deviations
Zeng et al. Deep learning approach to automated data collection and processing of video surveillance in sports activity prediction
Lu et al. Unsupervised gaze: exploration of geometric constraints for 3D gaze estimation
KR20200107486A (en) Virtual makeup composition processing apparatus
KR20200107482A (en) Virtual makeup composition processing apparatus
KR20200107480A (en) Virtual makeup composition processing apparatus and method
US20220244781A1 (en) Eye tracking and gaze estimation using off-axis camera
US20240112366A1 (en) Two-dimensional pose estimation based on bipartite matching of joint type heatmaps and joint person heatmaps
US20220328159A1 (en) Range of motion determination
Xi [Retracted] The Construction of Adaptive Learning for Sports Based on Aerobics Trajectory Recognition Model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant