KR20190113265A - 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템 - Google Patents

헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템 Download PDF

Info

Publication number
KR20190113265A
KR20190113265A KR1020180035714A KR20180035714A KR20190113265A KR 20190113265 A KR20190113265 A KR 20190113265A KR 1020180035714 A KR1020180035714 A KR 1020180035714A KR 20180035714 A KR20180035714 A KR 20180035714A KR 20190113265 A KR20190113265 A KR 20190113265A
Authority
KR
South Korea
Prior art keywords
user
image
exercise
augmented reality
display device
Prior art date
Application number
KR1020180035714A
Other languages
English (en)
Other versions
KR102099316B1 (ko
Inventor
전지혜
이승진
오장원
박준수
유홍남
Original Assignee
주식회사 스탠스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스탠스 filed Critical 주식회사 스탠스
Priority to KR1020180035714A priority Critical patent/KR102099316B1/ko
Publication of KR20190113265A publication Critical patent/KR20190113265A/ko
Application granted granted Critical
Publication of KR102099316B1 publication Critical patent/KR102099316B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템이 개시된다. 상기 헬스케어를 위한 증강현실 디스플레이 장치는, 사용자의 실제 이미지를 촬영하는 카메라부, 선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부, 상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고, 상기 제어부는, 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하는 것을 특징으로 한다.

Description

헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템{AUGMENTED REALITY DISPLAY APPARATUS FOR HEALTH CARE AND HEALTH CARE SYSTEM USING THE SAME}
본 발명은 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템에 관한 것으로서, 특히 증강현실 운동 환경을 제공하는 스마트 미러를 이용하여 사용자에게 직관적으로 운동 동작을 안내함으로써 사용자가 편리하게 운동 동작을 따라할 수 있고 자세 교정, 재활, 피트니스의 효과를 얻을 수 있는 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템에 관한 것이다.
최근 미래기술로 떠오르고 있는 스마트 미러는 거울과 같이 실제 이미지를 동일하게 표시하면서도 가상 객체를 함께 표시할 수 있어 증강현실 환경을 구현할 수 있는 디스플레이 장치를 의미한다. 의류를 가상으로 착용해볼 수 있는 가상피팅 영역에서 이와 관련된 여러 가지 기술이 개발되고 있으나, 아직까지 스마트 미러 관련 기술은 단순히 시간, 날씨, 지도 또는 텍스트 등을 실제 이미지와 함께 보여주는 기술이 대부분이다.
또한, 증강현실이나 가상현실을 이용한 헬스케어 관련 서비스들이 개발되고 있으나, 사용자의 동작을 인식하기 위해 웨어러블 센서를 착용해야 하는 번거로운 문제점이 있거나, 운동 동작 안내를 사진으로만 보여주기 때문에 사용자가 운동 동작을 따라하기 어려운 문제점 등이 있다. 따라서, 이와 같은 문제점을 해결하면서도 스마트 미러를 통해 사용자에게 편리하게 헬스케어 콘텐츠를 제공할 수 있는 기술이 요구되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 증강현실 운동 환경을 제공하는 스마트 미러를 이용하여 사용자에게 직관적으로 운동 동작을 안내함으로써 사용자가 편리하게 운동 동작을 따라할 수 있고 자세 교정, 재활, 피트니스의 효과를 얻을 수 있는 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치는, 사용자의 실제 이미지를 촬영하는 카메라부, 선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부, 및 상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고, 상기 제어부는, 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하는 것을 특징으로 한다.
바람직하게는, 상기 증강현실 디스플레이 장치는, 상기 사용자의 실제 이미지에서 추출된 관절 정보에 근육을 매핑하여 상기 사용자의 가상 이미지를 생성하는 가상 이미지 생성부, 및 적어도 하나의 운동 정보에 대응되는 운동 자세 데이터를 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 선택된 운동 정보에 대응되는 운동 자세 데이터를 상기 저장부에서 추출하고, 상기 추출된 운동 자세 데이터를 상기 사용자의 가상 이미지와 결합하여 연속된 동작 이미지로서 상기 스마트 이미지를 생성할 수 있다.
바람직하게는, 상기 제어부는, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 오차 허용 범위 이내인 경우, 상기 디스플레이부에 표시되는 스마트 이미지를 다음 단계의 운동 정보에 대응되는 스마트 이미지로 변경할 수 있다.
바람직하게는, 상기 증강현실 디스플레이 장치는, 유무선 통신망을 이용하여 사용자 단말기와 통신하는 통신부를 더 포함하고, 상기 선택된 운동 정보는, 상기 사용자가 상기 사용자 단말기를 통해 선택한 운동 정보이고 상기 사용자 단말기로부터 상기 통신부로 전송될 수 있다.
바람직하게는, 상기 제어부는, 상기 카메라부를 통해 상기 디스플레이부 전방에 상기 사용자가 위치한 것이 인식되는 경우, 상기 사용자의 신체 정보 및 공간 정보 중 적어도 하나에 따라 발판 이미지를 상기 디스플레이부를 통해 표시할 수 있다.
바람직하게는, 상기 증강현실 디스플레이 장치는, 사용자로부터 입력되는 음성 신호를 인식하고 상기 음성 신호에 대응되는 사용자 입력 신호를 생성하여 상기 제어부로 출력하는 음성 인식부를 더 포함하고, 상기 제어부는, 상기 음성 인식부로부터 입력된 사용자 입력 신호에 따라 상기 디스플레이부에 표시되는 상기 실제 이미지 및 상기 스마트 이미지 중 적어도 하나를 변경할 수 있다.
바람직하게는, 상기 제어부는, 상기 카메라부를 통해 스캔된 사용자의 신체 정보에 따라 상기 사용자의 신체 체형 정보를 분석하고, 상기 증강현실 디스플레이 장치는, 상기 사용자의 신체 체형 정보에 따라 상기 사용자에게 적합한 운동을 추천하는 운동 추천부를 더 포함할 수 있다.
바람직하게는, 상기 증강현실 디스플레이 장치는, 유무선 통신망을 이용하여 전문가 단말기 및 헬스케어 관리서버와 통신하고, 상기 사용자의 신체 정보 및 상기 사용자의 운동량 정보를 상기 헬스케어 관리서버로 전송하는 통신부를 더 포함하고, 상기 헬스케어 관리서버에 저장된 상기 사용자의 신체 정보 및 운동량 정보는 상기 전문가 단말기로 제공되고, 상기 전문가 단말기로부터 전송되는 운동방법 및 운동추천에 관한 피드백 정보가 상기 증강현실 디스플레이 장치로 전송되어 상기 디스플레이부를 통해 상기 사용자에게 제공될 수 있다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템은, 증강현실 디스플레이 장치, 헬스케어 관리서버, 사용자 단말기 및 전문가 단말기를 포함하고, 상기 증강현실 디스플레이 장치는, 사용자의 실제 이미지를 촬영하는 카메라부, 선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부, 및 상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고, 상기 제어부는, 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하며, 상기 헬스케어 관리서버는, 상기 사용자의 신체 정보 및 운동량 정보를 상기 사용자 단말기 및 전문가 단말기로 제공하고, 상기 전문가 단말기는, 상기 사용자의 신체 정보 및 운동량 정보에 따라 상기 전문가로부터 입력받은 운동방법 및 운동추천에 관한 피드백 정보를 상기 헬스케어 관리서버를 통해 상기 증강현실 디스플레이 장치 또는 상기 사용자 단말기로 전송하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법은, 카메라부에 의해 촬영된 사용자의 실제 이미지를 디스플레이부를 통해 표시하는 단계, 선택된 운동 정보에 대응되는 스마트 이미지를 상기 실제 이미지에 중첩하여 표시하는 단계, 및 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 상기 사용자에게 제공하는 단계를 포함하고, 상기 스마트 이미지는 상기 선택된 운동 정보에 대응되는 연속적인 동작 이미지를 포함하는 것을 특징으로 한다.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 증강현실 운동 환경을 제공하는 스마트 미러를 이용하여 사용자에게 직관적으로 운동 동작을 안내함으로써 사용자가 편리하게 운동 동작을 따라할 수 있는 효과가 있다.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 사용자가 동작을 직접 보면서 코칭 받는 느낌을 받게 하는 점에서 기존에 영상을 보면서 따라하기만 하는 헬스케어 콘텐츠와 확실한 차별점을 가지며, 직접 피트니스 센터나 재활원에 가지 않아도 집에서 피트니스나 재활운동이 가능한 효과가 있다.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 웨어러블 센서와 같이 사용자의 몸에 부착되는 장치가 필요 없으므로 사용자에게 불편함을 주지 않으면서도 증강현실 운동 환경을 제공하여 자세 교정, 재활, 피트니스에 탁월한 효과가 있다.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 사용자가 원격 및 실시간으로 전문가의 피드백을 받아 효과적으로 운동을 할 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치를 나타내는 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 나타내는 순서도(Flowchart)이다.
도 4a 내지 도 4f는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 구체적인 동작을 나타내는 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다.
이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템(1000)은, 증강현실 디스플레이 장치(100), 헬스케어 관리서버(200), 사용자 단말기(300) 및 전문가 단말기(400)를 포함할 수 있다.
상기 증강현실 디스플레이 장치를 이용한 헬스케어 시스템(1000)은, 증강현실 디스플레이 장치(100)를 통해 사용자(P)에게 증강현실 환경을 제공할 수 있고, 스마트 이미지(AR_Img)를 통해 운동 자세 및 운동 동작을 표시할 수 있다. 사용자(P)는 증강현실 디스플레이 장치(100)를 통해 표시되는 스마트 이미지(AR_Img)를 따라하면서 쉽게 운동을 할 수 있고, 자세 교정, 환자 재활, 피트니스 등의 효과를 얻을 수 있다.
증강현실 디스플레이 장치(100)는, 카메라부(110), 디스플레이부(120)를 포함할 수 있으며, 제어부(도 2의 130)를 더 포함할 수 있다. 카메라부(110)는 사용자(P)의 실제 이미지를 촬영할 수 있고, 제어부(130)는 선택된 운동 정보 및 카메라부(110)에서 촬영된 실제 이미지에 따라 스마트 이미지(AR_Img)를 생성할 수 있다. 디스플레이부(120)는 제어부(130)의 제어에 따라 상기 스마트 이미지(AR_Img)를 사용자(P)의 실제 이미지(P_Img)와 중첩하여 표시할 수 있다. 제어부(130)는 사용자의 실제 이미지(P_Img)의 관절 위치를 스마트 이미지(AR_Img)의 관절 위치에 매칭시켜 중첩 표시될 때의 오차를 감소시킬 수 있다.
제어부(130)는, 스마트 이미지(AR_Img)의 움직임에 따라 사용자(P)가 운동 동작을 수행하면, 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하고 유사도 분석 결과를 디스플레이부(120)를 통해 사용자(P)에게 제공할 수 있다. 즉, 사용자(P)는 디스플레이부(120)에 표시되는 스마트 이미지(AR_Img)의 동작을 따라하면서 쉽게 다양한 운동을 할 수 있다. 제어부(130)는 카메라부(110)를 통해 촬영된 사용자(P)의 신체 정보 및 사용자(P)의 운동량 정보를 헬스케어 관리서버(200)로 전송할 수 있다. 증강현실 디스플레이 장치(100)의 기본 구성요소 및 추가적인 구성요소에 대한 상세한 설명은 도 2를 참조하여 상술하기로 한다.
상기 헬스케어 관리서버(200)는, 증강현실 디스플레이 장치(100)로부터 사용자(P)의 신체 정보(신장, 몸무게 등) 및 운동량 정보(운동 시간, 소모 칼로리, 운동 종류 등)를 전송받아 저장할 수 있다. 헬스케어 관리서버(200)는, 사용자 단말기(300) 또는 전문가 단말기(400)의 요청에 따라 사용자(P)의 신체 정보 및 운동량 정보 등을 제공할 수 있다.
사용자 단말기(300)는, 사용자(P)로부터 선택된 운동 정보를 증강현실 디스플레이 장치(100)로 전송할 수 있다. 사용자 단말기(300)에는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 시스템(1000)을 이용하기 위한 애플리케이션 소프트웨어가 설치될 수 있다. 사용자는 사용자 단말기(300)에서 자신이 하고자 하는 운동의 아이콘을 선택할 수 있다. 사용자 단말기(300)는 증강현실 디스플레이 장치(100)를 제어하는 제어신호를 생성하여 증강현실 디스플레이 장치(100)로 전송할 수 있으며, 사용자는 사용자 단말기(300)를 이용하여 디스플레이부(120)의 화면 배치, 이미지의 크기, 운동 프로그램의 선택, 운동 레벨을 높이거나 낮추는 동작 등의 다양한 제어를 할 수 있다.
일례로서, 각각의 사용자(P)는 사용자 단말기(300)를 통해 헬스케어 관리서버(200)에 접속하여 회원 가입을 할 수 있고, 상기 회원 가입 정보는 헬스케어 관리서버(200)에 저장될 수 있다. 사용자(P)가 사용자 단말기(300)를 통해 회원 가입된 경우, 증강현실 디스플레이 장치(100)는 사용자 단말기(300)에 대응되는 사용자(P)를 인식하여 사용자(P)의 신체 정보나 과거 운동 이력 정보 등에 따라 해당 사용자에게 적합한 운동 프로그램을 추천할 수도 있다. 다만, 이는 예시적인 것으로서, 각각의 사용자(P)는 별도의 회원 가입 절차 없이 헬스케어 관리서버(200)에 접속하여 증강현실 디스플레이 장치(100)를 이용할 수도 있다. 사용자(P)는 사용자 단말기(300)를 이용하여 헬스케어 관리서버(200)에 접속할 수 있고, 사용자의 신체 정보 및 운동량 정보, 운동 추천 정보 등 다양한 헬스케어 관련 정보를 제공받을 수 있다. 상기 사용자 단말기(300)는, 휴대폰, 스마트폰, 태블릿 PC, 스마트워치, 스마트밴드 등 유선 또는 무선으로 데이터 통신이 가능한 다양한 형태의 단말기 또는 전자 장비일 수 있고, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.
전문가 단말기(400)는, 사용자(P)의 신체 정보 및 운동량 정보 등을 헬스케어 관리서버(200)로부터 전송받을 수 있다. 일례로서, 전문가 단말기(400)는 해당 사용자의 허락이 있는 경우에만 사용자(P)의 신체 정보 및 운동량 정보 등을 헬스케어 관리서버(200)로부터 전송받을 수 있다. 전문가 단말기(400)는, 상기 사용자(P)의 신체 정보 및 운동량 정보에 따라 전문가로부터 입력받은 운동방법 및 운동추천에 관한 피드백 정보를 상기 헬스케어 관리서버(200)를 통해 상기 증강현실 디스플레이 장치(100)나 사용자 단말기(300)로 전송할 수 있다. 여기에서, 상기 전문가는 재활치료사나 피트니스 트레이너 등 운동이나 건강 관련 전문가일 수 있다. 즉, 전문가는 사용자(P)의 신체 정보 및 운동량 정보를 보고 평가하여 사용자(P)에게 자세, 운동방법과 운동추천에 대한 피드백을 줄 수 있다. 전문가의 참여를 유도하기 위하여 적절한 피드백을 주는 전문가 회원에게는 소정의 보상(포인트 등)을 제공할 수 있다.
증강현실 디스플레이 장치(100)는 전문가의 피드백 정보를 수신하여 디스플레이부(120)에 표시할 수 있고, 사용자 단말기(300)는 문자 메시지와 같은 형태로 전문가의 피드백 정보를 수신하여 사용자(P)에게 제공할 수 있다. 이를 통해 사용자(P)는 자신의 운동 동작 및 운동 자세에서 잘못된 점을 알고 바로 수정하거나, 다음 운동으로 적절한 운동을 추천받을 수 있게 된다. 따라서, 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템(1000)은, 사용자(P)가 원격 및 실시간으로 전문가의 피드백을 받아 효과적으로 운동을 할 수 있는 효과가 있다.
상기 전문가 단말기(400)에는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 시스템(1000)을 이용하기 위한 애플리케이션 소프트웨어가 설치될 수 있다. 전문가 단말기(400)도 사용자 단말기(300)와 유사하게 다양한 형태의 단말기 또는 전자 장비일 수 있고, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.
증강현실 디스플레이 장치(100), 헬스케어 관리서버(200), 사용자 단말기(300) 및 전문가 단말기(400)는 유무선 통신망(500)을 통하여 서로 통신할 수 있다. 상기 유무선 통신망(500)은, 유선 또는 무선으로 통신이 가능한 통신망(Communication Network)으로서 통신 양태를 특별하게 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 유무선 통신망(500)은 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(IrDA; Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 상기 유무선 통신망(500)은 통상의 기술자에게 널리 알려져 있으므로 자세한 설명은 생략한다.
도 2는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치를 나타내는 블록 다이어그램이다. 도 2를 참조하면, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는 카메라부(110), 디스플레이부(120) 및 제어부(130)를 포함할 수 있으며, 실시예에 따라, 상기 헬스케어를 위한 증강현실 디스플레이 장치(100)는 가상 이미지 생성부(140), 저장부(150), 통신부(160), 음성 인식부(170) 및 운동 추천부(180) 중 적어도 하나를 더 포함할 수 있다. 실시예에 따라, 상기 헬스케어를 위한 증강현실 디스플레이 장치(100)는 일부 구성요소가 생략될 수도 있고 다른 구성요소가 추가될 수도 있다.
카메라부(110)는 증강현실 디스플레이 장치(100)에 구비될 수 있으며, 전방의 영상을 촬영하여 제어부(130)로 전송할 수 있다. 카메라부(110)는 사용자의 실제 이미지를 촬영하여 제어부(130)로 전송할 수 있다. 일례로서, 상기 카메라부(110)는 3D 카메라로 구현될 수 있다.
디스플레이부(120)는, 사용자의 실제 이미지를 스마트 이미지와 중첩하여 표시할 수 있다. 디스플레이부(120)는 제어부(130)로부터 입력받은 신호에 따라 화면을 표시하여 사용자에게 제공할 수 있다. 디스플레이부(120)는 사용자의 운동 동작이 스마트 이미지와 일치하는지 여부, 운동 평가 결과, 사용자의 운동량 정보, 소모된 칼로리 정보, 운동 카운트 정보, 운동 시간 정보 등을 화면에 표시할 수 있다. 사용자는 운동 도중이나 운동 후에 자신의 운동량이나 운동 자세의 정확도 등을 실시간으로 확인할 수 있으므로, 보다 효율적으로 운동을 할 수 있게 된다.
디스플레이부(120)는, 증강현실 디스플레이 장치(100)의 외면에 형성되거나 외부장치로 연결될 수 있으며, 통상의 기술자에게 알려진 바와 같이 액정표시장치(LCD), 발광다이오드(LED), 유기발광다이오드(OLED), 투명 디스플레이 장치 등 사용자에게 증강현실 환경(Augmented Reality)을 제공할 수 있는 다양한 형태의 디스플레이 장치에 의해 구현될 수 있다. 디스플레이부(120)는 사용자의 전신을 표시할 수 있을 만큼 충분히 큰 형태로 형성될 수 있다.
제어부(130)는 사용자(P)에 의해 선택된 운동 정보 및 사용자(P)의 실제 이미지에 따라 스마트 이미지를 생성할 수 있다. 제어부(130)는 카메라부(110)에서 촬영되는 영상을 실시간으로 스마트 이미지와 합성하여 디스플레이부(120)에 표시함으로써 사용자(P)에게 증강현실 운동 환경을 제공할 수 있다. 제어부(130)는, 헬스케어를 위한 증강현실 디스플레이 장치(100)의 다양한 구성요소를 제어하고 다양한 데이터를 처리할 수 있고, CPU 프로세서나 GPU와 같은 정보처리장치에 의해 구현될 수 있다.
가상 이미지 생성부(140)는, 사용자(P)의 실제 이미지(P_Img)에서 추출된 관절 정보에 근육을 매핑하여 상기 사용자(P)의 가상 이미지를 생성할 수 있다. 가상 이미지 생성부(140)는 카메라부(110)가 촬영한 사용자(P)의 실제 이미지(P_Img)에 바디 트래킹 알고리즘을 적용하여 사용자의 골격 또는 관절을 인식하고, 인체의 중요 관절 부위를 복수 개의 점으로 표시하여 뼈대 형식의 그래픽으로 추출할 수 있다. 가상 이미지 생성부(140)는 사용자의 관절 정보로 생성된 뼈대 형식의 그래픽에 근육을 매핑하여 사용자(P)의 가상 이미지를 생성할 수 있다.
저장부(150)는, 적어도 하나의 운동 정보에 대응되는 운동 자세 데이터를 저장할 수 있다. 저장부(150)는 스트레칭, 덤벨 운동, 맨손 운동 등 다양한 운동 정보 및 각각의 운동 정보에 대응되는 운동 자세 데이터를 저장할 수 있다. 저장부(150)는, 통상의 기술자에게 알려진 바와 같이 ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory) 등과 같은 다양한 형태의 메모리 저장장치로 구현될 수 있다.
제어부(130)는, 사용자(P)에 의해 선택된 운동 정보에 대응되는 운동 자세 데이터를 저장부(150)에서 추출하고, 추출된 운동 자세 데이터를 사용자(P)의 가상 이미지와 결합하여 연속된 동작 이미지로서 스마트 이미지(AR_Img)를 생성할 수 있다. 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 사용자(P)의 실제 이미지(P_Img)를 촬영하여 얻은 관절 정보를 이용하여 스마트 이미지(AR_Img)를 생성하므로, 사용자의 신장이나 체형, 근육량과 같은 신체 정보에 맞게 스마트 이미지(AR_Img)의 크기나 체형이 변경될 수 있는 장점이 있다.
사용자(P)가 스마트 이미지(AR_Img)의 움직임에 따라 운동 동작을 수행하면, 제어부(130)는 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하고 유사도 분석 결과를 디스플레이부(120)를 통해 사용자에게 제공할 수 있다. 일례로서, 제어부(130)는 사용자(P)의 신체 부위 중 어느 부위가 스마트 이미지(AR_Img)의 운동 자세와 일치하지 않는 지를 디스플레이부(120)에 표시할 수 있고, 해당 부위가 기준 동작과 일치하지 않는 정도를 각도나 이격 거리 등으로 표시하여 정확한 운동동작으로 유도할 수 있다.
실시예에 따라, 제어부(130)는 화면 효과나 음향 효과 등을 통해 자세 교정의 메시지를 사용자(P)에게 전달할 수 있다. 사용자(P)는 디스플레이부(120)에 표시된 스마트 이미지(AR_Img)를 보고 운동 동작을 따라하여 쉽게 운동을 할 수 있고, 운동 동작 중에 잘못된 동작이나 자세가 있는 경우 디스플레이부(120)를 통해 이를 쉽게 인지하고 수정할 수 있게 된다.
실시예에 따라, 상기 제어부(130)는 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하여 오차 허용 범위 이내인 경우, 상기 디스플레이부(120)에 표시되는 스마트 이미지(AR_Img)를 다음 단계의 운동 정보에 대응되는 스마트 이미지(AR_Img)로 변경할 수 있다. 즉, 사용자(P)가 스마트 이미지(AR_Img)로 표시되는 운동 동작이나 자세를 동일하게 따라하기 어려운 경우에는 소정 범위의 오차를 인정하여 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)가 어느 정도 유사하면 다음 단계로 넘어갈 수 있다. 이러한 오차 허용 범위는 사용자(P)에 의해 난이도의 형태로 선택될 수 있으며, 사용자(P)가 난이도를 쉽게 선택한 경우에는 오차 허용 범위를 크게 하고, 난이도를 어렵게 선택한 경우에는 오차 허용 범위를 작게 할 수 있다. 이를 통해, 사용자(P)는 자신의 수준에 맞게 운동을 할 수 있어 자세교정이나 재활에 도움을 얻을 수 있는 효과가 있다.
실시예에 따라, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 통신부(160)를 더 포함할 수 있다. 상기 통신부(160)는, 유무선 통신망(500)을 이용하여 헬스케어 관리서버(200), 사용자 단말기(300) 및 전문가 단말기(400) 등과 통신할 수 있다.
통신부(160)는 사용자의 신체 정보 및 사용자의 운동량 정보를 헬스케어 관리서버(200)로 전송할 수 있다. 사용자(P)가 사용자 단말기(300)를 이용하여 애플리케이션을 실행하고 자신이 하고자 하는 운동을 선택하는 경우, 선택된 운동 정보가 사용자 단말기(300)로부터 통신부(160)로 전송될 수 있다. 이에 따라 증강현실 디스플레이 장치(100)는 사용자가 선택한 운동 정보에 대응되는 스마트 이미지(AR_Img)를 생성하여 디스플레이부(120)에 표시할 수 있다.
일례로서, 상기 통신부(150)는 유선 인터넷, 블루투스(Bluetooth), WiFi(Wireless Fidelity), 적외선 통신, WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution) 등과 같은 다양한 통신방법 중 적어도 하나를 지원하는 통신모듈로 구현될 수 있다. 통신부(150)는 상술한 바와 같은 다양한 통신방법 중 적어도 하나를 지원하는 통신모듈로 구현될 수 있으며, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.
실시예에 따라, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 음성 인식부(170)를 더 포함할 수 있다. 상기 음성 인식부(170)는, 증강현실 디스플레이 장치(100)의 일 영역에 설치될 수 있고, 사용자(P)로부터 입력되는 음성 신호를 인식하고 상기 음성 신호에 대응되는 사용자 입력 신호를 생성하여 제어부(130)로 출력할 수 있다.
이에 따라, 제어부(130)는, 음성 인식부(170)로부터 입력된 사용자 입력 신호에 따라 디스플레이부(120)에 표시되는 실제 이미지(P_Img) 및 스마트 이미지(AR_Img) 중 적어도 하나를 변경할 수 있다. 즉, 사용자는 음성 입력을 통하여 편리하게 운동 정보를 선택하거나, 디스플레이부(120)에 표시되는 이미지를 변경하는 등의 사용자 입력을 수행할 수 있다.
실시예에 따라, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 운동 추천부(180)를 더 포함할 수 있다. 운동 추천부(180)는 사용자(P)의 신체 체형 정보에 따라 사용자(P)에게 적합한 운동을 추천할 수 있다. 카메라부(110)는 사용자의 신체를 스캔하여 사용자의 신체 정보를 생성할 수 있고, 제어부(130)는 카메라부(110)를 통해 스캔된 사용자의 신체 정보에 따라 사용자의 신체 체형 정보를 분석할 수 있다. 일례로서, 카메라부(110)는 사용자(P)의 앞, 뒤, 옆모습을 스캔할 수 있고, 제어부(130)는 사용자(P)의 팔 둘레, 다리둘레, 허리둘레, 체형의 굽음, 뒤틀림, 기울어짐 등을 분석하여 디스플레이부(120)에 표시하거나 사용자 단말기(300)로 전송할 수 있다. 운동 추천부(180)는 사용자(P)의 신체 체형 정보에 따라 사용자(P)에게 적합한 운동을 추천할 수 있으며, 사용자(P)는 자신에게 추천된 운동을 선택하여 해당 운동을 할 수 있다.
한편, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 인터페이스부(미도시)를 더 포함할 수 있다. 인터페이스부는 사용자로부터 사용자 입력 신호를 입력받을 수 있고 상기 사용자 입력 신호를 제어부(130)로 전달할 수 있다. 일례로서, 인터페이스부는 터치스크린 형태로 구현되어 디스플레이부(120)와 겹쳐서 배치될 수 있다. 사용자는 인터페이스부를 이용하여 디스플레이부(120)의 화면 배치, 이미지의 크기, 운동 프로그램의 선택, 운동 레벨을 높이거나 낮추는 동작 등의 다양한 제어를 할 수 있다.
또한, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 인체감지센서(미도시)를 더 포함할 수 있다. 인체감지센서는 디스플레이부(120) 전방의 사용자(P)를 감지하여 감지신호를 제어부(130)로 전달할 수 있다. 이에 따라, 제어부(130)는 디스플레이부(120) 전방에 사용자(P)가 존재하는 경우에만 디스플레이부(120)를 동작시키고 그렇지 않은 경우에는 디스플레이부(120)를 동작시키지 않을 수 있다.
또한, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 전원공급부(미도시)를 더 포함할 수 있다. 상기 전원공급부는 카메라부(110), 디스플레이부(120) 및 제어부(130) 등의 구성요소에 전원을 공급할 수 있다. 전원공급부는 전원 케이블을 이용하여 외부에서 전원을 공급받아 상기 구성요소로 공급하거나, 충전식 내장 배터리로 구현되어 상기 구성요소로 전원을 공급할 수 있다.
도 3은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 나타내는 순서도(Flowchart)이다. 도 3에 도시된 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)에 의해 수행될 수 있다.
도 3을 참조하면, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은, 카메라부(110)에 의해 촬영된 사용자(P)의 실제 이미지(P_Img)를 디스플레이부(120)를 통해 표시하는 단계(S11)를 포함할 수 있다. 도 1 및 도 2를 참조하여 상술한 바와 같이, 카메라부(110)는 사용자(P)의 실제 이미지(P_Img)를 촬영할 수 있고, 디스플레이부(120)는 촬영된 실제 이미지(P_Img)를 표시할 수 있다. 사용자(P)는 이를 통해 거울을 보는 것과 같이 디스플레이부(120)를 통해 자신의 이미지를 볼 수 있게 된다.
본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은, 선택된 운동 정보에 대응되는 스마트 이미지(AR_Img)를 실제 이미지(P_Img)에 중첩하여 표시하는 단계(S12)를 포함할 수 있다. 제어부(130)는, 사용자(P)에 의해 선택된 운동 정보에 대응되는 운동 자세 데이터를 저장부(150)에서 추출하고, 추출된 운동 자세 데이터를 사용자(P)의 가상 이미지와 결합하여 연속된 동작 이미지로서 스마트 이미지(AR_Img)를 생성할 수 있다.
본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은, 스마트 이미지(AR_Img)의 움직임에 따라 사용자가 운동 동작을 수행하면, 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하여 사용자(P)에게 제공하는 단계(S13)를 포함할 수 있다. 상술한 바와 같이, 제어부(130)는 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하여 사용자(P)의 신체 부위 중 어느 부위가 스마트 이미지(AR_Img)의 운동 자세와 일치하지 않는 지를 디스플레이부(120)에 표시할 수 있다.
한편, 도 3에 도시되지는 않았으나, 상기 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)에 의해 수행되는 동작들을 모두 포함할 수 있다.
한편, 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법은 도 3을 참조하여 상술한 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 의해 수행될 수 있다. 또한, 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법은, 하드웨어와 결합되어 도 3을 참조하여 상술한 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램에 의해 수행될 수 있다. 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함하며, 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수도 있다.
한편, 도 3을 참조하여 설명한 단계들의 순서는 예시적인 것으로서 본 발명의 효과를 상실하지 않는 범위에서 그 순서가 다양하게 변경되거나 조합될 수 있고, 실시예에 따라 특정 단계가 생략될 수도 있다.
도 4a 내지 도 4f는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 구체적인 동작을 나타내는 도면이다. 도 4a 내지 도 4f는 설명의 편의를 위해 사용자(P)가 양팔을 좌우로 올리고 내리는 간단한 운동을 표시한 것이나, 본 발명의 범위는 이에 한정되지 않고 증강현실 디스플레이 장치(100)는 다양한 운동 동작이나 자세를 스마트 이미지(AR_Img)로 표시할 수 있다.
도 4a를 참조하면, 사용자(P)가 증강현실 디스플레이 장치(100) 앞에 서게 되면 인체감지센서 또는 카메라부(110)가 사용자(P)를 감지하여 증강현실 디스플레이 장치(100)가 동작하게 된다.
제어부(130)는, 카메라부(110)를 통해 디스플레이부(120) 전방에 사용자가 위치한 것이 인식되는 경우, 사용자의 신체 정보 및 공간 정보 중 적어도 하나에 따라 발판 이미지(Z)를 디스플레이부(120)를 통해 표시할 수 있다. 제어부(130)는 사용자의 신장이나 증강현실 디스플레이 장치(100)가 설치된 공간의 크기 등을 고려하여 디스플레이부(120)의 바닥 쪽에 발판 이미지(Z)를 표시하고, 사용자(P)에게 발판 이미지(Z) 위에 위치하라는 안내 메시지를 표시할 수 있다. 상기 발판 이미지(Z)는 스마트 이미지(AR_Img)를 표시하기 위한 기준점이 될 수 있다.
사용자(P)는 발판 이미지(Z) 위로 이동할 수 있고, 사용자(P)가 사용자 단말기(300)의 애플리케이션을 실행시켜 자신에게 필요한 운동 코스나 자세를 선택하면, 증강현실 디스플레이 장치(100)는 사용자(P)가 선택한 운동 정보에 따라 스마트 이미지(AR_Img)를 생성하여 디스플레이부(120)에 표시할 수 있다. 실시예에 따라, 사용자(P)는 증강현실 디스플레이 장치(100)에 터치스크린과 같은 형태로 구현되는 인터페이스부를 통해 자신이 하고자 하는 운동에 관한 정보를 입력할 수도 있다.
도 4a에 도시된 바와 같이, 사용자(P)는 자신이 하고자 하는 운동을 선택한 후 준비자세를 취할 수 있다. 준비자세이므로 스마트 이미지(AR_Img)도 실제 이미지(P_Img)와 일치할 수 있다.
다음으로 도 4b를 참조하면, 운동 동작 안내가 시작되어 스마트 이미지(AR_Img)가 움직일 수 있다. 스마트 이미지(AR_Img)의 양팔이 45도 정도 위로 올라갈 수 있다.
다음으로 도 4c를 참조하면, 사용자(P)는 스마트 이미지(AR_Img)를 보고 동작을 따라할 수 있다. 사용자(P)가 양팔을 45도 정도 위로 올린 상태인데, 사용자(P)가 양팔을 올리는 동안 스마트 이미지(AR_Img)는 양팔을 90도 정도 위로 올린 상태로 변경될 수 있다. 즉, 도 4c는 사용자(P)가 스마트 이미지(AR_Img)를 따라하는 동작이 늦은 경우일 수 있다.
다음으로 도 4d를 참조하면, 사용자(P)가 스마트 이미지(AR_Img)를 보고 동작을 따라하여 양팔을 모두 90도 정도 위로 올려 좌우로 벌린 상태이다. 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)가 서로 일치한 상태이다.
다음으로 도 4e를 참조하면, 다시 스마트 이미지(AR_Img)에 의한 운동 안내가 시작되어 스마트 이미지(AR_Img)가 양팔이 45도 정도 내려온 상태로 변경될 수 있다.
다음으로 도 4f를 참조하면, 사용자(P)는 스마트 이미지(AR_Img)를 보고 재빠르게 동작을 따라하여 양팔이 모두 내려온 준비자세로 돌아온 상태를 나타낸다.
상술한 바와 같이, 스마트 이미지(AR_Img)는 선택된 운동 동작에 따라 연속된 이미지로 표시될 수 있으며, 제어부(130)는 소정 시간 간격 또는 소정 프레임 간격으로 스마트 이미지(AR_Img)와 사용자(P)의 동작의 일치 여부를 비교 분석할 수 있다. 제어부(130)는 사용자(P)의 운동 동작 중에서 스마트 이미지(AR_Img)와 유사도가 가장 낮은 자세를 중심으로 사용자(P)에게 유사도 분석 결과를 제공할 수 있다.
상술한 바와 같이, 디스플레이부(120)는 제어부(130)의 제어에 따라 스마트 이미지(AR_Img)를 사용자(P)의 실제 이미지(P_Img)와 중첩하여 표시할 수 있다. 여기에서, 스마트 이미지(AR_Img)를 실제 이미지(P_Img)에 중첩하여 표시하는 방법은 다양하게 변경될 수 있다.
일례로서, 실제 이미지(P_Img)를 앞에 표시하고 스마트 이미지(AR_Img)를 뒤쪽에 표시할 수 있다. 이 경우, 실제 이미지(P_Img)와 스마트 이미지(AR_Img)가 겹치는 영역에서는 실제 이미지(P_Img)가 표시될 수 있다. 실시예에 따라, 실제 이미지(P_Img)를 뒤에 표시하고, 스마트 이미지(AR_Img)를 앞쪽에 표시할 수도 있다.
도 4a 내지 도 4f에 도시된 바와 같이, 스마트 이미지(AR_Img)는 실제 이미지(P_Img)보다 약간 크게 표시될 수 있다. 이에 따라 스마트 이미지(AR_Img)와 실제 이미지(P_Img)가 겹치는 신체 부위에서 실제 이미지(P_Img) 주변으로 스마트 이미지(AR_Img)가 표시될 수 있다. 또한, 스마트 이미지(AR_Img)는 실제 이미지(P_Img)와 서로 밝기나 색상이 다르게 표시될 수 있다.
본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 스마트 이미지(AR_Img)가 운동의 다음 동작들을 연속적으로 안내해주므로, 사용자(P)가 스마트 이미지(AR_Img)를 따라하는 것만으로도 정확한 자세로 운동을 할 수 있게 되는 장점이 있다.
한편, 도 4a 내지 도 4f에 도시된 디스플레이부(120)의 화면들은 모두 예시적인 것으로서, 화면의 레이아웃이나 구성 등은 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체, 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
100: 증강현실 디스플레이 장치 110: 카메라부
120: 디스플레이부 130: 제어부
140: 가상 이미지 생성부 150: 저장부
160: 통신부 170: 음성 인식부
180: 운동 추천부 200: 헬스케어 관리서버
300: 사용자 단말기 400: 전문가 단말기

Claims (10)

  1. 사용자의 실제 이미지를 촬영하는 카메라부;
    선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부; 및
    상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고,
    상기 제어부는,
    상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  2. 제1항에 있어서, 상기 증강현실 디스플레이 장치는,
    상기 사용자의 실제 이미지에서 추출된 관절 정보에 근육을 매핑하여 상기 사용자의 가상 이미지를 생성하는 가상 이미지 생성부; 및
    적어도 하나의 운동 정보에 대응되는 운동 자세 데이터를 저장하는 저장부를 더 포함하고,
    상기 제어부는,
    상기 선택된 운동 정보에 대응되는 운동 자세 데이터를 상기 저장부에서 추출하고, 상기 추출된 운동 자세 데이터를 상기 사용자의 가상 이미지와 결합하여 연속된 동작 이미지로서 상기 스마트 이미지를 생성하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  3. 제2항에 있어서, 상기 제어부는,
    상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 오차 허용 범위 이내인 경우, 상기 디스플레이부에 표시되는 스마트 이미지를 다음 단계의 운동 정보에 대응되는 스마트 이미지로 변경하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  4. 제1항에 있어서, 상기 증강현실 디스플레이 장치는,
    유무선 통신망을 이용하여 사용자 단말기와 통신하는 통신부를 더 포함하고,
    상기 선택된 운동 정보는,
    상기 사용자가 상기 사용자 단말기를 통해 선택한 운동 정보이고 상기 사용자 단말기로부터 상기 통신부로 전송되는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  5. 제1항에 있어서, 상기 제어부는,
    상기 카메라부를 통해 상기 디스플레이부 전방에 상기 사용자가 위치한 것이 인식되는 경우, 상기 사용자의 신체 정보 및 공간 정보 중 적어도 하나에 따라 발판 이미지를 상기 디스플레이부를 통해 표시하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  6. 제1항에 있어서, 상기 증강현실 디스플레이 장치는,
    사용자로부터 입력되는 음성 신호를 인식하고 상기 음성 신호에 대응되는 사용자 입력 신호를 생성하여 상기 제어부로 출력하는 음성 인식부를 더 포함하고,
    상기 제어부는,
    상기 음성 인식부로부터 입력된 사용자 입력 신호에 따라 상기 디스플레이부에 표시되는 상기 실제 이미지 및 상기 스마트 이미지 중 적어도 하나를 변경하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  7. 제1항에 있어서, 상기 제어부는,
    상기 카메라부를 통해 스캔된 사용자의 신체 정보에 따라 상기 사용자의 신체 체형 정보를 분석하고,
    상기 증강현실 디스플레이 장치는,
    상기 사용자의 신체 체형 정보에 따라 상기 사용자에게 적합한 운동을 추천하는 운동 추천부를 더 포함하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  8. 제1항에 있어서, 상기 증강현실 디스플레이 장치는,
    유무선 통신망을 이용하여 전문가 단말기 및 헬스케어 관리서버와 통신하고, 상기 사용자의 신체 정보 및 상기 사용자의 운동량 정보를 상기 헬스케어 관리서버로 전송하는 통신부를 더 포함하고,
    상기 헬스케어 관리서버에 저장된 상기 사용자의 신체 정보 및 운동량 정보는 상기 전문가 단말기로 제공되고, 상기 전문가 단말기로부터 전송되는 운동방법 및 운동추천에 관한 피드백 정보가 상기 증강현실 디스플레이 장치로 전송되어 상기 디스플레이부를 통해 상기 사용자에게 제공되는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.
  9. 증강현실 디스플레이 장치, 헬스케어 관리서버, 사용자 단말기 및 전문가 단말기를 포함하는 헬스케어 시스템에 있어서,
    상기 증강현실 디스플레이 장치는,
    사용자의 실제 이미지를 촬영하는 카메라부;
    선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부; 및
    상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고,
    상기 제어부는,
    상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하며,
    상기 헬스케어 관리서버는,
    상기 사용자의 신체 정보 및 운동량 정보를 상기 사용자 단말기 및 전문가 단말기로 제공하고,
    상기 전문가 단말기는,
    상기 사용자의 신체 정보 및 운동량 정보에 따라 상기 전문가로부터 입력받은 운동방법 및 운동추천에 관한 피드백 정보를 상기 헬스케어 관리서버를 통해 상기 증강현실 디스플레이 장치 또는 상기 사용자 단말기로 전송하는 것을 특징으로 하는 증강현실 디스플레이 장치를 이용한 헬스케어 시스템.
  10. 카메라부에 의해 촬영된 사용자의 실제 이미지를 디스플레이부를 통해 표시하는 단계;
    선택된 운동 정보에 대응되는 스마트 이미지를 상기 실제 이미지에 중첩하여 표시하는 단계; 및
    상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 상기 사용자에게 제공하는 단계를 포함하고,
    상기 스마트 이미지는 상기 선택된 운동 정보에 대응되는 연속적인 동작 이미지를 포함하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법.
KR1020180035714A 2018-03-28 2018-03-28 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템 KR102099316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180035714A KR102099316B1 (ko) 2018-03-28 2018-03-28 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180035714A KR102099316B1 (ko) 2018-03-28 2018-03-28 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템

Publications (2)

Publication Number Publication Date
KR20190113265A true KR20190113265A (ko) 2019-10-08
KR102099316B1 KR102099316B1 (ko) 2020-04-09

Family

ID=68208916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180035714A KR102099316B1 (ko) 2018-03-28 2018-03-28 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템

Country Status (1)

Country Link
KR (1) KR102099316B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021101006A1 (ko) * 2019-11-19 2021-05-27 삼성전자 주식회사 외부 객체의 반사 이미지의 위치에 기반하여 컨텐츠를 제공하는 전자 장치 및 전자 장치의 동작 방법
KR20210107488A (ko) * 2020-02-24 2021-09-01 원광희 자동 체형측정 및 교정운동 서비스 제공 장치 및 방법
KR102325072B1 (ko) * 2020-09-18 2021-11-11 주식회사 위딧 포즈 매칭 방법 및 이를 수행하기 위한 장치
CN113935921A (zh) * 2021-10-19 2022-01-14 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及***
KR102355008B1 (ko) * 2021-10-26 2022-01-25 아이픽셀 주식회사 동작 인식 기반 상호작용 방법 및 기록 매체
KR102360284B1 (ko) * 2021-10-28 2022-02-10 주식회사 스위트케이 스마트 미러를 기반으로 하는 지능형 헬스케어 시스템 및 방법
KR20220016562A (ko) * 2020-08-03 2022-02-10 주식회사 탑앤피 Ar, vr장비를 이용한 태권도 훈련시스템
KR20220017590A (ko) 2020-08-05 2022-02-14 주식회사 씨앰지 Vr 신체검사를 기반으로 한 의료정보의 제공과 의료정보 결과에 따라 맞춤형 광고 콘텐츠를 서비스 하는 방법 및 장치
KR20220027401A (ko) * 2020-08-27 2022-03-08 유중경 올바른 자세로 운동할 수 있도록 하는 운동 시스템
KR20220033213A (ko) * 2020-09-09 2022-03-16 히즈케어스 주식회사 마비장애인 재활을 위한 인공지능 맞춤형 운동제공 서비스 시스템 및 방법
KR20230005693A (ko) * 2021-07-01 2023-01-10 상명대학교산학협력단 태그를 사용한 운동관리 헬스케어 서비스 시스템
KR20230140796A (ko) 2022-03-30 2023-10-10 주식회사 씨앰지 Vr 신체검사 및 이를 이용한 의료정보 제공 및 관리 시스템
GB2619532A (en) * 2022-06-08 2023-12-13 Pi A Creative Systems Ltd System for developing motor-skills

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220028951A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116886A (ko) 2010-11-05 2013-10-24 나이키 인터내셔널 엘티디. 자동화된 개인 훈련 방법 및 시스템
KR20160054325A (ko) * 2014-11-06 2016-05-16 장재윤 맞춤형 개인 트레이닝 관리 시스템 및 방법
KR20170099773A (ko) * 2016-02-24 2017-09-01 이용국 신체 능력의 측정 및 증진을 위한 스마트 기기
KR20180015858A (ko) * 2016-08-04 2018-02-14 주식회사 케이티 체형 분석 서버, 체형 분석 방법 및 사용자 단말

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130116886A (ko) 2010-11-05 2013-10-24 나이키 인터내셔널 엘티디. 자동화된 개인 훈련 방법 및 시스템
KR20160054325A (ko) * 2014-11-06 2016-05-16 장재윤 맞춤형 개인 트레이닝 관리 시스템 및 방법
KR20170099773A (ko) * 2016-02-24 2017-09-01 이용국 신체 능력의 측정 및 증진을 위한 스마트 기기
KR20180015858A (ko) * 2016-08-04 2018-02-14 주식회사 케이티 체형 분석 서버, 체형 분석 방법 및 사용자 단말

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021101006A1 (ko) * 2019-11-19 2021-05-27 삼성전자 주식회사 외부 객체의 반사 이미지의 위치에 기반하여 컨텐츠를 제공하는 전자 장치 및 전자 장치의 동작 방법
KR20210107488A (ko) * 2020-02-24 2021-09-01 원광희 자동 체형측정 및 교정운동 서비스 제공 장치 및 방법
KR20220016562A (ko) * 2020-08-03 2022-02-10 주식회사 탑앤피 Ar, vr장비를 이용한 태권도 훈련시스템
KR20220017590A (ko) 2020-08-05 2022-02-14 주식회사 씨앰지 Vr 신체검사를 기반으로 한 의료정보의 제공과 의료정보 결과에 따라 맞춤형 광고 콘텐츠를 서비스 하는 방법 및 장치
KR20220027401A (ko) * 2020-08-27 2022-03-08 유중경 올바른 자세로 운동할 수 있도록 하는 운동 시스템
KR20220033213A (ko) * 2020-09-09 2022-03-16 히즈케어스 주식회사 마비장애인 재활을 위한 인공지능 맞춤형 운동제공 서비스 시스템 및 방법
KR102325072B1 (ko) * 2020-09-18 2021-11-11 주식회사 위딧 포즈 매칭 방법 및 이를 수행하기 위한 장치
KR20230005693A (ko) * 2021-07-01 2023-01-10 상명대학교산학협력단 태그를 사용한 운동관리 헬스케어 서비스 시스템
CN113935921A (zh) * 2021-10-19 2022-01-14 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及***
CN113935921B (zh) * 2021-10-19 2024-06-04 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及***
KR102355008B1 (ko) * 2021-10-26 2022-01-25 아이픽셀 주식회사 동작 인식 기반 상호작용 방법 및 기록 매체
WO2023074980A1 (ko) * 2021-10-26 2023-05-04 아이픽셀 주식회사 동작 인식 기반 상호작용 방법 및 기록 매체
US11954869B2 (en) 2021-10-26 2024-04-09 Ipixel Co., Ltd. Motion recognition-based interaction method and recording medium
KR102360284B1 (ko) * 2021-10-28 2022-02-10 주식회사 스위트케이 스마트 미러를 기반으로 하는 지능형 헬스케어 시스템 및 방법
KR20230140796A (ko) 2022-03-30 2023-10-10 주식회사 씨앰지 Vr 신체검사 및 이를 이용한 의료정보 제공 및 관리 시스템
GB2619532A (en) * 2022-06-08 2023-12-13 Pi A Creative Systems Ltd System for developing motor-skills

Also Published As

Publication number Publication date
KR102099316B1 (ko) 2020-04-09

Similar Documents

Publication Publication Date Title
KR102099316B1 (ko) 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
US10485454B2 (en) Systems and methods for markerless tracking of subjects
US9195304B2 (en) Image processing device, image processing method, and program
US10922997B2 (en) Customizing content for musculoskeletal exercise feedback
US11183079B2 (en) Augmented reality guided musculoskeletal exercises
US10902741B2 (en) Exercise feedback system for musculoskeletal exercises
KR20180103280A (ko) 관절 사이의 거리 유사성을 토대로 자세인식을 수행하는 노인전용 운동안내 시스템
KR101989368B1 (ko) 스마트 운동 장치, 시스템 및 제어방법
CN103955272A (zh) 一种终端设备用户姿态检测***
KR20160130085A (ko) 스마트미러를 이용한 운동관리방법 및 시스템
KR101974902B1 (ko) 스마트 운동 장치, 시스템 및 제어방법
KR20170140726A (ko) 사용자 인식 컨텐츠 제공 시스템 및 그 동작방법
US11983962B2 (en) Information processing apparatus, and method
US10568547B1 (en) Multifunctional assessment system for assessing muscle strength, mobility, and frailty
JP6884306B1 (ja) システム、方法、情報処理装置
TWM612249U (zh) 運動訓練輔助裝置
JP2023168557A (ja) プログラム、方法、情報処理装置
KR20120133347A (ko) 원격 협동 재활 훈련 시스템
JP6811349B1 (ja) 情報処理装置、方法、プログラム
KR101916864B1 (ko) 드레스 코드 평가 방법, 장치 및 시스템
JP6741892B1 (ja) 測定システム、方法、プログラム
JP6774582B1 (ja) 測定システム、プログラム
JP7150387B1 (ja) プログラム、方法、および電子機器
KR102160556B1 (ko) 신체 정보 제공 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)