KR20190113265A - Augmented reality display apparatus for health care and health care system using the same - Google Patents
Augmented reality display apparatus for health care and health care system using the same Download PDFInfo
- Publication number
- KR20190113265A KR20190113265A KR1020180035714A KR20180035714A KR20190113265A KR 20190113265 A KR20190113265 A KR 20190113265A KR 1020180035714 A KR1020180035714 A KR 1020180035714A KR 20180035714 A KR20180035714 A KR 20180035714A KR 20190113265 A KR20190113265 A KR 20190113265A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- image
- exercise
- augmented reality
- display device
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 110
- 230000036541 health Effects 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 29
- 230000037237 body shape Effects 0.000 claims description 8
- 210000003205 muscle Anatomy 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007726 management method Methods 0.000 description 20
- 230000000694 effects Effects 0.000 description 11
- 238000012937 correction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/361—Optical details, e.g. image relay to the camera or image sensor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Physical Education & Sports Medicine (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템에 관한 것으로서, 특히 증강현실 운동 환경을 제공하는 스마트 미러를 이용하여 사용자에게 직관적으로 운동 동작을 안내함으로써 사용자가 편리하게 운동 동작을 따라할 수 있고 자세 교정, 재활, 피트니스의 효과를 얻을 수 있는 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템에 관한 것이다.The present invention relates to an augmented reality display device for health care and a health care system using the same, and in particular, by using a smart mirror providing an augmented reality exercise environment to guide the user intuitively to the exercise movement, the user can conveniently exercise The present invention relates to an augmented reality display device for health care that can be followed and to obtain the effects of posture correction, rehabilitation and fitness, and a healthcare system using the same.
최근 미래기술로 떠오르고 있는 스마트 미러는 거울과 같이 실제 이미지를 동일하게 표시하면서도 가상 객체를 함께 표시할 수 있어 증강현실 환경을 구현할 수 있는 디스플레이 장치를 의미한다. 의류를 가상으로 착용해볼 수 있는 가상피팅 영역에서 이와 관련된 여러 가지 기술이 개발되고 있으나, 아직까지 스마트 미러 관련 기술은 단순히 시간, 날씨, 지도 또는 텍스트 등을 실제 이미지와 함께 보여주는 기술이 대부분이다.Smart mirror, which is emerging as a future technology, refers to a display device capable of realizing an augmented reality environment by displaying virtual images together while displaying a real image like a mirror. Various technologies related to this have been developed in the virtual fitting area where virtual clothing can be worn. However, smart mirror related technology is mostly showing the time, weather, map or text with actual images.
또한, 증강현실이나 가상현실을 이용한 헬스케어 관련 서비스들이 개발되고 있으나, 사용자의 동작을 인식하기 위해 웨어러블 센서를 착용해야 하는 번거로운 문제점이 있거나, 운동 동작 안내를 사진으로만 보여주기 때문에 사용자가 운동 동작을 따라하기 어려운 문제점 등이 있다. 따라서, 이와 같은 문제점을 해결하면서도 스마트 미러를 통해 사용자에게 편리하게 헬스케어 콘텐츠를 제공할 수 있는 기술이 요구되고 있다.In addition, healthcare related services using augmented reality or virtual reality are being developed, but there is a troublesome problem of wearing a wearable sensor in order to recognize a user's motion, or the user's exercise motion because only the picture shows a motion guide. There is a problem that is difficult to follow. Therefore, there is a demand for a technology that can provide health care contents to a user conveniently through a smart mirror while solving such problems.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 증강현실 운동 환경을 제공하는 스마트 미러를 이용하여 사용자에게 직관적으로 운동 동작을 안내함으로써 사용자가 편리하게 운동 동작을 따라할 수 있고 자세 교정, 재활, 피트니스의 효과를 얻을 수 있는 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템을 제공하는 것을 목적으로 한다. The present invention is to solve the above problems, by using a smart mirror that provides an augmented reality exercise environment by intuitively guiding the movement movement to the user, the user can conveniently follow the movement movement, posture correction, rehabilitation, An object of the present invention is to provide an augmented reality display device for a healthcare that can obtain the effect of fitness and a healthcare system using the same.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치는, 사용자의 실제 이미지를 촬영하는 카메라부, 선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부, 및 상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고, 상기 제어부는, 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하는 것을 특징으로 한다.In order to achieve the above object, the augmented reality display device for health care according to an embodiment of the present invention, the camera unit for photographing the user's actual image, the selected exercise information and the smart image according to the actual image generated And a display unit configured to display the smart image by overlapping the actual image, wherein the controller is configured to display a similarity between the real image and the smart image when the user performs an exercise operation according to the movement of the smart image. And analyze the similarity analysis result to the user through the display unit.
바람직하게는, 상기 증강현실 디스플레이 장치는, 상기 사용자의 실제 이미지에서 추출된 관절 정보에 근육을 매핑하여 상기 사용자의 가상 이미지를 생성하는 가상 이미지 생성부, 및 적어도 하나의 운동 정보에 대응되는 운동 자세 데이터를 저장하는 저장부를 더 포함하고, 상기 제어부는, 상기 선택된 운동 정보에 대응되는 운동 자세 데이터를 상기 저장부에서 추출하고, 상기 추출된 운동 자세 데이터를 상기 사용자의 가상 이미지와 결합하여 연속된 동작 이미지로서 상기 스마트 이미지를 생성할 수 있다.Preferably, the augmented reality display device, the virtual image generator for generating a virtual image of the user by mapping the muscles to the joint information extracted from the actual image of the user, and the exercise posture corresponding to at least one exercise information The apparatus may further include a storage unit configured to store data, wherein the controller is configured to extract exercise posture data corresponding to the selected exercise information from the storage unit and combine the extracted exercise posture data with the virtual image of the user for continuous operation. The smart image may be generated as an image.
바람직하게는, 상기 제어부는, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 오차 허용 범위 이내인 경우, 상기 디스플레이부에 표시되는 스마트 이미지를 다음 단계의 운동 정보에 대응되는 스마트 이미지로 변경할 수 있다.Preferably, the controller may analyze the similarity between the real image and the smart image and change the smart image displayed on the display unit to a smart image corresponding to the exercise information of a next step when the similarity is within an error tolerance range. .
바람직하게는, 상기 증강현실 디스플레이 장치는, 유무선 통신망을 이용하여 사용자 단말기와 통신하는 통신부를 더 포함하고, 상기 선택된 운동 정보는, 상기 사용자가 상기 사용자 단말기를 통해 선택한 운동 정보이고 상기 사용자 단말기로부터 상기 통신부로 전송될 수 있다.Preferably, the augmented reality display device further comprises a communication unit for communicating with the user terminal using a wired or wireless communication network, wherein the selected exercise information is the exercise information selected by the user through the user terminal and from the user terminal May be transmitted to the communication unit.
바람직하게는, 상기 제어부는, 상기 카메라부를 통해 상기 디스플레이부 전방에 상기 사용자가 위치한 것이 인식되는 경우, 상기 사용자의 신체 정보 및 공간 정보 중 적어도 하나에 따라 발판 이미지를 상기 디스플레이부를 통해 표시할 수 있다.Preferably, when it is recognized that the user is located in front of the display unit through the camera unit, the controller may display a scaffold image through the display unit according to at least one of the user's body information and spatial information. .
바람직하게는, 상기 증강현실 디스플레이 장치는, 사용자로부터 입력되는 음성 신호를 인식하고 상기 음성 신호에 대응되는 사용자 입력 신호를 생성하여 상기 제어부로 출력하는 음성 인식부를 더 포함하고, 상기 제어부는, 상기 음성 인식부로부터 입력된 사용자 입력 신호에 따라 상기 디스플레이부에 표시되는 상기 실제 이미지 및 상기 스마트 이미지 중 적어도 하나를 변경할 수 있다.Preferably, the augmented reality display device further includes a voice recognition unit for recognizing a voice signal input from a user and generating a user input signal corresponding to the voice signal and outputting the user input signal to the controller. At least one of the actual image and the smart image displayed on the display unit may be changed according to a user input signal input from the recognition unit.
바람직하게는, 상기 제어부는, 상기 카메라부를 통해 스캔된 사용자의 신체 정보에 따라 상기 사용자의 신체 체형 정보를 분석하고, 상기 증강현실 디스플레이 장치는, 상기 사용자의 신체 체형 정보에 따라 상기 사용자에게 적합한 운동을 추천하는 운동 추천부를 더 포함할 수 있다.Preferably, the control unit analyzes the body shape information of the user according to the user's body information scanned through the camera unit, the augmented reality display device, the exercise suitable for the user according to the body shape information of the user It may further include an exercise recommendation unit for recommending.
바람직하게는, 상기 증강현실 디스플레이 장치는, 유무선 통신망을 이용하여 전문가 단말기 및 헬스케어 관리서버와 통신하고, 상기 사용자의 신체 정보 및 상기 사용자의 운동량 정보를 상기 헬스케어 관리서버로 전송하는 통신부를 더 포함하고, 상기 헬스케어 관리서버에 저장된 상기 사용자의 신체 정보 및 운동량 정보는 상기 전문가 단말기로 제공되고, 상기 전문가 단말기로부터 전송되는 운동방법 및 운동추천에 관한 피드백 정보가 상기 증강현실 디스플레이 장치로 전송되어 상기 디스플레이부를 통해 상기 사용자에게 제공될 수 있다.Preferably, the augmented reality display device, the communication unit for communicating with the expert terminal and the health care management server using a wired or wireless communication network, and transmits the user's body information and the exercise amount information of the user to the health care management server. And the user's body information and exercise amount information stored in the healthcare management server are provided to the expert terminal, and feedback information about an exercise method and exercise recommendation transmitted from the expert terminal is transmitted to the augmented reality display device. It may be provided to the user through the display unit.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템은, 증강현실 디스플레이 장치, 헬스케어 관리서버, 사용자 단말기 및 전문가 단말기를 포함하고, 상기 증강현실 디스플레이 장치는, 사용자의 실제 이미지를 촬영하는 카메라부, 선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부, 및 상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고, 상기 제어부는, 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하며, 상기 헬스케어 관리서버는, 상기 사용자의 신체 정보 및 운동량 정보를 상기 사용자 단말기 및 전문가 단말기로 제공하고, 상기 전문가 단말기는, 상기 사용자의 신체 정보 및 운동량 정보에 따라 상기 전문가로부터 입력받은 운동방법 및 운동추천에 관한 피드백 정보를 상기 헬스케어 관리서버를 통해 상기 증강현실 디스플레이 장치 또는 상기 사용자 단말기로 전송하는 것을 특징으로 한다.In order to achieve the above object, a healthcare system using an augmented reality display device according to an embodiment of the present invention, including an augmented reality display device, a healthcare management server, a user terminal and an expert terminal, the augmented reality The display device includes a camera unit for photographing a user's actual image, a controller for generating a smart image according to the selected exercise information and the actual image, and a display unit for superimposing the smart image with the actual image. When the user performs an exercise operation according to the movement of the smart image, the similarity between the real image and the smart image is analyzed and a similarity analysis result is provided to the user through the display unit. The body information of the user and Providing the exercise amount information to the user terminal and the expert terminal, the expert terminal, the feedback information about the exercise method and the exercise recommendation received from the expert according to the user's body information and exercise amount information through the healthcare management server Characterized in that the transmission to the augmented reality display device or the user terminal.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법은, 카메라부에 의해 촬영된 사용자의 실제 이미지를 디스플레이부를 통해 표시하는 단계, 선택된 운동 정보에 대응되는 스마트 이미지를 상기 실제 이미지에 중첩하여 표시하는 단계, 및 상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 상기 사용자에게 제공하는 단계를 포함하고, 상기 스마트 이미지는 상기 선택된 운동 정보에 대응되는 연속적인 동작 이미지를 포함하는 것을 특징으로 한다.In order to achieve the above object, the operation method of the augmented reality display device for health care according to an embodiment of the present invention, displaying the actual image of the user taken by the camera unit through the display unit, the selected exercise Displaying a smart image corresponding to the information superimposed on the real image, and analyzing the similarity between the real image and the smart image when the user performs an exercise operation according to the movement of the smart image and providing the same to the user And the smart image includes a continuous motion image corresponding to the selected exercise information.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 증강현실 운동 환경을 제공하는 스마트 미러를 이용하여 사용자에게 직관적으로 운동 동작을 안내함으로써 사용자가 편리하게 운동 동작을 따라할 수 있는 효과가 있다.Augmented reality display device for healthcare according to the present invention as described above and a healthcare system using the same, by using a smart mirror providing an augmented reality exercise environment to guide the user to the exercise operation intuitively, the user's movement operation conveniently There is an effect to follow.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 사용자가 동작을 직접 보면서 코칭 받는 느낌을 받게 하는 점에서 기존에 영상을 보면서 따라하기만 하는 헬스케어 콘텐츠와 확실한 차별점을 가지며, 직접 피트니스 센터나 재활원에 가지 않아도 집에서 피트니스나 재활운동이 가능한 효과가 있다.The augmented reality display device for healthcare according to the present invention as described above and a healthcare system using the same, in that the user receives a coaching feeling while watching the motion directly with the healthcare content that only follow the existing video There is a distinctive difference, there is an effect that can be at home fitness or rehabilitation exercise without going directly to the fitness center or rehab.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 웨어러블 센서와 같이 사용자의 몸에 부착되는 장치가 필요 없으므로 사용자에게 불편함을 주지 않으면서도 증강현실 운동 환경을 제공하여 자세 교정, 재활, 피트니스에 탁월한 효과가 있다.Augmented reality display device for healthcare according to the present invention as described above and a healthcare system using the same, the wearable sensor does not need to be attached to the user's body, so does not inconvenience the user without augmented reality exercise environment It is excellent for posture correction, rehabilitation and fitness.
상기와 같은 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치 및 이를 이용한 헬스케어 시스템은, 사용자가 원격 및 실시간으로 전문가의 피드백을 받아 효과적으로 운동을 할 수 있는 효과가 있다.Augmented reality display device for healthcare according to the present invention as described above and a healthcare system using the same, there is an effect that the user can effectively exercise by receiving the feedback of experts in real time and remote.
도 1은 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치를 나타내는 블록 다이어그램이다.
도 3은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 나타내는 순서도(Flowchart)이다.
도 4a 내지 도 4f는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 구체적인 동작을 나타내는 도면이다.1 is a view showing a healthcare system using an augmented reality display device according to an embodiment of the present invention.
2 is a block diagram illustrating an augmented reality display device for healthcare according to an embodiment of the present invention.
3 is a flowchart illustrating a method of operating an augmented reality display device for healthcare according to an embodiment of the present invention.
4A to 4F are diagrams illustrating specific operations of the augmented reality display device for health care according to an embodiment of the present invention.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시 예를 예시하는 첨부 도면 및 도면에 기재된 내용을 참조하여야 한다. DETAILED DESCRIPTION In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings that illustrate preferred embodiments of the present invention.
이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.Hereinafter, embodiments according to the present invention will be described with reference to the accompanying drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In addition, in describing the embodiments of the present invention, if it is determined that the detailed description of the related well-known configuration or function interferes with the understanding of the embodiments of the present invention, the detailed description thereof will be omitted. In addition, embodiments of the present invention will be described below, but the technical spirit of the present invention is not limited thereto and may be variously modified and modified by those skilled in the art.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is "connected" to another part, this includes not only "directly connected" but also "indirectly connected" with another element in between. . Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.
도 1은 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템을 나타내는 도면이다. 도 1을 참조하면, 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템(1000)은, 증강현실 디스플레이 장치(100), 헬스케어 관리서버(200), 사용자 단말기(300) 및 전문가 단말기(400)를 포함할 수 있다.1 is a view showing a healthcare system using an augmented reality display device according to an embodiment of the present invention. 1, the
상기 증강현실 디스플레이 장치를 이용한 헬스케어 시스템(1000)은, 증강현실 디스플레이 장치(100)를 통해 사용자(P)에게 증강현실 환경을 제공할 수 있고, 스마트 이미지(AR_Img)를 통해 운동 자세 및 운동 동작을 표시할 수 있다. 사용자(P)는 증강현실 디스플레이 장치(100)를 통해 표시되는 스마트 이미지(AR_Img)를 따라하면서 쉽게 운동을 할 수 있고, 자세 교정, 환자 재활, 피트니스 등의 효과를 얻을 수 있다. The
증강현실 디스플레이 장치(100)는, 카메라부(110), 디스플레이부(120)를 포함할 수 있으며, 제어부(도 2의 130)를 더 포함할 수 있다. 카메라부(110)는 사용자(P)의 실제 이미지를 촬영할 수 있고, 제어부(130)는 선택된 운동 정보 및 카메라부(110)에서 촬영된 실제 이미지에 따라 스마트 이미지(AR_Img)를 생성할 수 있다. 디스플레이부(120)는 제어부(130)의 제어에 따라 상기 스마트 이미지(AR_Img)를 사용자(P)의 실제 이미지(P_Img)와 중첩하여 표시할 수 있다. 제어부(130)는 사용자의 실제 이미지(P_Img)의 관절 위치를 스마트 이미지(AR_Img)의 관절 위치에 매칭시켜 중첩 표시될 때의 오차를 감소시킬 수 있다.The augmented
제어부(130)는, 스마트 이미지(AR_Img)의 움직임에 따라 사용자(P)가 운동 동작을 수행하면, 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하고 유사도 분석 결과를 디스플레이부(120)를 통해 사용자(P)에게 제공할 수 있다. 즉, 사용자(P)는 디스플레이부(120)에 표시되는 스마트 이미지(AR_Img)의 동작을 따라하면서 쉽게 다양한 운동을 할 수 있다. 제어부(130)는 카메라부(110)를 통해 촬영된 사용자(P)의 신체 정보 및 사용자(P)의 운동량 정보를 헬스케어 관리서버(200)로 전송할 수 있다. 증강현실 디스플레이 장치(100)의 기본 구성요소 및 추가적인 구성요소에 대한 상세한 설명은 도 2를 참조하여 상술하기로 한다.When the user P performs an exercise operation according to the movement of the smart image AR_Img, the
상기 헬스케어 관리서버(200)는, 증강현실 디스플레이 장치(100)로부터 사용자(P)의 신체 정보(신장, 몸무게 등) 및 운동량 정보(운동 시간, 소모 칼로리, 운동 종류 등)를 전송받아 저장할 수 있다. 헬스케어 관리서버(200)는, 사용자 단말기(300) 또는 전문가 단말기(400)의 요청에 따라 사용자(P)의 신체 정보 및 운동량 정보 등을 제공할 수 있다.The
사용자 단말기(300)는, 사용자(P)로부터 선택된 운동 정보를 증강현실 디스플레이 장치(100)로 전송할 수 있다. 사용자 단말기(300)에는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 시스템(1000)을 이용하기 위한 애플리케이션 소프트웨어가 설치될 수 있다. 사용자는 사용자 단말기(300)에서 자신이 하고자 하는 운동의 아이콘을 선택할 수 있다. 사용자 단말기(300)는 증강현실 디스플레이 장치(100)를 제어하는 제어신호를 생성하여 증강현실 디스플레이 장치(100)로 전송할 수 있으며, 사용자는 사용자 단말기(300)를 이용하여 디스플레이부(120)의 화면 배치, 이미지의 크기, 운동 프로그램의 선택, 운동 레벨을 높이거나 낮추는 동작 등의 다양한 제어를 할 수 있다.The
일례로서, 각각의 사용자(P)는 사용자 단말기(300)를 통해 헬스케어 관리서버(200)에 접속하여 회원 가입을 할 수 있고, 상기 회원 가입 정보는 헬스케어 관리서버(200)에 저장될 수 있다. 사용자(P)가 사용자 단말기(300)를 통해 회원 가입된 경우, 증강현실 디스플레이 장치(100)는 사용자 단말기(300)에 대응되는 사용자(P)를 인식하여 사용자(P)의 신체 정보나 과거 운동 이력 정보 등에 따라 해당 사용자에게 적합한 운동 프로그램을 추천할 수도 있다. 다만, 이는 예시적인 것으로서, 각각의 사용자(P)는 별도의 회원 가입 절차 없이 헬스케어 관리서버(200)에 접속하여 증강현실 디스플레이 장치(100)를 이용할 수도 있다. 사용자(P)는 사용자 단말기(300)를 이용하여 헬스케어 관리서버(200)에 접속할 수 있고, 사용자의 신체 정보 및 운동량 정보, 운동 추천 정보 등 다양한 헬스케어 관련 정보를 제공받을 수 있다. 상기 사용자 단말기(300)는, 휴대폰, 스마트폰, 태블릿 PC, 스마트워치, 스마트밴드 등 유선 또는 무선으로 데이터 통신이 가능한 다양한 형태의 단말기 또는 전자 장비일 수 있고, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.As an example, each user P may be connected to the
전문가 단말기(400)는, 사용자(P)의 신체 정보 및 운동량 정보 등을 헬스케어 관리서버(200)로부터 전송받을 수 있다. 일례로서, 전문가 단말기(400)는 해당 사용자의 허락이 있는 경우에만 사용자(P)의 신체 정보 및 운동량 정보 등을 헬스케어 관리서버(200)로부터 전송받을 수 있다. 전문가 단말기(400)는, 상기 사용자(P)의 신체 정보 및 운동량 정보에 따라 전문가로부터 입력받은 운동방법 및 운동추천에 관한 피드백 정보를 상기 헬스케어 관리서버(200)를 통해 상기 증강현실 디스플레이 장치(100)나 사용자 단말기(300)로 전송할 수 있다. 여기에서, 상기 전문가는 재활치료사나 피트니스 트레이너 등 운동이나 건강 관련 전문가일 수 있다. 즉, 전문가는 사용자(P)의 신체 정보 및 운동량 정보를 보고 평가하여 사용자(P)에게 자세, 운동방법과 운동추천에 대한 피드백을 줄 수 있다. 전문가의 참여를 유도하기 위하여 적절한 피드백을 주는 전문가 회원에게는 소정의 보상(포인트 등)을 제공할 수 있다.The
증강현실 디스플레이 장치(100)는 전문가의 피드백 정보를 수신하여 디스플레이부(120)에 표시할 수 있고, 사용자 단말기(300)는 문자 메시지와 같은 형태로 전문가의 피드백 정보를 수신하여 사용자(P)에게 제공할 수 있다. 이를 통해 사용자(P)는 자신의 운동 동작 및 운동 자세에서 잘못된 점을 알고 바로 수정하거나, 다음 운동으로 적절한 운동을 추천받을 수 있게 된다. 따라서, 본 발명의 일실시예에 따른 증강현실 디스플레이 장치를 이용한 헬스케어 시스템(1000)은, 사용자(P)가 원격 및 실시간으로 전문가의 피드백을 받아 효과적으로 운동을 할 수 있는 효과가 있다.The augmented
상기 전문가 단말기(400)에는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 시스템(1000)을 이용하기 위한 애플리케이션 소프트웨어가 설치될 수 있다. 전문가 단말기(400)도 사용자 단말기(300)와 유사하게 다양한 형태의 단말기 또는 전자 장비일 수 있고, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.The
증강현실 디스플레이 장치(100), 헬스케어 관리서버(200), 사용자 단말기(300) 및 전문가 단말기(400)는 유무선 통신망(500)을 통하여 서로 통신할 수 있다. 상기 유무선 통신망(500)은, 유선 또는 무선으로 통신이 가능한 통신망(Communication Network)으로서 통신 양태를 특별하게 가리지 않고 구성될 수 있으며, 단거리 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 또한, 상기 유무선 통신망(500)은 공지의 월드와이드웹(WWW; World Wide Web)일 수 있으며, 적외선(IrDA; Infrared Data Association) 또는 블루투스(Bluetooth)와 같이 단거리 통신에 이용되는 무선 전송 기술을 이용할 수도 있다. 상기 유무선 통신망(500)은 통상의 기술자에게 널리 알려져 있으므로 자세한 설명은 생략한다.The augmented
도 2는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치를 나타내는 블록 다이어그램이다. 도 2를 참조하면, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는 카메라부(110), 디스플레이부(120) 및 제어부(130)를 포함할 수 있으며, 실시예에 따라, 상기 헬스케어를 위한 증강현실 디스플레이 장치(100)는 가상 이미지 생성부(140), 저장부(150), 통신부(160), 음성 인식부(170) 및 운동 추천부(180) 중 적어도 하나를 더 포함할 수 있다. 실시예에 따라, 상기 헬스케어를 위한 증강현실 디스플레이 장치(100)는 일부 구성요소가 생략될 수도 있고 다른 구성요소가 추가될 수도 있다.2 is a block diagram illustrating an augmented reality display device for healthcare according to an embodiment of the present invention. 2, the augmented
카메라부(110)는 증강현실 디스플레이 장치(100)에 구비될 수 있으며, 전방의 영상을 촬영하여 제어부(130)로 전송할 수 있다. 카메라부(110)는 사용자의 실제 이미지를 촬영하여 제어부(130)로 전송할 수 있다. 일례로서, 상기 카메라부(110)는 3D 카메라로 구현될 수 있다.The
디스플레이부(120)는, 사용자의 실제 이미지를 스마트 이미지와 중첩하여 표시할 수 있다. 디스플레이부(120)는 제어부(130)로부터 입력받은 신호에 따라 화면을 표시하여 사용자에게 제공할 수 있다. 디스플레이부(120)는 사용자의 운동 동작이 스마트 이미지와 일치하는지 여부, 운동 평가 결과, 사용자의 운동량 정보, 소모된 칼로리 정보, 운동 카운트 정보, 운동 시간 정보 등을 화면에 표시할 수 있다. 사용자는 운동 도중이나 운동 후에 자신의 운동량이나 운동 자세의 정확도 등을 실시간으로 확인할 수 있으므로, 보다 효율적으로 운동을 할 수 있게 된다.The
디스플레이부(120)는, 증강현실 디스플레이 장치(100)의 외면에 형성되거나 외부장치로 연결될 수 있으며, 통상의 기술자에게 알려진 바와 같이 액정표시장치(LCD), 발광다이오드(LED), 유기발광다이오드(OLED), 투명 디스플레이 장치 등 사용자에게 증강현실 환경(Augmented Reality)을 제공할 수 있는 다양한 형태의 디스플레이 장치에 의해 구현될 수 있다. 디스플레이부(120)는 사용자의 전신을 표시할 수 있을 만큼 충분히 큰 형태로 형성될 수 있다.The
제어부(130)는 사용자(P)에 의해 선택된 운동 정보 및 사용자(P)의 실제 이미지에 따라 스마트 이미지를 생성할 수 있다. 제어부(130)는 카메라부(110)에서 촬영되는 영상을 실시간으로 스마트 이미지와 합성하여 디스플레이부(120)에 표시함으로써 사용자(P)에게 증강현실 운동 환경을 제공할 수 있다. 제어부(130)는, 헬스케어를 위한 증강현실 디스플레이 장치(100)의 다양한 구성요소를 제어하고 다양한 데이터를 처리할 수 있고, CPU 프로세서나 GPU와 같은 정보처리장치에 의해 구현될 수 있다.The
가상 이미지 생성부(140)는, 사용자(P)의 실제 이미지(P_Img)에서 추출된 관절 정보에 근육을 매핑하여 상기 사용자(P)의 가상 이미지를 생성할 수 있다. 가상 이미지 생성부(140)는 카메라부(110)가 촬영한 사용자(P)의 실제 이미지(P_Img)에 바디 트래킹 알고리즘을 적용하여 사용자의 골격 또는 관절을 인식하고, 인체의 중요 관절 부위를 복수 개의 점으로 표시하여 뼈대 형식의 그래픽으로 추출할 수 있다. 가상 이미지 생성부(140)는 사용자의 관절 정보로 생성된 뼈대 형식의 그래픽에 근육을 매핑하여 사용자(P)의 가상 이미지를 생성할 수 있다.The
저장부(150)는, 적어도 하나의 운동 정보에 대응되는 운동 자세 데이터를 저장할 수 있다. 저장부(150)는 스트레칭, 덤벨 운동, 맨손 운동 등 다양한 운동 정보 및 각각의 운동 정보에 대응되는 운동 자세 데이터를 저장할 수 있다. 저장부(150)는, 통상의 기술자에게 알려진 바와 같이 ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory) 등과 같은 다양한 형태의 메모리 저장장치로 구현될 수 있다.The
제어부(130)는, 사용자(P)에 의해 선택된 운동 정보에 대응되는 운동 자세 데이터를 저장부(150)에서 추출하고, 추출된 운동 자세 데이터를 사용자(P)의 가상 이미지와 결합하여 연속된 동작 이미지로서 스마트 이미지(AR_Img)를 생성할 수 있다. 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 사용자(P)의 실제 이미지(P_Img)를 촬영하여 얻은 관절 정보를 이용하여 스마트 이미지(AR_Img)를 생성하므로, 사용자의 신장이나 체형, 근육량과 같은 신체 정보에 맞게 스마트 이미지(AR_Img)의 크기나 체형이 변경될 수 있는 장점이 있다.The
사용자(P)가 스마트 이미지(AR_Img)의 움직임에 따라 운동 동작을 수행하면, 제어부(130)는 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하고 유사도 분석 결과를 디스플레이부(120)를 통해 사용자에게 제공할 수 있다. 일례로서, 제어부(130)는 사용자(P)의 신체 부위 중 어느 부위가 스마트 이미지(AR_Img)의 운동 자세와 일치하지 않는 지를 디스플레이부(120)에 표시할 수 있고, 해당 부위가 기준 동작과 일치하지 않는 정도를 각도나 이격 거리 등으로 표시하여 정확한 운동동작으로 유도할 수 있다.When the user P performs the exercise operation according to the movement of the smart image AR_Img, the
실시예에 따라, 제어부(130)는 화면 효과나 음향 효과 등을 통해 자세 교정의 메시지를 사용자(P)에게 전달할 수 있다. 사용자(P)는 디스플레이부(120)에 표시된 스마트 이미지(AR_Img)를 보고 운동 동작을 따라하여 쉽게 운동을 할 수 있고, 운동 동작 중에 잘못된 동작이나 자세가 있는 경우 디스플레이부(120)를 통해 이를 쉽게 인지하고 수정할 수 있게 된다.According to an embodiment, the
실시예에 따라, 상기 제어부(130)는 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하여 오차 허용 범위 이내인 경우, 상기 디스플레이부(120)에 표시되는 스마트 이미지(AR_Img)를 다음 단계의 운동 정보에 대응되는 스마트 이미지(AR_Img)로 변경할 수 있다. 즉, 사용자(P)가 스마트 이미지(AR_Img)로 표시되는 운동 동작이나 자세를 동일하게 따라하기 어려운 경우에는 소정 범위의 오차를 인정하여 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)가 어느 정도 유사하면 다음 단계로 넘어갈 수 있다. 이러한 오차 허용 범위는 사용자(P)에 의해 난이도의 형태로 선택될 수 있으며, 사용자(P)가 난이도를 쉽게 선택한 경우에는 오차 허용 범위를 크게 하고, 난이도를 어렵게 선택한 경우에는 오차 허용 범위를 작게 할 수 있다. 이를 통해, 사용자(P)는 자신의 수준에 맞게 운동을 할 수 있어 자세교정이나 재활에 도움을 얻을 수 있는 효과가 있다.According to an embodiment, the
실시예에 따라, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 통신부(160)를 더 포함할 수 있다. 상기 통신부(160)는, 유무선 통신망(500)을 이용하여 헬스케어 관리서버(200), 사용자 단말기(300) 및 전문가 단말기(400) 등과 통신할 수 있다. According to an embodiment, the augmented
통신부(160)는 사용자의 신체 정보 및 사용자의 운동량 정보를 헬스케어 관리서버(200)로 전송할 수 있다. 사용자(P)가 사용자 단말기(300)를 이용하여 애플리케이션을 실행하고 자신이 하고자 하는 운동을 선택하는 경우, 선택된 운동 정보가 사용자 단말기(300)로부터 통신부(160)로 전송될 수 있다. 이에 따라 증강현실 디스플레이 장치(100)는 사용자가 선택한 운동 정보에 대응되는 스마트 이미지(AR_Img)를 생성하여 디스플레이부(120)에 표시할 수 있다.The
일례로서, 상기 통신부(150)는 유선 인터넷, 블루투스(Bluetooth), WiFi(Wireless Fidelity), 적외선 통신, WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution) 등과 같은 다양한 통신방법 중 적어도 하나를 지원하는 통신모듈로 구현될 수 있다. 통신부(150)는 상술한 바와 같은 다양한 통신방법 중 적어도 하나를 지원하는 통신모듈로 구현될 수 있으며, 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.For example, the
실시예에 따라, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 음성 인식부(170)를 더 포함할 수 있다. 상기 음성 인식부(170)는, 증강현실 디스플레이 장치(100)의 일 영역에 설치될 수 있고, 사용자(P)로부터 입력되는 음성 신호를 인식하고 상기 음성 신호에 대응되는 사용자 입력 신호를 생성하여 제어부(130)로 출력할 수 있다. According to an embodiment, the augmented
이에 따라, 제어부(130)는, 음성 인식부(170)로부터 입력된 사용자 입력 신호에 따라 디스플레이부(120)에 표시되는 실제 이미지(P_Img) 및 스마트 이미지(AR_Img) 중 적어도 하나를 변경할 수 있다. 즉, 사용자는 음성 입력을 통하여 편리하게 운동 정보를 선택하거나, 디스플레이부(120)에 표시되는 이미지를 변경하는 등의 사용자 입력을 수행할 수 있다.Accordingly, the
실시예에 따라, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 운동 추천부(180)를 더 포함할 수 있다. 운동 추천부(180)는 사용자(P)의 신체 체형 정보에 따라 사용자(P)에게 적합한 운동을 추천할 수 있다. 카메라부(110)는 사용자의 신체를 스캔하여 사용자의 신체 정보를 생성할 수 있고, 제어부(130)는 카메라부(110)를 통해 스캔된 사용자의 신체 정보에 따라 사용자의 신체 체형 정보를 분석할 수 있다. 일례로서, 카메라부(110)는 사용자(P)의 앞, 뒤, 옆모습을 스캔할 수 있고, 제어부(130)는 사용자(P)의 팔 둘레, 다리둘레, 허리둘레, 체형의 굽음, 뒤틀림, 기울어짐 등을 분석하여 디스플레이부(120)에 표시하거나 사용자 단말기(300)로 전송할 수 있다. 운동 추천부(180)는 사용자(P)의 신체 체형 정보에 따라 사용자(P)에게 적합한 운동을 추천할 수 있으며, 사용자(P)는 자신에게 추천된 운동을 선택하여 해당 운동을 할 수 있다.According to an embodiment, the augmented
한편, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 인터페이스부(미도시)를 더 포함할 수 있다. 인터페이스부는 사용자로부터 사용자 입력 신호를 입력받을 수 있고 상기 사용자 입력 신호를 제어부(130)로 전달할 수 있다. 일례로서, 인터페이스부는 터치스크린 형태로 구현되어 디스플레이부(120)와 겹쳐서 배치될 수 있다. 사용자는 인터페이스부를 이용하여 디스플레이부(120)의 화면 배치, 이미지의 크기, 운동 프로그램의 선택, 운동 레벨을 높이거나 낮추는 동작 등의 다양한 제어를 할 수 있다.Meanwhile, the augmented
또한, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 인체감지센서(미도시)를 더 포함할 수 있다. 인체감지센서는 디스플레이부(120) 전방의 사용자(P)를 감지하여 감지신호를 제어부(130)로 전달할 수 있다. 이에 따라, 제어부(130)는 디스플레이부(120) 전방에 사용자(P)가 존재하는 경우에만 디스플레이부(120)를 동작시키고 그렇지 않은 경우에는 디스플레이부(120)를 동작시키지 않을 수 있다.In addition, the augmented
또한, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 전원공급부(미도시)를 더 포함할 수 있다. 상기 전원공급부는 카메라부(110), 디스플레이부(120) 및 제어부(130) 등의 구성요소에 전원을 공급할 수 있다. 전원공급부는 전원 케이블을 이용하여 외부에서 전원을 공급받아 상기 구성요소로 공급하거나, 충전식 내장 배터리로 구현되어 상기 구성요소로 전원을 공급할 수 있다.In addition, the augmented
도 3은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 나타내는 순서도(Flowchart)이다. 도 3에 도시된 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)에 의해 수행될 수 있다.3 is a flowchart illustrating a method of operating an augmented reality display device for healthcare according to an embodiment of the present invention. The
도 3을 참조하면, 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은, 카메라부(110)에 의해 촬영된 사용자(P)의 실제 이미지(P_Img)를 디스플레이부(120)를 통해 표시하는 단계(S11)를 포함할 수 있다. 도 1 및 도 2를 참조하여 상술한 바와 같이, 카메라부(110)는 사용자(P)의 실제 이미지(P_Img)를 촬영할 수 있고, 디스플레이부(120)는 촬영된 실제 이미지(P_Img)를 표시할 수 있다. 사용자(P)는 이를 통해 거울을 보는 것과 같이 디스플레이부(120)를 통해 자신의 이미지를 볼 수 있게 된다.Referring to FIG. 3, the
본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은, 선택된 운동 정보에 대응되는 스마트 이미지(AR_Img)를 실제 이미지(P_Img)에 중첩하여 표시하는 단계(S12)를 포함할 수 있다. 제어부(130)는, 사용자(P)에 의해 선택된 운동 정보에 대응되는 운동 자세 데이터를 저장부(150)에서 추출하고, 추출된 운동 자세 데이터를 사용자(P)의 가상 이미지와 결합하여 연속된 동작 이미지로서 스마트 이미지(AR_Img)를 생성할 수 있다.The
본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은, 스마트 이미지(AR_Img)의 움직임에 따라 사용자가 운동 동작을 수행하면, 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하여 사용자(P)에게 제공하는 단계(S13)를 포함할 수 있다. 상술한 바와 같이, 제어부(130)는 실제 이미지(P_Img)와 스마트 이미지(AR_Img)의 유사도를 분석하여 사용자(P)의 신체 부위 중 어느 부위가 스마트 이미지(AR_Img)의 운동 자세와 일치하지 않는 지를 디스플레이부(120)에 표시할 수 있다.The
한편, 도 3에 도시되지는 않았으나, 상기 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법(10)은 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)에 의해 수행되는 동작들을 모두 포함할 수 있다.Although not shown in FIG. 3, the
한편, 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법은 도 3을 참조하여 상술한 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체에 의해 수행될 수 있다. 또한, 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법은, 하드웨어와 결합되어 도 3을 참조하여 상술한 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 실행시키기 위하여 매체에 저장된 컴퓨터프로그램에 의해 수행될 수 있다. 본 발명에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법을 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함하며, 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드로 저장되고 실행될 수도 있다.On the other hand, the operation method of the augmented reality display device for healthcare according to the present invention is a computer-readable recording medium in which a program for performing the operation method of the augmented reality display device for healthcare described above with reference to FIG. It can be performed by. In addition, the method of operating the augmented reality display device for health care according to the present invention is coupled to the hardware, the computer program stored in the medium to execute the method of operating the augmented reality display device for healthcare described above with reference to FIG. It can be performed by. The method of operating an augmented reality display device for health care according to the present invention can be embodied as computer readable codes on a computer readable recording medium. Computer-readable recording media include any type of recording device that stores data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, and floppy. Disk, optical data storage, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
한편, 도 3을 참조하여 설명한 단계들의 순서는 예시적인 것으로서 본 발명의 효과를 상실하지 않는 범위에서 그 순서가 다양하게 변경되거나 조합될 수 있고, 실시예에 따라 특정 단계가 생략될 수도 있다.On the other hand, the order of the steps described with reference to Figure 3 is an example and may be variously changed or combined in a range that does not lose the effects of the present invention, specific steps may be omitted depending on the embodiment.
도 4a 내지 도 4f는 본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치의 구체적인 동작을 나타내는 도면이다. 도 4a 내지 도 4f는 설명의 편의를 위해 사용자(P)가 양팔을 좌우로 올리고 내리는 간단한 운동을 표시한 것이나, 본 발명의 범위는 이에 한정되지 않고 증강현실 디스플레이 장치(100)는 다양한 운동 동작이나 자세를 스마트 이미지(AR_Img)로 표시할 수 있다.4A to 4F are diagrams illustrating specific operations of the augmented reality display device for health care according to an embodiment of the present invention. 4A to 4F illustrate a simple exercise in which the user P raises and lowers both arms from side to side for convenience of description, but the scope of the present invention is not limited thereto. The posture may be displayed as a smart image (AR_Img).
도 4a를 참조하면, 사용자(P)가 증강현실 디스플레이 장치(100) 앞에 서게 되면 인체감지센서 또는 카메라부(110)가 사용자(P)를 감지하여 증강현실 디스플레이 장치(100)가 동작하게 된다.Referring to FIG. 4A, when the user P stands in front of the augmented
제어부(130)는, 카메라부(110)를 통해 디스플레이부(120) 전방에 사용자가 위치한 것이 인식되는 경우, 사용자의 신체 정보 및 공간 정보 중 적어도 하나에 따라 발판 이미지(Z)를 디스플레이부(120)를 통해 표시할 수 있다. 제어부(130)는 사용자의 신장이나 증강현실 디스플레이 장치(100)가 설치된 공간의 크기 등을 고려하여 디스플레이부(120)의 바닥 쪽에 발판 이미지(Z)를 표시하고, 사용자(P)에게 발판 이미지(Z) 위에 위치하라는 안내 메시지를 표시할 수 있다. 상기 발판 이미지(Z)는 스마트 이미지(AR_Img)를 표시하기 위한 기준점이 될 수 있다.When it is recognized that the user is located in front of the
사용자(P)는 발판 이미지(Z) 위로 이동할 수 있고, 사용자(P)가 사용자 단말기(300)의 애플리케이션을 실행시켜 자신에게 필요한 운동 코스나 자세를 선택하면, 증강현실 디스플레이 장치(100)는 사용자(P)가 선택한 운동 정보에 따라 스마트 이미지(AR_Img)를 생성하여 디스플레이부(120)에 표시할 수 있다. 실시예에 따라, 사용자(P)는 증강현실 디스플레이 장치(100)에 터치스크린과 같은 형태로 구현되는 인터페이스부를 통해 자신이 하고자 하는 운동에 관한 정보를 입력할 수도 있다.The user P may move over the scaffold image Z, and when the user P executes an application of the
도 4a에 도시된 바와 같이, 사용자(P)는 자신이 하고자 하는 운동을 선택한 후 준비자세를 취할 수 있다. 준비자세이므로 스마트 이미지(AR_Img)도 실제 이미지(P_Img)와 일치할 수 있다.As shown in FIG. 4A, the user P may take a ready position after selecting an exercise he / she wants. As it is ready, the smart image AR_Img may also match the actual image P_Img.
다음으로 도 4b를 참조하면, 운동 동작 안내가 시작되어 스마트 이미지(AR_Img)가 움직일 수 있다. 스마트 이미지(AR_Img)의 양팔이 45도 정도 위로 올라갈 수 있다.Next, referring to FIG. 4B, the movement motion guide may be started to move the smart image AR_Img. The arms of the smart image (AR_Img) can rise up to 45 degrees.
다음으로 도 4c를 참조하면, 사용자(P)는 스마트 이미지(AR_Img)를 보고 동작을 따라할 수 있다. 사용자(P)가 양팔을 45도 정도 위로 올린 상태인데, 사용자(P)가 양팔을 올리는 동안 스마트 이미지(AR_Img)는 양팔을 90도 정도 위로 올린 상태로 변경될 수 있다. 즉, 도 4c는 사용자(P)가 스마트 이미지(AR_Img)를 따라하는 동작이 늦은 경우일 수 있다.Next, referring to FIG. 4C, the user P may view the smart image AR_Img and follow the operation. While the user P has raised his arms by about 45 degrees, the smart image AR_Img may be changed to the state where his arms are raised by about 90 degrees while the user P raises his arms. That is, FIG. 4C may be a case in which the user P follows a smart image AR_Img.
다음으로 도 4d를 참조하면, 사용자(P)가 스마트 이미지(AR_Img)를 보고 동작을 따라하여 양팔을 모두 90도 정도 위로 올려 좌우로 벌린 상태이다. 사용자(P)의 실제 이미지(P_Img)와 스마트 이미지(AR_Img)가 서로 일치한 상태이다.Next, referring to FIG. 4D, the user P looks at the smart image AR_Img and moves his arms both upwards and leftwards by about 90 degrees according to the operation. The actual image P_Img of the user P and the smart image AR_Img coincide with each other.
다음으로 도 4e를 참조하면, 다시 스마트 이미지(AR_Img)에 의한 운동 안내가 시작되어 스마트 이미지(AR_Img)가 양팔이 45도 정도 내려온 상태로 변경될 수 있다.Next, referring to FIG. 4E, the movement guidance by the smart image AR_Img may be started again, and the smart image AR_Img may be changed to a state where both arms are lowered by about 45 degrees.
다음으로 도 4f를 참조하면, 사용자(P)는 스마트 이미지(AR_Img)를 보고 재빠르게 동작을 따라하여 양팔이 모두 내려온 준비자세로 돌아온 상태를 나타낸다.Next, referring to FIG. 4F, the user P looks at the smart image AR_Img and quickly returns to the ready position where both arms are lowered.
상술한 바와 같이, 스마트 이미지(AR_Img)는 선택된 운동 동작에 따라 연속된 이미지로 표시될 수 있으며, 제어부(130)는 소정 시간 간격 또는 소정 프레임 간격으로 스마트 이미지(AR_Img)와 사용자(P)의 동작의 일치 여부를 비교 분석할 수 있다. 제어부(130)는 사용자(P)의 운동 동작 중에서 스마트 이미지(AR_Img)와 유사도가 가장 낮은 자세를 중심으로 사용자(P)에게 유사도 분석 결과를 제공할 수 있다.As described above, the smart image AR_Img may be displayed as a continuous image according to the selected exercise motion, and the
상술한 바와 같이, 디스플레이부(120)는 제어부(130)의 제어에 따라 스마트 이미지(AR_Img)를 사용자(P)의 실제 이미지(P_Img)와 중첩하여 표시할 수 있다. 여기에서, 스마트 이미지(AR_Img)를 실제 이미지(P_Img)에 중첩하여 표시하는 방법은 다양하게 변경될 수 있다.As described above, the
일례로서, 실제 이미지(P_Img)를 앞에 표시하고 스마트 이미지(AR_Img)를 뒤쪽에 표시할 수 있다. 이 경우, 실제 이미지(P_Img)와 스마트 이미지(AR_Img)가 겹치는 영역에서는 실제 이미지(P_Img)가 표시될 수 있다. 실시예에 따라, 실제 이미지(P_Img)를 뒤에 표시하고, 스마트 이미지(AR_Img)를 앞쪽에 표시할 수도 있다.As an example, the actual image P_Img may be displayed at the front and the smart image AR_Img may be displayed at the back. In this case, the real image P_Img may be displayed in an area where the real image P_Img and the smart image AR_Img overlap. According to an embodiment, the actual image P_Img may be displayed behind, and the smart image AR_Img may be displayed in the front.
도 4a 내지 도 4f에 도시된 바와 같이, 스마트 이미지(AR_Img)는 실제 이미지(P_Img)보다 약간 크게 표시될 수 있다. 이에 따라 스마트 이미지(AR_Img)와 실제 이미지(P_Img)가 겹치는 신체 부위에서 실제 이미지(P_Img) 주변으로 스마트 이미지(AR_Img)가 표시될 수 있다. 또한, 스마트 이미지(AR_Img)는 실제 이미지(P_Img)와 서로 밝기나 색상이 다르게 표시될 수 있다.As shown in FIGS. 4A to 4F, the smart image AR_Img may be displayed slightly larger than the actual image P_Img. Accordingly, the smart image AR_Img may be displayed around the actual image P_Img in the body part where the smart image AR_Img and the real image P_Img overlap. In addition, the smart image AR_Img may be displayed to have a different brightness or color from the actual image P_Img.
본 발명의 일실시예에 따른 헬스케어를 위한 증강현실 디스플레이 장치(100)는, 스마트 이미지(AR_Img)가 운동의 다음 동작들을 연속적으로 안내해주므로, 사용자(P)가 스마트 이미지(AR_Img)를 따라하는 것만으로도 정확한 자세로 운동을 할 수 있게 되는 장점이 있다.In the augmented
한편, 도 4a 내지 도 4f에 도시된 디스플레이부(120)의 화면들은 모두 예시적인 것으로서, 화면의 레이아웃이나 구성 등은 통상의 기술자에게 알려진 범위에서 다양하게 변경될 수 있다.Meanwhile, the screens of the
본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.Various embodiments described herein can be implemented by hardware, middleware, microcode, software and / or combinations thereof. For example, various embodiments may include one or more application specific semiconductors (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs). ), Processors, controllers, microcontrollers, microprocessors, other electronic units designed to perform the functions presented herein, or a combination thereof.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체, 및 하나의 장소로부터 다른 장소로 컴퓨터 프로그램의 이송을 용이하게 하는 임의의 매체를 포함하는 통신 매체 모두를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스, 또는 원하는 프로그램 코드를 컴퓨터에 의해 액세스가능한 명령들 또는 데이터 구조들의 형태로 반송하거나 저장하는데 이용될 수 있는 임의의 다른 매체를 포함할 수 있다.Also, for example, various embodiments may be embedded in or encoded on a computer-readable medium containing instructions. Instructions embedded in or encoded on a computer-readable medium may cause a programmable processor or other processor to perform a method, for example, when the instructions are executed. Computer-readable media includes both computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another. The storage medium may be any available medium that can be accessed by a computer. For example, such computer-readable media may include RAM, ROM, EEPROM, CD-ROM, or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, or instructions for accessing the desired program code by a computer or It can include any other medium that can be used to carry or store in the form of data structures.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.Such hardware, software, firmware, etc. may be implemented within the same device or within separate devices to support the various operations and functions described herein. In addition, the components, units, modules, components, etc., described herein as "parts" may be implemented separately or separately as discrete but interoperable logic devices. The depiction of different features for modules, units, etc. is intended to highlight different functional embodiments and does not necessarily mean that they must be realized by individual hardware or software components. Rather, functionality associated with one or more modules or units may be performed by separate hardware or software components or integrated into common or separate hardware or software components.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.Although the operations are shown in the drawings in a specific order, it should not be understood that these operations are performed in the specific order shown, or sequential order, to achieve the desired result, or that all illustrated actions need to be performed. . In some circumstances, multitasking and parallel processing may be advantageous. Moreover, the division of various components in the above-described embodiments should not be understood as requiring such division in all embodiments, and the described components are generally integrated together into a single software product or packaged into multiple software products. It should be understood that it can.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.
100: 증강현실 디스플레이 장치
110: 카메라부
120: 디스플레이부
130: 제어부
140: 가상 이미지 생성부
150: 저장부
160: 통신부
170: 음성 인식부
180: 운동 추천부
200: 헬스케어 관리서버
300: 사용자 단말기
400: 전문가 단말기100: augmented reality display device 110: camera unit
120: display unit 130: control unit
140: virtual image generating unit 150: storage unit
160: communication unit 170: voice recognition unit
180: exercise recommendation unit 200: healthcare management server
300: user terminal 400: expert terminal
Claims (10)
선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부; 및
상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고,
상기 제어부는,
상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.A camera unit for photographing an actual image of a user;
A controller configured to generate a smart image according to the selected exercise information and the actual image; And
A display unit configured to display the smart image by overlapping the actual image;
The control unit,
When the user performs the exercise operation according to the movement of the smart image, augmented reality for health care, characterized in that to analyze the similarity between the real image and the smart image and provide the result of the similarity analysis to the user through the display unit Display device.
상기 사용자의 실제 이미지에서 추출된 관절 정보에 근육을 매핑하여 상기 사용자의 가상 이미지를 생성하는 가상 이미지 생성부; 및
적어도 하나의 운동 정보에 대응되는 운동 자세 데이터를 저장하는 저장부를 더 포함하고,
상기 제어부는,
상기 선택된 운동 정보에 대응되는 운동 자세 데이터를 상기 저장부에서 추출하고, 상기 추출된 운동 자세 데이터를 상기 사용자의 가상 이미지와 결합하여 연속된 동작 이미지로서 상기 스마트 이미지를 생성하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The display apparatus of claim 1, wherein the augmented reality display device comprises:
A virtual image generator for generating a virtual image of the user by mapping muscles to joint information extracted from the actual image of the user; And
The apparatus may further include a storage configured to store exercise posture data corresponding to the at least one exercise information.
The control unit,
Health care, characterized in that for extracting the exercise posture data corresponding to the selected exercise information from the storage unit, and combining the extracted exercise posture data with the virtual image of the user to generate the smart image as a continuous motion image Augmented reality display device for.
상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 오차 허용 범위 이내인 경우, 상기 디스플레이부에 표시되는 스마트 이미지를 다음 단계의 운동 정보에 대응되는 스마트 이미지로 변경하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The method of claim 2, wherein the control unit,
When the similarity between the actual image and the smart image is analyzed and within an error tolerance range, the smart image displayed on the display unit is changed to a smart image corresponding to the exercise information of the next step. Reality display device.
유무선 통신망을 이용하여 사용자 단말기와 통신하는 통신부를 더 포함하고,
상기 선택된 운동 정보는,
상기 사용자가 상기 사용자 단말기를 통해 선택한 운동 정보이고 상기 사용자 단말기로부터 상기 통신부로 전송되는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The display apparatus of claim 1, wherein the augmented reality display device comprises:
Further comprising a communication unit for communicating with the user terminal using a wired or wireless communication network,
The selected exercise information,
The augmented reality display device for health care, characterized in that the exercise information selected by the user through the user terminal and is transmitted from the user terminal to the communication unit.
상기 카메라부를 통해 상기 디스플레이부 전방에 상기 사용자가 위치한 것이 인식되는 경우, 상기 사용자의 신체 정보 및 공간 정보 중 적어도 하나에 따라 발판 이미지를 상기 디스플레이부를 통해 표시하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The method of claim 1, wherein the control unit,
When it is recognized that the user is located in front of the display unit through the camera unit, augmented reality for healthcare characterized in that to display the footrest image through the display unit according to at least one of the user's body information and spatial information Display device.
사용자로부터 입력되는 음성 신호를 인식하고 상기 음성 신호에 대응되는 사용자 입력 신호를 생성하여 상기 제어부로 출력하는 음성 인식부를 더 포함하고,
상기 제어부는,
상기 음성 인식부로부터 입력된 사용자 입력 신호에 따라 상기 디스플레이부에 표시되는 상기 실제 이미지 및 상기 스마트 이미지 중 적어도 하나를 변경하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The display apparatus of claim 1, wherein the augmented reality display device comprises:
A voice recognition unit for recognizing a voice signal input from the user and generating a user input signal corresponding to the voice signal to output to the controller,
The control unit,
An augmented reality display device for health care, characterized in that for changing at least one of the actual image and the smart image displayed on the display unit in accordance with a user input signal input from the speech recognition unit.
상기 카메라부를 통해 스캔된 사용자의 신체 정보에 따라 상기 사용자의 신체 체형 정보를 분석하고,
상기 증강현실 디스플레이 장치는,
상기 사용자의 신체 체형 정보에 따라 상기 사용자에게 적합한 운동을 추천하는 운동 추천부를 더 포함하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The method of claim 1, wherein the control unit,
Analyze the body shape information of the user according to the user body information scanned through the camera unit,
The augmented reality display device,
The augmented reality display device for health care, characterized in that it further comprises an exercise recommending unit for recommending the exercise suitable for the user according to the body shape information of the user.
유무선 통신망을 이용하여 전문가 단말기 및 헬스케어 관리서버와 통신하고, 상기 사용자의 신체 정보 및 상기 사용자의 운동량 정보를 상기 헬스케어 관리서버로 전송하는 통신부를 더 포함하고,
상기 헬스케어 관리서버에 저장된 상기 사용자의 신체 정보 및 운동량 정보는 상기 전문가 단말기로 제공되고, 상기 전문가 단말기로부터 전송되는 운동방법 및 운동추천에 관한 피드백 정보가 상기 증강현실 디스플레이 장치로 전송되어 상기 디스플레이부를 통해 상기 사용자에게 제공되는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치.The display apparatus of claim 1, wherein the augmented reality display device comprises:
Further comprising a communication unit for communicating with the expert terminal and the healthcare management server using a wired or wireless communication network, and transmits the user's body information and the exercise amount information of the user to the healthcare management server,
The user's body information and exercise amount information stored in the healthcare management server are provided to the expert terminal, and feedback information about an exercise method and an exercise recommendation transmitted from the expert terminal is transmitted to the augmented reality display device so as to display the display unit. Augmented reality display device for healthcare, characterized in that provided to the user through.
상기 증강현실 디스플레이 장치는,
사용자의 실제 이미지를 촬영하는 카메라부;
선택된 운동 정보 및 상기 실제 이미지에 따라 스마트 이미지를 생성하는 제어부; 및
상기 스마트 이미지를 상기 실제 이미지와 중첩하여 표시하는 디스플레이부를 포함하고,
상기 제어부는,
상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하고 유사도 분석 결과를 상기 디스플레이부를 통해 사용자에게 제공하며,
상기 헬스케어 관리서버는,
상기 사용자의 신체 정보 및 운동량 정보를 상기 사용자 단말기 및 전문가 단말기로 제공하고,
상기 전문가 단말기는,
상기 사용자의 신체 정보 및 운동량 정보에 따라 상기 전문가로부터 입력받은 운동방법 및 운동추천에 관한 피드백 정보를 상기 헬스케어 관리서버를 통해 상기 증강현실 디스플레이 장치 또는 상기 사용자 단말기로 전송하는 것을 특징으로 하는 증강현실 디스플레이 장치를 이용한 헬스케어 시스템.In the healthcare system including an augmented reality display device, a healthcare management server, a user terminal and an expert terminal,
The augmented reality display device,
A camera unit for photographing an actual image of a user;
A controller configured to generate a smart image according to the selected exercise information and the actual image; And
A display unit configured to display the smart image by overlapping the actual image;
The control unit,
When the user performs an exercise operation according to the movement of the smart image, the similarity between the real image and the smart image is analyzed and a similarity analysis result is provided to the user through the display unit.
The healthcare management server,
Providing the user's body information and exercise amount information to the user terminal and the expert terminal,
The expert terminal,
Augmented reality, characterized in that for transmitting the feedback information related to the exercise method and exercise recommendations received from the expert according to the user's body information and exercise amount information to the augmented reality display device or the user terminal through the healthcare management server. Healthcare system using display device.
선택된 운동 정보에 대응되는 스마트 이미지를 상기 실제 이미지에 중첩하여 표시하는 단계; 및
상기 스마트 이미지의 움직임에 따라 상기 사용자가 운동 동작을 수행하면, 상기 실제 이미지와 상기 스마트 이미지의 유사도를 분석하여 상기 사용자에게 제공하는 단계를 포함하고,
상기 스마트 이미지는 상기 선택된 운동 정보에 대응되는 연속적인 동작 이미지를 포함하는 것을 특징으로 하는 헬스케어를 위한 증강현실 디스플레이 장치의 동작방법.Displaying an actual image of the user captured by the camera unit through the display unit;
Displaying a smart image corresponding to the selected exercise information by overlapping the actual image; And
And analyzing the similarity between the real image and the smart image and providing the same to the user when the user performs an exercise motion according to the movement of the smart image.
The smart image is a method of operating an augmented reality display device for healthcare, characterized in that it comprises a continuous motion image corresponding to the selected exercise information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180035714A KR102099316B1 (en) | 2018-03-28 | 2018-03-28 | Augmented reality display apparatus for health care and health care system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180035714A KR102099316B1 (en) | 2018-03-28 | 2018-03-28 | Augmented reality display apparatus for health care and health care system using the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190113265A true KR20190113265A (en) | 2019-10-08 |
| KR102099316B1 KR102099316B1 (en) | 2020-04-09 |
Family
ID=68208916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180035714A KR102099316B1 (en) | 2018-03-28 | 2018-03-28 | Augmented reality display apparatus for health care and health care system using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102099316B1 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021101006A1 (en) * | 2019-11-19 | 2021-05-27 | 삼성전자 주식회사 | Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device |
| KR20210107488A (en) * | 2020-02-24 | 2021-09-01 | 원광희 | Apparatus and method for providing automatic body analysis and corrective exercise service |
| KR102325072B1 (en) * | 2020-09-18 | 2021-11-11 | 주식회사 위딧 | Method for pose matching and device for executing the method |
| CN113935921A (en) * | 2021-10-19 | 2022-01-14 | 成都拟合未来科技有限公司 | Mirror-surface type fitness information interaction method and system |
| KR102355008B1 (en) * | 2021-10-26 | 2022-01-25 | 아이픽셀 주식회사 | Method of providing personal training service and recording medium thereof |
| KR20220016562A (en) * | 2020-08-03 | 2022-02-10 | 주식회사 탑앤피 | Taekwondo training system using AR and VR equipment |
| KR102360284B1 (en) * | 2021-10-28 | 2022-02-10 | 주식회사 스위트케이 | System and method for intelligent healthcare based on smart mirror |
| KR20220017590A (en) | 2020-08-05 | 2022-02-14 | 주식회사 씨앰지 | Apparatus and method for providing medical information and advertisement content related to medical information based on physical examination using vr |
| KR20220027401A (en) * | 2020-08-27 | 2022-03-08 | 유중경 | Exercise system for allowing user to exercise in the correct posture |
| KR20220033213A (en) * | 2020-09-09 | 2022-03-16 | 히즈케어스 주식회사 | Artificial intelligence customized exercise provision service system and method for rehabilitation of paralysis patients |
| KR20230005693A (en) * | 2021-07-01 | 2023-01-10 | 상명대학교산학협력단 | Exercise management healthcare service system using tag |
| KR20230140796A (en) | 2022-03-30 | 2023-10-10 | 주식회사 씨앰지 | SYSTEM FOR INFORMATION PROVISION AND MANAGEMsENT USING VR PHYSICAL EXAMINATION |
| GB2619532A (en) * | 2022-06-08 | 2023-12-13 | Pi A Creative Systems Ltd | System for developing motor-skills |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220028951A (en) | 2020-08-31 | 2022-03-08 | 삼성전자주식회사 | Electronic apparatus and controlling method thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130116886A (en) | 2010-11-05 | 2013-10-24 | 나이키 인터내셔널 엘티디. | Method and system for automated personal training |
| KR20160054325A (en) * | 2014-11-06 | 2016-05-16 | 장재윤 | Management system and the method for customized personal training |
| KR20170099773A (en) * | 2016-02-24 | 2017-09-01 | 이용국 | Smart Apparatus for Measuring And Improving Physical Ability |
| KR20180015858A (en) * | 2016-08-04 | 2018-02-14 | 주식회사 케이티 | Server and method for analyzing body type and user device |
-
2018
- 2018-03-28 KR KR1020180035714A patent/KR102099316B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130116886A (en) | 2010-11-05 | 2013-10-24 | 나이키 인터내셔널 엘티디. | Method and system for automated personal training |
| KR20160054325A (en) * | 2014-11-06 | 2016-05-16 | 장재윤 | Management system and the method for customized personal training |
| KR20170099773A (en) * | 2016-02-24 | 2017-09-01 | 이용국 | Smart Apparatus for Measuring And Improving Physical Ability |
| KR20180015858A (en) * | 2016-08-04 | 2018-02-14 | 주식회사 케이티 | Server and method for analyzing body type and user device |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021101006A1 (en) * | 2019-11-19 | 2021-05-27 | 삼성전자 주식회사 | Electronic device for providing content on basis of location of reflective image of external object, and operation method of electronic device |
| KR20210107488A (en) * | 2020-02-24 | 2021-09-01 | 원광희 | Apparatus and method for providing automatic body analysis and corrective exercise service |
| KR20220016562A (en) * | 2020-08-03 | 2022-02-10 | 주식회사 탑앤피 | Taekwondo training system using AR and VR equipment |
| KR20220017590A (en) | 2020-08-05 | 2022-02-14 | 주식회사 씨앰지 | Apparatus and method for providing medical information and advertisement content related to medical information based on physical examination using vr |
| KR20220027401A (en) * | 2020-08-27 | 2022-03-08 | 유중경 | Exercise system for allowing user to exercise in the correct posture |
| KR20220033213A (en) * | 2020-09-09 | 2022-03-16 | 히즈케어스 주식회사 | Artificial intelligence customized exercise provision service system and method for rehabilitation of paralysis patients |
| KR102325072B1 (en) * | 2020-09-18 | 2021-11-11 | 주식회사 위딧 | Method for pose matching and device for executing the method |
| KR20230005693A (en) * | 2021-07-01 | 2023-01-10 | 상명대학교산학협력단 | Exercise management healthcare service system using tag |
| CN113935921A (en) * | 2021-10-19 | 2022-01-14 | 成都拟合未来科技有限公司 | Mirror-surface type fitness information interaction method and system |
| CN113935921B (en) * | 2021-10-19 | 2024-06-04 | 成都拟合未来科技有限公司 | Mirror type body-building information interaction method and system |
| KR102355008B1 (en) * | 2021-10-26 | 2022-01-25 | 아이픽셀 주식회사 | Method of providing personal training service and recording medium thereof |
| WO2023074980A1 (en) * | 2021-10-26 | 2023-05-04 | 아이픽셀 주식회사 | Motion recognition-based interaction method and recording medium |
| US11954869B2 (en) | 2021-10-26 | 2024-04-09 | Ipixel Co., Ltd. | Motion recognition-based interaction method and recording medium |
| KR102360284B1 (en) * | 2021-10-28 | 2022-02-10 | 주식회사 스위트케이 | System and method for intelligent healthcare based on smart mirror |
| KR20230140796A (en) | 2022-03-30 | 2023-10-10 | 주식회사 씨앰지 | SYSTEM FOR INFORMATION PROVISION AND MANAGEMsENT USING VR PHYSICAL EXAMINATION |
| GB2619532A (en) * | 2022-06-08 | 2023-12-13 | Pi A Creative Systems Ltd | System for developing motor-skills |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102099316B1 (en) | 2020-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102099316B1 (en) | Augmented reality display apparatus for health care and health care system using the same | |
| KR102097190B1 (en) | Method for analyzing and displaying a realtime exercise motion using a smart mirror and smart mirror for the same | |
| US10485454B2 (en) | Systems and methods for markerless tracking of subjects | |
| US9195304B2 (en) | Image processing device, image processing method, and program | |
| US10922997B2 (en) | Customizing content for musculoskeletal exercise feedback | |
| US11183079B2 (en) | Augmented reality guided musculoskeletal exercises | |
| US10902741B2 (en) | Exercise feedback system for musculoskeletal exercises | |
| KR20180103280A (en) | An exercise guidance system for the elderly that performs posture recognition based on distance similarity between joints | |
| KR101989368B1 (en) | smart exercise equipment, system method thereof | |
| CN103955272A (en) | Terminal equipment user posture detecting system | |
| KR20160130085A (en) | Exercising Method and System Using a Smart Mirror | |
| KR101974902B1 (en) | smart exercise equipment, system method thereof | |
| KR20170140726A (en) | User recognition content providing system and operating method thereof | |
| US11983962B2 (en) | Information processing apparatus, and method | |
| US10568547B1 (en) | Multifunctional assessment system for assessing muscle strength, mobility, and frailty | |
| JP6884306B1 (en) | System, method, information processing device | |
| TWM612249U (en) | Sports training assistance apparatus | |
| JP2023168557A (en) | Program, method, and information processing device | |
| KR20120133347A (en) | Rehabilitation training system | |
| JP6811349B1 (en) | Information processing equipment, methods, programs | |
| KR101916864B1 (en) | Method, Apparatus and System for Evaluating Dress Code | |
| JP6741892B1 (en) | Measuring system, method, program | |
| JP6774582B1 (en) | Measurement system, program | |
| JP7150387B1 (en) | Programs, methods and electronics | |
| KR102160556B1 (en) | Apparatus and method for providing of body information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |