KR20230137535A - System And Method For Sensory Effects That Control The Temperature Of A Real Space With The Temperature Of The Environment In The Content Performed By Creating An Avatar - Google Patents
System And Method For Sensory Effects That Control The Temperature Of A Real Space With The Temperature Of The Environment In The Content Performed By Creating An Avatar Download PDFInfo
- Publication number
- KR20230137535A KR20230137535A KR1020220034914A KR20220034914A KR20230137535A KR 20230137535 A KR20230137535 A KR 20230137535A KR 1020220034914 A KR1020220034914 A KR 1020220034914A KR 20220034914 A KR20220034914 A KR 20220034914A KR 20230137535 A KR20230137535 A KR 20230137535A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- information
- avatar
- temperature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000001953 sensory effect Effects 0.000 title 1
- 230000000694 effects Effects 0.000 claims abstract description 116
- 230000007613 environmental effect Effects 0.000 claims abstract description 14
- 230000032683 aging Effects 0.000 claims description 116
- 230000033001 locomotion Effects 0.000 claims description 68
- 210000004556 brain Anatomy 0.000 claims description 50
- 238000010438 heat treatment Methods 0.000 claims description 48
- 230000003993 interaction Effects 0.000 claims description 42
- 238000004378 air conditioning Methods 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 28
- 238000001816 cooling Methods 0.000 claims description 27
- 201000010099 disease Diseases 0.000 claims description 27
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 27
- 230000003930 cognitive ability Effects 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000037081 physical activity Effects 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 238000005728 strengthening Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012935 Averaging Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 14
- 210000001508 eye Anatomy 0.000 description 13
- 238000002567 electromyography Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000009467 reduction Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000007667 floating Methods 0.000 description 7
- 210000004209 hair Anatomy 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 230000037237 body shape Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 206010034464 Periarthritis Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003679 aging effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035485 pulse pressure Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 206010039073 rheumatoid arthritis Diseases 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
- A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/02—Measuring pulse or heart rate
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/70—Control systems characterised by their outputs; Constructional details thereof
- F24F11/80—Control systems characterised by their outputs; Constructional details thereof for controlling the temperature of the supplied air
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Business, Economics & Management (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Tourism & Hospitality (AREA)
- Combustion & Propulsion (AREA)
- Evolutionary Computation (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Chemical & Material Sciences (AREA)
- General Business, Economics & Management (AREA)
- Mechanical Engineering (AREA)
- Economics (AREA)
- Optics & Photonics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
Abstract
본 발명은 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템 및 방법에 관한 것으로서, VR장치를 통해 사용자의 생체정보, 활동정보, 및 의료정보를 수신하고, 이를 바탕으로 가상현실 속에서 아바타를 생성할 수 있고, 상기 아바타에 대한 정보를 외부의 메타버스플랫폼에 제공하고, 사용자가 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠를 수행하면, 상기 콘텐츠 내의 환경의 온도를 콘텐츠온도로 도출하고, 상기 사용자가 존재하는 공간인 현실공간의 현실온도를 상기 콘텐츠온도를 기초로 제어하는, 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for a realistic effect of controlling the temperature of a real space with the environmental temperature in content performed by creating an avatar. The present invention relates to a system and method for receiving the user's biometric information, activity information, and medical information through a VR device. Based on this, an avatar can be created in virtual reality, information about the avatar is provided to an external metaverse platform, and when the user performs content provided by the external metaverse platform, the environment within the content The temperature of the content is derived as the content temperature, and the actual temperature of the real space, which is the space where the user exists, is controlled based on the content temperature, and the temperature of the real space is controlled by the environmental temperature in the content performed by creating an avatar. It is about systems and methods for effectiveness.
Description
본 발명은 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템 및 방법에 관한 것으로서, VR장치를 통해 사용자의 생체정보, 활동정보, 및 의료정보를 수신하고, 이를 바탕으로 가상현실 속에서 아바타를 생성할 수 있고, 상기 아바타에 대한 정보를 외부의 메타버스플랫폼에 제공하고, 사용자가 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠를 수행하면, 상기 콘텐츠 내의 환경의 온도를 콘텐츠온도로 도출하고, 상기 사용자가 존재하는 공간인 현실공간의 현실온도를 상기 콘텐츠온도를 기초로 제어하는, 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for a realistic effect of controlling the temperature of a real space with the environmental temperature in content performed by creating an avatar. The present invention relates to a system and method for receiving the user's biometric information, activity information, and medical information through a VR device. Based on this, an avatar can be created in virtual reality, information about the avatar is provided to an external metaverse platform, and when the user performs content provided by the external metaverse platform, the environment within the content The temperature of the content is derived as the content temperature, and the actual temperature of the real space, which is the space where the user exists, is controlled based on the content temperature, and the temperature of the real space is controlled by the environmental temperature in the content performed by creating an avatar. It is about systems and methods for effectiveness.
실감콘텐츠란 인간의 오감을 극대화해 실제와 유사한 경험을 제공하는 가상현실, 증강현실, 혼합현실 등에 실감기술을 적용한 디지털콘텐츠를 의미한다. 글로벌 컨설팅 업체 PWC에 따르면 실감콘텐츠 기반 기술로 VR, AR 등을 아우르는 가상융합기술(XR)은 2025년 4,764억 달러(약 534조 원)에 달하는 경제적 파급효과를 창출할 것으로 전망된다.Realistic content refers to digital content that applies realistic technology such as virtual reality, augmented reality, and mixed reality that maximizes human five senses and provides experiences similar to reality. According to global consulting firm PWC, virtual convergence technology (XR), which encompasses VR and AR as a realistic content-based technology, is expected to create an economic ripple effect worth $476.4 billion (approximately KRW 534 trillion) in 2025.
가상현실이란 사용자가 HMD(Head Mounted Display)장치 등의 입출력장치를 착용함으로써 컴퓨터 상에서 구현되는 가상의 공간을 체험할 수 있게 하는 기술로서, 사용자가 현실 세계와 유사하게 구현되는 가상의 공간에서 시간적, 공간적 제약없이 특정 상황에 대한 체험을 할 수 있도록 하는 기술이다. 이러한 가상현실 기술은 값비싼 장비 및 가상현실 콘텐츠의 부족으로 인해 빠른 시일 내에 대중화되기 어려울 것으로 전망되기도 했으나, 최근에는 VR 및 AR장치의 보급과 비대면 콘텐츠에 대한 수요가 증가함에 따라, 가상현실 기술 또한 재조명 받고 있는 상황이다.Virtual reality is a technology that allows users to experience a virtual space implemented on a computer by wearing an input/output device such as an HMD (Head Mounted Display) device. Users can experience temporal, It is a technology that allows you to experience a specific situation without spatial restrictions. It was predicted that this virtual reality technology would be difficult to become popular in the near future due to expensive equipment and a lack of virtual reality content, but recently, with the spread of VR and AR devices and the increasing demand for non-face-to-face content, virtual reality technology It is also a situation that is being reexamined.
메타버스 기술이란 가상 자아인 아바타를 통해 경제, 사회, 문화, 정치 활동 등을 이어가는 4차원 가상 시공간이라 할 수 있다. 상기 메타버스 기술은 가상현실, 증강현실, 거울세계 및 라이프로깅을 포함하는 개념이다. 이러한 메타버스 기술은 게임, 교육, 쇼핑, 의료 및 관광 등 다양한 기술분야와 접목되어 활용되고 있고, 구체적으로 메타버스에서 구현한 게임, 교육, 쇼핑, 의료 및 관광 등의 플랫폼을 아바타를 통해 체험할 수 있다.Metaverse technology can be said to be a four-dimensional virtual space and time that continues economic, social, cultural, and political activities through avatars, virtual egos. The metaverse technology is a concept that includes virtual reality, augmented reality, mirror world, and lifelogging. This metaverse technology is being utilized in conjunction with various technological fields such as games, education, shopping, medical care, and tourism. Specifically, platforms such as games, education, shopping, medical care, and tourism implemented in the metaverse can be experienced through avatars. You can.
이에 따라, 메타버스가 제공하는 컨텐츠에서 실감기술을 활용하면, 물리적 세계의 시간과 공간에 대한 제약을 허물어 이용자의 경험을 극대화해 줄 것으로 기대되고 있다Accordingly, the use of realistic technology in the content provided by Metaverse is expected to maximize user experience by breaking down the limitations of time and space in the physical world.
사용자의 건강 증진을 위한 헬스케어 환경을 구축하기 위한 방법으로 한국 공개특허공보 제10-2020-0022776호에서는 사용자에 대한 4D아바타를 생성하고 특정 동작에 대한 수행을 유도함으로써 사용자가 병원을 방문하지 않고도 재활운동을 수행할 수 있는 방법을 제시한 바 있다. 그러나 종래의 기술은 단순히 사용자의 관절 정보에 기초하여 사용자의 움직임정보를 추정하고 가상현실을 체험할 수 있는 사용자 아바타를 생성하는 것으로서, 사용자의 생체특성을 고려하여 콘텐츠를 제공하거나 사용자와 유사한 아바타를 생성하여 사용자의 몰입도를 향상시키는 방법에 대해서는 개시하는 바가 없었다. 또한, 상기와 같은 종래의 기술들은 제공하는 콘텐츠 내의 환경과 사용자가 존재하는 실제 환경의 실감 효과를 제공하지 않는다. As a method to build a healthcare environment to improve the user's health, Korean Patent Publication No. 10-2020-0022776 creates a 4D avatar for the user and induces the user to perform specific actions, thereby providing the user with a medical experience without having to visit the hospital. A method for performing rehabilitation exercises has been presented. However, the conventional technology simply estimates the user's movement information based on the user's joint information and creates a user avatar that can experience virtual reality. It provides content by considering the user's biometric characteristics or creates an avatar similar to the user. There has been no disclosure regarding a method for generating user immersion and improving user immersion. In addition, the above-described conventional technologies do not provide realistic effects of the environment within the provided content and the actual environment in which the user exists.
따라서, 사용자의 외형 및 신체특성과 유사한 아바타를 생성하고, 상기 아바타에 대한 정보를 외부의 메타버스플랫폼에 제공할 수 있고, 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠를 수행함에 있어서, 사용자가 존재하는 공간을 콘텐츠 내의 환경의 온도로 제어하여 실감효과를 얻을 수 있는 시스템에 대한 개발 필요성이 대두되고 있다.Therefore, an avatar similar to the user's appearance and physical characteristics can be created, information about the avatar can be provided to an external metaverse platform, and when performing content provided by the external metaverse platform, the user exists. There is an emerging need to develop a system that can achieve realistic effects by controlling the space in which content is played by controlling the temperature of the environment within the content.
본 발명은 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템 및 방법에 관한 것으로서, VR장치를 통해 사용자의 생체정보, 활동정보, 및 의료정보를 수신하고, 이를 바탕으로 가상현실 속에서 아바타를 생성할 수 있고, 상기 아바타에 대한 정보를 외부의 메타버스플랫폼에 제공하고, 사용자가 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠를 수행하면, 상기 콘텐츠 내의 환경의 온도를 콘텐츠온도로 도출하고, 상기 사용자가 존재하는 공간인 현실공간의 현실온도를 상기 콘텐츠온도를 기초로 제어하는, 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for a realistic effect of controlling the temperature of a real space with the environmental temperature in content performed by creating an avatar. The present invention relates to a system and method for receiving the user's biometric information, activity information, and medical information through a VR device. Based on this, an avatar can be created in virtual reality, information about the avatar is provided to an external metaverse platform, and when the user performs content provided by the external metaverse platform, the environment within the content The temperature of the content is derived as the content temperature, and the actual temperature of the real space, which is the space where the user exists, is controlled based on the content temperature, and the temperature of the real space is controlled by the environmental temperature in the content performed by creating an avatar. It is about systems and methods for effectiveness.
상기와 같은 과제를 해결하기 위하여, 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템으로서, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 및 상기 사용자의 움직임을 측정하는 동작센싱장치;를 포함하는 VR장치; 사용자가 존재하는 현실환경의 온도를 측정하고 제어하는 냉난방장치; 상기 사용자가 착용하는 VR장치와 통신을 수행하고, 상기 VR장치로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부; 외부의 메타버스플랫폼에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스플랫폼에서 사용자가 상기 아바타를 이용하여 인터랙션한 인터랙션정보를 수신하여, 상기 아바타에 대한 업데이트를 수행하는 아바타업데이트부; 및 기계학습된 추론모델을 포함하고, 상기 기계학습된 추론모델 및 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠의 콘텐츠영상에 기초하여 상기 콘텐츠영상 내 콘텐츠환경의 콘텐츠온도를 도출하고, 상기 콘텐츠온도에 기초하여 상기 냉난방장치를 제어하여 상기 사용자가 존재하는 현실환경의 현실온도를 제어하는 온도제어부;를 포함하고, 상기 VR서비스부는, 상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부; 상기 VR장치와 통신을 수행하여 정보를 주고받는 VR통신부; 상기 VR장치로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부; 상기 가상현실구현부에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부; 및 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부;를 포함하고, 상기 생체정보는, 상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 및 상기 맥박측정기로 측정한 상기 사용자의 맥박정보;를 포함하는, 실감 효과를 위한 시스템을 제공한다.In order to solve the above problems, it is a system for a realistic effect that controls the temperature of the actual space by the environmental temperature in the content performed by creating an avatar, which is installed on the user and provides images and sounds for virtual reality, HMD that detects the user's voice; A camera device that captures the user's appearance and derives image information about the user; A brain wave measuring device attached to the user's head and capable of measuring the user's brain waves; A pulse meter attached to the user's wrist and capable of measuring the user's pulse; and a motion sensing device that measures the user's movements; a VR device including a; A heating and cooling device that measures and controls the temperature of the actual environment in which the user exists; a VR service unit that communicates with a VR device worn by the user, provides information about virtual reality to the VR device, creates an avatar for the user, and provides a plurality of virtual reality contents to the user; an avatar update unit that provides information about the avatar to an external metaverse platform, receives interaction information about a user's interaction using the avatar in the external metaverse platform, and performs an update on the avatar; and a machine-learned inference model, deriving the content temperature of the content environment within the content video based on the machine-learned inference model and the content video of the content provided by the external metaverse platform, and adjusting the content temperature to the content temperature. and a temperature control unit that controls the real temperature of the real environment in which the user exists by controlling the air conditioning system based on the VR service unit. Virtual reality implementation department, which implements reality; a VR communication unit that communicates with the VR device to exchange information; User's biometric information received from the VR device; and a user information input unit that receives user information including activity information and medical information received from the user's smartphone; an avatar creation unit that creates an avatar for the user based on the user information in the virtual reality implemented by the virtual reality implementation unit; and a VR content provider capable of providing the plurality of contents to the avatar created in the virtual reality and updating the appearance of the avatar each time this is performed. The biometric information is provided through the camera device. Input image information; The user's brain wave information measured by the brain wave measuring device; and pulse information of the user measured by the pulse meter. It provides a system for a realistic effect, including a.
본 발명의 일 실시예에서는, 상기 추론모델은, 입력된 상기 콘텐츠영상에서 기설정된 규칙으로 복수의 프레임을 추출하고, 상기 복수의 프레임 각각에서 해당 프레임의 콘텐츠온도를 도출할 수 있다.In one embodiment of the present invention, the inference model may extract a plurality of frames from the input content video according to a preset rule and derive the content temperature of the frame from each of the plurality of frames.
본 발명의 일 실시예에서는, 상기 온도제어부는, 제1온도제어부를 포함하고, 상기 제1온도제어부는, 외부의 메타버스플랫폼에서 상기 콘텐츠영상을 수신하는 제1콘텐츠영상수신단계; 상기 콘텐츠영상을 기계학습된 상기 추론모델에 입력하여 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도의 평균값을 제1콘텐츠온도로 도출하는 제1콘텐츠온도도출단계; 상기 사용자가 존재하는 현실환경을 측정한 현실온도를 상기 냉난방장치로부터 수신하는 제1현실온도수신단계; 및 상기 현실온도가 상기 제1콘텐츠온도에 도달하도록 상기 냉난방장치를 제어하는 제1현실온도제어단계;를 수행할 수 있다.In one embodiment of the present invention, the temperature control unit includes a first temperature control unit, and the first temperature control unit includes a first content image receiving step of receiving the content image from an external metaverse platform; A first content temperature derivation step of inputting the content image into the machine-learned inference model to derive a plurality of content temperatures, and deriving an average value of the plurality of content temperatures as a first content temperature; A first real temperature receiving step of receiving a real temperature measured in the real environment in which the user exists from the air conditioning and heating device; and a first actual temperature control step of controlling the air conditioning and heating device so that the actual temperature reaches the first content temperature.
본 발명의 일 실시예에서는, 상기 제1현실온도제어단계는, 특정 장소에서 타 장소로 이동하는 콘텐츠를 수행하는 경우에는, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률에 도달하게되면 특정 장소의 상기 제1콘텐츠온도에 도달하기 위한 상기 냉난방장치의 작동을 중지할 수 있다.In one embodiment of the present invention, when performing content that moves from a specific location to another location, the first actual temperature control step is performed when the content progress rate at the specific location reaches a preset progress rate. Operation of the air conditioning/heating device to reach the first content temperature may be stopped.
본 발명의 일 실시예에서는, 상기 온도제어부는, 제2온도제어부를 포함하고, 상기 제2온도제어부는, 외부의 메타버스플랫폼에서 상기 콘텐츠영상을 수신하는 제2콘텐츠영상수신단계; 상기 콘텐츠영상을 기계학습된 상기 추론모델에 입력하여 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도 중 최고 온도를 제2콘텐츠온도 및 최저 온도를 제3콘텐츠온도로 도출하는 제2콘텐츠온도도출단계; 상기 사용자가 존재하는 현실환경을 측정한 현실온도를 상기 냉난방장치로부터 수신하는 제2현실온도수신단계; 및 상기 현실온도가 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도 사이로 유지되도록 상기 냉난방장치를 제어하는 제2현실온도제어단계;를 수행할 수 있다.In one embodiment of the present invention, the temperature control unit includes a second temperature control unit, and the second temperature control unit includes a second content image receiving step of receiving the content image from an external metaverse platform; Deriving a second content temperature by inputting the content image into the machine-learned inference model to derive a plurality of content temperatures, and deriving the highest temperature among the plurality of content temperatures as the second content temperature and the lowest temperature as the third content temperature. step; A second actual temperature receiving step of receiving the actual temperature measured in the actual environment in which the user exists from the air conditioning and heating device; and a second actual temperature control step of controlling the air conditioning and heating device so that the actual temperature is maintained between the second content temperature and the third content temperature.
본 발명의 일 실시예에서는, 상기 제2현실온도제어단계는, 특정 장소에서 타 장소로 이동하는 콘텐츠를 수행하는 경우에는, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률에 도달하게되면 특정 장소의 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도 사이로 유지하기 위한 상기 냉난방장치의 작동을 중지할 수 있다.In one embodiment of the present invention, when performing content that moves from a specific location to another location, the second actual temperature control step is performed when the content progress rate at the specific location reaches a preset progress rate. The operation of the cooling and heating device to maintain the temperature between the second content temperature and the third content temperature may be stopped.
본 발명의 일 실시예에서는, 상기 아바타업데이트부는, 외부의 메타버스플랫폼에 상기 아바타에 대한 정보를 제공하는 아바타정보제공단계; 상기 외부의 메타버스플랫폼에서 상기 아바타에 해당하는 인터랙션정보를 수신하는 인터랙션정보수신단계; 및 상기 인터랙션정보 중 아바타와 관련된 정보를 추출하고, 상기 아바타와 관련된 정보에 기초하여 상기 아바타를 업데이트하는 아바타업데이트단계;를 수행할 수 있다.In one embodiment of the present invention, the avatar update unit includes an avatar information providing step of providing information about the avatar to an external metaverse platform; An interaction information receiving step of receiving interaction information corresponding to the avatar from the external metaverse platform; and an avatar update step of extracting information related to the avatar from the interaction information and updating the avatar based on the information related to the avatar.
본 발명의 일 실시예에서는, 상기 아바타생성부는, 복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터의 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정하는 기본외형결정부; 상기 생체정보를 1 이상의 인공신경망 모델에 입력하여 아바타의 노화정보를 결정하고, 상기 기본외형에 상기 노화정보에 상응하는 제1그래픽효과를 추가하는 노화정보결정부; 해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 아바타의 이동속도를 결정하는 이동속도결정부; 및 해당 사용자가 입력한 1 이상의 병력을 포함하는 의료정보에 기초하여 아바타의 질환정보를 결정하고, 상기 제1그래픽효과가 추가된 상기 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가하는 질환정보결정부;를 포함할 수 있다.In one embodiment of the present invention, the avatar generator derives each external feature information from a plurality of the image information, averages the derived plurality of external feature information to derive a character determination parameter in the form of a one-dimensional vector, , a basic appearance determination unit that determines the basic appearance of the avatar based on the character determination parameters; an aging information determination unit that inputs the biometric information into one or more artificial neural network models to determine aging information of the avatar, and adds a first graphic effect corresponding to the aging information to the basic appearance; A movement speed determination unit that determines the movement speed of the avatar by increasing the movement speed as the movement distance or number of steps increases, based on the movement distance or number of steps for a preset time derived from the user's smartphone; And determining the disease information of the avatar based on medical information including one or more medical histories entered by the user, and adding a second graphic effect corresponding to the disease information to the basic appearance to which the first graphic effect has been added. It may include a disease information determination unit.
본 발명의 일 실시예에서는, 상기 VR콘텐츠제공부는, 해당 사용자의 상기 노화정보에 기초하여 난이도가 결정되고, 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는, 제1콘텐츠제공부; 해당 사용자의 상기 활동정보에 기초하여 난이도가 결정되고, 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는 제2콘텐츠제공부; 해당 사용자의 상기 질환정보에 기초하여 콘텐츠의 종류가 결정되고 재활훈련이 필요한 신체부위 또는 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠를 제공하는 제3콘텐츠제공부; 상기 제1콘텐츠제공부, 상기 제2콘텐츠제공부, 및 상기 제3콘텐츠제공부에서 제공한 콘텐츠에 대한 수행에 따른 수행결과, 콘텐츠에 대한 수행기간 동안 상기 뇌파측정기에 의하여 측정된 뇌파정보, 및 상기 맥박측정기에 의하여 측정된 맥박정보에 기초하여, 1 이상의 스코어를 산출하고, 상기 1 이상의 스코어에 따라 상기 노화정보를 조절하는 노화정보조절부; 상기 노화정보조절부에 의하여, 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 해당 사용자의 아바타의 외형을 업데이트하는 아바타외형업데이트부;를 포함할 수 있다.In one embodiment of the present invention, the VR content provider is a first content provider that determines the level of difficulty based on the aging information of the user and provides content that can perform training to strengthen the user's cognitive ability and concentration. study; a second content provider that determines the level of difficulty based on the activity information of the user and provides content that allows the user to perform physical activity strengthening training; A third content provider that determines the type of content based on the disease information of the user and provides content that can provide training for body parts or cognitive abilities that require rehabilitation training; Performance results according to the performance of the content provided by the first content provider, the second content provider, and the third content provider, EEG information measured by the EEG measurement device during the performance period for the content, and an aging information control unit that calculates one or more scores based on pulse information measured by the pulse meter and adjusts the aging information according to the one or more scores; It may include an avatar appearance update unit that updates the appearance of the user's avatar by adjusting the first graphic effect according to the adjusted aging information by the aging information adjusting unit.
상기와 같은 과제를 해결하기 위하여, 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템에서 구현되는 실감 효과를 위한 방법으로서, 상기 시스템은, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 및 상기 사용자의 움직임을 측정하는 동작센싱장치;를 포함하는 VR장치; 사용자가 존재하는 현실환경의 온도를 측정하고 제어하는 냉난방장치; 상기 사용자가 착용하는 VR장치와 통신을 수행하고, 상기 VR장치로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부; 외부의 메타버스플랫폼에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스플랫폼에서 사용자가 상기 아바타를 이용하여 인터랙션한 인터랙션정보를 수신하여, 상기 아바타에 대한 업데이트를 수행하는 아바타업데이트부; 및 기계학습된 추론모델을 포함하고, 상기 기계학습된 추론모델 및 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠의 콘텐츠영상에 기초하여 상기 콘텐츠영상 내 콘텐츠환경의 콘텐츠온도를 도출하고, 상기 콘텐츠온도에 기초하여 상기 사용자가 존재하는 현실환경의 현실온도를 제어하는 온도제어부;를 포함하고, 상기 방법은, 상기 VR서비스부에 의하여, 상기 사용자만 이용 가능하고, 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현단계; 상기 VR서비스부에 의하여, 상기 VR장치와 통신을 수행하여 정보를 주고받는 VR통신단계; 상기 VR서비스부에 의하여, 상기 VR장치로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력단계; 상기 VR서비스부에 의하여, 상기 가상현실구현부에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성단계; 및 상기 VR서비스부에 의하여, 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공단계;를 포함하고, 상기 생체정보는, 상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 및 상기 맥박측정기로 측정한 상기 사용자의 맥박정보;를 포함하는, 실감 효과를 위한 방법을 제공한다.In order to solve the above problems, it is a method for a realistic effect implemented in a system for a realistic effect that controls the temperature of the actual space with the environmental temperature in the content performed by creating an avatar, the system is installed on the user HMD that provides images and sounds for virtual reality and detects the user's voice; A camera device that captures the user's appearance and derives image information about the user; A brain wave measuring device attached to the user's head and capable of measuring the user's brain waves; A pulse meter attached to the user's wrist and capable of measuring the user's pulse; and a motion sensing device that measures the user's movements; a VR device including a; A heating and cooling device that measures and controls the temperature of the actual environment in which the user exists; a VR service unit that communicates with a VR device worn by the user, provides information about virtual reality to the VR device, creates an avatar for the user, and provides a plurality of virtual reality contents to the user; an avatar update unit that provides information about the avatar to an external metaverse platform, receives interaction information about a user's interaction using the avatar in the external metaverse platform, and performs an update on the avatar; and a machine-learned inference model, deriving the content temperature of the content environment within the content video based on the machine-learned inference model and the content video of the content provided by the external metaverse platform, and adjusting the content temperature to the content temperature. and a temperature control unit that controls the real temperature of the real environment in which the user exists based on the virtual reality, wherein the method is available only to the user and a plurality of virtual reality contents are provided by the VR service unit. A virtual reality implementation step that implements; A VR communication step of exchanging information by communicating with the VR device by the VR service unit; The user's biometric information received from the VR device by the VR service unit; and a user information input step of receiving user information including activity information and medical information received from the user's smartphone; An avatar creation step of generating, by the VR service unit, an avatar of the user based on the user information in a virtual reality implemented by the virtual reality implementation unit; And a VR content providing step of providing, by the VR service unit, the plurality of contents to an avatar created in the virtual reality, and updating the appearance of the avatar each time this is performed; including, the biometric information is image information input through the camera device; The user's brain wave information measured by the brain wave measuring device; and pulse information of the user measured by the pulse meter. It provides a method for a realistic effect, including.
도 1은 본 발명의 일 실시예에 따른 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템의 구성을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 VR서비스부의 구성을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용하는 사용자가 착용하는 VR장치 및 그 구성을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 사용자의 아바타 생성을 위한 복수의 외형특징정보를 도출하는 과정을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 아바타생성부의 동작을 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 노화정보결정부의 세부구성을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 사용자의 아바타 및 아바타의 능력치를 개략적으로 도시한다.
도 8은 본 발명의 일 실시예에 따른 VR콘텐츠제공부의 구성을 개략적으로 도시한다.
도 9는 본 발명의 일 실시예에 따른 VR콘텐츠부에서의 수행단계를 개략적으로 도시한다.
도 10은 본 발명의 일 실시예에 따른 노화정보감소단계를 개략적으로 도시한다.
도 11은 본 발명의 일 실시예에 따른 아바타의 외형이 변경되는 프로세스를 개략적으로 도시한다.
도 12는 본 발명의 일 실시예에 따른 제1콘텐츠의 실행화면을 개략적으로 도시한다.
도 13은 본 발명의 일 실시예에 따른 집중도스코어 및 활동량스코어가 제1기준값 미만인 경우의 사용자에게 보여지는 가상현실 인터페이스를 개략적으로 도시한다.
도 14는 본 발명의 일 실시예에 따른 아바타업데이트부에서의 수행단계를 개략적으로 도시한다.
도 15는 본 발명의 일 실시예에 따른 인터랙션정보에 대해 개략적으로 도시한다.
도 16은 본 발명의 일 실시예에 따른 노화정보에 기초한 아바타업데이트단계를 개략적으로 도시한다.
도 17은 본 발명의 일 실시예에 따른 이동속도에 기초한 아바타업데이트단계를 개략적으로 도시한다.
도 18은 본 발명의 일 실시예에 따른 온도제어부 및 냉난방장치를 개략적으로 도시한다.
도 19은 본 발명의 일 실시예에 따른 기계학습된 추론모델의 콘텐츠온도를 도출을 개략적으로 도시한다.
도 20은 본 발명의 일 실시예에 따른 제1온도제어부가 수행하는 단계를 개략적으로 도시한다.
도 21은 본 발명의 일 실시예에 따른 제2온도제어부가 수행하는 단계를 개략적으로 도시한다.
도 22은 본 발명의 일 실시예에 따른 콘텐츠 내에서 장소를 이동하는 경우에 온도제어 방법을 개략적으로 도시한다.
도 23는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.Figure 1 schematically shows the configuration of a system for creating an avatar and providing a plurality of contents in virtual reality according to an embodiment of the present invention.
Figure 2 schematically shows the configuration of a VR service unit according to an embodiment of the present invention.
Figure 3 schematically shows a VR device worn by a user using virtual reality and its configuration according to an embodiment of the present invention.
Figure 4 schematically shows a process of deriving a plurality of external feature information for creating a user's avatar according to an embodiment of the present invention.
Figure 5 schematically shows the operation of the avatar creation unit according to an embodiment of the present invention.
Figure 6 schematically shows the detailed configuration of the aging information determination unit according to an embodiment of the present invention.
Figure 7 schematically shows a user's avatar and the avatar's abilities according to an embodiment of the present invention.
Figure 8 schematically shows the configuration of a VR content providing unit according to an embodiment of the present invention.
Figure 9 schematically shows execution steps in the VR content unit according to an embodiment of the present invention.
Figure 10 schematically shows the aging information reduction step according to an embodiment of the present invention.
Figure 11 schematically shows a process for changing the appearance of an avatar according to an embodiment of the present invention.
Figure 12 schematically shows an execution screen of the first content according to an embodiment of the present invention.
Figure 13 schematically shows a virtual reality interface shown to the user when the concentration score and activity score are less than the first reference value according to an embodiment of the present invention.
Figure 14 schematically shows the steps performed in the avatar update unit according to an embodiment of the present invention.
Figure 15 schematically shows interaction information according to an embodiment of the present invention.
Figure 16 schematically shows the avatar update step based on aging information according to an embodiment of the present invention.
Figure 17 schematically shows an avatar update step based on movement speed according to an embodiment of the present invention.
Figure 18 schematically shows a temperature control unit and a heating/cooling device according to an embodiment of the present invention.
Figure 19 schematically shows derivation of content temperature of a machine learned inference model according to an embodiment of the present invention.
Figure 20 schematically shows steps performed by the first temperature control unit according to an embodiment of the present invention.
Figure 21 schematically shows steps performed by the second temperature control unit according to an embodiment of the present invention.
Figure 22 schematically shows a temperature control method when moving from place to place within content according to an embodiment of the present invention.
Figure 23 exemplarily shows the internal configuration of a computing device according to an embodiment of the present invention.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.BRIEF DESCRIPTION OF THE DRAWINGS Various embodiments and/or aspects are now disclosed with reference to the drawings. In the following description, for purposes of explanation, numerous specific details are set forth to facilitate a general understanding of one or more aspects. However, it will also be appreciated by those skilled in the art that this aspect(s) may be practiced without these specific details. The following description and accompanying drawings set forth in detail certain example aspects of one or more aspects. However, these aspects are illustrative and some of the various methods in the principles of the various aspects may be utilized, and the written description is intended to encompass all such aspects and their equivalents.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.Additionally, various aspects and features may be presented by a system that may include multiple devices, components and/or modules, etc. It is also understood that various systems may include additional devices, components and/or modules, etc. and/or may not include all of the devices, components, modules, etc. discussed in connection with the drawings. It must be understood and recognized.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.As used herein, “embodiments,” “examples,” “aspects,” “examples,” etc. may not be construed to mean that any aspect or design described is better or advantageous over other aspects or designs. . The terms '~part', 'component', 'module', 'system', 'interface', etc. used below generally refer to computer-related entities, such as hardware, hardware, etc. A combination of and software, it can mean software.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.Additionally, the terms “comprise” and/or “comprising” mean that the feature and/or element is present, but exclude the presence or addition of one or more other features, elements and/or groups thereof. It should be understood as not doing so.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Additionally, terms including ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be named a second component, and similarly, the second component may also be named a first component without departing from the scope of the present invention. The term and/or includes any of a plurality of related stated items or a combination of a plurality of related stated items.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, in the embodiments of the present invention, unless otherwise defined, all terms used herein, including technical or scientific terms, are generally understood by those skilled in the art to which the present invention pertains. It has the same meaning as Terms defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and unless clearly defined in the embodiments of the present invention, have an ideal or excessively formal meaning. It is not interpreted as
본원 발명의 소셜서버에서 수행되는 가상현실 재활시스템은 사용자의 외형 및 상태를 모사한 아바타를 생성하고, 사용자는 아바타를 조종하여 복수의 콘텐츠를 수행하는 형태로 구현될 수 있다. 이하에서는 이를 위한 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템에 대해 설명한다. The virtual reality rehabilitation system implemented in the social server of the present invention can be implemented in a form that creates an avatar that mimics the user's appearance and state, and the user manipulates the avatar to perform a plurality of contents. Below, we will describe a system for creating an avatar and providing multiple contents in virtual reality.
1. 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템1. A system that creates an avatar and provides multiple contents in virtual reality
도 1은 본 발명의 일 실시예에 따른 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템의 구성을 개략적으로 도시한다.Figure 1 schematically shows the configuration of a system for creating an avatar and providing a plurality of contents in virtual reality according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템으로서, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 상기 사용자의 움직임을 측정하는 동작센싱장치; 및 상기 사용자의 안구운동을 감지하는 아이트래커;를 포함하는 VR장치(1000); 및 상기 사용자가 착용하는 VR장치(1000)와 통신을 수행하고, 상기 VR장치(1000)로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부;를 포함하고, 상기 VR서비스부는, 상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부(2100); 상기 VR장치(1000)와 통신을 수행하여 정보를 주고받는 VR통신부(2200); 상기 VR장치(1000)로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부(2300); 상기 가상현실구현부(2100)에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부(2400); 및 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부(2500);를 포함하고, 상기 생체정보는, 상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 상기 맥박측정기로 측정한 상기 사용자의 맥박정보; 및 상기 아이트래커로 측정한 상기 사용자의 아이트래킹정보;를 포함한다.As shown in Figure 1, a system for creating an avatar and providing a plurality of contents in virtual reality includes an HMD mounted on a user, providing images and sounds for virtual reality, and detecting the user's voice; A camera device that captures the user's appearance and derives image information about the user; A brain wave measuring device attached to the user's head and capable of measuring the user's brain waves; A pulse meter attached to the user's wrist and capable of measuring the user's pulse; A motion sensing device that measures the user's movements; and an eye tracker that detects the user's eye movements; a VR device 1000 including a; and communicate with the VR device 1000 worn by the user, provide information about virtual reality to the VR device 1000, and create an avatar for the user to provide a plurality of virtual reality contents to the user. A VR service unit that includes; The VR service unit includes a virtual reality implementation unit 2100 that is available only to the user and implements a virtual reality in which the plurality of virtual reality contents are provided; a VR communication unit (2200) that communicates with the VR device (1000) to exchange information; User's biometric information received from the VR device 1000; and a user information input unit 2300 that receives user information including activity information and medical information received from the user's smartphone; an avatar creation unit 2400 that creates an avatar for the user based on the user information in the virtual reality implemented by the virtual reality implementation unit 2100; and a
개략적으로, 상기 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템은, 상기 VR장치(1000) 및 상기 VR서비스부를 포함하며, 상기 VR서비스부는 컴퓨팅시스템(10000)에 포함된다. Briefly, the system for creating an avatar and providing a plurality of contents in virtual reality includes the VR device 1000 and the VR service unit, and the VR service unit is included in the computing system 10000.
구체적으로, 상기 VR장치(1000)는 사용자에게 장착되거나 상기 사용자의 외형을 촬영함으로써, 상기 VR서비스부에서 생성되는 아바타의 외형 및 능력치를 결정할 수 있는 정보를 센싱하는 1 이상의 구성요소를 포함하며, 상기 구성요소로는 상술한 바와 같이, 상기 HMD(Head Mounted Display), 상기 카메라장치, 상기 뇌파측정기, 상기 맥박측정기; 상기 동작센싱장치 및 상기 아이트래커;를 포함한다. 또한, 상기 VR장치(1000)는, 상기 VR장치(1000)의 각 구성을 통해 센싱한 상기 이미지정보, 상기 뇌파정보, 상기 맥박정보, 및 상기 아이트래킹정보를 포함하는 상기 사용자의 생체정보를 상기 VR서비스부로 전달할 수 있다. 상기 VR장치(1000)에 대한 보다 상세한 설명은 도 3에서 후술하도록 한다.Specifically, the VR device 1000 includes one or more components that sense information that can determine the appearance and abilities of the avatar generated by the VR service unit by being mounted on the user or photographing the user's appearance, As described above, the components include the HMD (Head Mounted Display), the camera device, the EEG meter, and the pulse meter; It includes the motion sensing device and the eye tracker. In addition, the VR device 1000 stores the user's biometric information including the image information, the brain wave information, the pulse information, and the eye tracking information sensed through each component of the VR device 1000. It can be forwarded to the VR Service Department. A more detailed description of the VR device 1000 will be provided later with reference to FIG. 3.
상기 VR장치(1000)를 통해 센싱된 상기 생체정보는 상기 컴퓨팅시스템(10000)으로 전송된다. 상기 컴퓨팅시스템(10000)의 상기 VR서비스부는, 가상현실을 구현하고, 상기 생체정보에 기초하여 상기 가상현실 내에 상기 사용자의 아바타를 생성하며, 상기 사용자가 상기 아바타를 통해 복수의 콘텐츠를 제공한다. The biometric information sensed through the VR device 1000 is transmitted to the computing system 10000. The VR service unit of the computing system 10000 implements virtual reality, creates an avatar for the user in the virtual reality based on the biometric information, and provides a plurality of contents to the user through the avatar.
한편, 본 발명의 일 실시예로서 상기 컴퓨팅시스템(10000)은, 도 1에 도시된 바와 같이, 소셜서버(3000)와 통신할 수 있고, 상기 사용자는 상기 VR서비스부에서 생성한 아바타를 통해 상기 소셜서버(3000) 내에서 1 이상의 다른 사용자와 커뮤니케이션 할 수 있다. 또한, 본 발명의 다른 실시예로서, 상기 컴퓨팅시스템(10000)은 VR서비스부에서 제공하는 서비스 외에 다른 콘텐츠를 제공하는 추가콘텐츠부(4000)를 포함할 수 있으며, 바람직하게는, 상기 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템은 상기 소셜서버(3000) 및 상기 추가콘텐츠부(4000)를 동시에 포함할 수 있다.Meanwhile, as an embodiment of the present invention, the computing system 10000 can communicate with the social server 3000, as shown in FIG. 1, and the user can communicate with the social server 3000 through the avatar created by the VR service unit. You can communicate with one or more other users within the social server (3000). In addition, as another embodiment of the present invention, the computing system 10000 may include an additional content unit 4000 that provides content other than the service provided by the VR service unit, preferably in the virtual reality. A system that creates an avatar and provides a plurality of contents may simultaneously include the social server 3000 and the additional content unit 4000.
도 2는 본 발명의 일 실시예에 따른 VR서비스부의 구성을 개략적으로 도시한다.Figure 2 schematically shows the configuration of a VR service unit according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 상기 VR서비스부는, 상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부(2100); 상기 VR장치(1000)와 통신을 수행하여 정보를 주고받는 VR통신부(2200); 상기 VR장치(1000)로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부(2300); 상기 가상현실구현부(2100)에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부(2400); 및 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부(2500);를 포함한다.As shown in FIG. 2, the VR service unit includes a virtual reality implementation unit 2100 that implements a virtual reality that is available only to the user and in which the plurality of virtual reality contents are provided; a VR communication unit (2200) that communicates with the VR device (1000) to exchange information; User's biometric information received from the VR device 1000; and a user information input unit 2300 that receives user information including activity information and medical information received from the user's smartphone; an avatar creation unit 2400 that creates an avatar for the user based on the user information in the virtual reality implemented by the virtual reality implementation unit 2100; and a VR
구체적으로, 상기 가상현실구현부(2100)는, 상기 컴퓨팅시스템(10000) 내에 가상현실을 구현하고, 상기 가상현실에 대한 정보를 상기 VR통신부(2200)를 통해 상기 사용자에게 전달할 수 있다. 상기 가상현실에 대한 정보는 가상현실의 인터페이스 및 디스플레이와 같은 시각적인 요소; 및 효과음 등의 청각적인 요소;를 포함하고, 상기 시청각적 요소는 상기 VR장치(1000)의 HMD를 통해 상기 사용자에게 전달될 수 있다.Specifically, the virtual reality implementation unit 2100 can implement virtual reality in the computing system 10000 and transmit information about the virtual reality to the user through the VR communication unit 2200. The information about the virtual reality includes visual elements such as the virtual reality interface and display; and auditory elements such as sound effects, and the audio-visual elements may be delivered to the user through the HMD of the VR device 1000.
전술한 바와 같이, 상기 VR통신부(2200)는 상기 가상현실구현부(2100)에서 구현한 가상현실에 대한 정보를 상기 사용자에게 전달하고, 상기 VR장치(1000)에서 센싱된 동작정보 및 상기 생체정보를 상기 컴퓨팅시스템(10000)으로 전달받는다. 상기 동작정보 및 상기 생체정보는 상기 가상현실 내에서 상기 사용자의 아바타를 생성하거나, 복수의 콘텐츠를 수행하는데 사용된다. As described above, the VR communication unit 2200 delivers information about the virtual reality implemented by the virtual reality implementation unit 2100 to the user, and motion information and the biometric information sensed by the VR device 1000. is delivered to the computing system (10000). The motion information and the biometric information are used to create the user's avatar or perform a plurality of contents within the virtual reality.
상기 VR장치(1000)를 통해 전달받은 상기 생체정보는 상기 사용자정보입력부(2300)의 생체정보수신부(2310)로 전달된다. 한편, 상기 사용자정보입력부(2300)는, 도 2에 도시된 바와 같이, 상기 생체정보수신부(2310) 외에 활동정보수신부(2320) 및 의료정보수신부(2330)를 더 포함한다. 상기 활동정보수신부(2320) 및 상기 의료정보수신부(2330) 각각은, 상기 사용자의 스마트폰으로부터 상기 사용자의 활동정보 및 상기 사용자의 의료정보를 각각 수신한다.The biometric information received through the VR device 1000 is transmitted to the biometric information reception unit 2310 of the user information input unit 2300. Meanwhile, as shown in FIG. 2, the user information input unit 2300 further includes an activity information receiver 2320 and a medical information receiver 2330 in addition to the biometric information receiver 2310. The activity information receiving unit 2320 and the medical information receiving unit 2330 each receive the user's activity information and the user's medical information from the user's smartphone.
상기 활동정보는 상기 사용자의 스마트폰에 기록되는 기설정된 주기로 기록되는 운동기록, 기설정된 주기로 기록되는 생활정보 등에 해당되며, 예를 들어, 하루 동안의 걸음 수, 하루 동안의 걸음걸이, 하루 동안 마신 물의 양 및 횟수, 취침시간 및 기상시간 등을 포함한다. 본 발명의 일 실시예에 따르면, 상기 활동정보는 상기 활동정보를 기록할 수 있는 웨어러블디바이스(wearable device)를 통해 수신될 수 있다. 또한, 상기 의료정보는, 해당 사용자가 입력한 1 이상의 병력에 대한 정보를 포함하며, 본 발명의 일 실시예로서, 의료기관에서 제공하는 의료기록을 이용하여 생성될 수 있다. The activity information corresponds to exercise records recorded at a preset period recorded on the user's smartphone, life information recorded at a preset period, etc., for example, the number of steps per day, steps per day, and drinks consumed per day. This includes the amount and frequency of water, bedtime and wake-up time, etc. According to one embodiment of the present invention, the activity information may be received through a wearable device capable of recording the activity information. Additionally, the medical information includes information on one or more medical histories entered by the user, and, as an embodiment of the present invention, may be generated using medical records provided by a medical institution.
상기 VR장치(1000)의 카메라장치를 통해 상기 사용자의 얼굴이미지 및 체형이미지를 촬영하여 생성한 복수의 이미지정보는 상기 VR통신부(2200)를 통해 상기 생체정보수신부(2310)로 수신되고, 상기 아바타생성부(2400)는 상기 복수의 이미지정보에 기초하여 상기 사용자의 아바타를 상기 가상현실 내에 생성한다. A plurality of image information generated by capturing the user's face image and body image through the camera device of the VR device 1000 is received by the biometric information receiving unit 2310 through the VR communication unit 2200, and the avatar is received. The creation unit 2400 creates the user's avatar in the virtual reality based on the plurality of image information.
상기 아바타생성부(2400)는, 상기 아바타의 기본외형을 결정하는 기본외형결정부(2410), 복수의 이미지정보에 기초하여 상기 사용자의 노화정보를 결정하고 아바타의 외형 일부를 변경하는 노화정보결정부(2420); 상기 사용자의 활동정보에 기초하여 상기 아바타의 이동속도를 결정하는 이동속도결정부(2430); 및 상기 의료정보에 기초하여 상기 아바타의 외형 일부를 변경하는 질환정보결정부(2440);를 포함한다. 즉, 상기 아바타생성부(2400)는, 상기 사용자의 생체정보, 활동정보, 및 의료정보에 기초하여 상기 아바타의 외형 및 능력치를 설정하고, 상기 가상현실 내에 상기 아바타를 구현한다.The avatar creation unit 2400 includes a basic appearance determination unit 2410 that determines the basic appearance of the avatar, determines aging information of the user based on a plurality of image information, and determines aging information to change part of the appearance of the avatar. wealth (2420); a movement speed determination unit 2430 that determines the movement speed of the avatar based on the user's activity information; and a disease information determination unit 2440 that changes part of the appearance of the avatar based on the medical information. That is, the avatar creation unit 2400 sets the appearance and capabilities of the avatar based on the user's biometric information, activity information, and medical information, and implements the avatar in the virtual reality.
상기 VR콘텐츠제공부(2500)는, 상기 가상현실 내에서 상기 아바타에게 복수의 콘텐츠를 제공한다. 상기 복수의 콘텐츠는, 해당 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠; 해당 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠; 및 해당 사용자에게 재활훈련이 필요한 신체부위 또는 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠;를 포함한다. 상기 VR콘텐츠제공부(2500)에 대한 보다 상세한 설명은 후술하도록 한다. The
도 3은 본 발명의 일 실시예에 따른 가상현실을 이용하는 사용자가 착용하는 VR장치(1000) 및 그 구성을 개략적으로 도시한다.Figure 3 schematically shows the VR device 1000 worn by a user using virtual reality and its configuration according to an embodiment of the present invention.
개략적으로, 도 3의 (a)는, 상기 사용자가 상기 VR장치(1000)를 착용한 일 실시예를 도시하고, 도 3의 (b)는, 상기 사용자의 머리부분에 장착되는 상기 HMD(1100) 및 상기 뇌파측정기(1300)의 구성을 도시하고, 도 3의 (c)는 상기 VR장치(1000)의 구성을 도시한다.Schematically, Figure 3 (a) shows an embodiment in which the user wears the VR device 1000, and Figure 3 (b) shows the HMD (1100) mounted on the user's head. ) and the configuration of the brain wave measuring device 1300, and Figure 3 (c) shows the configuration of the VR device 1000.
도 3에 도시된 바와 같이, 상기 VR장치(1000)는, 사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD(1100); 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치(1200); 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기(1300); 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기(1400); 상기 사용자의 움직임을 측정하는 동작센싱장치(1500); 및 상기 사용자의 안구운동을 감지하는 아이트래커(1600);를 포함한다.As shown in FIG. 3, the VR device 1000 includes an HMD 1100 mounted on the user to provide images and sounds for virtual reality and detect the user's voice; A camera device 1200 that captures the user's appearance and derives image information about the user; A brain wave measuring device (1300) attached to the user's head and capable of measuring the user's brain waves; A pulse meter (1400) attached to the user's wrist and capable of measuring the user's pulse; A motion sensing device 1500 that measures the user's movements; and an eye tracker 1600 that detects the user's eye movements.
구체적으로, 도 3의 (a)는 상기 사용자가 상기 VR장치(1000)를 착용한 일 실시예에 해당하며, 상기 카메라장치(1200)는 별도로 도시하지 않는다. 상기 사용자는, 도 3의 (a)에 도시된 VR장치(1000)를 상기 사용자가 장착하기 전에, 상기 카메라장치(1200)를 통하여 상기 사용자의 얼굴이미지 및 체형이미지를 촬영하는 것이 바람직하며, 상기 카메라장치(1200)는 상기 생체정보수신부(2310)로 상기 얼굴이미지 및 상기 체형이미지를 전달할 수 있다.Specifically, Figure 3(a) corresponds to an embodiment in which the user wears the VR device 1000, and the camera device 1200 is not shown separately. It is preferable that the user captures the user's face image and body image through the camera device 1200 before the user installs the VR device 1000 shown in (a) of FIG. 3. The camera device 1200 can transmit the face image and the body shape image to the biometric information receiver 2310.
도 3의 (a)에 도시된 바와 같이, 상기 맥박측정기(1400)는 상기 사용자의 손목에 부착되어 상기 사용자의 맥박을 측정할 수 있다. 즉, 상기 맥박측정기(1400)는 상기 생체정보 중 하나인 사용자의 맥박을 측정할 수 있고, 이와 같이 측정된 상기 사용자의 맥박은 상기 VR서비스부에 입력되어, 상기 사용자의 상태를 분석하거나 상기 사용자의 심리를 파악하여 상기 사용자가 콘텐츠를 원활하게 수행할 수 있는 용도로 사용되거나, 가상현실에서 제공되는 콘텐츠를 생성하는데 사용될 수 있다. 추가적으로, 상기 맥박측정기(1400)는 근전도센서를 포함하여, 상기 사용자의 맥박정보 및 상기 사용자의 근전도정보를 센싱하여 상기 VR서비스로 전달할 수 있다. As shown in (a) of FIG. 3, the pulse meter 1400 is attached to the user's wrist and can measure the user's pulse. That is, the pulse meter 1400 can measure the user's pulse, which is one of the biometric information, and the user's pulse measured in this way is input to the VR service unit to analyze the user's condition or to It can be used to understand the psychology of the user so that the user can smoothly perform content, or it can be used to create content provided in virtual reality. Additionally, the pulse meter 1400 includes an electromyography sensor, and can sense the user's pulse information and the user's electromyography information and transmit them to the VR service.
도 3의 (a)에 도시된 바와 같이, 상기 동작센싱장치(1500)는 기설정된 공간에서 상기 사용자의 움직임을 측정함으로써, 상기 기설정된 공간 내에서의 상기 사용자의 동작정보를 측정할 수 있다. 이와 같이 측정된 상기 사용자의 동작정보는 상기 VR서비스부에 입력되어, 상기 VR서비스부에서 제공되는 복수의 콘텐츠를 결정하는데 기초가 되거나, 상기 사용자가 상기 복수의 콘텐츠를 체험하는데 사용될 수 있다.As shown in (a) of FIG. 3, the motion sensing device 1500 can measure the user's motion information within the preset space by measuring the user's movement in the preset space. The user's motion information measured in this way can be input to the VR service unit and become the basis for determining a plurality of contents provided by the VR service unit, or can be used for the user to experience the plurality of contents.
상기 동작센싱장치(1500)는, 도 3의 (a)에 도시된 바와 같이, 상기 사용자가 양 손에 각각 소지하여 상기 기설정된 공간에서의 움직임을 센싱할 수 있는 센서모듈을 포함하고, 본 발명의 일 실시예로서, 적외선 센서 혹은 캠코더 등과 같이 상기 사용자의 상기 기설정된 공간 내에서의 움직임을 영상으로 측정할 수 있는 센서모듈을 포함할 수 있다. 한편, 본 발명의 다른 실시예에 따르면, 상기 동작센싱장치(1500)는, 가속도센서, 혹은 자이로센서 등과 같이 사용자의 몸에 부착되는 형태로서, 상기 기설정된 공간 내에서의 상기 사용자의 움직임을 센싱할 수 있다. 바람직하게는, 상기 기설정된 공간은, 상기 동작센싱장치(1500)의 좌표를 측정하는 위치센서모듈이 구비된 공간에 해당한다.As shown in (a) of FIG. 3, the motion sensing device 1500 includes a sensor module that the user holds in both hands and can sense movement in the preset space, and the present invention As an example, it may include a sensor module, such as an infrared sensor or camcorder, that can measure the user's movement within the preset space as an image. Meanwhile, according to another embodiment of the present invention, the motion sensing device 1500 is attached to the user's body, such as an acceleration sensor or a gyro sensor, and senses the user's movement within the preset space. can do. Preferably, the preset space corresponds to a space equipped with a position sensor module that measures the coordinates of the motion sensing device 1500.
도 3의 (b)는 상기 HMD(1100)의 세부구성을 도시한다. 도 3의 (b)에 도시된 바와 같이, 상기 HMD(1100)는 상기 뇌파측정기(1300)와 연결되어 있으며, 상기 뇌파측정기(1300)는 상기 생체정보 중의 하나인 사용자의 뇌파를 특정할 수 있다. 이와 같이 측정된 상기 사용자의 뇌파는 상기 VR서비스부에 입력되어, 상기 사용자의 상태를 분석하거나 상기 사용자의 심리를 파악하여 상기 사용자가 콘텐츠를 원활하게 수행할 수 있는 용도로 사용되거나, 가상현실에서 제공되는 콘텐츠를 생성하는데 사용될 수 있다. Figure 3(b) shows the detailed configuration of the HMD 1100. As shown in (b) of FIG. 3, the HMD 1100 is connected to the EEG meter 1300, and the EEG meter 1300 can specify the user's EEG, which is one of the biometric information. . The user's brain waves measured in this way are input to the VR service unit and used to analyze the user's state or understand the user's psychology to enable the user to smoothly perform content, or in virtual reality. It can be used to create provided content.
상기 HMD(1100)는, 상기 사용자에게 가상현실에 대한 시각적인 요소를 제공하는 시각제공부(1110); 상기 사용자에게 상기 가상현실에 대한 청각적인 요소를 제공하는 청각제공부(1120); 및 상기 사용자의 목소리를 감지하는 마이크부(미도시);를 포함한다. The HMD (1100) includes a visual providing unit (1110) that provides visual elements of virtual reality to the user; An auditory provision unit 1120 that provides auditory elements of the virtual reality to the user; and a microphone unit (not shown) that detects the user's voice.
본 발명의 일 실시예에 따른 VR장치(1000)는 상기 시각제공부(1110) 및 상기 청각제공부(1120)를 통해 상기 사용자에게 상기 가상현실에 대한 정보를 제공함으로써 상기 사용자가 상기 가상현실의 가상공간에 존재하는 것과 같은 체험을 할 수 있도록 하고, 상기 음성입력부 및 상기 동작센싱장치(1500)를 통해 상기 사용자의 목소리 및 행동을 입력 받아 상기 가상현실에 구현된 상기 사용자의 아바타가 움직이거나 말을 할 수 있도록 할 수 있다.The VR device 1000 according to an embodiment of the present invention provides information about the virtual reality to the user through the visual provider 1110 and the auditory provider 1120, so that the user can enjoy the virtual reality. It allows an experience as if existing in a virtual space, and receives the user's voice and behavior through the voice input unit and the motion sensing device 1500, so that the user's avatar implemented in the virtual reality moves or speaks. You can do it.
상기 시각제공부(1110)는 도 3의 (b)에 도시된 바와 같이, 상기 사용자의 양 쪽 안구에 입체감을 부여할 수 있도록 각각 시각 정보를 제공하고, 추가적으로, 상기 사용자의 안구운동을 감지하는 아이트래커(1600)를 포함한다. 본 발명의 일 실시예에서는 상기 사용자의 안구운동을 감지하여 상기 사용자에 대한 진단에 활용할 수 있다. 또한, 상기 아이트래커(1600)는 상기 시각제공부(1110)가 상기 사용자에게 시각정보를 제공하는데 방해되지 않도록 상기 시각제공부(1110)의 가장자리 측에 위치하는 것이 바람직하다.As shown in (b) of FIG. 3, the vision providing unit 1110 provides visual information to provide a three-dimensional effect to both eyeballs of the user, and additionally detects eye movements of the user. Includes an eye tracker (1600). In one embodiment of the present invention, the user's eye movements can be detected and used for diagnosis of the user. In addition, the eye tracker 1600 is preferably located at the edge of the vision providing unit 1110 so as not to interfere with the visual information providing unit 1110 providing visual information to the user.
도 3의 (c)에 도시된 바와 같이, 상기 VR장치(1000)는, 전술한 바와 같이 상기 HMD(1100), 상기 카메라장치(1200), 상기 뇌파측정기(1300), 상기 맥박측정기(1400), 상기 동작센싱장치(1500), 및 상기 아이트래커(1600)를 포함한다. As shown in (c) of FIG. 3, the VR device 1000 includes the HMD 1100, the camera device 1200, the EEG meter 1300, and the pulse meter 1400, as described above. , the motion sensing device 1500, and the eye tracker 1600.
도 4는 본 발명의 일 실시예에 따른 기본외형결정부(2410)의 동작을 개략적으로 도시한다.Figure 4 schematically shows the operation of the basic shape determination unit 2410 according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 상기 기본외형결정부(2410)는, 복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터의 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정한다.As shown in FIG. 4, the basic appearance determination unit 2410 derives each appearance feature information from a plurality of the image information and averages the derived plurality of appearance feature information to create a character in the form of a one-dimensional vector. Decision parameters are derived, and based on the character decision parameters, the basic appearance of the avatar is determined.
구체적으로, 상기 VR장치(1000)와 통신하는 상기 VR서비스부는, 상기 아바타생성부(2400)를 포함하고, 상기 아바타생성부(2400)는, 도 2에서 전술한 바와 같이, 상기 기본외형결정부(2410), 상기 노화정보결정부(2420), 상기 이동속도결정부(2430), 및 상기 질환정보결정부(2440)를 포함한다. 도 4에 도시된 바와 같이, 상기 기본외형결정부(2410)는, 상기 VR장치(1000)의 카메라장치(1200)를 통해 입력된 상기 사용자의 이미지정보를 수신하고, 상기 사용자의 이미지정보에 기초하여 얼굴이미지 및 체형이미지를 추출하고, 추출된 상기 얼굴이미지 및 상기 체형이미지로부터 각각의 복수의 외형특징정보를 도출한다. Specifically, the VR service unit that communicates with the VR device 1000 includes the avatar creation unit 2400, and the avatar creation unit 2400 is, as described above in FIG. 2, the basic appearance determination unit. (2410), the aging information determination unit 2420, the movement speed determination unit 2430, and the disease information determination unit 2440. As shown in FIG. 4, the basic appearance determination unit 2410 receives the user's image information input through the camera device 1200 of the VR device 1000 and determines the user's image based on the user's image information. A face image and a body image are extracted, and a plurality of external feature information is derived from the extracted face image and body image.
상기 이미지정보는 상기 사용자의 감정을 인식할 수 있는 안면의 표정변화를 포함하는 사용자에 대한 동적영상 혹은 일정한 주기로 연속되어 기록한 사용자에 대한 복수의 정적영상일 수 있다. 특히, 상기 이미지정보는 2 이상의 이미지 프레임을 갖는 것을 포함하는 최광의로 해석되어야 할 것이다. 이에 따라, 상기 기본외형결정부(2410)는, 수신한 상기 이미지정보를 복수의 프레임으로 분류하고, 각각의 프레임에서 얼굴이미지 및 체형이미지를 추출한다. 이후, 추출된 얼굴이미지에 기초하여 외형특징정보를 도출할 수 있다. 상기 외형특징정보는 눈의 기울기, 눈썹의 기울기, 입 모양 및 입의 기울기 등과 같이 얼굴의 표정을 인식할 수 있는 고유특성에 대한 특징정보를 포함하고, 추가적으로, 상기 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 더 포함한다. The image information may be a dynamic image of the user including changes in facial expression that can recognize the user's emotions, or a plurality of static images of the user recorded continuously at a certain cycle. In particular, the image information should be interpreted in the broadest sense, including having two or more image frames. Accordingly, the basic appearance determination unit 2410 classifies the received image information into a plurality of frames and extracts a face image and a body shape image from each frame. Afterwards, external feature information can be derived based on the extracted facial image. The external feature information includes characteristic information about unique characteristics that can recognize facial expressions, such as eye slope, eyebrow slope, mouth shape, and mouth slope, and additionally, skin condition information and hair condition of the user. information, and the degree of bending of the skeleton.
한편, 도 4는, 본 발명의 일 실시예로서, 상기 복수의 프레임으로부터 상기 얼굴이미지를 추출하는 과정만을 도시하고, 상기 기본외형결정부(2410)는, 도 4에 도시된 것과 같은 방식으로 상기 복수의 프레임으로부터 상기 체형이미지를 추출할 수 있다. 이 때, 바람직하게는, 상기 VR서비스부는 상기 사용자에게 다양한 자세를 요구함으로써, 상기 사용자의 골격의 상태를 엄밀하게 판단할 수 있다. Meanwhile, Figure 4 shows only the process of extracting the face image from the plurality of frames as an embodiment of the present invention, and the basic appearance determination unit 2410 performs the process in the same manner as shown in Figure 4. The body shape image can be extracted from a plurality of frames. At this time, preferably, the VR service unit can strictly determine the state of the user's skeleton by requesting various postures from the user.
도 5는 본 발명의 일 실시예에 따른 아바타생성부(2400)의 동작을 개략적으로 도시한다.Figure 5 schematically shows the operation of the avatar creation unit 2400 according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 상기 아바타생성부(2400)는, 복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정하는 기본외형결정부(2410); 상기 생체정보를 1 이상의 인공신경망 모델에 입력하여 상기 아바타의 노화정보를 결정하고, 상기 기본외형에 상기 노화정보에 상응하는 제1그래픽효과를 추가하는 노화정보결정부(2420); 해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 상기 아바타의 이동속도를 결정하는 이동속도결정부(2430); 및 해당 사용자가 입력한 1 이상의 병력을 포함하는 의료정보에 기초하여 아바타의 질환정보를 결정하고, 상기 제1그래픽효과가 추가된 상기 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가하는 질환정보결정부(2440);를 포함하고,As shown in FIG. 5, the avatar creation unit 2400 derives each external feature information from a plurality of the image information and averages the derived plurality of external feature information to create a character determination parameter in the form of a one-dimensional vector. a basic appearance determination unit 2410 that derives and determines the basic appearance of the avatar based on the character determination parameters; an aging information determination unit 2420 that determines aging information of the avatar by inputting the biometric information into one or more artificial neural network models, and adds a first graphic effect corresponding to the aging information to the basic appearance; A movement speed determination unit 2430 that determines the movement speed of the avatar by increasing the movement speed as the movement distance or number of steps increases, based on the movement distance or number of steps for a preset time derived from the user's smartphone; And determining the disease information of the avatar based on medical information including one or more medical histories entered by the user, and adding a second graphic effect corresponding to the disease information to the basic appearance to which the first graphic effect has been added. Includes a disease information determination unit (2440),
상기 외형특징정보는 상기 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 포함한다.The external feature information includes the user's skin condition information, hair condition information, and the degree of curvature of the skeleton.
구체적으로, 상기 기본외형결정부(2410)에서는, 도 4에서 상술한 바와 같이, 상기 사용자의 복수의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터 형태의 캐릭터결정파라미터를 도출할 수 있다. 상기 캐릭터결정파라미터는, 상기 아바타의 기본외형에 대하여 1 이상의 아바타의 외형정보를 설정하는 파라미터로, 예를 들어, 아바타의 키, 골격 혹은 골격의 휘어진 정도, 피부색, 피부상태, 모발의 색깔, 및 모발의 상태 등을 포함하는 파라미터이며, 추가적으로, 전술한 바와 같이, 눈의 기울기, 눈썹의 기울기, 입 모양 및 입의 기울기 등과 같이 얼굴의 표정을 인식할 수 있는 고유특성에 대한 특징정보를 더 포함할 수 있다. 상기 기본외형결정부(2410)는 전술한 바와 같은 캐릭터결정파라미터를 통해 실제 사용자의 얼굴 및 체형과 유사한 아바타의 기본외형을 가상현실 내에 구현할 수 있다. Specifically, as described above in FIG. 4, the basic appearance determination unit 2410 derives a plurality of external feature information of the user and averages the derived plurality of external feature information to determine a character in the form of a one-dimensional vector. Parameters can be derived. The character determination parameter is a parameter that sets the appearance information of one or more avatars with respect to the basic appearance of the avatar, for example, the height of the avatar, the skeleton or the degree of curvature of the skeleton, skin color, skin condition, hair color, and It is a parameter that includes the condition of the hair, etc. In addition, as described above, it further includes characteristic information about unique characteristics that can recognize facial expressions, such as the slope of the eyes, the slope of the eyebrows, the shape of the mouth, and the slope of the mouth. can do. The basic appearance determination unit 2410 can implement the basic appearance of an avatar similar to the face and body shape of an actual user in virtual reality through the character determination parameters as described above.
상기 기본외형결정부(2410)에서 상기 아바타의 기본외형이 결정되면, 상기 아바타생성부(2400)의 상기 노화정보결정부(2420)에서는 상기 사용자의 노화정보를 결정하여 상기 아바타의 외형그래픽에 반영한다. 상기 노화정보결정부(2420)는 1 이상의 인공신경망을 포함하며, 각각의 인공신경망 모델에 상기 생체정보를 입력함으로써, 상기 사용자의 노화정보를 결정할 수 있다. 상기 노화정보가 결정되면, 상기 노화정보결정부(2420)는, 상기 노화정보에 상응하는 제1그래픽효과를 도출하고, 상기 아바타의 기본외형에 상기 제1그래픽효과를 추가한다. 상기 노화정보결정부(2420)에 대한 보다 상세한 설명은 후술하도록 한다.When the basic appearance of the avatar is determined in the basic appearance determination unit 2410, the aging information determination unit 2420 of the avatar creation unit 2400 determines the user's aging information and reflects it in the appearance graphics of the avatar. do. The aging information determination unit 2420 includes one or more artificial neural networks, and can determine the user's aging information by inputting the biometric information into each artificial neural network model. When the aging information is determined, the aging information determination unit 2420 derives a first graphic effect corresponding to the aging information and adds the first graphic effect to the basic appearance of the avatar. A more detailed description of the aging information determination unit 2420 will be provided later.
상기 질환정보결정부(2440)는, 상기 제1그래픽효과가 추가된 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가한다. 상기 질환정보는, 상기 사용자의 스마트폰으로부터 수신한 상기 의료정보에 기초하여 생성된다. 상기 질환정보결정부(2440)는 상기 의료정보수신부(2330)를 통해 상기 의료정보를 수신하고, 상기 의료정보에 기초하여 상기 질환정보를 생성한다. 이후, 상기 질환정보에 상응하는 제2그래픽효과를 산출한다. 예를 들어, 왼쪽어깨에 유착성 관절낭염이 있는 사용자의 아바타에는 왼쪽 어깨가 붉게 처리되는 그래픽효과가 추가될 수 있으며, 혹은 오른쪽 무릎에 류마티스 관절염을 앓고 있는 사용자의 아바타에는 오른쪽 무릎이 붉게 처리되는 그래픽효과가 추가될 수 있다. 한편, 상기 질환정보를 통해 상기 아바타의 외형뿐만 아니라 상기 아바타의 능력치에 영향을 줄 수 있는데 이에 대해서는 후술하도록 한다. 이와 같이, 상기 아바타생성부(2400)에서는, 상기 사용자의 생체정보 및 질환정보에 기초하여, 상기 사용자의 아바타를 가상현실 내에 구현한다.The disease information determination unit 2440 adds a second graphic effect corresponding to the disease information to the basic appearance to which the first graphic effect has been added. The disease information is generated based on the medical information received from the user's smartphone. The disease information determination unit 2440 receives the medical information through the medical information reception unit 2330 and generates the disease information based on the medical information. Afterwards, a second graphic effect corresponding to the disease information is calculated. For example, a graphic effect that makes the left shoulder red may be added to the avatar of a user with adhesive capsulitis in the left shoulder, or a graphic effect that makes the right knee red to the avatar of a user with rheumatoid arthritis in the right knee. Graphic effects may be added. Meanwhile, the disease information can affect not only the appearance of the avatar but also the abilities of the avatar, which will be described later. In this way, the avatar creation unit 2400 implements the user's avatar in virtual reality based on the user's biometric information and disease information.
도 6은 본 발명의 일 실시예에 따른 노화정보결정부(2420)의 세부구성을 개략적으로 도시한다.Figure 6 schematically shows the detailed configuration of the aging information determination unit 2420 according to an embodiment of the present invention.
도 6에 도시된 바와 같이, 상기 노화정보결정부(2420)는, 상기 카메라장치(1200)를 통해 입력 받은 이미지정보를 입력 받아 제1노화정보를 출력하는 제1인공신경망(2421); 상기 뇌파측정기(1300)로 측정한 상기 사용자의 뇌파정보를 입력 받아 제2노화정보를 출력하는 제2인공신경망(2422); 상기 맥박측정기(1400)로 측정한 상기 사용자의 맥박정보를 입력 받아 제3노화정보를 출력하는 제3인공신경망(2423); 및 상기 제1노화정보, 상기 제2노화정보, 및 상기 제3노화정보를 합산하여, 최종적인 노화정보를 도출하는 종합판단모듈(2424);을 포함한다. As shown in FIG. 6, the aging information determination unit 2420 includes a first artificial neural network 2421 that receives image information input through the camera device 1200 and outputs first aging information; a second artificial neural network (2422) that receives the user's brain wave information measured by the brain wave measuring device (1300) and outputs second aging information; A third artificial neural network (2423) that receives the user's pulse information measured by the pulse meter (1400) and outputs third aging information; and a comprehensive judgment module 2424 that adds the first aging information, the second aging information, and the third aging information to derive final aging information.
구체적으로, 본 발명의 일 실시예에 따른 상기 노화정보결정부(2420)는 상기 사용자의 이미지정보, 뇌파정보, 및 맥박정보 중 1 이상에 기초하여 상기 사용자의 노화정보를 결정할 수 있다. 이 때, 상기 노화정보결정부(2420)는 상기 사용자의 이미지정보, 뇌파정보, 및 맥박정보를 1 이상의 인공신경망을 통해 분석함으로써, 상기 사용자의 노화정보를 결정할 수 있다. Specifically, the aging information determination unit 2420 according to an embodiment of the present invention may determine the user's aging information based on one or more of the user's image information, brain wave information, and pulse information. At this time, the aging information determination unit 2420 may determine the user's aging information by analyzing the user's image information, brain wave information, and pulse information through one or more artificial neural networks.
도 6에 도시된 것과 같이, 상기 제1인공신경망(2421) 내지 제3인공신경망(2423)은 각각 상기 사용자의 이미지정보, 뇌파정보 및 맥박정보를 입력 받아 분석을 수행하고, 분석 결과를 상기 종합진단모듈로 전송하고, 상기 종합진단모듈은 상기 분석 결과를 수신하여 상기 사용자의 노화정보를 결정하여 출력한다. 이과 같이 출력된 상기 노화정보에 기초하여, 도 5에 대한 설명을 참고하여, 상기 노화정보결정부(2420)는 상기 노화정보에 상응하는 제1그래픽효과를 도출하고, 상기 아바타의 기본외형에 상기 제1그래픽효과를 추가한다.As shown in FIG. 6, the first artificial neural network 2421 to the third artificial neural network 2423 each receive image information, brain wave information, and pulse information of the user, perform analysis, and synthesize the analysis results. It is transmitted to a diagnosis module, and the comprehensive diagnosis module receives the analysis result, determines the user's aging information, and outputs it. Based on the aging information output in this way, and with reference to the description of FIG. 5, the aging information determination unit 2420 derives a first graphic effect corresponding to the aging information, and adds the first graphic effect to the basic appearance of the avatar. Add the first graphic effect.
상기 제1인공신경망(2421)에서는 상기 기본외형결정부(2410)로부터 도출된 복수의 외형특징정보 중 상기 사용자의 피부상태정보, 모발상태정보, 및 골격의 휘어진 정도를 분석하여 제1노화정보를 도출한다. 또한, 추가적으로, 상기 VR서비스부에서 상기 사용자에게 요구한 다양한 자세에 대한 수행결과에 기초하여 상기 사용자의 외형측면의 노화정보를 분석할 수 있고, 이를 통해 상기 제1노화정보를 도출한다. The first artificial neural network 2421 analyzes the user's skin condition information, hair condition information, and the degree of curvature of the skeleton among the plurality of external characteristic information derived from the basic appearance determination unit 2410 to generate first aging information. Derive. Additionally, the VR service department may analyze aging information on the user's appearance based on the performance results of various postures requested from the user, and through this, the first aging information may be derived.
상기 제2인공신경망(2422)에서는 상기 VR장치(1000)의 뇌파측정기(1300)로부터 도출된 뇌파정보를 분석하여 제2노화정보를 도출한다. 본 발명의 일 실시예로서, 상기 뇌파의 안정성, 및 상기 사용자의 집중도를 상기 뇌파정보를 분석함으로써 상기 제2노화정보를 도출한다.The second artificial neural network 2422 analyzes brain wave information derived from the brain wave measuring device 1300 of the VR device 1000 to derive second aging information. In one embodiment of the present invention, the second aging information is derived by analyzing the brain wave information for stability of the brain waves and concentration of the user.
상기 제3인공신경망(2423)에서는 상기 VR장치(1000)의 맥박측정기(1400)로부터 도출된 맥박정보를 분석하여 제3노화정보를 도출한다. 상기 맥박정보는, 상기 사용자의 분당 맥박수, 맥박의 규칙성, 맥압을 포함한다. 상기 제3인공신경망(2423)은 상기 맥박정보에 기초하여, 상기 사용자의 예상 나이 및 심혈관나이를 산출할 수 있다.The third artificial neural network 2423 analyzes pulse information derived from the pulse meter 1400 of the VR device 1000 to derive third aging information. The pulse information includes the user's pulse rate per minute, pulse regularity, and pulse pressure. The third artificial neural network 2423 can calculate the user's expected age and cardiovascular age based on the pulse information.
상기 종합판단모듈(2424)은 상기 제1노화정보, 상기 제2노화정보, 및 상기 제3노화정보를 합산하여, 최종적인 노화정보를 산출할 수 있다. 한편, 상기 노화정보는, 본 발명의 일 실시예로서, 상기 사용자의 노화정도가 가장 낮을 때의 노화정보를 1로하고, 사용자의 노화정도가 가장 높은 때의 노화정보를 10으로 하는 것과 같이 점수 혹은 레벨로 도출될 수 있다. 바람직하게는, 상기 종합진단모듈은, 상기 이미지정보, 뇌파정보, 및 맥박정보에 대해 어느 정도의 가중치로 노화정보를 도출할 것인지를 자동으로 조절할 수 있도록 구성할 수 있고, 이와 같은 가중치에 대해서도 학습할 수 있도록 모델을 구성할 수 있다.The comprehensive judgment module 2424 may calculate final aging information by adding up the first aging information, the second aging information, and the third aging information. Meanwhile, the aging information, as an embodiment of the present invention, is given a score such that the aging information when the user's aging degree is the lowest is set to 1, and the aging information when the user's aging degree is the highest is set to 10. Or it can be derived as a level. Preferably, the comprehensive diagnosis module can be configured to automatically adjust how much weight to derive aging information for the image information, brain wave information, and pulse information, and learns about such weights. You can configure a model to do this.
이로서, 상기 노화정보결정부(2420)는 상기 최종적인 노화정보를 산출하고, 상기 컴퓨팅시스템(10000)에 기저장된 복수의 제1그래픽효과 중에서 상기 노화정보에 상응하는 제1그래픽효과를 상기 아바타의 기본외형에 추가할 수 있다.As a result, the aging information determination unit 2420 calculates the final aging information and selects the first graphic effect corresponding to the aging information from among the plurality of first graphic effects pre-stored in the computing system 10000 to the avatar. It can be added to the basic appearance.
도 7은 본 발명의 일 실시예에 따른 사용자의 아바타 및 아바타의 능력치를 개략적으로 도시한다.Figure 7 schematically shows a user's avatar and the avatar's abilities according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 상기 아바타생성부(2400)는, 해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 아바타의 이동속도를 결정하는 이동속도결정부(2430);를 포함한다. 한편, 도 7에 도시된 상기 아바타의 능력치는 본 발명의 일 실시예로서, 실제 본 발명의 아바타의 능력치는 도 7에 도시된 것으로 한정되지 않는다.As shown in FIG. 7, the avatar creation unit 2400 increases the moving speed as the moving distance or number of steps increases based on the moving distance or number of steps during a preset time derived from the user's smartphone. It includes a movement speed determination unit 2430 that determines the movement speed of the avatar. Meanwhile, the abilities of the avatar shown in FIG. 7 are one embodiment of the present invention, and the actual abilities of the avatar of the present invention are not limited to those shown in FIG. 7.
구체적으로, 상기 아바타생성부(2400)는, 상기 사용자의 스마트폰으로부터 수신한 상기 사용자의 활동정보 및 의료정보에 기초하여 상기 아바타의 능력치가 설정될 수 있다. 도 7에 도시된 바와 같이, 상기 아바타의 능력치는, 아바타의 이동속도, 근육량 및 인지능력을 포함한다. Specifically, the avatar creation unit 2400 may set the capabilities of the avatar based on the user's activity information and medical information received from the user's smartphone. As shown in FIG. 7, the avatar's abilities include the avatar's movement speed, muscle mass, and cognitive ability.
상기 아바타의 이동속도는 상기 사용자의 활동정보 및 의료정보에 기초하여 산출될 수 있다. 예를 들어, 상기 사용자가 기설정된 시간 동안 하루 평균 3km를 2시간 동안 걸은 데이터가 상기 사용자의 스마트폰에 기록되었고, 상기 데이터는 상기 컴퓨팅시스템(10000)으로 송신될 수 있다. 상기 이동속도결정부(2430)는, 상기 데이터에 기초하여 상기 아바타의 이동속도를 산출할 수 있다. 만약, 상술한 예에서 기설정된 시간 동안의 운동기록이 상기 스마트폰에 규칙적으로 입력되지 않거나, 짧은 거리를 긴 시간동안 걸은 데이터가 상기 스마트폰에 입력되는 경우, 상기 이동속도결정부(2430)는 상기 데이터를 통해, 상기 아바타의 이동속도를 낮게 설정할 수 있고, 이와 반대의 예로서, 규칙적인 운동기록이 상기 스마트폰에 입력되거나, 많은 운동량이 상기 스마트폰에 기록된 경우, 상기 이동속도결정부(2430)는 해당 아바타의 이동속도를 높게 설정할 수 있다.The avatar's movement speed can be calculated based on the user's activity information and medical information. For example, data showing that the user walked an average of 3 km per day for 2 hours during a preset time is recorded on the user's smartphone, and the data can be transmitted to the computing system 10000. The movement speed determination unit 2430 may calculate the movement speed of the avatar based on the data. If, in the above-described example, exercise records for a preset time are not regularly input to the smartphone, or data of walking a short distance for a long time are input to the smartphone, the movement speed determination unit 2430 Through the data, the movement speed of the avatar can be set low. As a contrary example, when a regular exercise record is input to the smartphone or a large amount of exercise is recorded on the smartphone, the movement speed determination unit (2430) can set the movement speed of the avatar to be high.
또한, 상기 사용자의 의료정보에 기초하여 생성된 질환정보를 참고하여, 상기 아바타의 이동속도를 결정할 수 있다. 예를 들어, 상기 사용자가 하체부위에 질환을 갖고 있는 경우, 상기 아바타의 이동속도는 낮게 설정되며, 질환의 경중에 따라 낮게 설정되는 이동속도의 정도가 결정된다.Additionally, the movement speed of the avatar can be determined by referring to disease information generated based on the user's medical information. For example, if the user has a disease in the lower body, the movement speed of the avatar is set low, and the degree of the movement speed set low is determined according to the severity of the disease.
상기 아바타생성부(2400)에 의하여, 상기 아바타의 근육량은 해당 사용자의 의료정보를 토대로 결정될 수 있다. 본 발명의 일 실시예로서, 상기 사용자의 의료정보에 포함된 상기 사용자의 실제 체성분 데이터에 기초하여 상기 아바타의 근육량이 결정될 수 있으며, 본 발명의 다른 실시예로서, 도 3의 (a)에 대한 설명을 참고하여, 상기 맥박측정기(1400)에 포함된 근전도센서를 통해 상기 아바타의 근육량을 설정할 수 있다. By the avatar creation unit 2400, the muscle mass of the avatar can be determined based on the medical information of the user. As an embodiment of the present invention, the muscle mass of the avatar may be determined based on the user's actual body composition data included in the user's medical information, and as another embodiment of the present invention, the muscle mass of the avatar may be determined based on the user's actual body composition data included in the user's medical information. Referring to the description, the muscle mass of the avatar can be set through the electromyography sensor included in the pulse meter 1400.
상기 아바타생성부(2400)에 의하여, 상기 아바타의 인지능력은, 상기 사용자에게 장착된 뇌파측정기(1300)에 의해 센싱된 상기 사용자의 뇌파정보에 기초하여 산출될 수 있으며, 더 자세하게는, 사용자가 후술하는 복수의 콘텐츠를 수행할 때 측정되는 뇌파정보에 기초하여 산출될 수 있고, 추가적으로, 상기 사용자가 상기 아바타를 통해 상기 복수의 콘텐츠를 수행하는 경우, 상기 뇌파정보; 및 상기 복수의 콘텐츠의 수행과정 및 결과;를 참고하여 산출될 수 있다.By the avatar generator 2400, the cognitive ability of the avatar can be calculated based on the user's brain wave information sensed by the brain wave measuring device 1300 mounted on the user. More specifically, the user's It may be calculated based on brain wave information measured when performing a plurality of contents, which will be described later, and additionally, when the user performs the plurality of contents through the avatar, the brain wave information; and the execution process and results of the plurality of contents.
도 8은 본 발명의 일 실시예에 따른 VR콘텐츠제공부(2500)의 구성을 개략적으로 도시한다.Figure 8 schematically shows the configuration of the VR
도 8에 도시된 바와 같이, 상기 VR콘텐츠제공부(2500)는, 해당 사용자의 상기 노화정보에 기초하여 난이도가 결정되고, 상기 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는, 제1콘텐츠제공부(2510); 해당 사용자의 상기 활동정보에 기초하여 난이도가 결정되고, 상기 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는 제2콘텐츠제공부(2520); 해당 사용자의 상기 질환정보에 기초하여 콘텐츠의 종류가 결정되고 상기 사용자의 재활훈련이 필요한 신체부위 또는 상기 사용자의 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠를 제공하는 제3콘텐츠제공부(2530); 상기 제1콘텐츠제공부(2510), 상기 제2콘텐츠제공부(2520), 및 상기 제3콘텐츠제공부(2530)에서 제공한 콘텐츠에 대해 콘텐츠 수행에 따른 수행결과, 콘텐츠에 대한 수행기간 동안 상기 뇌파측정기(1300)에 의하여 측정된 뇌파정보, 및 상기 맥박측정기(1400)에 의하여 측정된 맥박정보에 기초하여, 1 이상의 스코어를 산출하고, 상기 1 이상의 스코어에 따라 상기 노화정보를 조절하는 노화정보조절부(2540); 상기 노화정보조절부(2540)에 의하여, 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 해당 사용자의 아바타의 외형을 업데이트하는 아바타외형업데이트부(2550);를 포함하고,As shown in FIG. 8, the
상기 제1콘텐츠제공부(2510)에서 상기 사용자에게 제공되는 제1콘텐츠는, 틀린그림찾기, 산수 및 퍼즐 맞추기를 포함하는 상기 사용자의 인지능력 및 집중도를 강화하기 위한 콘텐츠고, 상기 제2콘텐츠제공부(2520)에서 상기 사용자에게 제공되는 제2콘텐츠는, 걷기, 스트레칭 및 스쿼트를 포함하는 상기 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠고, 상기 제3콘텐츠제공부(2530)에서 상기 사용자에게 제공되는 제3콘텐츠는, 상기 사용자가 부상을 입은 신체부위에 대한 집중적인 훈련을 수행하거나 상기 사용자의 기억력, 판단력, 언어능력 및 시공간을 파악하는 능력을 포함하는 인지능력 강화에 대한 집중적인 훈련을 수행하여 상기 사용자가 취약한 분야를 훈련하기 위한 콘텐츠인에 해당한다.The first content provided to the user from the
구체적으로, 상기 제1콘텐츠제공부(2510)에서 상기 사용자에게 제공되는 제1콘텐츠는, 상기 사용자가 가상현실에 잘 적응할 수 있도록 제공되는 콘텐츠로서, 상기 사용자가 본 발명을 통해 가상현실 내에서 복수의 콘텐츠를 수행하기 위한 연습용 콘텐츠로서 제공될 수 있다. 즉, 상기 사용자는 상기 제1콘텐츠를 통해, 상기 가상현실 내에서 상기 사용자의 아바타를 조작하는 방법을 익힐 수 있다. Specifically, the first content provided to the user from the first
또한, 상기 VR콘텐츠제공부(2500)는, 상기 사용자에게 이와 같은 제1콘텐츠를 제공함으로써, 상기 사용자의 기본적인 인지능력 및 상기 사용자의 집중도를 평가할 수 있으며, 더 나아가 상기 사용자는 상기 제1콘텐츠를 수행함으로써, 상기 사용자의 인지능력 및 집중도를 강화시킬 수 있다. 한편, 본 발명의 일 실시예로서, 상기 뇌파측정기(1300)를 통해 측정되는 상기 사용자의 뇌파정보를 상기 가상현실 내의 별도의 인터페이스로 디스플레이함으로써 사용자의 몰입감을 향상시킬 수 있다. In addition, the
상기 제2콘텐츠제공부(2520)에서 상기 사용자에게 제공되는 제2콘텐츠는, 상기 사용자의 부족한 신체능력을 강화하기 위해 제공되는 콘텐츠로서, 상기 제1콘텐츠를 통해 상기 VR장치(1000)의 조작법을 익힌 사용자가 소정의 신체활동을 통해 수행할 수 있는 콘텐츠에 해당한다. 상기 사용자는 상기 가상현실 내에서 상기 제2콘텐츠를 수행하기 위하여, 실제로 사용자의 신체를 사용해야 하므로, 사용자의 질병치료 혹은 재활훈련 등을 위한 신체활동을 하는 효과를 발휘할 수 있다. The second content provided to the user from the
상기 VR콘텐츠제공부(2500)는, 상기 사용자에게 이와 같은 제2콘텐츠를 제공함으로써, 사용자의 기본적인 신체능력을 평가할 수 있다. 이 때 평가되는 상기 사용자의 신체능력은, 본 발명의 일 실시예로서, 다음에 제공되는 제2콘텐츠의 난이도 및 종류를 결정하는데 참고되는 것이 바람직하다.The
상기 제3콘텐츠제공부(2530)에서 상기 사용자에게 제공되는 제3콘텐츠는, 상기 사용자에게 재활훈련이 필요한 신체부위 혹은 인지능력을 강화하기 위해 제공되는 콘텐츠로서, 허리, 다리 및 팔을 포함하는 사용자의 신체부위에 부상을 입거나 특정질환을 가지고 있는 사용자에게 해당 신체부위를 강화시킬 수 있는 훈련을 수행할 수 있는 콘텐츠; 혹은 기억력, 판단력, 언어능력 및 시공간을 파악하는 능력이 부족한 사용자에게 해당 능력을 강화시킬 수 있는 훈련을 수행할 수 있는 콘텐츠;에 해당한다. The third content provided to the user from the
한편, 상술한 제1 내지 제3콘텐츠는 각각 1 이상의 콘텐츠를 포함하며, 본 발명의 일 실시예로서, 매일매일 상기 사용자에게 다른 콘텐츠를 제공하는 것이 바람직하다. Meanwhile, the above-described first to third contents each include one or more contents, and as an embodiment of the present invention, it is desirable to provide different contents to the user every day.
상기 노화정보조절부(2540)는, 상기 사용자가 상기 제1콘텐츠, 상기 제2콘텐츠, 및 상기 제3콘텐츠를 수행함으로써, 얻을 수 있는 데이터에 기초하여 상기 아바타의 노화정보를 조절하며, 상기 아바타외형업데이트부(2550)는, 상기 노화정보조절부(2540)에 의하여 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 아바타의 외형을 업데이트한다. 상기 노화정보조절부(2540) 및 상기 아바타외형업데이트부(2550)의 동작에 관한 보다 상세한 설명은 후술하도록 한다.The aging
도 9는 본 발명의 일 실시예에 따른 VR콘텐츠부에서의 수행단계를 개략적으로 도시하고, 도 10은 본 발명의 일 실시예에 따른 노화정보감소단계를 개략적으로 도시한다.Figure 9 schematically shows the steps performed in the VR content unit according to an embodiment of the present invention, and Figure 10 schematically shows the aging information reduction step according to an embodiment of the present invention.
도 9 내지 도 10에 도시된 바와 같이, 상기 노화정보조절부(2540)는, 상기 사용자가 상기 제1콘텐츠를 수행하는 동안 측정되는 상기 사용자의 뇌파정보에 기초하여 집중도스코어를 산출하는 집중도스코어산출단계; 상기 사용자가 상기 제2콘텐츠를 수행하는 동안 측정되는 상기 사용자의 맥박정보 및 근전도정보에 기초하여 활동량스코어를 산출하는 활동량스코어산출단계; 상기 제1콘텐츠의 수행결과, 상기 제2콘텐츠의 수행결과, 및 상기 제3콘텐츠의 수행결과에 기초하여 각각 제1스코어, 제2스코어, 제3스코어를 산출하는 수행결과스코어산출단계; 및 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어의 합산값에 기초하여, 노화정보를 감소시키는 노화정보감소단계;를 수행하고,As shown in Figures 9 and 10, the aging
상기 집중도스코어산출단계는, 상기 뇌파측정기(1300)로부터 수신한 사용자의 뇌파가 베타파, 세타파, 미드알파파, 및 SMR파 중 어느 파형에 포함하는지 판별하여 스코어를 산출하되, 상기 사용자의 뇌파의 주파수가 12 내지 13 Hz인 SMR파에 해당하거나 10 내지 12Hz인 미드알파파에 해당할 때 가중치를 부여하여 상기 집중도스코어를 산출하고, 상기 활동량스코어산출단계는, 상기 맥박측정기(1400)로부터 수신한 사용자의 맥박의 편차값 또는 근전도센서로부터 수신한 근전도 변화량에 기초하여 상기 사용자의 활동량을 판별하여 상기 활동량스코어를 산출하되, 상기 맥박의 편차값이 기설정된 기준 이상이거나, 상기 근전도 변화량이 216 내지 450 Hz일 때 가중치를 부여하여 상기 활동량스코어를 산출한다.In the concentration score calculation step, the score is calculated by determining which of the beta waves, theta waves, mid-alpha waves, and SMR waves the user's brain waves received from the brain wave measuring device 1300 contain, The concentration score is calculated by assigning weights when the frequency corresponds to an SMR wave of 12 to 13 Hz or a mid-alpha wave of 10 to 12 Hz, and the activity score calculation step is performed using the The activity score is calculated by determining the user's activity level based on the deviation value of the user's pulse or the EMG change amount received from the EMG sensor, where the pulse deviation value is greater than a preset standard or the EMG change amount is 216 to 450 When Hz, weighting is applied to calculate the activity score.
구체적으로, 도 9에 도시된 바와 같이, 도 8에 대한 설명을 참고하여, 상기 제1콘텐츠제공부(2510)는 상기 사용자에게 인지능력 및 집중도 강화훈련콘텐츠를 제공하고, 상기 제2콘텐츠제공부(2520)는 상기 사용자에게 신체활동 강화훈련콘텐츠를 제공하고, 상기 제3콘텐츠제공부(2530)는 상기 사용자에게 재활훈련이 필요한 신체부위 혹은 인지능력에 대한 훈련콘텐츠를 제공한다. Specifically, as shown in FIG. 9 and with reference to the description of FIG. 8, the
상기 노화정보조절부(2540)는, 상기 사용자가 상기 제1콘텐츠를 수행한 수행결과에 기초하여 제1스코어를 산출하고, 상기 사용자가 상기 제2콘텐츠를 수행한 수행결과에 기초하여 제2스코어를 산출하고, 상기 사용자가 상기 제3콘텐츠를 수행한 수행결과에 기초하여 제3스코어를 산출하는 수행결과스코어산출단계를 수행한다. The aging
상기 노화정보조절부(2540)는 상기 사용자가 제1콘텐츠를 수행하는 동안에 상기 뇌파측정기(1300)를 통해 측정된 상기 사용자의 뇌파정보에 기초하여 집중도스코어를 산출하는 집중도스코어산출단계를 수행하고, 상기 제2콘텐츠를 수행하는 동안에 상기 맥박측정기(1400)를 통해 측정된 상기 사용자의 맥박정보 및 근전도정보에 기초하여 활동량스코어를 산출하는 활동량스코어산출단계를 수행한다. The aging
본 발명의 일 실시예에서는, 상기 집중도스코어산출단계에서 상기 사용자의 뇌파가 베타파, 세타파, 미드-알파파(mid-alpha wave), 및 SMR파 중 어느 파형에 포함되는지 여부를 판별하고, 상기 베타파 및 세타파가 증가함에 따라 감소하고, 상기 미드 알파파 및 상기 SMR파가 증가함에 따라 증가하는 집중도산출식에 기초하여 집중도스코어를 산출할 수 있다. In one embodiment of the present invention, in the concentration score calculation step, it is determined whether the user's brain wave is included in one of the beta waves, theta waves, mid-alpha waves, and SMR waves, and The concentration score can be calculated based on a concentration calculation formula that decreases as beta waves and theta waves increase, and increases as the mid-alpha waves and SMR waves increase.
또한, 상기 노화정보조절부(2540)는, 상기 사용자가 제2콘텐츠를 수행하는 동안에 상기 맥박측정기(1400)를 통해 측정되는 해당 사용자의 맥박정보 및 상기 맥박측정기(1400)에 포함되는 근전도센서를 통해 측정되는 해당 사용자의 근전도정보에 기초하여 활동량스코어를 산출하는 상기 활동량스코어산출단계를 수행한다. 바람직하게는, 상기 활동량스코어산출단계는, 상기 사용자의 맥박의 편차값이 기설정된 기준 이상이거나, 상기 사용자의 근전도 변화량이 216 내지 450 Hz일 때 가중치를 부여하여 상기 활동량스코어를 산출한다.In addition, the aging
도 10에 도시된 바와 같이, 상기 노화정보조절부(2540)는, 상기 집중도스코어산출단계, 상기 활동량스코어산출단계, 및 상기 수행결과스코어산출단계를 통해 산출된 상기 집중도스코어, 상기 활동량스코어, 상기 제1스코어, 상기 제2스코어, 및 상기 제3스코어의 합산값에 기초하여 상기 사용자의 노화정보를 감소시키는 노화정보감소단계를 수행한다.As shown in FIG. 10, the aging
상기 노화정보감소단계를 통해 감소된 노화정보는 상기 아바타외형업데이트부(2550)로 전달되고, 도 8에 대한 설명을 참고하여, 상기 아바타외형업데이트부(2550)에 의하여, 상기 아바타의 상기 제1그래픽효과를 조절함으로써 상기 아바타의 외형을 업데이트할 수 있다.The aging information reduced through the aging information reduction step is transmitted to the avatar
도 11은 본 발명의 일 실시예에 따른 아바타의 외형이 변경되는 프로세스를 개략적으로 도시한다.Figure 11 schematically shows a process for changing the appearance of an avatar according to an embodiment of the present invention.
개략적으로, 도 11에 도시된 바와 같이, 도 10에 도시된 노화정보감소단계 및 상기 노화정보감소단계를 통해 조절된 노화정보에 따라 상기 아바타의 외형을 변경하는 과정을 도시한다. 한편, 도 11에 도시된 과정은 설명을 위해, 상기 수행결과스코어산출단계 중 상기 제1스코어를 산출하는 과정만 도시하였으며, 상기 수행결과스코어산출단계 및 상기 노화정보감소단계에서는, 상술한 바와 같이, 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어를 모두 산출한다.Schematically, as shown in FIG. 11, it shows the process of changing the appearance of the avatar according to the aging information reduction step shown in FIG. 10 and the aging information adjusted through the aging information reduction step. Meanwhile, for explanation purposes, the process shown in FIG. 11 shows only the process of calculating the first score among the performance result score calculation steps, and in the performance result score calculation step and the aging information reduction step, as described above. , the first score, the second score, the third score, the concentration score, and the activity score are all calculated.
구체적으로, 상기 사용자가 가상현실 내에 아바타를 생성한 이후, 상기 VR콘텐츠제공부(2500)의 제1콘텐츠제공부(2510)는 상기 아바타에게 제1콘텐츠를 제공(S100)한다. 상기 제1콘텐츠는, 전술한 바와 같이, 상기 사용자의 인지능력 및 집중도를 강화하기 위한 콘텐츠에 해당한다. 상기 사용자는 상기 가상현실 내에서 상기 아바타를 통해 상기 제1콘텐츠를 수행(S200)한다.Specifically, after the user creates an avatar in virtual reality, the first
상기 아바타가 상기 제1콘텐츠를 수행한 수행결과를 상기 노화정도조절부가 수신(S300)하면, 상기 노화정도조절부는 상기 수행결과에 기초하여 제1스코어를 산출(S400)하는 상기 수행결과스코어산출단계를 수행한다.When the aging degree control unit receives the performance result of the avatar performing the first content (S300), the aging degree control unit calculates a first score based on the performance result (S400). Perform.
상시 노화정도조절부는, 상기 제1스코어를 참고하여 상기 사용자의 노화정보를 조절(S500)한다. 바람직하게는, 상기 단계 S500은, 전술한 바와 같이, 상기 제1스코어뿐만 아니라, 상기 제1스코어, 상기 제2스코어, 상기 제3스코어, 상기 집중도스코어, 및 상기 활동량스코어를 모두 합한 합산값에 기초하여 상기 사용자의 노화정보를 조절한다.The regular aging degree control unit adjusts the user's aging information with reference to the first score (S500). Preferably, step S500, as described above, is a sum of not only the first score, but also the first score, the second score, the third score, the concentration score, and the activity score. Based on this, the user's aging information is adjusted.
상기 노화정도조절부는 조절된 노화정보를 상기 아바타외형업데이트부(2550)에 송신(S600)하고, 상기 아바타외형업데이트부(2550)는, 수신한 상기 조절된 노화정보에 따라 상기 아바타의 기본외형에 적용된 제1그래픽효과를 조절(S700)한다. 상기 제1그래픽효과는, 도 6에 대한 설명을 참고하여, 상기 노화정보결정부(2420)에서 산출한 노화정보에 기초하여 상기 컴퓨팅시스템(10000)에 기저장된 복수의 제1그래픽효과 중 상기 노화정보결정부(2420)에서 산출한 노화정보에 상응하는 제1그래픽효과에 해당되며, 상기 아바타외형업데이트부(2550)가 상기 조절된 노화정보를 수신하면, 상기 아바타외형업데이트부(2550)는 상기 컴퓨팅시스템(10000)에 기저장된 복수의 제1그래픽효과 중에서 상기 조절된 노화정보에 상응하는 그래픽효과로 상기 아바타의 외형을 변경(S800)할 수 있다.The aging degree control unit transmits the adjusted aging information to the avatar appearance update unit 2550 (S600), and the avatar
도 12는 본 발명의 일 실시예에 따른 제1콘텐츠의 실행화면을 개략적으로 도시한다.Figure 12 schematically shows an execution screen of the first content according to an embodiment of the present invention.
개략적으로, 도 12의 (a)는 상기 사용자에게 제1콘텐츠가 제공될 때의 상기 사용자에게 보여지는 실행화면을 도시하고, 도 12의 (b)는 상기 사용자가 상기 제1콘텐츠를 수행한 이후, 그 수행결과가 상기 사용자에게 보여지는 실행화면을 도시한다. 한편, 도 12는, 본 발명의 일 실시예로서, 상기 사용자에게 보여지는 상기 제1콘텐츠의 실행화면을 도시하나, 상기 제2콘텐츠, 상기 제3콘텐츠 혹은 후술하는 돌발콘텐츠의 실행화면 또한 도 12에 도시된 바와 같은 실행화면이 상기 HMD(1100)를 통해 상기 사용자에게 제공될 수 있다.Schematically, Figure 12 (a) shows an execution screen shown to the user when the first content is provided to the user, and Figure 12 (b) shows the execution screen after the user performs the first content. , shows an execution screen where the execution results are shown to the user. Meanwhile, FIG. 12 shows an execution screen of the first content shown to the user as an embodiment of the present invention, but FIG. 12 also shows an execution screen of the second content, the third content, or the unexpected content described later. An execution screen as shown in may be provided to the user through the HMD (1100).
구체적으로, 도 12에 도시된 바와 같이, 상기 VR서비스부는, 상기 사용자에게 플로팅인터페이스(floating-interface)를 통해 정보를 제공할 수 있다. 도 12의 (a)는 상기 제1콘텐츠제공부(2510)에 의하여 상기 제1콘텐츠가 상기 사용자에게 제공될 때, 상기 사용자가 장착한 HMD(1100)를 통해 제공되는 인터페이스를 도시한다. 상기 사용자는 상기 VR장치(1000)를 조작함으로써 도 12의 (a)에 도시된 상기 플로팅인터페이스에서 “예” 혹은 “아니오”를 선택할 수 있으며, 상기 사용자가 “예”를 선택하면, 상기 사용자는 상기 사용자에게 장착된 상기 VR장치(1000)를 조작하여 상기 제1콘텐츠를 수행할 수 있다.Specifically, as shown in FIG. 12, the VR service unit may provide information to the user through a floating-interface. Figure 12(a) shows an interface provided through the HMD 1100 mounted on the user when the first content is provided to the user by the
상기 사용자가 제1콘텐츠를 수행하면, 그 수행결과를 도 12의 (b)에 도시된 바와 같은 플로팅인터페이스를 통해 상기 사용자에게 명시할 수 있다. 한편, 도 12의 (b)에 도시된 수행결과 항목은, 본 발명의 일 실시예로서, 상기 수행결과 항목은 콘텐츠에 종류에 따라 상이할 수 있다. 예를 들어, 상기 사용자에게 제공된 콘텐츠가 제2콘텐츠의 걷기 콘텐츠일 경우, 걷는 시간, 거리, 및 이동 속도가 수행결과 항목으로서 플로팅인터페이스에 명시될 수 있다.When the user performs the first content, the performance result can be displayed to the user through a floating interface as shown in (b) of FIG. 12. Meanwhile, the performance result item shown in (b) of FIG. 12 is an embodiment of the present invention, and the performance result item may differ depending on the type of content. For example, when the content provided to the user is walking content of the second content, walking time, distance, and moving speed may be specified as performance result items in the floating interface.
도 13은 본 발명의 일 실시예에 따른 집중도스코어 및 활동량스코어가 제1기준값 미만인 경우의 사용자에게 보여지는 가상현실 인터페이스를 개략적으로 도시한다.Figure 13 schematically shows a virtual reality interface shown to the user when the concentration score and activity score are less than the first reference value according to an embodiment of the present invention.
개략적으로, 도 12의 (a)는 상기 가상현실 내에 존재하는 객체의 선명도 또는 상기 아바타의 시야가 조절되는 것을 도시하고, 도 12의 (b)는 상기 사용자에게 돌발콘텐츠가 제공될 때의 실행화면을 도시한다.Schematically, Figure 12 (a) shows that the clarity of objects existing in the virtual reality or the field of view of the avatar is adjusted, and Figure 12 (b) shows an execution screen when unexpected content is provided to the user. shows.
도 13에 도시된 바와 같이, 상기 VR콘텐츠제공부(2500)는, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 기설정된 제1기준값 미만인 경우, 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 조절하고, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 상기 제1기준값 미만인 경우, 상기 제1콘텐츠제공부(2510), 상기 제2콘텐츠제공부(2520) 혹은 상기 제3콘텐츠제공부(2530)에 의하여 콘텐츠가 제공되는 중간에 돌발콘텐츠를 제공함으로써, 상기 사용자가 상기 돌발콘텐츠를 수행하였을 때 상기 가상현실 내에 존재하는 객체의 선명도 또는 아바타의 시야를 기본값으로 되돌린다.As shown in FIG. 13, the
구체적으로, 상기 VR콘텐츠제공부(2500)는, 기설정된 구간 동안의 상기 집중도스코어 및 상기 활동량스코어의 세부합산값이 기설정된 제1기준값 미만으로 산출되는 경우, 상기 사용자의 집중도가 떨어졌다고 판단하고, 상기 사용자에게 하기와 같은 방식으로 알릴 수 있다. 도 13의 (a)의 좌측도면에 도시된 바와 같이, 상기 사용자가 장착한 HMD(1100)를 통해 제공되는 가상현실 내에 존재하는 객체의 선명도를 낮추거나, 도 13의 (a)의 우측도면에 도시된 바와 같이, 상기 아바타의 시야를 불투명한 플로팅인터페이스를 통해 조절할 수 있다. Specifically, the
상기 VR콘텐츠제공부(2500)는, 상기 세부합산값이 상기 제1기준값 미만으로 산출되는 경우, 상기 사용자에게 돌발콘텐츠를 제공할 수 있다. 상기 돌발콘텐츠는, 상기 사용자가 VR콘텐츠에 대한 집중도를 향상시키기 위해 상기 사용자에게 제공되는 콘텐츠로, 바람직하게는, 제1콘텐츠와 같이, 비교적 쉬운 난이도의 콘텐츠를 제공한다. The
도 13의 (b)에 도시된 바와 같이, 상기 돌발콘텐츠가 상기 사용자에게 제공될 때는, 도 12에 대한 설명을 참고하여, 상기 제1 내지 제3콘텐츠와 같이, 가상현실에 플로팅인터페이스를 제공함으로써 상기 사용자에게 상기 돌발콘텐츠를 제공할 수 있다. 상기 사용자가 돌발콘텐츠를 수행할 때 산출되는 집중도스코어 및 활동량스코어의 세부합산값이 기설정된 제1기준값 이상으로 산출되면, 상기 가상현실 내에 존재하는 객체의 선명도가 기본값으로 복구되고, 상기 불투명한 플로팅인터페이스가 사라지게 된다.As shown in (b) of FIG. 13, when the unexpected content is provided to the user, referring to the description of FIG. 12, like the first to third contents, a floating interface is provided in virtual reality. The unexpected content may be provided to the user. If the detailed sum of the concentration score and activity score calculated when the user performs the unexpected content is calculated to be higher than the preset first reference value, the clarity of the object existing in the virtual reality is restored to the default value, and the opaque floating The interface disappears.
본 발명의 일 실시예로서, 상기 돌발콘텐츠를 수행할 때의 집중도스코어 및 활동량스코어의 세부합산값이 상기 제1기준값 미만인 경우, 상기 VR콘텐츠제공부(2500)는 휴식을 권유하는 플로팅인터페이스를 상기 사용자에게 제공할 수 있다.As an embodiment of the present invention, when the detailed sum of the concentration score and activity score when performing the unexpected content is less than the first reference value, the
2. 아바타를 생성하여 외부의 메타버스플랫폼에 제공하고 아바타를 업데이트하는 시스템2. A system that creates an avatar, provides it to an external metaverse platform, and updates the avatar.
상술한 바와 같이 본 발명의 아바타를 생성하여 외부의 메타버스플랫폼(5000)에 제공하고 아바타를 업데이트하는 시스템은 사용자정보에 기초하여 아바타를 생성하고, 콘텐츠 수행에 따른 수행결과, 집중도 및 활동량에 기초하여 아바타의 외형을 업데이트할 수 있다. 한편, 상기 아바타를 업데이트하는 시스템은 외부의 메타버스플랫폼(5000)에 상기 아바타에 대한 정보를 제공하는 것으로써, 이하에서는, 상기 아바타에 대한 정보를 외부의 메타버스플랫폼(5000)에 제공하여 인터랙션정보를 수신하고 아바타를 업데이트하는 시스템에 대하여 상세하게 설명하도록 한다.As described above, the system for generating the avatar of the present invention, providing it to the external metaverse platform (5000), and updating the avatar generates the avatar based on user information and based on performance results, concentration, and activity level according to content performance. You can update the appearance of your avatar. Meanwhile, the system for updating the avatar provides information about the avatar to an external metaverse platform 5000. Hereinafter, information about the avatar is provided to the external metaverse platform 5000 to enable interaction. The system for receiving information and updating the avatar will be described in detail.
외부의 메타버스플랫폼(5000)에서 사용자에게 아바타를 제공하기 위해서 특정 캐릭터를 제공하는 방법을 사용하곤 한다. 허나, 사용자의 정보가 반영된 아바타로 외부의 메타버스플랫폼(5000)을 이용할 경우 외부의 메타버스플랫폼(5000) 속에 있는 느낌에 더 많은 흥미를 느낄 수 있다. 또한, 외부의 메타버스플랫폼(5000) 내에서 아바타와 사용자가 일체감을 느낄 수 있다. 따라서, 본원 발명에서 생성한 아바타를 기초로 상기 외부의 메타버스플랫폼(5000)에 적합한 아바타로 업데이트하여 제공하는 방법을 제시한다.The external metaverse platform (5000) often uses a method of providing a specific character to provide an avatar to the user. However, if you use an external metaverse platform (5000) with an avatar that reflects the user's information, you may feel more interested in the feeling of being in the external metaverse platform (5000). Additionally, the avatar and the user can feel a sense of unity within the external metaverse platform (5000). Therefore, we propose a method of updating and providing an avatar suitable for the external metaverse platform (5000) based on the avatar created in the present invention.
도 14는 본 발명의 일 실시예에 따른 아바타업데이트부에서의 수행단계를 개략적으로 도시한다.Figure 14 schematically shows the steps performed in the avatar update unit according to an embodiment of the present invention.
도 14에 도시된 바와 같이, 외부의 메타버스플랫폼(5000)에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스플랫폼(5000)에서 사용자가 상기 아바타를 이용하여 인터랙션한 인터랙션정보를 수신하여, 상기 아바타에 대한 업데이트를 수행하는 아바타업데이트부를 포함할 수 있고, 상기 아바타업데이트부는, 외부의 메타버스플랫폼(5000)에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스플랫폼(5000)에서 사용자가 상기 아바타를 이용하여 인터랙션한 인터랙션정보를 수신하여, 상기 아바타에 대한 업데이트를 수행하고, 외부의 메타버스플랫폼(5000)에 상기 아바타에 대한 정보를 제공하는 아바타정보제공단계(S900); 상기 외부의 메타버스플랫폼(5000)에서 상기 아바타에 해당하는 인터랙션정보를 수신하는 인터랙션정보수신단계(S920); 및 상기 인터랙션정보 중 아바타와 관련된 정보를 추출하고, 상기 아바타와 관련된 정보에 기초하여 상기 아바타를 업데이트하는 아바타업데이트단계(S930);를 수행할 수 있다.As shown in FIG. 14, information about the avatar is provided to the external metaverse platform 5000, and interaction information that the user interacts with using the avatar is received from the external metaverse platform 5000. , may include an avatar update unit that performs an update on the avatar, and the avatar update unit provides information about the avatar to an external metaverse platform 5000, and the external metaverse platform 5000 An avatar information providing step (S900) of receiving interaction information that the user has interacted with using the avatar, performing an update on the avatar, and providing information about the avatar to an external metaverse platform (5000); An interaction information reception step (S920) of receiving interaction information corresponding to the avatar from the external metaverse platform (5000); and an avatar update step (S930) of extracting information related to the avatar from the interaction information and updating the avatar based on the information related to the avatar.
구체적으로, 아바타정보제공단계는 본 발명에서 생성한 아바타에 대한 정보를 외부로 제공하는 단계이다. 상기 아바타는 상술한 바와 같이 VR장치를 통해 사용자의 생체정보, 활동정보, 및 의료정보를 수신하여 이를 바탕으로 생성하고, 상기 아바타에 대한 정보 중 일부 혹은 전체를 외부 메타버스플랫폼(5000)에 제공할 수 있다. 상기 아바타에 반영된 상기 사용자 의료정보의 경우에는 보안성에 따라 전송하지 않을 수 있다.Specifically, the avatar information provision step is a step of providing information about the avatar created in the present invention to the outside. As described above, the avatar is created based on the user's biometric information, activity information, and medical information received through the VR device, and some or all of the information about the avatar is provided to the external metaverse platform (5000). can do. The user's medical information reflected in the avatar may not be transmitted depending on security.
이어서, 상기 아바타정보를 제공받은 상기 외부의 메타버스플랫폼(5000)에서, 사용자는 아바타를 이용하고, 사용자의 아바타 이용에 따른 인터랙션정보가 생성된다. 구체적으로 인터랙션정보는 상기 외부의 메타버스플랫폼(5000) 이용 상황에 맞게 아바타를 업데이트할 수 있는 정보를 의미할 수 있고, 상기 외부의 메타버스플랫폼(5000)이 제공하는 서비스에 따라 달라질 수 있다. 예를 들어, 상기 외부의 메타버스플랫폼(5000)이 의료서비스를 제공하는 경우와 상기 외부의 메타버스플랫폼(5000)이 게임을 제공하는 경우의 인터랙션정보는 다를 수 있다.Next, in the external metaverse platform 5000 that has received the avatar information, the user uses the avatar, and interaction information is generated according to the user's use of the avatar. Specifically, interaction information may mean information that can update an avatar according to the usage situation of the external metaverse platform (5000), and may vary depending on the service provided by the external metaverse platform (5000). For example, interaction information may be different when the external metaverse platform 5000 provides medical services and when the external metaverse platform 5000 provides games.
본 발명의 실시예에 따르면, 상기 외부의 메타버스플랫폼(5000)에서 사용자가 이용하는 아바타는, 본 발명에서 생성한 아바타 혹은 상기 외부의 메타버스플랫폼(5000)이 수신한 아바타에 대한 정보가 반영된 상기 외부의 메타버스플랫폼(5000)에서 제공하는 아바타에 해당할 수 있다. According to an embodiment of the present invention, the avatar used by the user in the external metaverse platform 5000 is the avatar created in the present invention or the information about the avatar received by the external metaverse platform 5000 is reflected. It may correspond to an avatar provided by an external metaverse platform (5000).
상기 외부의 메타버스플랫폼(5000)에서 인터랙션정보를 수신한 컴퓨팅시스템은 상기 인터랙션정보에 기초하여 아바타업데이트를 수행한다. 구체적으로, 상기 인터랙션정보는 사용자가 상기 외부의 메타버스플랫폼(5000) 내에서 아바타 이용하며 생성된 모든 정보를 포함하고 있어, 상기 인터랙션정보에서 아바타와 관련된 정보만을 추출하여 사용한다. 추출한 상기 아바타와 관련된 인터랙션정보를 기초로 상기 아바타를 업데이트할 수 있다. 본 발명의 일 실시예에 따르면, 상기 인터랙션정보에서 아바타와 관련된 정보는 상기 외부의 메타버스플랫폼(5000)이 제공하는 서비스에 따라 달라질 수 있어, 상기 외부의 메타버스플랫폼(5000) 특색에 맞게 아바타를 업데이트할 수 있는 효과를 발휘할 수 있다.The computing system that receives interaction information from the external metaverse platform 5000 performs an avatar update based on the interaction information. Specifically, the interaction information includes all information generated while the user uses the avatar within the external metaverse platform 5000, and only information related to the avatar is extracted from the interaction information and used. The avatar can be updated based on the extracted interaction information related to the avatar. According to one embodiment of the present invention, the information related to the avatar in the interaction information may vary depending on the service provided by the external metaverse platform (5000), so that the avatar is selected according to the characteristics of the external metaverse platform (5000). It can have the effect of updating .
이하에서는, 상기 외부의 메타버스플랫폼(5000)이 게임을 제공하는 경우에 대해서 서술한다.Below, a case where the external metaverse platform 5000 provides a game will be described.
도 15는 본 발명의 일 실시예에 따른 인터랙션정보에 대해 개략적으로 도시한다.Figure 15 schematically shows interaction information according to an embodiment of the present invention.
도 15에 도시된 바와 같이, 상기 인터랙션정보는, 상기 외부의 메타버스플랫폼(5000)에서 게임을 제공하는 경우에, 사용시간, 레벨업정보, 수집아이템개수, 착용아이템개수, 습득스킬개수 및 퀘스트클리어개수를 포함할 수 있다.As shown in FIG. 15, when the game is provided by the external metaverse platform 5000, the interaction information includes usage time, level-up information, number of collected items, number of worn items, number of acquired skills, and quests. The number of clears may be included.
구체적으로, 상기 외부의 메타버스플랫폼(5000) 내에서 사용자가 아바타를 이용하여 게임을 하면서 생성된 모든 정보가 인터랙션정보로 저장되고, 상기 외부의 메타버스플랫폼(5000)이 게임을 제공하는 경우에는, 사용자가 아바타를 이용한 사용시간, 사용자가 아바타를 이용하여 게임의 레벨에 대해 레벨업정보, 사용자가 아바타를 이용하여 수집한 아이템의 수집아이템개수, 사용자가 아바타에 착용한 착용아이템개수, 사용자가 아바타에 대해서 습득한 습득스킬개수 및 사용자가 아바타를 이용하여 상기 외부의 메타버스플랫폼(5000) 내의 퀘스트를 클리어한 퀘스트클리어개수 등이 인터랙션정보에 포함될 수 있고, 상기 인터랙션정보에서 아바타와 관련된 정보로 사용시간, 레벨업정보, 수집아이템개수, 착용아이템개수, 습득스킬개수 및 퀘스트클리어개수가 추출될 수 있다.Specifically, all information generated while a user plays a game using an avatar within the external metaverse platform (5000) is stored as interaction information, and when the external metaverse platform (5000) provides a game, , usage time when the user uses the avatar, level up information about the level of the game when the user uses the avatar, number of items collected by the user using the avatar, number of items worn by the user on the avatar, number of items worn by the user on the avatar, The number of acquired skills acquired for the avatar and the number of quests cleared by the user using the avatar in the external metaverse platform (5000) may be included in the interaction information, and the interaction information may be converted into information related to the avatar. Usage time, level-up information, number of collected items, number of worn items, number of skills acquired, and number of quests cleared can be extracted.
도 16은 본 발명의 일 실시예에 따른 노화정보에 기초한 아바타업데이트단계(S930)를 개략적으로 도시한다.Figure 16 schematically shows the avatar update step (S930) based on aging information according to an embodiment of the present invention.
도 16에 도시된 바와 같이, 상기 아바타업데이트단계(S930)는, 상기 외부의 메타버스플랫폼(5000)에서 게임을 제공하는 경우에, 레벨업정보, 수집아이템개수 및 퀘스트클리어개수에 기초하여 상기 노화정보를 조절하고, 상기 노화정보에 기초하여 상기 아바타의 피부상태정보, 모발상태정보, 골격의 휘어진 정도, 눈의 기울기 및 입모양에 대해 아바타를 업데이트할 수 있다.As shown in FIG. 16, the avatar update step (S930), when the game is provided by the external metaverse platform 5000, updates the aging based on level-up information, number of collected items, and number of quest clears. Information can be adjusted, and the avatar can be updated with respect to the avatar's skin condition information, hair condition information, degree of curvature of the skeleton, eye inclination, and mouth shape based on the aging information.
구체적으로, 본 발명에서는 사용자의 복수의 이미지정보, 사용자의 뇌파정보 및 사용자의 맥박정보 중 일부 혹은 전체 기초하여 노화정보를 생성한다. 상기 외부의 메타버스플랫폼(5000)이 제공하는 게임에 적합한 아바타 업데이트를 위해, 상기 노화정보는 상기 인터랙션정보 중 일부에 기초하여 조절한다. 바람직하게는, 상기 노화정보를 조절하는 인터랙션정보에 해당하는 정보는 상기 레벨업정보, 상기 수집아이템개수 및 상기 퀘스트클리어개수일 수 있다.Specifically, in the present invention, aging information is generated based on some or all of the user's plural image information, the user's brain wave information, and the user's pulse information. In order to update the avatar suitable for the game provided by the external metaverse platform 5000, the aging information is adjusted based on some of the interaction information. Preferably, the information corresponding to the interaction information that adjusts the aging information may be the level-up information, the number of collected items, and the number of quests cleared.
상기 외부의 메타버스플랫폼(5000)이 제공하는 게임에 적합하게 조절된 노화정보에 기초하여 상기 아바타를 업데이트한다. 상기 아바타의 노화에 표현할 수 있는 모든 요소들에 대해 업데이트 할 수 있으나, 바람직하게는 상기 아바타의 피부상태정보, 모발상태정보, 골격의 휘어진 정도, 눈의 기울기 및 입모양에 대해 업데이트 할 수 있다.The avatar is updated based on aging information adjusted to suit the game provided by the external metaverse platform 5000. All elements that can express aging of the avatar can be updated, but preferably, the avatar's skin condition information, hair condition information, degree of skeletal curvature, eye tilt, and mouth shape can be updated.
도 17은 본 발명의 일 실시예에 따른 이동속도에 기초한 아바타업데이트단계(S930)를 개략적으로 도시한다.Figure 17 schematically shows an avatar update step (S930) based on movement speed according to an embodiment of the present invention.
도 17에 도시된 바와 같이, 상기 아바타업데이트단계(S930)는, 상기 외부의 메타버스플랫폼(5000)에서 게임을 제공하는 경우에, 사용시간, 습득스킬개수 및 착용아이템개수에 기초하여 상기 이동속도를 조절하고, 상기 이동속도에 기초하여 아바타를 업데이트할 수 있다.As shown in FIG. 17, in the avatar update step (S930), when the game is provided by the external metaverse platform 5000, the movement speed is adjusted based on the usage time, number of acquired skills, and number of worn items. can be adjusted, and the avatar can be updated based on the movement speed.
구체적으로, 본 발명에서는 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 아바타의 이동속도를 결정한다. 상기 외부의 메타버스플랫폼(5000)이 제공하는 게임에 적합한 아바타 업데이트를 위해, 상기 이동속도는 상기 인터랙션정보 중 일부에 기초하여 조절한다. 바람직하게는, 사용시간, 습득스킬개수 및 착용아이템개수에 기초하여 상기 아바타를 업데이트한다. Specifically, in the present invention, the moving speed of the avatar is determined by increasing the moving speed as the moving distance or number of steps increases, based on the moving distance or number of steps during a preset time derived from the user's smartphone. In order to update the avatar suitable for the game provided by the external metaverse platform 5000, the movement speed is adjusted based on some of the interaction information. Preferably, the avatar is updated based on usage time, number of acquired skills, and number of worn items.
한편, 인터랙션정보에 기초하여 조절된 이동속도는 상기 사용시간 늘어날수록, 습득스킬개수가 많을수록 이동속도를 높힐 수 있고, 착용아이템개수가 많을수록 이동속도를 낮출 수 있다. 따라서, 도 17에 도시된 바와 같이, 이동속도는 이전보다 ‘3’이 증가했고, 이는 이전보다 사용시간이 늘어났거나, 습득스킬개수가 많아졌거나, 착용아이템개수가 줄어들었거나 중 일부 혹은 전체를 의미할 수 있다.Meanwhile, the movement speed adjusted based on interaction information can be increased as the usage time increases and the number of acquired skills increases, and the movement speed can be lowered as the number of worn items increases. Therefore, as shown in Figure 17, the movement speed has increased by '3' compared to before, which is due to some or all of the following: increased use time, increased number of acquired skills, or decreased number of worn items. It can mean.
도 17에 도시된 상기 아바타의 능력치는 본 발명의 일 실시예로서, 실제 본 발명의 아바타의 능력치는 도 17에 도시된 것으로 한정되지 않는다.The abilities of the avatar shown in FIG. 17 are an example of the present invention, and the actual abilities of the avatar of the present invention are not limited to those shown in FIG. 17.
3. 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 실감 효과를 위한 시스템3. A system for realistic effects that controls the temperature of the actual space with the environmental temperature within the content performed by creating an avatar
상술한 바와 같이 본 발명의 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 시스템은 사용자정보에 기초하여 아바타를 생성하고, 콘텐츠 수행에 따른 수행결과, 집중도 및 활동량에 기초하여 아바타의 외형을 업데이트할 수 있고, 상기 외부의 메타버스플랫폼(5000)에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스 플랫폼 내에서 아바타가 인터랙션한 인터랙션정보를 수신하여 이를 기초로 아바타를 업데이트한다. As described above, the system for controlling the temperature of the actual space based on the environmental temperature within the content generated by creating the avatar of the present invention generates the avatar based on user information, and based on performance results, concentration, and activity level according to content performance. The appearance of the avatar can be updated, information about the avatar is provided to the external metaverse platform 5000, and interaction information of the avatar's interaction within the external metaverse platform is received, and the avatar is created based on this. Update.
한편, 상기 실감 효과를 위한 시스템은 사용자가 존재하는 환경을 콘텐츠의 환경과 유사하게 제공하여 실감 효과를 제공하는 것으로써, 이하에서는, 외부의 메타버스플랫폼(5000)이 제공하는 콘텐츠 내의 환경의 온도를 도출하고, 콘텐츠 내의 환경 온도에 기초하여 사용자가 존재하는 환경의 온도를 제어할 수 있도록 하는 시스템에 대하여 상세하게 설명하도록 한다.Meanwhile, the system for the realistic effect provides a realistic effect by providing an environment in which the user exists similar to the environment of the content. Hereinafter, the temperature of the environment in the content provided by the external metaverse platform 5000 will be described. will be derived, and a system that allows the user to control the temperature of the environment in which the user exists based on the environmental temperature in the content will be explained in detail.
상기 외부의 메타버스플랫폼(5000)이 제공하는 콘텐츠에 대한 최적의 경험을 위해 콘텐츠와 사용자 간의 상호작용이 필요하다. 상기 외부의 메타버스플랫폼(5000)이 제공하는 콘텐츠는 시각 및 청각적인 효과만 제공할 뿐 촉각적인 효과는 제공하지 못한다. 즉, 상기 외부의 메타버스플랫폼(5000)이 제공하는 콘텐츠 내부의 환경의 온도는 사용자가 느낄 수가 없어 콘텐츠에 대한 몰입감이 떨어질 수 있다.For optimal experience with the content provided by the external metaverse platform 5000, interaction between the content and the user is necessary. The content provided by the external metaverse platform (5000) provides only visual and auditory effects and does not provide tactile effects. In other words, the user cannot feel the temperature of the environment inside the content provided by the external metaverse platform 5000, so the sense of immersion in the content may be reduced.
예를 들어, 콘텐츠의 환경이 겨울이지만 사용자가 존재하고 있는 실제 계절이 여름일 경우에는 콘텐츠에 의해서 보여지고 사용자가 체험하고 있는 환경의 기온은 낮지만, 사용자가 느끼는 기온은 높아 콘텐츠에 대한 현존감이 떨어질 수 있다. 따라서, 더 나은 수준의 콘텐츠 경험을 제공하고자 아바타를 생성하여 수행하는 콘텐츠 내 환경 온도로 실제 공간의 온도를 제어하는 방법을 제시한다.For example, if the environment of the content is winter, but the actual season in which the user exists is summer, the temperature of the environment shown by the content and experienced by the user is low, but the temperature felt by the user is high, creating a sense of presence in the content. This may fall. Therefore, in order to provide a better level of content experience, we present a method of controlling the temperature of the actual space by creating an avatar and using the environmental temperature in the content.
도 18은 본 발명의 일 실시예에 따른 온도제어부(7000) 및 냉난방장치(8000)를 개략적으로 도시한다.Figure 18 schematically shows a temperature control unit 7000 and a heating/cooling device 8000 according to an embodiment of the present invention.
도 18에 도시된 바와 같이, 사용자가 존재하는 현실환경의 온도를 측정하고 제어하는 냉난방장치(8000)를 포함할 수 있고, 기계학습된 추론모델을 포함하고, 상기 기계학습된 추론모델 및 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠의 콘텐츠영상에 기초하여 상기 콘텐츠영상 내 콘텐츠환경의 콘텐츠온도를 도출하고, 상기 콘텐츠온도에 기초하여 상기 냉난방장치(8000)를 제어하여 상기 사용자가 존재하는 현실환경의 현실온도를 제어하는 온도제어부(7000)를 포함할 수 있다.As shown in FIG. 18, it may include a heating and cooling device 8000 that measures and controls the temperature of the real environment in which the user exists, and includes a machine learned inference model, and the machine learned inference model and the external Based on the content image of the content provided by the metaverse platform, the content temperature of the content environment within the content video is derived, and the air conditioning and heating device 8000 is controlled based on the content temperature to control the actual environment in which the user exists. It may include a temperature control unit 7000 that controls the actual temperature.
구체적으로, 온도제어부(7000)는 제1온도제어부(7100) 및 제2온도제어부(7200)를 포함하고, 냉난방장치(8000)로부터 사용자가 존재하는 공간의 온도인 현실온도를 수신하고, 상기 냉난방장치(8000)를 제어하여 상기 콘텐츠온도를 기초로 상기 현실온도를 제어할 수 있다. Specifically, the temperature control unit 7000 includes a first temperature control unit 7100 and a second temperature control unit 7200, receives the actual temperature, which is the temperature of the space where the user is, from the air conditioning device 8000, and The device 8000 can be controlled to control the actual temperature based on the content temperature.
더 구체적으로, 상기 사용자가 상기 아바타 혹은 상기 아바타에 대한 정보가 반영되어 있는 상기 외부의 메타버스플랫폼(5000)이 제공하는 아바타를 이용하여 상기 외부의 메타버스플랫폼(5000)이 제공하는 콘텐츠를 수행하면, 컨텐츠영상을 기계학습된 추론모델에 입력하여 복수의 콘텐츠온도를 도출할 수 있다. 상기 복수의 콘텐츠온도를 도출하는 자세한 사항은 후술하도록 한다. 상기 컨텐츠영상은 사용자가 착용하고 있는 HMD에 디스플레이되어 상기 사용자가 아바타를 이용해 콘텐츠를 수행하는 영상일 수 있다.More specifically, the user performs content provided by the external metaverse platform (5000) using the avatar or an avatar provided by the external metaverse platform (5000) in which information about the avatar is reflected. Then, a plurality of content temperatures can be derived by inputting the content image into a machine-learned inference model. Details of deriving the plurality of content temperatures will be described later. The content image may be an image displayed on an HMD worn by the user and showing the user performing content using an avatar.
상기 복수의 콘텐츠온도는 상기 제1온도제어부(7100)에 의해서 제1콘텐츠온도로, 상기 제2온도제어부(7200)에 의해서 제2콘텐츠온도 및 제3콘텐츠온도로 도출되고, 상기 제1온도제어부(7100)는 제1콘텐츠온도를 기초로 상기 냉난방장치(8000)를 제어하여 상기 현실온도를 제어할 수 있고, 상기 제2온도제어부(7200)는 제2콘텐츠온도 및 제3콘텐츠온도를 기초로 상기 냉난방장치(8000)를 제어하여 상기 현실온도를 제어할 수 있다. 상기 제1온도제어부(7100) 및 상기 제2온도제어부(7200)의 자세한 사항에 대해서는 후술하도록 한다. The plurality of content temperatures are derived as a first content temperature by the first temperature control unit 7100 and as a second content temperature and a third content temperature by the second temperature control unit 7200, and the first temperature control unit 7200 determines the plurality of content temperatures. (7100) can control the actual temperature by controlling the air conditioning device (8000) based on the first content temperature, and the second temperature control unit (7200) can control the actual temperature based on the second content temperature and the third content temperature. The actual temperature can be controlled by controlling the cooling and heating device 8000. Details of the first temperature control unit 7100 and the second temperature control unit 7200 will be described later.
본 발명의 일 실시예에 따르면, 상기 사용자는 상기 제1온도제어부(7100) 및 상기 제2온도제어부(7200) 중 하나를 선택하여 상기 현실온도를 제어할 수 있다.According to one embodiment of the present invention, the user can control the actual temperature by selecting one of the first temperature control unit 7100 and the second temperature control unit 7200.
상기 냉난방장치(8000)는 냉방 및 난방을 수행할 수 있는 모든 기기를 의미할 수 있다. 예를 들어, 한 가지 기기로 냉난방을 모두 수행할 수 있는 시스템에어컨을 포함하거나, 난방을 수행하는 히터 및 냉방을 수행하는 쿨러 두 기기 모두를 포함할 수 있고, 상기 현실온도를 기설정된 간격으로 측정할 수 있고, 실시간으로 측정할 수 있다.The air conditioning and heating device 8000 may refer to any device that can perform cooling and heating. For example, it may include a system air conditioner that can perform both cooling and heating with one device, or it may include both a heater that performs heating and a cooler that performs cooling, and the actual temperature is measured at preset intervals. It can be done and measured in real time.
도 19은 본 발명의 일 실시예에 따른 기계학습된 추론모델의 콘텐츠온도를 도출을 개략적으로 도시한다. Figure 19 schematically shows derivation of content temperature of a machine learned inference model according to an embodiment of the present invention.
도 19에 도시된 바와 같이, 상기 추론모델은, 입력된 상기 콘텐츠영상에서 기설정된 규칙으로 복수의 프레임을 추출하고, 상기 복수의 프레임 각각에서 해당 프레임의 콘텐츠온도를 도출할 수 있다.As shown in FIG. 19, the inference model can extract a plurality of frames from the input content video according to a preset rule and derive the content temperature of the corresponding frame from each of the plurality of frames.
구체적으로, 기계학습된 추론모델에 상기 외부 메타버스플랫폼(5000)이 제공하는 콘텐츠의 콘텐츠영상을 입력할 수 있다. 상기 콘텐츠영상은 사용자가 착용하고 있는 HMD에 디스플레이되는, 사용자가 아바타를 사용하여 상기 외부 메타버스플랫폼(5000)이 제공하는 콘텐츠를 수행하는 영상을 의미할 수 있다. 상기 기계학습된 추론모델에 기설정된 시간 동안의 콘텐츠영상을 입력할 수 있다. 예를 들어, 기설정된 시간은 상기 콘텐츠가 수행되는 상기 외부의 메타버스플랫폼(5000) 내의 장소가 변화하지 않은 동안의 일부 혹은 전체 시간을 의미할 수 있다. Specifically, the content video of the content provided by the external metaverse platform 5000 can be input to the machine learned inference model. The content image may refer to an image displayed on an HMD worn by the user, in which the user performs content provided by the external metaverse platform 5000 using an avatar. Content images for a preset time can be input into the machine learned inference model. For example, the preset time may mean part or all of the time during which the location within the external metaverse platform 5000 where the content is performed does not change.
상기 기계학습된 추론모델은 입력된 상기 콘텐츠영상에서 상기 기설정된 규칙으로 복수의 프레임을 추출할 수 있다. 상기 기설정된 규칙은 입력된 상기 콘텐츠영상의 시간 길이에 따라 추출되는 프레임수가 다르거나, 고정되게 설정될 수 있다. 예를 들어, 입력된 콘텐츠영상에서 2초마다 1 프레임을 추출하거나, 상기 콘텐츠영상의 시간 길이에 상관없이 50프레임을 추출할 수 있다.The machine learned inference model can extract a plurality of frames from the input content video according to the preset rule. The preset rule may set the number of extracted frames to be different or fixed depending on the time length of the input content video. For example, 1 frame can be extracted every 2 seconds from the input content video, or 50 frames can be extracted regardless of the time length of the content video.
이어서, 기계학습된 추론모델은 상기 복수의 프레임 각각에 대해서 콘텐츠온도를 도출하여 복수의 콘텐츠온도를 획득할 수 있다. 상기 콘텐츠온도는 상기 콘텐츠영상에서의 아바타가 존재하는 환경(배경)의 온도에 해당할 수 있다.Subsequently, the machine learned inference model can obtain a plurality of content temperatures by deriving the content temperature for each of the plurality of frames. The content temperature may correspond to the temperature of the environment (background) where the avatar in the content video exists.
기계학습된 추론모델에 의해 도출된 상기 복수의 콘텐츠온도는 상기 온도제어부(7000)에 의해 상기 제1콘텐츠온도, 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도로 도출될 수 있고, 자세한 사항에 대해서는 후술하도록 한다.The plurality of content temperatures derived by the machine learned inference model can be derived by the temperature control unit 7000 as the first content temperature, the second content temperature, and the third content temperature. For details, see This will be described later.
본 발명의 실시예에 따른 기계학습된 추론모델은 컨볼루션신경망모델(CNN), 캡슐네트워크(CapsNet) 등의 인공신경망 모델 및 규칙-기반 특징정보 추출 모델 중 1 이상을 포함하는 형태로 구현될 수 있고, CCTV 등 위치 및 시간이 기록되어 있는 영상정보 및 해당 영상의 해당 지역, 해당 시간의 온도 자료를 통해 학습할 수 있다.The machine learned inference model according to an embodiment of the present invention can be implemented in a form that includes one or more of artificial neural network models such as convolutional neural network model (CNN), capsule network (CapsNet), and rule-based feature information extraction model. It can be learned through video information that records location and time, such as CCTV, and temperature data for the region and time of the video.
도 20은 본 발명의 일 실시예에 따른 제1온도제어부(7100)가 수행하는 단계를 개략적으로 도시한다.Figure 20 schematically shows steps performed by the first temperature control unit 7100 according to an embodiment of the present invention.
도 20에 도시된 바와 같이, 상기 온도제어부(7000)는, 제1온도제어부(7100)를 포함하고, 상기 제1온도제어부(7100)는, 외부의 메타버스플랫폼(5000)에서 상기 콘텐츠영상을 수신하는 제1콘텐츠영상수신단계(S1000); 상기 콘텐츠영상을 기계학습된 상기 추론모델에 입력하여 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도의 평균값을 제1콘텐츠온도로 도출하는 제1콘텐츠온도도출단계(S1010); 상기 사용자가 존재하는 현실환경을 측정한 현실온도를 상기 냉난방장치(8000)로부터 수신하는 제1현실온도수신단계(S1020); 및 상기 현실온도가 상기 제1콘텐츠온도에 도달하도록 상기 냉난방장치(8000)를 제어하는 제1현실온도제어단계(S1030);를 수행할 수 있다.As shown in FIG. 20, the temperature control unit 7000 includes a first temperature control unit 7100, and the first temperature control unit 7100 controls the content video from an external metaverse platform 5000. Receiving the first content video (S1000); A first content temperature derivation step (S1010) of inputting the content image into the machine-learned inference model to derive a plurality of content temperatures and deriving an average value of the plurality of content temperatures as a first content temperature; A first real temperature receiving step (S1020) of receiving the real temperature measured in the real environment in which the user exists from the air conditioning/heating device (8000); and a first actual temperature control step (S1030) of controlling the air conditioning/heating device 8000 so that the actual temperature reaches the first content temperature.
구체적으로, 상기 제1콘텐츠영상수신단계(S1000)에서는 상기 외부의 메타버스플랫폼(5000)이 제공하여 사용자가 수행하고 있는 콘텐츠에 대한 콘텐츠영상을 수신할 수 있고, 상기 제1온도제어부(7100)는 상기 콘텐츠영상을 상기 온도제어부에 포함된 기계학습된 추론모델에 입력하여 프레임에 대해 도 19에서 상술한 방법에 의해 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도의 평균값을 제1콘텐츠온도로 도출하는 제1콘텐츠온도도출단계(S1010)를 수행할 수 있다.Specifically, in the first content image receiving step (S1000), the content image for the content that the user is performing provided by the external metaverse platform 5000 can be received, and the first temperature control unit 7100 Inputs the content image into a machine-learned inference model included in the temperature control unit to derive a plurality of content temperatures for the frame by the method described above in FIG. 19, and sets the average value of the plurality of content temperatures as the first content temperature. The first content temperature derivation step (S1010) can be performed.
본 발명의 실시예에 따르면, 상기 콘텐츠영상을 기설정된 시간 동안의 프레임에 대해 복수의 콘텐츠온도를 도출할 수 있다.According to an embodiment of the present invention, a plurality of content temperatures can be derived for frames of the content video during a preset time.
이후에, 상기 제1온도제어부(7100)는 상기 사용자가 존재하고, 상기 콘텐츠를 수행하고 있는 장소인 현실환경의 온도를 측정한 현실온도를 상기 냉난방장치(8000)로부터 수신하는 단계(S1020)를 수행할 수 있다.Afterwards, the first temperature control unit 7100 performs a step (S1020) of receiving the real temperature measured by measuring the temperature of the real environment where the user exists and performing the content from the air conditioning device 8000. It can be done.
상기 제1온도제어부(7100)는 상기 제1콘텐츠온도와 측정된 상기 현실온도 값의 비교 결과에 따라 제1현실온도제어단계(S1030)를 수행할 수 있다.The first temperature control unit 7100 may perform a first real temperature control step (S1030) according to a comparison result between the first content temperature and the measured real temperature value.
상기 현실온도가 상기 제1콘텐츠온도보다 높을 경우에는 상기 제1온도제어부(7100)는 냉난방장치(8000)가 냉방을 수행하여 상기 현실온도가 상기 제1콘텐츠온도에 도달하도록 제어할 수 있다.When the actual temperature is higher than the first content temperature, the first temperature control unit 7100 can control the cooling/heating device 8000 to perform cooling so that the actual temperature reaches the first content temperature.
상기 현실온도가 상기 제1콘텐츠온도보다 낮을 경우에는 상기 제1온도제어부(7100)는 냉난방장치(8000)가 난방을 수행하여 상기 현실온도가 상기 제1콘텐츠온도에 도달하도록 제어할 수 있다. When the actual temperature is lower than the first content temperature, the first temperature control unit 7100 can control the cooling and heating device 8000 to perform heating so that the actual temperature reaches the first content temperature.
본 발명의 다른 실시예에서는, 상기 사용자의 피부의 온도를 측정하여 상기 냉난방장치(8000)의 구동에 따라 체감온도 및 제1콘텐츠온도에 기초하여 냉난방장치(8000)를 제어할 수 있다.In another embodiment of the present invention, the temperature of the user's skin can be measured and the cooling and heating device 8000 can be controlled based on the perceived temperature and the first content temperature as the cooling and heating device 8000 is driven.
본 발명의 실시예에 따르면, 상기 제1온도제어부(7100)는 복수의 콘텐츠온도의 평균값을 제1콘텐츠온도로 도출하여 상기 현실온도를 제어하므로, 기계학습된 추론모델에서 도출하는 각각의 콘텐츠온도의 오차를 줄일 수 있는 효과를 발휘할 수 있다.According to an embodiment of the present invention, the first temperature control unit 7100 controls the actual temperature by deriving the average value of a plurality of content temperatures as the first content temperature, so that each content temperature derived from a machine learned inference model It can have the effect of reducing errors.
도 21은 본 발명의 일 실시예에 따른 제2온도제어부(7200)가 수행하는 단계를 개략적으로 도시한다.Figure 21 schematically shows steps performed by the second temperature control unit 7200 according to an embodiment of the present invention.
도 21에 도시된 바와 같이, 상기 온도제어부(7000)는, 제2온도제어부(7200)를 포함하고, 상기 제2온도제어부(7200)는, 외부의 메타버스플랫폼(5000)에서 상기 콘텐츠영상을 수신하는 제2콘텐츠영상수신단계(S1100); 상기 콘텐츠영상을 기계학습된 상기 추론모델에 입력하여 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도 중 최고 온도를 제2콘텐츠온도 및 최저 온도를 제3콘텐츠온도로 도출하는 제2콘텐츠온도도출단계(S1110); 상기 사용자가 존재하는 현실환경을 측정한 현실온도를 상기 냉난방장치(8000)로부터 수신하는 제2현실온도수신단계(S1120); 및 상기 현실온도가 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도 사이로 유지되도록 상기 냉난방장치(8000)를 제어하는 제2현실온도제어단계(S1130);를 수행할 수 있다.As shown in FIG. 21, the temperature control unit 7000 includes a second temperature control unit 7200, and the second temperature control unit 7200 controls the content video from the external metaverse platform 5000. Receiving second content video step (S1100); Deriving a second content temperature by inputting the content image into the machine-learned inference model to derive a plurality of content temperatures, and deriving the highest temperature among the plurality of content temperatures as the second content temperature and the lowest temperature as the third content temperature. Step (S1110); A second actual temperature receiving step (S1120) of receiving the actual temperature measured in the actual environment in which the user exists from the air conditioning/heating device (8000); and a second actual temperature control step (S1130) of controlling the air conditioning/heating device 8000 so that the actual temperature is maintained between the second content temperature and the third content temperature.
구체적으로, 상기 제2콘텐츠영상수신단계(S1100)에서는 상기 외부의 메타버스플랫폼(5000)이 제공하여 사용자가 수행하고 있는 콘텐츠에 대한 콘텐츠영상을 수신할 수 있고, 상기 제2온도제어부(7200)는 상기 콘텐츠영상을 상기 온도제어부에 포함된 기계학습된 추론모델에 입력하여 도 19에서 상술한 방법에 의해 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도에서 최고 온도를 제2콘텐츠온도로 도출하고, 최저 온도를 제3콘텐츠온도로 도출하는 제2콘텐츠온도도출단계(S1110)를 수행할 수 있다.Specifically, in the second content image receiving step (S1100), the content image for the content that the user is performing provided by the external metaverse platform 5000 can be received, and the second temperature control unit 7200 Inputs the content video into a machine-learned inference model included in the temperature control unit to derive a plurality of content temperatures by the method described above in FIG. 19, and derives the highest temperature from the plurality of content temperatures as the second content temperature. And, the second content temperature derivation step (S1110) of deriving the lowest temperature as the third content temperature can be performed.
본 발명의 실시예에 따르면, 상기 콘텐츠영상을 기설정된 시간 동안의 프레임에 대해 복수의 콘텐츠온도를 도출할 수 있다.According to an embodiment of the present invention, a plurality of content temperatures can be derived for frames of the content video during a preset time.
이후에, 상기 제2온도제어부(7200)는 상기 사용자가 존재하고, 상기 콘텐츠를 수행하고 있는 장소인 현실환경의 온도를 측정한 현실온도를 상기 냉난방장치(8000)로부터 수신하는 단계(S1120)를 수행할 수 있다.Afterwards, the second temperature control unit 7200 performs a step (S1120) of receiving the real temperature measured by measuring the temperature of the real environment where the user exists and performing the content from the air conditioning device 8000. It can be done.
상기 제2온도제어부(7200)는 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도와 측정된 현실온도 값의 비교 결과에 따라 제2현실온도제어단계(S1130)를 수행할 수 있다. The second temperature control unit 7200 may perform the second actual temperature control step (S1130) according to a comparison result between the second content temperature and the third content temperature and the measured actual temperature value.
상기 현실온도가 상기 제2콘텐츠온도보다 높을 경우에는 상기 제2온도제어부(7200)는 냉난방장치(8000)가 냉방을 수행하여 상기 현실온도가 상기 제2콘텐츠온도 및 제3콘텐츠온도 사이로 유지되도록 제어할 수 있다.When the actual temperature is higher than the second content temperature, the second temperature control unit 7200 controls the cooling and heating device 8000 to perform cooling so that the actual temperature is maintained between the second content temperature and the third content temperature. can do.
상기 현실온도가 상기 제3콘텐츠온도보다 낮을 경우에는 상기 제2온도제어부(7200)는 냉난방장치(8000)가 난방을 수행하여 상기 현실온도가 상기 제2콘텐츠온도 및 제3콘텐츠온도 사이로 유지되도록 제어할 수 있다.When the actual temperature is lower than the third content temperature, the second temperature control unit 7200 controls the cooling and heating device 8000 to perform heating so that the actual temperature is maintained between the second content temperature and the third content temperature. can do.
상기 현실온도가 상기 제2콘텐츠온도 및 제3콘텐츠온도 사이인 경우에는 상기 제2온도제어부(7200)는 냉난방장치(8000)가 냉방 혹은 난방을 수행하여 상태가 유지되도록 제어할 수 있다.When the actual temperature is between the second content temperature and the third content temperature, the second temperature control unit 7200 can control the air conditioning device 8000 to maintain the state by performing cooling or heating.
본 발명의 다른 실시예에서는, 상기 사용자의 피부의 온도를 측정하여 상기 냉난방장치(8000)의 구동에 따라 체감온도, 제2콘텐츠온도 및 제3콘텐츠온도에 기초하여 냉난방장치(8000)를 제어할 수 있다.In another embodiment of the present invention, the temperature of the user's skin is measured and the air conditioning device 8000 is controlled based on the perceived temperature, the second content temperature, and the third content temperature according to the operation of the air conditioning device 8000. You can.
본 발명의 실시예에 따르면, 상기 제2온도제어부(7200)는 복수의 콘텐츠온도의 최고 온도를 제2콘텐츠온도로, 최저 온도를 제3콘텐츠온도로 도출하여 상기 현실온도를 제어하므로, 냉난방장치(8000)의 에너지 효율을 높이는 효과를 발휘할 수 있다.According to an embodiment of the present invention, the second temperature control unit 7200 controls the actual temperature by deriving the highest temperature of the plurality of content temperatures as the second content temperature and the lowest temperature as the third content temperature, so that the air conditioning and heating device (8000) can have the effect of increasing energy efficiency.
도 22은 본 발명의 일 실시예에 따른 콘텐츠 내에서 장소를 이동하는 경우에 온도제어 방법을 개략적으로 도시한다.Figure 22 schematically shows a temperature control method when moving from place to place within content according to an embodiment of the present invention.
도 22에 도시된 바와 같이, 상기 제1현실온도제어단계는, 특정 장소에서 타 장소로 이동하는 콘텐츠를 수행하는 경우에는, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률에 도달하게되면 특정 장소의 상기 제1콘텐츠온도에 도달하기 위한 상기 냉난방장치(8000)의 작동을 중지할 수 있고, 상기 제2현실온도제어단계는, 특정 장소에서 타 장소로 이동하는 콘텐츠를 수행하는 경우에는, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률에 도달하게되면 특정 장소의 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도 사이로 유지하기 위한 상기 냉난방장치(8000)의 작동을 중지할 수 있다.As shown in FIG. 22, in the case of performing content that moves from a specific location to another location, the first actual temperature control step is performed when the content progress rate at the specific location reaches a preset progress rate. The operation of the air conditioning device 8000 to reach the first content temperature may be stopped, and the second actual temperature control step may be performed in the case of performing content moving from a specific location to another location. When the content progress rate reaches a preset progress rate, the operation of the cooling and heating device 8000 to maintain the temperature between the second content temperature and the third content temperature at a specific location may be stopped.
상기 제1현실온도제어단계는 제1온도제어부(7100)에서 수행되고, 상기 제2현실온도제어단계는 제2온도제어부(7200)에서 수행될 수 있고, 경우에 따라 냉난방장치(8000)의 작동을 멈추어 에너지를 효율적으로 소비하는 효과를 발휘할 수 있다.The first actual temperature control step may be performed in the first temperature control unit 7100, and the second actual temperature control step may be performed in the second temperature control unit 7200. In some cases, the operation of the cooling and heating device 8000 may be performed. can exert the effect of efficiently consuming energy.
구체적으로, 상기 외부의 메타버스플랫폼(5000)이 제공하는 콘텐츠가 특정 장소에서 타 장소로 이동이 정해져 있는 경우에는 상기 특정 장소에서 콘텐츠의 진행률에 따라 상기 냉난방장치(8000)의 작동을 멈추도록 제어할 수 있다. 더 구체적으로, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률(바람직하게는 100퍼센트에 가까운 진행률)에 도달하게되면, 콘텐츠의 진행률이 100퍼센트에 도달한 후 콘텐츠 상에서 타 장소로 이동하여 상기 타 장소의 콘텐츠온도를 기초로 현실온도를 제어할 것을 고려하여 상기 냉난방장치(8000)의 작동을 멈출 수 있다.Specifically, when the content provided by the external metaverse platform 5000 is determined to move from a specific location to another location, the air conditioning device 8000 is controlled to stop operation according to the progress of the content at the specific location. can do. More specifically, when the progress of the content in the specific location reaches a preset progress (preferably a progress rate close to 100 percent), the progress of the content reaches 100 percent and then moves to another location on the content to the other location. The operation of the cooling and heating device 8000 can be stopped considering controlling the actual temperature based on the content temperature.
도 22에서 A콘텐츠의 콘텐츠환경은 해변가이고, B콘텐츠의 콘텐츠환경은 숲속이므로, 상기 A콘텐츠의 콘텐츠온도와 상기 B콘텐츠의 콘텐츠온도의 차이는 클 수 있고, 상대적으로 상기 A콘텐츠의 콘텐츠온도가 상기 B콘텐츠의 콘텐츠온도보다 높을 수 있다. 따라서, A콘텐츠의 콘텐츠 진행률이 T1 시점에서 기설정된 80퍼센트에 도달하게 되면, 상기 A콘텐츠의 콘텐츠온도를 기초로 상기 현실온도를 제어하는 냉난방장치(8000)의 작동을 T1 시점에서부터 멈출 수 있다. 이후, 상기 사용자가 이용하는 아바타가 B콘텐츠인 숲속으로 이동한 T2 시점부터 상기 냉난방장치(8000)의 작동을 시작할 수 있다.In Figure 22, the content environment of content A is a beach, and the content environment of content B is a forest, so the difference between the content temperature of content A and content B may be large, and the content temperature of content A is relatively high. It may be higher than the content temperature of the B content. Accordingly, when the content progress rate of content A reaches a preset 80 percent at time T1, the operation of the air conditioning device 8000, which controls the actual temperature based on the content temperature of content A, can be stopped from time T1. Afterwards, the air conditioning and heating device 8000 can start operating from time T2 when the avatar used by the user moves into the forest of B content.
상기 제1온도제어부(7100)의 경우에는 상기 A콘텐츠의 콘텐츠온도는 A콘텐츠영상에 대해 기계학습된 추론모델에서 도출한 복수의 콘텐츠온도의 평균값인 제1콘텐츠온도일 수 있고, 상기 현실온도가 제1콘텐츠온도에 도달하도록 제어하는 냉난방장치(8000)의 작동을 T1시점에서부터 멈출 수 있고, 상기 사용자가 이용하는 아바타가 B콘텐츠인 숲속으로 이동한 T2 시점부터 상기 냉난방장치(8000)의 작동을 시작할 수 있다. 또한, 상기 냉난방장치(8000)를 제어하여 상기 B콘텐츠의 제1콘텐츠온도에 기초하여 상기 현실온도를 제어할 수 있고, 상기 B콘텐츠의 진행률이 기설정된 80퍼센트에 도달한 T3시점에서부터 냉난방장치(8000)의 작동을 멈출 수 있다.In the case of the first temperature control unit 7100, the content temperature of the A content may be the first content temperature that is the average value of a plurality of content temperatures derived from a machine-learned inference model for the A content video, and the actual temperature may be The operation of the air conditioning device 8000, which controls the temperature to reach the first content temperature, can be stopped from time T1, and the operation of the air conditioning device 8000 can be started from time T2 when the avatar used by the user moves into the forest of B content. You can. In addition, the actual temperature can be controlled based on the first content temperature of the B content by controlling the air conditioning and heating device 8000, and the air conditioning and heating device ( 8000) may stop operating.
상기 제2온도제어부(7200)의 경우에는 상기 A콘텐츠의 콘텐츠온도는 A콘텐츠영상에 대해 기계학습된 추론모델에서 도출한 복수의 콘텐츠온도 중에서 최고 온도를 제2콘텐츠온도, 최저 온도를 제3콘텐츠온도 도출할 수 있고, 상기 현실온도가 제2콘텐츠온도 및 제3콘텐츠온도 사이로 유지되도록 제어하는 냉난방장치(8000)의 작동을 T1시점에서부터 멈출 수 있고, 상기 사용자가 이용하는 아바타가 B콘텐츠인 숲속으로 이동한 T2 시점부터 상기 냉난방장치(8000)의 작동을 시작할 수 있다. 또한, 상기 냉난방장치(8000)를 제어하여 상기 B콘텐츠의 제2콘텐츠온도 및 제3콘텐츠온도에 기초하여 상기 현실온도를 제어할 수 있고, 상기 B콘텐츠의 진행률이 기설정된 80퍼센트에 도달한 T3시점에서부터 냉난방장치(8000)의 작동을 멈출 수 있다.In the case of the second temperature control unit 7200, the content temperature of the A content is the highest temperature among the plurality of content temperatures derived from the machine-learned inference model for the A content video, the highest temperature is the second content temperature, and the lowest temperature is the third content temperature. The temperature can be derived, the operation of the heating and cooling device 8000, which controls the actual temperature to be maintained between the second content temperature and the third content temperature, can be stopped from time T1, and the avatar used by the user is B content into the forest. The operation of the cooling and heating device 8000 can begin from the time of movement T2. In addition, the actual temperature can be controlled based on the second content temperature and the third content temperature of the B content by controlling the air conditioning and heating device 8000, and T3 where the progress rate of the B content has reached a preset 80 percent. From this point on, the operation of the air conditioning device 8000 can be stopped.
도 23는 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 예시적으로 도시한다.Figure 23 exemplarily shows the internal configuration of a computing device according to an embodiment of the present invention.
도 23에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)의 내부 구성은 도 1에 도시된 컴퓨팅시스템이 포함할 수 있고, 혹은 컴퓨팅장치(11000)은 도 1에 도시된 컴퓨팅시스템의 일 실시예에 해당할 수 있으며, 상기 입/출력 서브시스템(11400)에 의하여 상기 VR서비스부(2000) 및 상기 추가콘텐츠부(4000)에 연결될 수 있다. 상기 프로세서(11100)은 복수로 구성될 수 있고, 전술한 제1프로세서모듈 및 제2프로세서모듈을 포함할 수 있다.As shown in FIG. 23, the computing device 11000 includes at least one processor 11100, a memory 11200, a peripheral interface 11300, and an input/output subsystem ( It may include at least an I/O subsystem (11400), a power circuit (11500), and a communication circuit (11600). At this time, the internal configuration of the computing device 11000 may include the computing system shown in FIG. 1, or the computing device 11000 may correspond to an embodiment of the computing system shown in FIG. 1, and the input /It can be connected to the VR service unit 2000 and the additional content unit 4000 by the output subsystem 11400. The processor 11100 may be comprised of a plurality of processors and may include the first processor module and the second processor module described above.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.The memory 11200 may include, for example, high-speed random access memory, magnetic disk, SRAM, DRAM, ROM, flash memory, or non-volatile memory. . The memory 11200 may include software modules, instruction sets, or other various data necessary for the operation of the computing device 11000.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.At this time, access to the memory 11200 from other components such as the processor 11100 or the peripheral device interface 11300 may be controlled by the processor 11100.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리(11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.The peripheral interface 11300 may couple input and/or output peripherals of the computing device 11000 to the processor 11100 and the memory 11200. The processor 11100 may execute a software module or set of instructions stored in the memory 11200 to perform various functions for the computing device 11000 and process data.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.The input/output subsystem can couple various input/output peripherals to the peripheral interface 11300. For example, the input/output subsystem may include a controller for coupling peripheral devices such as a monitor, keyboard, mouse, printer, or, if necessary, a touch screen or sensor to the peripheral device interface 11300. According to another aspect, input/output peripherals may be coupled to the peripheral interface 11300 without going through the input/output subsystem.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.Power circuit 11500 may supply power to all or some of the terminal's components. For example, power circuit 11500 may include a power management system, one or more power sources such as batteries or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator, or a power source. It may contain arbitrary other components for creation, management, and distribution.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.The communication circuit 11600 may enable communication with another computing device using at least one external port.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.Alternatively, as described above, if necessary, the communication circuit 11600 may include an RF circuit to transmit and receive RF signals, also known as electromagnetic signals, to enable communication with other computing devices.
이러한 도 23의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 23에 도시된 일부 컴포넌트가 생략되거나, 도 23에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 23에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.This embodiment of FIG. 23 is only an example of the computing device 11000, and the computing device 11000 omits some components shown in FIG. 23, further includes additional components not shown in FIG. 23, or 2 It may have a configuration or arrangement that combines more than one component. For example, a computing device for a communication terminal in a mobile environment may further include a touch screen or sensor in addition to the components shown in FIG. 23, and the communication circuit 11600 may be equipped with various communication methods (WiFi, 3G, LTE). , Bluetooth, NFC, Zigbee, etc.) may also include a circuit for RF communication. Components that can be included in the computing device 11000 may be implemented as hardware, software, or a combination of both hardware and software, including an integrated circuit specialized for one or more signal processing or applications.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.Methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded on a computer-readable medium. In particular, the program according to this embodiment may be composed of a PC-based program or a mobile terminal-specific application. The application to which the present invention is applied can be installed on the computing device 11000 through a file provided by a file distribution system. As an example, the file distribution system may include a file transmission unit (not shown) that transmits the file according to a request from the computing device 11000.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented with hardware components, software components, and/or a combination of hardware components and software components. For example, devices and components described in embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA), etc. , may be implemented using one or more general-purpose or special-purpose computers, such as a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. Additionally, a processing device may access, store, manipulate, process, and generate data in response to the execution of software. For ease of understanding, a single processing device may be described as being used; however, those skilled in the art will understand that a processing device includes multiple processing elements and/or multiple types of processing elements. It can be seen that it may include. For example, a processing device may include a plurality of processors or one processor and one controller. Additionally, other processing configurations, such as parallel processors, are possible.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.Software may include a computer program, code, instructions, or a combination of one or more of these, which may configure a processing unit to operate as desired, or may be processed independently or collectively. You can command the device. Software and/or data may be used by any type of machine, component, physical device, virtual equipment, computer storage medium or device to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave. Software may be distributed over networked computing devices and stored or executed in a distributed manner. Software and data may be stored on one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc., singly or in combination. Program instructions recorded on the medium may be specially designed and configured for the embodiment or may be known and available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks. -Includes optical media (magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, etc. Examples of program instructions include machine language code, such as that produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter, etc. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent. Therefore, other implementations, other embodiments, and equivalents of the claims also fall within the scope of the claims described below.
Claims (10)
사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 및 상기 사용자의 움직임을 측정하는 동작센싱장치;를 포함하는 VR장치;
사용자가 존재하는 현실환경의 온도를 측정하고 제어하는 냉난방장치;
상기 사용자가 착용하는 VR장치와 통신을 수행하고, 상기 VR장치로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부;
외부의 메타버스플랫폼에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스플랫폼에서 사용자가 상기 아바타를 이용하여 인터랙션한 인터랙션정보를 수신하여, 상기 아바타에 대한 업데이트를 수행하는 아바타업데이트부; 및
기계학습된 추론모델을 포함하고, 상기 기계학습된 추론모델 및 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠의 콘텐츠영상에 기초하여 상기 콘텐츠영상 내 콘텐츠환경의 콘텐츠온도를 도출하고, 상기 콘텐츠온도에 기초하여 상기 냉난방장치를 제어하여 상기 사용자가 존재하는 현실환경의 현실온도를 제어하는 온도제어부;를 포함하고,
상기 VR서비스부는,
상기 사용자만 이용 가능하고, 상기 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현부;
상기 VR장치와 통신을 수행하여 정보를 주고받는 VR통신부;
상기 VR장치로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력부;
상기 가상현실구현부에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성부; 및
상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공부;를 포함하고,
상기 생체정보는,
상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 및 상기 맥박측정기로 측정한 상기 사용자의 맥박정보;를 포함하는, 실감 효과를 위한 시스템.
A system for realistic effects that controls the temperature of the actual space with the environmental temperature within the content performed by creating an avatar,
An HMD installed on the user to provide images and sounds for virtual reality and detect the user's voice; A camera device that captures the user's appearance and derives image information about the user; A brain wave measuring device attached to the user's head and capable of measuring the user's brain waves; A pulse meter attached to the user's wrist and capable of measuring the user's pulse; and a motion sensing device that measures the user's movements; a VR device including a;
A heating and cooling device that measures and controls the temperature of the actual environment in which the user exists;
a VR service unit that communicates with a VR device worn by the user, provides information about virtual reality to the VR device, creates an avatar for the user, and provides a plurality of virtual reality contents to the user;
an avatar update unit that provides information about the avatar to an external metaverse platform, receives interaction information about a user's interaction using the avatar in the external metaverse platform, and performs an update on the avatar; and
Contains a machine learned inference model, derives the content temperature of the content environment within the content video based on the machine learned inference model and the content video of the content provided by the external metaverse platform, and based on the content temperature It includes a temperature control unit that controls the air conditioning and heating device to control the actual temperature of the actual environment where the user exists,
The VR service department,
a virtual reality implementation unit that implements a virtual reality that is available only to the user and in which the plurality of virtual reality contents are provided;
a VR communication unit that communicates with the VR device to exchange information;
User's biometric information received from the VR device; and a user information input unit that receives user information including activity information and medical information received from the user's smartphone;
an avatar creation unit that creates an avatar for the user based on the user information in the virtual reality implemented by the virtual reality implementation unit; and
A VR content provider capable of providing the plurality of contents to the avatar created in the virtual reality and updating the appearance of the avatar each time this is performed,
The biometric information is,
Image information received through the camera device; The user's brain wave information measured by the brain wave measuring device; and pulse information of the user measured by the pulse meter. A system for a realistic effect including a.
상기 추론모델은,
입력된 상기 콘텐츠영상에서 기설정된 규칙으로 복수의 프레임을 추출하고, 상기 복수의 프레임 각각에서 해당 프레임의 콘텐츠온도를 도출하는, 실감 효과를 위한 시스템.
In claim 1,
The inference model is,
A system for realistic effects that extracts a plurality of frames from the input content video according to a preset rule and derives the content temperature of the frame from each of the plurality of frames.
상기 온도제어부는, 제1온도제어부를 포함하고,
상기 제1온도제어부는,
외부의 메타버스플랫폼에서 상기 콘텐츠영상을 수신하는 제1콘텐츠영상수신단계;
상기 콘텐츠영상을 기계학습된 상기 추론모델에 입력하여 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도의 평균값을 제1콘텐츠온도로 도출하는 제1콘텐츠온도도출단계;
상기 사용자가 존재하는 현실환경을 측정한 현실온도를 상기 냉난방장치로부터 수신하는 제1현실온도수신단계; 및
상기 현실온도가 상기 제1콘텐츠온도에 도달하도록 상기 냉난방장치를 제어하는 제1현실온도제어단계;를 수행하는, 실감 효과를 위한 시스템.
In claim 1,
The temperature control unit includes a first temperature control unit,
The first temperature control unit,
A first content video receiving step of receiving the content video from an external metaverse platform;
A first content temperature derivation step of inputting the content image into the machine-learned inference model to derive a plurality of content temperatures, and deriving an average value of the plurality of content temperatures as a first content temperature;
A first real temperature receiving step of receiving a real temperature measured in the real environment in which the user exists from the air conditioning and heating device; and
A system for a realistic effect that performs a first real temperature control step of controlling the air conditioning and heating device so that the real temperature reaches the first content temperature.
상기 제1현실온도제어단계는,
특정 장소에서 타 장소로 이동하는 콘텐츠를 수행하는 경우에는, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률에 도달하게되면 특정 장소의 상기 제1콘텐츠온도에 도달하기 위한 상기 냉난방장치의 작동을 중지하는, 실감 효과를 위한 시스템.
In claim 3,
The first actual temperature control step is,
When performing content that moves from a specific location to another location, when the content progress rate in the specific location reaches a preset progress rate, the operation of the air conditioning device to reach the first content temperature in the specific location is stopped. , a system for realistic effects.
상기 온도제어부는, 제2온도제어부를 포함하고,
상기 제2온도제어부는,
외부의 메타버스플랫폼에서 상기 콘텐츠영상을 수신하는 제2콘텐츠영상수신단계;
상기 콘텐츠영상을 기계학습된 상기 추론모델에 입력하여 복수의 콘텐츠온도를 도출하고, 상기 복수의 콘텐츠온도 중 최고 온도를 제2콘텐츠온도 및 최저 온도를 제3콘텐츠온도로 도출하는 제2콘텐츠온도도출단계;
상기 사용자가 존재하는 현실환경을 측정한 현실온도를 상기 냉난방장치로부터 수신하는 제2현실온도수신단계; 및
상기 현실온도가 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도 사이로 유지되도록 상기 냉난방장치를 제어하는 제2현실온도제어단계;를 수행하는, 실감 효과를 위한 시스템.
In claim 1,
The temperature control unit includes a second temperature control unit,
The second temperature control unit,
A second content video receiving step of receiving the content video from an external metaverse platform;
Deriving a second content temperature by inputting the content image into the machine-learned inference model to derive a plurality of content temperatures, and deriving the highest temperature among the plurality of content temperatures as the second content temperature and the lowest temperature as the third content temperature. step;
A second actual temperature receiving step of receiving the actual temperature measured in the actual environment in which the user exists from the air conditioning and heating device; and
A system for a realistic effect that performs a second real temperature control step of controlling the air conditioning and heating device so that the real temperature is maintained between the second content temperature and the third content temperature.
상기 제2현실온도제어단계는,
특정 장소에서 타 장소로 이동하는 콘텐츠를 수행하는 경우에는, 상기 특정 장소에서의 콘텐츠 진행률이 기설정된 진행률에 도달하게되면 특정 장소의 상기 제2콘텐츠온도 및 상기 제3콘텐츠온도 사이로 유지하기 위한 상기 냉난방장치의 작동을 중지하는, 실감 효과를 위한 시스템.
In claim 5,
The second actual temperature control step is,
In the case of performing content that moves from a specific location to another location, when the progress rate of the content in the specific location reaches a preset progress rate, the cooling and heating to maintain the temperature between the second content temperature and the third content temperature in the specific location A system for immersive effects that stops the device from functioning.
상기 아바타업데이트부는,
외부의 메타버스플랫폼에 상기 아바타에 대한 정보를 제공하는 아바타정보제공단계;
상기 외부의 메타버스플랫폼에서 상기 아바타에 해당하는 인터랙션정보를 수신하는 인터랙션정보수신단계; 및
상기 인터랙션정보 중 아바타와 관련된 정보를 추출하고, 상기 아바타와 관련된 정보에 기초하여 상기 아바타를 업데이트하는 아바타업데이트단계;를 수행하는, 실감 효과를 위한 시스템.
In claim 1,
The avatar update unit,
An avatar information provision step of providing information about the avatar to an external metaverse platform;
An interaction information receiving step of receiving interaction information corresponding to the avatar from the external metaverse platform; and
An avatar update step of extracting information related to the avatar from the interaction information and updating the avatar based on the information related to the avatar.
상기 아바타생성부는,
복수의 상기 이미지정보로부터 각각의 외형특징정보를 도출하고, 도출된 복수의 외형특징정보를 평균화하여 1차원 벡터의 형태의 캐릭터결정파라미터를 도출하고, 상기 캐릭터결정파라미터에 기초하여, 아바타의 기본외형을 결정하는 기본외형결정부;
상기 생체정보를 1 이상의 인공신경망 모델에 입력하여 아바타의 노화정보를 결정하고, 상기 기본외형에 상기 노화정보에 상응하는 제1그래픽효과를 추가하는 노화정보결정부;
해당 사용자의 스마트폰으로부터 도출되는 기설정된 시간 동안의 이동거리 혹은 걸음수에 기초하여, 이동거리 혹은 걸음수가 클수록 이동속도를 높이는 방식으로 아바타의 이동속도를 결정하는 이동속도결정부; 및
해당 사용자가 입력한 1 이상의 병력을 포함하는 의료정보에 기초하여 아바타의 질환정보를 결정하고, 상기 제1그래픽효과가 추가된 상기 기본외형에 상기 질환정보에 상응하는 제2그래픽효과를 추가하는 질환정보결정부;를 포함하는, 실감 효과를 위한 시스템.
In claim 1,
The avatar creation unit,
Each external feature information is derived from a plurality of the image information, a character determination parameter in the form of a one-dimensional vector is derived by averaging the plurality of derived external feature information, and based on the character determination parameter, the basic appearance of the avatar A basic appearance determination unit that determines;
an aging information determination unit that inputs the biometric information into one or more artificial neural network models to determine aging information of the avatar, and adds a first graphic effect corresponding to the aging information to the basic appearance;
A movement speed determination unit that determines the movement speed of the avatar by increasing the movement speed as the movement distance or number of steps increases, based on the movement distance or number of steps for a preset time derived from the user's smartphone; and
A disease that determines the disease information of the avatar based on medical information including at least one medical history entered by the user, and adds a second graphic effect corresponding to the disease information to the basic appearance to which the first graphic effect has been added. A system for realistic effects, including an information decision unit.
상기 VR콘텐츠제공부는,
해당 사용자의 상기 노화정보에 기초하여 난이도가 결정되고, 사용자의 인지능력 및 집중도 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는, 제1콘텐츠제공부;
해당 사용자의 상기 활동정보에 기초하여 난이도가 결정되고, 사용자의 신체 활동 강화 훈련을 수행할 수 있는 콘텐츠를 제공하는 제2콘텐츠제공부;
해당 사용자의 상기 질환정보에 기초하여 콘텐츠의 종류가 결정되고 재활훈련이 필요한 신체부위 또는 인지능력에 대한 훈련을 수행할 수 있는 콘텐츠를 제공하는 제3콘텐츠제공부;
상기 제1콘텐츠제공부, 상기 제2콘텐츠제공부, 및 상기 제3콘텐츠제공부에서 제공한 콘텐츠에 대한 수행에 따른 수행결과, 콘텐츠에 대한 수행기간 동안 상기 뇌파측정기에 의하여 측정된 뇌파정보, 및 상기 맥박측정기에 의하여 측정된 맥박정보에 기초하여, 1 이상의 스코어를 산출하고, 상기 1 이상의 스코어에 따라 상기 노화정보를 조절하는 노화정보조절부; 및
상기 노화정보조절부에 의하여, 조절된 노화정보에 따라 상기 제1그래픽효과를 조절하여 해당 사용자의 아바타의 외형을 업데이트하는 아바타외형업데이트부;를 포함하는, 실감 효과를 위한 시스템.
In claim 8,
The VR content provision department,
A first content provider that determines the level of difficulty based on the aging information of the user and provides content that can perform training to strengthen the user's cognitive ability and concentration;
a second content provider that determines the level of difficulty based on the activity information of the user and provides content that allows the user to perform physical activity strengthening training;
A third content provider that determines the type of content based on the disease information of the user and provides content that can provide training for body parts or cognitive abilities that require rehabilitation training;
Performance results according to the performance of the content provided by the first content provider, the second content provider, and the third content provider, EEG information measured by the EEG measurement device during the performance period for the content, and an aging information control unit that calculates one or more scores based on pulse information measured by the pulse meter and adjusts the aging information according to the one or more scores; and
An avatar appearance update unit that updates the appearance of the user's avatar by adjusting the first graphic effect according to the aging information adjusted by the aging information control unit.
상기 시스템은,
사용자에게 장착되어 가상현실에 대한 영상 및 소리를 제공하고, 상기 사용자의 목소리를 감지하는 HMD; 사용자의 외형을 촬영하여 사용자의 이미지정보를 도출하는 카메라장치; 상기 사용자의 두부에 부착되어 상기 사용자의 뇌파를 측정할 수 있는 뇌파측정기; 상기 사용자의 손목부위에 부착되어 상기 사용자의 맥박을 측정할 수 있는 맥박측정기; 및 상기 사용자의 움직임을 측정하는 동작센싱장치;를 포함하는 VR장치;
사용자가 존재하는 현실환경의 온도를 측정하고 제어하는 냉난방장치;
상기 사용자가 착용하는 VR장치와 통신을 수행하고, 상기 VR장치로 가상현실에 대한 정보를 제공하며, 상기 사용자의 아바타를 생성하여 상기 사용자에게 복수의 가상현실 콘텐츠를 제공하는 VR서비스부;
외부의 메타버스플랫폼에 상기 아바타에 대한 정보를 제공하고, 상기 외부의 메타버스플랫폼에서 사용자가 상기 아바타를 이용하여 인터랙션한 인터랙션정보를 수신하여, 상기 아바타에 대한 업데이트를 수행하는 아바타업데이트부; 및
기계학습된 추론모델을 포함하고, 상기 기계학습된 추론모델 및 상기 외부의 메타버스플랫폼이 제공하는 콘텐츠의 콘텐츠영상에 기초하여 상기 콘텐츠영상 내 콘텐츠환경의 콘텐츠온도를 도출하고, 상기 콘텐츠온도에 기초하여 상기 사용자가 존재하는 현실환경의 현실온도를 제어하는 온도제어부;를 포함하고,
상기 방법은,
상기 VR서비스부에 의하여, 상기 사용자만 이용 가능하고, 복수의 가상현실 콘텐츠가 제공되는 가상현실을 구현하는, 가상현실구현단계;
상기 VR서비스부에 의하여, 상기 VR장치와 통신을 수행하여 정보를 주고받는 VR통신단계;
상기 VR서비스부에 의하여, 상기 VR장치로부터 수신한 사용자의 생체정보; 및 상기 사용자의 스마트폰으로부터 수신한 활동정보 및 의료정보;를 포함하는 사용자정보를 수신하는 사용자정보입력단계;
상기 VR서비스부에 의하여, 상기 가상현실구현부에 의해 구현된 가상현실 내에 상기 사용자정보에 기초하여 상기 사용자의 아바타를 생성하는 아바타생성단계; 및
상기 VR서비스부에 의하여, 상기 가상현실에 생성된 아바타에게 상기 복수의 콘텐츠를 제공하고, 이를 수행할 때마다 상기 아바타의 외형을 업데이트할 수 있는 VR콘텐츠제공단계;를 포함하고,
상기 생체정보는,
상기 카메라장치를 통해 입력 받은 이미지정보; 상기 뇌파측정기로 측정한 상기 사용자의 뇌파정보; 및 상기 맥박측정기로 측정한 상기 사용자의 맥박정보;를 포함하는, 실감 효과를 위한 방법.
A method for a realistic effect implemented in a system for a realistic effect that controls the temperature of the actual space with the environmental temperature in the content performed by creating an avatar, comprising:
The system is,
An HMD installed on the user to provide images and sounds for virtual reality and detect the user's voice; A camera device that captures the user's appearance and derives image information about the user; A brain wave measuring device attached to the user's head and capable of measuring the user's brain waves; A pulse meter attached to the user's wrist and capable of measuring the user's pulse; and a motion sensing device that measures the user's movements; a VR device including a;
A heating and cooling device that measures and controls the temperature of the actual environment in which the user exists;
a VR service unit that communicates with a VR device worn by the user, provides information about virtual reality to the VR device, creates an avatar for the user, and provides a plurality of virtual reality contents to the user;
an avatar update unit that provides information about the avatar to an external metaverse platform, receives interaction information about a user's interaction using the avatar in the external metaverse platform, and performs an update on the avatar; and
Contains a machine learned inference model, derives the content temperature of the content environment within the content video based on the machine learned inference model and the content video of the content provided by the external metaverse platform, and based on the content temperature It includes a temperature control unit that controls the actual temperature of the actual environment in which the user exists,
The above method is,
A virtual reality implementation step of implementing a virtual reality that is available only to the user and in which a plurality of virtual reality contents are provided by the VR service department;
A VR communication step of exchanging information by communicating with the VR device by the VR service unit;
The user's biometric information received from the VR device by the VR service unit; and a user information input step of receiving user information including activity information and medical information received from the user's smartphone;
An avatar creation step of generating, by the VR service unit, an avatar of the user based on the user information in a virtual reality implemented by the virtual reality implementation unit; and
A VR content providing step of providing, by the VR service unit, the plurality of contents to an avatar created in the virtual reality, and updating the appearance of the avatar each time this is performed,
The biometric information is,
Image information received through the camera device; The user's brain wave information measured by the brain wave measuring device; And a method for a realistic effect, including; pulse information of the user measured by the pulse meter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220034914A KR20230137535A (en) | 2022-03-21 | 2022-03-21 | System And Method For Sensory Effects That Control The Temperature Of A Real Space With The Temperature Of The Environment In The Content Performed By Creating An Avatar |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220034914A KR20230137535A (en) | 2022-03-21 | 2022-03-21 | System And Method For Sensory Effects That Control The Temperature Of A Real Space With The Temperature Of The Environment In The Content Performed By Creating An Avatar |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230137535A true KR20230137535A (en) | 2023-10-05 |
Family
ID=88294817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220034914A KR20230137535A (en) | 2022-03-21 | 2022-03-21 | System And Method For Sensory Effects That Control The Temperature Of A Real Space With The Temperature Of The Environment In The Content Performed By Creating An Avatar |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230137535A (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101943585B1 (en) | 2016-12-23 | 2019-01-30 | 이광순 | System for Psychological Diagnosis using Virtual Reality Environment Configuration |
| KR102130750B1 (en) | 2020-03-23 | 2020-07-06 | 이병관 | Method for providing bigdata and artificial intelligence based counseling and psychological service using bidirectional virtual reality contents |
-
2022
- 2022-03-21 KR KR1020220034914A patent/KR20230137535A/en not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101943585B1 (en) | 2016-12-23 | 2019-01-30 | 이광순 | System for Psychological Diagnosis using Virtual Reality Environment Configuration |
| KR102130750B1 (en) | 2020-03-23 | 2020-07-06 | 이병관 | Method for providing bigdata and artificial intelligence based counseling and psychological service using bidirectional virtual reality contents |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11244485B2 (en) | Augmented reality systems and methods utilizing reflections | |
| KR102432248B1 (en) | System And Method For Generating An Avatar And Provides It To An External Metaverse Platform To Update The Avatar And Provide NFT For The Updated Avatar | |
| US10430985B2 (en) | Augmented reality systems and methods utilizing reflections | |
| CN112118784B (en) | Social interaction application for detecting neurophysiologic status | |
| KR20220033507A (en) | Electronic arrangements and related methods for therapeutic intervention utilizing virtual or augmented reality | |
| KR102453304B1 (en) | A system that provides virtual reality content for dementia prevention and self-diagnosis | |
| JP2019532374A (en) | Technology for controlling a virtual image generation system using the emotional state of a user | |
| Georgiou et al. | Adaptive user modelling in car racing games using behavioural and physiological data | |
| KR102425479B1 (en) | System And Method For Generating An Avatar With User Information, Providing It To An External Metaverse Platform, And Recommending A User-Customized DTx(Digital Therapeutics) | |
| KR102425481B1 (en) | Virtual reality communication system for rehabilitation treatment | |
| KR102445135B1 (en) | System And Method For Providing Forgery And Falsification Verification Of Avatar Information For Avatar Generation On The Metaverse Platform | |
| KR102429630B1 (en) | A system that creates communication NPC avatars for healthcare | |
| Shi et al. | Accurate and fast classification of foot gestures for virtual locomotion | |
| Zhang et al. | Virtual network marathon with immersion, scientificalness, competitiveness, adaptability and learning | |
| Rodrigues et al. | A serious game to practice stretches and exercises for a correct and healthy posture | |
| KR102445133B1 (en) | System That Creates An Avatar, Provides It To An External Metaverse Platforms, And Updates The Avatar, And Method Thereof | |
| KR102437583B1 (en) | System And Method For Providing User-Customized Color Content For Preferred Colors Using Biosignals | |
| KR102429627B1 (en) | The System that Generates Avatars in Virtual Reality and Provides Multiple Contents | |
| KR102445134B1 (en) | System And Method For Generating An Avatar Based On A User's Information And Providing An NFT For Avatar | |
| JP6884306B1 (en) | System, method, information processing device | |
| KR102443946B1 (en) | System And Method For Providing Owner Verification Of Avatar Information To Protect Avatar Information In The Metaverse Platform From False Avatar Information | |
| KR102617431B1 (en) | A System And Method For Calculating The Optimum Temperature For A User-Customized Immersive Content Test Bed Performing Content By Creating An Avatar | |
| KR20230137535A (en) | System And Method For Sensory Effects That Control The Temperature Of A Real Space With The Temperature Of The Environment In The Content Performed By Creating An Avatar | |
| US12039673B2 (en) | Augmented reality artificial intelligence enhance ways user perceive themselves | |
| KR20230137139A (en) | System And Method For Sensory Effects In Which The Humidity Of The Space Where The User Exists Is Controlled By The Humidity Of The Content Environment Performed By The Generated Avatar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |