KR102517396B1 - Metaverse character making system using biometric information measured using an electronic fiber sensor - Google Patents
Metaverse character making system using biometric information measured using an electronic fiber sensor Download PDFInfo
- Publication number
- KR102517396B1 KR102517396B1 KR1020220076413A KR20220076413A KR102517396B1 KR 102517396 B1 KR102517396 B1 KR 102517396B1 KR 1020220076413 A KR1020220076413 A KR 1020220076413A KR 20220076413 A KR20220076413 A KR 20220076413A KR 102517396 B1 KR102517396 B1 KR 102517396B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- data
- metaverse
- body temperature
- character
- Prior art date
Links
- 239000000835 fiber Substances 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 145
- 230000036760 body temperature Effects 0.000 claims abstract description 106
- 230000002996 emotional effect Effects 0.000 claims abstract description 93
- 230000000694 effects Effects 0.000 claims abstract description 79
- 238000005259 measurement Methods 0.000 claims abstract description 43
- 230000029058 respiratory gaseous exchange Effects 0.000 claims abstract description 32
- 238000004519 manufacturing process Methods 0.000 claims abstract description 31
- 230000036387 respiratory rate Effects 0.000 claims abstract description 25
- 238000009529 body temperature measurement Methods 0.000 claims abstract description 21
- 238000009532 heart rate measurement Methods 0.000 claims abstract description 21
- 239000003550 marker Substances 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 230000000386 athletic effect Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 5
- 230000008451 emotion Effects 0.000 claims description 3
- 210000000707 wrist Anatomy 0.000 claims description 3
- 239000004753 textile Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 208000031636 Body Temperature Changes Diseases 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000002310 reflectometry Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 210000001061 forehead Anatomy 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 210000004243 sweat Anatomy 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000001145 finger joint Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 210000000088 lip Anatomy 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000002435 tendon Anatomy 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 206010016825 Flushing Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 210000003467 cheek Anatomy 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 229910001338 liquidmetal Inorganic materials 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001012 protector Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0816—Measuring devices for examining respiratory frequency
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1118—Determining activity level
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6804—Garments; Clothes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6824—Arm or wrist
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
Abstract
Description
본 발명은 전자섬유 센서를 이용하여 측정된 생체 정보를 이용한 메타버스 캐릭터 제작 시스템에 관한 것이다. 구체적으로, 본 발명은 메타버스 캐릭터 제작 과정에서 전자섬유 센서를 이용하여 배우(actor)의 생체 정보를 측정함으로써, 배우의 연기(행동)에 제약이 최소화되고, 전자섬유 센서에서 측정된 배우의 생체 정보를 기초로 메타버스 캐릭터의 움직임과 연출 효과를 추가적으로 보정함으로써, 캐릭터의 리얼리티를 극대화하는 메타버스 캐릭터 제작 시스템에 관한 것이다.The present invention relates to a metaverse character production system using biometric information measured using an electronic fiber sensor. Specifically, the present invention measures biometric information of an actor using an electronic fiber sensor in the process of creating a metaverse character, thereby minimizing restrictions on the actor's performance (behavior), and the biometric information of the actor measured by the electronic fiber sensor. It is about a metaverse character production system that maximizes the reality of the character by additionally correcting the movement and directing effects of the metaverse character based on information.
메타버스 캐릭터 제작은 매우 복잡한 절차를 통해서 이루어진다. 종래의 메타버스 캐릭터 제작의 경우 2D나 3D 컴퓨터 그래픽 영상은 제작자가 동작들을 일일이 수작업으로 만들기 때문에, 시간적/경제적으로 많은 비용이 소요되었으며, 또한 동작간 리얼리티가 부족하다는 단점이 있다.Creating metaverse characters is done through a very complicated process. In the case of conventional metaverse character production, 2D or 3D computer graphic images require a lot of time and money because producers manually make movements one by one, and there is a disadvantage in that reality between movements is insufficient.
그러나, 최근 메타버스 캐릭터 제작 시스템에서는 캐릭터의 리얼리티를 살리기 위해 다양한 방식을 이용하고 있다. 가장 대표적으로 복수의 마커를 부착한 연기자의 움직임을 센싱하여 골격을 생성하고, 미리 구현한 캐릭터 이미지에 생성된 골격을 리깅함으로써 캐릭터에 생동감을 불러 일으키는 작업을 진행하고 있다.However, in the recent metaverse character creation system, various methods are used to bring out the reality of the character. Most representatively, a skeleton is created by sensing the movement of an actor with a plurality of markers attached, and a work of bringing life to a character is in progress by rigging the skeleton created in a previously implemented character image.
최근 메타버스 캐릭터 제작 시스템은 캐릭터의 리얼리티를 살리고, 제작비용을 절감하기 위한 다양한 메타버스 캐릭터 제작의 자동화된 추가적인 처리 과정들이 개발되고 있다.Recently, the metaverse character production system is developing various automated additional processing processes for creating various metaverse characters to save the reality of the character and reduce production costs.
본 발명의 과제는, 메타버스 캐릭터의 리얼리티를 극대화하기 위해, 배우의 생체 정보를 이용하여, 메타버스 캐릭터의 움직임 및 연출 효과를 보정하는 메타버스 제작 시스템을 제공하는 것이다. An object of the present invention is to provide a metaverse production system that corrects the movement and production effect of a metaverse character by using biometric information of an actor in order to maximize the reality of a metaverse character.
또한, 본 발명의 과제는, 메타버스 캐릭터의 리얼리티를 극대화하기 위해, 연기 도중 변화되는 배우의 운동 상태 및 감정 상태를 반영하여, 메타버스 캐릭터의 움직임 및 연출 효과를 보정하는 메타버스 제작 시스템을 제공하는 것이다. In addition, the subject of the present invention, in order to maximize the reality of the metaverse character, reflects the movement state and emotional state of the actor that changes during acting, and corrects the movement and directing effect of the metaverse character. Provide a production system for the metaverse is to do
또한, 본 발명의 과제는, 전자섬유 센서를 이용하여 배우의 생체 정보를 측정함으로써, 배우의 행동에 제약을 최소화하는 메타버스 제작 시스템을 제공하는 것이다. In addition, an object of the present invention is to provide a metaverse production system that minimizes restrictions on the actor's behavior by measuring the actor's biometric information using an electronic fiber sensor.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention not mentioned above can be understood by the following description and will be more clearly understood by the examples of the present invention. It will also be readily apparent that the objects and advantages of the present invention may be realized by means of the instrumentalities and combinations indicated in the claims.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 메타버스 제작 시스템은 사용자의 하나 이상의 신체 위치에 대한 체온을 측정하는 체온 측정 모듈, 압력 변화에 따라 상기 사용자의 호흡을 측정하는 호흡 측정 모듈, 상기 사용자의 심박을 측정하는 심박 측정 모듈, 상기 사용자의 움직임을 측정하여 모션 데이터를 생성하는 모션 캡쳐 장치, 상기 체온 측정 모듈에서 측정된 상기 사용자의 체온, 상기 호흡 측정 모듈에서 측정된 상기 사용자의 호흡수 및 상기 심박 측정 모듈에서 측정된 상기 사용자의 심박수를 이용하여, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태를 결정하고, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태 중 적어도 하나를 이용하여, 상기 모션 데이터를 보정하는 데이터 보정 모듈 및 상기 보정된 모션 데이터를 이용하여 메타버스 캐릭터를 구현하는 메타버스 캐릭터 구현 모듈을 포함한다.The metaverse production system according to some embodiments of the present invention for solving the above problems is a body temperature measurement module for measuring the body temperature for one or more body positions of the user, a respiration measurement module for measuring the user's breathing according to a change in pressure, A heart rate measurement module for measuring the user's heart rate, a motion capture device for generating motion data by measuring the user's movement, the user's body temperature measured by the body temperature measurement module, and the user's respiration measured by the respiration measurement module determining the user's exercise state and the user's emotional state by using the number and the user's heart rate measured by the heart rate measurement module, and using at least one of the user's exercise state and the user's emotional state, A data correction module for correcting the motion data and a metaverse character implementation module for implementing a metaverse character using the corrected motion data.
몇몇 실시예에서, 상기 체온 측정 모듈, 상기 호흡 측정 모듈 및 상기 심박 측정 모듈은 각각 전자섬유 센서를 포함할 수 있다. In some embodiments, each of the body temperature measurement module, the respiration measurement module, and the heart rate measurement module may include an electronic fiber sensor.
몇몇 실시예에서, 상기 체온 측정 모듈, 상기 호흡 측정 모듈 및 상기 심박 측정 모듈은 의류의 형태로 구현될 수 있다. In some embodiments, the body temperature measurement module, the respiration measurement module, and the heart rate measurement module may be implemented in the form of clothing.
몇몇 실시예에서, 상기 모션 캡쳐 장치는 마커 및 카메라를 포함하고, 상기 마커는 상기 체온 측정 모듈, 상기 호흡 측정 모듈 및 상기 심박 측정 모듈 중 적어도 하나를 포함하는 의류 상에 배치될 수 있다. In some embodiments, the motion capture device may include a marker and a camera, and the marker may be disposed on clothing including at least one of the body temperature measurement module, the respiration measurement module, and the heart rate measurement module.
몇몇 실시예에서, 상기 체온 측정 모듈은 상기 사용자의 얼굴, 몸, 팔 및 다리 각각에 대한 체온을 측정할 수 있다.In some embodiments, the body temperature measuring module may measure the body temperature of each of the user's face, body, arms and legs.
몇몇 실시예에서, 상기 데이터 보정 모듈은 상기 사용자의 얼굴, 몸, 팔 및 다리에 대한 체온 변화량을 기초로, 상기 사용자의 감정 상태를 결정할 수 있다.In some embodiments, the data correction module may determine the emotional state of the user based on changes in body temperature of the user's face, body, arms and legs.
몇몇 실시예에서, 상기 데이터 보정 모듈은 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태 중 적어도 하나를 이용하여, 상기 메타버스 캐릭터에 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다.In some embodiments, the data correction module may generate effect data for giving a directing effect to the metaverse character by using at least one of the user's athletic state and the user's emotional state.
몇몇 실시예에서, 상기 호흡 측정 모듈은 상기 사용자의 가슴 부위에 위치할 수 있다. In some embodiments, the respiration measurement module may be located on the chest of the user.
몇몇 실시예에서, 상기 심박 측정 모듈은 상기 사용자의 손목 부위에 위치할 수 있다.In some embodiments, the heart rate measurement module may be located on the wrist of the user.
상기 과제를 해결하기 위한 본 발명의 몇몇 실시예에 따른 메타버스 제작 시스템은 전자섬유 센서를 포함하고, 사용자의 생체 정보를 측정하여 생체 정보 데이터를 생성하는 생체 정보 측정 장치, 상기 생체 정보 측정 장치 상에 부착되는 마커와, 상기 마커를 촬영하여 상기 사용자의 모션을 캡쳐하여 모션 데이터를 생성하는 모션 캡쳐 장치, 상기 사용자의 운동량에 따른 생체 정보 데이터를 수집하여 생체 정보 기록 데이터를 생성하고, 상기 생체 정보 기록 데이터를 이용하여 상기 사용자의 운동 상태를 결정하는 운동 상태 결정부, 상기 생체 정보 데이터를 이용하여 상기 사용자의 감정 상태를 결정하는 감정 상태 결정부, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태 중 적어도 하나를 이용하여, 상기 모션 데이터를 보정하는 모션 보정부, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태 중 적어도 하나를 이용하여, 효과 데이터를 생성하는 효과 보정부 및 상기 모션 데이터 및 상기 효과 데이터를 이용하여, 메타버스 캐릭터를 생성하는 메타버스 캐릭터 구현 모듈을 포함한다.A metaverse manufacturing system according to some embodiments of the present invention for solving the above problems includes an electronic fiber sensor, a biometric information measuring device that measures a user's biometric information and generates biometric information data, and on the biometric information measuring device a marker attached to the marker, a motion capture device for generating motion data by capturing motion of the user by photographing the marker, generating biometric information recording data by collecting biometric information data according to the amount of exercise of the user, and generating the biometric information An exercise state determination unit for determining the user's exercise state using recorded data, an emotional state determination unit for determining the user's emotional state using the biometric information data, the user's exercise state and the user's emotional state A motion correction unit correcting the motion data using at least one, an effect correction unit generating effect data using at least one of the user's athletic state and the user's emotional state, and the motion data and the effect data Using, includes a metaverse character implementation module that creates a metaverse character.
본 발명의 메타버스 캐릭터 제작 시스템은, 연기를 수행하는 사용자의 현재 상태를 반영하여, 메타버스 캐릭터의 움직임과 연출 효과에 적용하므로 캐릭터의 리얼리티를 극대화할 수 있다. The metaverse character production system of the present invention reflects the current state of the user performing the acting and applies it to the movement and directing effect of the metaverse character, so that the reality of the character can be maximized.
또한, 사용자의 현재 상태는 지속적으로 갱신되므로, 상황 변화에 따른 연출을 손쉽게 수행할 수 있다.In addition, since the current state of the user is continuously updated, it is possible to easily perform production according to the situation change.
상술한 내용과 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.In addition to the above description, specific effects of the present invention will be described together while explaining specific details for carrying out the present invention.
도 1은 본 발명의 몇몇 실시예에 따른 생체 정보를 이용한 메타버스 캐릭터 제작 시스템을 개략적으로 설명하기 위한 도면이다.
도 2는 본 발명의 몇몇 실시예에 따른 모션 캡쳐 장치의 구성을 설명하기 위한 예시적인 도면이다.
도 3은 본 발명의 몇몇 실시예에 따른 생체 정보 측정 장치의 구성을 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 몇몇 실시예에 따른 데이터 보정 모듈의 구성을 설명하기 위한 예시적인 도면이다.
도 5는 본 발명의 몇몇 실시예에 따른 생체 정보 기록 데이터에 대해 운동 상태 구간을 정의하는 과정을 설명하기 위한 예시적인 도면이다.
도 6은 본 발명의 몇몇 실시예에 따른 사용자의 체온 측정 위치를 설명하기 위한 도면이다.
도 7은 본 발명의 몇몇 실시예에 따른 감정 상태 결정부가 사용자의 생체 정보 데이터를 기초로 사용자의 감정 상태를 결정하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 몇몇 실시예에 따른 모션 보정부의 구성을 설명하기 위한 예시적인 도면이다.
도 9는 본 발명의 몇몇 실시예에 따른 효과 보정부의 구성을 설명하기 위한 예시적인 도면이다.
도 10 내지 도 13은 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터의 제작 방법에 대해 설명하기 위한 도면이다. 1 is a diagram for schematically explaining a metaverse character production system using biometric information according to some embodiments of the present invention.
2 is an exemplary diagram for explaining the configuration of a motion capture device according to some embodiments of the present invention.
3 is an exemplary diagram for explaining the configuration of a device for measuring biometric information according to some embodiments of the present invention.
4 is an exemplary diagram for explaining the configuration of a data correction module according to some embodiments of the present invention.
5 is an exemplary diagram for explaining a process of defining an exercise state section for biometric information recording data according to some embodiments of the present invention.
6 is a diagram for explaining a user's body temperature measurement position according to some embodiments of the present invention.
7 is a diagram for explaining a process of determining a user's emotional state based on user's biometric information data by an emotional state determining unit according to some embodiments of the present invention.
8 is an exemplary diagram for explaining the configuration of a motion compensation unit according to some embodiments of the present invention.
9 is an exemplary diagram for explaining a configuration of an effect correction unit according to some embodiments of the present invention.
10 to 13 are diagrams for explaining a method of producing a metaverse character according to some embodiments of the present invention.
본 명세서 및 특허청구범위에서 사용된 용어나 단어는 일반적이거나 사전적인 의미로 한정하여 해석되어서는 아니된다. 발명자가 그 자신의 발명을 최선의 방법으로 설명하기 위해 용어나 단어의 개념을 정의할 수 있다는 원칙에 따라, 본 발명의 기술적 사상과 부합하는 의미와 개념으로 해석되어야 한다. 또한, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명이 실현되는 하나의 실시예에 불과하고, 본 발명의 기술적 사상을 전부 대변하는 것이 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 및 응용 가능한 예들이 있을 수 있음을 이해하여야 한다.Terms or words used in this specification and claims should not be construed as being limited to a general or dictionary meaning. According to the principle that an inventor may define a term or a concept of a word in order to best describe his/her invention, it should be interpreted as meaning and concept consistent with the technical spirit of the present invention. In addition, the embodiments described in this specification and the configurations shown in the drawings are only one embodiment in which the present invention is realized, and do not represent all of the technical spirit of the present invention, so they can be replaced at the time of the present application. It should be understood that there may be many equivalents and variations and applicable examples.
본 명세서 및 특허청구범위에서 사용된 제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. '및/또는' 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first, second, A, and B used in this specification and claims may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The term 'and/or' includes a combination of a plurality of related recited items or any one of a plurality of related recited items.
본 명세서 및 특허청구범위에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this specification and claims are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. It should be understood that terms such as "include" or "having" in this application do not exclude in advance the possibility of existence or addition of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. .
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in this application, it should not be interpreted in an ideal or excessively formal meaning. don't
또한, 본 발명의 각 실시예에 포함된 각 구성, 과정, 공정 또는 방법 등은 기술적으로 상호 간 모순되지 않는 범위 내에서 공유될 수 있다.In addition, each configuration, process, process or method included in each embodiment of the present invention may be shared within a range that does not contradict each other technically.
본 발명은 메타버스 캐릭터 제작 시스템 및 방법에 관한 것으로, '메타버스 캐릭터 제작'은 메타버스, 가상현실, 증강현실 혹은 확장현실에서 이용되는 메타버스 캐릭터의 움직임 및 연출 효과를 포함하는 동적 이미지의 제작을 의미할 수 있다. 다시 말해서, 본 명세서에서 '메타버스 캐릭터'는 2D 또는 3D로 구현된 가상의 디지털 아이돌 캐릭터, 게임 캐릭터 등을 포함할 수 있다.The present invention relates to a metaverse character production system and method, and 'metaverse character production' is the production of dynamic images including movement and directing effects of metaverse characters used in metaverse, virtual reality, augmented reality or expanded reality. can mean In other words, in this specification, a 'metaverse character' may include a virtual digital idol character implemented in 2D or 3D, a game character, and the like.
이하, 도 1 내지 도 13을 참조하여, 본 발명의 몇몇 실시예에 따른 인공지능 기반 메타버스 캐릭터 제작 시스템 및 방법을 설명한다.Hereinafter, referring to FIGS. 1 to 13, an artificial intelligence-based metaverse character production system and method according to some embodiments of the present invention will be described.
도 1은 본 발명의 몇몇 실시예에 따른 생체 정보를 이용한 메타버스 캐릭터 제작 시스템을 개략적으로 설명하기 위한 도면이다. 1 is a diagram for schematically explaining a metaverse character production system using biometric information according to some embodiments of the present invention.
도 1을 참조하면, 본 발명의 몇몇 실시예에 따른 생체 정보를 이용한 메타버스 캐릭터 제작 시스템(1)은 모션 캡쳐 장치(100), 생체 정보 측정 장치(200), 데이터 보정 모듈(300), 골격 생성 모듈(400), 리타겟 모듈(500), 메타버스 캐릭터 구현 모듈(600) 및 데이터 백업 모듈(700)을 포함할 수 있다. 1, the metaverse
메타버스 캐릭터 제작 시스템(1)은 모션 캡쳐 장치(100)를 통해 연기를 수행하는 사용자의 움직임에 따라 모션 데이터(MC_Data)를 생성할 수 있다. 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)는 데이터 보정 모듈(300) 및 데이터 백업 모듈(700)에 제공될 수 있다. 생체 정보 측정 장치(200)는 연기를 수행하는 사용자에게 부착되고, 연기를 수행하는 사용자의 생체 정보를 측정하여, 생체 정보 데이터(BM_Data)를 생성할 수 있다. 생체 정보 데이터(BM_Data)는 데이터 보정 모듈(300) 및 데이터 백업 모듈(700)에 제공될 수 있다. 데이터 보정 모듈(300)은 모션 데이터(MC_Data) 및 생체 정보 데이터(BM_Data)를 이용하여, 제1 보정 데이터(CB_Data#1) 및 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공되고, 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여 골격 데이터(SK_Data)를 생성할 수 있다. 골격 생성 모듈(400)에서 생성된 골격 데이터(SK_Data)는 리타겟 모듈(500)에 제공되고, 리타겟 모듈(500)은 골격 데이터(SK_Data)를 미리 설정한 메타버스 캐릭터에 리깅하여, 메타버스 캐릭터 리깅 데이터(CR_Data)를 생성할 수 있다. 메타버스 캐릭터 리깅 데이터(CR_Data)는 메타버스 캐릭터 구현 모듈(600)에 제공되고, 메타버스 캐릭터 구현 모듈(600)은 메타버스 캐릭터 리깅 데이터(CR_Data)를 이용하여, 메타버스 캐릭터(M_C)를 생성할 수 있다. The metaverse
몇몇 실시예에 따르면, 모션 캡쳐 장치(100), 생체 정보 측정 장치(200), 데이터 보정 모듈(300), 골격 생성 모듈(400), 리타겟 모듈(500), 메타버스 캐릭터 구현 모듈(600) 및 데이터 백업 모듈(700)은 네트워크를 통해 서로 데이터를 교환할 수 있다. 네트워크를 통해서 데이터를 전송할 수 있다. 네트워크는 유선 인터넷 기술, 무선 인터넷 기술 및 근거리 통신 기술에 의한 네트워크를 포함할 수 있다. 유선 인터넷 기술은 예를 들어, 근거리 통신망(LAN, Local area network) 및 광역 통신망(WAN, wide area network) 중 적어도 하나를 포함할 수 있다.According to some embodiments, a
무선 인터넷 기술은 예를 들어, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 및 5G NR(New Radio) 기술 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.Wireless Internet technologies include, for example, Wireless LAN (WLAN), Digital Living Network Alliance (DLNA), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink Packet (HSDPA). Access), High Speed Uplink Packet Access (HSUPA), IEEE 802.16, Long Term Evolution (LTE), Long Term Evolution-Advanced (LTE-A), Wireless Mobile Broadband Service (WMBS) And it may include at least one of 5G New Radio (NR) technology. However, this embodiment is not limited thereto.
근거리 통신 기술은 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct), 5G NR (New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.Short-range communication technologies include, for example, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra-Wideband (UWB), ZigBee, Near Field Communication: At least one of NFC), Ultra Sound Communication (USC), Visible Light Communication (VLC), Wi-Fi, Wi-Fi Direct, and 5G NR (New Radio) can include However, this embodiment is not limited thereto.
네트워크를 통해서 통신하는 생체 정보를 이용한 메타버스 캐릭터 제작 시스템(1)은 이동통신을 위한 기술표준 및 표준 통신 방식을 준수할 수 있다. 예를 들어, 표준 통신 방식은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTEA(Long Term Evolution-Advanced) 및 5G NR(New Radio) 중 적어도 하나를 포함할 수 있다. 단, 본 실시예가 이에 제한되는 것은 아니다.The metaverse
모션 캡쳐 장치(100)는 연기를 수행하는 사용자(이하, 사용자)의 몸에 센서 및/또는 마커를 부착하여, 사용자의 움직임을 데이터로 기록할 수 있다. 다시 말해서, 모션 캡쳐 장치(100)는 사용자의 움직임을 센싱하여, 모션 데이터(MC_Data)를 생성할 수 있다. 모션 데이터(MC_Data)는 사용자의 골격의 움직임을 표현하는 데이터일 수 있다. The
예를 들어, 모션 캡쳐 장치(100)는 광학식, 자기식 및/또는 관성식 모션 캡쳐 장치로 구현될 수 있다. 광학식 모션 캡쳐 장치는, 마커 및 카메라를 포함할 수 있다. 광학식 모션 캡쳐 장치는 마커를 부착한 사용자의 움직임을 하나 이상의 카메라로 촬상하고, 삼각측량법을 통해 사용자에게 부착된 마커의 삼차원적 좌표를 역산하여 모션 데이터(MC_Data)를 생성하는 장치일 수 있다. 자기식 모션 캡쳐 장치는 사용자의 관절 등에 자기장을 계측할 수 있는 센서를 부착한 뒤 자기장 발생 장치 근처에서 각 센서의 자기장 변화량을 계산하여 움직임을 측정함으로써 모션 데이터(MC_Data)를 생성하는 장치일 수 있다. 관성식 모션 캡쳐 장치는 가속도 센서, 자이로 센서 및 지자기센서를 포함하는 관성 센서를 사용자의 관절 등에 부착하여, 사용자의 움직임, 회전 및/또는 방향을 읽어내어 모션 데이터(MC_Data)를 생성하는 장치일 수 있다. 다만, 상술한 광학식, 자기식 및 관성식 모션 캡쳐 장치는, 본 발명의 몇몇 실시예에 따른 모션 캡쳐 장치(100)가 구현될 수 있는 일례를 설명한 것일 뿐, 실시예가 이에 제한되는 것은 아니다. 예를 들어, 모션 캡쳐 장치(100)는 인공지능을 이용한 영상 처리 기술을 이용하거나, 이를 광학식, 자기식 및/또는 관성식 모션 캡쳐 장치(100)와 병행하여 모션 데이터(MC_Data)를 생성할 수도 있을 것이다. 이하에서는, 설명의 편의를 위해, 모션 캡쳐 장치(100)는 마커 및 카메라를 포함하는 광학식 모션 캡쳐 장치인 것을 가정하여 설명한다. For example, the
몇몇 실시예에 따르면, 모션 캡쳐 장치(100)는 사용자의 행동을 센싱하거나, 사용자의 표정 변화를 센싱하거나, 사용자의 손 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 예시적인 설명을 위해, 도 2를 더 참조한다. According to some embodiments, the
도 2는 본 발명의 몇몇 실시예에 따른 모션 캡쳐 장치의 구성을 설명하기 위한 예시적인 도면이다. 2 is an exemplary diagram for explaining the configuration of a motion capture device according to some embodiments of the present invention.
도 2를 참조하면, 모션 캡쳐 장치(100)는 바디 캡쳐 모듈(110), 페이셜 캡쳐 모듈(120) 및 핸드 캡쳐 모듈(130)을 포함할 수 있다. 바디 캡쳐 모듈(110)은 사용자의 행동을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 다시 말해서, 바디 캡쳐 모듈(110)은 머리, 목, 팔, 몸, 다리 등 사용자의 신체의 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 예를 들어, 바디 캡쳐 모듈(110)은 사용자가 특정 행동(걷기, 뛰기, 기기, 앉기, 서기, 눕기, 춤추기, 싸우기, 발길질하기, 팔 휘두르기 등)을 할 때의 머리, 목, 팔, 몸, 다리 등의 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 바디 캡쳐 모듈(110)은 예를 들어, 사용자의 신체에 마커를 부착하고, 이를 센싱하여 모션 데이터(MC_Data)를 생성할 수 있으나, 실시예가 이에 제한되는 것은 아니다. Referring to FIG. 2 , the
페이셜 캡쳐 모듈(120)은 사용자의 표정 변화를 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 다시 말해서, 페이셜 캡쳐 모듈(120)은 사용자의 얼굴의 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 예를 들어, 페이셜 캡쳐 모듈(120)은 사용자의 특정 표정(우는 표정, 웃는 표정, 놀란 표정, 화난 표정, 경멸하는 표정, 아쉬운 표정, 사랑스러운 표정, 혐오하는 표정 등)에서의 얼굴의 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 페이셜 캡쳐 모듈(120)은 예를 들어, 사용자의 얼굴에 마커를 부착하고 이를 센싱한 데이터와, 사용자의 얼굴 표정에 대한 영상 처리 기술을 추가적으로 이용하여 모션 데이터(MC_Data)를 생성할 수 있으나, 실시예가 이에 제한되는 것은 아니다.The
핸드 캡쳐 모듈(130)은 사용자의 손 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 다시 말해서, 핸드 캡쳐 모듈(130)은 사용자의 손 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 예를 들어, 핸드 캡쳐 모듈(130)은 사용자의 손 동작(손가락 오므리기, 손가락 펴기 등)에서의 손가락 마디의 움직임을 센싱하여 모션 데이터(MC_Data)를 생성할 수 있다. 핸드 캡쳐 모듈(130)은 예를 들어, 손가락 관절의 움직임을 센싱할 수 있는 특수 장갑 또는 웨어러블 장치로 구현될 수 있으나, 실시예가 이에 제한되는 것은 아니다. The
다시 도 1을 참조하면, 생체 정보 측정 장치(200)는 사용자의 생체 정보를 측정할 수 있다. 생체 정보는 예를 들어, 심박수, 호흡수 및/또는 체온을 포함할 수 있다. 생체 정보 측정 장치(200)는 측정한 사용자의 생체 정보를 기록하여, 생체 정보 데이터(BM_Data)를 생성할 수 있다. 다시 말해서, 생체 정보 측정 장치(200)는 사용자의 심박, 호흡 및/또는 체온을 측정하여, 이를 생체 정보 데이터(BM_Data)로 생성할 수 있다. 생체 정보 데이터(BM_Data)는 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정하는데 이용될 수 있다. 예시적인 설명을 위해 도 3을 더 참조한다. Referring back to FIG. 1 , the biometric
도 3은 본 발명의 몇몇 실시예에 따른 생체 정보 측정 장치의 구성을 설명하기 위한 예시적인 도면이다. 3 is an exemplary diagram for explaining the configuration of a device for measuring biometric information according to some embodiments of the present invention.
도 3을 참조하면, 본 발명의 몇몇 실시예에 따른 생체 정보 측정 장치(200)는 체온 측정 모듈(210), 호흡 측정 모듈(220) 및 심박 측정 모듈(230)을 포함할 수 있다. Referring to FIG. 3 , the biometric
몇몇 실시예에 따르면, 체온 측정 모듈(210)은 전자섬유 온도 센서를 포함할 수 있다. 체온 측정 모듈(210)은 사용자의 하나 이상의 신체 위치에 대한 체온을 측정할 수 있다. 예를 들어, 체온 측정 모듈(210)은 전자섬유 온도 센서를 포함하므로, 사용자의 행동에 제약을 최소화하는 의류 형태, 장갑 형태, 양말 형태 등으로 구현될 수 있다. According to some embodiments, the body
몇몇 실시예에 따르면, 호흡 측정 모듈(220)은 전자섬유 압력 센서 또는 실리콘 기반의 액체금속 센서를 포함할 수 있다. 호흡 측정 모듈(220)은 사용자의 가슴 부위에 부착될 수 있다. 사용자는 흡기 시 흉부의 부피가 커져 가슴 부위에 부착된 호흡 측정 모듈(220)에 압력을 가할 수 있고, 호기 시 흉부의 부피가 작아져 호흡 측정 모듈(220)에 전달되는 압력이 감소할 수 있다. 따라서, 사용자의 가슴 부위에 부착된 호흡 측정 모듈(220)은 센싱되는 압력의 차이를 기초로, 사용자의 호기 및 흡기를 인식할 수 있으며, 이에 따라 사용자의 호흡수를 측정할 수 있다. 예를 들어, 호흡 측정 모듈(220)은 의류 형태 또는 가슴 보호대 형태로 구현될 수 있다. According to some embodiments, the
몇몇 실시예에 따르면, 심박 측정 모듈(230)은 심전도법, 광전 맥파법, 혈압계법 또는 심음도법에 따라 사용자의 심박수를 측정할 수 있다. 예를 들어, 심박 측정 모듈(230)은 사용자의 행동에 제약을 최소화하도록, 손목 시계 또는 손목 밴드형 웨어러블 장치로 구현될 수 있다. 다른 예를 들어, 심박 측정 모듈(230)은 전자섬유 심박 센서를 이용한 의류 형태로 구현될 수 있다.According to some embodiments, the heart
몇몇 실시예에 따르면, 생체 정보 측정 장치(200)는 의류 형태로 구현될 수 있다. 이때, 의류 형태의 생체 정보 측정 장치(200)는, 의류의 가슴 부위에 호흡 측정 모듈(220)이 위치하고, 의류의 손목 부위에 심박 측정 모듈(230)이 위치하고, 사용자의 신체의 제1 위치 내지 제4 위치에 대응하여 체온 측정 모듈(210)이 위치할 수 있다. According to some embodiments, the biometric
생체 정보 측정 장치(200)가 의류 형태로 구현되는 경우, 모션 캡쳐 장치()에 포함된 마커는, 생체 정보 측정 장치(200) 상에 부착될 수 있다. 다시 말해서, 의류 형태의 생체 정보 측정 장치(200) 상에 마커가 부착될 수 있다. When the biometric
이상, 체온 측정 모듈(210), 호흡 측정 모듈(220) 및 심박 측정 모듈(230)의 구현예에 대해 설명하였으나, 이는 단순히 예시적인 것일 뿐 실시예가 이에 제한되는 것은 아니다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 본 발명의 범위를 벗어나지 않고, 상술한 방식 외의 다른 기술을 통해 체온 측정 모듈(210), 호흡 측정 모듈(220) 및 심박 측정 모듈(230)을 구현할 수 있을 것이다. Above, the implementation of the body
다시 도 1을 참조하면, 데이터 보정 모듈(300)은 모션 캡쳐 장치(100)로부터 모션 데이터(MC_Data)를 수신할 수 있다. 또한, 데이터 보정 모듈(300)은 생체 정보 측정 장치(200)로부터 생체 정보 데이터(BM_Data)를 수신할 수 있다. Referring back to FIG. 1 , the
몇몇 실시예에 따르면, 데이터 보정 모듈(300)은 수신한 생체 정보 데이터(BM_Data)를 기초로, 모션 데이터(MC_Data)를 보정할 수 있다. 다시 말해서, 데이터 보정 모듈(300)은 생체 정보 데이터(BM_Data)를 이용하여 모션 데이터(MC_Data)의 적어도 일부를 보정하여, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공되어, 사실감과 생동감 있는 메타버스 캐릭터의 골격 움직임을 생성하는데 이용될 수 있다.According to some embodiments, the
또한, 몇몇 실시예에 따르면, 데이터 보정 모듈(300)은 수신한 생체 정보 데이터(BM_Data)를 기초로, 메타버스 캐릭터 구현 모듈(600)에서의 캐릭터 효과를 보정하기 위한 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터 구현 모듈(600)에서의 사실감과 생동감 있는 캐릭터 연출 효과(예를 들어, 피부 색 등)를 추가적으로 보정하는데 이용될 수 있다. 제1 보정 데이터(CB_Data#1)와 제2 보정 데이터(CB_Data#2)에 대한 구체적 설명은 후술한다. 데이터 보정 모듈(300)에 대한 예시적인 설명을 위해, 도 4를 더 참조한다. In addition, according to some embodiments, the
도 4는 본 발명의 몇몇 실시예에 따른 데이터 보정 모듈의 구성을 설명하기 위한 예시적인 도면이다. 4 is an exemplary diagram for explaining the configuration of a data correction module according to some embodiments of the present invention.
도 4를 참조하면, 데이터 보정 모듈(300)은 생체 정보 라이브러리(310), 운동 상태 결정부(320), 운동 상태 갱신부(330), 감정 상태 결정부(340), 감정 상태 갱신부(350), 모션 보정부(360), 효과 보정부(370) 및 메타버스 캐릭터 설정부(380)를 포함할 수 있다. Referring to FIG. 4 , the
생체 정보 라이브러리(310)는 사용자마다 측정된 운동량에 따른 생체 정보 데이터(BM_Data)를 포함할 수 있다. 몇몇 실시예에 따르면, 제1 사용자는 전술한 생체 정보 측정 장치(200)을 이용하여, 운동량에 따른 생체 정보 데이터(BM_Data)를 측정할 수 있다. 이때, 제1 사용자의 운동량에 따른 생체 정보 데이터(BM_Data)는 생체 정보 라이브러리(310)에 저장될 수 있다. 이와 유사하게, 제2 사용자는 생체 정보 측정 장치(200)을 이용하여, 운동량에 따른 생체 정보 데이터(BM_Data)를 측정할 수 있다. 이때, 제2 사용자의 운동량에 따른 생체 정보 데이터(BM_Data)는 생체 정보 라이브러리(310)에 저장될 수 있다. The
예를 들어, 제1 사용자는 운동량을 서서히 늘려가면서, 미리 정한 시간 간격으로 또는 연속적으로 제1 사용자의 생체 정보 데이터(BM_Data)를 생성하고, 이를 생체 정보 라이브러리(310)에 기록할 수 있다. 또한, 제2 사용자는 운동량을 서서히 늘려가면서, 미리 정한 시간 간격으로 또는 연속적으로 제2 사용자의 생체 정보 데이터(BM_Data)를 생성하고, 이를 생체 정보 라이브러리(310)에 기록할 수 있다. 제1 사용자는 제2 사용자와 체중, 골격근량, 체지방량 등이 모두 상이하기 때문에, 사용자별로 최대 운동량은 서로 다를 수 있다. 뿐만 아니라, 사용자별로 생체 정보 최소치, 평균치 및 최대치는 서로 상이하기 때문에, 특정 운동 구간에서의 생체 정보 데이터(BM_Data)는 사용자별로 상이할 수 있다. 따라서, 사용자별 운동량에 따른 생체 정보 데이터(BM_Data)를 생체 정보 라이브러리(310)에 미리 기록해 두고, 이를 운동 상태 결정부(320)에서 사용자의 운동 상태를 구획하는 기초 자료로 이용할 수 있다. 이하에서는 설명의 편의를 위해, 생체 정보 라이브러리(310)에 저장된 사용자별 운동량에 따른 생체 정보 데이터(BM_Data)를 사용자별 생체 정보 기록 데이터로 명명한다. 다시 말해서, 생체 정보 라이브러리(310)는 제1 사용자의 제1 생체 정보 기록 데이터와, 제2 사용자의 제2 생체 정보 기록 데이터를 포함할 수 있다.For example, the first user may generate biometric information data BM_Data of the first user at predetermined time intervals or continuously while gradually increasing the amount of exercise, and record the biometric information data BM_Data in the
몇몇 실시예에 따르면, 생체 정보 라이브러리(310)는 사용자별 생체 정보 기록 데이터를 이용하여, 사용자별로 제1 운동 상태 구간 내지 제3 운동 상태 구간을 정의할 수 있다. 예시적인 설명을 위해, 도 5를 더 참조한다. According to some embodiments, the
도 5는 본 발명의 몇몇 실시예에 따른 생체 정보 기록 데이터에 대해 운동 상태 구간을 정의하는 과정을 설명하기 위한 예시적인 도면이다. 5 is an exemplary diagram for explaining a process of defining an exercise state section for biometric information recording data according to some embodiments of the present invention.
도 4 및 도 5를 참조하면, 생체 정보 라이브러리(310)는 사용자별 생체 정보 기록 데이터를 포함할 수 있다. 예컨대, 도 5는 제1 사용자에 대한 제1 생체 정보 기록 데이터일 수 있다. 생체 정보 라이브러리(310)는 사용자의 생체 정보 기록 데이터를 이용하여, 사용자의 운동 상태를 제1 운동 상태 구간(S1), 제2 운동 상태 구간(S2) 및 제3 운동 상태 구간(S3)으로 구획할 수 있다. Referring to FIGS. 4 and 5 , the
먼저, 생체 정보 라이브러리(310)는 사용자의 생체 정보 기록 데이터를 참고하여, 사용자의 심박수의 증가폭은 상대적으로 크고, 사용자의 호흡수의 증가폭은 상대적으로 작고, 사용자의 체온이 증가하고 있는 구간을 제1 운동 상태 구간(S1)으로 구획할 수 있다. 다시 말해서, 제1 운동 상태 구간(S1)은 사용자의 심박수의 증가폭이 사용자의 호흡수보다 상대적으로 높은 상태를 의미하며, 제1 운동 상태 구간(S1)은 체온이 비교적 일정한 폭으로 증가하는 구간일 수 있다. 즉, 제1 운동 상태 구간(S1)은 사용자의 심박수가 사용자의 호흡수 및 사용자의 체온보다 더 높은 고려 요소로 작용되는 구간일 수 있다. First, the
또한, 생체 정보 라이브러리(310)는 사용자의 생체 정보 기록 데이터를 참고하여, 사용자의 심박수의 증가폭은 상대적으로 작고, 사용자의 호흡수의 증가폭은 상대적으로 크고, 사용자의 체온이 증가하고 있는 구간을 제2 운동 상태 구간(S2)으로 구획할 수 있다. 제2 운동 상태 구간(S2)은 예를 들어, 중간 운동 상태를 의미할 수 있다. 다시 말해서, 제2 운동 상태 구간(S2)은 사용자의 호흡수의 증가폭이 사용자의 심박수보다 상대적으로 높은 상태를 의미하며, 제2 운동 상태 구간(S2)은 체온이 비교적 일정한 폭으로 증가하는 구간일 수 있다. 즉, 제2 운동 상태 구간(S2)은 사용자의 호흡수가 사용자의 심박수 및 사용자의 체온보다 더 높은 고려 요소로 작용되는 구간일 수 있다. In addition, the
또한, 생체 정보 라이브러리(310)는 사용자의 생체 정보 기록 데이터를 참고하여, 사용자의 심박수의 증가폭은 상대적으로 작고, 사용자의 호흡수의 증가폭은 상대적으로 작고, 사용자의 체온은 상대적으로 높으나, 체온이 미세하게 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간(S3)으로 구획할 수 있다. 제3 운동 상태 구간(S3)은 예를 들어, 강한 운동 상태를 의미할 수 있다. 사용자의 체온은 항상성으로 인해, 체온이 최대치로 증가한 이후부터는 체온을 유지하거나 오히려 체온이 감소될 수 있다. 다시 말해서, 제3 운동 상태 구간(S3)은 사용자의 체온이 사용자의 심박수 및 사용자의 호흡수보다 더 높은 고려 요소로 작용되는 구간일 수 있다. In addition, the
다시 도 4를 참조하면, 운동 상태 결정부(320)는 생체 정보 측정 장치(200)에서 생성된 사용자의 생체 정보 데이터(BM_Data)와, 생체 정보 라이브러리(310)에 저장된 생체 정보 기록 데이터를 이용하여, 사용자의 운동 상태를 결정할 수 있다. 다시 말해서, 운동 상태 결정부(320)는 생체 정보 측정 장치(200)에서 생성되는 생체 정보 데이터(BM_Data)로부터, 사용자가 현재 어떤 운동 상태인지 여부를 결정할 수 있다. 예를 들어, 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)가, 제1 사용자에 대하여 미리 구획된 제1 운동 상태 구간(S1) 내에 포함된 경우, 운동 상태 결정부(320)는 제1 사용자의 운동 상태를 제1 운동 상태로 결정할 수 있다. 제1 운동 상태는 예를 들어, 약한 운동 상태를 의미할 수 있다. 또한, 예를 들어, 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)가, 제1 사용자에 대하여 미리 구획된 제2 운동 상태 구간(S2) 내에 포함된 경우, 운동 상태 결정부(320)는 제1 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. 제2 운동 상태는 예를 들어, 중간 운동 상태를 의미할 수 있다. 또한, 예를 들어, 생체 정보 측정 장치(200)에서 생성된 제1 사용자의 생체 정보 데이터(BM_Data)가, 제1 사용자에 대하여 미리 구획된 제3 운동 상태 구간(S3) 내에 포함된 경우, 운동 상태 결정부(320)는 제1 사용자의 운동 상태를 제3 운동 상태로 결정할 수 있다. 제3 운동 상태는 예를 들어, 강한 운동 상태를 의미할 수 있다.Referring back to FIG. 4 , the exercise
운동 상태 갱신부(330)는 주기적/비주기적, 혹은 실시간으로 생체 정보 측정 장치(200)에서 생성되는 사용자의 생체 정보 데이터(BM_Data)를 확인하여, 사용자의 운동 상태를 갱신할 수 있다. 몇몇 실시예에 따르면, 운동 상태 갱신부(330)는 사용자의 생체 정보 데이터(BM_Data)의 데이터 값을 기초로, 사용자의 운동 상태를 갱신할 수 있다. 예를 들어, 운동 상태 갱신부(330)는 제1 운동 상태 구간(S1) 내에 포함되어 있던 사용자의 생체 정보 데이터(BM_Data)가 변화하여, 제2 운동 상태 구간(S2)에 진입한 경우, 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. The exercise
또한, 몇몇 실시예에 따르면, 운동 상태 갱신부(330)는 사용자의 생체 정보 데이터(BM_Data)가 특정 운동 상태 구간 내에 유지된 시간을 기초로, 사용자의 운동 상태를 갱신할 수 있다. 예를 들어, 운동 상태 갱신부(330)는 사용자의 생체 정보 데이터(BM_Data)가 제1 운동 상태 구간(S1) 내에 포함되어 유지된 시간이, 미리 정한 제1 시간 이상인 경우, 사용자의 운동 상태를 제2 운동 상태로 갱신할 수 있다. 다시 말해서, 사용자의 운동 상태가 특정 운동 상태에서 제1 시간 이상 지속되는 경우, 운동 상태 갱신부(330)는 사용자의 운동 상태를 다음 운동 상태로 갱신할 수 있다. Also, according to some embodiments, the
감정 상태 결정부(340)는 생체 정보 측정 장치(200)에서 생성된 사용자의 생체 정보 데이터(BM_Data)를 기초로, 사용자의 감정 상태를 결정할 수 있다. 몇몇 실시예에 따르면, 감정 상태 결정부(340)는 사용자의 신체 위치별 체온 변화량에 기초하여, 사용자의 감정 상태를 결정할 수 있다. 예시적인 설명을 위해 도 6 및 도 7을 더 참조한다.The emotional
도 6은 본 발명의 몇몇 실시예에 따른 사용자의 체온 측정 위치를 설명하기 위한 도면이다. 도 7은 본 발명의 몇몇 실시예에 따른 감정 상태 결정부가 사용자의 생체 정보 데이터를 기초로 사용자의 감정 상태를 결정하는 과정을 설명하기 위한 도면이다.6 is a diagram for explaining a user's body temperature measurement position according to some embodiments of the present invention. 7 is a diagram for explaining a process of determining a user's emotional state based on user's biometric information data by an emotional state determining unit according to some embodiments of the present invention.
도 6을 참조하면, 생체 정보 측정 장치(200)는 제1 위치 내지 제4 위치에서, 사용자의 체온을 측정할 수 있다. 예를 들어, 생체 정보 측정 장치(200)는 전자섬유 온도 센서를 이용하여, 제1 위치 내지 제4 위치의 체온을 측정할 수 있다. Referring to FIG. 6 , the biometric
먼저, 생체 정보 측정 장치(200)는 제1 위치에서 제1 체온(Temp#1)을 측정할 수 있다. 제1 위치는 사용자의 얼굴 부위일 수 있다. 예를 들어, 제1 위치의 제1 체온(Temp#1)을 측정하기 위한 생체 정보 측정 장치(200)는 모자 또는 머리 밴드 형태로 제작된 전자섬유 온도 센서를 포함할 수 있다. First, the biometric
또한, 생체 정보 측정 장치(200)는 제2 위치에서 제2 체온(Temp#2)을 측정할 수 있다. 제2 위치는 사용자의 몸통 부위일 수 있다. 예를 들어, 제2 위치의 제2 체온(Temp#2)을 측정하기 위한 생체 정보 측정 장치(200)는 의류 형태로 제작된 전자섬유 온도 센서를 포함할 수 있다. Also, the biometric
또한, 생체 정보 측정 장치(200)는 제3 위치에서 제3 체온(Temp#3)을 측정할 수 있다. 제3 위치는 사용자의 팔 부위일 수 있다. 예를 들어, 제3 위치에서 제3 체온(Temp#3)을 측정하기 위한 생체 정보 측정 장치(200)는 제2 체온(Temp#2)을 측정하기 위해 의류 형태로 제작된 전자섬유 온도 센서와 일체화된, 의류 형태의 전자섬유 온도 센서를 포함할 수 있다. 다른 예를 들어, 제3 위치에서 제3 체온(Temp#3)을 측정하기 위한 생체 정보 측정 장치(200)는 토시 또는 장갑 형태로 제작된 전자 섬유 온도 센서를 포함할 수 있다.Also, the biometric
또한, 생체 정보 측정 장치(200)는 제4 위치에서 제4 체온(Temp#4)을 측정할 수 있다. 제4 위치는 사용자의 다리 부위일 수 있다. 예를 들어, 제4 위치에서 제4 체온(Temp#4)을 측정하기 위한 생체 정보 측정 장치(200)는 의류 형태의 전자섬유 온도 센서를 포함할 수 있다. Also, the biometric
몇몇 실시예에 따르면, 감정 상태 결정부(340)는 제1 위치 내지 제4 위치에서 측정된 제1 체온(Temp#1) 내지 제4 체온(Temp#4)의 변화량을 기초로, 사용자의 감정 상태를 결정할 수 있다. 예시적인 설명을 위해, 도 7을 더 참조한다.According to some embodiments, the emotional
감정 상태 결정부(340)는 제1 체온(Temp#1)에 대한 제1 체온 변화량(Temp variation#1), 제2 체온(Temp#2)에 대한 제2 체온 변화량(Temp variation#2), 제3 체온(Temp#3)에 대한 제3 체온 변화량(Temp variation#3) 및 제4 체온(Temp#4)에 대한 제4 체온 변화량(Temp variation#4)을 기초로, 사용자의 감정 상태를 결정할 수 있다. The emotional
예를 들어, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1) 내지 제3 체온 변화량(Temp variation#3)이 상대적으로 높고, 제4 체온 변화량(Temp variation#4)이 중간인 경우, 사용자의 감정 상태를 'Anger' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1), 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높은 경우, 사용자의 감정 상태를 'Fear' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)이 상대적으로 높은 경우, 사용자의 감정 상태를 'Happiness' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 상대적으로 낮은 경우, 사용자의 감정 상태를 'Sadness' 상태로 결정할 수 있다. 또한, 감정 상태 결정부(340)는 제1 체온 변화량(Temp variation#1) 및 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간인 경우, 사용자의 감정 상태를 'Pride' 상태로 결정할 수 있다. 다만, 이러한 설명은 예시적인 것이며, 실시예들이 이에 제한되는 것은 아니다. For example, the emotional
몇몇 실시예에 따르면, 체온 변화량이 상대적으로 높은지, 중간인지, 낮은지 여부는 미리 결정된 기준에 따를 수 있다. 이때, 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)에 대한 기준은 서로 다를 수도 있고, 적어도 일부가 동일할 수도 있다. 예를 들어, 제1 체온 변화량(Temp variation#1)이 제1 기준보다 낮은 경우, 제1 체온 변화량(Temp variation#1)은 상대적으로 낮은 것으로 결정될 수 있다. 또한, 제1 체온 변화량(Temp variation#1)이 제1 기준 이상이고, 제2 기준 미만인 경우, 제2 체온 변화량(Temp variation#2)은 중간으로 결정될 수 있다. 또한, 제1 체온 변화량(Temp variation#1)이 제2 기준 이상인 경우, 제2 체온 변화량(Temp variation#2)은 상대적으로 높은 것으로 결정될 수 있다. 한편, 제2 체온 변화량(Temp variation#2)이 제3 기준보다 낮은 경우, 제2 체온 변화량(Temp variation#2)은 상대적으로 낮은 것으로 결정될 수 있다. 또한, 제2 체온 변화량(Temp variation#2)이 제3 기준 이상이고, 제4 기준 미만인 경우, 제2 체온 변화량(Temp variation#2)은 중간으로 결정될 수 있다. 또한, 제2 체온 변화량(Temp variation#2)이 제4 기준 이상인 경우, 제2 체온 변화량(Temp variation#2)은 상대적으로 높은 것으로 결정될 수 있다. 이때, 제1 기준과 제3 기준, 제2 기준과 제4 기준은 서로 다를 수도 있고, 적어도 일부가 동일할 수도 있다. 다시 말해서, 사용자의 신체 부위에 따라, 체온 변화량을 결정하기 위한 임계값은 서로 다르거나, 적어도 일부가 동일할 수 있다.According to some embodiments, whether the change in body temperature is relatively high, medium, or low may be based on a predetermined criterion. In this case, the criteria for the first body temperature change amount (Temp variation#1) to the fourth body temperature change amount (Temp variation#4) may be different from each other, or at least part of them may be the same. For example, when the first body temperature variation (Temp variation#1) is lower than the first reference, the first body temperature variation (Temp variation#1) may be determined to be relatively low. Also, when the first body temperature change amount (Temp variation#1) is greater than or equal to the first standard and less than the second standard, the second body temperature change amount (Temp variation#2) may be determined to be medium. In addition, when the first body temperature change amount (Temp variation#1) is equal to or greater than the second standard, the second body temperature change amount (Temp variation#2) may be determined to be relatively high. Meanwhile, when the second body temperature variation (Temp variation#2) is lower than the third criterion, the second body temperature variation (Temp variation#2) may be determined to be relatively low. Also, when the second body temperature change amount (Temp variation#2) is greater than the third standard and less than the fourth standard, the second body temperature change amount (Temp variation#2) may be determined to be medium. In addition, when the second body temperature variation (Temp variation#2) is equal to or greater than the fourth standard, the second body temperature variation (Temp variation#2) may be determined to be relatively high. In this case, the first criterion and the third criterion, and the second criterion and the fourth criterion may be different from each other or at least partially the same. In other words, depending on the user's body part, the threshold values for determining the change in body temperature may be different or at least partially the same.
도 5를 이용하여 설명한 사용자의 생체 정보 기록 데이터의 체온은, 도 6의 제1 체온(Temp#1) 내지 제4 체온(Temp#4)의 평균값일 수도 있고, 제1 체온(Temp#1) 내지 제4 체온(Temp#4) 중 특정 체온을 의미할 수도 있다. 다만, 이러한 설명은 예시적인 것이며, 실시예들이 이에 제한되는 것은 아니다. The body temperature of the biometric information recording data of the user described with reference to FIG. 5 may be the average value of the first body temperature (Temp#1) to the fourth body temperature (Temp#4) of FIG. 6, or the first body temperature (Temp#1) It may also mean a specific body temperature among the fourth body temperature (Temp#4). However, this description is exemplary, and the embodiments are not limited thereto.
다시 도 4를 참조하면, 감정 상태 갱신부(350)는 주기적/비주기적, 혹은 실시간으로 생체 정보 측정 장치(200)에서 생성되는 사용자의 생체 정보 데이터(BM_Data)를 확인하여, 사용자의 감정 상태를 갱신할 수 있다. 몇몇 실시예에 따르면, 감정 상태 갱신부(350)는 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)의 데이터 값을 기초로, 사용자의 감정 상태를 갱신할 수 있다. 예를 들어, 'Anger' 상태인 사용자의 제1 체온 변화량(Temp variation#1) 및 제3 체온 변화량(Temp variation#3)이 중간이 되는 경우, 감정 상태 갱신부(350)는 사용자의 감정 상태를 'Fear' 상태로 갱신할 수 있다. Referring back to FIG. 4 , the emotional
모션 보정부(360)는 운동 상태 결정부(320), 운동 상태 갱신부(330), 감정 상태 결정부(340) 및 감정 상태 갱신부(350)에서 결정된 사용자의 운동 상태 및 사용자의 감정 상태 중 적어도 하나를 기초로, 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정할 수 있다. 모션 보정부(360)에 대한 예시적인 설명을 위해, 도 8을 더 참조한다. The
도 8은 본 발명의 몇몇 실시예에 따른 모션 보정부의 구성을 설명하기 위한 예시적인 도면이다. 8 is an exemplary diagram for explaining the configuration of a motion compensation unit according to some embodiments of the present invention.
도 8을 참조하면, 모션 보정부(360)는 모션 데이터 보정 가중치 결정부(361) 및 모션 데이터 보정부(362)를 포함할 수 있다. Referring to FIG. 8 , the
모션 데이터 보정 가중치 결정부(361)는 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정하기 위한 가중치를 결정할 수 있다. 다시 말해서, 모션 데이터 보정 가중치 결정부(361)는 사용자의 운동 상태 및 사용자의 감정 상태 중 적어도 하나를 기초로, 모션 데이터(MC_Data)에 대한 보정을 얼마나 수행할지 여부를 결정할 수 있다. 몇몇 실시예에 따르면, 모션 데이터 보정 가중치 결정부(361)는 사용자의 운동 상태에 따른 가중치 및 사용자의 감정 상태에 따른 가중치를 각각 결정할 수도 있고, 사용자의 운동 상태에 따른 가중치와 사용자의 감정 상태에 따른 가중치를 통합하여 하나로 결정할 수도 있다. The motion data
모션 데이터 보정부(362)는 사용자의 운동 상태 및/또는 사용자의 감정 상태에 따라, 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정할 수 있다. 몇몇 실시예에 따르면, 모션 데이터 보정부(362)는 운동 상태 결정부(320) 및/또는 운동 상태 갱신부(330)에서 결정된 사용자의 운동 상태와, 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data)를 이용하여, 모션 데이터(MC_Data)를 보정할 수 있다. 예를 들어, 운동 상태 결정부(320)에서 결정된 사용자의 운동 상태가 제1 운동 상태인 경우, 모션 데이터 보정부(362)는 생체 정보 데이터(BM_Data)에 포함된 사용자의 호기 및 흡기에 따라 메타버스 캐릭터의 상체가 상대적으로 약하게 흔들리도록 모션 데이터(MC_Data)를 보정할 수 있다. 또한, 예를 들어, 운동 상태 결정부(320)에서 결정된 사용자의 운동 상태가 제2 운동 상태인 경우, 모션 데이터 보정부(362)는 생체 정보 데이터(BM_Data)에 포함된 사용자의 호기 및 흡기에 따라 메타버스 캐릭터의 상체가 상대적으로 약하게 흔들리도록 모션 데이터(MC_Data)를 보정하고, 사용자의 호기 및 흡기에 따라 메타버스 캐릭터의 복부가 상대적으로 적게 팽창/수축하도록 모션 데이터(MC_Data)를 보정할 수 있다. 또한, 예를 들어, 운동 상태 결정부(320)에서 결정된 사용자의 운동 상태가 제3 운동 상태인 경우, 모션 데이터 보정부(362)는 생체 정보 데이터(BM_Data)에 포함된 사용자의 호기 및 흡기에 따라, 메타버스 캐릭터의 상체가 상대적으로 강하게 흔들리도록 모션 데이터(MC_Data)를 보정하고, 사용자의 호기 및 흡기에 따라, 메타버스 캐릭터의 복부가 상대적으로 많이 팽창/수축하도록 모션 데이터(MC_Data)를 보정할 수 있다. The motion
또한, 모션 데이터 보정부(362)는 감정 상태 결정부(340) 및/또는 감정 상태 갱신부(350)에서 결정된 사용자의 감정 상태를 이용하여, 모션 데이터(MC_Data)를 보정할 수 있다. 예를 들어, 감정 상태 결정부(340)에서 결정된 사용자의 감정 상태가 'Anger'인 경우, 모션 데이터 보정부(362)는 생체 정보 데이터(BM_Data)에 포함된 사용자의 호기 및 흡기에 따라 메타버스 캐릭터의 상체가 흔들리도록 바디 캡쳐 모듈(110)에서 생성된 모션 데이터(MC_Data)를 보정할 수 있다. 다른 예를 들어, 감정 상태 결정부(340)에서 결정된 사용자의 감정 상태가 'Anger'인 경우, 모션 데이터 보정부(362)는 메타버스 캐릭터의 미간이 좁혀지고, 눈꼬리가 올라가고, 입이 쳐지도록 페이셜 캡쳐 모듈(120)에서 생성된 모션 데이터(MC_Data)를 보정할 수 있다. In addition, the
정리하면, 모션 데이터 보정부(362)는 모션 데이터 보정 가중치 결정부(361)의 보정 가중치에 따라, 사용자의 운동 상태 및 감정 상태 중 적어도 하나를 이용하여, 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)를 보정하여, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다. 다시 말해서, 제1 보정 데이터(CB_Data#1)는 사용자의 운동 상태 및 감정 상태 중 적어도 하나를 고려하여 재구성된 모션 데이터(MC_Data)를 의미할 수 있다. In summary, the motion
다시 도 4를 참조하면, 효과 보정부(370)는 운동 상태 결정부(320), 운동 상태 갱신부(330), 감정 상태 결정부(340) 및 감정 상태 갱신부(350)에서 결정된 사용자의 운동 상태 및 사용자의 감정 상태 중 적어도 하나를 기초로, 메타버스 캐릭터에 제공될 연출 효과를 결정할 수 있다. 효과 보정부(370)에 대한 예시적인 설명을 위해, 도 9를 더 참조한다.Referring back to FIG. 4 , the
도 9는 본 발명의 몇몇 실시예에 따른 효과 보정부의 구성을 설명하기 위한 예시적인 도면이다.9 is an exemplary diagram for explaining a configuration of an effect correction unit according to some embodiments of the present invention.
도 9를 참조하면, 효과 보정부(370)는 효과 데이터 보정 가중치 결정부(371) 및 효과 데이터 보정부(372)를 포함할 수 있다. Referring to FIG. 9 , the
효과 데이터 보정 가중치 결정부(371)는 사용자의 운동 상태 및 사용자의 감정 상태 중 적어도 하나를 기초로 결정되는 메타버스 캐릭터의 연출 효과 보정을 위한 가중치를 결정할 수 있다. 다시 말해서, 효과 데이터 보정 가중치 결정부(371)는 사용자의 운동 상태 및 사용자의 감정 상태 중 적어도 하나를 기초로, 메타버스 캐릭터의 연출 효과 보정을 얼마나 수행할지 여부를 결정할 수 있다. 몇몇 실시예에 따르면, 효과 데이터 보정 가중치 결정부(371)는 사용자의 운동 상태에 따른 가중치 및 사용자의 감정 상태에 따른 가중치를 각각 결정할 수도 있고, 사용자의 운동 상태에 따른 가중치와 사용자의 감정 상태에 따른 가중치를 통합하여 하나로 결정할 수도 있다. The effect data correction
효과 데이터 보정부(372)는 사용자의 운동 상태 및/또는 사용자의 감정 상태에 따라, 메타버스 캐릭터에 부여되는 연출 효과를 결정할 수 있다. 몇몇 실시예에 따르면, 효과 데이터 보정부(372)는 운동 상태 결정부(320) 및/또는 운동 상태 갱신부(330)에서 결정된 사용자의 운동 상태를 이용하여, 메타버스 캐릭터에 부여되는 연출 효과를 결정할 수 있다. 예를 들어, 효과 데이터 보정부(372)는 사용자의 운동 상태가 제1 운동 상태인 경우, 메타버스 캐릭터에 대한 특별한 효과 데이터를 생성하지 않을 수 있다. 또한, 효과 데이터 보정부(372)는 사용자의 운동 상태가 제2 운동 상태인 경우, 메타버스 캐릭터의 옆머리 반사도 증가 연출 효과, 메타버스 캐릭터의 인중, 눈가 및 이마의 반사도 상승 및 맺혀있는 땀 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다. 또한, 효과 데이터 보정부(372)는 사용자의 운동 상태가 제3 운동 상태인 경우, 메타버스 캐릭터의 헤어 형태의 변경 연출 효과, 메타버스 캐릭터의 헤어 재질의 변경 연출 효과(땀에 의한 반사도 및 컬러 변경), 메타버스 캐릭터의 인중, 눈가, 이마 및 광대에 흐르는 땀 연출 효과 및 메타버스 캐릭터의 피부 반사도 증가 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다. The effect data correction unit 372 may determine a production effect given to the metaverse character according to the user's athletic state and/or the user's emotional state. According to some embodiments, the effect data correction unit 372 uses the user's motion state determined by the motion
또한, 효과 데이터 보정부(372)는 감정 상태 결정부(340) 및/또는 감정 상태 갱신부(350)에서 결정된 사용자의 감정 상태를 이용하여, 메타버스 캐릭터에 부여되는 연출 효과를 결정할 수 있다. 예를 들어, 효과 데이터 보정부(372)는 감정 상태 결정부(340)에서 결정된 사용자의 감정 상태가 'Anger'인 경우, 메타버스 캐릭터의 이마에 힘줄 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다. 또한, 효과 데이터 보정부(372)는 감정 상태 결정부(340)에서 결정된 사용자의 감정 상태가 'Sadness'인 경우, 메타버스 캐릭터의 눈동자 반사도 증가(눈물 맺힘) 연출 효과를 부여하기 위한 효과 데이터를 생성할 수 있다. In addition, the effect data correction unit 372 may determine a directing effect given to the metaverse character by using the user's emotional state determined by the emotional
정리하면, 효과 데이터 보정부(372)는 효과 데이터 보정 가중치 결정부(371)의 보정 가중치에 따라, 사용자의 운동 상태 및 감정 상태 중 적어도 하나를 이용하여, 메타버스 캐릭터에 적용하기 위한 효과 데이터, 즉 제2 보정 데이터(CB_Data#2)를 생성할 수 있다. 다시 말해서, 제2 보정 데이터(CB_Data#2)는 사용자의 운동 상태 및 감정 상태 중 적어도 하나를 고려하여, 메타버스 캐릭터에 반영될 추가적인 연출 효과에 대한 데이터를 의미할 수 있다. In summary, the effect data correction unit 372 uses at least one of the user's motion state and emotional state according to the correction weight of the effect data correction
다시 도 4를 참조하면, 메타버스 캐릭터 설정부(380)는 메타버스 캐릭터의 기본 설정을 결정할 수 있다. 메타버스 캐릭터 설정부(380)는 메타버스 캐릭터의 기본 설정, 예를 들어 땀이 많은 메타버스 캐릭터, 안면 홍조가 있는 메타버스 캐릭터, 운동량이 높은 메타버스 캐릭터 등 메타버스 캐릭터의 특징을 설정할 수 있다. 메타버스 캐릭터 설정부(380)에서 설정된 메타버스 캐릭터의 기본 설정값은 모션 보정부(360) 및 효과 보정부(370) 중 적어도 하나에 제공될 수 있다. Referring back to FIG. 4 , the metaverse
모션 보정부(360)는 제공받은 메타버스 캐릭터의 기본 설정값을 이용하여, 모션 데이터 보정 가중치를 추가적으로 조절할 수 있다. 예를 들어, 메타버스 캐릭터가 과체중인 경우, 모션 보정부(360)는 운동 상태에 따른 모션 데이터 보정 가중치를 증가시켜, 메타버스 캐릭터의 상체 및 복부가 더 많이 흔들리도록 보정할 수 있다. The
이와 유사하게, 효과 보정부(370)는 제공받은 메타버스 캐릭터의 기본 설정값을 이용하여, 효과 데이터를 추가적으로 조절할 수 있다. 예를 들어, 메타버스 캐릭터가 과체중인 경우, 효과 보정부(370)는 운동 상태에 따른 효과 데이터의 가중치를 증가시켜, 메타버스 캐릭터의 안면 반사도를 더 증가시킬 수 있다. Similarly, the
다시 도 1을 참조하면, 데이터 보정 모듈(300)에서 생성된 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공될 수 있다. 다시 말해서, 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data)에 의해 보정된 모션 데이터(MC_Data), 즉 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공될 수 있다. 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여, 모션에 대한 정보를 포함하는 메타버스 캐릭터의 골격 데이터(SK_Data)를 생성할 수 있다. Referring back to FIG. 1 , the first correction
골격 생성 모듈(400)에서 생성된 골격 데이터(SK_Data)는 리타겟 모듈(500)에 제공될 수 있다. 리타겟 모듈(500)은 골격 데이터(SK_Data)를 이용하여, 캐릭터 리깅 데이터(CR_Data)를 생성할 수 있다. 캐릭터 리깅 데이터(CR_Data)는 미리 디자인된 메타버스 캐릭터 이미지에, 모션에 대한 정보를 포함하는 메타버스 캐릭터의 골격 데이터(SK_Data)가 결합된 데이터일 수 있다. The skeleton data SK_Data generated by the
리타겟 모듈(500)에서 생성된 캐릭터 리깅 데이터(CR_Data)는 메타버스 캐릭터 구현 모듈(600)에 제공될 수 있다. 메타버스 캐릭터 구현 모듈(600)은 예를 들어, 게임 엔진일 수 있다. 또한, 데이터 보정 모듈(300)에서 생성된 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터 구현 모듈(600)에 제공될 수 있다. 메타버스 캐릭터 구현 모듈(600)은 캐릭터 리깅 데이터(CR_Data) 및 제2 보정 데이터(CB_Data#2)를 이용하여 랜더링을 수행함으로써 메타버스 캐릭터(M_C)를 생성할 수 있다. 메타버스 캐릭터 구현 모듈(600)은 메타버스 캐릭터(M_C)를 실시간으로 생성할 수 있으나, 실시예들이 이에 제한되는 것은 아니다.The character rigging data (CR_Data) generated by the
모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)와, 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data)는 데이터 백업 모듈(700)에 저장될 수 있다. 이때, 데이터 백업 모듈(700)에 저장되는 모션 데이터(MC_Data)와 생체 정보 데이터(BM_Data)의 싱크가 서로 동기화되어 저장될 수 있다. 다시 말해서, 모션 데이터(MC_Data)와 생체 정보 데이터(BM_Data)는 생성 시점이 서로 동기화되어, 데이터 백업 모듈(700)에 저장될 수 있다. 몇몇 실시예에 따르면, 보정 가중치를 추가적으로 조절할 필요가 있는 경우, 데이터 백업 모듈(700)에 저장된 모션 데이터(MC_Data) 및 생체 정보 데이터(BM_Data)를 다시 데이터 보정 모듈(300)로 로드하여, 보정 가중치를 조절할 수 있다. 다시 말해서, 메타버스 캐릭터 구현 모듈(600)은 데이터 백업 모듈(700)에 저장된 모션 데이터(MC_Data) 및 생체 정보 데이터(BM_Data)를 로드 및 리테이크(retake)하여 메타버스 캐릭터(M_C)를 재생성할 수 있다.Motion data MC_Data generated by the
몇몇 실시예에 따르면, 메타버스 캐릭터 제작 시스템(1)은 사용자의 움직임을 측정하는 모션 캡쳐 장치(100)에서 생성된 모션 데이터(MC_Data)와, 사용자의 생체 정보를 측정하는 생체 정보 측정 장치(200)에서 생성된 생체 정보 데이터(BM_Data)를 이용하여, 메타버스 캐릭터(M_C)를 생성할 수 있다. 더욱 구체적으로, 메타버스 캐릭터 제작 시스템(1)은 모션 데이터(MC_Data)와 생체 정보 데이터(BM_Data)를 이용하여, 사용자의 생체 정보를 반영한 캐릭터 모션에 대한 제1 보정 데이터(CB_Data#1)와, 사용자의 생체 정보를 반영한 캐릭터 효과에 대한 제2 보정 데이터(CB_Data#2)를 이용하여 메타버스 캐릭터(M_C)를 생성할 수 있다. 따라서, 단순히 사용자의 움직임에만 국한되는 것이 아니라, 사용자의 현재 상태(운동 상태 및 감정 상태)를 모두 반영하여, 이를 메타버스 캐릭터(M_C)에 적용하기 때문에, 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터 제작 시스템(1)은 메타버스 캐릭터(M_C)의 리얼리티를 극대화할 수 있다는 장점이 있다. 또한, 사용자의 현재 상태는 상황에 따라 지속적으로 갱신되기 때문에, 메타버스 캐릭터 제작 시스템(1)에서 생성되는 메타버스 캐릭터(M_C)는 상황 변화에 따라 변경되는 연출을 쉽게 반영할 수 있다는 장점이 있다. 이하에서는, 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터 제작 방법에 대해 설명한다. According to some embodiments, the metaverse
도 10 내지 도 13은 본 발명의 몇몇 실시예에 따른 메타버스 캐릭터의 제작 방법에 대해 설명하기 위한 도면이다. 10 to 13 are diagrams for explaining a method of producing a metaverse character according to some embodiments of the present invention.
도 1 내지 도 10을 참조하면, 사용자별 생체 정보 기록 데이터를 생성하고 운동 상태 구간을 결정할 수 있다(S100). 생체 정보 측정 장치(200)는 사용자의 운동량을 서서히 증가시키면서, 사용자의 생체 정보 데이터(BM_Data)의 범위 및 변화량을 측정하여 생체 정보 기록 데이터를 생성할 수 있다. 데이터 보정 모듈(300)은 생체 정보 기록 데이터에 기록된 생체 정보 데이터의 값 및 데이터 변화량에 따라 사용자의 운동 상태 구간을 구획할 수 있다. Referring to FIGS. 1 to 10 , biometric information recording data for each user may be generated and an exercise state section may be determined (S100). The biometric
도 11을 참조하면, 데이터 보정 모듈(300)은 사용자의 심박수의 증가폭은 상대적으로 크고, 호흡수의 증가폭은 상대적으로 작고, 체온이 증가하고 있는 구간을 제1 운동 상태 구간(S1)으로 결정할 수 있다(S110). Referring to FIG. 11, the
또한, 데이터 보정 모듈(300)은 사용자의 심박수의 증가폭은 상대적으로 작고, 호흡수의 증가폭은 상대적으로 크고, 체온이 증가하고 있는 구간을 제2 운동 상태 구간(S2)으로 결정할 수 있다(S120). In addition, the
또한, 데이터 보정 모듈(300)은 심박수의 증가폭과 호흡수의 증가폭은 상대적으로 작고, 체온은 상대적으로 높으나, 체온이 미세하게 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간(S3)으로 결정할 수 있다(S130). In addition, the
전술한 바와 같이, 제1 운동 상태 구간(S1)은 사용자가 약한 운동을 수행하고 있는 구간일 수 있고, 제2 운동 상태 구간(S2)은 사용자가 중간 운동을 수행하고 있는 구간일 수 있고, 제3 운동 상태 구간(S3)은 사용자가 강한 운동을 수행하고 있는 구간일 수 있다. As described above, the first exercise state section S1 may be a section in which the user is performing a weak exercise, the second exercise state section S2 may be a section in which the user is performing a moderate exercise, and the second exercise state section S2 may be a section in which the user is performing a moderate exercise. The 3 exercise state section S3 may be a section in which the user is performing a strong exercise.
다시 도 10을 참조하면, 데이터 보정 모듈(300)은 사용자의 생체 정보 데이터(BM_Data)를 기초로, 사용자의 운동 상태를 결정할 수 있다(S200). 데이터 보정 모듈(300)은 생체 정보 측정 장치(200)에서 측정된 사용자의 생체 정보 데이터(BM_Data)와, 미리 정한 제1 운동 상태 구간(S1) 내지 제3 운동 상태 구간(S3)을 이용하여, 사용자의 운동 상태를 결정할 수 있다. 예를 들어, 생체 정보 측정 장치(200)에서 측정된 사용자의 생체 정보 데이터(BM_Data)가 제1 운동 상태 구간(S1)에 포함되는 경우, 데이터 보정 모듈(300)은 사용자의 운동 상태를 제1 운동 상태로 결정할 수 있다. 또한, 생체 정보 측정 장치(200)에서 측정된 사용자의 생체 정보 데이터(BM_Data)가 제2 운동 상태 구간(S2)에 포함되는 경우, 데이터 보정 모듈(300)은 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. 또한, 생체 정보 측정 장치(200)에서 측정된 사용자의 생체 정보 데이터(BM_Data)가 제3 운동 상태 구간(S3)에 포함되는 경우, 데이터 보정 모듈(300)은 사용자의 운동 상태를 제3 운동 상태로 결정할 수 있다. 한편, 생체 정보 측정 장치(200)에서 측정된 사용자의 생체 정보 데이터(BM_Data)가 제1 운동 상태 구간(S1)에서 제1 시간 이상 유지된 경우, 데이터 보정 모듈(300)은 사용자의 운동 상태를 제2 운동 상태로 결정할 수 있다. 또한, 생체 정보 측정 장치(200)에서 측정된 사용자의 생체 정보 데이터(BM_Data)가 제2 운동 상태 구간(S2)에서 제2 시간 이상 유지된 경우, 데이터 보정 모듈(300)은 사용자의 운동 상태를 제3 운동 상태로 결정할 수 있다. 몇몇 실시예에 따르면, 사용자의 운동 상태는 실시간으로, 주기적으로 또는 비주기적으로 갱신될 수 있다. Referring back to FIG. 10 , the
데이터 보정 모듈(300)은 사용자의 신체별 체온 변화량을 기초로, 사용자의 감정 상태를 결정할 수 있다(S300). 데이터 보정 모듈(300)은 사용자의 신체별 체온 변화량이 상대적으로 높은지, 중간인지, 상대적으로 낮은지를 기초로, 사용자의 감정 상태를 결정할 수 있다. 예를 들어, 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1), 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높은 경우, 사용자의 감정 상태를 'Fear' 상태로 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1) 내지 제4 체온 변화량(Temp variation#4)이 상대적으로 높은 경우, 사용자의 감정 상태를 'Happiness' 상태로 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1)이 중간이고, 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 상대적으로 낮은 경우, 사용자의 감정 상태를 'Sadness' 상태로 결정할 수 있다. 또한, 데이터 보정 모듈(300)은 제1 체온 변화량(Temp variation#1) 및 제2 체온 변화량(Temp variation#2)이 상대적으로 높고, 제3 체온 변화량(Temp variation#3) 및 제4 체온 변화량(Temp variation#4)이 중간인 경우, 사용자의 감정 상태를 'Pride' 상태로 결정할 수 있다. 몇몇 실시예에 따르면, 사용자의 감정 상태는 실시간으로, 주기적으로 또는 비주기적으로 갱신될 수 있다.The
데이터 보정 모듈(300)은 사용자의 운동 상태 및 사용자의 감정 상태 중 적어도 하나를 기초로, 캐릭터의 움직임에 대한 모션 데이터(MC_Data)를 보정하여 제1 보정 데이터(CB_Data#1)를 생성하고, 캐릭터의 연출 효과에 대한 효과 데이터를 생성하여, 제2 보정 데이터(CB_Data#2)를 생성할 수 있다(S400). 제1 보정 데이터(CB_Data#1)는 메타버스 캐릭터의 골격을 생성하는데 이용되고, 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터에 적용할 연출 효과를 결정하는데 이용될 수 있다. The
도 12를 참조하면, 데이터 보정 모듈(300)은 사용자의 운동 상태를 기초로, 모션 데이터(MC_Data)를 보정할 수 있다(S410). 이때, 데이터 보정 모듈(300)은 사용자의 생체 정보 데이터(BM_Data)를 이용하여, 모션 데이터(MC_Data)를 보정할 수 있다. 예를 들어, 사용자의 운동 상태가 제1 운동 상태인 경우, 데이터 보정 모듈(300)은 사용자의 모션 데이터(MC_Data)에, 사용자의 생체 정보 데이터(BM_Data)에 포함된 사용자의 흡기/호기에 따라, 메타버스 캐릭터의 상체가 미세하게 흔들리도록 모션 데이터(MC_Data)를 보정할 수 있다. Referring to FIG. 12 , the
데이터 보정 모듈(300)은 사용자의 감정 상태를 기초로, 모션 데이터(MC_Data)를 보정할 수 있다(S420). 예를 들어, 데이터 보정 모듈(300)은 사용자의 감정 상태가 'Anger'인 경우, 메타버스 캐릭터의 미간이 좁혀지고, 눈꼬리가 올라가고, 입이 쳐지도록 모션 데이터(MC_Data)를 보정할 수 있다. The
데이터 보정 모듈(300)은 사용자의 운동 상태를 기초로 보정된 모션 데이터의 보정 가중치와, 사용자의 감정 상태를 기초로 보정된 모션 데이터의 보정 가중치를 반영하여, 제1 보정 데이터(CB_Data#1)를 생성할 수 있다(S430). The
도 13을 참조하면, 데이터 보정 모듈(300)은 사용자의 운동 상태를 기초로, 효과 데이터를 생성할 수 있다(S440). 예를 들어, 사용자의 운동 상태가 제2 운동 상태인 경우, 데이터 보정 모듈(300)은 메타버스 캐릭터의 옆머리 반사도 증가 연출 효과를 포함하는 효과 데이터를 생성할 수 있다. Referring to FIG. 13 , the
데이터 보정 모듈(300)은 사용자의 감정 상태를 기초로, 모션 데이터(MC_Data)를 보정할 수 있다(S450). 예를 들어, 데이터 보정 모듈(300)은 사용자의 감정 상태가 'Anger'인 경우, 메타버스 캐릭터의 이마에 힘줄이 표현되는 연출 효과를 포함하는 효과 데이터를 생성할 수 있다. The
데이터 보정 모듈(300)은 사용자의 운동 상태를 기초로 생성된 효과 데이터의 보정 가중치와, 사용자의 감정 상태를 기초로 생성된 효과 데이터의 보정 가중치를 반영하여, 제2 보정 데이터(CB_Data#2)를 생성할 수 있다(S460). The
다시 도 10을 참조하면, 메타버스 캐릭터 구현 모듈(600)은 제1 보정 데이터(CB_Data#1) 및 제2 보정 데이터(CB_Data#2)를 이용하여, 메타버스 캐릭터(M_C)를 생성할 수 있다(S500). 몇몇 실시예에 따르면, 제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공되고, 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여 골격 데이터(SK_Data)를 생성할 수 있다. 골격 데이터(SK_Data)는 리타겟 모듈(500)에 제공될 수 있다. 리타겟 모듈(500)은 골격 데이터(SK_Data)를 이용하여, 캐릭터 리깅 데이터(CR_Data)를 생성할 수 있다. 캐릭터 리깅 데이터(CR_Data)는 메타버스 캐릭터 구현 모듈(600)에 제공될 수 있다. 메타버스 캐릭터 구현 모듈(600)은 캐릭터 리깅 데이터(CR_Data)를 이용하여 메타버스 캐릭터의 모션을 구현하고, 제2 보정 데이터(CB_Data#2)를 이용하여 메타버스 캐릭터의 연출 효과를 구현할 수 있다. Referring to FIG. 10 again, the metaverse
제1 보정 데이터(CB_Data#1)는 골격 생성 모듈(400)에 제공되고, 제2 보정 데이터(CB_Data#2)는 메타버스 캐릭터 구현 모듈(600)에 제공될 수 있다. 골격 생성 모듈(400)은 제1 보정 데이터(CB_Data#1)를 이용하여, 메타버스 캐릭터의 모션 정보를 포함하는 골격 데이터(SK_Data)를 생성할 수 있다. 골격 데이터(SK_Data)는 리타겟 모듈(500)에 제공되고, 리타겟 모듈(500)은 골격 데이터(SK_Data)를 이용하여 캐릭터 리깅 데이터(CR_Data)를 생성할 수 있다. 캐릭터 리깅 데이터(CR_Data)는 메타버스 캐릭터 구현 모듈(600)에 제공되고, 메타버스 캐릭터 구현 모듈(600)은 캐릭터 리깅 데이터(CR_Data) 및 제2 보정 데이터(CB_Data#2)를 이용하여, 메타버스 캐릭터(M_C)를 생성할 수 있다. 이로써 생성된 메타버스 캐릭터(M_C)는 사용자의 현재 상태를 반영하므로, 리얼리티가 극대화될 수 있다. The first correction data (CB_Data#1) may be provided to the
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예는 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present embodiment, and various modifications and variations can be made to those skilled in the art without departing from the essential characteristics of the present embodiment. Therefore, this embodiment is not intended to limit the technical idea of this embodiment, but to explain, and the scope of the technical idea of this embodiment is not limited by this embodiment. The scope of protection of this embodiment should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of rights of this embodiment.
삭제delete
삭제delete
Claims (10)
압력 변화에 따라 상기 사용자의 호흡수를 측정하는 호흡 측정 모듈;
상기 사용자의 심박수를 측정하는 심박 측정 모듈;
상기 사용자의 움직임을 측정하여 모션 데이터를 생성하는 모션 캡쳐 장치;
상기 체온 측정 모듈에서 측정된 상기 사용자의 체온, 상기 호흡 측정 모듈에서 측정된 상기 사용자의 호흡수 및 상기 심박 측정 모듈에서 측정된 상기 사용자의 심박수를 이용하여, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태를 결정하고, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태를 이용하여 상기 모션 데이터를 보정하여 제1 보정 데이터를 생성하고, 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태를 이용하여, 메타버스 캐릭터의 연출 효과를 보정하여 제2 보정 데이터를 생성하는 데이터 보정 모듈; 및
상기 제1 보정 데이터를 이용하여 상기 메타버스 캐릭터의 모션을 구현하고, 상기 제2 보정 데이터를 이용하여 상기 메타버스 캐릭터의 연출 효과를 구현하는 메타버스 캐릭터 구현 모듈을 포함하고,
상기 데이터 보정 모듈은 상기 사용자의 운동량의 증가에 따라 미리 정한 시간 간격 또는 연속적으로, 상기 체온 측정 모듈에서 측정된 상기 사용자의 체온, 상기 호흡 측정 모듈에서 측정된 상기 사용자의 호흡수 및 상기 심박 측정 모듈에서 측정된 상기 사용자의 심박수를 포함하는 생체 정보 기록 데이터를 이용하여 상기 사용자에 대한 운동 상태 구간을 결정하고,
상기 결정된 운동 상태 구간과, 상기 사용자의 체온, 상기 사용자의 호흡수 및 상기 사용자의 심박수를 이용하여, 상기 사용자의 운동 상태를 결정하되,
상기 운동 상태 구간은 상기 사용자의 심박수의 증가폭은 다른 구간의 심박수의 증가폭에 비해 상대적으로 크고, 상기 사용자의 호흡수의 증가폭은 다른 구간의 호흡수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 체온이 증가하는 제1 운동 상태 구간, 상기 사용자의 심박수의 증가폭은 다른 구간의 심박수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 호흡수의 증가폭은 다른 구간의 호흡수의 증가폭에 비해 상대적으로 크고, 상기 사용자의 체온이 증가하는 제2 운동 상태 구간 및 상기 사용자의 심박수의 증가폭은 다른 구간의 심박수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 호흡수의 증가폭은 다른 구간의 호흡수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 체온은 다른 구간의 체온에 비해 상대적으로 높고, 상기 사용자의 체온은 감소하거나 일정하게 유지되는 제3 운동 상태 구간을 포함하고,
상기 체온 측정 모듈, 상기 호흡 측정 모듈 및 상기 심박 측정 모듈은 각각 전자섬유 센서를 포함하는,
메타버스 캐릭터 제작 시스템.
a body temperature measurement module for measuring body temperature for one or more body positions of a user;
Respiration measurement module for measuring the user's respiratory rate according to the pressure change;
a heart rate measurement module that measures a heart rate of the user;
a motion capture device for generating motion data by measuring the motion of the user;
Using the user's body temperature measured by the body temperature measurement module, the user's respiratory rate measured by the respiration measurement module, and the user's heart rate measured by the heart rate measurement module, the user's exercise state and the user's emotion state, correct the motion data using the user's athletic state and the user's emotional state to generate first correction data, and use the user's athletic state and the user's emotional state to metaverse a data correction module generating second correction data by correcting a directing effect of a character; and
A metaverse character implementation module that implements motion of the metaverse character using the first correction data and implements a directing effect of the metaverse character using the second correction data;
The data correction module measures the user's body temperature measured by the body temperature measurement module, the user's respiration rate measured by the respiration measurement module, and the heart rate measurement module at predetermined time intervals or continuously according to the increase in the amount of exercise of the user. determining an exercise state section for the user using biometric information recording data including the user's heart rate measured at
Determine the user's exercise state using the determined exercise state section, the user's body temperature, the user's respiratory rate, and the user's heart rate;
In the exercise state section, the user's heart rate increase is relatively greater than the heart rate increase in other sections, the user's respiratory rate increase is relatively smaller than the user's respiratory rate increase in other sections, and the user's body temperature is In the first exercise state section where the increase in the user's heart rate is relatively small compared to the increase in heart rate in other sections, the increase in the user's respiratory rate is relatively greater than that in other sections, and the user's The second exercise state section in which the body temperature of the user increases and the user's heart rate increase rate is relatively smaller than that of other sections, and the user's respiratory rate increase rate is relatively smaller than that of other sections. , a third exercise state section in which the user's body temperature is relatively high compared to other sections, and the user's body temperature decreases or is maintained constant;
The body temperature measurement module, the respiration measurement module, and the heart rate measurement module each include an electronic fiber sensor,
Metaverse character creation system.
상기 체온 측정 모듈, 상기 호흡 측정 모듈 및 상기 심박 측정 모듈은 의류의 형태로 구현되는,
메타버스 캐릭터 제작 시스템.
According to claim 1,
The body temperature measurement module, the respiration measurement module, and the heart rate measurement module are implemented in the form of clothing,
Metaverse character creation system.
상기 모션 캡쳐 장치는 마커 및 카메라를 포함하고,
상기 마커는 상기 체온 측정 모듈, 상기 호흡 측정 모듈 및 상기 심박 측정 모듈 중 적어도 하나를 포함하는 의류 상에 배치되는,
메타버스 캐릭터 제작 시스템.
According to claim 3,
The motion capture device includes a marker and a camera,
The marker is disposed on clothing including at least one of the body temperature measurement module, the respiration measurement module, and the heart rate measurement module.
Metaverse character creation system.
상기 체온 측정 모듈은 상기 사용자의 얼굴, 몸, 팔 및 다리 각각에 대한 체온을 측정하는,
메타버스 캐릭터 제작 시스템.
According to claim 1,
The body temperature measurement module measures the body temperature for each of the user's face, body, arms and legs,
Metaverse character creation system.
상기 데이터 보정 모듈은 상기 사용자의 얼굴, 몸, 팔 및 다리에 대한 체온 변화량을 기초로, 상기 사용자의 감정 상태를 결정하는, 메타버스 캐릭터 제작 시스템.
According to claim 5,
The data correction module determines the user's emotional state based on the amount of change in body temperature for the user's face, body, arms and legs, metaverse character creation system.
상기 데이터 보정 모듈은 상기 사용자의 운동 상태 및 상기 사용자의 감정 상태 중 적어도 하나를 이용하여, 상기 메타버스 캐릭터에 연출 효과를 부여하기 위한 효과 데이터를 생성하는,
메타버스 캐릭터 제작 시스템.
According to claim 1,
The data correction module uses at least one of the user's athletic state and the user's emotional state to generate effect data for giving a directing effect to the metaverse character,
Metaverse character creation system.
상기 호흡 측정 모듈은 상기 사용자의 가슴 부위에 위치하는,
메타버스 캐릭터 제작 시스템.
According to claim 1,
The respiration measurement module is located on the chest of the user,
Metaverse character creation system.
상기 심박 측정 모듈은 상기 사용자의 손목 부위에 위치하는,
메타버스 캐릭터 제작 시스템.
According to claim 1,
The heart rate measurement module is located on the user's wrist,
Metaverse character creation system.
상기 생체 정보 측정 장치 상에 부착되는 마커와, 상기 마커를 촬영하여 상기 사용자의 모션을 캡쳐하여 모션 데이터를 생성하는 모션 캡쳐 장치;
상기 사용자의 운동량에 따른 생체 정보 데이터를 수집하여 생체 정보 기록 데이터를 생성하고, 상기 생체 정보 기록 데이터를 이용하여 상기 사용자의 운동 상태를 결정하는 운동 상태 결정부;
상기 생체 정보 데이터를 이용하여 상기 사용자의 감정 상태를 결정하는 감정 상태 결정부;
상기 사용자의 운동 상태 및 상기 사용자의 감정 상태를 이용하여, 상기 모션 데이터를 보정하여 제1 보정 데이터를 생성하는 모션 보정부;
상기 사용자의 운동 상태 및 상기 사용자의 감정 상태를 이용하여, 메타버스 캐릭터의 연출 효과를 보정하여 제2 보정 데이터를 생성하는 효과 보정부; 및
상기 제1 보정 데이터 및 상기 제2 보정 데이터를 이용하여, 상기 메타버스 캐릭터를 생성하는 메타버스 캐릭터 구현 모듈을 포함하고,
상기 운동 상태 결정부는,
상기 생체 정보 기록 데이터를 참고하여, 상기 사용자의 심박수의 증가폭은 다른 구간의 심박수의 증가폭에 비해 상대적으로 크고, 상기 사용자의 호흡수의 증가폭은 다른 구간의 호흡수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 체온이 증가하는 구간을 제1 운동 상태 구간으로 결정하고, 상기 사용자의 심박수의 증가폭은 다른 구간의 심박수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 호흡수의 증가폭은 다른 구간의 호흡수의 증가폭에 비해 상대적으로 크고, 상기 사용자의 체온이 증가하는 구간을 제2 운동 상태 구간으로 결정하고, 상기 사용자의 심박수의 증가폭은 다른 구간의 심박수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 호흡수의 증가폭은 다른 구간의 호흡수의 증가폭에 비해 상대적으로 작고, 상기 사용자의 체온은 다른 구간의 체온에 비해 상대적으로 높고, 상기 사용자의 체온이 감소하거나 일정하게 유지되는 구간을 제3 운동 상태 구간으로 결정하고,
상기 사용자의 생체 정보 데이터와 상기 제1 운동 상태 구간 내지 상기 제3 운동 상태 구간을 비교하여, 상기 사용자의 운동 상태를 결정하는,
메타버스 캐릭터 제작 시스템.
a biometric information measuring device composed of an electronic textile sensor and generating biometric data by measuring biometric information including a user's body temperature, respiratory rate, and heart rate;
a motion capture device generating motion data by capturing a motion of the user by photographing a marker attached to the biometric information measurement device;
an exercise state determiner configured to collect biometric information data according to the amount of exercise of the user, generate biometric information recording data, and determine an exercise state of the user by using the biometric information recording data;
an emotional state determination unit configured to determine an emotional state of the user by using the biometric information data;
a motion compensator generating first correction data by compensating the motion data using the user's motion state and the user's emotional state;
an effect correction unit generating second correction data by correcting a production effect of a metaverse character using the user's motion state and the user's emotional state; and
A metaverse character implementation module for generating the metaverse character using the first correction data and the second correction data,
The movement state determining unit,
Referring to the biometric information recording data, the increase of the user's heart rate is relatively greater than that of other sections, and the increase of the user's respiratory rate is relatively smaller than that of other sections. The interval in which the user's body temperature increases is determined as the first exercise state interval, the increase in the user's heart rate is relatively small compared to the increase in the heart rate in other intervals, and the increase in the user's respiratory rate is the respiratory rate in the other intervals. A section in which the user's body temperature increases is determined as the second exercise state section, and the user's heart rate increase is relatively small compared to the heart rate increase in other sections, and the user's respiratory rate The range of increase is relatively small compared to the range of increase in respiratory rate in other intervals, the user's body temperature is relatively higher than that of other intervals, and the interval in which the user's body temperature decreases or remains constant is determined as the third exercise state interval. do,
determining the user's exercise state by comparing the user's biometric information data with the first exercise state section to the third exercise state section;
Metaverse character creation system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220076413A KR102517396B1 (en) | 2022-06-22 | 2022-06-22 | Metaverse character making system using biometric information measured using an electronic fiber sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220076413A KR102517396B1 (en) | 2022-06-22 | 2022-06-22 | Metaverse character making system using biometric information measured using an electronic fiber sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102517396B1 true KR102517396B1 (en) | 2023-04-04 |
Family
ID=85929155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220076413A KR102517396B1 (en) | 2022-06-22 | 2022-06-22 | Metaverse character making system using biometric information measured using an electronic fiber sensor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102517396B1 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040096799A (en) | 2004-06-30 | 2004-11-17 | 주식회사 연세교육미디어 | On/off line integrate education system using interactive publication and embodiment method thereof |
| JP2009502335A (en) * | 2005-07-26 | 2009-01-29 | ヴィヴォメトリクス・インク | Computer interface with physiologically guided avatar |
| KR20140015679A (en) * | 2012-07-06 | 2014-02-07 | (주)에스엔 | 3d health avatar service system using emotion-complex sensor |
| KR20160138793A (en) * | 2015-05-26 | 2016-12-06 | 한국전자통신연구원 | User emotion state information providing apparatus using a social network service and method therefor |
| US20210326962A1 (en) * | 2015-01-16 | 2021-10-21 | Brooks Sports, Inc. | Systems and methods for analyzing lower body movement to recommend footwear |
-
2022
- 2022-06-22 KR KR1020220076413A patent/KR102517396B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040096799A (en) | 2004-06-30 | 2004-11-17 | 주식회사 연세교육미디어 | On/off line integrate education system using interactive publication and embodiment method thereof |
| JP2009502335A (en) * | 2005-07-26 | 2009-01-29 | ヴィヴォメトリクス・インク | Computer interface with physiologically guided avatar |
| KR20140015679A (en) * | 2012-07-06 | 2014-02-07 | (주)에스엔 | 3d health avatar service system using emotion-complex sensor |
| US20210326962A1 (en) * | 2015-01-16 | 2021-10-21 | Brooks Sports, Inc. | Systems and methods for analyzing lower body movement to recommend footwear |
| KR20160138793A (en) * | 2015-05-26 | 2016-12-06 | 한국전자통신연구원 | User emotion state information providing apparatus using a social network service and method therefor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10813559B2 (en) | Detecting respiratory tract infection based on changes in coughing sounds | |
| US20210280322A1 (en) | Wearable-based certification of a premises as contagion-safe | |
| US20190313915A1 (en) | Posture-adjusted calculation of physiological signals | |
| US11103140B2 (en) | Monitoring blood sugar level with a comfortable head-mounted device | |
| CN114981844A (en) | 3D body model generation | |
| KR20210011424A (en) | Image processing method and apparatus, image device, and storage medium | |
| KR102469274B1 (en) | Metaverse character making system and method for using biometric information | |
| CN108513089B (en) | Method and device for group video session | |
| US11836862B2 (en) | External mesh with vertex attributes | |
| JP6489726B1 (en) | 3D data system and 3D data processing method | |
| WO2023039462A1 (en) | Body fitted accessory with physics simulation | |
| KR102495136B1 (en) | Metaverse character making system for using user tracking and image analysis | |
| KR101913811B1 (en) | A method for analysing face information, and an appratus for analysing face information to present faces, identify mental status or compensate it | |
| KR102517396B1 (en) | Metaverse character making system using biometric information measured using an electronic fiber sensor | |
| KR102517395B1 (en) | Metaverse character making system and method for using biometric information | |
| EP4160545A1 (en) | Three-dimensional avatar generation device, three-dimensional avatar generation method, and three-dimensional avatar generation program | |
| KR102493882B1 (en) | Metaverse character making system for using image analysis | |
| KR102493097B1 (en) | Metaverse character making system and method for image analysis data | |
| US11430168B2 (en) | Method and apparatus for rigging 3D scanned human models | |
| KR20230173638A (en) | Method, system, and non-transitory computer-readable recording medium for authoring an animation | |
| KR102247481B1 (en) | Device and method for generating job image having face to which age transformation is applied | |
| KR102461267B1 (en) | Metaverse character making system and method for using voice data | |
| WO2023035725A1 (en) | Virtual prop display method and apparatus | |
| KR102534876B1 (en) | Method and apparatus for determining the breathing status of a person using a depth camera | |
| WO2022024191A1 (en) | Information processing device and information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |