KR101456162B1 - Real time 3d simulator using multi-sensor scan including x-ray for the modeling of skeleton, skin and muscle reference model - Google Patents
Real time 3d simulator using multi-sensor scan including x-ray for the modeling of skeleton, skin and muscle reference model Download PDFInfo
- Publication number
- KR101456162B1 KR101456162B1 KR1020120118971A KR20120118971A KR101456162B1 KR 101456162 B1 KR101456162 B1 KR 101456162B1 KR 1020120118971 A KR1020120118971 A KR 1020120118971A KR 20120118971 A KR20120118971 A KR 20120118971A KR 101456162 B1 KR101456162 B1 KR 101456162B1
- Authority
- KR
- South Korea
- Prior art keywords
- cameras
- user
- depth
- ray
- simulator
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
본원 발명은 상기 언급된 종래 기술의 문제점들을 해결하기 위한 것으로서, 분장/화장/미용/패션 분야에서 사용되는 시뮬레이터에 있어서, 사용자가 분장, 화장 등을 한 상태를 실시간으로 3D 이미지로 확인할 수 있는 시뮬레이터를 제공하고자 한다.
본원 발명의 일 실시예에 따라, 실시간 3D 시뮬레이터가 제공된다. 상기 실시간 3D 시뮬레이터는, 사용자의 외형을 촬영하기 위한 하나 이상의 카메라들; 상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝하기 위한 하나 이상의 3D 깊이 카메라들; 상기 사용자의 골격을 스캐닝하기 위한 하나 이상의 X-레이 카메라들; 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력하기 위한 입력 장치; 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들, 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들 및 상기 입력된 콘텐츠를 렌더링하기 위한 렌더링 수단; 인간의 신체의 근육의 움직임에 관한 정보가 저장되어 있는 메모리부; 상기 메모리부에 저장되어 있는 정보를 기초로, 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보에 따라 상기 사용자의 신체의 전체적인 변화를 연산하는 연산부; 및 상기 렌더링 수단으로부터 출력된 영상을 표시하기 위한 표시 수단을 포함하고, 상기 렌더링 수단은, 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 참조 모델을 형성하고, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링할 수 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide a simulator for use in a makeup / makeup / beauty / fashion field, ≪ / RTI >
According to one embodiment of the present invention, a real-time 3D simulator is provided. The real-time 3D simulator includes: one or more cameras for capturing an appearance of a user; One or more 3D depth cameras for scanning depth information of a specific point of the user's body; One or more X-ray cameras for scanning the skeleton of the user; An input device for inputting contents to be simulated by a user; Rendering means for rendering the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras and the input content; A memory unit for storing information on a motion of a muscle of a human body; An operation unit for calculating an overall change of the user's body based on depth information from the one or more 3D depth cameras based on the information stored in the memory unit; And display means for displaying an image output from the rendering means, wherein the rendering means comprises: means for determining, from images obtained from the one or more cameras, the one or more 3D depth cameras and the one or more X-ray cameras A reference model can be formed and the image of the user's body reflecting the contents in real time can be rendered according to the calculation result from the operation unit.
Description
본 발명은 3D 시뮬레이터에 관한 것으로서, 더 구체적으로 카메라, X-레이 및 TOF 센서를 포함하는 멀티 스캔 센서를 사용한 실시간 3D 시뮬레이터에 관한 것이다. The present invention relates to a 3D simulator, and more particularly, to a real-time 3D simulator using a multi-scan sensor including a camera, an X-ray, and a TOF sensor.
현재 제안되고 있는 화장시뮬레이터나 헤어 스타일 시뮬레이터와 같은 분장 시뮬레이터는 카메라로부터 들어오는 이미지 위에 화상 효과를 첨부하여 보여 주거나, 머리의 2D 이미지를 보여주는 사진 위에 효과를 주는 방식으로 사용되는 프로그램들이 사용되고 있다. 이러한 시뮬레이터는 실시간이 아니라 이미 촬영된 사진을 이용하여 효과를 주는 시뮬레이션 프로그램 수준이다. Currently, a makeup simulator such as a makeup simulator or a hair style simulator is used to show an image effect on an image coming from a camera, or to use an effect on a picture showing a 2D image of a head. Such a simulator is not a real-time simulation program, but rather a simulation program that uses images already taken.
2009년 2월 19일자로 국제 공개된 국제 공개번호 WO2009022631호를 참조하면, 실시간 화장 시뮬레이터로서, 카메라를 사용하여 실시간으로 거울을 보듯 컴퓨터 화면을 보며 화장한 후의 효과를 볼 수 있도록 하여 실제로 화장을 하지 않으면서도 마치 화장한 얼굴을 거울로 보는 것처럼 하는 화장 시뮬레이터를 출시하고 있다. Referring to International Publication No. WO2009022631, published on February 19, 2009, as a real-time makeup simulator, it is possible to use a camera to look at a computer screen in real time as a mirror, It is also launching a makeup simulator that looks like a makeup face as a mirror.
상기 국제 출원에 따르면, 사용자의 얼굴을 촬영한 동화상에 메이크업을 실시하는 메이크업 시뮬레이션 시스템으로서, 사용자의 얼굴을 촬영하고 동화상을 출력하는 촬영수단과, 상기 촬영수단으로부터 출력된 동화상을 수신하고, 상기 동화상을 화상처리하여 출력하는 제어수단과, 상기 제어수단으로부터 출력된 동화상을 표시하는 표시수단을 구비하고, 상기 제어수단은, 상기 동화상으로부터 사용자의 얼굴을 소정의 트랙킹 포인트에 기초하여 인식하는 얼굴인식 처리수단과, 상기 트랙킹 포인트에 기초하여 상기 동화상에 포함되는 사용자의 얼굴에 소정의 메이크업을 실시하여 상기 표시수단에 출력하는 메이크업 처리수단을 구비하고, 상기 메이크업 처리수단에 포함되는 립스틱 처리수단은, 상기 트랙킹 포인트에 포함되는 윗입술의 산과 골의 위치, 입의 좌우단, 아랫입술의 하단 외에, 아랫입술에 있어서의 좌단으로부터 입 크기의 1/3의 위치 및 아랫입술에 있어서의 우단으로부터 입 크기의 1/3의 위치에 기초하여, 상기 동화상에 포함되는 사용자의 얼굴에 립스틱처리를 실시하는 것을 특징으로 하는 메이크업 시뮬레이션 시스템이 개시되어 있다. According to the above-mentioned international application, a makeup simulation system for making a makeup on a moving image photographed by a user's face, comprising: photographing means for photographing a face of a user and outputting a moving image; And a display means for displaying a moving image output from the control means, wherein the control means performs a face recognition process for recognizing a face of the user from the moving image on the basis of a predetermined tracking point And make-up processing means for applying a predetermined make-up to a face of a user included in the moving image based on the tracking point and outputting the make-up to the display means, wherein the lipstick processing means included in the make- The top and bottom mountains of the tracking point The position of the mouth, the left and right ends of the mouth, the lower end of the lower lip, the position of 1/3 of the mouth size from the left end of the lower lip, and the position of 1/3 of the mouth size from the right end of the lower lip, And a lipstick process is performed on the face of the user included in the makeup simulation system.
또한, 안경을 써본 듯한 효과를 눈으로 확인할 수 있는 안경 시뮬레이터 역시 카메라로부터 입력되는 2D 얼굴 이미지 중 중요한 부분인 눈과 같은 포인트를 추적하고 얼굴 부위의 생김을 추적하여, 얼굴면의 방향이나 위치를 실시간으로 계산해 그 위치에 3D의 안경을 장착했을 때의 이미지를 구현해 합성하는 방식을 사용하고 있다. In addition, the eyeglass simulator, which can confirm the effect of using the glasses, can track the points such as the eye, which is an important part of the 2D face image inputted from the camera, track the appearance of the face part, , And the image is synthesized by using 3D glasses attached to the position.
즉, 2D 카메라로부터 얼굴의 주요 포인트를 통해 장착할 안경 등의 3D 모델의 카메라 영상에의 프로젝션될 이미지를 실시간 3D 렌더링을 통해 합성하는 방식으로 3D 오브젝트들을 실시간으로 입력되는 카메라 영상에 합성하는 AR 프로그램 형태로 발전되어 오고 있다. In other words, an AR program that synthesizes 3D objects into a camera image input in real time by synthesizing an image to be projected on a camera image of a 3D model such as glasses to be mounted through a main point of a face from a 2D camera, .
의상 시뮬레이터 부분에서는 실제와 유사한 의상의 움직임을 스프링 댐퍼 등의 모델로 시뮬레이션하는 기법이 개발되어 마치 실제 의상이 몸에 걸쳐지는 듯한 느낌들을 표현하고 있다. In the costume simulator section, a technique of simulating the movement of the actual costume with a model such as a spring damper is developed and expresses the feeling that the actual costume is spread over the body.
3D 물체의 실시간 시뮬레이션은 3D 아바타가 실시간으로 실제처럼 움직이게 하는 다양한 기법들이 개발되어 동물들의 몸이나 입 등의 움직임을 실제처럼 실시간으로 표현하기 시작했다. In real-time simulation of 3D objects, various techniques have been developed to make 3D avatars move in real-time.
하지만, 이와 같은 종래의 기술에 따르면, 아직 얼굴의 움직임을 실시간으로 표현해 내는 것이 불가능하고, 특수 분장된 킹콩의 얼굴이나 나이가 들게 만든 피부나 수염이 함께 변화되고 이것이 좌우 혹은 뒤에서의 다시점으로 보여지게 하거나 또는 복수의 스크린에 동시에 거울을 보듯이 보여지게 하는 것이 불가능하고, 실시간으로 머리를 3D로 만들어, 앞, 뒤, 좌, 우 등의 시점에서 머리를 움직이며 머리가 흔들리는 효과가 실제로 볼 수 있도록 하는 시뮬레이션은 불가능하며, 옷을 입었을 때 어떻게 의상이 변화되거나 움직임으로 인한 신체 부위의 움직임(예를 들어, 걸을 때의 가슴의 흔들림이나 엉덩이의 근육의 변화 등)이 일어나는 지를 3D 장면으로 보여주는 것은 불가능하다. However, according to the conventional technique as described above, it is impossible to express the movement of the face in real time, and the face of the specially-dressed King Kong or the aged skin or the beard are changed together, It is impossible to make it appear as if you are watching a mirror on multiple screens at the same time. It is possible to see the effect of moving your head from front, back, left, right, etc. It is impossible to simulate how to make a 3D scene to show how clothing changes when wearing clothes or movements of parts of the body due to movement (for example, chest fluctuations when walking or muscle changes in the hips) impossible.
위와 같은 기술들을 이용하는 분장/화장/미용/패션 시뮬레이터들은 2D 비디오의 입력에 3D 화장 기법을 적용하여 실시간으로 해당 부위의 형상의 변화 등을 보여 주거나 3D 아바타와 같은 물체에 의상을 입히는 시뮬레이션 기법을 보여주고 있다. The makeup / cosmetics / beauty / fashion simulators using the above techniques show the simulation of the change of the shape of the relevant part in real time by applying the 3D makeup technique to the input of the 2D video, or the simulation technique of applying the costume to the object such as the 3D avatar Giving.
카메라를 한 개만 사용하는 방식의 시뮬레이터는 카메라에서 들어오는 2D 이미지에 화장 또는 분장 재로의 영상 정보를 첨가하는 방식으로 실시간으로 얼굴의 주요 부위 등을 트래킹하여 해당 또는 분장의 내용을 정확한 위치에 합성시켜 이를 화면에 보여주는 방식을 사용하고 있어 카메라로부터 입력되는 영상에 비디오를 붙여 넣어 보여주는 형식이다. A simulator that uses only one camera is a method of adding image information to a 2D image coming from a camera to a makeup or a dressing material so as to track the main parts of the face in real time and synthesize the content of the corresponding or the dress to the correct position It uses the method shown on the screen, and it shows the video pasted on the video input from the camera.
따라서, 분장/화장/미용/패션 시뮬레이터에 있어서, 머리나 의상을 장착했을 때의 전면부가 아닌 좌, 우, 또는 뒷면의 모습을 동시에 실시간으로 보여줄 수 있는 기술이 존재하지 않고 있다. Therefore, there is no technology that can simultaneously display the left, right, or back side views of the dress / makeup / beauty / fashion simulator in real time at the same time when the head or the costume is mounted.
이와 같은 종래의 기술의 문제점을 해결하기 위해서는, 얼굴 부위의 시뮬레이션을 위해 얼굴의 뼈 부위와 살갗 부위를 별개로 모델링하는 기법이 필요하고, 신체의 시뮬레이션을 위해서는 신체의 뼈대와 피부 부위의 유한 체적 모델링이 새롭게 개발되어야 한다.
In order to solve the problems of the conventional art, there is a need for a technique for modeling the facial bone part and the saliva part separately for the simulation of the facial part. In order to simulate the body, finite volume modeling of the skeleton and skin part of the body Should be newly developed.
하기 설명은 본 발명의 실시예에 대한 기본적인 이해를 제공하기 위해서 하나 이상의 실시예들의 간략화된 설명을 제공한다. 본 섹션은 모든 가능한 실시예들에 대한 포괄적인 개요는 아니며, 모든 엘리먼트들 중 핵심 엘리먼트를 식별하거나, 모든 실시예의 범위를 커버하고자 할 의도도 아니다. 그 유일한 목적은 후에 제시되는 상세한 설명에 대한 도입부로서 간략화된 형태로 하나 이상의 실시예들의 개념을 제공하기 위함이다.
The following description provides a simplified description of one or more embodiments in order to provide a basic understanding of embodiments of the invention. This section is not a comprehensive overview of all possible embodiments and is not intended to identify key elements or to cover the scope of all embodiments of all elements. Its sole purpose is to present the concept of one or more embodiments in a simplified form as a prelude to the more detailed description that is presented later.
본원 발명은 상기 언급된 종래 기술의 문제점들을 해결하기 위한 것으로서, 분장/화장/미용/패션 분야에서 사용되는 시뮬레이터에 있어서, 사용자가 분장, 화장 등을 한 상태를 실시간으로 3D 이미지로 확인할 수 있는 시뮬레이터를 제공하고자 한다.
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide a simulator for use in a makeup / makeup / beauty / fashion field, ≪ / RTI >
본원 발명의 일 실시예에 따라, 실시간 3D 시뮬레이터가 제공된다. 상기 실시간 3D 시뮬레이터는, 사용자의 외형을 촬영하기 위한 하나 이상의 카메라들; 상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝하기 위한 하나 이상의 3D 깊이 카메라들; 상기 사용자의 골격을 스캐닝하기 위한 하나 이상의 X-레이 카메라들; 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력하기 위한 입력 장치; 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들, 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들 및 상기 입력된 콘텐츠를 렌더링하기 위한 렌더링 수단; 인간의 신체의 근육의 움직임에 관한 정보가 저장되어 있는 메모리부; 상기 메모리부에 저장되어 있는 정보를 기초로, 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보에 따라 상기 사용자의 신체의 전체적인 변화를 연산하는 연산부; 및 상기 렌더링 수단으로부터 출력된 영상을 표시하기 위한 표시 수단을 포함하고, 상기 렌더링 수단은, 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 참조 모델을 형성하고, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링할 수 있다. According to one embodiment of the present invention, a real-time 3D simulator is provided. The real-time 3D simulator includes: one or more cameras for capturing an appearance of a user; One or more 3D depth cameras for scanning depth information of a specific point of the user's body; One or more X-ray cameras for scanning the skeleton of the user; An input device for inputting contents to be simulated by a user; Rendering means for rendering the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras and the input content; A memory unit for storing information on a motion of a muscle of a human body; An operation unit for calculating an overall change of the user's body based on depth information from the one or more 3D depth cameras based on the information stored in the memory unit; And display means for displaying an image output from the rendering means, wherein the rendering means comprises: means for determining, from images obtained from the one or more cameras, the one or more 3D depth cameras and the one or more X-ray cameras A reference model can be formed and the image of the user's body reflecting the contents in real time can be rendered according to the calculation result from the operation unit.
본원 발명의 또다른 실시예에 따라, 3D 영상을 실시간으로 시뮬레이션하기 위한 방법이 제공된다. 상기 방법은, 하나 이상의 카메라들을 이용하여, 사용자의 외형을 촬영하는 단계; 하나 이상의 3D 깊이 카메라들을 이용하여, 상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝하는 단계; 하나 이상의 X-레이 카메라들을 이용하여, 상기 사용자의 골격을 스캐닝하는 단계; 렌더링 수단을 이용하여, 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 참조 모델을 형성하는 단계; 입력 장치를 이용하여, 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력하는 단계; 상기 하나 이상의 3D 깊이 카메라들을 이용하여, 상기 사용자의 신체의 특정 포인트의 움직임을 트래킹하는 단계; 연산부를 이용하여, 메모리부에 저장되어 있는 인간의 신체의 근육의 움직임에 관한 정보 및 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보에 기초하여 상기 사용자의 신체의 전체적인 변화를 연산하는 단계; 및 상기 렌더링부를 이용하여, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링하는 단계를 포함할 수 있다.
According to another embodiment of the present invention, a method for real time simulation of a 3D image is provided. The method includes the steps of photographing a user's appearance using one or more cameras; Scanning depth information of a specific point of the user's body using one or more 3D depth cameras; Scanning the skeleton of the user using one or more X-ray cameras; Using the rendering means to form a reference model from the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras; Inputting a content to be simulated by a user using an input device; Using the one or more 3D depth cameras to track movement of a particular point of the user's body; Calculating an overall change of the user's body based on information on the movement of the muscles of the human body stored in the memory unit and depth information from the one or more 3D depth cameras using the operation unit; And rendering the user's body image reflecting the contents in real time according to the calculation result from the operation unit using the rendering unit.
이와 같은 구성에 따르면, X-레이를 통해 얻어진 골격 영상을 활용하고, 인간의 신체의 근육의 움직임에 관한 정보가 저장되어 있는 메모리부저장되어 있는 정보를 기초로, 상기 사용자의 신체의 전체적인 변화를 연산하기 때문에, 실시간으로 분장, 미용, 화장 및 패션 등의 시뮬레이션을 제공할 수 있다. According to this configuration, the skeleton image obtained through the X-ray is utilized, and based on the information stored in the memory section in which the information on the motion of the muscles of the human body is stored, So that it is possible to provide simulations such as makeup, beauty, makeup and fashion in real time.
상술한 목적 및 관련된 목적을 달성하기 위해서, 하나 이상의 실시예들이 아래에서 설명되고, 특히 청구항에서 특정되는 특징들을 포함한다. 하기 설명 및 관련 도면은 이러한 실시예들의 예시적인 양상들을 보다 상세히 설명한다. 이러한 양상들은 단지 일 예일 뿐이며, 다양한 변형이 가능함을 당업자는 잘 이해할 수 있을 것이다. 또한, 제시된 실시예들은 이러한 실시예들 및 이러한 실시예들의 균등물 모두를 포함하는 것으로 해석된다.
To the accomplishment of the foregoing and related ends, the one or more embodiments comprise the features hereinafter described and particularly pointed out in the claims. The following description and the annexed drawings set forth in further detail certain illustrative aspects of these embodiments. Those skilled in the art will appreciate that these aspects are merely exemplary and that various modifications are possible. Furthermore, the presented embodiments are construed to include both these embodiments and equivalents of such embodiments.
관습에 따라 도면의 다양한 특징들은 실측에 따라 도시되지 않을 수 있다. 따라서, 다양한 특징들의 치수들은 간명성을 위하여 임의로 확대되거나 감소될 수 있다. 또한, 도면의 일부가 간명성을 위해 단순화될 수 있다. 따라서, 도면은 제시된 장치(예를 들어 디바이스) 또는 방법의 모든 컴포넌트들을 도시하지 않을 수도 있다. 마지막으로, 유사한 도면번호들이 상세한 설명 및 도면 전반에서 유사한 특징들을 나타내는데 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 실시간 3D 시뮬레이터 시스템을 도시한다.
도 2는 본 발명의 일 실시예에 따라 X-레이 카메라를 이용한 사용자의 골격의 스캐닝을 도시한다.
도 3은 현재 알려져 있는 얼굴 근육의 움직임을 도시한다.
도 4는 본 발명의 일 실시예에 따른 실시간 3D 시뮬레이터 시스템의 구조도이다.
도 5는 본 발명의 일 실시예에 따라 실시간 3D 시뮬레이터 시스템에서 실시간으로 3D 시뮬레이션을 실행하는 흐름도이다. Various features of the drawings may not be shown in accordance with the practice, depending on the practice. Thus, the dimensions of the various features may optionally be enlarged or reduced for simplicity. Also, some of the figures may be simplified for simplicity. Accordingly, the drawings may not show all components of the presented device (e.g., device) or method. Finally, like reference numerals can be used to describe similar features throughout the description and drawings.
Figure 1 illustrates a real-time 3D simulator system in accordance with an embodiment of the present invention.
FIG. 2 illustrates scanning of a user's skeleton using an X-ray camera according to an embodiment of the present invention.
Figure 3 shows the currently known movements of the facial muscles.
4 is a structural diagram of a real-time 3D simulator system according to an embodiment of the present invention.
5 is a flowchart illustrating the real-time 3D simulation execution in a real-time 3D simulator system according to an embodiment of the present invention.
다양한 실시예들이 이제 도면을 참조하여 설명되며, 전체 도면에서 걸쳐 유사한 도면번호는 유사한 엘리먼트를 나타내기 위해서 사용된다. 설명을 위해 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 특정 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이아그램 형태로 제시된다.Various embodiments are now described with reference to the drawings, wherein like reference numerals are used throughout the drawings to refer to like elements. For purposes of explanation, various descriptions are set forth herein to provide an understanding of the present invention. It is evident, however, that such embodiments may be practiced without these specific details. In other instances, well-known structures and devices are shown in block diagram form in order to facilitate describing the embodiments.
도 1은 본 발명의 일 실시예에 따른 실시간 3D 시뮬레이터 시스템을 도시한다. Figure 1 illustrates a real-time 3D simulator system in accordance with an embodiment of the present invention.
도 1을 참고하면, 카메라(101), X-레이 카메라(102), 컴퓨터(103), 입력 및 표시 장치(104) 및 회전식 의자(105)가 도시되어 있다. 1, a
본원 발명의 일 실시예에 따르면, 사용자(106)가 회전식 의자(105)에 앉으면 카메라(101)로 외형 및 깊이 정보를 촬영하고, X-레이 카메라(102)로 사용자의 골격을 촬영한다. 또한, 회전식 의자(105)이기 때문에 사용자(106)를 360도 촬영할 수 있다. 상기 카메라(101)로부터의 외형의 영상 및 깊이 정보와 X-레이 카메라(102)로부터의 사용자의 골격 정보를 결합하여 사용자(106)의 영상에 관한 참조 모델을 생성할 수 있다. According to one embodiment of the present invention, when the user 106 sits on the
사용자(106)의 형상에 관한 참조 모델이 만들어지면, 이로부터 사용자(106)의 깊이 정보가 변화하는 것을 스캐닝하고, 이를 기초로 사용자(106)의 변화된 영상을 실시간으로 구현하고, 그 위에 입력 및 표시 장치(104)로 입력되는 콘텐츠들을 사용자(106)의 영상에 효과로서 입힐 수 있다. When the reference model related to the shape of the user 106 is created, the change in depth information of the user 106 is scanned from the reference model, and the changed image of the user 106 is real- The contents input to the
이와 같은 구성으로 인하여, 사용자가 움직이더라도 콘텐츠가 입혀진 영상을 실시간으로 구현할 수 있어 실시간 3D 시뮬레이션을 실행할 수 있게 된다. With such a configuration, even if the user moves, the image on which the content is embedded can be implemented in real time, and real-time 3D simulation can be executed.
본원 발명의 일 실시예에 따르면, 카메라(101)는 하나 이상의 카메라들 및 하나 이상의 깊이 카메라들을 포함할 수 있다. 상기 하나 이상의 카메라들은 사용자의 외형을 촬영하기 위한 것이다. 또한, 상기 하나 이상의 깊이 카메라들은 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝하기 위한 것이다. According to one embodiment of the present invention, the
본원 발명의 일 실시예에 따르면, X-레이 카메라(102)는 하나 이상의 X-레이 카메라들을 포함할 수 있다. 상기 하나 이상의 X-레이 카메라들은 사용자의 골격을 촬영함으로써, 예를 들어, 머리 부분을 촬영하였을 때, 사람의 뼈대, 피부 및 헤어로 분리할 수 있도록 촬영할 수 있다. 이와 같이, X-레이 카메라에 의해 촬영된 영상의 일 예시는 도 2에 도시되어 있다. According to one embodiment of the present invention, the
도 2에 따르면, X-레이 영상에 의해 사람의 뼈대, 피부 및 헤어 부분을 분리하여 영상을 얻어낼 수 있고, 이와 같은 영상을 토대로 변형되지 않는 뼈대에 피부나 헤어의 변화된 영상만을 추적하고 형상화하면 되기 때문에, 시뮬레이션 영상을 구현할 때 계산량을 대폭 줄일 수 있다. According to FIG. 2, an image can be obtained by separating a human skeleton, a skin, and a hair part by an X-ray image, and only a changed image of skin or hair can be tracked and formed on a skeleton that is not deformed based on the image The amount of computation can be greatly reduced when a simulation image is implemented.
본원 발명의 일 실시예에 따르면, 상기 컴퓨터(103)는 연산부, 메모리부 및 렌더링부를 포함할 수 있다. According to an embodiment of the present invention, the
상기 렌더링부는 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 3D 참조 모델을 형성할 수 있다. 상기 렌더링부에서는 상기 3D 참조 모델을 형성해 둠으로써, 추후에 일정한 영상의 변화에 따라 그 변화의 정도만 계산하면 변화된 영상을 구현할 수 있도록 한다. 이와 같은 3D 참조 모델은 사용자 각각에 대하여 미리 메모리부에 저장될 수 있다. The rendering unit may form a 3D reference model from the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras. The rendering unit forms the 3D reference model so that the changed image can be implemented by calculating only the degree of the change in accordance with a constant image change in the future. Such a 3D reference model can be stored in advance in the memory unit for each user.
상기 메모리부는 인간의 신체의 근육의 움직임에 관한 정보가 저장되어 있을 수 있다. 예를 들어, 상기 메모리부에는 얼굴의 중요한 포인트들의 움직임을 측정하면, 얼굴 전체의 움직임을 예측할 수 있는 정보들이 저장되어 있을 수 있다. 현재 얼굴의 일부 근육의 움직임만으로 전체 얼굴의 움직임을 추정할 수 있는 여러 가지 연구들이 행해지고 있다. The memory unit may store information on the motion of the muscles of the human body. For example, when the motion of important points on the face is measured, information that can predict the motion of the entire face may be stored in the memory unit. Various studies have been conducted to estimate the motion of the entire face by only the movement of some muscles of the face.
도 3은 현재 알려져 있는 얼굴 근육의 움직임을 도시한다. Figure 3 shows the currently known movements of the facial muscles.
얼굴의 표정을 관리하는 근육은 대략 11개 정도로 세분화할 수 있고 각 근육은 수축 이완을 하는 1방향성 움직임을 특징으로 하고 있어 각 부위의 상대 거리를 측정하면 근육 이완의 양을 추정할 수 있고 이 경우 각 유한 요소 모델(finite element model)의 변화를 Iso Volume 모델 기반 Elastic-Plastic 모델로 시뮬레이션하는 것이 가능하게 된다. The muscles that manage facial expressions can be subdivided into about 11, and each muscle is characterized by unidirectional movement that relaxes and contracts, so that measuring the relative distance of each part can estimate the amount of muscle relaxation. In this case It becomes possible to simulate the change of each finite element model in the Elastic-Plastic model based on the Iso Volume model.
상기 연산부는 상기 메모리부에 저장되어 있는 정보를 기초로, 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보에 따라 상기 사용자의 신체의 전체적인 변화를 연산할 수 있다. 예를 들어, 상기 하나 이상의 깊이 카메라를 이용하여 도 3에 4 및 5로써 표시된 화살표가 만나는, 입 양쪽의 두 지점을 트래킹 포인트들로 지정하고, 이들의 움직임을 파악하여 4번 화살표의 방향으로 트래킹 포인트가 이동하는 경우에는 사용자가 웃고 있다고 판단할 수 있고, 이에 따라 사용자의 전체 얼굴 표정의 변화를 연산할 수 있다. The operation unit may calculate the overall change of the user's body based on the depth information from the one or more 3D depth cameras based on the information stored in the memory unit. For example, by using the one or more depth cameras, two points on both sides of the mouth where the arrows indicated by 4 and 5 in Fig. 3 meet are designated as tracking points, and their movement is grasped and tracked in the direction of arrow 4 When the point moves, it can be determined that the user is smiling, and thus the change of the entire facial expression of the user can be calculated.
본원 발명의 일 실시예에 따라, 상기 입력 및 표시 장치(104)는 분장, 미용, 화장 및 패션 등의 다양한 콘텐츠들을 상기 하나 이상의 카메라들, 상기 하나 이상의 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상에 반영할 수 있고, 상기 렌더링부에 의해 렌더링된 영상을 출력할 수 있다. 예를 들어, 상기 입력 및 표시 장치(104)는 터치스크린 형태로써 다양한 콘텐츠들을 상기 하나 이상의 카메라들, 상기 하나 이상의 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상에 반영할 수 있다. 또한, 상기 입력 및 표시 장치(104)는 하나의 구성 요소로서 도 1에 도시되었으나, 별개로 구성될 수 있다. 예를 들어, 입력 장치는 멀티 터치 패드, 키보드, 마우스 등과 같은 형태로 도시될 수 있고, 표시 장치는 컴퓨터 모니터와 같은 형태로 별개로 구성될 수 있다. In accordance with one embodiment of the present invention, the input and
본원 발명의 일 실시예에 따라, 상기 렌더링부에서는, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링할 수 있다. 예를 들어, 상기 렌더링부에서는, 미리 생성해 놓은 참조 모델에서 특정 포인트들의 움직임을 깊이 카메라로 트래킹하고, 이를 반영한 연산 결과 및 사용자가 입력한 콘텐츠를 반영하여 변화된 사용자의 영상을 생성하도록 렌더링할 수 있다. 예시적으로, 상기 렌더링부에서는 하나 이상의 카메라들, 하나 이상의 깊이 카메라들, 및 하나 이상의 X-레이 카메라들로부터의 입력을 렌더링한 참조 모델에, 깊이 카메라들에서 사용자의 얼굴에서 특정 포인트, 예를 들어, 입 꼬리 양쪽의 움직임을 트래킹한 결과 및 메모리에 저장되어 있는 얼굴 움직임에 관한 정보로부터 연산된 연산 결과를 반영하고, 사용자가 자신의 입술에 반영되도록 입력한 립스틱 화장 콘텐츠를 반영하여 사용자의 입술이 움직였을 때 사용자의 얼굴의 형상을 실시간으로 3D로 렌더링한다. According to an embodiment of the present invention, the rendering unit may render the image of the user's body reflecting the content in real time according to the calculation result from the operation unit. For example, the rendering unit may track motion of specific points in a reference model that has been generated in advance by a depth camera, and may render the generated user's image to reflect the computed result reflecting the user's input and the content input by the user have. Illustratively, the rendering unit may include a reference model that renders input from one or more cameras, one or more depth cameras, and one or more X-ray cameras, In this case, the result of the operation calculated from the result of tracking the movement of both the mouth of the tail and the information of the facial motion stored in the memory is reflected, and the lipstick makeup content inputted by the user to be reflected on his lips is reflected, The 3D rendering of the user's face shape in real time.
도 4는 본 발명의 일 실시예에 따른 실시간 3D 시뮬레이터 시스템의 구조도이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 실시간 3D 시뮬레이터 시스템은 카메라부(401), 3D 깊이 카메라부(402), X-레이 카메라부(403), 입력부(404), 렌더링부(405), 메모리부(406), 연산부(407) 및 표시부(408)를 포함할 수 있다. 4 is a structural diagram of a real-time 3D simulator system according to an embodiment of the present invention. 4, a real-time 3D simulator system according to an embodiment of the present invention includes a
예시적으로, 카메라부(401)는 하나 이상의 카메라를 포함할 수 있고, 사용자의 외형을 촬영할 수 있다. 예시적으로, 3D 깊이 카메라부(402)는 하나 이상의 3D 깊이 카메라들을 포함할 수 있고, 상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝할 수 있다. 예시적으로, X-레이 카메라부(403)는 하나 이상의 X-레이 카메라들을 포함할 수 있고, 상기 사용자의 골격을 스캐닝할 수 있다. 예시적으로, 입력부(404)는 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력할 수 있다. 예시적으로, 렌더링부(405)는 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들, 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들 및 상기 입력된 콘텐츠를 렌더링할 수 있다. 예시적으로, 메모리부(406)는 인간의 신체의 근육의 움직임에 관한 정보가 저장될 수 있다. 예시적으로, 연산부(407)는 상기 메모리부에 저장되어 있는 정보를 기초로, 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보에 따라 상기 사용자의 신체의 전체적인 변화를 연산할 수 있다. 예시적으로, 표시부(408)는 상기 렌더링 수단으로부터 출력된 영상을 표시할 수 있다. 예시적으로, 상기 렌더링부(405)는, 상기 카메라부(401), 상기 3D 깊이 카메라부(402) 및 상기 X-레이 카메라부(403)로부터 얻은 영상들로부터 참조 모델을 형성하고, 상기 연산부(407)로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링할 수 있다. Illustratively, the
도 5는 본 발명의 일 실시예에 따라 실시간 3D 시뮬레이터 시스템에서 실시간으로 3D 시뮬레이션을 실행하는 흐름도이다. 도 5를 참조하면, 먼저, 하나 이상의 카메라를 이용하여, 사용자의 외형을 촬영할 수 있다(501). 그 다음에, 하나 이상의 3D 깊이 카메라들을 이용하여, 상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝할 수 있다(502). 그 다음에, 하나 이상의 X-레이 카메라들을 이용하여, 상기 사용자의 골격을 스캐닝할 수 있다(503). 그 다음에, 입력부를 이용하여 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력할 수 있다(504). 그 다음에, 렌더링 수단을 이용하여, 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 참조 모델을 형성할 수 있다(505). 그 다음에, 입력부를 이용하여, 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력할 수 있다(506). 그 다음에, 상기 하나 이상의 3D 깊이 카메라들을 이용하여, 상기 사용자의 신체의 특정 포인트의 움직임을 트래킹할 수 있다(507). 그 다음에, 연산부를 이용하여, 메모리부에 저장되어 있는 인간의 신체의 근육의 움직임에 관한 정보 및 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보에 기초하여 상기 사용자의 신체의 전체적인 변화를 연산할 수 있다(508). 마지막으로, 상기 렌더링부를 이용하여, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링할 수 있다(509). 5 is a flowchart illustrating the real-time 3D simulation execution in a real-time 3D simulator system according to an embodiment of the present invention. Referring to FIG. 5, first, one or more cameras may be used to photograph the user's appearance (501). Next, one or more 3D depth cameras may be used to scan the depth information of a particular point of the user's body (502). The skeleton of the user may then be scanned (503) using one or more X-ray cameras. Then, the user can input content to be simulated using the input unit (504). The rendering means may then be used to form a reference model from the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras (505). Then, using the input unit, the user can input the content to be simulated (506). The one or more 3D depth cameras may then be used to track the movement of a particular point in the user's body (507). Then, the operation unit is used to calculate the overall change of the user's body based on the information on the movement of the muscles of the human body stored in the memory unit and the depth information from the one or more 3D depth cameras (508). Finally, using the rendering unit, an image of the user's body reflecting the contents in real time can be rendered according to the operation result from the operation unit (509).
도 6은 본 발명의 일 실시예에 따른 실시간 3D 분장 시뮬레이터의 기능도이다. 도 6을 참조하면, 본 발명의 일 실시예에 따른 실시간 3D 분장 시뮬레이터는 비실시간부(601), 실시간부(604), 및 표시부(607)를 포함할 수 있다. 일 예시에서, 비실시간부(601)는 3D 스캔 및 카메라부(602) 및 콘텐츠 저작부(603)를 포함할 수 있다. 일 실시예에서, 3D 스캔 및 카메라부(602)에서 사용자의 외형, 깊이 정보 및 X-레이 영상을 얻을 수 있다. 이와 같은 사용자의 외형, 깊이 정보 및 X-레이 영상을 이용하여 참조 모델을 형성할 수 있다. 일 실시예에서, 콘텐츠 저작부(603)를 이용하여 사용자가 자신이 입력하고자 하는 콘텐츠를 저작하여 입력할 수 있다. 일 실시예에서, 실시간부(604)는 3D 스캔 및 트래킹부(605) 및 렌더링부(606)를 포함할 수 있다. 일 실시예에서, 3D 스캔 및 트래킹부(605)는 예를 들어, 사용자의 신체의 특정 포인트의 움직임을 트래킹할 수 있다. 일 실시예에서, 렌더링부(606)는 3D 스캔 및 트래킹부(605)에서 트래킹한 사용자의 신체의 특정 포인트의 움직임, 참조모델 및 입력된 콘텐츠를 렌더링하여 표시하고자 하는 영상을 형성할 수 있다. 일 실시예에서, 표시부(607)는 형성된 영상을 출력할 수 있다.6 is a functional diagram of a real-time 3D makeup simulator according to an embodiment of the present invention. Referring to FIG. 6, a real-time 3D make simulator according to an embodiment of the present invention may include a non-real-
얼굴 및 신체의 변화에 따라 입력된 콘텐츠를 실시간으로 시뮬레이션하는 일 실시예는 아래와 같이 설명된다. An embodiment for simulating input content in real time according to a change of a face and a body is described as follows.
우선 X-레이 카메라로부터 획득된 골격 정보, 3D 깊이 카메라로 획득된 깊이 정보 및 카메라로부터 획득된 외형 정보를 이용하여 참조 모델을 형성한다. 그 후, TOF 센서나 카메라를 통해 리지드 바디(rigid body) 움직임을 측정하고, 신체 주요 포인트의 움직임을 스캔하여 근육 벡터에 대한 실시간 데이터를 추출한다. 그 후, 예를 들어, TOF 센서로부터 골격 애니메이션을 수행하고, 각 움직임에 따른 골격부의 리지드 바디 움직임의 측정 및 이를 이용한 근육 수축 이완 모델 정보를 통해 신체 부위들의 스킨 애니메이션을 구하고, 이들 데이터를 이용해 의상 및 특수 분장 효과를 실시간으로 다채널로 표시한다(예를 들어, 키넥트 센서 - 키네마틱 골격 애니메이션- 근육 모델 추정 - 골격 합성 - 유한 요소 곡면 사면체 모델 시뮬레이션). 그 후, 예를 들어, 조명, 색깔 등을 고려한 스킨 색깔 실시간 효과를 통한 텍스처링 및 배경 스튜디오와의 합성 장면을 출력한다(예를 들어, 유한 요소 곡면 사면체 모델 시뮬레이션 - 분장 재료 모델 합성 - 가상 스튜디오 + 특수 조명 효과(BSSRDF 색깔 텍스처링 출력). First, a reference model is formed using skeleton information obtained from an X-ray camera, depth information obtained with a 3D depth camera, and external information obtained from the camera. Then, the rigid body motion is measured through a TOF sensor or a camera, and the motion of the main body point is scanned to extract real-time data on the muscle vector. Then, skeleton animation is performed, for example, from a TOF sensor, the rigid body motion of the skeleton corresponding to each movement is measured, and the skin animation of the body parts is obtained through the muscle contraction relaxation model information using this, (For example, kinect sensor - kinematic skeleton animation - muscle model estimation - skeletal synthesis - finite element curved tetrahedral model simulation). Then, for example, texture coloring with skin color real-time effects taking into account lighting, color, etc., and compositing scene with background studio (for example, finite element curved tetrahedron model simulation - dressing material model synthesis - Special lighting effects (BSSRDF color texturing output).
상기 설명한 바와 같은 본원 발명의 실시예들에 따르면, 아래와 같은 효과를 기대할 수 있다. According to the embodiments of the present invention as described above, the following effects can be expected.
예를 들어, 사용자가 화장품 코너에서 화장품을 시연해 보고자 할 때, 기존의 2D 기반의 시뮬레이터와 달리 화장한 후의 효과를 시뮬레이터를 통해 시연해 봄으로써 실시간으로 화장 효과를 파악할 수 있다. For example, when a user wants to demonstrate a cosmetic product at a cosmetic corner, unlike a conventional 2D-based simulator, a cosmetic effect can be grasped in real time by demonstrating the effect of the cosmetic product through a simulator.
또한, 사용자가 안경 구매 코너에서 안경을 쓴 모습을 시연해 보고자 할 때, 안경을 써 볼 필요가 없이, 다양한 안경들을 입력 장치를 통해 시뮬레이터 상에서 착용해 봄으로써 실시간으로 안경을 쓴 3D 영상을 구현할 수 있다. In addition, when the user wants to demonstrate wearing eyeglasses at the glasses purchase corner, it is not necessary to wear eyeglasses, and various glasses can be worn on the simulator through the input device to realize a 3D image using glasses in real time have.
또한, 사용자가 타투 또는 피어싱을 한 모습을 3D 영상으로 실시간으로 구현해 볼 수 있다. In addition, a user can tattoo or pierce a 3D image in real time.
또한, 사용자가 미용실에서 머리 스타일을 미리 3D 영상으로 실시간으로 구현해 볼 수 있다. In addition, the user can implement the hair style in 3D in real time in the hair salon.
또한, 사용자가 영화 등에서 특수 분장을 할 때, 특수 분장을 한 모습을 미리 3D 영상으로 실시간 구현해 볼 수 있다. In addition, when a user makes a special makeup in a movie or the like, a special makeup can be realized in 3D in real time in advance.
또한, 예를 들어, 사용자가 의상실에서 의상을 입은 모습, 성형외과 또는 치과에서 성형을 한 모습 등을 3D 영상으로 실시간 구현해 볼 수 있다. In addition, for example, a 3D image can be realized in real time by a user wearing a costume in a costume room, a plastic surgeon, or a shape formed by a dentist.
하나 이상의 예시적인 구현에서, 여기서 제시된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합을 통해 구현될 수 있다. 소프트웨어로 구현되는 경우, 상기 기능들은 컴퓨터 판독가능한 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나, 또는 이들을 통해 전송될 수 있다. 컴퓨터 판독가능한 매체는 컴퓨터 저장 매체 및 일 장소에서 다른 장소로 컴퓨터 프로그램의 이전을 용이하게 하기 위한 임의의 매체를 포함하는 통신 매체를 포함한다. 저장 매체는 범용 컴퓨터 또는 특별한 컴퓨터에 의해 액세스될 수 있는 임의의 가용한 매체일 수 있다. 예를 들어, 이러한 컴퓨터 판독가능한 매체는 RAM,ROM,EEPROM,CD-ROM 또는 다른 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 다른 자기 저장 장치들, 또는 명령 또는 데이터 구조의 형태로 요구되는 프로그램 코드 수단을 저장하는데 사용될 수 있고, 범용 컴퓨터, 특별한 컴퓨터, 범용 프로세서, 또는 특별한 프로세서에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 임의의 연결 수단이 컴퓨터 판독가능한 매체로 간주될 수 있다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 라인(DSL), 또는 적외선 라디오, 및 마이크로웨이브와 같은 무선 기술들을 통해 전송되는 경우, 이러한 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 적외선 라디오, 및 마이크로웨이브와 같은 무선 기술들이 이러한 매체의 정의 내에 포함될 수 있다. In one or more exemplary implementations, the functions presented herein may be implemented in hardware, software, firmware, or a combination thereof. When implemented in software, the functions may be stored on or transmitted via one or more instructions or code on a computer readable medium. Computer-readable media includes computer storage media and communication media including any medium for facilitating transfer of a computer program from one place to another. The storage medium may be a general purpose computer or any available medium that can be accessed by a special computer. By way of example, and not limitation, such computer-readable media can comprise any form of computer readable medium, such as RAM, ROM, EEPROM, CD-ROM or other optical disk storage media, magnetic disk storage media or other magnetic storage devices, And may include, but is not limited to, a general purpose computer, a special purpose computer, a general purpose processor, or any other medium that can be accessed by a particular processor. In addition, any connection means may be considered as a computer-readable medium. For example, if the software is transmitted from a web site, server, or other remote source over wireless technologies such as coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or infrared radio, and microwave, Wireless technologies such as cable, fiber optic cable, twisted pair, DSL, or infrared radio, and microwave may be included within the definition of such medium.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
The description of the disclosed embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be readily apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention is not intended to be limited to the embodiments shown herein but is to be accorded the widest scope consistent with the principles and novel features presented herein.
Claims (2)
사용자의 외형을 촬영하기 위한 하나 이상의 카메라들;
상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝하기 위한 하나 이상의 3D 깊이 카메라들;
상기 사용자의 골격을 스캐닝하기 위한 하나 이상의 X-레이 카메라들;
사용자가 시뮬레이션하고자 하는 콘텐츠를 입력하기 위한 입력 장치;
상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들, 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들 및 상기 입력된 콘텐츠를 렌더링하기 위한 렌더링 수단;
인간의 신체의 근육의 움직임에 관한 정보가 저장되어 있는 메모리부;
상기 메모리부에 저장되어 있는 근육의 움직임에 관한 정보를 기초로, 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보로부터 파악한 근육의 움직임에 따른 상기 사용자의 신체의 변화를 연산하는 연산부; 및
상기 렌더링 수단으로부터 출력된 영상을 표시하기 위한 표시 수단
을 포함하고,
상기 렌더링 수단은, 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 참조 모델을 형성하고, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링하는, 실시간 3D 시뮬레이터.As a real-time 3D simulator,
One or more cameras for capturing a user's appearance;
One or more 3D depth cameras for scanning depth information of a specific point of the user's body;
One or more X-ray cameras for scanning the skeleton of the user;
An input device for inputting contents to be simulated by a user;
Rendering means for rendering the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras and the input content;
A memory unit for storing information on a motion of a muscle of a human body;
A calculator for calculating changes in the body of the user according to the movement of the muscles determined from the depth information from the one or more 3D depth cameras based on the information about the muscle movement stored in the memory unit; And
Display means for displaying an image output from the rendering means;
/ RTI >
Wherein the rendering means forms a reference model from the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras, and, based on the calculation result from the operation unit, A real-time 3D simulator that renders the user's body image reflected.
하나 이상의 카메라들을 이용하여, 사용자의 외형을 촬영하는 단계;
하나 이상의 3D 깊이 카메라들을 이용하여, 상기 사용자의 신체의 특정 포인트의 깊이 정보를 스캐닝하는 단계;
하나 이상의 X-레이 카메라들을 이용하여, 상기 사용자의 골격을 스캐닝하는 단계;
렌더링 수단을 이용하여, 상기 하나 이상의 카메라들, 상기 하나 이상의 3D 깊이 카메라들 및 상기 하나 이상의 X-레이 카메라들로부터 얻은 영상들로부터 참조 모델을 형성하는 단계;
입력 장치를 이용하여, 사용자가 시뮬레이션하고자 하는 콘텐츠를 입력하는 단계;
상기 하나 이상의 3D 깊이 카메라들을 이용하여, 상기 사용자의 신체의 특정 포인트의 움직임을 트래킹하는 단계;
연산부를 이용하여, 메모리부에 저장되어 있는 인간의 신체의 근육의 움직임에 관한 정보를 기초로, 상기 하나 이상의 3D 깊이 카메라들로부터의 깊이 정보로부터 파악한 근육의 움직임에 따른 상기 사용자의 신체의 변화를 연산하는 단계; 및
상기 렌더링 수단을 이용하여, 상기 연산부로부터의 연산 결과에 따라 실시간으로 상기 콘텐츠가 반영된 사용자의 신체의 영상을 렌더링하는 단계
를 포함하는, 3D 영상을 실시간으로 시뮬레이션하기 위한 방법.
A method for simulating a 3D image in real time,
Capturing an appearance of a user using one or more cameras;
Scanning depth information of a specific point of the user's body using one or more 3D depth cameras;
Scanning the skeleton of the user using one or more X-ray cameras;
Using the rendering means to form a reference model from the images obtained from the one or more cameras, the one or more 3D depth cameras, and the one or more X-ray cameras;
Inputting a content to be simulated by a user using an input device;
Using the one or more 3D depth cameras to track movement of a particular point of the user's body;
The change of the body of the user in accordance with the movement of the muscles determined from the depth information from the one or more 3D depth cameras is calculated based on the information on the motion of the muscles of the human body stored in the memory unit Computing; And
Rendering the image of the user's body reflecting the content in real time according to the calculation result from the operation unit using the rendering means
The method comprising the steps of:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120118971A KR101456162B1 (en) | 2012-10-25 | 2012-10-25 | Real time 3d simulator using multi-sensor scan including x-ray for the modeling of skeleton, skin and muscle reference model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120118971A KR101456162B1 (en) | 2012-10-25 | 2012-10-25 | Real time 3d simulator using multi-sensor scan including x-ray for the modeling of skeleton, skin and muscle reference model |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20140052631A KR20140052631A (en) | 2014-05-07 |
| KR101456162B1 true KR101456162B1 (en) | 2014-11-03 |
Family
ID=50885838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120118971A KR101456162B1 (en) | 2012-10-25 | 2012-10-25 | Real time 3d simulator using multi-sensor scan including x-ray for the modeling of skeleton, skin and muscle reference model |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101456162B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111445561B (en) * | 2020-03-25 | 2023-11-17 | 北京百度网讯科技有限公司 | Virtual object processing method, device, equipment and storage medium |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100523742B1 (en) | 2002-03-26 | 2005-10-26 | 김소운 | System and Method for 3-Dimension Simulation of Glasses |
| KR100701234B1 (en) | 1999-03-18 | 2007-03-29 | 더 리서치 파운데이션 오브 스테이트 유니버시티 오브 뉴욕 | System and method for performing a three-dimensional virtual examination, navigation and visualization |
| JP2012110717A (en) | 2010-11-24 | 2012-06-14 | Fujitsu Ltd | Method for monitoring, recording or analyzing somesthesis in three dimensions |
-
2012
- 2012-10-25 KR KR1020120118971A patent/KR101456162B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100701234B1 (en) | 1999-03-18 | 2007-03-29 | 더 리서치 파운데이션 오브 스테이트 유니버시티 오브 뉴욕 | System and method for performing a three-dimensional virtual examination, navigation and visualization |
| KR100523742B1 (en) | 2002-03-26 | 2005-10-26 | 김소운 | System and Method for 3-Dimension Simulation of Glasses |
| JP2012110717A (en) | 2010-11-24 | 2012-06-14 | Fujitsu Ltd | Method for monitoring, recording or analyzing somesthesis in three dimensions |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20140052631A (en) | 2014-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11625878B2 (en) | Method, apparatus, and system generating 3D avatar from 2D image | |
| Tome et al. | Selfpose: 3d egocentric pose estimation from a headset mounted camera | |
| Achenbach et al. | Fast generation of realistic virtual humans | |
| JP7504968B2 (en) | Avatar display device, avatar generation device and program | |
| Ichim et al. | Dynamic 3D avatar creation from hand-held video input | |
| US11868515B2 (en) | Generating textured polygon strip hair from strand-based hair for a virtual character | |
| KR102581453B1 (en) | Image processing for Head mounted display devices | |
| Ersotelos et al. | Building highly realistic facial modeling and animation: a survey | |
| Magnenat-Thalmann et al. | Handbook of virtual humans | |
| US9196074B1 (en) | Refining facial animation models | |
| US9202312B1 (en) | Hair simulation method | |
| KR20100026240A (en) | 3d hair style simulation system and method using augmented reality | |
| EP3091510B1 (en) | Method and system for producing output images | |
| Dutreve et al. | Feature points based facial animation retargeting | |
| WO2014081394A1 (en) | Method, apparatus and system for virtual clothes modelling | |
| CN114821675B (en) | Object processing method and system and processor | |
| CN113628327A (en) | Head three-dimensional reconstruction method and equipment | |
| Roughley et al. | The affordances of 3D and 4D digital technologies for computerized facial depiction | |
| KR101456162B1 (en) | Real time 3d simulator using multi-sensor scan including x-ray for the modeling of skeleton, skin and muscle reference model | |
| Ami-Williams et al. | Digitizing traditional dances under extreme clothing: The case study of eyo | |
| Mattos et al. | 3D linear facial animation based on real data | |
| Treepong et al. | The development of an augmented virtuality for interactive face makeup system | |
| Apostolakis et al. | Natural user interfaces for virtual character full body and facial animation in immersive virtual worlds | |
| KR100827749B1 (en) | 3D face creation/expression system and method | |
| Van Wyk | Virtual human modelling and animation for real-time sign language visualisation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20171020 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20181017 Year of fee payment: 5 |