KR20130117668A - Method of generating 3d volumetric data - Google Patents
Method of generating 3d volumetric data Download PDFInfo
- Publication number
- KR20130117668A KR20130117668A KR1020130033739A KR20130033739A KR20130117668A KR 20130117668 A KR20130117668 A KR 20130117668A KR 1020130033739 A KR1020130033739 A KR 1020130033739A KR 20130033739 A KR20130033739 A KR 20130033739A KR 20130117668 A KR20130117668 A KR 20130117668A
- Authority
- KR
- South Korea
- Prior art keywords
- generating
- image
- data
- generated
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
Abstract
Description
본 발명은 오브젝트(object)의 볼륨 재구성을 위한 인식기 학습의 입력 데이터로 활용될 수 있는 오브젝트의 3차원 볼륨 데이터를 생성하기 위한 기술적 사상을 개시한다.The present invention discloses a technical idea for generating three-dimensional volume data of an object which can be utilized as input data of recognizer learning for volume reconstruction of an object.
일상 생활에서 인간은 두 눈을 이용하기 때문에, 원거리의 해상도가 낮은 인체 몸 자세(human body pose)일지라도 잘 인지할 수 있다. 그러나, 컴퓨터 비젼 시스템에서 인체 몸 자세(human body pose)를 인지하는 방법은 다양한 분야에서 요구되지만 잘 풀리지 않는 어려운 문제이다.Since human beings use both eyes in everyday life, they can be perceived even if they are human body pose with low resolution. However, the method of recognizing the human body pose in the computer vision system is required in various fields, but it is a difficult problem that can not be solved easily.
최근 사용자의 몸 동작을 센싱하여 사용자 인터페이스를 제어하는 기술에 대한 연구 및 개발이 가속화되고 있다.BACKGROUND ART [0002] Recently, research and development of a technique for controlling a user interface by sensing a body motion of a user has been accelerated.
그러나 현재의 동작 센싱 기술은 오브젝트의 보이는 부분만 인식해서 어클루젼(Occlusion) 등에 의해 발생하는 가려진 부분을 인식하는 것이 불가능할 뿐만 아니라, 적용 범위가 Human Object(Virtual Body Parts)와 깊이 영상(Depth Image)에 제한되어 있다.However, the current motion sensing technology recognizes only the visible part of the object and thus can not recognize the obscured part generated by occlusion, etc., and the range of application is human body (virtual body parts) and depth image ).
종래에는 신체의 모션을 캡쳐하여 3차원 모델에 리타게팅을 해서 3차원 객체 모델의 몸 자세 데이터를 생성하였다. 하지만 사용자 체형을 반영한 3차원 볼륨데이터는 생성하지 못하였다.Conventionally, the body motion data is captured by capturing the motion of the body, retouching the 3D model, and generating the body posture data of the 3D object model. However, it does not generate 3D volume data that reflects the user's body shape.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 멀티레이어 영상을 생성하는 단계, 상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계, 및 상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계를 포함할 수 있다.A method of generating three-dimensional volume data according to an embodiment of the present invention includes generating a multi-layer image, generating a type and volume information of a visible portion of the object based on the generated multi-layer image, And generating volume information and type of an invisible part of the object based on the multi-layered image.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 멀티레이어 영상을 읽어들이는 단계, 상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트(Object) 파트 식별정보에 대한 세그먼트화를 수행하는 단계, 상기 수행한 세그먼트화에 따라서, 동일한 오브젝트(Object) 파트 식별정보에 해당하는 위치를 추정하는 단계, 및 상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정하는 단계를 포함한다.The method of generating three-dimensional volume data according to an embodiment of the present invention includes the steps of reading a multi-layer image, segmenting the same object part identification information from the read multimedia image, Estimating a position corresponding to the same object part identification information according to the segmentation, and estimating a skeleton model using the estimated position.
도 1은 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법을 설명하는 메인 플로우챠트이다.
도 2는 비저블 데이터와 인비저블 데이터를 설명하는 도면이다.
도 3은 깊이 카메라(depth camera)로 오브젝트의 자세를 캡쳐한 영상으로서 비저블 레이어의 깊이 영상을 나타내는 도면이다.
도 4는 비저블 레이어의 오브젝트(Object) 파트 식별정보의 이미지에 대한 실시예를 설명하는 도면이다.
도 5는 멀티레이어 바디 파트 식별정보 이미지/멀티레이어 깊이 이미지의 실시예를 설명하는 도면이다.
도 6은 레이 캐스팅 기반의 멀티레이어 영상의 생성 방법을 설명하는 도면이다.
도 7은 멀티레이어 영상을 생성하는 첫 번째 실시 예로서, 레이 캐스팅 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 8은 첫 번째 실시예 중에서 Ray-Casting Based Training Data Synthesis 블록을 설명하는 도면이다.
도 9는 멀티레이어 영상을 생성하는 첫 번째 실시 예의 변형예로서, 슬라이싱(Slicing) 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 10은 슬라이싱 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 11은 Actor가 컬러 패치로 구성된 수트(Color Patch Suit)를 실제 착용한 예(1100)를 설명하는 도면이다.
도 12는 Ray-Triangle Intersection Method를 설명하기 위한 도면이다.
도 13은 멀티레이어 영상을 생성하는 두 번째 실시 예로서, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 14는 크로마 키 스크린 기반 멀티레이어 영상 생성방법 중에서 오브젝트(Object) 파트 식별정보-RGB 룩업 테이블의 예를 설명하는 도면이다.
도 15는 2개의 크로마 키 스크린 설치 예를 설명하는 도면이다.
도 16은 멀티레이어 영상을 생성하는 세 번째 실시 예로서, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 17은 초기 템플레이트에 따른 오브젝트(Object) 파트 룩업 테이블을 설명하는 도면이다.
도 18은 오브젝트(Object) 의 각 오브젝트(Object) 파트 프로퍼티를 실측하는 예를 설명하는 도면이다.
도 19는 오브젝트(Object) 의 각 오브젝트(Object) 파트 프로퍼티를 결정하는 실시예를 설명하는 도면이다.
도 20은 2차원 오브젝트(Object) 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예를 도시하는 도면이다.
도 21은 3차원 오브젝트(Object) 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예를 도시하는 도면이다.
도 22는 도 17에서 깊이 카메라 입력이 있을 경우 깊이 범위 안에서 영상을 생성하는 예를 도시한 도면이다.
도 23은 멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법을 개시한 흐름도이다.
도 24는 멀티레이어 영상을 바탕으로 스켈레톤 모델을 추정한 실시예를 설명한 도면이다.FIG. 1 is a main flow chart for explaining a method of generating three-dimensional volume data according to an embodiment of the present invention.
Fig. 2 is a view for explaining the visible data and the invisible data.
3 is a view showing a depth image of a visibility layer as an image capturing an attitude of an object with a depth camera.
FIG. 4 is a view for explaining an embodiment of an image of object part identification information of a visible layer. FIG.
5 is a view for explaining an embodiment of a multi-layer body part identification information image / multi-layer depth image.
6 is a diagram for explaining a method of generating a multi-layer video based on raycasting.
7 is a view for explaining a method of generating a multi-layer image based on racasting as a first embodiment for generating a multi-layer image.
FIG. 8 is a view for explaining a Ray-Casting Based Training Data Synthesis block in the first embodiment.
FIG. 9 is a diagram for explaining a slicing-based multi-layer image generation method as a modification of the first embodiment for generating a multi-layer image.
10 is a view for explaining a slicing-based multi-layer image generating method.
11 is a view for explaining an example 1100 in which Actor actually wears a sole (Color Patch Suit) composed of color patches.
FIG. 12 is a view for explaining the Ray-Triangle Intersection Method. FIG.
13 is a view for explaining a method of generating a multi-layer image based on a chroma key screen as a second embodiment for generating a multi-layer image.
FIG. 14 is a view for explaining an example of an object part identification information-RGB lookup table among chroma key screen-based multilayer image generation methods.
Fig. 15 is a view for explaining an example of setting two chroma key screens.
16 is a view for explaining a method of generating an initial template-based multi-layer image according to a third embodiment of the present invention.
17 is a diagram for explaining an object part look-up table according to an initial template.
18 is a view for explaining an example of actually measuring each object part property of an object.
19 is a diagram for explaining an embodiment for determining each object part property of an object.
Figure 20 is a diagram showing an embodiment in which an initial template of a two-dimensional object part is mapped onto motion capture data.
Figure 21 is an illustration of an embodiment in which an initial template of a three-dimensional object part is mapped onto motion capture data.
FIG. 22 is a diagram showing an example of generating an image within a depth range when there is a depth camera input in FIG.
23 is a flowchart illustrating a method for generating skeleton data in a multi-layer video.
24 is a view for explaining an embodiment in which a skeleton model is estimated based on a multi-layer image.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terminologies used herein are terms used to properly represent preferred embodiments of the present invention, which may vary depending on the user, the intent of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of these terms should be based on the contents throughout this specification. Like reference symbols in the drawings denote like elements.
도 1은 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법을 설명하는 메인 플로우챠트이다.FIG. 1 is a main flow chart for explaining a method of generating three-dimensional volume data according to an embodiment of the present invention.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 오브젝트(Object) 의 볼륨 재구성을 위한 인식기 학습 입력 데이터를 생성하기 위한 것으로서, 단계 101을 통해서 비저블 데이터를 생성하고, 단계 102에서 인비저블 데이터를 생성한다.Dimensional volume data generation method according to an embodiment of the present invention is to generate recognizer learning input data for volume reconstruction of an object. The method generates viseme data through
구체적으로, 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 오브젝트의 보이는 부분(비저블 데이터)의 종류 및 볼륨 정보를 생성하고, 상기 오브젝트의 보이지 않는 부분(인비저블 데이터)의 종류 및 볼륨 정보를 생성한다.Specifically, the three-dimensional volume data generation method according to an embodiment of the present invention generates a type of visible portion (visible data) and volume information of an object, and determines the type and volume of the invisible portion (invisible data) Information.
이를 위해서, 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 레이 캐스팅 기반의 멀티레이어 영상, 크로마 키 스크린 기반의 멀티레이어 영상, 및 초기 템플레이트 기반의 멀티레이어 영상 중에서 적어도 하나의 멀티레이어 영상을 생성하고, 상기 생성된 멀티레이어 영상을 이용하여 상기 오브젝트의 보이는 부분과 보이지 않는 부분 각각에 대한 종류 및 볼륨 정보를 생성할 수 있다.To this end, a three-dimensional volume data generation method according to an exemplary embodiment of the present invention includes at least one multi-layer image among a multi-layer video based on a ray casting, a multi-layer video based on a chroma key screen, And generate type and volume information for each of the visible portion and the invisible portion of the object using the generated multi-layer image.
도 2는 비저블 데이터와 인비저블 데이터를 설명하는 도면이다.Fig. 2 is a view for explaining the visible data and the invisible data.
본 발명에서는 이미지 센서(201)가 촬영하는 오브젝트의 보이는 부분을 비져블 오브젝트 파트(202)로 정의하고, 상기 비저블 데이터는 상기 비져블 오브젝트 파트(202)를 촬영하여 생성되는 데이터이다.In the present invention, a visible portion of an object photographed by the
또한, 이미지 센서(201)가 촬영하는 오브젝트의 뒤나 안에 가려 보이지 않는 부분을 히든 오브젝트 파트(203)로 정의하고, 상기 인비저블 데이터는 상기 비저블 데이터로부터 추정되는 데이터이다.The invisible part is defined as a
이미지 센서(201)에서 오브젝트를 캡쳐링할 때, 센서 플랜에 상이 맺히는 부분을 비져블 오브젝트 파트로 정의하고, 오브젝트의 셀프 어클루젼(Self Occlusion)이나, 다른 오브젝트에 의해서 어클루젼(Occlusion)이 발생하는 오브젝트 영역을 히든 오브젝트 파트로 정의할 수 있다.When an object is captured by the
예를 들어 정육면체의 Front View(202)에서 보이는 3면은 3개의 비져블 오브젝트 파트로 정의할 수 있고, 정육면체의 Rear View(203)에서 보이는 3면은 3개의 히든 오브젝트 파트로 정의할 수 있다.For example, the three sides shown in the
도 3은 오브젝트(Object) 의 자세를 캡쳐한 영상(300)을 설명하는 도면으로서, 깊이 카메라(depth camera)로 오브젝트(Object) 의 자세를 캡쳐한 영상(300)으로서 비저블 레이어의 깊이 영상을 도시한다.Fig. 3 is a view for explaining an
도 4는 비저블 레이어의 오브젝트(Object) 파트 식별정보의 이미지에 대한 실시예를 설명하는 도면이다.FIG. 4 is a view for explaining an embodiment of an image of object part identification information of a visible layer. FIG.
도 4는 깊이 카메라(depth camera)로 오브젝트(Object) 의 자세를 캡쳐한 영상인 깊이 데이터(Depth Data)에 존재하는 객체(Object)의 오브젝트 파트 식별정보(Object parts ID)를 갖고 있는 Labeled Data의 예를 표시한다.FIG. 4 is a diagram showing an example of an example of an object part ID information of Labeled Data having an Object part ID of an object existing in depth data (Depth Data) Display an example.
다시 말해, 도 4에서는 비저블 레이어(Visible Layer)의 오브젝트(Object) 파트 식별정보(Object part ID) 이미지로서, 각각의 오브젝트(Object) 파트 마다 다른 식별정보(ID)를 부여하여 모든 오브젝트(Object) 파트들을 구분한다.In other words, in FIG. 4, identification information (ID) different for each object part is given as an object part ID information of a Visible layer, Identify the parts.
도 5는 멀티레이어 바디 파트 식별정보 이미지/멀티레이어 깊이 이미지의 실시예를 설명하는 도면이다.5 is a view for explaining an embodiment of a multi-layer body part identification information image / multi-layer depth image.
구체적으로, 도 5의 첫 번째 이미지(510)는 비저블 레이어(Visible Layer)의 오브젝트 파트 식별정보(Object part ID)와 깊이(Depth) 이미지를 도시한다.Specifically, the
두 번째부터 다섯 번째까지의 이미지(520)는 인비저블 레이어(Invisible Layer)의 오브젝트 파트 식별정보와 깊이 이미지를 도시한다.The second through
도 6은 레이 캐스팅 기반의 멀티레이어 영상의 생성 방법을 설명하는 도면이다.6 is a diagram for explaining a method of generating a multi-layer video based on raycasting.
구체적으로, 도 6은 레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법의 개념 도면을 나타낸다.Specifically, FIG. 6 shows a conceptual diagram of a method of generating a multi-layer image based on a ray casting.
레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법이란 카메라(601) 위치로부터 3차원 오브젝트(602) 방향으로 가상의 Ray(603)를 생성하여, Ray(603)가 3차원 오브젝트(602)의 표면을 관통하여 지나갈 때 마다 닿는 표면의 픽셀을 영상에 저장하는 방법이다.A Ray-casting based multi-layer image generating method is a method of generating a
이때 Ray(603)가 최초로 만나는 표면은 비저블 레이어(604)로 저장하고, 3차원 오브젝트(602)를 관통하면서 만나게 되는 뒷부분의 표면은 각각의 인비저블 레이어(605)로 저장한다. 따라서, 레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법으로써 비저블 오브젝트 파트뿐만 아니라, 인비저블 오브젝트 파트를 생성할 수 있다.At this time, the surface on which the
도 7은 멀티레이어 영상을 생성하는 첫 번째 실시 예로서, 레이 캐스팅 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.7 is a view for explaining a method of generating a multi-layer image based on racasting as a first embodiment for generating a multi-layer image.
도 7은 레이 캐스팅 기반 멀티레이어 영상 생성 방법의 첫 번째 실시 예이다.FIG. 7 is a first embodiment of a ray casting-based multi-layer image generating method.
레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 오브젝트의 모션을 캡쳐 한 후 획득한 데이터를 IK(Inverse Kinematics) 처리(701)하여 모션 데이터(703)를 생성한다.In order to generate the ray casting-based multi-layer,
또한, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 IK(Inverse Kinematics) 처리(701)와 별도로 오브젝트의 실제 체형을 반영하여 3차원 메시(3D Mesh)의 조합으로 구성된 3차원 오브젝트 모델을 생성한다(702).In order to generate the ray casting-based multi-layer, a three-dimensional object model composed of a combination of three-dimensional meshes (3D Mesh) reflecting the actual body shape of the object separately from the IK (Inverse Kinematics) .
다음으로, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 생성된 모션 데이터와 생성된 3차원 오브젝트 모델을 머지(Merge)하여, 모션(Motion)이 결합된 3차원 오브젝트 모델(Motion Augmented 3D Human Model)을 생성한다.Next, in order to generate the ray casting-based multi-layer, the generated motion data and the generated 3D object model are merged to generate a motion augmented 3D human model do.
이때, 레이 캐스팅 기반 멀티레이어를 생성하기 위해 모션 데이터를 다른 체형을 가진 3차원 오브젝트 모델에 정합하기 위해 상기 생성된 3차원 오브젝트 모델에 대해서 리타게팅(Retargeting)을 수행할 수 있다(704).At this time, retargeting may be performed on the generated three-dimensional object model to match the motion data to the three-dimensional object model having another body shape in order to generate the raycasting-based multi-layer (704).
마지막으로 도 6에서 설명한 레이 캐스팅 기반 멀티레이어 영상 생성 방법으로서 멀티레이어 영상을 생성할 수 있다(705).Finally, a multi-layer image can be generated as the raycasting-based multi-layer image generation method illustrated in FIG. 6 (705).
도 8은 첫 번째 실시예 중에서 레이 캐스팅 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.FIG. 8 is a view for explaining a racasting-based multilayer image generation method in the first embodiment.
레이 캐스팅 기반 멀티레이어 영상 생성 방법, 즉 Ray-Casting Based Training Data Synthesis 방법은 우선, 레이 캐스팅 기반의 레이 맵을 생성할 수 있다(단계 801).The Ray casting based multi-layer image generating method, that is, the Ray casting based training data synthesis method, can first generate a ray cast based ray map (step 801).
다음으로, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 상기 생성한 레이 맵으로부터 한 점을 선택하고(단계 802), 상기 생성된 3차원 오브젝트 모델(Human Model)로부터 복수개의 버텍스, 예를 들어 3개의 버텍스를 선택할 수 있다(단계 803).Next, a ray casting based multi-layer image generation method selects a point from the generated ray map (step 802), and extracts a plurality of vertices, for example, three vertices from the generated three-dimensional object model (Step 803).
다음으로, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 레이의 한 점이 복수개의 버텍스, 예를 들어 3개의 버텍스 안쪽에 위치하는지 여부를 판단할 수 있다(단계 804).Next, the raycasting-based multilayer image generation method can determine whether a point of the ray is positioned inside a plurality of vertices, for example, three vertices (step 804).
즉, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 상기 선택된 한 점과 상기 복수개의 버텍스와의 상대적인 위치를 확인할 수 있다.That is, the ray casting-based multi-layer image generation method can confirm the relative position between the selected one point and the plurality of vertices.
다시 말해, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 하나의 레이를 선택하고, 3차원 오브젝트 모델을 구성하는 다수의 메쉬, 예를 들어 Polygon의 형태로 형성된 다수의 메쉬 중에서 하나를 선택한다. 그리고 하나의 메쉬를 구성하는 복수개의 버텍스와 레이가 교차하는지 여부를 판단하여 레이의 한 점이 복수개의 버텍스, 예를 들어 3개의 버텍스로 형성되는 삼각형 안쪽에 위치하는지 여부를 판단할 수 있다.In other words, a ray casting based multi-layer image generation method selects one ray and selects one of a plurality of meshes constituting a three-dimensional object model, for example, a plurality of meshes formed in the form of a polygon. Then, it is judged whether or not a plurality of vertices constituting one mesh intersect with the ray, and it is judged whether or not a point of the ray is located inside a triangle formed by a plurality of vertices, for example, three vertices.
이 방법을 이용해서 레이맵으로부터 선정한 하나의 점과 복수개의 버텍스가 교차하면, 즉 상기 선택된 레이의 한 점이 상기 3개의 버텍스 안쪽에 위치하는 경우에 상기 멀티레이어 영상을 저장할 수 있다(단계 805).If a point selected from the ray map and a plurality of vertices intersect with each other, that is, if a point of the selected ray is positioned inside the three vertices using this method, the multi-layer image can be stored (step 805).
또한, 단계 804의 판단결과, 안쪽에 위치하지 않으면 버텍스의 조합이 마지막인지 여부를 확인하여(단계 806), 마지막인 경우에 단계 807로 분기하여 레이맵의 모든 점을 검사했는지 여부를 더 판단할 수 있다(단계 807). 단계 807의 판단결과, 레이맵의 모든 점을 검사했다면 멀티레이어 영상 생성을 종료할 수 있다(단계 808).As a result of the determination in
만약, 단계 806의 판단 결과, 상기 버텍스의 조합이 마지막이 아닌 경우, 단계 803으로 분기하여 3차원 오브젝트 모델(Human Model)로부터 새로운 복수개의 버텍스를 선택할 수 있다.If it is determined in
만약, 단계 807의 판단 결과, 상기 레이맵의 모든 점을 검사하지 않았다면, 단계 802로 분기하여 레이맵으로부터 새로운 한 점을 선택할 수 있다.If it is determined in
교차 여부를 판단하기 위해서는, Ray-triangle Intersection Method를 이용할 수 있는데, 이러한 Ray-Triangle Intersection Method는 추후 도 12에서 상세히 설명한다.To determine the intersection, a Ray-triangle intersection method can be used. This Ray-triangle intersection method will be described in detail later with reference to FIG.
도 9는 멀티레이어 영상을 생성하는 첫 번째 실시 예의 변형 예로서, 슬라이싱 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.9 is a view for explaining a slicing-based multi-layer image generation method as a modification of the first embodiment for generating a multi-layer image.
상기 슬라이싱 기반의 멀티레이어 영상 생성 방법은 오브젝트의 모션을 캡쳐 한 후 획득한 데이터를 IK(Inverse Kinematics) 처리(901)하여 모션 데이터(903)를 생성한다.The slicing-based multi-layer image generation method generates
또한, 슬라이싱 기반 멀티레이어를 생성하기 위해서는 IK(Inverse Kinematics) 처리(901)와 별도로 오브젝트의 실제 체형을 반영하여 3차원 메시(3D Mesh)의 조합으로 구성된 3차원 오브젝트 모델을 생성한다(902).In addition, in order to create the slicing-based multi-layer, a three-dimensional object model composed of a combination of three-dimensional meshes (3D Mesh) is generated by reflecting the actual object shape of the object separately from the IK (Inverse Kinematics) processing 901 (902).
다음으로, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 생성된 모션 데이터와 생성된 3차원 오브젝트 모델을 머지(Merge)하여, 모션(Motion)이 결합된 3차원 오브젝트 모델(Motion Augmented 3D Human Model)을 생성한다.Next, in order to generate the ray casting-based multi-layer, the generated motion data and the generated 3D object model are merged to generate a motion augmented 3D human model do.
이때, 레이 캐스팅 기반 멀티레이어를 생성하기 위해 모션 데이터를 다른 체형을 가진 3차원 오브젝트 모델에 정합하기 위해 상기 생성된 3차원 오브젝트 모델에 대해서 리타게팅(Retargeting)을 수행할 수 있다(904).At this time, retargeting may be performed on the generated three-dimensional object model in order to match the motion data to the three-dimensional object model having another body shape in order to generate the raycasting-based multi-layer (904).
마지막으로, 슬라이싱 기반 멀티레이어 영상 생성 방법으로서 멀티레이어 영상을 생성할 수 있다(905). 상기 슬라이싱 기반 멀티레이어 영상 생성 방법은 도 10을 통해서 설명한다.Finally, as a slicing-based multi-layer image generation method, a multi-layer image can be generated (905). The slicing-based multi-layer image generation method will be described with reference to FIG.
도 10은 슬라이싱 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.10 is a view for explaining a slicing-based multi-layer image generating method.
도 10에서 보는 바와 같이, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 Motion Augmented 3D Human Model을 생성하거나(단계 1001), 또는 Primitive Template 3D Human Model을 생성한다(단계 1002).As shown in FIG. 10, a slicing-based multi-layer image generation method according to an embodiment of the present invention generates a Motion Augmented 3D Human Model (Step 1001) or a
이후, 상기 생성된 Motion Augmented 3D Human Model 또는 상기 생성된 Primitive Template 3D Human Model을 이용하여, 현재 깊이 값(Z)에 해당하는 모델의 모든 픽셀(또는 복셀(voxel))을 검색한다(단계 1003).Then, all the pixels (or voxels) of the model corresponding to the current depth value Z are searched using the generated Motion Augmented 3D Human Model or the generated
다음으로, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 상기 검색된 모든 픽셀 중에서 현재 깊이 값(Z)에 해당하는 픽셀이 있을 경우 레이블드(Labeled) 영상을 생성하고(단계 1004), 상기 레이블드 영상과 함께 깊이(Depth) 영상을 생성한다(단계 1005).Next, a slicing-based multi-layer image generation method according to an embodiment of the present invention generates a labeled image if there is a pixel corresponding to a current depth value Z among all the searched pixels (step 1004) , And a depth image is generated together with the labeled image (step 1005).
다음으로, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 Z값을 1 증가 시킨(단계 1006) 후 위의 검색과 영상 생성 과정을 Z가 마지막인지 여부를 판단(단계 1007)하고, 마지막일 때까지 반복 수행한 후 영상 생성을 종료한다(단계 1008).Next, in the method of generating a slicing-based multi-layer image according to an embodiment of the present invention, the Z value is incremented by 1 (step 1006), and it is determined whether Z is the last search and image generation process (step 1007) , And repeats the process until the end (step 1008).
도 11은 오브젝트가 컬러 패치로 구성된 수트(Color Patch Suit)를 실제 착용한 예(1100)를 설명하는 도면이다.11 is a view for explaining an example 1100 in which an object actually wears a color patch suit composed of color patches.
크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 크로마 키 스크린 및 피사체가 착용하고 오브젝트 파트 별로 다른 색이 적용된 수트로부터 컬러카메라 영상을 생성할 수 있다. 수트를 구성하는 컬러 패치의 개수는 오브젝트 파트(Object part)에 따라 변경 가능하다.A multi-layer image generation method based on a chroma key screen can generate a color camera image from a chroma key screen and a suit worn by the subject and different colors applied to the object parts. The number of color patches constituting the suite can be changed according to the object part.
교차 여부를 판단하기 위해서는, Ray-triangle Intersection Method를 이용할 수 있다.In order to determine the intersection, a Ray-triangle intersection method can be used.
먼저 도 12의 도면부호 1210 같이 3개의 Vertex (p0, p1, p2)와 Normal Vector n을 [수학식1]과 같이 정의한다.
12, three vertices (p0, p1, p2) and a normal vector n are defined as shown in Equation (1).
[수학식 1][Equation 1]
n: normal of the planen: normal of the plane
n = (p1-p0)*(p2-p0) n = (p 1 -p 0 ) * (p 2 -p 0 )
n은 p0, p1, p2 Vertex로 이루어진 평면의 노멀 벡터(normal vector)이다.n is a normal vector of a plane made up of p 0 , p 1 , and p 2 vertex.
참고로, 노멀벡터 n은 3차원 공간 상에서 벡터 p2-p0와 수직이고, p1-p0과도 수직으로 해석될 수 있다.
For reference, the normal vector n is perpendicular to the vector p 2 -p 0 on the three-dimensional space, and can be interpreted perpendicular to p 1 -p 0 .
그 다음 도면부호 1220 또는 1230과 같이 ray vector x가 3개의 Vertex (p0, p1, p2)로 구성된 plane을 지나가는지 여부를 판별할 수 있다. 이때 해당 평면의 Normal Vector n도 [수학식 2]와 같이 이용된다.
Then, it can be determined whether the ray vector x passes through a plane composed of three vertices (p0, p1, p2), such as 1220 or 1230. At this time, the normal vector n of the plane is also used as shown in Equation (2).
[수학식 2]&Quot; (2) "
(p1-p0)×(x-p0)ㆍn≥0(p 1 -p 0 ) x (xp 0 ) n? 0
(p2-p1)×(x-p1)ㆍn≥0(p 2 -p 1 ) x (xp 1 ) n? 0
(p0-p2)×(x-p2)ㆍn≥0
(p 0 -p 2) × ( xp 2) and n≥0
참고로, 도면부호 1220은 ray vector인 x가 Vertex 안에 위치하는 실시예이고, 도면부호 1230은 x가 Vertex 밖에 위치하는 실시예로서, ray vector가 Vertex 안에 있는지 또는 밖에 있는지를 판별하기 위한 실시예들이다.
CCW는 방향을 나타내는 것인데, 이 중에서 CCW0, CCW1, 및 CCW2는 Vertex 안의 x로 향하는 방향으로서, 반시계 방향을 나타낸다. 또한, CCW3 및 CCW5는 Vertex가 밖의 x로 향하는 것으로서, 역시 반시계 방향을 나타내며 CCW4는 시계 방향을 나타낸다.
CCW represents the direction, and CCW 0 , CCW 1 , and CCW 2 denote the direction toward x in the vertex and indicate the counterclockwise direction. In addition, CCW 3 and CCW 5 refer to the counterclockwise direction of the vertex, and CCW 4 represents the clockwise direction.
도 13은 멀티레이어 영상을 생성하는 두 번째 실시 예로서, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.13 is a view for explaining a method of generating a multi-layer image based on a chroma key screen as a second embodiment for generating a multi-layer image.
크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 위해서는, 크로마 키 스크린 및 카메라를 설치하고(단계 1301), 액터는 오브젝트 파트 별로 다른 색을 적용한 수트를 착용할 수 있다(단계 1302).For the multi-layer image generation method based on the chroma key screen, a chroma key screen and a camera are installed (step 1301), and the actor can wear a suit applied different color to each object part (step 1302).
이후, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 상기 수트의 컬러 패치 정보와 오브젝트 파트 식별정보가 기록된 RGB 룩업 테이블을 생성하고(단계 1303), 컬러 카메라 영상을 생성할 수 있다(단계 1304).Then, in the multi-layer image generation method based on the chroma key screen, an RGB lookup table in which the color patch information and the object part identification information of the soot are recorded is generated (Step 1303), and a color camera image is generated (Step 1304) .
RGB 룩업 테이블은 도 14을 참조할 수 있다.The RGB lookup table can be referred to FIG.
도 14에서 보는 바와 같이, RGB 룩업 테이블(1400)은 2개의 Chroma-Key Screen 설치 예이다.As shown in FIG. 14, the RGB lookup table 1400 is an example of two chroma-key screen installations.
크로마 키 스크린 기반의 멀티레이어 영상 생성 방법에서 오브젝트 파트 식별정보와 관련되는 RGB의 룩업 테이블(1400)은 Color Patch 픽셀(x, y)의 Color 정보(red, green, blue)를 저장하고, 해당하는 Object part ID(Color Patch)를 저장한다. In the multi-layer image generation method based on the chroma key screen, the RGB lookup table 1400 associated with the object part identification information stores the color information (red, green, blue) of the color patch pixel (x, y) Save the object part ID (Color Patch).
룩업 테이블(1400)의 입력은 컬러 카메라의 특정 픽셀에 대한 색 정보(RGB)이며, 출력은 오브젝트 파트 식별정보이다.The input of the lookup table 1400 is color information (RGB) for a specific pixel of the color camera, and the output is object part identification information.
다시 도 13을 참고하면, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 크로마 키 스크린 및 피사체가 착용하고 오브젝트 파트 별로 다른 색이 적용된 수트(1100)으로부터 컬러카메라 영상을 생성할 수 있다.Referring again to FIG. 13, in the multi-layer image generation method based on the chroma key screen, a chroma key screen and a color camera image can be generated from the
다음으로, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 상기 생성된 컬러카메라 영상의 현재 위치에 대한 색상 정보를 확인하고, 상기 확인된 색상 정보와 상기 RGB 룩업 테이블을 비교하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색할 수 있다.Next, a method of generating a multi-layer image based on a chroma key screen is performed by checking color information about a current position of the generated color camera image, comparing the identified color information with the RGB lookup table, It is possible to retrieve the object part identification information.
구체적으로, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 컬러 영상의 현재 위치의 R, G, B의 값을 읽고(단계 1305), 크로마 키 스크린과 같은 색인지 여부를 판단한다(단계 1306).Specifically, the method for generating a multi-layer image based on the chroma key screen reads the values of R, G, and B at the current position of the color image (step 1305) and determines whether the color is the same as the chroma key screen (step 1306).
상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인 경우, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 Labeled image의 현재 위치에 "배경"으로 저장한다.If the identified color information is the same color as the chroma key screen, the method of generating a multilayer image based on the chroma key screen stores the background image in the current position of the labeled image.
이후, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 컬러 카메라 영상의 마지막 픽셀인지 여부를 판단하여(단계 1310), 마지막 픽셀인 경우에 멀티레이어 레이블 영상을 생성할 수 있다(단계 1311).Then, the method of generating a multi-layer image based on the chroma key screen may determine whether it is the last pixel of the color camera image (step 1310), and if it is the last pixel, generate a multi-layer label image (step 1311).
만약, 상기 확인된 색상 정보가 크로마 키 스크린과 다른 색인 경우, 상기 RGB 룩업 테이블에 기초하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하고(단계 1308), 저장한다(단계 1309).If the identified color information is different from the chroma key screen, object part identification information corresponding to the color information is retrieved based on the RGB lookup table (step 1308) and stored (step 1309).
만약, 단계 1310의 판단 결과, 마지막 픽셀이 아닌 경우라면 컬러 영상의 다음위치를 선정하고(단계 1312), 단계 1305로 이동할 수 있다.If it is determined in
멀티레이어 영상 생성 환경은 도 15와 같이 복수개의 크로마 키 스크린과 깊이 카메라, 컬러 카메라를 설치해서 구성할 수 있다. 도 15와 같은 환경에서 도 13의 방법을 이용하여, 멀티레이어 영상을 생성 한다.The multi-layer image generation environment can be configured by installing a plurality of chroma key screens, a depth camera, and a color camera as shown in FIG. In the environment shown in FIG. 15, a multi-layer image is generated using the method of FIG.
도 15에서는 2개의 깊이 카메라(1501), 2개의 컬러 카메라(1502)를 각각 설치하였지만, 복수개의 크로마 키 스크린과 깊이 카메라, 컬러 카메라가 설치될 수도 있다.Although two
자세히 설명하면, 먼저 도 13에서 사용 되는 룩업 테이블은 컬러 카메라로 촬영한 영상에서 액터가 입고 있는 의상의 컬러 패치 정보로부터 생성될 수 있다.More specifically, the lookup table used in FIG. 13 can be generated from the color patch information of the costume worn by the actor in the image photographed by the color camera.
액터가 컬러 패치 의상을 입고, 멀티레이어 데이터 생성을 위해 도 15의 환경에 진입하면, 컬러 영상의 현재 위치(x, y) 픽셀의 Red, Green, Blue 값을 읽는다. 이때 픽셀이 크로마 키 스크린과 같은 컬러 정보인지 확인한다. Yes면 Labeled Image 현재 픽셀 위치에 "배경"으로 저장한다. No면 룩업 테이블에서 RGB에 해당하는 오브젝트 파트 식별정보를 검색한다. Labeled Image 현재 위치에 오브젝트 파트 식별정보를 저장한다. When the actor enters the environment of Fig. 15 for the multi-layer data generation by wearing a color patch costume, the red, green, and blue values of the current position (x, y) pixel of the color image are read. Make sure that the pixel is color information like a chroma key screen. If Yes, Labeled Image is stored as the "background" at the current pixel location. The object part identification information corresponding to RGB is retrieved from the no-face look-up table. Labeled Image Stores object part identification information at the current position.
오브젝트의 수트에서 컬러 패치의 개수는 한정되지 않는다.The number of color patches in the set of objects is not limited.
그리고 현재 픽셀이 입력된 이미지의 마지막 픽셀인지 확인하고, Yes면 Labeled Image의 생성을 완료하고, No면 컬러 영상의 다음 픽셀로 옮겨서, Labeled Image 생성을 계속한다. 이때 부가적으로 컬러 패치 수트 위에 Retro-Reflective Marker등을 부착하여 상세한 모션 데이터를 생성할 수도 있다.If the current pixel is the last pixel of the input image, then the generation of the Labeled Image is completed, the next pixel of the No Face image is moved to continue the generation of the Labeled Image. At this time, a detailed motion data may be generated by attaching a Retro-Reflective Marker or the like on the color patch suit.
도 16은 멀티레이어 영상을 생성하는 세 번째 실시 예로서, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.16 is a view for explaining a method of generating an initial template-based multi-layer image according to a third embodiment of the present invention.
초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 성별, 연령, 체형에 따른 오브젝트 파트들 각각의 속성 값을 측정한다(단계 1601).In the initial template-based multi-layer image generation method, attribute values of object parts according to sex, age, and body type are measured (step 1601).
다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 측정된 각각의 속성 값으로 초기 템플레이트를 정의하고(단계 1602), 상기 정의된 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성한다(단계 1603).Next, an initial template-based multi-layer image generation method defines an initial template with each of the measured property values (step 1602), and creates an object part lookup table based on the defined initial template (step 1603) .
예를 들어 성별, 연령, 체형의 평균값을 속성으로, 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성할 수 있다.For example, an object part look-up table can be generated based on the initial template, with the attribute of sex, age, and body shape as attributes.
초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 오브젝트 파트 룩업 테이블을 생성과 병행하여, 모션 캡쳐 시스템을 준비하고(단계 1604), 상기 준비된 모션 캡쳐 시스템을 이용하여, 모션 캡쳐 데이터를 생성한다(단계 1605).The initial template-based multi-layer image generation method prepares a motion capture system in parallel with generation of the object part lookup table (step 1604), and generates motion capture data using the prepared motion capture system (step 1605 ).
예를 들어 복수개의 IR 카메라와 Retro-Reflective Marker 등을 이용하여 모션 데이터를 생성할 수도 있다. 이때 모션 데이터를 생성하는 시스템은 특정 종류에 한정되지 않는다.For example, motion data may be generated using a plurality of IR cameras and Retro-Reflective Markers. The system for generating motion data at this time is not limited to a specific type.
초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 오브젝트 파트 룩업 테이블을 생성 및 모션 캡쳐 데이터의 생성과 병행하여, 깊이 카메라로부터 깊이 영상을 입력 받을 수 있다(단계 1606).The initial template-based multi-layer image generation method may receive the depth image from the depth camera in parallel with generation of the object part look-up table and generation of the motion capture data (step 1606).
다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 정합된 영역의 크기나 볼륨 등을 상기 생성된 오브젝트 파트 룩업 테이블에 기초하여 상기 생성된 모션 캡쳐 데이터의 각 조인트에 상기 정의된 초기 템플레이트를 정합한다(단계 1607).Next, an initial template-based multi-layer image generation method matches the initial template defined in each joint of the generated motion capture data based on the generated object part lookup table, (Step 1607).
다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 깊이 영상을 입력 받고, 상기 입력된 깊이 영상에 기초하여 선정된 깊이 범위 내에서 영상을 생성한다(단계 1608).Next, an initial template-based multi-layer image generation method receives the depth image and generates an image within a predetermined depth range based on the input depth image (step 1608).
예를 들어, 상기 깊이 영상은 상기 룩업 테이블에 기록된 깊이 정보로부터 생성할 수 있다.For example, the depth image may be generated from the depth information recorded in the lookup table.
또 다른 예로 상기 깊이 영상은 깊이 카메라와 모션 데이터 생성 시스템을 동시에 이용하여 깊이 데이터와 모션 데이터를 획득한 경우, 초기 템플레이트를 이용하여 정합된 영역의 크기나 볼륨을 깊이 영상 범위를 참고하여 좀 더 정확하게 생성 할 수 있다.As another example, when the depth data and the motion data are acquired by using the depth camera and the motion data generation system simultaneously, the depth image can be obtained more accurately by referring to the depth image range using the initial template, Can be generated.
이후, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 선정된 깊이 범위 내에서 생성된 영상으로부터 멀티레이어 깊이 영상을 생성하고(단계 1609), 멀티레이어 레이블드 영상을 생성할 수 있다(단계 1610).Thereafter, in the initial template-based multi-layer image generation method, a multi-layer depth image is generated from an image generated within the predetermined depth range (step 1609), and a multi-layered labeled image is generated (step 1610).
도 17은 초기 템플레이트에 따른 오브젝트 파트 룩업 테이블(1700)을 설명하는 도면이다.17 is a diagram for explaining an object part lookup table 1700 according to an initial template.
오브젝트 파트 룩업 테이블(1700)은 성별, 연령, 체형에 따른 오브젝트 파트들에 대해서 측정된 속성 값을 저장하는데, 각 오브젝트 파트별 속성 값의 평균과 표준편차를 계산하여 저장할 수 있다.The object part look-up table 1700 stores attribute values measured for object parts according to sex, age, and body type. The average and standard deviation of attribute values for each object part can be calculated and stored.
도 18은 사람(1800)의 각 오브젝트 파트 프로퍼티를 실측하는 예를 설명하는 도면이다.18 is a diagram for explaining an example of actual measurement of each object part property of the
도 18에서 보는 바와 같이, 각 오브젝트 파트 프로퍼티는 성별, 연령, 체형에 따라 각 오브젝트 파트의 속성 값을 측정하여 평균과 표준편차를 구하여 산출할 수 있다.As shown in FIG. 18, each object part property can be calculated by measuring an attribute value of each object part according to sex, age, and body type to obtain an average and a standard deviation.
도 19는 사람(1900)의 각 오브젝트 파트 프로퍼티를 결정하는 실시예를 설명하는 도면으로서, 도 19에서 보는 바와 같이 각 오브젝트 파트 별 측정한 속성 값을 오브젝트 비율을 고려하여 결정할 수 있다.FIG. 19 is a diagram for explaining an embodiment for determining each object part property of a
도 20은 2차원 오브젝트 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예(2000)를 도시하는 도면이다.FIG. 20 is a diagram illustrating an
도 20에서 보는 바와 같이 머리는 원, 어깨는 사다리꼴, 팔과 몸통, 다리는 직사각형, 손은 반원, 발은 호인 ID가 다른 도형으로 세팅한다. 도형의 종류는 위에 기술한 5가지 종류에 한정되지 않는다.As shown in Fig. 20, the head is set to a circle, the shoulder is trapezoid, the arms and the torso, the legs are rectangles, the hands are semicircle, and the feet are shapes with different IDs. The types of figures are not limited to the five types described above.
도 21은 3차원 오브젝트 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예(2100)를 도시하는 도면으로서, 각 오브젝트 파트를 3차원 오브젝트 모양(3D Body Shape)으로 만들어 초기 템플레이트로 정의한다.FIG. 21 is a drawing showing an
도 22는 도 17에서 깊이 카메라 입력이 있을 경우 깊이 범위 안에서 영상을 생성하는 예를 도시한 도면으로서, Real Depth Data의 범위 안에서 초기 오브젝트 파트 템플레이트(Primitive Object part Template)를 이용하여 Labeled 영상(2200)을 생성하는 예이다.FIG. 22 shows an example of generating an image within a depth range when there is a depth camera input in FIG. 17, in which a labeled
도 23은 멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법을 개시한 흐름도이다.23 is a flowchart illustrating a method for generating skeleton data in a multi-layer video.
멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법은 멀티레이어 영상을 읽어들이고 (단계 2301), 상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트 파트 식별정보에 대한 세그먼트화를 수행한다(단계 2302).In a method of generating skeleton data in a multi-layered image, a multi-layered image is read (step 2301), and the same object part identification information is segmented from the read multimedia image (step 2302).
상기 수행한 세그먼트화에 따라서, 동일한 오브젝트 파트 식별정보에 해당하는 위치를 추정하고(단계 2303), 상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정한다(단계 2304).According to the segmentation performed, a position corresponding to the same object part identification information is estimated (step 2303), and a skeleton model is estimated using the estimated position (step 2304).
도 24는 멀티레이어 영상을 바탕으로 스켈레톤 모델(2400)을 추정한 실시예를 설명한 도면이다.24 is a view for explaining an embodiment in which a
도 23 및 21에 따라서 스켈레톤 모델을 생성하는 방법은 별도의 Retro-Reflective Marker 없이 모션 데이터 캡쳐 시스템으로도 활용할 수 있는 실시 예이다.The method of generating a skeleton model according to FIGS. 23 and 21 can be utilized as a motion data capture system without a separate Retro-Reflective Marker.
결국 본 발명에 따르면, 본 발명에 의해 생성한 산출물을 통해 오브젝트 의 볼륨 재구성을 위한 인식기 학습의 입력데이터로 활용되어 오브젝트 의 볼륨 및 자세를 인식할 수 있는 데이터로 활용할 수 있다. 또한, 본 발명에 따른 비저블 레이어 및 인비저블 레이어로 구성된 오브젝트의 3차원 볼륨 데이터를 생성 할 수 있다.As a result, the present invention can be utilized as input data of recognizer learning for reconstructing the volume of an object through the artifacts generated by the present invention, so that the volume and posture of the object can be recognized. Further, it is possible to generate three-dimensional volume data of an object constituted by a visible layer and an invisible layer according to the present invention.
본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The three-dimensional volume data generation method according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.
101: 비저블 데이터 생성 단계
102: 인비저블 데이터 생성 단계101: Bidirectional data generation step
102: Invisible data generation step
Claims (13)
상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계; 및
상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계
를 포함하는 것을 특징으로 하는 3차원 볼륨 데이터 생성 방법.Generating a multi-layer image;
Generating a type and volume information of a visible portion of the object based on the generated multi-layer image; And
Generating a type and volume information of an invisible part of the object based on the generated multi-layer image
Dimensional volume data to generate three-dimensional volume data.
상기 멀티레이어 영상을 생성하는 단계는,
피사체의 모션 캡쳐를 수행하여 모션 데이터를 생성하는 단계;
오브젝트 의 실제 체형을 반영하여 3차원 메시(3D mesh)의 조합으로 구성된 3차원 오브젝트 모델(Object Model)을 생성하는 단계;
상기 생성된 모션 데이터를 상기 생성된 3차원 오브젝트 모델에 정합하기 위한 리타게팅을 수행하는 단계; 및
상기 리타게팅 결과에 따라 레이 캐스팅 기반의 멀티레이어 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.The method according to claim 1,
Wherein the step of generating the multi-
Performing motion capture of a subject to generate motion data;
Generating a three-dimensional object model composed of a combination of three-dimensional meshes (3D meshes) reflecting the actual body shape of the object;
Performing retouching to match the generated motion data to the generated three-dimensional object model; And
Generating a multi-layer video based on racasting according to the retouching result
Dimensional volume data.
상기 레이 캐스팅 기반의 멀티레이어 영상을 생성하는 상기 단계,
레이 캐스팅 기반의 레이 맵을 생성하는 단계;
상기 생성한 레이 맵으로부터 한 점을 선택하고, 상기 생성된 3차원 오브젝트 모델(Human Model)로부터 복수개의 버텍스를 선택하는 단계; 및
상기 선택된 한 점과 상기 복수개의 버텍스와의 위치에 기초하여 상기 멀티레이어 영상의 저장 여부를 결정하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.3. The method of claim 2,
Generating the multi-layer video based on the raycasting,
Generating a ray cast based ray map;
Selecting a point from the generated ray map, and selecting a plurality of vertices from the generated three-dimensional object model; And
Determining whether to store the multi-layer image based on the position of the selected one point and the plurality of vertices
Dimensional volume data.
상기 선택된 한 점과 상기 복수개의 버텍스와의 위치에 기초하여 상기 멀티레이어 영상의 저장 여부를 결정하는 상기 단계는,
상기 선택된 한 점이 상기 복수개의 버텍스가 생성하는 범위 내에 위치하는지 여부를 확인하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.The method of claim 3,
Wherein the step of determining whether to store the multi-layer video based on the position of the selected one point and the plurality of vertices comprises:
Determining whether the selected point is located within a range generated by the plurality of vertices
Dimensional volume data.
상기 멀티레이어 영상을 생성하는 단계는,
피사체의 모션 캡쳐를 수행하여 모션 데이터를 생성하는 단계;
오브젝트의 실제 체형을 반영하여 3차원 메시(3D mesh)의 조합으로 구성된 3차원 오브젝트 모델(Object Model)을 생성하는 단계;
상기 생성된 모션 데이터를 상기 생성된 3차원 오브젝트 모델에 정합하기 위한 리타게팅을 수행하는 단계; 및
상기 리타게팅 결과에 따라 슬라이싱 기반의 멀티레이어 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.The method according to claim 1,
Wherein the step of generating the multi-
Performing motion capture of a subject to generate motion data;
Generating a three-dimensional object model composed of a combination of three-dimensional meshes (3D meshes) reflecting the actual body shape of the object;
Performing retouching to match the generated motion data to the generated three-dimensional object model; And
A step of generating a slicing-based multilayer image according to the retouching result
Dimensional volume data.
상기 리타게팅 결과에 따라 슬라이싱 기반의 멀티레이어 영상을 생성하는 상기 단계는,
상기 모션 데이터와 상기 3차원 오브젝트 모델에 기반하는 모션 증진 3차원 오브젝트 모델(Motion Augmented 3D Human Model) 또는 초기 템플레이트 3차원 오브젝트 모델(Primitive Template 3D Human Model)을 생성하는 단계;
상기 생성된 모션 증진 3차원 오브젝트 모델 또는 상기 초기 템플레이트 3차원 오브젝트 모델에 현재 깊이 값에 해당하는 픽셀이 있는 경우에 레이블드 영상 및 깊이 영상을 생성하는 단계; 및
상기 생성된 레이블드 영상 및 깊이 영상을 이용하여 상기 멀티레이어 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.6. The method of claim 5,
Wherein the step of generating the slicing-based multi-layer image according to the retouching result comprises:
Generating a Motion Augmented 3D Human Model or a Primitive Template 3D Human Model based on the motion data and the 3D object model;
Generating a labeled image and a depth image when there is a pixel corresponding to a current depth value in the generated motion enhanced three-dimensional object model or the initial template three-dimensional object model; And
Generating the multi-layer image using the generated labeled image and the depth image
Dimensional volume data.
상기 멀티레이어 영상을 생성하는 단계는,
크로마 키 스크린 및 피사체가 착용하고 바디 파트 별로 다른 색이 적용된 수트로부터, 컬러카메라 영상을 생성하는 단계;
상기 수트의 컬러 패치 정보와 오브젝트파트 식별정보가 기록된 RGB 룩업 테이블을 생성하는 단계;
상기 생성된 컬러카메라 영상의 현재 위치에 대한 색상 정보를 확인하고, 상기 확인된 색상 정보와 상기 RGB 룩업 테이블을 비교하여, 상기 색상 정보에 해당하는 오브젝트파트 식별 정보를 검색하는 단계; 및
상기 검색된 오브젝트파트 식별 정보를 이용하여 멀티레이어 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.The method according to claim 1,
Wherein the step of generating the multi-
Creating a color camera image from a set of chroma key screens and suits worn by the subject and different colors applied to the respective body parts;
Generating an RGB lookup table in which color patch information and object part identification information of the soot are recorded;
Checking color information about a current position of the generated color camera image, comparing the identified color information with the RGB lookup table, and searching for object part identification information corresponding to the color information; And
A step of generating a multi-layer image using the searched object part identification information
Dimensional volume data.
상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하는 상기 단계는,
상기 생성된 컬러카메라 영상의 현재 위치에 대한 R, G, B 값을 읽어들어 상기 색상 정보를 확인하는 단계;
상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인지 여부를 판단하는 단계;
상기 확인된 색상 정보가 크로마 키 스크린과 다른 색인 경우, 상기 RGB 룩업 테이블에 기초하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하고 저장하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.8. The method of claim 7,
Wherein the step of retrieving object part identification information corresponding to the color information comprises:
Reading the R, G and B values of the current position of the color camera image to check the color information;
Determining whether the identified color information is the same color as the chroma key screen;
Searching and storing object part identification information corresponding to the color information based on the RGB lookup table when the identified color information is different from the chroma key screen
Dimensional volume data.
상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하는 상기 단계는,
상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인 경우, 상기 확인된 색상 정보를 배경색으로 결정하는 단계
를 더 포함하는 3차원 볼륨 데이터 생성 방법.9. The method of claim 8,
Wherein the step of retrieving object part identification information corresponding to the color information comprises:
If the identified color information is the same color as the chroma key screen, determining the identified color information as a background color
Dimensional volume data.
상기 멀티레이어 영상을 생성하는 단계는,
오브젝트 파트들 각각의 속성 값을 측정하는 단계;
상기 측정된 각각의 속성 값으로 초기 템플레이트를 정의하고, 상기 정의된 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성하는 단계;
모션 캡쳐 시스템을 이용하여, 모션 캡쳐 데이터를 생성하는 단계;
상기 생성된 모션 캡쳐 데이터의 각 조인트에 상기 정의된 초기 템플레이트를 정합하는 단계; 및
깊이 카메라 영상을 입력 받고, 상기 입력된 깊이 카메라 영상에 기초하여 선정된 깊이 범위 내의 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.The method according to claim 1,
Wherein the step of generating the multi-
Measuring an attribute value of each of the object parts;
Defining an initial template with each of the measured property values, and creating an object part lookup table based on the defined initial template;
Generating motion capture data using a motion capture system;
Matching the defined initial template to each joint of the generated motion capture data; And
Receiving a depth camera image, and generating an image within a predetermined depth range based on the input depth camera image
Dimensional volume data.
상기 선정된 깊이 범위 내의 영상으로부터 멀티레이어 깊이 영상 및 멀티레이어 레이블드 영상을 생성하는 단계
를 더 포함하는 3차원 볼륨 데이터 생성 방법.11. The method of claim 10,
Generating a multi-layer depth image and a multi-layered labeled image from the image within the predetermined depth range;
Dimensional volume data.
상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트 파트 식별정보에 대한 세그먼트화를 수행하는 단계;
상기 수행한 세그먼트화에 따라서, 동일한 오브젝트 파트 식별정보에 해당하는 위치를 추정하는 단계; 및
상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.Reading a multi-layer image;
Performing segmentation on the same object part identification information from the read multimedia image;
Estimating a position corresponding to the same object part identification information according to the segmentation performed; And
Estimating a skeleton model using the estimated position
Dimensional volume data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/858,336 US9489764B2 (en) | 2012-04-17 | 2013-04-08 | Method of generating three-dimensional (3D) volumetric data |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20120039788 | 2012-04-17 | ||
| KR1020120039788 | 2012-04-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130117668A true KR20130117668A (en) | 2013-10-28 |
| KR102068251B1 KR102068251B1 (en) | 2020-01-20 |
Family
ID=49636374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130033739A KR102068251B1 (en) | 2012-04-17 | 2013-03-28 | Method of generating 3d volumetric data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102068251B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200045884A (en) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | Apparatus, method and computer readable medium for generating volumetric video |
| WO2022020594A1 (en) * | 2020-07-23 | 2022-01-27 | Malay Kundu | Multilayer three-dimensional presentation |
| KR102547323B1 (en) * | 2023-03-16 | 2023-06-22 | 이채영 | Object segmentation device and method formed through 3d scanning |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6023302A (en) * | 1996-03-07 | 2000-02-08 | Powertv, Inc. | Blending of video images in a home communications terminal |
| US20050237328A1 (en) * | 2004-04-23 | 2005-10-27 | Jens Guhring | Method and system for mesh-to-image registration using raycasting |
| US20060256112A1 (en) * | 2005-05-10 | 2006-11-16 | Sony Computer Entertainment Inc. | Statistical rendering acceleration |
| US20090103793A1 (en) * | 2005-03-15 | 2009-04-23 | David Borland | Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data |
| KR20110046874A (en) * | 2009-10-29 | 2011-05-06 | 한국인식산업(주) | Method of scanning and recognizing an image |
| US20110221743A1 (en) * | 2010-03-11 | 2011-09-15 | Gary Keall | Method And System For Controlling A 3D Processor Using A Control List In Memory |
| US20120019517A1 (en) * | 2010-07-23 | 2012-01-26 | Mixamo, Inc. | Automatic generation of 3d character animation from 3d meshes |
| KR20120073804A (en) * | 2010-12-27 | 2012-07-05 | 삼성전자주식회사 | Image processing apparatus and method |
-
2013
- 2013-03-28 KR KR1020130033739A patent/KR102068251B1/en active IP Right Grant
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6023302A (en) * | 1996-03-07 | 2000-02-08 | Powertv, Inc. | Blending of video images in a home communications terminal |
| US20050237328A1 (en) * | 2004-04-23 | 2005-10-27 | Jens Guhring | Method and system for mesh-to-image registration using raycasting |
| US20090103793A1 (en) * | 2005-03-15 | 2009-04-23 | David Borland | Methods, systems, and computer program products for processing three-dimensional image data to render an image from a viewpoint within or beyond an occluding region of the image data |
| US20060256112A1 (en) * | 2005-05-10 | 2006-11-16 | Sony Computer Entertainment Inc. | Statistical rendering acceleration |
| US7289119B2 (en) * | 2005-05-10 | 2007-10-30 | Sony Computer Entertainment Inc. | Statistical rendering acceleration |
| KR20110046874A (en) * | 2009-10-29 | 2011-05-06 | 한국인식산업(주) | Method of scanning and recognizing an image |
| US20110221743A1 (en) * | 2010-03-11 | 2011-09-15 | Gary Keall | Method And System For Controlling A 3D Processor Using A Control List In Memory |
| US20120019517A1 (en) * | 2010-07-23 | 2012-01-26 | Mixamo, Inc. | Automatic generation of 3d character animation from 3d meshes |
| KR20120073804A (en) * | 2010-12-27 | 2012-07-05 | 삼성전자주식회사 | Image processing apparatus and method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200045884A (en) * | 2018-10-23 | 2020-05-06 | 주식회사 케이티 | Apparatus, method and computer readable medium for generating volumetric video |
| WO2022020594A1 (en) * | 2020-07-23 | 2022-01-27 | Malay Kundu | Multilayer three-dimensional presentation |
| KR102547323B1 (en) * | 2023-03-16 | 2023-06-22 | 이채영 | Object segmentation device and method formed through 3d scanning |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102068251B1 (en) | 2020-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10636206B2 (en) | Method and system for generating an image file of a 3D garment model on a 3D body model | |
| US10867453B2 (en) | Method and system for generating an image file of a 3D garment model on a 3D body model | |
| US9525862B2 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
| US10659750B2 (en) | Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images | |
| US11961200B2 (en) | Method and computer program product for producing 3 dimensional model data of a garment | |
| JP4537104B2 (en) | Marker detection method, marker detection device, position and orientation estimation method, and mixed reality space presentation method | |
| JP5818773B2 (en) | Image processing apparatus, image processing method, and program | |
| ES2553258T3 (en) | Method for estimating a pose of an articulated object model | |
| Zollmann et al. | Image-based ghostings for single layer occlusions in augmented reality | |
| US8487926B2 (en) | Method and apparatus for generating 3D image using 2D photograph images | |
| US8988422B1 (en) | System and method for augmenting hand animation with three-dimensional secondary motion | |
| US9489764B2 (en) | Method of generating three-dimensional (3D) volumetric data | |
| Tian et al. | Handling occlusions in augmented reality based on 3D reconstruction method | |
| KR20190117354A (en) | Method and apparatus for generating 3d map of indoor space | |
| JP2006053694A (en) | Space simulator, space simulation method, space simulation program and recording medium | |
| TW201734954A (en) | Data processing device, data processing method, and data processing program | |
| JP2002236909A (en) | Image data processing method and modeling device | |
| Dong et al. | Real-time re-textured geometry modeling using Microsoft HoloLens | |
| JP7475022B2 (en) | Method and device for generating 3D maps of indoor spaces | |
| KR102068251B1 (en) | Method of generating 3d volumetric data | |
| JP6362401B2 (en) | Image processing apparatus and image processing apparatus control method | |
| JP7078564B2 (en) | Image processing equipment and programs | |
| Nguyen et al. | High-definition texture reconstruction for 3D image-based modeling | |
| Lee et al. | Estimation of illuminants for plausible lighting in augmented reality | |
| EP4227887A1 (en) | Dynamic layout optimization of annotation labels in volume rendering |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |