KR20120071299A - 삼차원 모델의 형상 전이 방법 및 장치 - Google Patents

삼차원 모델의 형상 전이 방법 및 장치 Download PDF

Info

Publication number
KR20120071299A
KR20120071299A KR1020110065053A KR20110065053A KR20120071299A KR 20120071299 A KR20120071299 A KR 20120071299A KR 1020110065053 A KR1020110065053 A KR 1020110065053A KR 20110065053 A KR20110065053 A KR 20110065053A KR 20120071299 A KR20120071299 A KR 20120071299A
Authority
KR
South Korea
Prior art keywords
model
dimensional
shape
volume
skeleton
Prior art date
Application number
KR1020110065053A
Other languages
English (en)
Inventor
임성재
주한별
윤승욱
이지형
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/335,055 priority Critical patent/US8922547B2/en
Publication of KR20120071299A publication Critical patent/KR20120071299A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

삼차원 모델의 형상 전이 장치는 개체에 대한 복수 개의 이차원 이미지들로부터 개체의 형상을 복원한 볼륨 모델을 생성하고, 볼륨 모델에 대한 신체부위들 사이의 경계점들을 이용하여 볼륨 모델의 골격 구조를 추정하며, 템플릿 모델의 크기 및 자세를 볼륨 모델의 크기 및 자세와 일치시키기 위해 템플릿 모델의 골격 구조를 볼륨 모델의 골격 구조로 전이하여 골격 전이 모델을 생성한 후, 골격 전이 모델의 외형을 볼륨 모델의 외형과 일치시키기 위해 볼륨 모델의 단면에 따라 골격 전이 모델의 외형을 전이시켜 개체의 형상에 대응되는 형상 전이 모델을 생성한다.

Description

삼차원 모델의 형상 전이 방법 및 장치{METHOD AND APPARATUS FOR SHAPE TRANSFERRING OF 3D MODEL}
본 발명은 삼차원 모델의 형상 전이 방법 및 장치에 관한 것이다. 보다 상세하게, 본 발명은 골격 구조를 갖는 개체의 외형 및 모션을 표현할 수 있는 삼차원 모델을 제공하기 위한 삼차원 모델의 형상 전이 방법 및 장치에 관한 것이다.
종래에는, 개체의 외형을 복원하는 위해 레이저 광이나 패턴 광을 이용한 능동형 센서를 통해 개체의 외형 정보를 스캐닝(scanning)하여 삼차원 모델을 생성하거나, 카메라를 통해 입력된 영상 정보를 복원하여 삼차원 모델을 생성하였다.
하지만, 이렇게 복원된 모델들은 형상 변형이 불가능하고, 외형이 자연스럽고 사실적이지 못하여 숙련된 디자이너 등의 전문가에 의해 후처리 되어야 하는 단점이 있다. 또한, 복원된 모델의 형상을 변형하기 위해서는 형상 변형이 가능하고 모션 정보를 반영할 수 있는 골격구조를 생성해야 하는 단점들이 있다.
또한, 종래의 개체 모델 생성 기법들은 개체의 골격만을 표현한 스틱(stick) 모델, 개체의 외형을 곡면 패치들로 표현한 곡면(surface) 모델, 또는 개체를 구, 원기둥, 타원체 등의 조합으로 표현한 볼륨(volume) 모델을 생성한다.
이와 같은 종래의 개체 모델 생성 기법들로부터 생성된 모델들은 사실적인 외형을 표현하지 못하고, 개체의 움직임에 따른 형상 변형이 자연스럽지 못하거나 형상 변형을 위해 많은 계산 시간이 필요하며, 사용자가 수동으로 조작해야 한다는 단점들이 있다.
또한, 동적 개체에 부착된 마커(marker)의 위치 정보를 이용하여 외형을 복원하는 경우, 동적 개체에 수많은 마커를 부착해야만 하고, 고가의 모션캡처 장치를 구비해야 하며, 마커를 수작업으로 찾아야 하는 단점들이 있다.
본 발명의 목적은, 골격 구조를 갖는 개체의 외형 및 모션을 표현할 수 있는 삼차원 모델을 제공하기 위한 삼차원 모델의 형상 전이 방법 및 장치를 제공하는 것이다.
본 발명의 특징에 따른 삼차원 모델의 형상 전이 방법은 개체에 대한 복수 개의 이차원 이미지들로부터 개체의 형상을 복원한 볼륨 모델을 생성하는 단계, 볼륨 모델에 대한 신체부위들 사이의 경계점들을 이용하여 볼륨 모델의 골격 구조를 추정하는 단계, 템플릿 모델의 크기 및 자세를 볼륨 모델의 크기 및 자세와 일치시키기 위해 템플릿 모델의 골격 구조를 볼륨 모델의 골격 구조로 전이하여 골격 전이 모델을 생성하는 단계, 그리고 골격 전이 모델의 외형을 볼륨 모델의 외형과 일치시키기 위해 볼륨 모델의 단면에 따라 골격 전이 모델의 외형을 전이시켜 개체의 형상에 대응되는 형상 전이 모델을 생성하는 단계를 포함한다.
본 발명의 특징에 따른 삼차원 모델의 형상 전이 장치는 카메라부, 형상 복원부, 골격 추정부 및 골격 전이부를 포함한다. 카메라부는 동일한 프레임에 개체를 촬영하여 복수 개의 이차원 이미지들을 획득한다. 형상 복원부는 복수 개의 이차원 이미지들로부터 개체의 형상을 복원하여 삼차원 볼륨 모델을 생성한다. 골격 추정부는 삼차원 볼륨 모델의 골격 구조를 추정한다. 골격 전이부는 템플릿 모델의 골격 구조를 삼차원 볼륨 모델의 골격 구조와 일치시켜 삼차원 볼륨 모델의 크기와 자세를 템플릿 모델에 전이한다.
본 발명의 특징에 따르면, 개체의 외형 정보만을 이용하여 개체의 외형과 모션을 표현할 수 있는 삼차원 모델을 생성할 수 있는 효과가 있다. 또한, 미리 생성된 템플릿 모델의 형상을 전이하여 개체의 형상에 대응되는 삼차원 모델을 생성함으로써 개체의 모션을 표현하기 위한 계산 시간을 단축할 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 형상 전이 장치의 구성의 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 템플릿 모델 생성부의 구성에 대해 설명한다.
도 3은 본 발명의 실시 예에 따른 템플릿 모델의 골격 구조를 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 형상 전이 제어부의 구성에 대해 설명한다.
도 5는 본 발명의 실시 예에 따른 템플릿 모델 생성 방법을 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 형상 전이 방법을 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 제1 형상 전이 모델의 생성 방법을 도시한 도면이다.
도 8은 본 발명의 실시 예에 따른 제2 형상 전이 모델의 생성 방법을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 이차원 이미지를 도시한 도면이다.
도 10은 본 발명의 실시 예에 따른 삼차원 볼륨 모델의 비교점을 도시한 도면이다.
도 11은 본 발명의 실시 예에 따른 넙스 곡면을 도시한 도면이다.
본 발명을 첨부된 도면을 참고하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 고지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 해당 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이제 도면을 참고하여 본 발명의 실시 예에 따른 삼차원 모델의 형상 전이 장치 및 방법에 대해 설명한다.
먼저, 도 1을 참고하여 본 발명의 실시 예에 따른 삼차원 모델의 형상 전이 장치에 대해 설명한다.
도 1은 본 발명의 실시 예에 따른 형상 전이 장치의 구성의 도시한 도면이다.
도 1에 도시된 바와 같이, 형상 전이 장치(100)는 다시점 카메라부(110), 템플릿 모델 생성부(130) 및 형상 전이 제어부(150)를 포함한다.
다시점 카메라부(110)는 서로 다른 카메라앵글로 개체를 촬영하여 복수 개의 이차원 이미지들을 획득한다. 여기서, 다시점 카메라부(110)는 개체의 한 프레임의 외형과 모션을 다시점 카메라를 이용하여 캡처한 개체의 다시점 영상 또는 다시점 스테레오 영상을 생성할 수 있다.
템플릿 모델 생성부(130)는 미리 주어진 삼차원 메시 모델(3D Mesh Model)로부터 골격 구조를 가지는 템플릿 모델(Template Model)을 생성한다.
형상 전이 제어부(150)는 다시점 카메라부(110)에서 획득한 복수 개의 이차원 이미지들을 이용하여 개체의 형상에 대응되는 삼차원 볼륨 모델(3D volume Model)을 생성하고, 삼차원 볼륨 모델의 형상에 따라 템플릿 모델의 형상을 전이시킨다.
다음, 도 2를 참고하여 본 발명의 실시 예에 따른 템플릿 모델 생성부에 대해 설명한다.
도 2는 본 발명의 실시 예에 따른 템플릿 모델 생성부의 구성에 대해 설명한다.
도 2에 도시된 바와 같이, 템플릿 모델 생성부(130)는 골격 생성부(131), 특징점 추출부(133) 및 외형 생성부(135)를 포함한다.
골격 생성부(131)는 골격 구조 정보에 따라 삼차원 메시 모델의 골격을 생성하여 삼차원 골격 모델(3D Skeleton Model)을 생성한다. 여기서, 삼차원 골격 모델은 복수 개의 뼈대들 및 복수 개의 관절들을 포함한다.
특징점 추출부(133)는 삼차원 골격 모델의 외형적 특징이 나타나는 특징점들을 추출한다.
외형 변형부(135)는 추출된 특징점들 각각에 대한 비균일 유리 B-스플라인 곡면(Non-Uniform Rational B-spline surface, 이하에서는 '넙스 곡면'이라고도 함)에 따라 삼차원 골격 모델의 외형을 변형하여 넙스 곡면 기반의 템플릿 모델을 생성한다.
다음, 도 3을 참고하여 본 발명의 실시 예에 따른 템플릿 모델에 대해 설명한다.
도 3은 본 발명의 실시 예에 따른 템플릿 모델의 골격 구조를 도시한 도면이다.
도 3에 도시된 바와 같이, 템플릿 모델(200)은 골격 구조를 형성하는 뼈대(210) 및 관절(220)을 포함한다.
뼈대(210)은 관절(220)을 통해 인접한 뼈대와 연결된다.
관절(220)은 인접한 뼈대들을 연결한다.
다음, 도 4를 참고하여 본 발명의 실시 예에 따른 형상 전이 제어부에 대해 설명한다.
도 4는 본 발명의 실시 예에 따른 형상 전이 제어부의 구성에 대해 설명한다.
도 4에 도시된 바와 같이, 형상 전이 제어부(150)는 형상 복원부(151), 골격 추정부(152), 골격 전이부(153) 및 외형 전이부(154)를 포함한다.
형상 복원부(151)는 다시점 카메라부(110)로부터 수신된 개체에 대한 복수 개의 이차원 이미지들을 이용하여 개체의 형상을 복원한 삼차원 볼륨 모델을 생성한다.
골격 추정부(152)는 삼차원 볼륨 모델의 골격 구조를 추정한다.
골격 전이부(153)는 템플릿 모델의 골격 구조를 삼차원 볼륨 모델의 골격 구조와 일치시켜 삼차원 볼륨 모델의 크기 및 자세에 따라 템플릿 모델의 골격 구조를 전이한다.
외형 전이부(154)는 템플릿 모델의 외형을 삼차원 볼륨 모델의 외형과 일치시켜 삼차원 볼륨 모델의 외형에 따라 템플릿 모델의 외형을 전이한다.
다음, 도 5를 참고하여 본 발명의 실시 예에 따른 템플릿 모델 생성부가 템플릿 모델을 생성하는 방법에 대해 설명한다.
도 5는 본 발명의 실시 예에 따른 템플릿 모델 생성 방법을 도시한 도면이다.
도 5에 도시된 바와 같이, 먼저, 골격 생성부(131)는 미리 주어진 골격 구조 정보에 따라 미리 주어진 삼차원 메시 모델에 뼈대 및 관절을 생성하여 골격 구조를 가지는 삼차원 골격 모델을 생성한다(S100).
다음, 특징점 추출부(133)는 삼차원 골격 모델에서 특징점을 추출한다(S110). 여기서, 특징점 추출부(133)는 삼차원 골격 모델에서 복수 개의 특징점들을 추출할 수 있다.
이후, 외형 변형부(135)는 삼차원 골격 모델에서 특징점의 위치에 대응되는 단면을 추출한다(S120). 여기서, 외형 변형부(135)는 삼차원 골격 모델에서 복수 개의 특징점들의 위치에 각각 대응되는 복수 개의 단면들을 추출할 수 있다. 이때, 외형 변형부(135)는 복수 개의 버텍스들(vertexes)로 형성된 단면을 추출할 수 있다.
이후, 외형 변형부(135)는 단면을 형성하는 복수 개의 버텍스들 중에서 단면의 중심점까지 거리가 동일한 복수 개의 키 버텍스들을 추출하여 복수 개의 키 버텍스들로 형성되는 키 단면 곡선을 생성한다(S130). 여기서, 외형 변형부(135)는 복수 개의 단면들에 각각 대응되는 복수 개의 키 단면 곡선을 생성할 수 있다.
다음, 외형 변형부(135)는 키 단면 곡선을 B-스플라인(B-spline) 보간 하여 넙스 곡면을 생성한다(S140). 여기서, 외형 변형부(135)는 복수 개의 키 단면 곡선의 각각을 B-스플라인 보간 하여 복수 개의 키 단면 곡선에 각각 대응되는 복수 개의 넙스 곡면을 생성할 수 있다.
이후, 외형 변형부(135)는 넙스 곡면에 따라 삼차원 골격 모델의 외형을 변형하여 템플릿 모델을 생성한다(S150). 여기서, 외형 변형부(135)는 복수 개의 넙스 곡면에 따라 삼차원 골격 모델의 외형을 변형할 수 있다.
여기서, 템플릿 모델 생성부(130)는 넙스 곡면과 입력된 메시 모델의 각 버텍스들의 변위(displacement)에 대한 종속관계를 설정할 수 있다.
이와 같이 생성된 넙스 곡면 기반의 템플릿 모델은 각 키 단면 곡선에 대응되는 키 버텍스들을 B-스플라인 보간 하여 생성한 u방향 곡선, v방향으로 생성된 uv-map, 접힘, 팽창, 돌출 등의 특정 포즈 시 부위별 근육 곡면의 매듭 벡터(knot vector)들의 하이트(height) 파라미터, 및 키 버텍스들의 변위(displacement) 사이의 가중합으로 자연스럽고 사실적인 모델의 외형 변형을 수행할 수 있다.
다음, 도 6을 참고하여 본 발명의 실시 예에 따른 형상 전이 장치가 삼차원 모델의 형상을 전이하는 방법에 대해 설명한다.
도 6은 본 발명의 실시 예에 따른 형상 전이 방법을 도시한 도면이다.
도 6에 도시된 바와 같이, 먼저, 다시점 카메라부(110)는 제1 프레임에 서로 다른 카메라앵글로 개체를 촬영하여 복수 개의 이차원 이미지들을 획득한다(S200).
다음, 형상 전이 제어부(150)의 형상 복원부(151)는 제1 프레임에 획득한 복수 개의 이차원 이미지들을 이용하여 제1 프레임에 개체의 형상을 복원한 제1 볼륨 모델을 생성한다(S210). 여기서, 형상 복원부(151)는 제1 프레임에 획득한 복수 개의 이차원 이미지들에서 개체의 영역에 해당하는 전경을 추출한 후 제1 볼륨 모델을 생성할 수 있다.
이후, 형상 전이 제어부(150)는 제1 볼륨 모델을 이용하여 템플릿 모델의 형상을 전이한 제1 형상 전이 모델을 생성한다(S220).
다음, 다시점 카메라부(110)는 제2 프레임에 서로 다른 카메라앵글로 개체를 촬영하여 복수 개의 이차원 이미지들을 획득한다(S230).
이후, 형상 전이 제어부(150)의 형상 복원부(151)는 제2 프레임에 획득한 복수 개의 이차원 이미지들을 이용하여 제2 프레임에 개체의 형상을 복원한 제2 볼륨 모델을 생성한다(S240). 여기서, 형상 복원부(151)는 제2 프레임에 획득한 복수 개의 이차원 이미지들에서 개체의 영역에 해당하는 전경을 추출한 후 제2 볼륨 모델을 생성할 수 있다.
이후, 형상 전이 제어부(150)는 제2 볼륨 모델을 이용하여 제1 형상 전이 모델의 형상을 전이한 제2 형상 전이 모델을 생성한다(S250).
다음, 도 7을 참고하여 본 발명의 실시 예에 따른 형상 전이 제어부가 제1 형상 전이 모델을 생성하는 방법에 대해 설명한다.
도 7은 본 발명의 실시 예에 따른 제1 형상 전이 모델의 생성 방법을 도시한 도면이다.
도 7에 도시된 바와 같이, 먼저, 골격 추정부(152)는 제1 프레임에 획득한 복수 개의 이차원 이미지들에서 개체의 신체부위들 사이의 경계점들을 추출한다(S300). 여기서, 골격 추정부(152)는 제1 프레임에 획득한 복수 개의 이차원 이미지들에서 개체의 머리, 목, 팔, 다리 또는 몸통 등과 같은 신체부위들 사이의 경계점들을 추출할 수 있다. 또한, 골격 추정부(152)는 복수 개의 이차원 이미지 중 정면 이미지와 측면 이미지에서 개체의 신체부위들 사이의 경계점들을 추출할 수 있다.
이후, 골격 추정부(152)는 제1 프레임에 획득한 복수 개의 이차원 이미지들과 제1 볼륨 모델을 이차원-삼차원 선형 매핑(2D-to-3D Linear Mapping)하여 제1 볼륨 모델에서 경계점들 각각의 삼차원 좌표를 결정한다(S310).
다음, 골격 추정부(152)는 제1 볼륨 모델에서 경계점들 각각의 삼차원 좌표로부터 제1 볼륨 모델의 관절들 각각의 삼차원 좌표를 추정하여 제1 볼륨 모델의 골격 구조를 추정한다(S320). 여기서, 제1 볼륨 모델의 골격 구조는 제1 볼륨 모델의 크기 및 자세를 결정한다. 이때, 신체부위들 사이의 경계점은 관절과 근접하여 위치하므로, 골격 추정부(152)는 제1 볼륨 모델에서 경계점들 각각의 삼차원 좌표로부터 제1 볼륨 모델의 관절들 각각의 삼차원 좌표를 추정할 수 있다.
이후, 골격 전이부(153)는 템플릿 모델의 크기 및 자세를 제1 볼륨 모델의 크기 및 자세와 일치시키기 위해 템플릿 모델의 골격 구조를 제1 볼륨 모델의 골격 구조로 전이시켜 제1 골격 전이 모델을 생성한다(S330). 여기서, 골격 전이부(153)는 템플릿 모델의 관절들 각각의 좌표를 제1 볼륨 모델의 관절들 각각의 좌표와 일치시켜 템플릿 모델의 골격 구조를 제1 볼륨 모델의 골격 구조로 전이시킬 수 있다.
다음, 외형 전이부(154)는 제1 볼륨 모델에 대해 제1 골격 전이 모델의 특징점에 대응되는 비교점을 추출한다(S340). 여기서, 외형 전이부(154)는 제1 볼륨 모델에 대해 제1 골격 전이 모델의 복수 개의 특징점에 각각 대응되는 복수 개의 비교점들을 추출할 수 있다.
이후, 외형 전이부(154)는 제1 볼륨 모델로부터 비교점의 단면을 추출한다(S350). 여기서, 외형 전이부(154)는 제1 볼륨 모델로부터 복수 개의 비교점들 각각의 단면을 추출할 수 있다.
다음, 외형 전이부(154)는 제1 골격 전이 모델의 외형을 제1 볼륨 모델의 외형과 일치시키기 위해 제1 볼륨 모델로부터 추출된 비교점의 단면에 따라 제1 골격 전이 모델의 외형을 전이시켜 제1 형상 전이 모델을 생성한다(S360). 여기서, 외형 전이부(154)는 제1 골격 전이 모델에 대한 복수 개의 특징점들 각각의 단면을 제1 볼륨 모델에 대한 복수 개의 비교점들 각각의 단면과 일치시켜 제1 골격 전이 모델의 외형을 전이시킬 수 있다.
다음, 도 8을 참고하여 본 발명의 실시 예에 따른 형상 전이 제어부가 제2 형상 전이 모델을 생성하는 방법에 대해 설명한다.
도 8은 본 발명의 실시 예에 따른 제2 형상 전이 모델의 생성 방법을 도시한 도면이다.
도 8에 도시된 바와 같이, 먼저, 골격 추정부(152)는 제2 프레임에 획득한 복수 개의 이차원 이미지들에서 개체의 신체부위들 사이의 경계점들을 추출한다(S400). 여기서, 골격 추정부(152)는 제1 프레임에 획득한 복수 개의 이차원 이미지들에서 개체의 머리, 목, 팔, 다리 또는 몸통 등과 같은 신체부위들 사이의 경계점들을 추출할 수 있다. 또한, 골격 추정부(152)는 복수 개의 이차원 이미지 중 정면 이미지와 측면 이미지에서 개체의 신체부위들 사이의 경계점들을 추출할 수 있다.
이후, 골격 추정부(152)는 제2 프레임에 획득한 복수 개의 이차원 이미지들과 제2 볼륨 모델을 이차원-삼차원 선형 매핑 하여 제1 볼륨 모델에 대한 경계점들 각각의 삼차원 좌표를 결정한다(S410).
다음, 골격 추정부(152)는 제2 볼륨 모델에 대한 경계점들 각각의 삼차원 좌표로부터 제2 볼륨 모델의 관절들 각각의 삼차원 좌표를 추정하여 제2 볼륨 모델의 골격 구조를 추정한다(S420). 여기서, 제2 볼륨 모델의 골격 구조는 제2 볼륨 모델의 크기 및 자세를 결정한다. 이때, 신체부위들 사이의 경계점은 관절과 근접하여 위치하므로, 골격 추정부(152)는 제2 볼륨 모델에서 경계점들 각각의 삼차원 좌표로부터 제2 볼륨 모델의 관절들 각각의 삼차원 좌표를 추정할 수 있다.
이후, 골격 전이부(153)는 제1 형상 전이 모델의 자세를 제2 볼륨 모델의 자세와 일치시키기 위해 제1 형상 전이 모델의 골격 구조를 제2 볼륨 모델의 골격 구조로 전이시켜 제2 골격 전이 모델을 생성한다(S430). 여기서, 골격 전이부(153)는 제1 형상 전이 모델의 관절들 각각의 좌표를 제2 볼륨 모델의 관절들 각각의 좌표와 일치시켜 제1 형상 전이 모델의 골격 구조를 제2 볼륨 모델의 골격 구조로 전이시킬 수 있다.
다음, 외형 전이부(154)는 제2 볼륨 모델에 대해 제2 골격 전이 모델의 특징점에 대응되는 비교점을 추출한다(S440). 여기서, 외형 전이부(154)는 제2 볼륨 모델에 대해 제2 골격 전이 모델의 복수 개의 특징점에 각각 대응되는 복수 개의 비교점들을 추출할 수 있다.
이후, 외형 전이부(154)는 제2 볼륨 모델로부터 비교점의 단면을 추출한다(S450). 여기서, 외형 전이부(154)는 제2 볼륨 모델로부터 복수 개의 비교점들 각각의 단면을 추출할 수 있다.
다음, 외형 전이부(154)는 제2 골격 전이 모델의 외형을 제2 볼륨 모델의 외형과 일치시키기 위해 제2 볼륨 모델로부터 추출된 비교점의 단면에 따라 제2 골격 전이 모델의 외형을 전이시켜 제2 형상 전이 모델을 생성한다(S460). 여기서, 외형 전이부(154)는 제2 골격 전이 모델에 대한 복수 개의 특징점들 각각의 단면을 제2 볼륨 모델에 대한 복수 개의 비교점들 각각의 단면과 일치시켜 제2 골격 전이 모델의 외형을 전이시킬 수 있다.
다음, 도 9를 참고하여 본 발명의 실시 예에 따른 이차원 이미지에서 신체부위들 사이의 경계점을 추출하는 방법에 대해 설명한다.
도 9는 본 발명의 실시 예에 따른 이차원 이미지를 도시한 도면이다.
도 9에 도시된 바와 같이, 골격 추정부(152)는 정면 이미지(310)에서 복수 개의 경계점들을 추출할 수 있다.
골격 추정부(152)는 정면 이미지(310)에서 머리의 끝을 나타내는 제1 경계점(311)을 추출할 수 있다.
골격 추정부(152)는 정면 이미지(310)에서 양쪽 손의 끝을 나타내는 제2 경계점(312) 및 제3 경계점(313)을 추출할 수 있다.
골격 추정부(152)는 정면 이미지(310)에서 양쪽 팔과 몸통 사이의 경계를 나타내는 제4 경계점(314) 및 제5 경계점(315)을 추출할 수 있다.
골격 추정부(152)는 정면 이미지(310)에서 양쪽 다리 사이의 경계를 나타내는 제6 경계점(316)을 추출할 수 있다.
골격 추정부(152)는 정면 이미지(310)에서 양쪽 발의 끝을 나타내는 제7 경계점(317) 및 제8 경계점(318)을 추출할 수 있다.
골격 추정부(152)는 측면 이미지(320)에서 복수 개의 경계점들을 추출할 수 있다.
골격 추정부(152)는 측면 이미지(320)에서 머리의 끝을 나타내는 제1 경계점(311)을 추출할 수 있다.
골격 추정부(152)는 측면 이미지(320)에서 한쪽 손의 끝을 나타내는 제3 경계점(313)을 추출할 수 있다.
골격 추정부(152)는 측면 이미지(320)에서 한쪽 팔과 몸통 사이의 경계를 나타내는 제5 경계점(315)을 추출할 수 있다.
골격 추정부(152)는 측면 이미지(320)에서 양쪽 발의 끝을 나타내는 제7 경계점(317) 및 제8 경계점(318)을 추출할 수 있다.
다음, 도 10을 참고하여 본 발명의 실시 예에 따른 삼차원 볼륨 모델에서 추출한 비교점에 대해 설명한다.
도 10은 본 발명의 실시 예에 따른 삼차원 볼륨 모델의 비교점을 도시한 도면이다.
도 10에 도시된 바와 같이, 형상 전이 장치(100)는 삼차원 볼륨 모델(400)의 외형적 특징이 나타나는 특징점(410)을 추출할 수 있다.
여기서, 형상 전이 장치(100)는 삼차원 볼륨 모델(400)에서 추출된 특징점들 중 대표특징점들을 추출할 수도 있다.
다음, 도 11을 참고하여 본 발명의 실시 예에 따른 템플릿 모델의 넙스 곡면에 대해 설명한다.
도 11은 본 발명의 실시 예에 따른 넙스 곡면을 도시한 도면이다.
도 11에 도시된 바와 같이, 템플릿 모델(500)은 넙스 곡면(510)에 따라 외형이 형성된다.
여기서, 형상 전이 장치(100)는 템플릿 모델(500)의 외형을 개체의 외형과 일치시키기 위해 넙스 곡면(510)의 변위(displacement)를 결정한다.
이를 통해, 형상 전이 장치(100)는 템플릿 모델(500)의 넙스 곡면(510)을 통해 근육, 주름 등과 같은 개체의 세밀한 변화까지 표현할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 형상 전이 장치
110: 다시점 카메라부
130: 템플릿 모델 생성부
131: 골격 생성부
133: 특징점 추출부
135: 외형 생성부
150: 형상 전이 제어부
151: 형상 복원부
152: 골격 추정부
153: 골격 전이부
154: 외형 전이부

Claims (13)

  1. 개체에 대한 복수 개의 이차원 이미지들로부터 상기 개체의 형상을 복원한 볼륨 모델을 생성하는 단계;
    상기 볼륨 모델에 대한 신체부위들 사이의 경계점들을 이용하여 상기 볼륨 모델의 골격 구조를 추정하는 단계;
    템플릿 모델의 크기 및 자세를 상기 볼륨 모델의 크기 및 자세와 일치시키기 위해 상기 템플릿 모델의 골격 구조를 상기 볼륨 모델의 골격 구조로 전이하여 골격 전이 모델을 생성하는 단계; 및
    상기 골격 전이 모델의 외형을 상기 볼륨 모델의 외형과 일치시키기 위해 상기 볼륨 모델의 단면에 따라 상기 골격 전이 모델의 외형을 전이시켜 상기 개체의 형상에 대응되는 형상 전이 모델을 생성하는 단계를 포함하는 삼차원 모델의 형상 전이 방법.
  2. 청구항 1에 있어서,
    상기 볼륨 모델의 골격 구조를 추정하는 단계는
    상기 경계점들로부터 추정된 상기 볼륨 모델에 대한 관절들의 좌표를 이용하여 상기 볼륨 모델의 골격 구조를 추정하는 삼차원 모델의 형상 전이 방법.
  3. 청구항 2에 있어서,
    상기 볼륨 모델의 골격 구조를 추정하는 단계는
    상기 경계점들의 좌표를 결정하는 단계; 및
    상기 경계점들의 좌표로부터 상기 볼륨 모델에 대한 관절들의 좌표를 추정하는 단계를 포함하는 삼차원 모델의 형상 전이 방법.
  4. 청구항 2에 있어서,
    상기 골격 전이 모델을 생성하는 단계는
    상기 템플릿 모델에 대한 관절들의 좌표를 상기 볼륨 모델에 대한 관절들의 좌표와 일치시켜 상기 템플릿 모델의 골격 구조를 상기 볼륨 모델의 골격 구조로 전이하는 삼차원 모델의 형상 전이 방법.
  5. 청구항 2에 있어서,
    상기 형상 전이 모델을 생성하는 단계는
    미리 정해진 위치에 대한 상기 골격 전이 모델의 단면을 상기 볼륨 모델의 단면과 일치시켜 상기 형상 전이 모델을 생성하는 삼차원 모델의 형상 전이 방법.
  6. 청구항 1에 있어서,
    상기 볼륨 모델을 생성하는 단계 이전에 상기 템플릿 모델을 생성하는 단계를 더 포함하고,
    상기 템플릿 모델을 생성하는 단계는
    삼차원 메시 모델에 골격 구조를 형성하여 삼차원 골격 모델을 생성하는 단계; 및
    넙스(Nurbs) 곡면에 따라 상기 삼차원 골격 모델의 외형을 변형하여 상기 템플릿 모델을 생성하는 단계를 포함하는 삼차원 모델의 형상 전이 방법.
  7. 청구항 6에 있어서,
    상기 삼차원 골격 모델의 외형을 변형하여 상기 템플릿 모델을 생성하는 단계는
    상기 삼차원 골격 모델에서 미리 지정된 지점의 단면을 추출하는 단계; 및
    상기 단면을 보간 하여 상기 넙스 곡면을 생성하는 단계를 포함하는 삼차원 모델의 형상 전이 방법.
  8. 청구항 7에 있어서,
    상기 넙스 곡면을 생성하는 단계는
    상기 단면의 중심점까지의 거리가 동일한 복수 개의 버텍스들을 이용하여 키 단면 곡선을 생성하는 단계; 및
    상기 키 단면 곡선을 보간 하여 상기 넙스 곡면을 생성하는 단계를 포함하는 삼차원 모델의 형상 전이 방법.
  9. 개체의 한 프레임의 형상을 촬영하여 복수 개의 이차원 이미지들을 획득하는 카메라부;
    상기 복수 개의 이차원 이미지들로부터 상기 개체의 형상을 복원하여 삼차원 볼륨 모델을 생성하는 형상 복원부;
    상기 삼차원 볼륨 모델의 골격 구조를 추정하는 골격 추정부; 및
    템플릿 모델의 골격 구조를 상기 삼차원 볼륨 모델의 골격 구조와 일치시켜 상기 삼차원 볼륨 모델의 크기와 자세를 상기 템플릿 모델에 전이하는 골격 전이부를 포함하는 삼차원 모델의 형상 전이 장치.
  10. 청구항 9에 있어서,
    미리 정해진 위치에 대한 상기 템플릿 모델의 단면을 상기 삼차원 볼륨 모델의 단면과 일치시켜 상기 삼차원 볼륨 모델의 외형을 상기 템플릿 모델에 전이하는 외형 전이부를 더 포함하는 삼차원 모델의 형상 전이 장치.
  11. 청구항 9에 있어서,
    상기 골격 추정부는
    상기 삼차원 볼륨 모델에 대한 신체부위들 사이의 경계점들을 이용하여 상기 삼차원 볼륨 모델에 대한 관절들의 좌표를 추정하고, 상기 삼차원 볼륨 모델에 대한 관절들의 좌표로부터 상기 삼차원 볼륨 모델의 골격 구조를 추정하는 삼차원 모델의 형상 전이 장치.
  12. 청구항 11에 있어서,
    상기 골격 전이부는
    상기 템플릿 모델에 대한 관절들의 좌표를 상기 삼차원 볼륨 모델에 대한 관절들의 좌표와 일치시켜 상기 삼차원 볼륨 모델의 크기와 자세를 상기 템플릿 모델에 전이하는 삼차원 모델의 형상 전이 장치.
  13. 청구항 9에 있어서,
    미리 주어진 삼차원 메시 모델에 골격 구조를 형성하여 삼차원 골격 모델을 생성하는 골격 생성부; 및
    미리 정해진 지점에서 상기 삼차원 골격 모델의 단면을 추출하고, 추출된 단면에 대응되는 넙스 곡면에 따라 상기 삼차원 골격 모델의 외형을 변형하여 상기 템플릿 모델을 생성하는 외형 변형부를 더 포함하는 삼차원 모델의 형상 전이 장치.
KR1020110065053A 2010-12-22 2011-06-30 삼차원 모델의 형상 전이 방법 및 장치 KR20120071299A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/335,055 US8922547B2 (en) 2010-12-22 2011-12-22 3D model shape transformation method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100132862 2010-12-22
KR20100132862 2010-12-22

Publications (1)

Publication Number Publication Date
KR20120071299A true KR20120071299A (ko) 2012-07-02

Family

ID=46706376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110065053A KR20120071299A (ko) 2010-12-22 2011-06-30 삼차원 모델의 형상 전이 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20120071299A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136349A (ko) * 2020-05-07 2021-11-17 한동대학교 산학협력단 접촉 체압 분석을 이용한 제품 형상 설계 방법 및 그 장치
WO2023063441A1 (ko) * 2021-10-13 2023-04-20 한동대학교 산학협력단 접촉 체압 분석을 이용한 제품 형상 설계 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210136349A (ko) * 2020-05-07 2021-11-17 한동대학교 산학협력단 접촉 체압 분석을 이용한 제품 형상 설계 방법 및 그 장치
WO2023063441A1 (ko) * 2021-10-13 2023-04-20 한동대학교 산학협력단 접촉 체압 분석을 이용한 제품 형상 설계 방법 및 그 장치

Similar Documents

Publication Publication Date Title
US8922547B2 (en) 3D model shape transformation method and apparatus
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
US8610710B2 (en) Method for automatic rigging and shape surface transfer of 3D standard mesh model based on muscle and nurbs by using parametric control
US20130107003A1 (en) Apparatus and method for reconstructing outward appearance of dynamic object and automatically skinning dynamic object
KR100721536B1 (ko) 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법
US8135209B2 (en) Articulated object position and posture estimation device, method and program
US20150178988A1 (en) Method and a system for generating a realistic 3d reconstruction model for an object or being
JP2011521357A (ja) ビデオ画像を利用したモーションキャプチャのシステム、方法、及び装置
JP2007310707A (ja) 姿勢推定装置及びその方法
JP2011521357A5 (ko)
CN111968169A (zh) 动态人体三维重建方法、装置、设备和介质
KR20130088507A (ko) 인체의 관절구조를 추정하기 위한 장치 및 방법
JP2010079453A5 (ko)
JPWO2016151691A1 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
WO2016003529A2 (en) Rapid avatar capture and simulation using commodity depth sensors
JP2018129007A (ja) 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム
KR102406438B1 (ko) 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
CN111462300A (zh) 衣物物理模型驱动的实时人体动态三维重建方法及***
JP2016071645A (ja) オブジェクト３次元モデル復元方法、装置およびプログラム
WO2020134925A1 (zh) 人脸图像的光照检测方法、装置、设备和存储介质
CN115496864B (zh) 模型构建方法、重建方法、装置、电子设备及存储介质
KR20230078777A (ko) 3차원 재구성 방법, 장치와 시스템, 매체 및 컴퓨터 기기
JP2022512262A (ja) 画像処理方法及び装置、画像処理機器並びに記憶媒体
KR101409842B1 (ko) 근육 및 외형 곡면 기반 개체 표준 메쉬 모델의 파라메트릭 제어를 통한 자동 리깅 및 형상 전이 방법
Li et al. Robust 3D human motion reconstruction via dynamic template construction

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination