KR102031302B1 - 오브젝트 디지타이제이션 기법 - Google Patents

오브젝트 디지타이제이션 기법 Download PDF

Info

Publication number
KR102031302B1
KR102031302B1 KR1020137032547A KR20137032547A KR102031302B1 KR 102031302 B1 KR102031302 B1 KR 102031302B1 KR 1020137032547 A KR1020137032547 A KR 1020137032547A KR 20137032547 A KR20137032547 A KR 20137032547A KR 102031302 B1 KR102031302 B1 KR 102031302B1
Authority
KR
South Korea
Prior art keywords
image
depth
point cloud
camera
color
Prior art date
Application number
KR1020137032547A
Other languages
English (en)
Other versions
KR20140043379A (ko
Inventor
제프리 지저스 에버트
저스틴 아브람 클라크
크리스토퍼 할리 윌로우비
마이크 스캐비즈
조엘 디게로
렐자 마코빅
조 솔라
데이비드 할리
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20140043379A publication Critical patent/KR20140043379A/ko
Application granted granted Critical
Publication of KR102031302B1 publication Critical patent/KR102031302B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H04N13/268—Image signal generators with monoscopic-to-stereoscopic image conversion based on depth image-based rendering [DIBR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6009—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content
    • A63F2300/6018—Methods for processing data by generating or executing the game program for importing or creating game content, e.g. authoring tools during game development, adapting content to different platforms, use of a scripting language to create content where the game content is authored by the player, e.g. level editor or by game device at runtime, e.g. level is created from music data on CD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 명세서에서 영상 내의 오브젝트 디지털화하는 것이 논의된다. 사용자는 오브젝트를 카메라에게 프레젠트하며, 카메라는 오브젝트의 정면 및 후면에 대한 컬러 및 깊이 데이터를 포함하는 이미지를 캡쳐한다. 정면 및 후면 이미지들에 대하여, 깊이 데이터를 분석함으로써 카메라에 대해 가장 가까운 포인트가 결정된다. 가장 가까운 포인트들로부터, 깊이 데이터에서의 큰 차이들을 주목함으로써 오브젝트의 에지들이 발견된다. 깊이 데이터는 또한 오브젝트의 정면 및 후면의 포인트 클라우드 구조물들을 구성하기 위하여 사용된다. 에지들을 외삽하고, 심을 제거하고, 컬러를 지능적으로 확장하고, 노이즈를 필터링하고, 오브젝트에 골격 구조를 적용하고, 및 디지타이제이션을 더 최적화하기 위하여 다양한 기법들이 적용된다. 결과적으로, 디지털 표현은 사용자에게 프레젠트되고 잠재적으로 서로 다른 애플리케이션들(예컨대, 게임, 웹 등)에서 사용된다.

Description

오브젝트 디지타이제이션 기법{OBJECT DIGITIZATION}
현대의 게임 및 인터넷 기술은 이들 기술이 과거에 했던 것보다도 훨씬 더 인간적인 방식(personal ways)으로 사용자와 상호작용한다. 게임 콘솔에 연결되어 있는 컨트롤러 상의 버튼을 단순히 치는 것 대신에, 오늘날의 게임 시스템은 카메라 앞에 서있는 플레이어의 움직임 또는 무선 컨트롤러를 가지고 플레이어가 취하는 액션(예컨대, 컨트롤러를 야구 배트처럼 휘두르는 것)을 판독할 수 있다. 이러한 인간적인 상호작용은 완전히 새로운 게임 영역을 열고 있다.
본 요약부(summary)는 아래 상세한 설명 내용(Detailed Description)에서 더 기술되는 개념들의 집합을 간단한 형태로 소개하기 위하여 제공된다. 본 요약부는 청구된 발명 주제의 주요 특징들 또는 본질적인 특징들을 식별하는 것으로 의도되지 않으며, 또한 청구된 발명 주제의 범위를 결정하기 위한 보조자료로 사용되는 것으로도 의도되지 않는다.
일 양상은 이미지 내의 오브젝트의 디지털 표현("디지타이제이션(digitization)")을 생성하는 것에 관한 것이다. 사용자는 카메라에 오브젝트를 프레젠트하며, 카메라는 오브젝트의 정면 및 후면에서 컬러 및 깊이 데이터를 포함하는 이미지를 캡쳐한다. 정면 이미지 및 후면 이미지 양자 모두에 있어서, 깊이 데이터를 분석함으로써 카메라에 대해 가장 가까운 포인트가 결정된다. 가장 가까운 포인트로부터, 깊이 데이터 내의 큰 차이들을 주목함으로써 오브젝트의 에지들이 발견된다. 깊이 데이터는 또한 오브젝트의 정면 및 후면의 포인트 클라우드 구조물을 구성하기 위하여 사용된다. 에지들을 외삽하고, 심들을 제거하며, 컬러를 지능적으로 확장하고, 노이즈를 필터링하며, 오브젝트에 골격 구조를 적용하고, 또한 디지타이제이션을 더 최적화하기 위하여 다양한 기법들이 적용된다. 결과적으로, 디지털 표현이 사용자에게 프레젠트되고 잠재적으로 서로 다른 애플리케이션들(예컨대, 게임, 웹, 등)에서 사용된다.
본 발명의 예시적인 실시예들은 첨부된 도면들을 참조하여 아래에서 상세히 기술되며, 여기서:
도 1은 본 명세서에서 논의되는 실시예들을 구현하는데 적합한 예시적인 컴퓨팅 환경의 블록도이고,
도 2는 일 실시예에 따른, 디지타이제이션을 위해 오브젝트를 프레젠트하는 사용자의 도면이고,
도 3은 일 실시예에 따른, 오브젝트의 디지털화에 대한 동작 흐름도이고,
도 4(a) 및 도 4(b)는 일 실시예에 따른, 디지타이제이션을 위해 오브젝트를 프레젠트하는 사용자의 카메라-시야 관점의 도면들이고,
도 5는 일 실시예에 따른, 오브젝트를 디지털화하기 위하여 사용가능한 세그먼트화된 깊이 이미지(segmented depth image)의 도면이고,
도 6은 일 실시예에 따른, 깊이-대-컬러(depth-to-color) 오프셋의 도면이고,
도 7은 일 실시예에 따른, 오브젝트를 디지털화하기 위하여 사용가능한 소스 컬러 이미지의 도면이고,
도 8은 일 실시예에 따른, 캡쳐된 오브젝트의 컬러 세그먼테이션(segmentation)의 도면이고,
도 9 및 도 10은 일 실시예에 따른, 디지털화될 오브젝트를 붙잡는 것에 대한 안내를 프레젠트하는 사용자 인터페이스(UI)들의 도면들이고,
도 11은 일 실시예에 따른, 오브젝트의 3-차원(3D) 포인트 클라우드(point cloud) 구조물의 도면이고,
도 12는 일 실시예에 따른, 정렬된 포인트 시트들의 2개의 뷰의 도면이고,
도 13은 일 실시예에 따른, 최종 포인트 클라우드 구조물의 도면이고,
도 14는 일 실시예에 따른, 사용자에게 디스플레이된 디지털화된 오브젝트의 확인 이미지를 디스플레이하는 UI의 도면이고,
도 15는 일 실시예에 따른, 캡쳐된 이미지의 메쉬(mesh) 출력의 도면이고,
도 16은 일 실시예에 따른, 오브젝트의 스무딩되고 프로세싱된 이미지의 도면이고,
도 17은 일 실시예에 따른, UV 좌표를 가진 이미지의 도면이고,
도 18은 일 실시예에 따른, 최종 텍스처 맵의 한 부분으로 그려진 정면-대향 트라이앵글 에지(front-facing triangle edge)들의 도면이고,
도 19(a) 내지 도 19(e)는 일 실시예에 따른, 생성된 골격 구조의 서로 다른 뼈들에 추가된 가중치를 도시하는 도면들이고,
도 20(a) 및 도 20(b)는 일 실시예에 따른, 루마/크로마(luma/chroma) 처리 전 및 후를 도시하는 도면들이고,
도 21(a) 및 도 21(b)는 일 실시예에 따른, 에지들이 필터링된 후 소스 이미지 및 출력 이미지를 도시하는 도면들이고,
도 22(a) 및 도 22(b)는 일 실시예에 따른, 에지 복구 필터가 타겟 오브젝트 컬러 및 배경 컬러들을 발견하는 경우의 이미지들을 도시하는 도면들이고,
도 23(a) 및 도 23(b)는 일 실시예에 따른, 에지로부터 문제 되는 영역까지의 거리 및 계산된 배경 가능성 값(background likelihood value)들을 보여주는 이미지들의 도면이고,
도 24는 일 실시예에 따른, 최종 합성 텍스처 맵의 도면이고,
도 25(a) 및 도 25(b)는 일 실시예에 따른, 마스킹된 값 및 심하게 블러링된 정점 컬러들의 도면이고,
도 26(a) 및 도 26(b)는 일 실시예에 따른, 텍스처만을 가진 메쉬 및 마스크 값에 의한 정점 컬러 블렌딩을 가진 텍스처를 가진 상기한 메쉬의 도면들이고,
도 27은 일 실시예에 따른, 디지털화된 오브젝트의 최종 렌더링의 도면이고,
도 28은 일 실시예에 따른, 오브젝트를 디지털화하는 동작들을 상세히 보여주는 흐름도이고,
도 29는 일 실시예에 따른, 오브젝트를 디지털화하는 동작들을 상세히 보여주는 흐름도이다.
본 발명의 실시예들의 주제는 법적인 요구조건을 맞추기 위해 본 명세서에서 구체적으로 기술된다. 그렇지만, 기술 내용 그 자체는 청구항의 범위를 제한하려고 의도되지 않는다. 그 대신, 청구된 발명 대상은, 그 외 다른 현재의 또는 미래의 기술들과 관련하여, 본 문서 내에서 기술된 것들과 유사한 다른 단계들 또는 단계들의 조합들을 포함하는 그 외 다른 방식으로도 구현될 수 있다. 용어들은 개별 단계들의 순서가 명시적으로 기술되지 않는 한 그리고 명시적으로 기술되는 경우를 제외하고 본 명세서에서 개시된 다양한 단계들 사이에 어떠한 특별한 순서를 내포하는 것으로서 해석되지 않아야 한다.
본 명세서에서 기술된 실시예들은 일반적으로 카메라에 의해 캡쳐된 오브젝트의 디지털 표현을 생성하는 것에 관한 것이다. 일 실시예에서, 사용자가 카메라의 전방에서 오브젝트를 잡고 있고, 카메라는 오브젝트의 이미지를 캡쳐하며, 장치는 캡쳐된 오브젝트를 - 예컨대, 비디오 게임 내의 엔터티로서 - 디지털 방식으로 디스플레이될 수 있는 3D 렌디션(rendition)으로 디지털화한다.
예시적으로 설명하기 위하여, 다음의 예를 고려하자. 사용자는 카메라가 설치된 게임 장치에 대해 장난감 문어를 잡고 있다. 카메라를 사용하여, 게임 장치는 오브젝트의 정면 및 후면의 영상을, 각각에 대하여 컬러 및 깊이 데이터 양자 모두를 캡쳐링함으로써 획득한다. 깊이 데이터에 기초하여, 문어의 3D 렌디션이 구축되며, 그러면 컬러 데이터가 3D 렌디션에 추가되어 문어의 디지털 렌디션(본 명세서에서 '디지타이제이션'이라고 지칭됨)을 생성한다. 그런 다음 문어의 디스플레이가 유용한 경우 게임 또는 임의의 그 외 다른 소프트웨어 또는 웹 애플리케이션에 디지타이제이션이 사용될 수 있다.
적어도 일 실시예는 오브젝트의 디지털화에 관한 것이다. 사용자는 컴퓨팅 장치(게임 콘솔과 같은) 상의 카메라에 오브젝트를 프레젠트한다. 장치는 캡쳐된 이미지들을 최적화하기 위해 디스플레이할 오브젝트를 위치시키도록 - 예컨대, 카메라에 의해 보여지고 있는 이미지를 반영하는 스크린 상에 윤곽선을 배치하고 사용자에게 오브젝트를 윤곽선 안으로 이동하여야 함을 지시함으로써 - 사용자에게 지시할 수 있다. 결과적으로, 장치는 오브젝트의 이미지 또는 이미지들을 캡쳐한다. 사용자는 그런 다음 카메라에게 오브젝트의 뒷면을 캡쳐하기 위해 프레젠트하도록 지시받을 수 있다. 그러면 장치는 오브젝트의 뒷면의 이미지 또는 이미지들을 캡쳐할 수 있다. 캡쳐된 정면 이미지 및 후면 이미지는 오브젝트의 3D 디지타이제이션을 구성하기 위하여 프로세싱될 수 있다.
일 실시예에서, 프로세싱은 카메라에 의해 캡쳐된 이미지의 깊이 데이터를 이용한다. 깊이 데이터는 픽셀 단위로 또는 그 외 다른 공간적 표현으로 이미지 내에서 캡쳐된 것들의 근접성을 기술한다. 깊이 데이터를 사용하여, 이미지 내에서 오브젝트의 가장 가까운 포인트가 발견된다. 이 실시예는 가장 가까운 오브젝트가 사용자가 캡쳐하고자 하는 오브젝트 - 예컨대, 카메라에 대해 문어를 잡고 있는 사용자의 의미는 그 문어가 카메라에게 가장 가까운 것일 가능성을 의미할 것이다- 라고 가정한다.
본 발명의 개요를 간략하게 기술하였으므로, 이제 본 발명의 다양한 양상들이 구현될 수 있는 예시적인 동작 환경을 기술한다. 전체적으로 도면들을 참조하되, 먼저 특히 도 1을 참조하면, 본 발명의 실시예들을 구현하기 위한 예시적인 동작 환경이 도시되어 있는데 전체적으로 컴퓨팅 장치(100)로 표시되어 있다. 컴퓨팅 장치(100)는 적절한 컴퓨팅 환경의 일 예에 불과하며 본 발명의 이용 범위나 기능에 대한 어떠한 제한을 암시하는 것으로 의도되지 않는다. 또한 컴퓨팅 장치(100)는 도시된 컴포넌트들의 임의의 하나의 조합 또는 조합들에 종속되거나 관련된 어떠한 요구조건을 가지는 것으로도 해석되지 않아야 한다.
본 발명의 실시예들은, 컴퓨터 또는, PDA(personal data assistant) 또는 그 외 다른 핸드헬드 장치와 같은, 그 외 다른 기계에 의해 실행되는, 프로그램 모듈과 같은 컴퓨터-실행가능 명령어를 포함하여, 컴퓨터 코드 또는 기계-사용가능 명령어(instructions)의 일반적인 맥락으로 기술될 수 있다. 일반적으로, 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조, 등을 포함하는 프로그램 모듈은 특정 태스크를 수행하거나 또는 특정한 추상적인 데이터 타입을 구현하는 코드를 지칭한다. 본 발명의 실시예들은 핸드헬드 장치, 소비자 전자제품, 범용 컴퓨터, 특수 목적의 컴퓨팅 장치 등을 포함하는, 다양한 시스템 구성으로 실시될 수 있다. 본 발명의 실시예들은 또한 태스크가 통신망을 통해 연결되어 있는 원격 프로세싱 장치들에 의해 수행되는 분산 컴퓨팅 환경에서도 실시될 수 있다.
도 1을 참조하면, 컴퓨팅 장치(100)는 다음 장치들, 즉 메모리(112), 하나 이상의 프로세서들(114), 하나 이상의 프레젠테이션 컴포넌트들(116), 입력/출력(I/O) 포트들(118), 입력/출력 컴포넌트들(120), 및 예시적인 전원 공급부(122)를 직접적으로 또는 간접적으로 연결하는 버스(110)를 포함한다. 버스(110)는 하나 이상의 버스들(어드레스 버스, 데이터 버스, 또는 이것들의 조합과 같은)일 수 있다. 비록 도 1의 여러 블록들은 명확하게 하기 위하여 선으로 도시되어 있으나, 실제로는 여러 컴포넌트들을 그렇게 명확하지 않으며, 비유적으로 말해서, 선들은 보다 회색이거나 흐릿한 것이 더 정확할 것이다. 예를 들어, 디스플레이 장치와 같은 프레젠테이션 컴포넌트를 I/O 컴포넌트라고 생각할 수 있다. 또한 많은 프로세서들은 메모리를 가진다. 본 명세서의 발명자들은 이러한 것이 기술의 본질이라는 것을 알고 있으며, 도 1의 도면은 단순히 본 발명의 하나 이상의 실시예들과 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치를 도시한 것에 불과하다는 점을 되풀이하여 지적한다. "워크스테이션", "서버", "랩탑", "게임 콘솔", "핸드-헬드 장치" 등과 같은 카테고리들 사이에 구별은 없으며, 모두가 도 1의 범위 내에서 고려되며 "컴퓨팅 장치"로 참조된다.
컴퓨팅 장치(100)는 전형적으로 다양한 컴퓨터-판독가능 매체를 포함한다. 컴퓨터-판독가능 매체는 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며 휘발성 및 비휘발성 매체, 탈거가능 및 비-탈거가능 매체를 모두 포함한다. 예를 들어서 비제한적으로 말하자면, 컴퓨터-판독가능 매체는 컴퓨터 스토리지 매체 및 통신 매체를 포함할 수 있다. 컴퓨터 스토리지 매체는 컴퓨터-판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 그 외 다른 데이터와 같은 정보의 저장을 위한 임의의 방법이나 기술에 의해 구현되는 휘발성 및 비휘발성, 탈거가능 및 비-탈거가능 매체를 모두 포함한다. 컴퓨터 스토리지 매체는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 전자 소거가능 프로그래머블 판독 전용 메모리(EEPROM), 플래시 메모리 또는 그 외 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(DVD) 또는 그 외 다른 홀로그래픽 메모리, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 그 외 다른 자기 스토리지 장치, 또는 원하는 정보를 저장하기 위하여 사용될 수 있으며 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만 이것들로 제한되는 것은 아니다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터-스토리지 매체를 포함한다. 메모리는 탈거가능, 비-탈거가능, 또는 이들의 조합일 수 있다. 예시적인 하드웨어 장치는 솔리드-스테이트 메모리, 하드 드라이브, 광-디스크 드라이브 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 I/O 컴포넌트들(120)과 같은 다양한 엔터티들로부터 데이터를 판독하는 하나 이상의 프로세서들을 포함한다. 프레젠테이션 컴포넌트(들)(116)는 사용자 또는 그 외 다른 장치들에게 데이터 표현을 프레젠트한다. 예시적인 프레젠테이션 컴포넌트들에는 디스플레이 장치, 스피커, 프린팅 컴포넌트, 진동 컴포넌트 등이 포함된다.
I/O 컴포넌트들(120)은 정지 화상 및 비디오를 획득할 수 있는 카메라를 포함할 수 있다. 일 실시예에서, 카메라는 화상을 획득할 때 컬러 데이터(예컨대, 레드, 그린, 블루) 및 깊이 데이터를 캡쳐한다. 깊이 데이터는 카메라에 대하여 카메라에 의해 캡쳐되고 있는 오브젝트들의 근접성 - 일 실시예에서는, 픽셀 단위를 기반으로 함 - 을 나타낸다. 깊이 데이터는 예컨대 투사된 적외선(IR) 광을 판독하는 IR 카메라를 사용하는 것, 투사된 레이저 광을 판독하는 것 등과 같이, 다양한 방식으로 캡쳐될 수 있다. 깊이 데이터는 센티미터 단위로, 미터 단위로, 또는 그 외 다른 공간적인 표현으로 저장될 수 있다. 예를 들어, IR 도트들은 IR 카메라에 의해 투사되고 판독되어, 미터 단위의 지향으로 측정된, 카메라의 바로 전방의 영역에서 이미지의 깊이를 상세히 보여주는 출력 파일을 생성할 수 있다. 덧붙여서, 깊이 데이터는 또한 깊이가 측정된 스크린 영역의 픽셀들을 기록함으로써 캡쳐된 오브젝트의 특정 부분의 지향을 가리킨다. 컬러 카메라 및 깊이 카메라가 서로에 대해 분리되어 위치될 수 있기 때문에, 회수된 컬러 데이터를 대응하는 깊이 데이터에 매핑하기 위하여 변환이 이루어질 수 있다.
I/O 포트들(118)은 컴퓨팅 장치(100)가 논리적으로 I/O 컴포넌트들(120)을 포함하는 다른 장치들과 연결되도록 허용하는데, I/O 컴포넌트들(120) 중 일부는 내장될 수 있다. 예시적인 I/O 컴포넌트들(120)에는 마이크로폰, 조이스틱, 게임 패드, 위성 접시, 스캐너, 프린터, 무선 장치, 등이 포함된다.
앞서 지적한 바와 같이, 몇몇 실시예들은 가상 환경에서 오브젝트의 디지털 렌디션(digital rendition)을 생성하는 것에 관한 것이다. 도 2는 일 실시예에 따른, 사용자(204)가 오브젝트(206)의 디지털 표현을 생성하는 환경(200)의 도면이다. 이것 및 본 명세서에서 기술된 그 외 다른 배열들은 오직 예시로서 제공된다는 점이 이해되어야 한다. 그 외 다른 배열들 및 요소들(예컨대, 머신들, 인터페이스들, 기능들, 순서들, 및 기능들의 집합 등)이 도시된 것에 추가하여 또는 대신에 사용될 수 있고, 몇몇 요소들은 전적으로 생략될 수 있다. 더 나아가, 본 명세서에서 기술된 요소들 중 많은 요소들은 개별적인 또는 분산된 컴포넌트로서 또는 그 외 다른 컴포넌트들/모듈들과 함께, 및 임의의 적절한 조합 및 위치에서 구현될 수 있는 기능적인 엔터티들이다. 하나 이상의 엔터티들에 의해 수행되는 것으로서 본 명세서에서 기술된 다양한 기능들이 하드웨어, 펌웨어, 및/또는 소프트웨어에 의해 수행될 수 있다. 예를 들어, 다양한 기능들은 메모리에 저장된 명령어를 실행하는 프로세서에 의해 수행될 수 있다.
도 2에 집중하면, 환경(200)은 사용자(204)가 문어 인형으로 예시되어 있는 오브젝트(206)를 컴퓨팅 장치(202)에게 프레젠트하는 것을 보여주는데, 컴퓨팅 장치(202)에는 2개의 카메라, 즉 컬러 카메라(208) 및 깊이 카메라(depth camera)(210)가 구비되어 있다. 환경(200)에서, 컴퓨팅 장치(202)는 Microsoft Corporation®에 의해 제작된 Microsoft KinectTM과 같은 게임 콘솔이다. 컴퓨팅 장치(202) 상의 카메라들은 오브젝트(206)를 포함하는 하나 이상의 이미지를 캡쳐한다. 컬러 카메라(208)는 이미지에 대한 컬러 데이터를 캡쳐하고, 깊이 카메라(210)는 깊이 데이터(depth data)를 캡쳐한다. 대안적인 실시예들에서, 컴퓨팅 장치(202)는 컬러 및 깊이 데이터 양자 모두를 캡쳐하는 오직 하나의 카메라만을 가질 수 있다.
비록 독립 장치로서 도시되어 있지만, 컴퓨팅 장치(202)는 그 외 다른 컴퓨팅 장치(예컨대, 게임 콘솔, 서버 등)에 통합되거나 통신가능하게 연결될 수 있다. 컴퓨팅 장치(200)의 컴포넌트들은 네트워크를 통해 상호 소통할 수 있는데, 네트워크는 하나 이상의 근거리망(LAN) 및/또는 광대역망(WAN)을 제한없이 포함할 수 있다. 이러한 네트워킹 환경은 사무실, 기업-단위 컴퓨터 네트워크, 인트라넷 및 인터넷에서 흔하다. 몇몇 실시예들은 추가적인 컴퓨팅 장치(202)를 포함할 수 있다는 점이 이해되어야 한다. 각각은 하나의 단일 장치/인터페이스 또는 분산 환경에서 협력하는 다수의 장치들/인터페이스들을 포함할 수 있다.
몇몇 실시예들에서, 본 명세서에서 기술된 하나 이상의 디지타이제이션 기법들은 스탠드-얼론 애플리케이션에 의해 구현될 수 있다. 대안적으로, 하나 이상의 디지타이제이션 기법들은 인터넷과 같은 네트워크에 걸쳐있는 서로 다른 컴퓨팅 장치들에 의해, 또는 하나의 게임 시스템 내부의 하나의 모듈에 의해 구현될 수 있다. 도 2에 도시된 컴포넌트들/모듈들은 본질과 개수에 있어 예시이며 제한으로 간주되지 않아야 한다는 점을 해당 기술 분야의 통상의 지식을 가진 자라면 이해할 것이다. 임의의 개수의 컴포넌트들/모듈들은 본 명세서의 실시예들의 범위 내에서 원하는 기능을 성취하기 위하여 채용될 수 있다. 더 나아가, 컴포넌트들/모듈들은 임의의 개수의 서버 또는 클라이언트 컴퓨팅 장치들 상에서 위치될 수 있다.
비록 사용자가(204)가 컴퓨팅 장치(202)로 오브젝트(206)의 정면을 프레젠팅하는 것으로 도 2에서 도시되어 있으나, 사용자(204)는 오브젝트(206)의 후방 측의 이미지가 캡쳐될 수 있도록 컴퓨팅 장치(202)에게 오브젝트(206)의 후면을 프레젠트할 수 있다. 그런 다음 오브젝트(206)의 3D 렌디션을 생성하기 위해 오브젝트(206)의 후면 이미지는 정면 이미지와 결합될 수 있다. 각각의 캡쳐된 이미지는 컬러 데이터 및 깊이 데이터를 포함할 수 있으며, 두 데이터 모두 컴퓨팅 장치(202)가 오브젝트(206)의 3D 렌디션을 정확하게 생성하도록 허용한다.
다른 실시예들에서, 디지타이제이션을 보조하기 위하여 오브젝트(206)의 추가적인 이미지 뷰들도 또한 사용될 수 있다. 오브젝트(206)는 임의의 상이한 각도에서 사진 촬영되거나 비디오 촬영될 수 있다. 예를 들어, 더 강건한 3D 디지타이제이션을 생서하기 위해, 정면 뷰 및 후면 뷰에 추가하여 또는 그 대신에 서너 개의 이미지들이 오브젝트(206)의 우측, 좌측, 하단 및 상단에서 취해질 수 있다. 예를 들어, 오브젝트(206)의 하나의 특정 면을 디지털화하는데 몇 개의 측면 뷰들이 사용될 수도 있다. 적어도 실시예들에서, 오브젝트(206)의 뷰들이 더 많이 사용될수록 더 완전한 또는 더 정확한 3D 렌디션이 생성된다.
도 3은 일 실시예에 따른, 오브젝트를 디지털화하는 동작 흐름도(300)이다. 먼저, 302에서 도시된 바와 같이, 사용자는 이미지가 촬영되도록 하기 위해 컴퓨팅 장치 상의 카메라에게 오브젝트를 프레젠트한다. 몇몇 실시예들에서, 컴퓨팅 장치는 - 예컨대 디스플레이 상에서 윤곽선을 제공하는 것을 질문하고, 사용자 및 오브젝트의 실-시간 이미지를 보여주며, 그런 다음 윤곽선 안으로 오브젝트를 이동시키도록 사용자에게 지시하여 - 이미지의 최적 이미지를 캡쳐하기 위해 특정 영역 안으로 오브젝트를 이동시키도록 사용자에게 지시할 수 있다. 일단 초기 이미지가 취해지면, 컴퓨팅 장치는 사용자에게 304에서 도시된 바와 같이 캡쳐를 위해 오브젝트의 후면을 프레젠트하도록 지시할 수 있다. 후면을 캡쳐하기 위한 안내는 컴퓨팅 장치에 의해 유사하게 제공될 수 있다. 각각의 캡쳐된 이미지에 있어서, 컬러 및 깊이 데이터가 저장되고 프레젠트되고 있는 오브젝트를 디지털화하기 위하여 사용된다. 더 나아가, 다수의 이미지들이 오브젝트의 정면 및 후면 관점에서 캡쳐될 수 있다. 예를 들어, 컴퓨팅 장치는 10개의 정면 이미지와 10개의 후면 이미지를 취하고, 정면 10개를 합치고 후면 10개를 합치거나 또는 이미지를 디지털화하기 위하여 20개 모두를 사용할 수 있도록 구성될 수 있다. 비록 10개의 이미지가 하나의 오브젝트를 디지털화하기 위하여 이상적인 이미지 개수로서 설명하였지만, 그 외 다른 실시예들은 다른 수의 캡쳐된 이미지들을 사용할 수 있다.
일단 오브젝트의 정면 및 후면 이미지들이 카메라에 의해 캡쳐되면, 일 실시예는 306에서 도시된 바와 같이, 카메라에 대해 이미지 내에서 가장 가까운 포인트를 탐색 - 이미지의 깊이 데이터를 이용하여 - 함으로써 디지털화를 시작한다. 사용자는 아마도 사용자 앞에 디지털화될 오브젝트를 잡고 있고, 따라서 오브젝트는 카메라에 대해 다른 것들보다 더 가까울 것이다. 도 2로 되돌아가면, 사용자(204)가 오브젝트(206)를 사용자 앞에 잡고 있으며 따라서 컴퓨팅 장치(202)에 더 가깝다는 것을 알 수 있다. 이미지 내에서 가장 가까운 오브젝트의 발견은 이미지와 연관되어 있는 깊이 데이터를 사용하여 성취될 수 있으며, 몇몇 실시예들은 정면 및 후면 이미지들 양자 모두에서 가장 가까운 오브젝트를 식별하기 위해 양자 모두에 대해 이 프로세스를 수행한다.
308에서 나타난 바와 같이, 이미지 내에서 식별된 가장 가까운 오브젝트는 이후 그 오브젝트가 끝나는 위치를 식별하기 위해 에지(edge)들이 탐색된다. 이미지 내에서 오브젝트의 에지들을 발견하기 위하여 깊이 데이터가 다시 사용된다. 에지 탐색은 가장 가까운 포인트로부터 바깥쪽으로, 포인트들의 깊이에서 급격한 차이를 찾음으로써 이루어질 수 있다. 예를 들어, 도 2의 문어의 에지는 사용자(204)의 어깨를 나타내는 인접 포인트보다 약 반 미터 더 가까운 포인트를 가질 수 있다. 그러한 급격한 차이는 인접 포인트가 오브젝트의 일부가 아니며 따라서 추가 디지타이제이션 단계들에서 포함되지 않아야 한다는 판독가능한 신호를 나타낸다. 이러한 방식으로 오브젝트의 모든 에지들을 발견함으로써 컴퓨팅 장치는 이미지 내에서 오브젝트를 식별할 수 있다.
일단 오브젝트가 결정되면, 일 실시예는 이미지의 나머지(즉, 오브젝트로서 식별되지 아니한 이미지 부분)와 연관되어 있는 컬러 데이터를 스위치 오프(switch off)시킨다. 몇몇 실시예들에서 다수의 이미지(예컨대, 오브젝트의 정면에서 10개의 이미지 및 오브젝트의 후면에서 10개의 이미지)를 캡쳐하는 것이 필요할 수 있고, 따라서 310에서 도시된 바와 같이 프레임들 사이에서 발견된 에지들을 혼합하기 위하여 스무딩 기법(smoothing technique)이 요구될 수 있다. 예를 들어, 오브젝트는 프레임 1 및 프레임 4 사이에서 이동될 수 있고 프레임들 사이에서 에지들을 스무딩하는 것이 오브젝트의 정확한 표현을 얻기 위해 필요할 수 있다. 덧붙여서, 노이즈, 저해상도, 및 깊이-대-컬러 조정(registration)에서의 결함 때문에 또한 에지들의 추가적인 스무딩 및/또는 필터링이 필요할 수 있다.
일 실시예에서, 최종 스무딩된 및/또는 필터링된 오브젝트는, 312에서 도시된 바와 같이, 확인을 위해 사용자에게 프레젠트된다. 사용자는 최종 오브젝트를 수용하거나 거절할 수 있다. 만약 수용되면, 오브젝트를 디지털화하기 위하여 추가적인 프로세싱이 진행될 수 있다. 만약 거절되면, 실시예들은 사용자에게 오브젝트의 새로운 영상을 취함으로써 프로세스를 시작할 것인지 질문할 수 있거나 또는 단순히 오브젝트를 재-스무딩 또는 재-필터링할 수 있다.
결과적으로, 정면 및 후면 이미지들은 3D 형태로 오브젝트의 포인트 클라우드 구조물(point cloud construction)을 생성하기 위해 사용된다. 도 11에서 상세히 도시된 "포인트 클라우드 구조물"은, 식별된 오브젝트의 각각의 포인트 또는 픽셀의 깊이를 사용한, 3D 공간 안으로의 오브젝트의 정면 및/또는 후면 이미지의 매핑이다. 포인트 클라우드 구조물은 오브젝트의 추가 디지타이제이션에서 사용된다. 하지만, 대안적인 실시예들은 서로 다른 이미지들로부터 오브젝트의 구조물 또는 그 외 다른 타입의 표현을 생성하기 위해 깊이 및 컬러 데이터의 그 외 다른 표현 또는 공간적인 집합을 사용할 수 있다.
도 4 내지 도 26은 디지타이제이션 프로세스에서 다양한 단계들의 이미지들을 보여주며 서로 다른 실시예들에 의해 사용되는 프로세싱을 도시하기 위하여 아래에서 더 상세히 논의될 것이다. 특히, 도 4(a) 및 도 4(b)는 일 실시예에 따른 디지타이제이션을 위해 오브젝트를 프레젠트하고 있는 사용자의 카메라-뷰 관점의 도면이다. 도시된 실시예에서, 오브젝트의 2개의 뷰가 캡쳐된다. 컬러 카메라는 타겟 오브젝트 주위에서 640X480 컬러 윈도우를 얻기 위하여 프레임의 중심으로 줌인(zoom in)되고, 그러면 컬러 윈도우의 코너들은 깊이 프레임 좌표로 변형된다(코너들이 타겟 오브젝트의 정면에 있다고 가정한다). 그런 다음 매칭하는 160X120 윈도우가 깊이 프레임으로부터 획득된다. 이러한 프레임 단위로의 윈도우 조정(카메라에 대한 타겟 오브젝트의 거리에 의존하여)이 없다면, 깊이 및 컬러 윈도우들은 가능한 한 완전히 오버랩되지 않을 수 있다. 더 나아가, 로우(raw) 컬러 및 깊이는 깊이-대-컬러 또는 컬러-대-깊이 조정의 수행없이 캡쳐된다. 해상도 수치 및 윈도우는 단지 예시적인 목적으로 제공되는 것이며, 따라서 다양한 그 외 다른 해상도들이 대안적으로 사용될 수 있다.
일 실시예에서, 깊이 이미지는 타켓 오브젝트로 세크먼트화된다. 이렇게 하기 위하여, 카메라에 대해 가장 가까운 깊이 픽셀이 탐색되고, 이러한 포인트가 타겟 오브젝트 상에 있다고 가정한다면, 발견된다. 그런 다음 이 실시예는 깊이 에지들(즉, 깊이가 오브젝트의 정면에서 너무 멀리 떨어져 있는 위치 또는 아무런 깊이 데이터가 없는 위치)과 마주칠 때까지 발견된 가장 가까운 포인트로부터 바깥쪽으로 플러드-필(flood-fill)한다. 덧붙여서, 급한 경사 영역 주위 및 너무나 적은 이웃들을 가진 포인트들은 제거될 수 있다. 그 결과는, 도 5에 도시된 바와 같이, 타겟 오브젝트 상에 있는 깊이 픽셀들의 마스크(본 명세서에서 "세크먼트화된 깊이 이미지"로서 지칭되는)이다. 세그먼트화된 깊이 이미지는 깊이 프레임들의 링 버퍼(10의 링 버퍼 크기를 가진 BAB/GOE 운반되어)내에 저장되어, 가장 오래된 깊이 프레임을 덮어쓰고 최종 깊이 이미지를 획득하기 위하여 모든 프레임들과 함께 평균화된다. 일 실시예에서, 오직 세그먼트화된 깊이 픽셀들이 최종 평균에 기여한다. 결과적으로, 노이즈는 스무딩되고, 더 안정한 오브젝트 에지로 귀결되며, 오브젝트의 부분들이 노이즈 또는 열악한 IR 반사 물질에 기인하여 세그먼트화 되었다 안되었다 하는 시나리오를 향상시킨다.
도 6은 일 실시예에 따른, 깊이-대-컬러(depth-to-color) 오프셋의 도면이다. 도시된 바와 같이, 일 실시예는 녹색 포인트들을 나타내는 녹색 컬러들(우측 코너에서 보여지는), 붉은 색 컬러들(좌측 아래 코너에서 보여지는), 및 그 사이에서 이 둘을 혼합한 것을 가진 깊이-대-컬러 오프셋 테이블을 구축한다. 각각의 픽셀의 깊이 및 컬러 공간 좌표들 사이의 오프셋들은 컬러 세그먼테이션 및 메쉬 프로세싱 동안에 신속한 룩업을 위해, 뿐만 아니라, 특정 카메라의 눈금 조절 설정치와 상관없이, 오직 2개의 캡쳐된 컬러 이미지를 사용하여 출력 메쉬의 완전한 재생을 돕기 위해 테이블 내에 저장된다. 테이블 외측 영역에서 오브젝트 세그먼테이션은 세그먼테이션의 에지에서 바깥쪽으로 오프셋들을 복사함으로써 채워질 수 있다. 에지에서 복사된 오프셋은, 깊이 이미지 내에 투사된 출력 메쉬 내의 정점들이 깊이 세그먼테이션의 경계 바깥에 떨어지는 경우를 다루기 위하여, 나중에 사용될 수 있다.
도 7은 소스 컬러 이미지의 도면이고, 도 8은 일 실시예에 따른, 캡쳐된 오브젝트의 컬러 세그먼테이션의 도면이다. 깊이 공간 내의 세그먼테이션으로 시작하면, 일 실시예는 별-형태의 스플렛(splat) 패턴을 사용하여, 320X240 컬러 세그먼테이션 버퍼 안으로 각각의 세그먼트화된 깊이 픽셀을 스플렛한다. 그러면 결과적인 패턴은 640X480으로 "업-샘플링된"되고, 각각의 세그먼트화된 컬러 픽셀에 대해 소스 깊이 픽셀이 "이상적인" 거리로부터 얼마나 멀리 있는지를 기술하는 "이상으로부터의 거리(distance-from-ideal)" 값이 계산된다. 이상적인 거리는 깊이 카메라의 전면 클립 면을 가로지르지 않고 가능한 한 많은 컬러/깊이 데이터를 획득하기 위하여 카메라에 대해 얼마나 가까이 사용자가 타겟 오브젝트를 잡고 있어야 하는지를 나타낸다. 이들 값은 캡쳐 프로세스 동안에 사용자에게 피드백으로서 프레젠트될 수 있다. 이상적인 것으로부터 떨어져 있는 픽셀들은 이상적인 것에 더 가까운 픽셀들보다 더 심하게 틴트되거나 블러링될 수 있다. 이상으로부터의 거리 값들은 결과적으로 실시간 프리뷰를 위해 사용되는 컬러 이미지의 알파 채널 안으로 복사된다.
도 9 및 도 10은 일 실시예에 따른, 디지털화될 오브젝트를 잡고 있는 것에 대한 안내를 제공하는 사용자 인터페이스(UI)의 도면들이다. 도 9는 도시된 실시예가 세그먼트화된 픽셀들의 개수, 카메라까지의 거리, 카메라 뷰의 중심으로부터의 거리, 픽셀 안정성, 및 오브젝트 크기를 분석하고, 사용자에게 얼마나 오브젝트를 가장 좋은 위치에 배치할 수 있는가에 대하여 시각적인 피드백 및 텍스트 피드백을 제공한다는 것을 보여준다. 피드백은 스크린 상에서 윤곽선의 형태일 수 있다. 도 10은 위와 동일한 프로세스를 사용하여 타겟 오브젝트의 후면의 이미지의 컬러 및 깊이 데이터를 보여준다. 일 실시예는 세그먼트화된 정면 캡쳐의 윤곽선을 사용하여 정확하게 오브젝트를 지향하도록 사용자를 안내한다. 사용자는 정면 및 후면 캡쳐들이 나중에 자동으로 정렬될 수 있기 때문에 정밀하게 윤곽선을 매칭시킬 필요는 없다.
도 11은 일 실시예에 따른, 포인트 클라우드 구조물을 보여준다. 이 지점에서, 2개의 컬러 및 깊이 이미지들이 타겟 오브젝트에 대해 세그먼트화되었다. 이들 이미지를 사용하여, 타겟 오브젝트의 표면 상에서 포인트들의 포인트 클라우드 구조물이 구축되고 나중에 트라이앵글 메쉬(triangle mesh)를 재구축하기 위하여 사용될 수 있다. 정면 이미지 내의 세그먼트화된 픽셀들은 3D 포인트들의 "시트(sheet)"로 변환된다. 일 실시예에서, 위치들은 깊이 데이터 및 시트의 후면-중심에 있는 원점을 이용하여 깊이 이미지 공간으로부터 모델 공간으로 반투영(un-project)된다. 시트의 에지들은 오브젝트의 면들을 형성하도록 추가적인 포인트들을 추가함으로써 뒤쪽으로 돌출된다. 오브젝트가 얼마나 "깊은지"를 추정하기 위하여, BAB/GOE에서, 돌출 거리에 대한 고정 값이 사용될 수 있다.
유사하게, 후면 깊이 이미지로부터의 3D 포인트들로 이루어진 시트는, 정면 캡쳐의 후면 중심을 원점으로 이용하여 생성된다. 도 12는 일 실시예에 따른, 정렬된 포인트 시트들의 2개의 뷰를 도시한다. 시트들을 정렬하기 위하여, 이 시트를 상향 축(up axis)을 중심으로 180도 회전시켜 그것이 포인트 클라우드의 후면을 형성할 수 있도록 하기 위한 초기 변환이 계산된다. 일 실시예에서, 정면 시트와 후면 시트의 에지들을 가능한 한 가까이 정렬하는 다른 하나의 변환이 계산된다. 정렬 프로세스는 후면 시트의 질량 중심을 정면 시트의 질량 중심과 매칭되도록 하기 위해 후면 시트를 이동시킬 수 있다. 그런 다음, 각각의 정면 에지 포인트로부터 그것의 가장 가까운 후면 에지 포인트까지 거리들의 합계로서 계산되는, "정렬 에러" 값을 최소화하기 위하여 이동 및 회전 범위에 대해 억지 반복(brute-force iterate)이 사용된다. 반복은 다수의 패스(pass)(각각의 패스는 한번에 하나씩 각각의 이동 및 회전 축에 대해 가장 좋은 값을 계산하려고 시도한다)들 안에서 행해질 수 있으며, 각각의 축을 가로지르는 탐색은 효율을 위해 2-티어 계층 접근법을 사용하여 행해진다. 가장 가까운-포인트-찾기(closest-point-finding)는 3D 셀 공간 파티션을 사용하여 가속된다. 일 실시예는 또한 패스트 파인-그레인드(fast fine-grained) 정렬을 위해 반복적인 가장 가까운 포인트(ICP, iterative closest point) 알고리즘을 구현하거나, 또는 대안적으로, 더 나은 컨트롤에 대한 요구로 인해 반복적인 억지 방법만 사용할 수도 있다.
후면 시트 내에 대응하는 포인트를 가지지 않는 정면 시트의 포인트는 가장 가까운 후면 포인트를 발견하기 위하여 각각의 정면 포인트로부터 뒤쪽으로 탐색하도록 선별될 수 있다. 유사하게, 정면 시트 내에서 대응하는 포인트를 가지지 아니하는 후면 시트의 포인트가 선별될 수 있다. 이것은 정면 캡처와 후면 캡쳐 사이에서 불일치하는 시트 부분을 제거하는데, 이 경우는 만약 사용자의 손이 캡쳐 내에 존재하지만 캡쳐들 사이에서 위치를 변경한 경우에, 또는 오브젝트가 정면 및 후면 캡쳐 사이에서 형태가 변화된 경우에 발생할 수 있다.
일 실시예에서, 나머지 포인트들은 최종 포인트 클라우드에 함께 병합되며 각각의 포인트 및 그 우측 및 하부의 이웃들에 의해 형성되는 평면을 이용하여 포인트들의 평균(normal)이 계산된다. 도 13은 일 실시예에 따른, 최종 포인트 클라우드 구조물을 보여준다.
도 14에 도시된 바와 같이, 이후 확인 이미지가 사용자에게 프레젠트될 수 있다. 확인 이미지는 시트 정렬 및 포인트 선별의 결과를 포함하며, 사용자로 하여금 캡쳐, 정렬, 또는 선별이 형편없이 실패한 경우를 검출할 수 있게 하며 구성 프로세스의 나머지를 진행하지 않고 재-캡쳐하도록 허용한다. 이미지는 최종 포인트 클라우드 내의 포인트들을 정면 및 후면 컬러 이미지의 알파 채널 안으로 투사하고 스플렛팅하고, 정렬 변형에 기초하여 후면 이미지를 회전시키며, 또한 몇몇 추가적인 이미지 클린업을 수행함으로써 생성된다.
표면 재구성 단계는 최종 포인트 클라우드를 취하고 트라이앵글 매쉬를 생성한다. 도 15는 표면 재구성을 이용한 메쉬 출력의 도면이다. 일 실시예는 MSR-베이징 소재 Xin Tong의 그룹의 Minmin Gong에 의해 개발되고 Kazhdan, Bolitho, 및 Hoppe에 의한 "Poisson Surface Reconstruction"; 및 Zhou, Gong, Huang, 및 Guo에 의한 "Highly Parallel Surface Reconstruction"에서 상세히 설명되어 있는 포와송 표면 재구성(Poisson Surface Reconstruction) 알고리즘의 하이브리드 CPU/GPU 구현을 사용한다. 이것은 몇몇 실시예들에서 대략 20,000 포인트를 가지는 전형적인 포인트 클라우드 데이터에 대해 10-20 초가 걸리는, 메모리 및 시간 양자 모두에 있어 디지털화의 가장 집중적인 계산이 필요한 부분일 수 있다. 구멍-메우기(hole-filling)의 양은 메모리 사용량의 제어를 유지하기 위해 재구성 동안에 제한될 수 있지만, 그러나 이러한 제한은 만약 포인트 클라우드 내에 큰 구멍들이 존재한다면 논-워터-타이트(non-water-tight) 메쉬로 귀결될 수 있다.
도 16은 일 실시예에 따른 오브젝트의 스무딩되고 처리된 이미지의 도면이다. 정점 인접성 리스트가 구축되고 면과 정점 평균이 계산된다. 그런 다음, 일 실시예는 몇몇 구속조건을 스무딩하기 위하여 라플라시안 알고리즘을 사용한다. 그 결과, 오브젝트의 측면들이 다듬어지고, 노이즈가 제거되며, 포인트 시트가 정렬되어 있지 않은 영역들이 정리된다.
포인트 클라우드의 품질에 의존하여, 표면 재구성은 단일의 큰 메쉬 대신에 기하학적인 작은 "섬들(islands)"을 생성할 수 있다. 일 실시예는 섬들을 발견하고, 그것들의 부피를 계산하고, 가장 큰 섬보다 너무 작은 섬들을 제거하기 위해 연결된 컴포넌트 라벨링을 사용한다.
각각의 정점에 대하여, 일 실시예는 정점의 평균 및 정면 캡쳐 및 후면 캡쳐 뷰 방향 사이의 도트 곱(dot product)을 검사한다. 정면 뷰 방향은 모델-공간의 음의 Z축을 따를 수 있는 반면에, 후면 뷰 방향은 시트 정렬 프로세스의 결과에 의존할 수 있으며 양의 Z축을 따르지 않을 수 있다. 결과적으로, 몇몇 정점들은 정면 및 후면 캡쳐 뷰 내에서 가시적일 수 있고, 몇몇 정점들은 두 뷰 모두에서 가시적이지 않을 수 있다. 몇몇 정점들은 이들의 법선이 후면보다 정면과 대향하고 있다면 "정면"으로 분류될 수 있고, 그 역도 마찬가지이다. 이것은 또한 "심(seam)" 정점(즉, 오브젝트의 정면 뷰 및 후면 뷰에 걸쳐 있는 정점들)의 발견을 허용한다.
최종 메쉬 상에 적용할 텍스처 맵을 생성하기 위하여, 일 실시예는 텍스처의 상부에 정면 캡쳐로부터의 컬러 이미지를 배치하고 정면 캡쳐의 바로 하부에 후면 캡쳐로부터의 컬러 이미지를 배치한다. 텍스처의 상부로부터의 텍셀(texel)들은 일차 정면-대향 트라이앵글 상으로 매핑되고 일차 후면-대향 트라이앵글에 대해서는 그 역이다. 정점들은 초기에 정면-후면 심을 따라 정면 및 후면 트라이앵글 사이에서 공유될 수 있고, 이후, 이들 공유된 정점들은 정면 대 후면 트라이앵글들에 텍스처의 서로 다른 부분들을 매핑할 수 있도록 복제될 수 있다.
도 17은 UV 좌표들을 가진 이미지의 도면을 도시하고, 도 18은 일 실시예에 따른 최종 텍스처 맵의 한 섹션으로 그려진 정면-대향 트라이앵글 에지의 도면을 도시한다. UV 좌표들을 계산하기 위하여, 정면-대향 트라이앵글들은 정면 캡쳐 컬러 이미지가 배치되어 있는 텍스처의 상부로 매핑되며, 하부에 대하여도 마찬가지이다. 정점 위치들은 깊이 카메라의 공간 내에 있으며; 반면, 컬러 이미지들은 컬러 카메라의 공간 내에 있고, 따라서 정면/후면 깊이 이미지들 상으로 정점들을 투사한 이후, 일 실시예는 좌표를 컬러 카메라 공간으로 변환시키기 위해 깊이-대-컬러 오프셋 테이블을 사용한다.
일 실시예에서, 메쉬는 재-센터링되고, 상향 축 주위로 미러링되고 최대 폭/높이 종횡비를 강제하기 위해 스케일링된다. 캡쳐된 컬러 및 깊이 이미지들은 실제 물리적인 오브젝트와 비교하여 미러링되고, 따라서 다른 하나의 미러링이 이것을 역전시키기 위해 사용된다. 골격(skeleton)은 최적화될 수 있고 애니메이션은 더 넓은 오브젝트보다는 더 큰 오브젝트를 위해 추가될 수 있으며, 따라서 폭/높이 종횡비 구속조건은 특정 골격과 매칭되지 아니하는 넓은 오브젝트를 애니메이팅함으로써 야기되는 결함을 속박한다.
일 실시예에서, 하나의 단일 골격이 오브젝트의 모든 애니메이션들에 대해 사용된다. 골격은 타겟 오브젝트가 더 많은 형태를 가지는 것을 요구함이 없이 양호한 범위의 움직임(걷기, 뛰기, 기기, 춤추기, 좌우 보기 등)들을 제공하는 뼈들을 가질 수 있다.
디지털화된 이미지에 피부를 적용하기 위하여, 메쉬는 골격이 그 안에 맞추어지도록 재스케일링되고, 상단 뼈가 오브젝트의 상단으로부터 특정 퍼센트(예컨대, 대략 90%)에 위치되도록 하고(대략적으로 오브젝트의 "머리" 안에 배치하는) 하단 뼈는 오브젝트의 하단 부분에 위치되도록 한다. 그런 다음 상향 축을 따라 각각의 정점에 대해 가장 가까운 뼈들을 발견하고 폴오프(falloff) 곡선을 사용하여 그것들에 가중치를 부여함으로써 뼈 지수(bone indices)가 계산될 수 있고 골격에 가중치가 추가될 수 있다. 도 19(a) 내지 도 19(e)는 일 실시예에 따른, 생성된 골격 구조의 서로 다른 뼈들에 추가된 가중치를 도시하는 도면들이다.
컬러 및/또는 깊이 이미지들은 노이즈를 감소시키고 품질을 향상시키기 위해 프로세싱될 수 있다. 일 실시예에 따른 프로세싱은 정면 이미지 및 후면 이미지에 대해 독립적으로 수행되고, 그 결과들은 하나의 최종 텍스처 맵으로 통합되는데, 이 최종 텍스처 맵은 추가 프로세싱이 요구될 수 있다. 몇몇 실험과 아티스트로부터의 피드백 이후, 다음의 단계들이 최적이라는 점이 발견되었다, 즉: sRGB 컬러들을 선형 공간으로 변형하고, "그레이-세계"에 오토-화이트 밸런스를 적용하고, 에지 결함을 복구하고, 루마 및 크로마 값들을 계산하고, 쌍방 필터링을 적용하고, 히스토그램 균등화, 및 루마에 대해 샤프닝, 크로마에 대해 중간 필터링을 적용하고, sRGB로 다시 변환하고, 마지막으로, 이미지의 디-세그먼트된 영역들로 컬러들의 에지들을 외부로 연장한다. 서로 다른 실시예들에서 그 외 다른 단계들이 추가될 수 있고 위의 몇몇 단계들이 삭제될 수 있다.
도 20(a) 및 도 20(b)는 일 실시예에 따른 루마/크로마 프로세싱 전 및 후의 이미지를 보여준다. 루마/크로마를 독립적으로 프로세싱하는 것은 루마 이미지 내에서 디테일을 보존하는 한편으로 크로마를 훨씬 더 강하게 필터링하는 것을 허용하는데, 이것은 이미지에서 노이즈를 제거하는데 좋다. 히스토그램 균등화는 열악하게 노출된 이미지들을 보상하기 위하여 매우 가볍게 적용될 수 있다.
도 21(a) 및 도 21(b)는 일 실시예에 따른 에지들이 필터링된 이후 소스 및 출력 이미지들을 보여준다. 일 실시예에서, "에지 복구 필터"는 실질적으로 배경으로부터 유래되고 오브젝트 그 자체가 아닌 타겟 오브젝트의 에지들에서 컬러들을 대체하려고 시도한다. 상대적으로 낮은 해상도 및 깊이 이미지의 높은 노이즈 및 불완전한 깊이-대-컬러 조정에 기인하여 불량 컬러들이 발생될 수 있다. 에지 복구 필터는 오브젝트 에지 바로 주위에서 픽셀들의 "문제되는 영역(disputed region)"에 대해 동작한다. 문제되는 영역에 대해 내부의 픽셀들은 확실하게 타겟 오브젝트의 일부이고 먼 외부에 있는 픽셀들은 배경의 일부라는 가정을 이용하여, 문제되는 영역 픽셀 마다 "배경 가능성(background likelihood)" 값이 계산되고 높은 가능성의 배경 픽셀들을 내부 컬러들로 블렌딩하는데 사용된다.
도 22(a) 및 도 22(b)는 일 실시예에 따른 에지 복구 필터가 타겟 컬러들 및 배경 컬러들을 복원하는 경우의 이미지들을 보여준다. 타겟 컬러들은 외부로부터 문제되는 영역 안으로 외삽된다.
도 23(a) 및 도 23(b)는 일 실시예에 따른 에지로부터 문제되는 영역까지의 거리 및 계산된 배경 가능성 값들을 보여주는 이미지들이다. 더 나아가, 도 24는 일 실시예에 따른 비 최종적인 이미지 위에 텍스처가 입혀진 이미지의 최종 합성 텍스처 맵을 보여준다.
정면 이미지 및 후면 이미지를 함께 배치하는 것으로부터 귀결되는 심은 복구될 필요가 있을 수 있다. 메쉬 프로세싱의 최후 비트는 정면-후면 심 근처의 외관 및 캡쳐링 동안에 컬러 카메라에 대해 비가시적이었던 영역들의 외관을 향상시키기 위해 사용된다. 먼저, 정점 마다 해당 정점에서 텍스처 컬러가 얼마나 "불량"일지를 나타내는 마스크 값이 계산된다. 이 값은 임의의 캡쳐된 이미지들에 대해 얼마나 후면-대향되어 있는지(표면이 카메라의 뷰로부터 멀리 향하는 것 및 또한 열악한 텍셀 밀도에 기인하여 텍스처 컬러가 손상되어 있는 위치)와 정점이 심(정면 이미지와 후면 이미지가 접촉하지만 전체적으로 양호하게 라인업되어 있지 아니한 곳)까지 거리의 곱이다. 이들 값은 정점 컬러 알파 채널 내에 저장될 수 있다. 그 다음에, 표면 컬러의 블러링된 버전이 계산되고 정점 컬러 RGB 채널 안으로 저장된다. 이들 컬러는 품질면에서(비록 세부적으로는 낮지만) 상당히 양호하다. 복구가 필요한 네거티브 결함은 상대적으로 로컬화되어 있으며 더 높은 주파수를 가지는데 비해, 블러링(blurring)은 더 전체적인, 낮은-주파수의 컬러를 제공한다.
도 25(a) 및 도 25(b)는 일 실시예에 따른 마스크된 값 및 심하게 블러링된 정점 컬러들을 보여준다. 일 실시예에서, 동작시, 마스크 값은 소스 텍스처와 블러링된 정점 컬러 사이 블렌딩을 위하여 사용된다. 도 26(a) 및 도 26(b)는, 일 실시예에 따른, 텍스처만 가진 메쉬(도 27A) 및 마스크 값에 의한 정점 컬러 블렌딩을 수행한 텍스처를 가진 메쉬(도 27B)의 서로 다른 메쉬들을 보여준다.
도 27은 일 실시예에 따른, 디지털화된 오브젝트의 최종 렌더링을 보여준다. 일 실시예에서, 일단 최종 메쉬 및 텍스처가 완성되면, 언리얼 엔진 3 메쉬(Unreal Engine 3 mesh)가 생성되고 환경 및 가장자리 조명, 자체 그림자 및 애니메이션과 함께 렌더링된다. GOE 앱(app)은 또한 사용자가 골격 상에 누이(Nui) 골격을 매핑함으로써 오브젝트를 아바타화하도록 허용한다.
위의 단계들은 이용가능성, CPU/GPU/메모리 요건, 출력 품질, 아티스트적인 고려, 센서 정확도, 및 개발 시간의 균형을 맞춘다. 모든 시나리오에 대해 특정되지 않을 수 있는 트레이드-오프가 이루어졌다. 그러므로, 상이한 단계들이 추가될 수 있거나 또는 최종 디지타이제이션의 속도 또는 품질을 향상시키기 위해 위의 몇몇이 삭제될 수 있다.
도 28은 일 실시예에 따른 오브젝트를 디지털화하기 위한 동작 흐름도(2800)를 보여준다. 2802에서 도시된 바와 같이, 이미지로부터 컬러 및 깊이 데이터가 수신된다. 깊이 데이터를 분석하여, 사용자가 캡쳐를 위해 카메라에 오브젝트를 프레젠트할 가능성이 가장 높다는 추정에 기초하여, 카메라에 대해 이미지의 가장 가까운 포인트를 식별함으로써 관심있는 오브젝트가 발견된다. 관심있는 오브젝트를 설정하기 위한 대안적인 방식들이 대안적으로 또는 추가적으로 이용될 수 있다. 실시예들은 이미지 내에서 오브젝트를 발견하기 위한 임의의 특정 타입의 수단으로 제한되지 않기 때문에, 여러가지 이미지 인식 또는 알고리즘적인 매칭 기법들이 이미지 내에서 오브젝트를 발견하기 위하여 사용될 수 있다. 또한 실시예들은 오브젝트를 발견하기 위하여 깊이 데이터에 추가하여 또는 대안적으로 이미지의 컬러 데이터를 사용할 수 있다. 예를 들어, 코카-콜라 캔은 붉은 색의 상표를 포함할 수 있으며, 영상 내에서 캔을 발견하려고 시도할 때 컬러 데이터가 특히 관련되도록 한다. 따라서, 관심있는 오브젝트는 많은 여러 가지 방식으로 발견될 수 있다.
일단 관심있는 오브젝트가 발견되면, 2804에서 도시된 바와 같이, 오브젝트의 에지들이 식별된다. 이러한 결정은 오브젝트 주변의 이미지 내에서 컬러, 깊이, 또는 컨트라스트, 차이들을 분석함으로써 이루어질 수 있다. 일단 에지들이 발견되면, 2808에서 도시된 바와 같이, 이미지의 컬러 및 깊이 데이터를 사용하여 오브젝트의 포인트 클라우드 구조물의 생성이 수행될 수 있다. 3D로 오브젝트를 디지털화하기 위하여, 오브젝트의 상이한 면들에 대한 다수의 포인트 클라우드 구조물들이 다수의 이미지들(예컨대, 후면, 정면, 상단, 하단, 등)의 컬러 및 깊이 데이터에 기초하여 생성될 수 있다. 다수의 포인트 클라우드 구조물들은, 일단 생성되면, 2810에서 도시된 바와 같이, 오브젝트의 최종 디지타이제이션을 생성하기 위하여 통합될 수 있다.
도 29는 일 실시예에 따른 오브젝트를 디지털화하는 동작 흐름도(2900)를 보여준다. 2902에서 도시된 바와 같이, 일단 오브젝트의 이미지들이 수신되면, 2904에서 도시된 바와 같이, 이미지의 가장 가까운 포인트들이 식별된다. 2904에서 도시된 바와 같이, 오브젝트의 면들(예컨대, 좌측, 우측, 북쪽, 남쪽, 상단, 하단, 등)이 식별된다. 2908에서 도시된 바와 같이, 이미지들의 포인트 클라우드 구조물들이 생성되고, 2910에서 도시된 바와 같이 하나의 단일 렌디션으로 통합된다. 그런 다음 최종 렌디션이 2912에서 도시된 바와 같이 저장되고, 디스플레이 장치 상에서 프레젠트된다.
도시된 다양한 컴포넌트들 뿐만 아니라 도시되지 아니한 컴포넌트들의 다양한 배열들이 아래의 청구항들의 범위에서 벗어나지 않고도 가능하다. 본 기술의 실시예들은 제한적이 아니라 예시적인 것으로 기술되었다. 대안적인 실시예들은 본 명세서의 독자들에게 명백할 것이다. 상술한 것들을 구현하는 대안적인 수단들은 아래의 청구항들의 범위로부터 벗어나지 않고도 성취될 수 있다. 그 외 다른 특징들 및 하위 조합들을 참조하지 않고도 특정한 특징 및 하위 조합들이 이용될 수 있고 채용될 수 있으며 청구항들의 범위 내에서 고려될 수 있다.

Claims (20)

  1. 실행될 경우, 적어도 하나의 카메라에 의해 캡쳐된 오브젝트를 디지털화(digitize)하는 방법을 수행하는 컴퓨터-실행가능 명령어가 포함되어 있는 컴퓨터 저장 장치에 있어서,
    상기 방법은,
    적어도 하나의 이미지와 연관된 컬러 데이터 및 깊이 데이터를 수신하는 단계와,
    상기 깊이 데이터에 기초하여, 상기 적어도 하나의 카메라에 대해 상기 적어도 하나의 이미지에서 가장 가까운 포인트를 식별하는 단계와,
    인접한 포인트들 사이에서 깊이의 급격한 차이(drastic difference)를 찾도록 상기 가장 가까운 포인트로부터 바깥쪽으로 이동하면서 포인트들의 깊이를 분석함으로써 상기 적어도 하나의 이미지에서 상기 오브젝트의 에지들을 식별하는 단계와,
    상기 에지들 내에서 상기 깊이 데이터를 사용하여 상기 오브젝트의 포인트 클라우드 구조물(point cloud construction)을 생성하는 단계와,
    상기 오브젝트의 디지타이제이션(digitization)을 생성하기 위하여 상기 포인트 클라우드 구조물을 이용하는 단계
    를 포함하는 것인 컴퓨터 저장 장치.
  2. 제 1 항에 있어서, 상기 적어도 하나의 카메라에 대해 상기 적어도 하나의 이미지에서 가장 가까운 포인트를 식별하는 단계는,
    상기 적어도 하나의 카메라의 조리개(aperture)와 상기 적어도 하나의 이미지 내의 복수의 포인트들 사이의 거리들을 계산하는 단계와,
    상기 거리들 중에서 최단 거리를 선택하는 단계
    를 더 포함하는 것인 컴퓨터 저장 장치.
  3. 제 2 항에 있어서,
    상기 최단 거리로 상기 오브젝트에 연결된 특징(feature)을 식별하는 단계와,
    상기 카메라에 대해 상기 오브젝트의 가장 가까운 부분을 나타내는 상기 특징의 표시(indication)를 저장하는 단계
    를 더 포함하는 것인 컴퓨터 저장 장치.
  4. 제 1 항에 있어서,
    상기 오브젝트의 적어도 하나의 제2 이미지에 대한 컬러 데이터 및 깊이 데이터를 수신하는 단계와,
    상기 적어도 하나의 제2 이미지에서 제2의 가장 가까운 포인트를 결정하는 단계와,
    상기 제2의 가장 가까운 포인트에서 상기 오브젝트를 식별하는 단계와,
    상기 적어도 하나의 제2 이미지 내에 지향되어 있는(oriented), 상기 오브젝트의 제2 포인트 클라우드 구조물을 생성하는 단계
    를 더 포함하는 것인 컴퓨터 저장 장치.
  5. 제 4 항에 있어서, 상기 오브젝트의 3D 렌디션(rendition)을 생성하기 위해 상기 포인트 클라우드 구조물과 상기 제2 포인트 클라우드 구조물을 조합하는 단계를 더 포함하는 것인 컴퓨터 저장 장치.
  6. 제 5 항에 있어서,
    상기 포인트 클라우드 구조물 및 제2 포인트 클라우드 구조물 사이의 심(seam)을 식별하는 단계와,
    상기 심(seam)의 일부를 채우기 위한 필러 컬러(filler color)를 결정하는 단계와,
    상기 포인트 클라우드 구조물 및 상기 제2 포인트 클라우드 구조물 사이에 심리스 에지(seamless edge)를 가진 3D 렌디션(rendition)을 생성하기 위하여 상기 필러 컬러로 상기 심(seam)의 일부를 채우는 단계와,
    상기 3D 렌디션을 저장하는 단계
    를 더 포함하는 것인 컴퓨터 저장 장치.
  7. 제 6 항에 있어서, 디스플레이 장치 상에 상기 3D 렌디션을 디스플레이하는 단계를 더 포함하는 것인 컴퓨터 저장 장치.
  8. 제 7 항에 있어서,
    상기 3D 렌디션의 상이한 특징들의 이동을 통제(govern)하기 위해 규칙들의 세트를 이용하는 단계와,
    상기 규칙들 중 하나 이상에 따라 상기 디스플레이 장치 상에서 상기 3D 렌디션을 이동시키는 단계
    를 더 포함하는 것인 컴퓨터 저장 장치.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 내의 상기 가장 가까운 포인트를 둘러싸는 공간적 구역(spatial region)에서 이미지 분석을 수행하는 단계와,
    상기 이미지 분석에 기초하여, 상기 공간적 구역 내의 2개의 영역들 사이의 컬러 차이를 결정하는 단계와,
    상기 영역들 중 하나의 영역을 상기 오브젝트와 연관되어 있는 것으로서 지정하는 단계와,
    상기 영역들 중 상기 하나의 영역과는 상이한 컬러를 가진 다른 영역을 제거하는 단계
    를 더 포함하는 것인 컴퓨터 저장 장치.
  10. 제 1 항에 있어서, 하나 이상의 깊이 에지들에 도달할 때까지 상기 가장 가까운 포인트로부터 바깥쪽으로 플러드-필링(flood-filling)하는 단계를 더 포함하는 것인 컴퓨터 저장 장치.
  11. 제 1 항에 있어서,
    상기 오브젝트와 연관된 이웃 포인트들의 문턱 개수보다 더 적은 포인트를 갖는 영역들 주위에서 상기 적어도 하나의 이미지의 하나 이상의 포인트들을 제거하여, 결과적으로 상기 오브젝트의 깊이 픽셀들의 마스크를 생성하는 단계를 더 포함하는 것인 컴퓨터 저장 장치.
  12. 제 11 항에 있어서,
    적어도 하나의 깊이 프레임을 덮어쓰고 하나의 최종 깊이 이미지를 생성하기 위하여 다수의 프레임들을 함께 평균화하는 방식으로 깊이 프레임들의 링 버퍼 내에 상기 깊이 픽셀들의 마스크를 저장하는 단계를 더 포함하는 것인 컴퓨터 저장 장치.
  13. 적어도 하나의 카메라에 의해 캡쳐된 오브젝트를 디지털화하는 방법에 있어서,
    적어도 하나의 이미지와 연관된 컬러 데이터 및 깊이 데이터를 수신하는 단계와,
    상기 깊이 데이터에 기초하여, 상기 적어도 하나의 카메라에 대해 상기 적어도 하나의 이미지에서 가장 가까운 포인트를 식별하는 단계와,
    인접한 포인트들 사이에서 깊이의 급격한 차이를 찾도록 상기 가장 가까운 포인트로부터 바깥쪽으로 이동하면서 포인트들의 깊이를 분석함으로써 상기 적어도 하나의 이미지에서 상기 오브젝트의 에지들을 식별하는 단계와,
    상기 에지들 내에서 상기 깊이 데이터를 사용하여 상기 오브젝트의 포인트 클라우드 구조물을 생성하는 단계와,
    상기 오브젝트의 디지타이제이션을 생성하기 위하여 상기 포인트 클라우드 구조물을 이용하는 단계
    를 포함하는 오브젝트 디지털화 방법.
  14. 제 13 항에 있어서, 상기 적어도 하나의 카메라에 대해 상기 적어도 하나의 이미지에서 가장 가까운 포인트를 식별하는 단계는,
    상기 적어도 하나의 카메라의 조리개와 상기 이미지 내의 복수의 포인트들 사이의 거리들을 계산하는 단계와,
    상기 거리들 중에서, 최단 거리를 선택하는 단계와,
    상기 최단 거리에서 상기 오브젝트에 연결된 특징을 식별하는 단계와,
    상기 카메라에 대해 상기 오브젝트의 가장 가까운 부분을 나타내는 상기 특징의 표시를 저장하는 단계
    를 더 포함하는 것인 오브젝트 디지털화 방법.
  15. 제 13 항에 있어서,
    상기 오브젝트의 적어도 하나의 제2 이미지에 대한 컬러 데이터 및 깊이 데이터를 수신하는 단계와,
    상기 적어도 하나의 제2 이미지에서 제2의 가장 가까운 포인트를 결정하는 단계와,
    상기 제2의 가장 가까운 포인트에서 상기 오브젝트를 식별하는 단계와,
    상기 적어도 하나의 제2 이미지 내에 지향되어 있는, 상기 오브젝트의 제2 포인트 클라우드 구조물을 생성하는 단계와
    상기 오브젝트의 3D 렌디션을 생성하기 위해 상기 포인트 클라우드 구조물과 상기 제2 포인트 클라우드 구조물을 조합하는 단계와,
    상기 포인트 클라우드 구조물 및 제2 포인트 클라우드 구조물 사이의 심(seam)을 식별하는 단계와,
    상기 심(seam)의 일부를 채우기 위한 필러 컬러를 결정하는 단계와,
    상기 포인트 클라우드 구조물 및 상기 제2 포인트 클라우드 구조물 사이에 심리스 에지를 가진 3D 렌디션을 생성하기 위하여 상기 필러 컬러로 상기 심(seam)의 일부를 채우는 단계와,
    상기 3D 렌디션을 저장하는 단계
    를 더 포함하는 오브젝트 디지털화 방법.
  16. 제 15 항에 있어서,
    상기 3D 렌디션의 상이한 특징들의 이동을 통제하기 위해 규칙들의 세트를 이용하는 단계와,
    상기 규칙들 중 하나 이상에 따라 상기 3D 렌디션을 이동시키는 단계
    를 더 포함하는 오브젝트 디지털화 방법.
  17. 제 13 항에 있어서,
    상기 적어도 하나의 이미지 내의 상기 가장 가까운 포인트를 둘러싸는 공간적 구역에서 이미지 분석을 수행하는 단계와,
    상기 이미지 분석에 기초하여, 상기 공간적 구역 내의 2개의 영역들 사이의 컬러 차이를 결정하는 단계와,
    상기 영역들 중 하나의 영역을 상기 오브젝트와 연관되어 있는 것으로서 지정하는 단계와,
    상기 영역들 중 상기 하나의 영역과는 상이한 컬러를 가진 다른 영역을 제거하는 단계
    를 더 포함하는 오브젝트 디지털화 방법.
  18. 컴퓨팅 장치에 있어서,
    하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는,
    적어도 하나의 이미지와 연관된 컬러 데이터 및 깊이 데이터를 수신하고,
    상기 깊이 데이터에 기초하여, 적어도 하나의 카메라에 대해 상기 적어도 하나의 이미지에서 가장 가까운 포인트를 식별하며,
    인접한 포인트들 사이에서 깊이의 급격한 차이를 찾도록 상기 가장 가까운 포인트로부터 바깥쪽으로 이동하면서 포인트들의 깊이를 분석함으로써 상기 적어도 하나의 이미지에서 오브젝트의 에지들을 식별하고,
    상기 에지들 내에서 상기 깊이 데이터를 사용하여 상기 오브젝트의 포인트 클라우드 구조물을 생성하며,
    상기 오브젝트의 디지타이제이션을 생성하기 위하여 상기 포인트 클라우드 구조물을 이용하도록 구성되는 것인 컴퓨팅 장치.
  19. 제 1 항에 있어서, 인접한 포인트들 사이의 깊이의 급격한 차이는 적어도 0.5 미터를 포함하는 것인 컴퓨터 저장 장치.
  20. 제 1 항에 있어서, 인접한 포인트들 사이의 깊이의 급격한 차이는 상기 인접 포인트들 중 하나가 상기 캡쳐된 오브젝트의 일부가 아니라는 것을 나타내는 거리에 대응하는 것인 컴퓨터 저장 장치.
KR1020137032547A 2011-06-06 2012-06-05 오브젝트 디지타이제이션 기법 KR102031302B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493844P 2011-06-06 2011-06-06
US61/493,844 2011-06-06
US13/410,907 US9208571B2 (en) 2011-06-06 2012-03-02 Object digitization
US13/410,907 2012-03-02
PCT/US2012/040954 WO2012170445A2 (en) 2011-06-06 2012-06-05 Object digitization

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020197029331A Division KR102121707B1 (ko) 2011-06-06 2012-06-05 오브젝트 디지타이제이션 기법

Publications (2)

Publication Number Publication Date
KR20140043379A KR20140043379A (ko) 2014-04-09
KR102031302B1 true KR102031302B1 (ko) 2019-10-11

Family

ID=47261375

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020137032547A KR102031302B1 (ko) 2011-06-06 2012-06-05 오브젝트 디지타이제이션 기법
KR1020197029331A KR102121707B1 (ko) 2011-06-06 2012-06-05 오브젝트 디지타이제이션 기법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197029331A KR102121707B1 (ko) 2011-06-06 2012-06-05 오브젝트 디지타이제이션 기법

Country Status (6)

Country Link
US (3) US9208571B2 (ko)
EP (1) EP2718897B1 (ko)
JP (1) JP5985620B2 (ko)
KR (2) KR102031302B1 (ko)
CN (1) CN103703489B (ko)
WO (1) WO2012170445A2 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823499B2 (en) * 2012-11-14 2023-11-21 Golan Weiss Methods and systems for enrollment and authentication
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US20140267698A1 (en) * 2013-03-14 2014-09-18 Daniel Rivas Method and system for interactive mobile room design
US9659408B2 (en) * 2013-11-27 2017-05-23 Autodesk, Inc. Mesh reconstruction from heterogeneous sources of data
CA2948903C (en) * 2014-05-13 2020-09-22 Pcp Vr Inc. Method, system and apparatus for generation and playback of virtual reality multimedia
US9948911B2 (en) * 2014-09-05 2018-04-17 Qualcomm Incorporated Method and apparatus for efficient depth image transformation
CN105469447A (zh) * 2014-09-11 2016-04-06 富泰华工业（深圳）有限公司 点云边界直角边修补***及方法
US20160140761A1 (en) * 2014-11-19 2016-05-19 Microsoft Technology Licensing, Llc. Using depth information for drawing in augmented reality scenes
EP3161658B1 (en) * 2014-12-19 2019-03-20 SZ DJI Technology Co., Ltd. Optical-flow imaging system and method using ultrasonic depth sensing
USD778934S1 (en) * 2015-01-27 2017-02-14 Netent Product Services Limited Display screen or portion thereof with graphical user interface
USD780207S1 (en) * 2015-01-27 2017-02-28 Net Entertainment Malta Services Ltd. Display screen or portion thereof with graphical user interface
US10129447B2 (en) 2015-02-20 2018-11-13 Brigham Young University Mass digitization system
WO2017023210A1 (en) * 2015-08-06 2017-02-09 Heptagon Micro Optics Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene
US10716457B2 (en) 2015-10-14 2020-07-21 Siemens Aktiengesellschaft Method and system for calculating resected tissue volume from 2D/2.5D intraoperative image data
CA2948761A1 (en) * 2015-11-23 2017-05-23 Wal-Mart Stores, Inc. Virtual training system
US10248839B2 (en) * 2015-11-30 2019-04-02 Intel Corporation Locating objects within depth images
JP6743894B2 (ja) * 2016-08-10 2020-08-19 ソニー株式会社 画像処理装置および画像処理方法
US11069120B2 (en) * 2016-08-10 2021-07-20 Sony Corporation Image processing apparatus and image processing method
US10828560B2 (en) * 2016-09-30 2020-11-10 Sony Interactive Entertainment Inc. Systems and methods for stereoscopic vision with head mounted display
US10410406B2 (en) * 2017-02-27 2019-09-10 Trimble Ab Enhanced three-dimensional point cloud rendering
US10237532B2 (en) 2017-03-07 2019-03-19 Trimble Ab Scan colorization with an uncalibrated camera
CN107452032A (zh) * 2017-07-28 2017-12-08 电子科技大学 人体背部深度图像预处理方法
CN107481228B (zh) * 2017-07-28 2021-02-09 电子科技大学 基于计算机视觉的人体背部脊柱侧弯角度测量方法
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
CN109493376B (zh) * 2017-09-13 2022-02-22 腾讯科技（深圳）有限公司 图像处理方法和装置、存储介质及电子装置
CN107845073B (zh) * 2017-10-19 2020-02-14 华中科技大学 一种基于深度图的局部自适应三维点云去噪方法
US11173411B2 (en) * 2017-12-20 2021-11-16 Tee Turtle, LLC Dual body convertible toy with flexible bottom edge
US10786746B2 (en) 2017-12-20 2020-09-29 Tee Turtle, LLC Reversible toy
US10671862B2 (en) * 2018-01-30 2020-06-02 Wipro Limited Method and system for detecting obstacles by autonomous vehicles in real-time
CN108731615B (zh) * 2018-03-19 2020-12-25 苏州玻色智能科技有限公司 曲面玻璃面板的检测用设备及方法
US10380803B1 (en) * 2018-03-26 2019-08-13 Verizon Patent And Licensing Inc. Methods and systems for virtualizing a target object within a mixed reality presentation
KR102477031B1 (ko) 2018-04-20 2022-12-14 삼성전자주식회사 3차원 데이터를 프로세싱하기 위한 방법 및 장치
CN110412054B (zh) * 2018-04-28 2024-04-30 苏州玻色智能科技有限公司 一种玻璃面板检测设备及检测图像拼接方法
EP3573021B1 (de) * 2018-05-22 2020-07-08 Sick Ag Visualisieren von 3d-bilddaten
CN110634177A (zh) * 2018-06-21 2019-12-31 华为技术有限公司 一种物体建模运动方法、装置与设备
US10883823B2 (en) * 2018-10-18 2021-01-05 Cyberoptics Corporation Three-dimensional sensor with counterposed channels
CN109603155B (zh) * 2018-11-29 2019-12-27 网易（杭州）网络有限公司 合并贴图的获取方法、装置、存储介质、处理器及终端
CN111445370A (zh) * 2019-11-01 2020-07-24 泰州市海陵区一马商务信息咨询有限公司 多功能乘坐防卫报警***及方法
US20230119830A1 (en) * 2020-03-26 2023-04-20 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
KR102577135B1 (ko) * 2020-12-15 2023-09-12 광운대학교 산학협력단 시퀀스의 압축을 위한 스켈레톤 기반의 동적 포인트 클라우드 추정 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003345840A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法
US20040247176A1 (en) * 1999-06-30 2004-12-09 Aucsmith David W. Segmenting three-dimensional video images using stereo
JP2006214893A (ja) * 2005-02-04 2006-08-17 Iwate Univ 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking

Family Cites Families (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ko) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
CA2101633A1 (en) 1991-12-03 1993-06-04 Barry J. French Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
AU3283497A (en) 1996-05-08 1997-11-26 Real Vision Corporation Real time simulation using position sensing
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的***
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europe Ltd., Maidenhead Verfahren und System zur Erkennung von Handgesten
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP4012577B2 (ja) 1997-06-02 2007-11-21 デュアキシズ株式会社 バウンダリスキャン素子及びこれを用いた通信装置
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
WO1999019840A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. A system and method for generating an animatable character
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US7202898B1 (en) 1998-12-16 2007-04-10 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6721446B1 (en) * 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6542249B1 (en) 1999-07-20 2003-04-01 The University Of Western Ontario Three-dimensional measurement method and apparatus
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6750873B1 (en) 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
CA2327894A1 (en) 2000-12-07 2002-06-07 Clearview Geophysics Inc. Method and system for complete 3d object and area digitizing
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
EP1497160B2 (de) 2002-04-19 2010-07-21 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. Sicherheitsvorrichtung für ein fahrzeug
US7003136B1 (en) 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
EP1567988A1 (en) * 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7372977B2 (en) 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
CN1567384A (zh) 2003-06-27 2005-01-19 史中超 三维空间物体图像获取、数字化测量及重建方法和设备
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
JP2006098256A (ja) * 2004-09-30 2006-04-13 Ricoh Co Ltd ３次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
EP1851527A2 (en) 2005-01-07 2007-11-07 GestureTek, Inc. Creating 3d images of objects by illuminating with infrared patterns
HUE049974T2 (hu) 2005-01-07 2020-11-30 Qualcomm Inc Képeken lévõ objektumok észlelése és követése
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
CN101589354B (zh) 2005-05-17 2013-06-12 高通股份有限公司 方向敏感的信号输出
US7586489B2 (en) 2005-08-01 2009-09-08 Nvidia Corporation Method of generating surface defined by boundary of three-dimensional point cloud
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
DE102006005044B4 (de) 2006-02-03 2011-01-27 Metaio Gmbh Verfahren und System zur Bestimmung eines Datenmodells zur Überlagerung mit einem realen Objekt in einem Verfahren zur Objektverfolgung
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
EP2050067A1 (en) * 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
JP4387429B2 (ja) 2007-07-25 2009-12-16 株式会社スクウェア・エニックス 画像生成装置及び方法、並びにプログラム及び記録媒体
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
US20090315893A1 (en) 2008-06-18 2009-12-24 Microsoft Corporation User avatar available across computing applications and devices
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
US9245382B2 (en) 2008-10-04 2016-01-26 Microsoft Technology Licensing, Llc User-guided surface reconstruction
US8334893B2 (en) 2008-11-07 2012-12-18 Honeywell International Inc. Method and apparatus for combining range information with an optical image
IL196162A (en) * 2008-12-24 2013-02-28 Rafael Advanced Defense Sys A system that uses 3D models to enable image comparison regardless of the source of the images
CN101650834A (zh) 2009-07-16 2010-02-17 上海交通大学 复杂场景下人体表面三维重建方法
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
CN101989326B (zh) * 2009-07-31 2015-04-01 三星电子株式会社 人体姿态识别方法和装置
US8843857B2 (en) * 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9336625B2 (en) 2011-10-25 2016-05-10 Microsoft Technology Licensing, Llc Object refinement using many data sets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040247176A1 (en) * 1999-06-30 2004-12-09 Aucsmith David W. Segmenting three-dimensional video images using stereo
JP2003345840A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法
JP2006214893A (ja) * 2005-02-04 2006-08-17 Iwate Univ 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking

Also Published As

Publication number Publication date
US20120307010A1 (en) 2012-12-06
JP2014519132A (ja) 2014-08-07
WO2012170445A2 (en) 2012-12-13
EP2718897A4 (en) 2014-12-31
JP5985620B2 (ja) 2016-09-06
US20180225829A1 (en) 2018-08-09
WO2012170445A3 (en) 2013-04-25
KR102121707B1 (ko) 2020-06-10
KR20190118207A (ko) 2019-10-17
CN103703489A (zh) 2014-04-02
US9953426B2 (en) 2018-04-24
CN103703489B (zh) 2016-08-17
US10460445B2 (en) 2019-10-29
EP2718897B1 (en) 2018-12-05
KR20140043379A (ko) 2014-04-09
US9208571B2 (en) 2015-12-08
EP2718897A2 (en) 2014-04-16
US20150379719A1 (en) 2015-12-31

Similar Documents

Publication Publication Date Title
KR102031302B1 (ko) 오브젝트 디지타이제이션 기법
KR102060206B1 (ko) 가상 환경 내 오브젝트 컨트롤 기법
US9336625B2 (en) Object refinement using many data sets
US11348267B2 (en) Method and apparatus for generating a three-dimensional model
US7103211B1 (en) Method and apparatus for generating 3D face models from one camera
JP5036084B2 (ja) 映像処理装置、映像処理方法、及びプログラム
JP5015126B2 (ja) 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体
Dessein et al. Seamless texture stitching on a 3D mesh by poisson blending in patches
JP6272071B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN113706431B (zh) 模型优化方法及相关装置、电子设备和存储介质
Cushen et al. Markerless real-time garment retexturing from monocular 3d reconstruction
Pagés et al. Automatic system for virtual human reconstruction with 3D mesh multi-texturing and facial enhancement
Kawai et al. From image inpainting to diminished reality
Kalinkina et al. 3d reconstruction of a human face from images using morphological adaptation
Liu Improving forward mapping and disocclusion inpainting algorithms for depth-image-based rendering and geomatics applications
Sormann et al. High quality 3d reconstruction of complex cultural objects
JP2004054571A (ja) テクスチャマッピング方法および装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right