KR20130023244A - 고해상도의 텍스처 추출을 위한 패턴 투영 - Google Patents

고해상도의 텍스처 추출을 위한 패턴 투영 Download PDF

Info

Publication number
KR20130023244A
KR20130023244A KR1020127029384A KR20127029384A KR20130023244A KR 20130023244 A KR20130023244 A KR 20130023244A KR 1020127029384 A KR1020127029384 A KR 1020127029384A KR 20127029384 A KR20127029384 A KR 20127029384A KR 20130023244 A KR20130023244 A KR 20130023244A
Authority
KR
South Korea
Prior art keywords
pattern
textured portion
projected
texture
processor
Prior art date
Application number
KR1020127029384A
Other languages
English (en)
Other versions
KR101396370B1 (ko
Inventor
크룩릭 이제키엘
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20130023244A publication Critical patent/KR20130023244A/ko
Application granted granted Critical
Publication of KR101396370B1 publication Critical patent/KR101396370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

증강 현실(AR) 시스템에서의 카메라 기반 텍스처 추출은 투영된 패턴을 조작함으로써 향상된다. 하나 이상의 미세선 패턴이 텍스처링된 표면 상으로 투영되며, 무아레 간섭 패턴이 측정되며, 무아레 간섭 패턴 측정이 3차원 타겟이 그것과 유사한 텍스처 패턴이 투영되고 있음을 나타낼 때까지 투영된 패턴의 상이한 속성이 조정된다. 이에 따라, 타겟 텍스처는 서브픽셀 해상도, 변동하는 조명 조건 및/또는 복잡한 기하학적 요소에도 더 근접하게 매칭될 수 있다.

Description

고해상도의 텍스처 추출을 위한 패턴 투영{PROJECTING PATTERNS FOR HIGH RESOLUTION TEXTURE EXTRACTION}
여기에서 달리 언급하지 않으면, 본 섹션에서 기술된 내용은 본 출원에서의 청구항의 선행 기술이 아니며 본 섹션에 포함한 것에 의해 선행 기술로서 인정된 것이 아니다.
외관 검사(visual inspection)에서 무인 운행(autonomous navigation)에 이르는 범위의 다양한 어플리케이션은 이미지(image)에서 객체를 인식하고 3차원 장면에서 그 포즈(pose)를 연산한다. 많은 그러한 어플리케이션은 정확한 검출을 위하여 객체(object)의 미리 저장된 모델을 사용한다. 객체가 사전 정보 없이 검출될 것이라면, 태스크(task)는 더 복잡하게 된다. 텍스처링된 표면(textured surface)이 있는 객체는 보다 더 복잡한 객체 인식의 태스크를 제공한다.
증강 현실(augmented reality(AR))은, 그 요소가 보통 컴퓨터로 생성되는 가상의 이미지에 의해 증강되어 이에 따라 합성 현실(mixed reality)을 생성하는, 물리적 (현실) 세계 환경의 뷰(view)를 가리킨다. 증강은 일반적으로 실시간일 수 있으며 스포츠 이벤트, 훈련 연습, 게임 등과 같은 환경 요소와 관련될 수 있다. AR 기술은 사람의 둘러싸인 현실 세계에 대한 정보가 객체 인식 및 이미지 생성을 추가함으로써 상호 작용적이고 디지털로 이용 가능하게 되는 것을 가능하게 한다. 환경 및 객체에 대한 인공 정보는 저장될 수 있고 현실 세계 뷰 계층과는 별개로 정보 계층으로서 검색될 수 있다.
텍스처 추출은 AR에 대하여 사용되어 보다 사실적인 현실 세계 객체의 인식 또는 통합을 허용할 수 있다. 텍스처 추출을 위하여, 간혹 투영된 패턴이 객체의 3차원 형태를 결정하도록 사용된다. 이러한 패턴은 종종 "구조형 광(structured light)"으로 지칭되며 얼굴, 주물(casting) 등과 같은 객체 상의 피처(feature)의 3차원 형태를 추출하는 것을 도울 수 있다. 종래의 시스템은 보통 임의의 투영된 이미지를 끄거나 아니면 빼내어, 간혹 텍스처 처리 전에 완전한 3차원 그리드(grid)를 제거(또는 취소)한다. 텍스처는 이후 투영된 패턴이 없는 것처럼 대상(subject)의 이미지에서의 픽셀에 대한 공간/주파수 분석에 의해 계산된다.
본 개시는 AR 시스템에서의 텍스처 추출로는 많은 제한이 있다는 것을 인정한다. 예컨대, 검출 장치(예컨대, 카메라)의 해상도 능력 아래의 텍스처는 종래의 기법을 이용하여 추출되지 않을 수 있다.
본 개시는 고해상도의 텍스처 추출을 할 수 있는 증강 현실(AR) 장면 캡쳐 시스템을 기술한다. 일부 예시에 따르면, 시스템은 캡쳐될 3차원 대상 상에 하나 이상의 미세선 패턴(fine-lined pattern)을 투영하기 위한 프로젝터(projector), 투영된 패턴으로 대상의 이미지를 캡쳐하기 위한 카메라 및 프로세서를 포함할 수 있다. 프로세서는 대상의 텍스처링된 부분을 결정하고, 대상의 텍스처링된 부분 상에서의 로컬 무아레 패턴 피치(local Moire pattern pitch)를 기록하며, 투영된 패턴이 대상의 텍스처링된 부분과 실질적으로 매칭하도록 투영된 패턴의 하나 이상의 속성을 조정할 수 있다.
본 개시는 또한 증강 현실(AR) 장면 캡쳐 시스템에서 고해상도의 텍스처 추출을 위한 방법을 제공한다. 일부 예시에 따르면, 방법은 캡쳐될 3차원 대상의 텍스처링된 부분을 결정하는 단계, 대상의 텍스처링된 부분에 대한 3차원 형태를 추출하는 단계 및 대상의 텍스처링된 부분 상에 두 개의 미세선 패턴을 투영하는 단계를 포함할 수 있다. 다른 예시에 따르면, 방법은 대상의 텍스처링된 부분 상에 로컬 무아레 패턴 이미지를 기록하는 단계, 기록된 이미지에서 명확한 피치를 가지는 두 개 이상의 무아레 패턴을 선택하는 단계 및 패턴 각(pattern angle) 및 공간 주파수(spatial frequency)를 결정하는 단계를 더 포함할 수 있다.
본 개시는 또한 증강 현실(AR) 장면 캡쳐 시스템에서 고해상도의 텍스처 추출을 위한 명령이 저장된 컴퓨터 판독 가능 저장 매체를 기술한다. 일부 예시에 따르면, 명령은 캡쳐될 3차원 대상의 텍스처링된 부분을 결정하는 것, 대상의 텍스처링된 부분에 대한 3차원 형태를 추출하는 것, 대상의 텍스처링된 부분 상에 두 개의 미세선 패턴을 투영하는 것, 대상의 텍스처링된 부분 상에서의 로컬 무아레 패턴 이미지를 기록하는 것 및 기록된 이미지에서 명확한 피치를 가지는 두 개 이상의 무아레 패턴을 선택하는 것을 포함할 수 있다. 다른 예시에 따르면, 명령은 패턴 각 및 공간 주파수를 결정하는 것, 투영된 두 개의 미세선 패턴을 서로에 대하여 회전시키는 것 및 미리 정의된 패턴 사항이 달성될 때까지 더 미세하게 대상의 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 반복적으로 생성하고 각 반복에서 새로운 패턴 각 및 공간 주파수를 결정하는 것을 더 포함할 수 있다.
전술한 요약은 예시적인 것일 뿐이고, 어떤 방식으로든 제한을 의도한 것은 아니다. 상술한 예시적인 태양, 실시예 및 특징들에 더하여, 추가의 태양, 실시예 및 특징들은 도면과 이하의 상세한 설명을 참조함으로써 분명하게 될 것이다.
본 개시의 전술한 특징들 및 기타 특징들은, 첨부 도면을 참조하여 이하의 설명 및 첨부된 청구항으로부터 충분히 분명해질 것이다. 이러한 도면들은 본 개시에 따르는 단지 몇 가지의 실시예만을 도시한 것이고, 따라서 그 범위를 제한하는 것으로 간주되어서는 안되며, 본 개시는 첨부된 도면의 사용을 통하여, 더 구체적이고 상세하게 기술될 것이다.
도 1은 투영된 패턴이 고해상도의 텍스처 추출을 위하여 사용될 수 있는, 예시적인 증강 현실(AR) 시스템을 도시하고;
도 2는 고해상도의 텍스처 추출을 위한 예시적인 패턴 투영 및 캡쳐 시스템을 도시하고;
도 3은 고해상도의 텍스처 추출을 위한 다른 예시적인 패턴 투영 및 캡쳐 시스템을 도시하고;
도 4는 카메라의 해상도 아래의 패턴이 각에서 유사한 선의 두 세트를 사용하고 선 세트를 회전시켜 어떻게 식별될 수 있는지 도시하고;
도 5는 평행하고 등거리인 선의 두 개의 겹쳐놓은 패턴을 사용하는 고해상도의 텍스처 추출을 위한 기하학적인 접근법을 도시하고;
도 6은 투영된 패턴을 사용하여 고해상도의 텍스처 정보를 추출하는데 사용될 수 있는 범용 컴퓨팅 장치를 도시하고;
도 7은 투영된 패턴을 사용하여 고해상도의 텍스처 정보를 추출하는데 사용될 수 있는 프로세서를 도시하고;
도 8은 도 6에서의 컴퓨터(600) 또는 도 7에서의 특수 목적 프로세서(710)와 같은 컴퓨팅 장치에 의하여 수행될 수 있는 텍스처 추출을 위한 예시적인 방법을 도시하는 흐름도이고;
도 9는 예시적인 컴퓨터 프로그램 제품의 블록도를 도시하며,
모두 여기에서 기술된 적어도 일부의 실시예에 따라 배열된다.
이하의 상세한 설명에서, 여기의 일부를 구성하는 첨부 도면에 대한 참조가 이루어진다. 도면에서, 유사한 부호는, 문맥에서 다른 지시가 없다면, 일반적으로 유사한 구성요소를 식별한다. 상세한 설명, 도면, 및 청구항에서 기술된 실시예들은 제한하는 것으로 의미되지 않는다. 여기에 제시된 대상의 범위와 사상을 벗어나지 않고, 다른 실시예가 이용될 수 있고, 다른 변형이 이루어질 수 있다. 여기에서 일반적으로 기술되고 도면에서 도시된 바와 같은 본 개시의 태양들이 다양한 다른 구성으로 배열, 대체, 조합, 분리, 및 설계될 수 있음과, 이 모두가 여기에서 명확히 고려됨이 쉽게 이해될 것이다.
본 개시는 일반적으로, 그 중에서도 특히, 투영된 패턴의 조작을 통하여 증강 현실에 대한 텍스처 추출을 강화하는 것과 관련된 방법, 기기, 시스템, 장치, 및/또는 컴퓨터 프로그램 제품에 관련된다.
간단히 말하자면, AR 시스템에서 카메라 기반의 텍스처 추출은 투영된 패턴을 조작함으로써 강화될 수 있다. 일부 예시에 따르면, 미세선 패턴이 투영될 수 있고, 무아레 간섭 패턴이 측정될 수 있으며, 무아레 간섭 패턴 측정이 3차원 타겟(target)의 그것과 유사한 텍스처 패턴이 투영되고 있다는 것을 나타낼 때까지 투영된 패턴의 상이한 속성이 조정될 수 있다. 이에 따라, 타겟 텍스처는 서브픽셀 해상도(sub-pixel resolution)에서도 더 근접하게 매칭될 수 있다.
도 1은 여기에서 기술된 적어도 일부의 실시예에 따라 배열된, 투영된 패턴이 고해상도의 텍스처 추출을 위하여 사용될 수 있는 예시적인 증강 현실(AR) 시스템을 도시한다. AR은 실시간 비디오 스트림(live video stream)에서 컴퓨터 생성 이미지의 어플리케이션을 탐색(explore)하여 현실 세계 프레젠테이션(real world presentation)을 확장한다. 본 개시에 따라 배열된 예시적인 AR 시스템은 다수의 센서 및 작동기(actuator)를 포함하는 제어 환경에 있을 수 있고, 현실 이미지 및 컴퓨터 생성 이미지를 처리하도록 구성된 하나 이상의 컴퓨팅 장치를 포함할 수 있으며, 헤드 마운트 디스플레이(head-mounted display), 가상 망막 디스플레이(virtual retinal display), 모니터 또는 유사한 보통의 디스플레이 및 비슷한 장치와 같은 시각화 시스템(visualization system)을 포함할 수 있다.
예시적인 AR 시스템(100)은 현실 장면(객체)(102)의 실시간 이미지를 캡쳐하기 위한 이미지 센서(104-1) 및 객체의 위치 및/또는 동작을 추적하기 위한 추적 센서(140-2)를 포함한다. 이미지 센서(104-1)는 디지털 카메라, 웹캠 또는 일부 기타의 이미지 캡쳐 장치일 수 있다. 추적 센서(104-2)는 수동 감지 네트워크에 배열된 다수의 수신 장치를 포함하여 네트워크의 주파수, 대역폭, 및 공간 다이버시티를 통하여 추적 성능을 향상시킬 수 있다. 수신 장치(예컨대, 하나 이상의 RF 수신기)는 통신탑(예컨대, 셀룰러 전화 통신탑) 또는 통신 기지국과 같은 근처의 신호 공급원으로부터의 통신 신호(예컨대, RF 신호와 같은 전자기파)를 활용하도록 구성될 수 있다. 추적 센서(104-2)는 상이한 위치에 배치될 수 있으며, 집중 컴퓨팅 시스템이나 분산 컴퓨팅 시스템과 통신하도록 결합되어 협력 네트워크(collaborative network)를 형성할 수 있다.
캡쳐된 이미지는, 디지털 이미지로의 이미지의 디지털화, 디지털 이미지의 수신 및/또는 디지털 이미지의 처리 중 하나 이상을 수행하도록 구성될 수 있는 이미지 처리 서브 시스템(106)에 제공될 수 있다. 디지털 이미지의 처리는 이미지에서 피처점(feature point)의 위치를 결정, 아핀 투영(affine projection)의 연산, 가장자리(edge)의 추적, 필터링 및/또는 유사한 동작 중 하나 이상을 포함할 수 있다. 이미지 처리 서브 시스템(106)은 상기 기술된 동작의 결과 중 하나 이상과 같은 투영 정보를 현실 엔진(reality engine)(110)에 제공하도록 구성될 수 있다. 추적 센서(104-2)는 현실 장면(102)에서 관심 객체와 연관된 위치 및/또는 동작 정보를 현실 엔진(110)에 제공하도록 구성될 수 있다. 현실 엔진(110)은 추적 센서(104-2)로부터의 위치 정보 및/또는 동작 정보를 포함하는 캡쳐된 이미지에 기초하여 장면을 렌더링하기 위하여 그래픽 프로세스를 실행하도록 구성될 수 있다.
이미지 생성기(108)는 이미지 센서(104-1)로부터의 참조 이미지 및 가상의 객체와 연관된 이미지 데이터를 수신하도록 구성될 수 있으며, 가상의 객체와 연관된 이미지 데이터를 캡쳐된 실제 장면 이미지에 덮어씌워(overlay) 증강된 장면(114)을 제공하도록 구성될 수 있다. 디스플레이(112)는 AR 시스템(100)에서 활용될 수 있는 시각화 메커니즘의 일 예시이다. 프로젝터, 착용 가능한 디스플레이(wearable display) 등과 같은 다수의 기타 디스플레이 유형이 또한 AR 이미지를 사용자에게 제공하는데 사용될 수 있다.
이미지 처리 서브 시스템(106), 현실 엔진(110), 이미지 생성기(108) 및/또는 디스플레이(112)와 같은 AR 시스템(100)의 컴포넌트(component) 중 적어도 일부에 대한 처리는 하나 이상의 컴퓨팅 장치 상에서 별개의 어플리케이션, 하나 이상의 통합 어플리케이션, 하나 이상의 중앙 집중 서비스 또는 하나 이상의 분산 서비스에 의해 수행될 수 있다. 각각의 컴퓨팅 장치는 독립형 컴퓨터, 네트워크 컴퓨터 시스템, 범용 처리 유닛(예컨대, 마이크로 프로세서, 마이크로 컨트롤러, 디지털 신호 프로세서 또는 DSP 등) 또는 특수 목적 처리 유닛일 수 있는 범용 컴퓨팅 장치 또는 특수 목적 컴퓨팅 장치 중 하나일 수 있다. 상이한 컴퓨팅 장치에서 실행되면, AR 시스템(100)의 다양한 컴포넌트는 하나 이상의 네트워크를 통하여 통신하도록 구성될 수 있다.
도 2는 여기에서 기술된 적어도 일부의 실시예에 따라 배열된 고해상도 텍스처 추출을 위한 예시적인 패턴 투영 및 캡쳐 시스템을 도시한다. 다이어그램(200)에서 도시되는 바와 같이, 3차원 피처 추출 시스템은 보통, 카메라(226), 프로젝터(224) 및 이미지 처리 기능(패턴 인식 프로그램(228))을 포함한다.
적어도 일부 실시예에 따른 시스템은 패턴을 객체(220)의 미세한 텍스처링된 표면(222) 상에 투영하여 투영된 패턴을 조작함으로써 텍스처의 가시성(visibility)을 향상시키도록 이러한 컴포넌트를 사용할 수 있다. 프로젝터(224)는 미세선 패턴을 텍스처링된 표면(222) 상으로 투영할 수 있다. 카메라(226)는 투영된 패턴이 있는 텍스처링된 표면(222)의 이미지를 캡쳐할 수 있다. 패턴 인식 프로그램(228)은 무아레 간섭 패턴을 측정하고 무아레 간섭 패턴 측정이 3차원 타겟(객체(220))의 그것과 유사한 텍스처 패턴이 투영되고 있다는 것을 나타낼 때까지 투영된 패턴의 상이한 속성을 조정할 수 있다.
적어도 일부의 실시예에 따르면, 모바일 장치 또는 유사한 메커니즘이 배향각, 투영된 선의 폭, 3차원 피처 또는 표면 배색에 대한 보상 및 유사한 것과 같은 투영된 패턴의 피처를 조정하기 위해서 프로젝터(224)를 이동시키는데 활용될 수 있다. 무아레 간섭 패턴 이미지에서의 결과적인 변화는 서브픽셀 텍스처 패턴의 배향 및 피치를 추출하여 획득된 텍스처 정보를 향상시키도록 사용될 수 있다. 또한, 패턴을 수정함으로써, 공간적으로 변동하는 텍스처가 순차적으로 추출될 수 있다. 하위 해상도의 패턴을 넘어서, 실시예에 따른 시스템은 또한 가변 조명 조건 또는 복잡한 기하학적 구조 하에서 텍스처를 분석하도록 사용될 수 있다. 일부 예시적인 실시예에서, 프로젝터(224) 및 카메라(226)는 다이어그램(200)에서 도시된 바와 같이 동일한 플랫폼(예컨대, 휴대용 장치, 차량 장착 장치 등)에 집적 또는 설치될 수 있다.
도 3은 여기에서 기술된 적어도 일부의 실시예에 따라 배열된 고해상도 텍스처 추출을 위한 다른 예시적인 패턴 투영 및 캡쳐 시스템을 도시한다. 다이어그램(300)에서 도시된 AR 환경에 대한 고해상도 텍스처 추출을 위한 시스템의 주요 컴포넌트는 도 2의 다이어그램(200)에서 유사하게 번호 매겨진 컴포넌트와 유사하게 구성되고 마찬가지의 태스크를 수행할 수 있다. 도 2와는 다르게, 프로젝터(324) 및 카메라(326)은 다이어그램(300)의 시스템에서 독립적이다. 따라서, 카메라(326)는 고정된 관점(perspective)으로부터 텍스처링된 표면(222)의 이미지를 캡쳐하는 한편, 프로젝터(324)는 선의 배향과 같은 투영된 패턴의 속성을 조정하도록 이동될 수 있다. 패턴 인식 프로그램(328)은 일부 예시적인 구현예에 따라 프로젝터(324)의 이동을 자동적으로 제어할 수 있다.
실시예에 따른 시스템에 의한 텍스처 추출은 3차원 피처 연산으로부터 3차원 텍스처의 대강의 추정을 추출하는 것으로 시작할 수 있다. 다른 예시에 따르면, 표면은 비교적 평면으로 가정될 수 있다. 대안적으로, 마치 표면이 거의 평면인 것처럼 연산이 카메라 관점에서 수행될 수 있도록 투영이 3차원적으로 정정될 수 있다.
텍스처와는 상이한 피치가 있는 선의 투영은 서브픽셀 해상도일 수 있는 고주파수의 시각 컴포넌트 및 두 개의 패턴의 공간 주파수 차의 절반의 공간 주파수에서의 저주파수의 시각 컴포넌트를 발생시킨다. 예컨대, 코듀로이(corduroy) 직물 표면이 약 2mm의 피치(약 5cm-1의 공간 주파수)를 가지고 투영된 패턴이 약 3mm의 피치(약 3.3cm-1의 공간 주파수)인 선을 가지면, 정렬된 상태에서의 가상 패턴은 카메라로 보기에 더 쉬운 크기인 약 0.85cm-1 또는 약 1.17cm 피치에서 나타날 수 있다. 이러한 가상 패턴은 이후 진정한 텍스처 피치 및 각도가 추출될 수 있도록 미지수(unknown)보다 더 많은 식을 제공하는 방식으로 회전(rotation)에 따라 변경될 수 있다.
도 4는 여기에서 기술된 적어도 일부의 실시예에 따라 배열된, 소재의 텍스처에 더하여 각이 유사한 선의 두 세트 또는 한 세트의 선을 사용하고 선 세트를 회전시켜 카메라의 해상도 아래의 패턴이 어떻게 식별되는지를 도시한다. 보통의 무아레 패턴은 대략적으로 픽셀의 폭에서 평행 선의 배열로 만들어진다. 패턴은 서브픽셀 레벨에서 텍스처 요소와 상호 작용하여, 무아레 간섭 패턴을 생성한다. (이동 및 회전 양자에서) 패턴을 기울임(tilting)으로써, 하위 해상도 텍스처의 형태, 피치 및/또는 정렬이 결정될 수 있다.
다이어그램(400)은 평행 선의 투영된 제1 패턴(430)이 객체 텍스처 상에서의 패턴과 비교되는 제2 패턴(432)으로 회전되어 텍스처 추출을 향상시키는 예시를 포함한다. 양 패턴은 선 사이의 거리 p를 가진다. 제2 패턴(432)은 각 α만큼 회전된다. 멀리서는 어두운 선(435) 및 옅은 선(434)이 보일 수 있다. 옅은 선(434)은 노드의 선, 즉, 두 개의 패턴(430, 432)의 교차점을 통과하는 선에 해당한다. 교차하는 패턴에 의해 형성되는 "망(net)"의 각 셀(cell)(440)이 d = p/sin α인 4개의 변을 가지는 평행 사변형이면, 각각의 셀은 빗변 d 및 각 α에 대향하는 변 p를 가지는 직각 삼각형을 포함한다. 이러한 유형의 패턴 생성이 변동하는 피치의 효과에 더해진다는 점과 두 접근법이 이하에서 논의되는 바와 같이 더 작은 패턴을 드러내는 패턴을 생성하는데 함께 사용될 수 있다는 점이 주목되어야 한다.
각에서 유사한 선의 세트는 각각의 패턴보다 더 큰 피처가 있는 가상 패턴을 생성한다. 하나의 패턴이 표면 텍스처이고 다른 것이 투영된 패턴이면, 투영은 카메라의 해상도 아래일 수 있는 패턴의 식별을 가능하게 한다. 가상 패턴은 진정한 표면 패턴이 추출될 수 있도록 투영의 회전 중에 변동한다. 진정한 표면 패턴이 직선으로 형성되지 않으면, 패턴은 상이한 시간에 상이한 영역에서 변할 수 있으며 이는 각각의 영역에서 패턴의 배향 및 피치를 추출하는데 사용될 수 있다.
옅은 선(434)은 마름모의 작은 대각선에 해당한다. 대각선이 이웃하는 변의 이등분선이므로, 옅은 선은 각각의 패턴의 선의 수직선과 α/2의 각을 가진다. 또한, 두 개의 옅은 선 사이의 간격은 D이고 이는 큰 대각선의 절반이다. 큰 대각선 2D는 직각 삼각형의 빗변이며 직각의 변은 d(1+cosα) 및 p이다. 피타고라스의 정리를 이용하면,
Figure pct00001
이며, 이는
Figure pct00002
로 변환될 수 있다. α가 매우 작으면(α<p/6), 두 개의 근사식 sinα≒α 및 cosα≒ 1이 만들어질 수 있다. 따라서,
Figure pct00003
이며, 여기서 α는 라디안(radian)이다.
α가 작아질수록(패턴이 덜 회전할수록), 옅은 선(434)은 더 멀리 떨어지게 된다. 두 패턴(430 및 432)이 평행하면(즉, α = 0), 옅은 선 사이의 간격은 무한대가 된다(즉, 옅은 선이 없음). 텍스처 보다 낮은 해상도를 갖는 카메라는 실제 텍스처 및 무아레 패턴이 분리할 수 없는 회색일 수 있음에도 인식할 선들(어두운 선 및 밝은 선)을 가질 수 있다. α는 옅은 선(434)의 배향에 의하는 기법과 그 간격(α=p/D)에 의하는 기법의 두 개의 상이한 기법을 이용하여 결정될 수 있다.
각이 측정되면, 최종 오차는 측정 오차에 비례할 수 있다. 간격이 측정되면, 최종 오차는 간격의 역수에 비례할 수 있다. 따라서, 더 작은 각에 대하여, 간격을 측정하는 것이 더 정확한 결과를 얻을 수 있다. 또한, 가상의 패턴의 다수 세트는 투영된 선의 각 및/또는 주파수를 변동함으로써 획득될 수 있다. 상기 논의된 바와 같이, 높은 주파수의 가상 패턴 및 낮은 주파수의 가상 패턴이 존재하므로, 기저의 텍스처 크기를 확실히 추출하기 위해 두 개의 패턴이 요구된다.
도 5는 여기에서 기술된 적어도 일부 실시예에 따라 배열된 평행하고 등거리인 선의 두 개의 겹쳐진 패턴을 사용하는 고해상도의 텍스처 추출에 대한 기하학적인 접근을 도시한다. 일부 실시예에 따르면, 기하학적인 접근은 텍스처 추출에 사용될 수 있다. 다이어그램(500)은 평행하고 등거리인 선으로 형성된 두 개의 패턴(542 및 544)을 도시한다. 제1 패턴(544)의 선은 p만큼 분리되고 제2 패턴(542)의 선은 p + δp만큼 분리되며, 여기에서 δ는 0과 1 사이의 값을 갖는다.
패턴의 선이 도면의 좌측 부분에서 겹쳐지면, 선 간의 시프트(shift)는 오른쪽으로 가면서 증가한다. 얼마간의 선 이후에, 패턴은 대비(opposed)된다(즉, 제2 패턴(542)의 선이 제1 패턴(544)의 선 사이에 있음). 더 멀리에서는, 옅은 구역은 선이 겹치면 보이게 되고(선 사이의 하얀 영역), 어두운 구역은 선이 "대비"되면 보이게 된다. 제2 패턴(542)의 n번째 선은 제1 패턴의 n번째 선에 대하여 n*δp만큼 시프트된다. 첫번째 어두운 구역의 중간은 다음에 해당한다.
Figure pct00004
여기에서 n은 다음과 같이 표현될 수 있다.
Figure pct00005
옅은 구역과 어두운 구역의 중간 사이의 거리 d는 이후 다음과 같이 표현될 수 있다.
Figure pct00006
따라서, 두 개의 어두운 구역의 중간 사이의 거리는, 또한 두 개의 옅은 구역 사이의 거리와 마찬가지이며, 이는 다음과 같이 표현될 수 있다.
Figure pct00007
수학식 7에서, 선간의 분리가 커질수록 옅은 구역과 어두운 구역 사이의 거리가 커지고, 차이 δp가 커질수록 어두운 구역 및 옅은 구역이 가까워진다는 것을 추론할 수 있다. 어두운 구역 및 옅은 구역 사이의 큰 간격은 패턴이 매우 가까운 선 거리를 가진다는 것을 의미한다. p=p/2이면, 콘트라스트(contrast)가 없는 균일한 회색 그림이 얻어진다.
다른 실시예에 따르면, 간섭 측정(interferometric) 접근법이 사용될 수 있다. 간섭 측정 접근법을 위하여, 사인 법칙(sinusoidal law)에 따라 변동하는 콘트라스트 I를 가지는 두 개의 투명한 패턴이 고려될 수 있다.
Figure pct00008
Figure pct00009
여기서, 패턴의 선 간의 거리는 각각 p1=1/k1 및 p2=1/k2이다. 패턴이 겹치면, 결과적인 강도(또는 간섭)는 다음과 같이 표현될 수 있다.
Figure pct00010
오일러의 공식을 이용하면, 간섭은 다음과 같이 표현될 수 있다.
Figure pct00011
결과적인 강도는 두 개의 패턴의 공간 주파수의 평균인, 높은 "공간 주파수"(파수)의 사인 곡선, 및 두 개의 패턴의 공간 주파수의 차의 절반인, 낮은 공간 주파수의 사인 곡선을 포함한다. 두번째 컴포넌트는 첫번째 사인 곡선에 대한 "포락선(envelope)"이다. 이러한 컴포넌트의 파장은 공간 주파수의 역수이다.
Figure pct00012
p1 및 p2가 p1=p 및 p2=p+δp로서 δp 형태로 쓰이면, 파장은 다음과 같이 표현될 수 있다.
Figure pct00013
이러한 포락선의 영점 사이의 거리는 l/2만큼 떨어져 있고, 진폭의 최대는 또한 l/2만큼 떨어져 있다. 따라서, 기하학적인 접근법과 동일한 결과가 p/2의 차이로 얻어질 수 있으며, 이는 첫번째 패턴 또는 두번째 패턴으로 간주되는 참조와 연관된 불확실성이다. 차이는 δp<<p이면 무시할 수 있게 된다. 따라서, 각 데이터는 세 개의 상이한 접근법에 대하여 반드시 요구되지는 않는다(예컨대, 타겟은 수직선을 가지는 것으로 알려짐). 투영된 이미지는 패턴 중 하나로서 사용될 수 있다.
도 6은 여기에서 기술된 적어도 일부 실시예에 따라 배열된 투영된 패턴을 사용하는 고해상도 텍스처 정보를 추출하는데 사용될 수 있는 범용 컴퓨팅 장치를 도시한다.
컴퓨터(600)는 프로세서(610), 메모리(620) 및 하나 이상의 드라이브(drive)(630)를 포함한다. 드라이브(630) 및 이동식 저장 매체(634)(예컨대, CD-ROM, DVD-ROM) 및 고정식 저장 매체(632)(예컨대, 하드 디스크 드라이브)와 같은 그 연관된 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령, 데이터 구조, 프로그램 모듈 및 컴퓨터(600)에 대한 기타 데이터의 저장 공간을 제공할 수 있다. 드라이브(630)는 운영 체제(640), 응용 프로그램(650), 프로그램 모듈(660) 및 데이터베이스(680)를 포함할 수 있다. 컴퓨터(600)는 사용자 입력 장치(690)를 더 포함할 수 있고 이를 통하여 사용자가 명령 및 데이터를 입력할 수 있다. 입력 장치(690)는 전자 디지털화 장치(electronic digitizer), 마이크(696), 키보드(694) 및 마우스 장치(692), 트랙볼 장치 또는 터치 패드 장치와 같은 포인팅 장치를 포함할 수 있다. 기타의 입력 장치는 조이스틱 장치, 게임 패드 장치, 위성 안테나, 스캐너 장치 등을 포함할 수 있다.
응용 프로그램(650)은 투영 어플리케이션(652) 및 패턴 인식 어플리케이션(654)을 포함할 수 있다. 투영 어플리케이션(652)은 텍스처링된 표면 상에 패턴 세트의 투영을 생성, 수정 및/또는 제어하여 AR 어플리케이션에서 3차원 객체로부터 텍스처를 추출할 수 있다. 패턴 인식 어플리케이션(654)은 캡쳐된 이미지를 처리하고, 무아레 간섭 패턴을 연산하고 패턴을 조정하고 획득된 정보를 반복적으로 향상시키기 위해 투영 어플리케이션(652)에 피드백(feedback)을 제공할 수 있다.
상기 기술된 장치와 기타의 입력 장치는 시스템 버스(605)에 결합된 사용자 입력 인터페이스를 통하여 프로세서(610)에 결합될 수 있으나, 병렬 포트, 게임 포트 또는 범용 직렬 버스(universal serial bus(USB))와 같은 기타의 인터페이스 및 버스 구조에 의해 결합될 수 있다. 컴퓨터(600)와 같은 컴퓨터는 또한 출력 주변 인터페이스(670) 등을 통하여 결합될 수 있는 스피커(676), 프린터(674), 디스플레이(672) 및 통신 모듈(678)과 같은 기타 주변 출력 장치를 포함할 수 있다. 통신 모듈(678)은 프로젝터 및/또는 프로젝터를 제어하는 모바일 플랫폼과 통신하도록 사용되어 투영된 패턴의 상이한 속성을 조정할 수 있다.
메모리(620), 이동식 저장 장치(634) 및 고정식 저장 장치(632)는 컴퓨터 저장 매체의 예시이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타의 메모리 기술, CD-ROM, 디지털 다기능 디스크(digital versatile disk(DVD)) 또는 기타 광학 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 희망하는 정보를 저장하는데 사용될 수 있고 컴퓨터(600)에 의하여 접속될 수 있는 임의의 기타 매체를 포함하지만, 이에 제한되지는 않는다. 임의의 그러한 컴퓨터 저장 매체는 컴퓨터(600)의 일부일 수 있다.
컴퓨터(600)는 네트워크 인터페이스(606)에 연결된 원격 컴퓨터와 같은 하나 이상의 컴퓨터로의 논리적 연결을 이용하는 네트워크 환경에서 동작할 수 있다. 원격 컴퓨터는 개인용 컴퓨터, 서버, 라우터(router), 네트워크 PC, 피어 장치(peer device) 또는 기타 공통의 네트워크 노드일 수 있으며, 컴퓨터(600)에 관련하여 상기 기술된 요소 중 다수 또는 전부를 포함할 수 있다. 네트워크 환경은 사무실, 기업의 광역 통신망(WAN), 근거리 통신망(LAN), 인트라넷 및 인터넷과 같은 전세계 네트워크에서 흔하다. 예컨대, 본 출원의 대상에서, 컴퓨터(600)는 데이터가 이로부터 자동 드릴 시스템, 에칭 시스템 등과 같은 다중층 회로 보드 제조 시스템으로 이동될 수 있는 컨트롤러 머신을 포함할 수 있으며, 원격 컴퓨터는 시스템의 컨트롤러를 포함할 수 있다. 그러나, 소스 및 목적 머신이 네트워크(들)(608)나 임의의 기타 수단에 의해 함께 결합될 필요는 없지만, 대신, 데이터는 소스 플랫폼에 의해 쓰여지고 목적 플랫폼(들)에 의해 읽힐 수 있는 임의의 매체를 통하여 이동될 수 있다. LAN 또는 WLAN 네트워크 환경에서 사용되는 경우, 컴퓨터(600)는 네트워크 인터페이스(606) 또는 어댑터(adapter)를 통하여 LAN에 결합될 수 있다.
네트워크(들)가 서버, 클라이언트, 스위치, 라우터, 모뎀, 인터넷 서비스 제공자(ISP) 및 임의의 적절한 통신 매체(예컨대, 유선 또는 무선 통신)를 사용하는 임의의 토폴로지(topology)를 포함할 수 있다. 일부 실시예에 따른 시스템은 정적 네트워크 토폴로지 또는 동적 네트워크 토폴로지를 가질 수 있다. 네트워크(들)는 기업 네트워크(예컨대, LAN, WAN 또는 WLAN)와 같은 보안 네트워크, 무선 개방형 네트워크(예컨대, IEEE 802.11 무선 네트워크)와 같은 비보안 네트워크 또는 (예컨대, 인터넷과 같은) 전세계 네트워크를 포함할 수 있다. 네트워크(들)는 또한 함께 동작하도록 구성된 복수의 별개의 네트워크를 포함할 수 있다. 네트워크(들)는 여기에서 기술된 노드 사이에서의 통신을 제공하도록 구성된다. 예시로서, 네트워크(들)는 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있으나, 이에 제한되지 않는다.
네트워크 통신 링크는 통신 매체의 일 예시일 수 있다. 통신 매체는 보통 컴퓨터 판독 가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 기타 전송 메커니즘과 같은 변조된 데이터 신호에서의 기타 데이터에 의해 구현될 수 있으며, 임의의 정보 전달 매체를 포함할 수 있다. "변조된 데이터 신호"는 신호에서 정보를 인코딩하는 것과 마찬가지의 방식으로 설정 또는 변환된 그 특징 중 하나 이상을 가지는 신호일 수 있다. 예시로서, 통신 매체는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 매체 및 음향, 라디오 주파수(radio frequency(RF)), 마이크로파, 적외선(IR) 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있다. 여기에서 사용된 바와 같은 컴퓨터 판독 가능 매체라는 용어는 저장 매체 및 통신 매체 양자를 포함할 수 있으나, 이에 제한되지 않는다.
컴퓨터(600)는 상기 기능 중 임의의 것을 포함하는 휴대용 컴퓨팅 장치, 모바일 컴퓨팅 장치, 어플리케이션 전용 장치 또는 융합 장치와 같은 소형 폼팩터 휴대용(또는 모바일) 전자 장치의 부분으로서 구현될 수 있다. 컴퓨터(600)는 또한 랩탑 컴퓨터 및 랩탑이 아닌 컴퓨터 구성 양자를 포함하는 개인용 컴퓨터로서 구현될 수 있다. 또한, 컴퓨터(600)는 네트워크 시스템으로서 구현될 수 있거나 범용 서버 또는 특수 서버 중 일부로서 구현될 수 있다.
도 7은 여기에서 기술된 적어도 일부 실시예에 따라 배열된, 투영된 패턴을 사용하여 고해상도의 텍스처 정보를 추출하는데 사용될 수 있는 프로세서를 도시한다. 다이어그램(700)의 프로세서(710)는 인식될 객체의 텍스처링된 표면에 패턴을 투영하고, 투영된 표면으로부터 텍스처를 추출하고, 투영 파라미터를 조절하는 등을 담당하는 하나 이상의 모듈에 통신 가능하도록 결합된 컴퓨팅 장치의 일부일 수 있다.
프로세서(710)는 고해상도의 텍스처 추출을 위하여 패턴 투영의 상이한 태양을 제어하기 위한 다수의 모듈을 포함할 수 있다. 모듈은 텍스처링된 표면으로 조절 가능한 파라미터를 가지는 미세선 패턴을 투영하기 위한 투영 제어 모듈(730), 투영된 패턴으로 텍스처링된 표면의 이미지를 캡쳐하기 위한 이미지 캡쳐 모듈(740), 및 캡쳐된 이미지를 처리하고 무아레 간섭 패턴을 측정하며 더 미세한 검출을 위하여 투영된 패턴을 조정하는 패턴 인식 모듈(750)을 포함할 수 있다.
메모리(720)는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있는 프로세서(710)의 제어 모듈에 대한 명령을 저장하도록 구성될 수 있다. 프로세서(710)는 직접적인 전기적 연결을 통하거나 네트워크 통신(예컨대, 네트워크(들)(790))을 통하여 다른 컴퓨팅 장치 및/또는 저장 설비(780)와 같은 데이터 저장 장치와 통신할 수 있다.
예시적인 실시예는 또한 방법을 포함할 수 있다. 이러한 방법은 여기에서 기술된 구조를 포함하는 임의의 수의 방식으로 구현될 수 있다. 하나의 그러한 방식은 본 개시에서 기술된 유형의 장치의 머신 동작에 의한다. 다른 선택적인 방식은 다른 동작이 머신에 의해 수행되는 동안 동작 중 일부를 수행하는 한명 이상의 사람 운용자와 함께 수행될 방법의 개별적인 동작 중 하나 이상에 대한 것이다. 이러한 사람 운용자는 서로 함께 할 필요는 없으나, 각각은 프로그램의 부분을 수행하는 머신과만 함께일 수 있다. 다른 예시에서, 사람과의 상호 작용은 머신 자동화된 미리 정해진 기준에 의하는 바와 같이 자동화될 수 있다.
도 8은 적어도 일부 실시예에 따른 도 6에서의 컴퓨터(600) 또는 도 7에서의 프로세서(710)와 같은 컴퓨팅 장치에 의해서 수행될 수 있는 텍스처 추출을 위한 예시적인 방법을 도시하는 흐름도이다. 블록(822) 내지 블록(836)에서 기술된 동작은 컴퓨터(600)의 드라이브(640) 또는 프로세서(710)의 메모리(720)와 같은 컴퓨터 판독 가능 매체에 컴퓨터 실행 가능한 명령으로 저장될 수 있다.
패턴을 투영하는 것에 의한 고해상도의 텍스처 추출의 프로세스는 "대상에서 미세 텍스처를 결정"하는 동작(822)으로 시작할 수 있다. 동작(822)에서, AR 시스템에 대하여 모델링될 3차원 객체가 객체의 미세한 텍스처링된 표면을 따라 결정될 수 있다. 도 2의 카메라(226)와 같은 카메라가 객체를 검출하는데 사용될 수 있다. 객체의 텍스처링된 표면은 다수의 배향과 피치를 가질 수 있다. 또한, 시스템은 시스템의 프로젝터(예컨대, 프로젝터(224))가 미세한 텍스처링된 표면 상에 미리 정의되고 조절 가능한 패턴을 투영할 수 있도록 배치될 수 있다.
"3D 형태를 추출하고 수정 매트릭스(corrective matrix)를 생성"하는 선택적인 동작(824)에서, 객체의 3차원 형태가 가능한 한 종래의 텍스처 추출과는 다른 3차원 구조형 광 기법을 이용하여 추출될 수 있다. 3차원 형태는 뒤따르는 동작을 위한 수정 매트릭스를 생성하는데 사용되어 3차원 형태를 보상할 수 있다.
동작(824)에 뒤이어, "미세선을 투영하고 회전"하는 동작(826)에서, 프로젝터(224)는 패턴(430)과 같은 미세선 패턴을 투영하고 이를 회전시킬 수 있다. 미세선은 객체의 표면 형태에 따라 직선, 굽은 선, 또는 곡선일 수 있다(예컨대, 굽은 객체에 대하여는 곡선). "로컬 무아레 패턴 피치를 기록"하는 이후의 동작(828)에서, 무아레 피치가 기록될 수 있다. 앞서 논의된 바와 같이, 보통의 무아레 패턴(500)은 대략적으로 픽셀의 폭으로 평행선의 배열로 만들어진다. 패턴은 서브픽셀 수준에서 텍스처 요소와 상호 작용하여, 무아레 간섭 패턴을 생성한다. (이동 및 회전 양자에 있어서) 패턴을 기울임으로써, 해상도 아래의 텍스처의 정렬, 피치 및 형태가 결정될 수 있다.
동작(828)에 뒤이어, "텍스처의 각각의 하위 영역에 대하여 명확한 피치를 갖는 두 개 이상의 무아레 패턴을 선택"하는 동작(830)에서, 시스템은 명확한 무아레 패턴을 포함하는 각각의 하위 영역에 대한 적어도 두 개의 이미지를 선택할 수 있다. 선택은 순차적으로 수행될 수 있거나 분리 가능한 한 상이한 색으로 수행될 수 있다. "패턴 각 및 주파수를 결정"하는 다음의 동작(832)에서, 시스템은 상기 논의된 각각의 하위 영역에 대하여 공간 주파수 및 패턴 배향을 연산할 수 있다. 선택적으로, 패턴 피치 및 각에서의 결과적인 정보는 "알려진 각 및 주파수에 기초하여 새로운 미세선 투영을 생성"하는 동작(834)에서 객체(220)의 텍스처(222)를 더 근접하게 매칭하는 미세선의 새로운 집합을 구축하는데 사용될 수 있다. 새로운 패턴은 "희망하는 정도가 달성될 때까지 반복"하는 동작(836)에 의하여 도시되는 바와 같이 반복적인 방식으로 카메라(226) 및 패턴 인식 프로그램(228)에 의한 측정의 새로운 세트를 위하여 프로젝터(224)에 의하여 텍스처링된 표면으로 투영될 수 있다. 패턴을 투영하는 것 및 재측정하는 것의 반복 주기는 양각(engraving) 또는 음각(intaglio)과 같은 해상도 아래의 크기에서의 복잡한 텍스처 패턴이라도 추출될 수 있도록 복잡한 곡선 또는 변화하는 패턴을 근접하게 매칭하도록 진전할 수 있다.
다른 실시예에 따르면, 추가적인 수정이 수행될 수 있다. 그러한 수정은 투영된 선의 폭을 조절하는 것, 가상의 선 패턴에서의 시프트에 의해 검출될 수 있는 피처에서의 곡률을 설명하도록 선의 선형 형태를 조절하는 것, 관심있는 텍스처를 가지는 표면의 알려진 3차원 폐곡면이 주어진 그 예상되는 왜곡을 설명하도록 패턴을 구부리는 것 및/또는 텍스처에서 검출된 곡률을 매칭하도록 패턴을 구부리는 것을 포함할 수 있으나, 이에 제한되지는 않는다. 이후, 캡쳐된 무아레 간섭 패턴은 다양한 텍스처 분류 기법을 이용하여 추가적으로 분석될 수 있는, 하위 해상도의 귀속 텍스처 맵(sub-resolution imputed texture map)으로 전환될 수 있다.
상기 기술된 프로세스에 포함된 동작은 예시적인 목적을 위한 것이다. 패턴 투영 및 캡쳐를 이용하는 AR 시스템에서의 고해상도 텍스처 추출은 더 적은 동작 또는 추가적인 동작을 가지는 유사한 프로세스에 의해 구현될 수 있다. 일부 예시에서, 동작은 상이한 순서로 수행될 수 있다. 일부 다른 예시에서, 다양한 동작이 제거될 수 있다. 또 다른 예시에서, 다양한 동작은 추가적인 동작으로 분리될 수 있거나, 더 적은 동작으로 함께 조합될 수 있다.
도 9는 여기에서 기술된 적어도 일부 실시예에 따라 배열된 예시적인 컴퓨터 프로그램 제품의 블록도를 도시한다. 일부 예시에서, 도 9에서 도시되는 바와 같이, 컴퓨터 프로그램 제품(900)은 예컨대, 프로세서에 의하여 실행되면 도 6 및 도 7에 대하여 상기 기술된 기능을 제공할 수 있는 머신 판독 가능 명령(904)을 또한 포함할 수 있는 신호 베어링 매체(902)를 포함할 수 있다. 따라서, 예컨대, 프로세서(710)를 참조하면, 모듈(730, 740 및 750)은 매체(902)에 의하여 프로세서(710)로 전달되어 여기에서 기술된 바와 같은 투영된 패턴을 통한 고해상도의 텍스처 추출을 제어하는 것과 연관된 작용을 수행하는 명령(904)에 응답하여 도 9에서 도시된 태스크 중 하나 이상을 착수할 수 있다. 그러한 명령 중 일부는 미세선을 투영하고 회전하는 것, 깨끗한 피치 또는 어두운 피치로부터 패턴 각 및 주파수를 결정하는 것 및 투영된 선을 반복적으로 개선(refining)하는 것을 포함할 수 있다.
일부 구현예에서, 도 9에 도시된 신호 베어링 매체(902)는 하드 디스크 드라이브, CD(Compact Disc), DVD(Digital Video Disk), 디지털 테이프, 메모리 등과 같은 컴퓨터 판독 가능 매체(906)를 포함할 수 있으나 이에 제한되지는 않는다. 일부 구현예에서, 신호 베어링 매체(902)는 메모리, 읽기/쓰기(R/W) CD, R/W DVD 등과 같은 기록 가능 매체(908)를 포함할 수 있으나, 이에 제한되지는 않는다. 일부 구현예에서, 신호 베어링 매체(902)는 디지털 및/또는 아날로그 통신 매체(예컨대, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등)와 같은 통신 매체(910)를 포함할 수 있으나, 이에 제한되지는 않는다. 따라서, 예컨대, 프로그램 제품(900)은 RF 신호 베어링 매체에 의해 프로세서(910)의 하나 이상의 모듈로 전달되고, 신호 베어링 매체(902)는 무선 통신 매체(910)(예컨대, IEEE 802.11 표준에 따르는 무선 통신 매체)에 의해 전달될 수 있다.
본 개시는 고해상도의 텍스처 추출을 할 수 있는 증강 현실(AR) 장면 캡쳐 시스템을 제시한다. 일부 실시예에 따르면, 시스템은 캡쳐될 3차원 대상에 적어도 하나의 미세선 패턴(430)을 투영하도록 구성된 프로젝터(224), 투영된 패턴으로 대상의 이미지를 캡쳐하도록 구성된 카메라(226) 및 프로세서(910)를 포함할 수 있다. 프로세서는 대상(222)의 텍스처링된 부분을 결정하고, 대상(828)의 텍스처링된 부분 상에서의 로컬 무아레 패턴 피치를 기록하고, 적어도 하나의 투영된 패턴(430)이 대상(222)의 텍스처링된 부분과 실질적으로 매칭하도록 투영된 패턴의 하나 이상의 속성을 조정할 수 있다.
다른 실시예에 따르면, 적어도 하나의 투영된 패턴(430)의 속성은 배향의 각도, 폭, 표면 배색에 대한 보상 및/또는 3차원 피처를 포함할 수 있다. 프로세서(910)는 무아레 패턴에서의 변화로부터의 대상의 텍스처링된 부분(222)의 텍스처 패턴의 배향 및 피치를 추출할 수 있다. 또한, 카메라(226) 및 프로젝터(224)는, 그 동작이 프로세서(910)에 의해 제어되는 모바일 장치로 집적될 수 있다.
추가적인 실시예에 따르면, 프로세서는 대상의 텍스처링된 부분에서 공간적으로 변동하는 텍스처의 순차적인 추출을 위하여 적어도 하나의 투영된 미세선 패턴(430)을 변동시키고, 변동하는 조명 조건 하에서 대상의 텍스처링된 부분(222)을 캡쳐하도록 투영된 패턴(430)의 속성을 조정할 수 있다. 투영된 패턴(430)은 평행선을 포함할 수 있고, 프로세서는 대상의 텍스처링된 부분(222)의 피처에서 곡률을 설명하도록 선의 선형 형태를 조정한다. 프로세서는 대상의 텍스처링된 부분(222)의 표면의 3차원 윤곽(contour)에 기초하여 예상되는 왜곡을 설명하도록 투영된 패턴(430)을 또한 구부릴 수 있다. 또한, 프로세서는 대상의 텍스처링된 부분(222)의 텍스처에서 검출된 곡률에 매칭하도록 투영된 패턴을 구부릴 수 있다.
본 개시는 또한 증강 현실(AR) 장면 캡쳐 시스템(100)에서 고해상도의 텍스처 추출을 위한 방법을 제시한다. 방법은 캡쳐될 3차원 대상의 텍스처링된 부분을 결정하는 단계(822), 대상의 텍스처링된 부분에 대한 3차원 형태를 추출하는 단계(824), 대상의 텍스처링된 부분 상에 미세선 패턴을 투영하는 단계(826), 대상의 텍스처링된 부분 상에서의 로컬 무아레 패턴 이미지를 기록하는 단계(828), 기록된 이미지에서 명확한 피치를 가지는 두 개 이상의 무아레 패턴을 선택하는 단계(830), 및 패턴 각 및 공간 주파수를 결정하는 단계(832)를 포함할 수 있다.
추가적인 예시에 따르면, 방법은 패턴 각 및 공간 주파수를 사용하여 더 미세하게 대상의 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 생성하는 단계(834), 및 미리 정의된 패턴 사항이 달성될 때까지 더 미세하게 대상의 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 반복적으로 생성하고 각각의 반복에서 새로운 패턴 각 및 공간 주파수를 결정하는 단계(836)를 더 포함할 수 있다.
또 다른 예시에 따르면, 방법은 또한 대상의 텍스처링된 부분에 대하여 추출된 3차원 형태에 기초하여 수정 매트릭스를 생성하는 단계(824) 및 텍스처링된 부분에 대하여 투영된 미세선 패턴을 회전시키는 단계를 포함할 수 있다. 투영된 미세선 패턴(430)은 고주파수의 시각 컴포넌트 및 저주파수의 시각 컴포넌트를 제공하는 대상의 텍스처링된 부분(222)의 텍스처의 그것과는 상이한 피치를 가질 수 있다. 고주파수의 시각 컴포넌트는 서브픽셀 해상도를 제공할 수 있고, 저주파수의 시각 컴포넌트는 투영된 패턴(430, 432)의 공간 주파수 사이의 차이의 약 절반의 공간 주파수 및 대상의 텍스처링된 부분(222)의 텍스처를 제공할 수 있다.
본 개시는 증강 현실(AR) 장면 캡쳐 시스템(100)에서 고주파수의 텍스처 추출을 위한 명령(904)이 저장된 컴퓨터 판독 가능 저장 매체(906)를 추가적으로 제시한다. 일부 예시에 따르면, 명령은 캡쳐될 3차원 대상의 텍스처링된 부분을 결정하는 것(822), 대상의 텍스처링된 부분에 대한 3차원 형태를 추출하는 것(824), 대상의 텍스처링된 부분 상에 두 개의 미세선 패턴을 투영하는 것(826), 대상의 텍스처링된 부분 상에서의 로컬 무아레 패턴 이미지를 기록하는 것(828), 기록된 이미지에서 명확한 피치를 갖는 두 개 이상의 무아레 패턴을 선택하는 것(830), 및 패턴 각 및 공간 주파수를 결정하는 것(832)을 포함할 수 있다. 다른 예시에 따르면 투영된 패턴은 순차적으로 투영될 수 있으며, 명령은 또한 투영된 두 개의 미세선 패턴을 서로에 대하여 회전시키는 것(826) 및 미리 정의된 패턴 사항이 달성될 때까지 더 미세하게 대상의 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 반복적으로 생성하고 각각의 반복에서 새로운 패턴 각 및 공간 주파수를 결정하는 것(834, 836)을 포함할 수 있다.
추가적인 예시에 따르면, 명령은 투영된 패턴(430, 432)의 배향각, 폭, 표면 배색에 대한 보상 및/또는 3차원 피처 중 하나 이상을 수정하는 것을 포함할 수 있다. 예시적인 실시예에 따른 시스템은 또한 투영된 패턴(430, 432)에서 선의 폭을 조정하는 것, 대상의 텍스처링된 부분(222)의 피처에서의 곡률을 설명하도록 투영된 패턴(430, 432)의 선의 선형 형태를 조정하는 것, 대상의 텍스처링된 부분(222)의 표면의 3차원 윤곽에 기초하여 예상되는 왜곡을 설명하도록 투영된 패턴(430, 432)을 구부리는 것, 및/또는 대상의 텍스처링된 부분(222)의 텍스처에서 검출된 곡률에 매칭하도록 투영된 패턴(430, 432)를 구부리는 것 중 하나 이상을 수행할 수 있다. 또 다른 예시에 따르면, 명령은 무아레 패턴을 하위 해상도의 귀속 텍스처 맵으로 전환하는 것 및 텍스처 분류 접근법을 사용하여 텍스처 맵을 분석하는 것을 포함할 수 있다.
시스템의 양상들의 하드웨어 및 소프트웨어 구현 사이에는 구별이 거의 없다; 하드웨어 또는 소프트웨어의 사용은 일반적으로 (그러나 어떤 문맥에서 하드웨어 및 소프트웨어 사이의 선택이 중요할 수 있다는 점에서 항상 그런 것은 아니지만) 비용 대비 효율의 트레이드오프(tradeoff)를 나타내는 설계상 선택(design choice)이다. 본 개시에서 기재된 프로세스 및/또는 시스템 및/또는 다른 기술들이 영향 받을 수 있는 다양한 수단(vehicles)(예를 들어, 하드웨어, 소프트웨어 및/또는 펌웨어)이 있으며, 선호되는 수단은 프로세스 및/또는 시스템 및/또는 다른 기술이 사용되는 컨텍스트(context)에 따라 변경될 것이다. 예를 들어, 구현자가 속도 및 정확성이 가장 중요하다고 결정한다면, 구현자는 주로 하드웨어 및/또는 펌웨어 수단을 선택할 수 있으며, 유연성이 가장 중요하다면, 구현자는 주로 소프트웨어 구현을 선택할 수 있다; 또는, 다른 대안으로서, 구현자는 하드웨어, 소프트웨어 및/또는 펌웨어의 어떤 결합을 선택할 수 있다.
전술한 상세한 설명은 블록도, 흐름도, 및/또는 예를 통해 장치의 다양한 실시예 및/또는 프로세스를 설명하였다. 그러한 블록도, 흐름도, 및/또는 예는 하나 이상의 기능 및/또는 동작을 포함하는 한, 당업자라면 그러한 블록도, 흐름도, 또는 예 내의 각각의 기능 및/또는 동작은 하드웨어, 소프트웨어, 펌웨어, 또는 가상의 그들의 임의의 조합의 넓은 범위에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다는 것이 이해될 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor), ARM 프로세서, CPU 또는 다른 집적의 형태를 통해 구현될 수 있다. 그러나, 당업자라면, 본 개시의 실시예의 일부 양상은, 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 실질적으로 이들의 조합으로써, 전체적으로 또는 부분적으로 균등하게 집적회로에 구현될 수 있다는 것을 알 수 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자의 기술 수준 내일 것이다.
본 개시는 본 출원에 기술된 특정 예들에 제한되지 않으며, 다양한 양태의 실시예로서 의도된 것이다. 당업자에게 분명하게 될 바와 같이, 많은 수정과 변형들이 그 사상과 범위를 벗어나지 않으면서 이루어질 수 있다. 여기에 열거된 것들에 더하여, 본 개시의 범위 안에서 기능적으로 균등한 방법과 장치가 명백할 것이다. 그러한 수정과 변형들은 첨부된 청구항의 범위에 들어가도록 의도된 것이다. 본 개시는 첨부된 청구항의 용어와 그러한 청구항에 부여된 균등물의 전 범위에 의해서만 제한될 것이다. 본 개시가 물론 다양할 수 있는 특정 방법, 시약, 합성 구성 또는 생물학적 시스템에 제한되지 않는 것으로 이해될 것이다. 또한, 여기에서 사용된 용어는 특정 실시예를 기술하기 위한 목적이고, 제한하는 것으로 의도되지 않음이 이해될 것이다.
또한, 당업자라면, 본 개시의 대상의 매커니즘(mechanism)들이 다양한 형태의 프로그램 제품으로 분포될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는, 분배를 실제로 수행하는데 사용되는 신호 포함 매체(signal bearing medium)의 특정 유형과 무관하게 적용됨을 이해할 것이다. 신호 포함 매체의 예는, 플로피 디스크, 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 컴퓨터 메모리 등과 같은 판독가능 유형의 매체, 디지털 및/또는 아날로그 통신 매체(예를 들어, 섬유 광학 케이블, 웨이브가이드, 유선 통신 링크, 무선 통신 링크 등)와 같은 전송 유형 매체를 포함할 수 있으나, 이에 제한되지는 않는다.
당업자라면, 여기서 설명된 형식으로 장치 및/또는 프로세스를 기술하고, 이후, 공학 실무를 사용하여 그러한 기술된 장치(예를 들면, 전송기, 수신기, 컴퓨팅 플랫폼, 컴퓨팅 장치 등) 및/또는 방법을 데이터 처리 시스템에 통합한다는 것은 당해 분야에서는 일반적이란 것을 인식할 것이다. 즉, 여기서 기술된 장치 및/또는 방법의 적어도 일부는 합당한 실험량을 통해 데이터 처리 시스템에 통합될 수 있다. 당업자라면, 전형적인 데이터 처리 시스템은 일반적으로 하나 이상의 시스템 유닛 하우징, 비디오 디스플레이 장치, 휘발성 및 비휘발성 메모리 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서 같은 프로세서, 운영 체제, 드라이버, 그래픽 사용자 인터페이스 및 애플리케이션 프로그램과 같은 컴퓨터 엔티티(computational entities), 터치 패드 또는 스크린 같은 하나 이상의 상호작용 장치, 및/또는 피드백 루프 및 제어 모듈(예를 들면, 시스템의 패턴 및 이미지 캡쳐 파라미터를 조정하는 것)을 포함하는 제어 시스템을 일반적으로 포함한다는 것을 인식할 것이다.
전형적인 데이터 처리 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 전형적으로 발견되는 바와 같은 임의의 적절한 상업적으로 이용가능한 컴포넌트를 이용하여 구현될 수 있다. 여기서 기술된 대상은 때때로 상이한 다른 컴포넌트 내에 포함되거나 접속된 상이한 컴포넌트를 도시한다. 도시된 그러한 아키텍처는 단순히 예시적인 것이고, 사실상 동일한 기능을 달성하는 다른 많은 아키텍처가 구현될 수 있다는 것이 이해되어야 한다. 개념적으로, 동일한 기능을 달성하기 위한 컴포넌트의 임의의 배치는 원하는 기능이 달성되도록 유효하게 "연관"된다. 이에 따라, 특정 기능을 달성하기 위해 여기서 결합된 임의의 두 개의 컴포넌트는, 아키텍처 또는 중간 컴포넌트와는 무관하게, 원하는 기능이 달성되도록 서로 "연관"된 것으로 볼 수 있다. 마찬가지로, 연관된 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 접속"되거나 또는 "동작적으로 연결"되는 것으로 간주될 수 있고, 그와 같이 연관될 수 있는 임의의 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 연결가능"한 것으로 볼 수 있다. 동작적으로 연결 가능하다는 것의 특정 예는 물리적으로 양립가능(mateable)하고 및/또는 물리적으로 상호작용하는 컴포넌트 및/또는 무선으로 상호작용이 가능하고 및/또는 무선으로 상호작용하는 컴포넌트 및/또는 논리적으로 상호작용하고 및/또는 논리적으로 상호작용이 가능한 컴포넌트를 포함하지만, 이에 한정되는 것은 아니다.
여기에서 실질적으로 임의의 복수 및/또는 단수의 용어의 사용에 대하여, 당업자는 맥락 및/또는 응용에 적절하도록, 복수를 단수로 및/또는 단수를 복수로 해석할 수 있다. 다양한 단수/복수의 치환은 명확성을 위해 여기에서 명시적으로 기재될 수 있다.
당업자라면, 일반적으로 본 개시에 사용되며 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위)에 사용된 용어들이 일반적으로 "개방적(open)" 용어(예를 들어, 용어 "포함하는"은 "포함하지만 이에 제한되지 않는"으로, 용어 "갖는"는 "적어도 갖는"으로, 용어 "포함하다"는 "포함하지만 이에 한정되지 않는" 등으로 해석되어야 함)로 의도되었음을 이해할 것이다. 또한, 당업자라면, 도입된 청구항의 기재사항의 특정 수가 의도된 경우, 그러한 의도가 청구항에 명시적으로 기재될 것이며, 그러한 기재사항이 없는 경우, 그러한 의도가 없음을 또한 이해할 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부 청구범위는 "적어도 하나" 및 "하나 이상" 등의 도입 구절의 사용을 포함하여 청구항 기재사항을 도입할 수 있다. 그러나, 그러한 구절의 사용이, 부정관사 "하나"("a" 또는 "an")에 의한 청구항 기재사항의 도입이, 그러한 하나의 기재사항을 포함하는 실시예로, 그러한 도입된 청구항 기재사항을 포함하는 특정 청구항을 제한함을 암시하는 것으로 해석되어서는 안되며, 동일한 청구항이 도입 구절인 "하나 이상" 또는 "적어도 하나" 및 "하나"("a" 또는 "an")과 같은 부정관사(예를 들어, "하나"는 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 일반적으로 해석되어야 함)를 포함하는 경우에도 마찬가지로 해석되어야 한다. 이는 청구항 기재사항을 도입하기 위해 사용된 정관사의 경우에도 적용된다. 또한, 도입된 청구항 기재사항의 특정 수가 명시적으로 기재되는 경우에도, 당업자라면 그러한 기재가 일반적으로 적어도 기재된 수(예를 들어, 다른 수식어가 없는 "두개의 기재사항"을 단순히 기재한 것은, 일반적으로 적어도 두 개의 기재사항 또는 두 개 이상의 기재사항을 의미함)를 의미하도록 해석되어야 함을 이해할 것이다.
또한, "A, B 및 C, 등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 및 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). "A, B 또는 C 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 또는 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). 또한 당업자라면, 실질적으로 어떠한 이접 접속어(disjunctive word) 및/또는 두 개 이상의 대안적인 용어들을 나타내는 구절은, 그것이 상세한 설명, 청구범위 또는 도면에 있는지와 상관없이, 그 용어들 중의 하나, 그 용어들 중의 어느 하나, 또는 그 용어들 두 개 모두를 포함하는 가능성을 고려했음을 이해할 것이다. 예를 들어, "A 또는 B"라는 구절은 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.
또한, 마쿠쉬 그룹을 이용하여 본 개시의 특징 또는 양상이 기술될 때는, 당업자라면 본 개시가 또한 마쿠쉬 그룹의 임의의 개별 구성원 또는 구성원의 서브그룹을 이용하여 기술됨을 이해할 것이다.
서면의 기재를 제공하는 것과 같은 어떠한 그리고 모든 목적을 위해서, 본 개시에 기재된 모든 범위는 모든 어떠한 가능한 하위범위 및 그 하위범위의 조합을 또한 포괄함이 이해 되어야 한다. 임의의 나열된 범위는, 그 동일한 범위가 적어도 동일한 이분 범위, 삼분 범위, 사분 범위, 오분 범위, 십분 범위 등으로 분할될 수 있으며, 그러한 동일 범위를 충분히 기술하는 것으로 용이하게 인식될 수 있다. 제한되지 않은 예로서, 본 개시에 기재된 각 범위는, 하위 삼분, 중간 삼분, 상위 삼분 등으로 용이하게 분할될 수 있다. 또한, "까지(up to)", "적어도(at least)", “더 큰(greater than)”, “더 적은(less than)” 등과 같은 모든 언어는 인용된 수를 포함하며, 상술한 바와 같은 하위 범위로 분할될 수 있는 범위들을 나타냄이 당업자에 의해 이해될 것이다. 마지막으로, 범위는 각 개별 구성요소를 포함됨이 당업자에 의해 이해될 것이다. 따라서, 예를 들어, 1 내지 3 셀(cell)을 가지는 그룹은 1, 2 또는 3 셀을 가지는 그룹을 나타낸다. 유사하게, 1 내지 5 셀을 가지는 그룹은 1, 2, 3, 4 또는 5 셀을 가지는 그룹을 나타내는 등이다.
다양한 양상 및 실시예들이 본 개시에서 기술되었지만, 다른 양상 및 실시예들이 당업자에게 명확할 것이다. 본 개시에 기재된 다양한 양상 및 실시예는 예시의 목적으로 제시된 것이고, 제한하려고 의도된 것은 아니며, 진정한 범위 및 사상은 이하 청구범위에 의해 나타낸다.

Claims (21)

  1. 고해상도의 텍스처 추출을 할 수 있는 증강 현실 장면 캡쳐 시스템(augmented reality(AR) scene capture system)으로서,
    캡쳐될 3차원 객체 상에 적어도 하나의 미세선 패턴(fine-lined pattern)을 투영하도록 구성된 프로젝터(projector);
    상기 적어도 하나의 투영된 패턴으로 상기 객체의 이미지를 캡쳐하도록 구성된 카메라; 및
    상기 객체의 텍스처링된(textured) 부분을 결정하고, 상기 객체의 상기 텍스처링된 부분 상에 로컬 무아레 패턴 피치(local Moire pattern pitch)를 기록하며, 상기 적어도 하나의 투영된 패턴이 상기 객체의 상기 텍스처링된 부분에 실질적으로 매칭하도록 상기 적어도 하나의 투영된 패턴의 하나 이상의 속성을 조정하도록 구성된 프로세서
    를 포함하는 시스템.
  2. 제1항에 있어서,
    상기 적어도 하나의 투영된 패턴의 상기 하나 이상의 속성은 배향의 각, 폭, 표면 배색에 대한 보상 및 3차원 피처를 포함하는, 시스템.
  3. 제1항에 있어서,
    상기 프로세서는 상기 무아레 패턴에서의 변화로부터 상기 객체의 상기 텍스처링된 부분의 텍스처 패턴의 배향 및 피치를 추출하도록 더 구성된, 시스템.
  4. 제1항에 있어서,
    상기 카메라 및 상기 프로젝터는, 그 동작이 상기 프로세서에 의해 제어되는 모바일 장치에 집적되는, 시스템.
  5. 제1항에 있어서,
    상기 프로세서는 상기 객체의 상기 텍스처링된 부분 상에서 공간적으로 변동하는 텍스처의 순차적인 추출을 위하여 상기 적어도 하나의 투영된 패턴을 변동하도록 더 구성된, 시스템.
  6. 제1항에 있어서,
    프로세서는 변동하는 조명 조건 하에서 상기 객체의 상기 텍스처링된 부분을 캡쳐하도록 상기 적어도 하나의 투영된 패턴의 상기 속성을 조정하도록 더 구성된, 시스템.
  7. 제1항에 있어서,
    상기 적어도 하나의 투영된 패턴은 평행한 선을 포함하고, 상기 프로세서는 상기 객체의 상기 텍스처링된 부분의 피처에서의 곡률을 설명하도록 상기 선의 선형 형태를 조정하도록 더 구성된, 시스템.
  8. 제1항에 있어서,
    상기 프로세서는 상기 객체의 상기 텍스처링된 부분의 표면의 3차원 윤곽에 기초하여 예상되는 왜곡을 설명하도록 상기 적어도 하나의 투영된 패턴을 구부리도록 더 구성된, 시스템.
  9. 제1항에 있어서,
    상기 프로세서는 상기 객체의 상기 텍스처링된 부분의 텍스처에서 검출된 곡률에 매칭하도록 상기 적어도 하나의 투영된 패턴을 구부리도록 더 구성된, 시스템.
  10. 증강 현실(AR) 장면 캡쳐 시스템에서 고해상도의 텍스처 추출을 위한 방법으로서,
    캡쳐될 3차원 객체의 텍스처링된 부분을 결정하는 단계;
    상기 객체의 상기 텍스처링된 부분에 대한 3차원 형태를 추출하는 단계;
    상기 객체의 상기 텍스처링된 부분 상에 미세선 패턴을 투영하는 단계;
    상기 객체의 상기 텍스처링된 부분 상에서의 로컬 무아레 패턴 이미지를 기록하는 단계;
    상기 기록된 이미지에서 명확한 피치를 가지는 두 개 이상의 무아레 패턴을 선택하는 단계; 및
    상기 패턴의 패턴 각 및 공간 주파수를 결정하는 단계
    를 포함하는 방법.
  11. 제10항에 있어서,
    상기 패턴의 상기 패턴 각 및 상기 공간 주파수를 사용하여 더 미세하게 상기 객체의 상기 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 생성하는 단계를 더 포함하는 방법.
  12. 제11항에 있어서,
    미리 정해진 패턴 사항(predefined pattern knowledge)이 달성될 때까지, 더 미세하게 상기 객체의 상기 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 반복적으로 생성하고 각각의 반복에서 새로운 패턴 각 및 공간 주파수를 결정하는 단계를 더 포함하는 방법.
  13. 제12항에 있어서,
    상기 투영된 미세선 패턴은 고주파수의 시각 컴포넌트 및 저주파수의 시각 컴포넌트를 제공하는 상기 객체의 상기 텍스처링된 부분의 텍스처의 그것과는 상이한 피치를 가지는, 방법.
  14. 제13항에 있어서,
    상기 고주파수의 시각 컴포넌트는 서브픽셀 해상도(sub-pixel resolution)를 제공하고, 상기 저주파수의 시각 컴포넌트는 상기 투영된 패턴의 공간 주파수 사이의 차이의 약 절반의 공간 주파수 및 상기 객체의 상기 텍스처링된 부분의 텍스처를 제공하는, 방법.
  15. 제10항에 있어서,
    상기 객체의 상기 텍스처링된 부분에 대한 상기 추출된 3차원 형태에 기초하여 수정 매트릭스(corrective matrix)를 생성하는 단계를 더 포함하는 방법.
  16. 제10항에 있어서,
    상기 텍스처링된 부분에 대하여 상기 투영된 미세선 패턴을 회전하는 단계를 더 포함하는 방법.
  17. 증강 현실(AR) 장면 캡쳐 시스템에서 고해상도의 텍스처 추출을 위한 명령이 저장된 컴퓨터 판독 가능 저장 매체로서, 상기 명령은,
    캡쳐될 3차원 객체의 텍스처링된 부분을 결정하는 것;
    상기 객체의 상기 텍스처링된 부분에 대한 3차원 형태를 추출하는 것;
    상기 객체의 상기 텍스처링된 부분 상에 두 개의 미세선 패턴을 투영하는 것;
    상기 객체의 상기 텍스처링된 부분 상에서의 로컬 무아레 패턴 이미지를 기록하는 것;
    상기 기록된 이미지에서 명확한 피치를 가지는 두 개 이상의 무아레 패턴을 선택하는 것;
    패턴 각 및 공간 주파수를 결정하는 것;
    상기 투영된 두 개의 미세선 패턴을 서로에 대하여 회전하는 것; 및
    미리 정의된 패턴 사항이 달성될 때까지 더 미세하게 상기 객체의 상기 텍스처링된 부분의 텍스처에 매칭하는 새로운 투영된 패턴을 반복적으로 생성하고 각각의 반복에서 새로운 패턴 각 및 공간 주파수를 결정하는 것을 포함하는, 컴퓨터 판독 가능 저장 매체.
  18. 제17항에 있어서,
    상기 두 개의 투영된 패턴은 순차적으로 투영된, 컴퓨터 판독 가능 저장 매체.
  19. 제17항에 있어서,
    상기 명령은 상기 투영된 패턴의 배향의 각, 폭, 표면 배색에 대한 보상 및/또는 3차원 피처 중 하나 이상을 수정하는 것을 더 포함하는, 컴퓨터 판독 가능 저장 매체.
  20. 제17항에 있어서,
    상기 명령은,
    상기 투영된 패턴에서 선의 폭을 조정하는 것;
    상기 객체의 상기 텍스처링된 부분의 피처에서의 곡률을 설명하도록 상기 투영된 패턴의 상기 선의 선형 형태를 조정하는 것;
    상기 객체의 상기 텍스처링된 부분의 표면의 3차원 윤곽에 기초하여 예상되는 왜곡을 설명하도록 상기 투영된 패턴을 구부리는 것; 및/또는
    상기 객체의 상기 텍스처링된 부분의 텍스처에서의 검출된 곡률에 매칭하도록 상기 투영된 패턴을 구부리는 것 중 하나 이상을 수행하는 것을 더 포함하는, 컴퓨터 판독 가능 저장 매체.
  21. 제17항에 있어서,
    상기 명령은,
    상기 무아레 패턴을 하위 해상도의 귀속 텍스처 맵(sub-resolution imputed texture map)으로 전환하는 것; 및
    텍스처 분류 접근법을 사용하여 상기 텍스처 맵을 분석하는 것을 더 포함하는, 컴퓨터 판독 가능 저장 매체.
KR1020127029384A 2010-09-30 2010-09-30 고해상도의 텍스처 추출을 위한 시스템, 방법 및 컴퓨터 판독가능 저장 매체를 포함하는 기술 KR101396370B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/050863 WO2012044300A1 (en) 2010-09-30 2010-09-30 Projecting patterns for high resolution texture extraction

Publications (2)

Publication Number Publication Date
KR20130023244A true KR20130023244A (ko) 2013-03-07
KR101396370B1 KR101396370B1 (ko) 2014-05-19

Family

ID=45889891

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029384A KR101396370B1 (ko) 2010-09-30 2010-09-30 고해상도의 텍스처 추출을 위한 시스템, 방법 및 컴퓨터 판독가능 저장 매체를 포함하는 기술

Country Status (5)

Country Link
US (1) US8532340B2 (ko)
JP (1) JP5592014B2 (ko)
KR (1) KR101396370B1 (ko)
CN (1) CN102893124B (ko)
WO (1) WO2012044300A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071595A (ko) * 2013-12-18 2015-06-26 마이크로소프트 코포레이션 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
KR20160045994A (ko) * 2014-10-17 2016-04-28 주식회사 케이티 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
KR20200020620A (ko) * 2018-08-17 2020-02-26 베나노 아이엔씨 3차원 스캔 시스템

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
CN102713975B (zh) * 2010-01-12 2016-02-03 日本电气株式会社 图像整理***、图像整理方法和计算机程序
JP6059150B2 (ja) 2010-11-17 2017-01-11 フレセニウス メディカル ケア ホールディングス インコーポレーテッド 光学的モニタリングシステム用のセンサークリップアセンブリー
US9268520B1 (en) * 2011-06-21 2016-02-23 Amazon Technologies, Inc. Altering content projection
US8948447B2 (en) * 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light
US20130266228A1 (en) * 2012-04-10 2013-10-10 Siemens Industry, Inc. Automatic part identification and workflow generation
US20130293580A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
US9779546B2 (en) 2012-05-04 2017-10-03 Intermec Ip Corp. Volume dimensioning systems and methods
US10007858B2 (en) 2012-05-15 2018-06-26 Honeywell International Inc. Terminals and methods for dimensioning objects
US9307230B2 (en) * 2012-06-29 2016-04-05 Apple Inc. Line pair based full field sharpness test
US10380469B2 (en) 2012-07-18 2019-08-13 The Boeing Company Method for tracking a device in a landmark-based reference system
US9448758B2 (en) * 2012-07-18 2016-09-20 The Boeing Company Projecting airplane location specific maintenance history using optical reference points
JP6005278B2 (ja) 2012-07-25 2016-10-12 シーメンス アクチエンゲゼルシヤフトＳｉｅｍｅｎｓ Ａｋｔｉｅｎｇｅｓｅｌｌｓｃｈａｆｔ 特に透過性かつ散乱性の表面における三次元測定のためのカラーコーディング
US10321127B2 (en) 2012-08-20 2019-06-11 Intermec Ip Corp. Volume dimensioning system calibration systems and methods
US9779550B2 (en) 2012-10-02 2017-10-03 Sony Corporation Augmented reality system
US20140104413A1 (en) 2012-10-16 2014-04-17 Hand Held Products, Inc. Integrated dimensioning and weighing system
US9076257B2 (en) * 2013-01-03 2015-07-07 Qualcomm Incorporated Rendering augmented reality based on foreground object
JP6281495B2 (ja) * 2013-02-01 2018-02-21 ソニー株式会社 情報処理装置、端末装置、情報処理方法及びプログラム
US10228452B2 (en) 2013-06-07 2019-03-12 Hand Held Products, Inc. Method of error correction for 3D imaging device
US9823059B2 (en) 2014-08-06 2017-11-21 Hand Held Products, Inc. Dimensioning system with guided alignment
US10775165B2 (en) 2014-10-10 2020-09-15 Hand Held Products, Inc. Methods for improving the accuracy of dimensioning-system measurements
US10810715B2 (en) 2014-10-10 2020-10-20 Hand Held Products, Inc System and method for picking validation
US9752864B2 (en) 2014-10-21 2017-09-05 Hand Held Products, Inc. Handheld dimensioning system with feedback
US9897434B2 (en) 2014-10-21 2018-02-20 Hand Held Products, Inc. Handheld dimensioning system with measurement-conformance feedback
US10417766B2 (en) 2014-11-13 2019-09-17 Samsung Electronics Co., Ltd. Method and device for generating metadata including frequency characteristic information of image
US9786101B2 (en) 2015-05-19 2017-10-10 Hand Held Products, Inc. Evaluating image values
US20160377414A1 (en) 2015-06-23 2016-12-29 Hand Held Products, Inc. Optical pattern projector
US9835486B2 (en) 2015-07-07 2017-12-05 Hand Held Products, Inc. Mobile dimensioner apparatus for use in commerce
US20170017301A1 (en) 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
US10249030B2 (en) 2015-10-30 2019-04-02 Hand Held Products, Inc. Image transformation for indicia reading
US10225544B2 (en) 2015-11-19 2019-03-05 Hand Held Products, Inc. High resolution dot pattern
US10025314B2 (en) 2016-01-27 2018-07-17 Hand Held Products, Inc. Vehicle positioning and object avoidance
US10339352B2 (en) 2016-06-03 2019-07-02 Hand Held Products, Inc. Wearable metrological apparatus
US10163216B2 (en) 2016-06-15 2018-12-25 Hand Held Products, Inc. Automatic mode switching in a volume dimensioner
CN105956196B (zh) * 2016-06-15 2019-05-31 汇源印刷包装科技（天津）股份有限公司 一种采用虚拟现实增强技术制作说明书的方法
US10909708B2 (en) 2016-12-09 2021-02-02 Hand Held Products, Inc. Calibrating a dimensioner using ratios of measurable parameters of optic ally-perceptible geometric elements
CN106791748A (zh) * 2017-01-25 2017-05-31 触景无限科技（北京）有限公司 一种台灯的投影处理方法及装置
US11047672B2 (en) 2017-03-28 2021-06-29 Hand Held Products, Inc. System for optically dimensioning
US10733748B2 (en) 2017-07-24 2020-08-04 Hand Held Products, Inc. Dual-pattern optical 3D dimensioning
US10584962B2 (en) 2018-05-01 2020-03-10 Hand Held Products, Inc System and method for validating physical-item security
DE102018215316A1 (de) * 2018-09-10 2020-03-12 Robert Bosch Gmbh Kalibrierungssystem und Kalibrierungsverfahren für eine Fahrzeug-Erfassungseinrichtung
DE102020109121A1 (de) * 2019-04-02 2020-10-08 Ascension Technology Corporation Korrektur von Verzerrungen
US11639846B2 (en) 2019-09-27 2023-05-02 Honeywell International Inc. Dual-pattern optical 3D dimensioning
US10929670B1 (en) 2019-10-21 2021-02-23 The Boeing Company Marker-to-model location pairing and registration for augmented reality applications
US20210262787A1 (en) * 2020-02-21 2021-08-26 Hamamatsu Photonics K.K. Three-dimensional measurement device
CN111386441B (zh) 2020-02-24 2021-02-19 长江存储科技有限责任公司 用于半导体芯片表面形貌计量的***
CN113008160B (zh) * 2020-02-24 2023-02-10 长江存储科技有限责任公司 用于半导体芯片表面形貌计量的***和方法
WO2021168612A1 (en) 2020-02-24 2021-09-02 Yangtze Memory Technologies Co., Ltd. Systems and methods for semiconductor chip surface topography metrology
WO2021168613A1 (en) 2020-02-24 2021-09-02 Yangtze Memory Technologies Co., Ltd. Systems and methods for semiconductor chip surface topography metrology
CN113143196B (zh) * 2021-01-22 2022-02-18 北京嘉铖视欣数字医疗技术有限公司 视觉敏感度确定方法、装置、***、设备及可读存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852672A (en) * 1995-07-10 1998-12-22 The Regents Of The University Of California Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects
JPH0953923A (ja) * 1995-08-10 1997-02-25 Suzuki Motor Corp 立体物の形状検査装置
US6690474B1 (en) * 1996-02-12 2004-02-10 Massachusetts Institute Of Technology Apparatus and methods for surface contour measurement
US6291817B1 (en) 1998-06-23 2001-09-18 Fuji Photo Optical Co., Ltd. Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other
US20020057438A1 (en) * 2000-11-13 2002-05-16 Decker Derek Edward Method and apparatus for capturing 3D surface and color thereon in real time
JP2002296020A (ja) * 2001-03-30 2002-10-09 Nidek Co Ltd 表面形状測定装置
US6850651B2 (en) 2001-07-02 2005-02-01 Corel Corporation Moiré correction in images
US6950211B2 (en) 2001-07-05 2005-09-27 Corel Corporation Fine moire correction in images
US7157229B2 (en) 2002-01-31 2007-01-02 Nimblegen Systems, Inc. Prepatterned substrate for optical synthesis of DNA probes
US7256811B2 (en) 2002-10-25 2007-08-14 Kodak Graphic Communications Canada Company Method and apparatus for imaging with multiple exposure heads
US7119911B2 (en) * 2003-03-07 2006-10-10 Lsa, Inc. Moiré deflectometer including non-mechanical, transparent, spatial light modulators for demonstrating two-axis rulings
US7221479B2 (en) 2003-05-30 2007-05-22 Xerox Corporation Method for avoiding multiple color moirés in color halftoning
EP1519241B1 (en) 2003-09-17 2008-11-26 Ricoh Company, Ltd. Electrophotographic photoreceptor, and image forming apparatus and process cartridge therefor using the electrophotographic photoreceptor
JP4204000B2 (ja) 2003-12-02 2009-01-07 株式会社リコー ディザマトリクス作成方法および装置、画像処理方法および装置、画像形成方法および装置、プログラムおよび記録媒体
US7349105B2 (en) 2004-09-01 2008-03-25 Intel Corporation Method and apparatus for measuring alignment of layers in photolithographic processes
US7212345B2 (en) 2004-09-13 2007-05-01 Eastman Kodak Company Randomized patterns of individual optical elements
GB0427607D0 (en) 2004-12-16 2005-01-19 Microsharp Corp Ltd Structured optical film
US7480076B2 (en) 2005-01-28 2009-01-20 Xerox Corporation Moiré-free color halftone configuration
CN100442140C (zh) * 2005-12-01 2008-12-10 上海交通大学 投影仪生成平移面阵条纹实现累积三维成像的方法
CA2528791A1 (en) * 2005-12-01 2007-06-01 Peirong Jia Full-field three-dimensional measurement method
KR100708352B1 (ko) * 2006-03-07 2007-04-18 한국과학기술원 모아레 원리의 2π 모호성과 위상천이 수단이 없도록실시되는 3차원 형상 측정장치 및 그 방법
US7626730B2 (en) 2006-03-31 2009-12-01 Eastman Kodak Company Method of making a multilevel halftone screen
US7679787B2 (en) 2006-11-30 2010-03-16 Xerox Corporation N-color printing with hexagonal rosettes
US7675651B2 (en) 2006-11-30 2010-03-09 Xerox Corporation Moire-free color halftone configuration employing common frequency vectors
KR100919166B1 (ko) 2007-04-02 2009-09-28 한국과학기술원 스테레오 모아레를 이용한 3차원 형상 측정장치 및 그 방법
CN101298981A (zh) * 2008-05-15 2008-11-05 天津理工大学 平面倾斜角度的光栅衍射条纹测量法
CN101706263B (zh) * 2009-11-10 2012-06-13 倪友群 三维表面测量方法及测量***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150071595A (ko) * 2013-12-18 2015-06-26 마이크로소프트 코포레이션 사전 계산된 조명으로 증강 현실 환경을 구성하는 기법
KR20160045994A (ko) * 2014-10-17 2016-04-28 주식회사 케이티 증강 현실 비디오 게임을 제공하는 방법, 디바이스 및 시스템
KR20200020620A (ko) * 2018-08-17 2020-02-26 베나노 아이엔씨 3차원 스캔 시스템
US11226198B2 (en) 2018-08-17 2022-01-18 Benano Inc. Three-dimensional scanning system

Also Published As

Publication number Publication date
JP5592014B2 (ja) 2014-09-17
KR101396370B1 (ko) 2014-05-19
CN102893124B (zh) 2015-05-20
US20120082383A1 (en) 2012-04-05
US8532340B2 (en) 2013-09-10
CN102893124A (zh) 2013-01-23
WO2012044300A1 (en) 2012-04-05
JP2013540988A (ja) 2013-11-07

Similar Documents

Publication Publication Date Title
KR101396370B1 (ko) 고해상도의 텍스처 추출을 위한 시스템, 방법 및 컴퓨터 판독가능 저장 매체를 포함하는 기술
JP6911045B2 (ja) 日常シーン復元エンジン
US10223839B2 (en) Virtual changes to a real object
CN108765548A (zh) 基于深度相机的三维场景实时重建方法
US20130215132A1 (en) System for reproducing virtual objects
Kang et al. Learning efficient illumination multiplexing for joint capture of reflectance and shape.
MX2013003853A (es) Modelado tridimensional rápido.
CN105264566A (zh) 建模装置、三维模型生成装置、建模方法、程序和布局模拟器
US11663775B2 (en) Generating physically-based material maps
Gibson et al. Interactive reconstruction of virtual environments from video sequences
US20160189434A1 (en) System for reproducing virtual objects
TW201423499A (zh) 具游標旋轉能力的光學滑鼠、移動偵測器與方法
CN109521879A (zh) 交互式投影控制方法、装置、存储介质及电子设备
CN104574357A (zh) 定位带有已知图形的基准点的***和方法
CN110398215A (zh) 图像处理装置和方法，***，物品制造方法，存储介质
Zhuang Film and television industry cloud exhibition design based on 3D imaging and virtual reality
JP6425406B2 (ja) 情報処理装置、情報処理方法、プログラム
Meister On creating reference data for performance analysis in image processing
BARON et al. APPLICATION OF AUGMENTED REALITY TOOLS TO THE DESIGN PREPARATION OF PRODUCTION.
Van Wyk Markerless augmented reality on ubiquitous mobile devices with integrated sensors
JP2007293550A (ja) ポリゴンメッシュ編集方法、装置、システム及びプログラム
Mashita et al. Parallel lighting and reflectance estimation based on inverse rendering
Eilertsen et al. A versatile material reflectance measurement system for use in production
Ge et al. Camera calibrating method for smart phone based on web image
Doest Instrumentation for Estimating Surface Radiometry

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190507

Year of fee payment: 6