KR101642055B1 - 모션 블러 인식 시각적 포즈 추적 - Google Patents

Abstract

2 개 이상의 디지털 이미지들에 걸쳐 물체들을 추적하기 위해 전자 디바이스에 의해 사용하기 위해 구현될 수 있는 다양한 방법들, 장치들 및/또는 제조 물품이 제공된다. 예를 들면, 전자 디바이스는 기준 이미지의 기준 패치에 대응하는 복수의 워프 패치들을 생성하고, 추적될 물체의 키포인트에 대응하는 디지털 표현에 적용되는 모션 블러 효과를 통해 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 2 개 이상의 워프 패치들을 결합할 수 있다.

Description

모션 블러 인식 시각적 포즈 추적{MOTION BLUR AWARE VISUAL POSE TRACKING}

본원은 2013년 3월 13일 출원된 미국 정식 특허 출원 제 13/801,601 호에 대해 우선권을 주장하는 PCT 출원이고, 이것은 인용에 의해 본원에 그 전체가 포함된다.

[0001] 본원에 개시된 청구 대상은 전자 디바이스들, 및 더 구체적으로 모션 블러 효과를 기준 디지털 이미지의 키포인트에 적용하는 것에 적어도 부분적으로 기초하여 2 개 이상의 디지털 이미지들에 걸쳐 물체들을 추적하기 위해 전자 디바이스에 의해 사용하기 위한 방법들, 장치들 및 제조 물품들에 관한 것이다.

[0002] 다양한 물체 식별 및 추적 기술들이 컴퓨터 비전을 지원하기 위해 개발되었고, 계속해서 개발되고 있다. 예로서, 상이한 디지털 이미지들, 예를 들면, 상이한 시간들에서 캡처된 디지털 이미지들의 시퀀스, 비디오 스트림 등에 걸쳐 물체들의 특징(예를 들면, 키포인트) 검출 및 매칭을 제공하기 위한 특정 기술들이 개발되었다.

[0003] 컴퓨터 비전의 사용들은 끝이 없는 것처럼 보인다. 그러한 기술의 하나의 초기의 사용은 제조 프로세스에 수반된 특정 물체들을 식별하기 위한 제조 로봇들에 대한 컴퓨터 비전의 사용을 포함하였다. 그러한 예들에서, 공정하게 정적 장면 및/또는 적어도 예측 가능한 동적 장면일 수 있는 것의 프로세싱을 보조하기 위해 상당한 양의 프로세싱 전력 및 과도한 센서들 및/또는 카메라들을 제공하는 것이 가능할 수 있다.

[0004] 최근의 컴퓨터 비전의 하나의 극적인 사용은, 휴대용 전자 디바이스의 사용자에 대해 "증강 현실"에 대한 그의 사용이다. 여기서, 예를 들면, 휴대용 전자 디바이스는 주변 환경 내의 특정 물체들을 식별 및 추적하기 위해 컴퓨터 비전 기술들을 사용할 수 있고, 그의 주변을 인식할 때, 캡처되어 사용자에게 디스플레이되는 실시간 비디오 상에 부가적인 정보를 중첩할 수 있다. 따라서, 예를 들면, 모바일 폰의 사용자는 특히 사업들, 제품들, 서비스들, 정보 등과 같은 특정 물체들을 증강할 수 있다.

[0005] 불행하게도, 공정하게 제어되는 환경에서 강인한 제조 로봇들의 예와 달리, 휴대용 전자 디바이스는 제한된 프로세싱 전력을 갖고, 시간들에서 엄첨나게 동적일 수 있는 환경에서 자신, 예를 들면, 분주한 쇼핑 몰, 공항 터미널 등을 통해 걷고 있는 사용자를 발견할 수 있다.

[0006] 이들 및 다른 이유들로, 컴퓨터 비전에 적용될 수 있고 특히 동적으로 활동적인 환경들에서 물체들을 효율적인 방식으로 식별하고 가능하게는 추적하기 위한 기술들에 대한 계속된 필요성이 존재한다.

[0007] 특정 양상들에 따라, 전자 디바이스에서 구현될 수 있는 방법은, 기준 디지털 이미지에 표현된 물체의 적어도 일부에 대응하는 기준 패치(reference patch)를 식별하는 단계 ― 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 물체의 적어도 키포인트를 표현함 ― , 모델링된 포즈 변화 효과들을 키포인트의 디지털 표현에 선택적으로 적용함으로써, 기준 패치에 대응하는 복수의 워프 패치들(warped patches)을 생성하는 단계, 및 키포인트의 디지털 표현에 적용된 모션 블러 효과를 통해 기준 패치에 대응하는 블러링된 워프 패치(blurred warped patch)를 형성하기 위해 복수의 워프 패치들 중 적어도 2 개를 결합하는 단계를 포함할 수 있다.

[0008] 특정 다른 양상들에 따라, 전자 디바이스에서 사용하기 위한 장치가 제공될 수 있다. 장치는 기준 디지털 이미지에 표현된 물체의 적어도 일부에 대응하는 기준 패치를 식별하기 위한 수단 ― 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 물체의 적어도 키포인트를 표현함 ― , 모델링된 포즈 변화 효과들을 키포인트의 디지털 표현에 선택적으로 적용함으로써, 기준 패치에 대응하는 복수의 워프 패치들을 생성하기 위한 수단, 및 키포인트의 디지털 표현에 적용된 모션 블러 효과를 통해 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 복수의 워프 패치들 중 적어도 2 개를 결합하기 위한 수단을 포함할 수 있다.

[0009] 또 다른 양상들에 따라, 메모리, 및 프로세싱 유닛을 포함하는 전자 디바이스가 제공될 수 있고, 프로세싱 유닛은 기준 디지털 이미지에 표현된 물체의 적어도 일부에 대응하는 기준 패치를 식별하고 ― 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 물체의 적어도 키포인트를 표현함 ― , 모델링된 포즈 변화 효과들을 키포인트의 디지털 표현에 선택적으로 적용함으로써, 기준 패치에 대응하는 복수의 워프 패치들을 생성하고, 그리고 키포인트의 디지털 표현에 적용된 모션 블러 효과를 통해 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 복수의 워프 패치들 중 적어도 2 개를 결합한다.

[0010] 또 다른 양상에 따라, 컴퓨터 구현 가능 명령들이 저장된 비일시적인 컴퓨터 판독 가능 매체를 포함하는 제조 물품이 제공될 수 있고, 컴퓨터 구현 가능 명령들은, 기준 디지털 이미지에 표현된 물체의 적어도 일부에 대응하는 기준 패치를 식별하고 ― 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 물체의 적어도 키포인트를 표현함 ― , 모델링된 포즈 변화 효과들을 키포인트의 디지털 표현에 선택적으로 적용함으로써, 기준 패치에 대응하는 복수의 워프 패치들을 생성하고, 그리고 키포인트의 디지털 표현에 적용된 모션 블러 효과를 통해 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 복수의 워프 패치들 중 적어도 2 개를 결합하도록, 전자 디바이스 내의 프로세싱 유닛에 의해 실행 가능하다.

[0011] 비-제한적이며, 총망라하지 않은 양상들이 후속하는 도면들을 참조하여 설명되며, 여기서 동일한 참조 숫자들은, 다른 방식으로 특정되지 않는 한, 다양한 도면들 전반에 걸쳐 동일한 부분들을 지칭한다.
[0012] 도 1은 예시적인 구현에 따른, 기준 디지털 이미지의 키포인트로의 모션 블러 효과의 적용에 적어도 부분적으로 기초하여 2 개 이상의 디지털 이미지에 걸쳐 물체들을 추적하기 위한 적어도 하나의 전자 디바이스를 포함하는 대표적인 전자 디바이스들의 어레인지먼트를 예시한 개략적인 블록도이다.
[0013] 도 2는 예시적인 구현에 따른, 예시적인 단일 디지털 이미지 샘플, 예시적인 디지털 이미지 및 예시적인 복수의 디지털 이미지 샘플들에 대한 노출 시간들을 예시한 3 개의 타임 라인 그래프들을 포함하고, 이들 중 후자는 기준 디지털 이미지의 키포인트에 모션 블러 효과를 적용하는데 사용하도록 적응될 수 있다.
[0014] 도 3은 예시적인 구현에 따른, 예시적인 포워드 맵핑 기술 및 예시적인 백워드 맵핑 기술을 예시한 2 개의 개략도들을 포함하고, 이들 중 하나 이상은 기준 디지털 이미지의 키포인트에 모션 블러 효과를 적용하는데 사용하도록 적응될 수 있다.
[0015] 도 4는 예시적인 구현에 따른, 모션 블러 인식 시각적 포즈 추적을 지원하기 위해 전자 디바이스 내에서 구현될 수 있는 예시적인 작업 흐름을 예시한 개략적인 블록도이다.
[0016] 도 5는 예시적인 구현에 따른, 적어도 모션 블러 효과를 기준 디지털 이미지의 키포인트에 적용하기 위해 전자 디바이스 내에서 구현될 수 있는 예시적인 프로세스를 예시한 흐름도이다.
[0017] 도 6은 예시적인 구현에 따른, 적어도 모션 블러 효과를 기준 디지털 이미지의 키포인트에 적용하기 위한 예시적인 전자 디바이스의 특정 특징들을 예시한 개략도이다.

[0018] 다양한 물체 식별 및 추적 기술들이 컴퓨터 비전을 지원하기 위해 개발되었고, 계속해서 개발되고 있다. 예로서, 2 개 이상의 디지털 이미지들에 걸쳐 물체들의 특징(예를 들면, 키포인트) 검출 및 매칭을 제공하기 위한 특정 기술들이 개발되었다.

[0019] 그러한 예시적인 기술들은 또한, 추적된 물체가 정적 또는 동적 장면의 디지털 이미지 내에서 어떻게 보이는지에 영향을 줄 수 있는 특정 변화들(예를 들면, 모델링된 포즈 변화들)을 확인하기 위해 이미지 전부 또는 부분을 선택적으로 변환 및/또는 그렇지 않다면 그에 영향을 주기 위해 다양한 워핑(warping) 기술들 등을 적용하거나 그렇지 않다면 사용할 수 있다.

[0020] 예를 들면, 워핑 기술 등은 디지털 이미지를 캡처하는데 사용되는 카메라에 관련된 변화들을 확인하기 위해 이미지의 전부 또는 부분에 영향을 줄 수 있다. 예를 들면, 모델링된 포즈 변화는 카메라의 관점, 카메라에 의해 캡처된 이미지 스케일에서의 변화, 카메라의 시야에서의 변화, 카메라의 배향에서의 변화, 캡처된 이미지의 노출 시간에서의 변화 등에 관련될 수 있다. 따라서, 워핑 기술 등은, 시간에 걸친 카메라의 포지셔닝, 동작 등에서의 변동들의 결과로서 하나 이상의 물체들이 특정 디지털 이미지 내에서 어떻게 보일 수 있는지에 관련된 변화들을 확인하기 위해 이미지의 전부 또는 부분에 영향을 줄 수 있다.

[0021] 또한, 특정 워핑 기술들 등은 동적 장면 내의 변화들의 결과로서 하나 이상의 물체들이 특정 디지털 이미지 내에서 어떻게 보일 수 있는지에 관련된 변화들을 확인하기 위해 이미지의 전부 또는 부분에 영향을 줄 수 있다. 따라서, 모델링된 포즈 변화는, 물체가 경험할 수 있는 다양한 타입들의 움직임(예를 들면, 6DOF(six degrees of freedom) 중 하나 이상)에 관련될 수 있다. 따라서, 예를 들면, 모델링된 포즈 변화는 위로 또는 아래로의 병진 움직임들, 우로 또는 좌로의 병진 움직임들, 카메라로부터 멀리 또는 카메라를 향한 병진 움직임들, 물체의 피치에 영향을 주는 회전 움직임들, 물체의 편향(yaw)에 영향을 주는 회전 움직임들 및/또는 물체의 롤(roll)에 영향을 주는 회전 움직임들에 관련될 수 있다.

[0022] 컴퓨터 비전에 적용되는 일부 실시간 및 오프-라인 기술들은, 카메라의 노출 시간들이 장면 내의 물체의 특정 움직임들에 대해 매우 짧은 경향이 있기 때문에, 가능하게는 카메라 및 장면이 그러한 노출 시간들 동안에 정적인 것으로 추정되기 때문에 또는 가능하게는 계산적인 제약들로 인해, 디지털 이미지들이 카메라의 노출 시간에 의해 영향을 받지 않는다고 가정한다.

[0023] 그럼에도 불구하고, 특히, 모바일 폰들과 같은 휴대용 전자 디바이스들에 관련하여 특정 경우들에서, 장면에 대한 카메라의 위치는 노출 시간의 듀레이션 동안에 정적이지 않을 수 있고, 이것은 디지털 이미지에서 모션 블러를 유도할 수 있다. 마찬가지로, 모션 블러는 장면 내의 하나 이상의 물체들의 움직임의 결과로서 그의 노출 시간 동안에 디지털 이미지에 도입될 수 있다. 예상될 수 있듯이, 디지털 이미지의 전부 또는 부분에서 나타나는 모션 블러의 양은 변동할 수 있고, 노출 시간이 증가함에 따라 증가하는 경향이 있다. 따라서, 디지털 이미지의 전부 또는 부분에서 나타나는 모션 블러의 양은, 예를 들면, 다양한 움직임들에 관련하여 충분히 짧은 충분한 노출 시간이 주어지면, 감소되거나 가능하게는 심지어 회피될 수 있다. 그러나, 더 짧은 노출 시간들은 선택을 위해 이용 불가할 수 있고 및/또는 원하는 결과들에 대해 심지어 적절하지 않을 수 있다. 대신에, 잘 알려진 바와 같이, 노출 시간은 이미지 캡처 유닛에 관련된 다양한 요인들(예를 들면, 카메라 및/또는 카메라 렌즈, 지원하는 전자기기 등의 능력 및/또는 동작 설정), 장면(예를 들면, 광의 양 등), 특정 원하는 결과들(예를 들면, 사용자 입력들 등에 기초함) 등 또는 이들의 일부 조합에 기초하여 선택될 수 있다.

[0024] 특정 양상들에 따라, 예를 들면, 이미지들의 시퀀스, 비디오 스트림 등과 같이 시간 기간에 걸쳐 캡처되는 하나 이상의 디지털 이미지들에 도입될 수 있는 특정 모션 블러를 확인하고, 가능하게는 이를 측정하기 위해 구현될 수 있는 기술들이 본원에 제공된다.

[0025] 더 구체적으로 그리고 처음의 예로서, 복수의 디지털 이미지들에 걸쳐 추적하기 위한 물체에 대한 기준 디지털 이미지의 적어도 일부(예를 들면, 실질적으로 블러링되지 않는 기준 패치(patch))에 대한 모션 블러 효과를 추정하도록 구현될 수 있는 기술들이 본원에 제공된다. 특정 예들에서, 특정 기준 패치에 대응하는 블러링된 워프 패치는, 모션 블러 효과에 적어도 부분적으로 기초하여 생성될 수 있다. 더 구체적으로, 예를 들면, 모션 블러 효과는 기준 패치에서 식별되는 물체의 키포인트의 디지털 표현을 의도적으로 블러링하도록 적용될 수 있다. 또한, 특정 예들에서, 모델링된 포즈 변화 효과는 키포인트의 디지털 표현을 워핑하도록 적용될 수 있다.

[0026] 따라서, 특정 예들에서, 추적하기 위한 물체의 적어도 하나의 식별된 키포인트에 대응하는 선택적으로 블러링되고 워핑된 버전의 기준 패치를 나타내는 블러링된 워프 패치가 생성될 수 있다. 따라서, 예를 들면, 추적기 기능 등은, 블러링된 워프 패치가 디지털 이미지의 적어도 일부와 만족스럽게 매칭하는지를 결정할 수 있다.

[0027] 특정 구현들에 따라, 만족스러운 매치를 식별하기 위한 노력으로 다양한 후부 블러링된 워프 패치들을 생성하고 테스팅하기 위한 다양한 반복적인 및/또는 적응적인 기술들이 사용될 수 있다. 특정 구현들에 따라, 예를 들면, 만족스럽게 적용된 모션 블러 효과를 식별하는 것에 적어도 부분적으로 기초하여 특정 디지털 이미지의 적어도 일부에 대한 모션 블러의 양을 추정하기 위한 기술들이 적용될 수 있다. 또한, 인지될 수 있듯이, 그러한 모션 블러의 추정된 양의 지식은, 후속 디지털 이미지에 대응하는 후보 블러링된 워프 패치들을 생성하는데 있어서 고려될 수 있다.

[0028] 그러한 블러링된 워프 기준 패치들의 이용 가능성이 추적 강인성, 품질 및/또는 속도를 상당히 증가시킬 수 있다는 것을 당업자들은 인지해야 한다. 특정 구현들은, 예를 들면, 모션 블러 하에서 더 정확하고 강인한 추적을 제공할 수 있고, 이것은 프로세싱 시간 및 전력 소비를 감소시킬 수 있다.

[0029] 본원에 제공된 기술들이, 예를 들면, 디지털 이미지들의 시퀀스, 비디오 스트림 등의 전부 또는 부분을 실시간으로 캡처 및 생성할 수 있는 휴대용 전자 디바이스들을 포함하는 다양한 전자 디바이스들 및/또는 그렇지 않다면 그러한 콘텐츠의 전부 또는 부분의 실시간 및/또는 오프-라인의 프로세스에서 구현될 수 있다는 것을 당업자들은 또한 인지해야 한다.

[0030] 특정 예시적인 구현들에 따라, 전자 디바이스는, 적어도 하나의 기준 디지털 이미지에 표현된 물체의 적어도 일부에 대응하는 적어도 하나의 기준 패치를 식별할 수 있다. 여기서, 예를 들면, 그러한 기준 패치는, 예를 들면, 이미지들의 시퀀스, 비디오 스트림 등 내에서 추적하기 위한 물체의 적어도 하나의 키포인트를 포함할 수 있다. 전자 디바이스는, 예를 들면, 키포인트에 적용되는 적어도 하나의 모션 블러 효과에 적어도 부분적으로 기초하여 기준 패치에 대응하는 적어도 하나의 블러링된 워프 패치를 생성할 수 있다. 전자 디바이스는, 예를 들면, 블러링된 워프 패치가 적어도 하나의 디지털 이미지의 적어도 일부와 만족스럽게 매칭하는지를 결정할 수 있다.

[0031] 특정 예시적인 구현들에 따라, 전자 디바이스는, 예를 들면, 적어도 하나의 키포인트의 적어도 하나의 디지털 표현을 워핑하도록 적용되는 적어도 하나의 모델링된 포즈 변화 효과에 적어도 부분적으로 기초하여 적어도 하나의 기준 패치에 대응하는 적어도 하나의 블러링된 워프 패치를 생성할 수 있다.

[0032] 특정 예시적인 구현들에 따라, 전자 디바이스는, 예를 들면, "백워드 맵핑" 접근법에 적어도 부분적으로 기초하여 적어도 하나의 기준 패치에 대응하는 적어도 하나의 블러링된 워프 패치를 생성할 수 있다. 예를 들면, 특정 백워드 맵핑 접근법들에서, 복수의 시점들에서 정해진 키포인트를 나타내는 복수의 디지털 이미지 샘플들이 획득될 수 있고, 여기서 디지털 이미지 샘플들의 키포인트 위치는 변하지 않게 되고, 반면에 패치들이 기준 이미지에서 샘플링되는 위치가 변동한다.

[0033] 따라서, 예를 들면, 전자 디바이스는 모션 블러 효과를 생성하기 위해 복수의 디지털 이미지 샘플들을 결합함으로써 블러링된 워프 패치를 생성할 수 있다. 예를 들면, 특정 예들에서, 전자 디바이스는, 예를 들면, 백워드 맵핑 접근법의 부분으로서 픽셀 평균화 등을 사용하여 복수의 디지털 이미지 샘플들의 대응하는 부분들을 결합할 수 있다.

[0034] 특정 예시적인 구현들에 따라, 블러링된 워프 패치는 단일 디지털 이미지 샘플에 기초할 수 있어서, 전자 디바이스는, 예를 들면, 블러링된 워프 패치가 만족스러운 매치를 생성한다는 결정에 응답하여, 키포인트가 충분히 블러가 없다고 결정할 수 있다. 따라서, 특정 예들에서, 초기의 블러링된 워프 패치는, 현재 디지털 이미지가, 예를 들면, 일부 블러가 적용되는 경우에, 하나 이상의 부가적인 블러링된 워프 패치들로 계속하도록 충분히 블러링될 수 있거나 블러링될 수 없는지 여부를 결정하기 위해, 기준 이미지의 단일 디지털 샘플에 기초할 수 있다.

[0035] 특정 예시적인 구현들에 따라, 전자 디바이스는, 예를 들면, 블러링된 워프 패치가 만족스러운 매치를 생성하는데 실패하였다는 결정에 응답하여, 키포인트에 적용되는 다른(상이한) 모션 블러 효과에 적어도 부분적으로 기초하여 기준 패치에 대응하는 후속 블러링된 워프 패치를 선택적으로 생성할 수 있다.

[0036] 특정 예시적인 구현들에 따라, 전자 디바이스는, 예를 들면, 적어도 하나의 기준 디지털 이미지에 표현된 물체의 적어도 다른 부분에 대응하는 제 2 기준 패치를 식별할 수 있다. 여기서, 예를 들면, 제 2 기준 패치는 2 개 이상의 디지털 이미지들에서 추적하기 위한 물체의 제 2 키포인트를 포함할 수 있다. 또한, 특정 예시적인 구현들에서, 물체에 대해 추정된 모션 블러 효과가 정확성의 임계 레벨을 만족시킨다는 결정에 응답하여, 전자 디바이스는, 제 2 키포인트에 적용되는 모션 블러 효과에 적어도 부분적으로 기초하여 적어도 하나의 제 2 기준 패치에 대응하는 적어도 하나의 제 2 블러링된 워프 패치를 생성할 수 있다.

[0037] 특정 예시적인 구현들에 따라, 전자 디바이스는, 예를 들면, 기준 디지털 이미지, 디지털 이미지 샘플 및/또는 디지털 이미지 중 하나 이상의 적어도 일부를 선택적으로 스케일링할 수 있다.

[0038] 이제 도 1이 주목되고, 도 1은, 예시적인 구현에 따라, 기준 디지털 이미지(120)의 물체(122)의 적어도 키포인트(126)의 디지털 표현으로의 모션 블러 효과의 적용에 적어도 부분적으로 기초하여 이미지들(129)의 시퀀스, 비디오 스트림(130) 등에서 디지털 이미지들(132)에 걸쳐 물체들을 추적하기 위한 적어도 하나의 전자 디바이스(110)를 포함하는 대표적인 전자 디바이스들의 어레인지먼트(100)를 예시한 개략적인 블록도이다.

[0039] 예시된 바와 같이, 전자 디바이스(110)는 블러링된 워프 패치(116)를 생성하기 위한 장치(112) 또는 이를 생성하는데 있어서 보조자를 포함할 수 있고, 이것은 모션 블러 인식 시각적 포즈 추적기(114)로 고려될 수 있다. 이러한 예에서, 블러링된 워프 패치(116)는, 물체(122)의 디지털 표현의 부분으로서 기준 이미지(120) 내에 예시된 기준 패치(128)에 대응할 수 있다. 추가로 예시된 바와 같이, 기준 패치(128)는, 물체의 시각적 특징의 부분으로서 여기에 예시된 적어도 하나의 키포인트(126)를 포함할 수 있다. 이러한 예에서 기준 이미지(120)는 물체(122)의 2 차원 프로젝션을 포함하고, 이러한 예에서 물체(122)의 2 차원 프로젝션은, 예를 들면, 장면(102) 내에서 실제 공간에서의 3차원 물체(122')를 나타내도록 의도된다.

[0040] 이전에 언급된 바와 같이, 장면(102)은 특정 예들에서 정적 장면을 나타내고, 여기서 물체(122')는 적어도 디지털 이미지(132)를 캡처하는 것과 연관된 노출 시간 동안에 정적인 상태를 유지한다. 따라서, 정적 장면이 디지털 이미지(132)에서 어떠한 모션 블러도 도입하지 않아야 하지만, 디지털 이미지(132)를 캡처하는 것과 연관된 노출 시간 중 적어도 일부 동안에 움직이는 카메라(106)의 결과로서, 그러한 모션 블러가 여전히 발생할 수 있다. 다른 예들에서, 장면(102)은 동적 장면을 나타낼 수 있고, 여기서 물체(122')는 디지털 이미지(132)를 캡처하는 것과 연관된 노출 시간 중 적어도 일부 동안에 일부 방식으로 움직일 수 있다. 따라서, 동적 장면에 의해 및/또는 디지털 이미지(132)를 캡처하는 것과 연관된 노출 시간 중 적어도 일부 동안에 움직이는 카메라(106)의 결과로서, 모션 블러가 디지털 이미지(132)에 도입될 수 있다.

[0041] 이러한 예에서, 디지털 이미지(132)의 선택적인 캡처링을 허용할 수 있는 렌즈(108)를 포함하는 카메라(106)가 예시된다. 이러한 예에서, 전자 디바이스(110)는 접속부(109)를 통해 카메라(106)에 접속되는 것으로 예시된다. 여기서, 접속부(109)는, 전자 디바이스(110)가 적어도 부분적으로 카메라(106)에 의해 생성되는 디지털 이미지들(129) 및/또는 비디오 스트림(130), 디지털 이미지들(1 내지 9) 및/또는 비디오 스트림(130)을 이를 통해 획득할 수 있는 하나 이상의 다른 디바이스들, 접속들, 네트워크들 등 또는 이들의 임의의 조합의 전부 또는 부분을 나타내도록 의도된다. 따라서, 예를 들면, 특정 예들에서, 접속부(109)는 이미지 캡처 유닛(카메라(106)를 포함할 수 있음)을 나타낼 수 있고, 이것은 디지털 이미지들(129) 및/또는 비디오 스트림(130)의 전부 또는 부분에 대응하는 데이터 및/또는 컴퓨터 구현 가능 명령들을 나타내는 하나 이상의 전자 신호들을 일부 방식으로 프로세싱, 저장, 포워딩 및/또는 그렇지 않다면 처리할 수 있다. 또한, 접속부(109)가 하나 이상의 유선 또는 광섬유 접속들 및/또는 하나 이상의 무선 통신 링크들을 나타낼 수 있다는 것이 이해되어야 한다.

[0042] 카메라(106)가 전자 디바이스(110)에 접속된 것으로 도 1에 예시되지만, 특정 다른 구현들에서, 전자 디바이스(110)가 카메라(106)뿐만 아니라 렌즈(108)를 포함할 수 있다는 것을 명심해야 한다. 그러한 전자 디바이스들의 몇몇 명확한 예들은 셀룰러 텔레폰들, 스마트 폰들, 태블릿 컴퓨터들, 랩톱 컴퓨터들, 착용 가능 컴퓨터들, 디지털 카메라들 등과 같은 다양한 휴대용 전자 디바이스들을 포함한다. 따라서, 예를 들면, 접속부(109)는 전자 디바이스(110) 내의 내부 접속기 및/또는 다양한 회로들을 나타낼 수 있다.

[0043] 특정 예시적인 구현들에서, 장치(112)는 기준 이미지(120)에 표현된 물체(122)의 적어도 일부에 대응하는 기준 패치(128)를 식별하고, 예를 들면, 적어도 키포인트(126)에 적용된 모션 블러 효과에 적어도 부분적으로 기초하여 기준 패치(128)에 대응하는 블러링된 워프 패치(116)를 생성할 수 있다. 본원에 제시된 바와 같이, 기준 패치(128), 블러링된 워프 패치(116) 및 디지털 이미지(132)의 부분(134) 각각은 특정 크기의 픽셀들의 어레이를 포함할 수 있다. 따라서, 그러한 픽셀들의 어레이는 N × M 픽셀들의 어레이를 포함할 수 있고, N 및 M 각각은 2보다 더 큰 정수 값을 나타낼 수 있고, 특정 예들에서, N은 M과 동일할 수 있다. 따라서, 비제한적인 예로서, 특정 구현들에서, N = 8 및 M =8이다. 디지털 이미지(132)의 부분(134)에 예시된 바와 같이, 부분(134)이 디지털 이미지(132)를 포함하는 픽셀들의 2 차원 어레이보다 상당히 더 작다고 가정된다.

[0044] 이전에 언급된 바와 같이, 특정 예시적인 구현들에서, 블러링된 워프 패치(116)를 생성하기 위해, 장치(112)는 또한 적어도 키포인트(126)의 디지털 표현을 워핑하기 위해 모델링된 포즈 변화 효과를 적용할 수 있다.

[0045] 장치(112) 및/또는 추적기(114)는 블러링된 워프 패치(116)가 디지털 이미지(132)의 적어도 일부(134)와 만족스럽게 매칭하는지를 후속으로 결정할 수 있다.

[0046] 특정 예시적인 구현에서, 물체(122)의 키포인트(126)는 디지털 이미지들에 걸쳐 물체의 포즈(위치 및 배향)를 추적하는 것을 가능하게 하기 위해 식별될 수 있다. 포인트-기반 방법들은, 예를 들면, 이미지 내의 지원 영역들(키포인트들을 커버 또는 시각적으로 나타내는 패치들)을 비교함으로써 키포인트들을 매칭시킬 수 있다. 이러한 방법들은 기준 이미지(들)(120)와 디지털 이미지(들)(132) 사이의 충분한 수의 키포인트들을 매칭시킴으로써 물체의 포즈를 찾는 것을 허용할 수 있다. 따라서, 예시적인 추적기(114)는, 일부 목표 또는 임계치(예를 들면, 일 백 개의 매치들)가 만족될 때까지 임의의 수의 키포인트들을 비교할 수 있다. 이어서, 기준 이미지 내의 키포인트 매치들은 카메라에 대해 물체의 포즈를 특징화하는데 사용될 수 있다.

[0047] 특정 구현에서, 현재 카메라 이미지로부터의 블러링된 패치들에 대해 기준 이미지로부터의 클린(블러링되지 않은) 기준 패치들을 비교하는 것 대신에, 블러링된 워프 패치들(116)은, 예를 들면, 블러링된 워프 패치들이 디지털 이미지(들)(132)에서 캡처된 키포인트들을 시각적으로 더 양호하게 표현하도록 하나 이상의 모션 블러 효과들을 적용함으로써, 대응하는 기준 패치들로부터 생성될 수 있다. 그러한 기술들은, 예를 들면, 감소된 프로세싱으로 개선된 매칭을 가능하게 할 수 있는데, 왜냐하면 디지털 이미지 내의 목표 수의 매칭 부분들이 발견될 때까지, 더 적은 키포인트들이 프로세싱될 필요가 있을 수 있기 때문이다.

[0048] 특정 구현에서, 매우 짧은 노출로 캡처된 다수의 이미지들은 상대적으로 더 긴 노출 시간을 통한 단일 이미지의 이미징 프로세스를 근사화하는데 사용될 수 있다(아래의 도 2 참조). 이전에 언급된 바와 같이, 이러한 샘플들의 생성은 근사화된 블러와 상당히 독립적일 수 있고, 따라서 효율적인 방법들(간단한 이중 선형 워핑 등)이 사용될 수 있다. 따라서, 특정 구현들에서, 블러링된 워프 패치(116)는, 예를 들면, 기준 이미지 내의 키포인트에 걸쳐 시간적인 샘플 패치들에 적용되는 픽셀 평균화 동작을 적어도 부분적으로 사용하여 생성될 수 있다. 특정 예시적인 구현들에서, 각각의 샘플이 6DOF 카메라 포즈 정보에 기초하여 아핀으로(affinely) 워핑함으로써 생성될 수 있기 때문에, 블러링된 워프 패치는, 예를 들면, 특정 디지털 스팀 포토 개선 애플리케이션들 등에 제공되는 순수한 2차원 풀-이미지 블러링 동작에 의해 항상 처리되지는 않을 수 있는, 줌을 포함하는 임의적인 카메라 모션들을 정확히 모델링하도록 프로세싱될 수 있다.

[0049] 따라서, 도 2는 충분히 블러가 없도록 충분히 짧을 수 있는 예시적인 단일 디지털 이미지 샘플에 대한 노출 시간(타임 라인 상의 폭)을 예시한 제 1 타임 라인 그래프(200), 약간의 블러를 발생시키기에 충분히 길 수 있는 예시적인 디지털 이미지에 대한 비교적 더 긴 노출 시간을 예시한 제 2 타임 라인 그래프(202), 및 복수의 디지털 이미지 샘플들을 결합함으로써 타임 라인 그래프(202)에서와 같이 상대적으로 더 긴 노출 시간이 근사화될 수 있는 방법을 예시한 제 3 타임 라인 그래프(204)를 포함한다. 따라서, 특정 예들에서, 복수의 디지털 이미지 샘플들은 기준 디지털 이미지의 키포인트에 모션 블러 효과를 적용하는데 사용하기 위해 결합될 수 있다. 제 3 타임 라인 그래프(204)가 5 개의 디지털 이미지 샘플들을 포함하지만, 다른 예시적인 구현들에서, 복수의 디지털 이미지 샘플들이 2 개 이상의 디지털 이미지 샘플들을 포함할 수 있다는 것을 명심해야 한다.

[0050] 특정 예시적인 구현들에서, 예를 들면, 제 3 타임 라인 그래프(204)에서와 같이, 복수의 디지털 이미지 샘플들을 캡처하기 위한 전체 시간 기간은, 예를 들면, 제 2 타임 라인 그래프(202)에서와 같이 디지털 이미지에 대한 노출 시간의 듀레이션과 실질적으로 동일할 수 있다.

[0051] 특정 양상들에 따라, 블러링된 패치들을 생성하기 위한 노력은 블러링된 워프 패치마다 필요로 되는 샘플들의 수에 직접적으로 관련될 수 있다. 예로서, 샘플들의 수는 예상되거나 모델링되는 모션 블러의 양에 의존할 수 있다. 따라서, 비교적은 작은 양들의 모션 블러에 대해, 특정 예들에서, 단지 소수의 샘플들이 필요할 수 있고, 실제로, 만일 존재하면, 극히 적은 뚜렷한 블러의 경우에서, 단일 샘플만이 필요할 수 있다. 샘플들의 수는, 예를 들면, 블러링 커널을 얼마나 정확히 근사화하고자 하는지에 의존할 수 있다. 그러나, 이것을 염두해 두고, 특정 예들에서, 특정 레벨의 정확성을 달성하면서, 취해진 샘플들의 수를 제한하는 것이 가능할 수 있다. 따라서, 예를 들면, 특정 구현들에서, 하나의 구현은 8 개의 샘플들 또는 그 미만에 의존할 수 있지만, 청구된 청구 대상은 그렇게 제한되도록 의도되지 않는다.

[0052] 이전에 언급된 바와 같이, 블러링된 워프 패치들(116)은, 다양한 맵핑 및/또는 다른 유사한 알려진 워핑/변환 기술들, 예를 들면, 도 3의 개략도(300)에 표현된 포워드 맵핑 기술, 도 3의 개략도(302)에 표현된 백워드 맵핑 기술 등 또는 이들의 일부 조합을 사용하여 모션 블러 효과 및/또는 모델링된 포즈 변화 효과를 적용함으로써 생성될 수 있다. 특정 예시적인 구현들에서, 개략도(302)에 표현된 백워드 맵핑 기술은 개략도(300)에 표현된 포워드 맵핑 기술보다 더 효율적이라는 것을 증명할 수 있다.

[0053] 언급된 바와 같이, 특정 예들에서, 블러링된 워프 패치(116)를 생성하기 위해, 복수의 디지털 이미지 샘플들(이들 각각은 각각 실질적으로 블러링되지 않을 수 있음)이 결합될 수 있다. 백워드 맵핑을 통해, 카메라 이미지 내의 키포인트 위치는 변하지 않는 상태일 수 있고, 반면에 기준 이미지에서 패치들이 샘플링되는 위치는 변동한다. 여기서, 디지털 이미지 샘플들은 균일한 크기(예를 들면, 8×8 픽셀들)를 가질 수 있고, 예를 들면, 간단한 픽셀 당 평균화 동작들 등을 사용하여 블러링된 워프 패치(116)를 적어도 부분적으로 생성하도록 결합될 수 있다.

[0054] 다음에 도 4가 주목되고, 도 4는 예시적인 구현에 따른, 모션 블러 인식 시각적 포즈 추적을 지원하도록 전자 디바이스 내에서 구현될 수 있는 예시적인 작업 흐름(400)을 예시한 개략적인 블록도이고, 여기서 적어도 모션 블러 효과는 기준 디지털 이미지의 키포인트에 적용될 수 있다. 이러한 예에서, 점선들을 사용하여 예시된 가능한 선택적인 프로세스 동작들을 통해 전자 디바이스(110) 내에서 구현될 수 있는 기술들이 예시된다.

[0055] 특정 예들에서, 예시적인 작업 흐름은, 기준 이미지 내의 기준 패치에 대응하는 블러링된 워프 패치가, 예를 들면, 모션 블러 및 워핑을 확인하기 위해 본원에 제공되는 기술들을 적용하여 생성될 수 있는 동작(402)에서 시작될 수 있다.

[0056] 동작(404)에서, 추적기 및/또는 다른 유사한 기능(들)은, 블러링된 워프 패치가 디지털 이미지의 부분과 만족스럽게 매칭하는지를 결정할 수 있다. 동작(404)의 부분으로서, 예를 들면, 특정 물체의 원하는 추적을 허용하거나, 역으로 특정 물체의 추적을 일시적으로 포기하기 위해, 충분한 매치들이 식별되었는지 여부가 결정될 수 있다. 따라서, 특정 임계치 또는 목표를 만족시키기에 충분한 매치들이 존재하지 않는다고 결정되면, 작업 흐름(400)은 화살표(406)로 예시된 반복적인 프로세스를 따를 수 있어서, 예를 들면, 동일한 물체 및/또는 가능하게는 추적될 수 있는 상이한 물체에 대한 다른 블러링된 워프 패치가 생성될 수 있다. 이로써, 동작들(402 및 404)은, 충분한 매치들이 식별되었다고 결정되는 그러한 시간까지 계속될 수 있고, 작업 흐름은 종료할 수 있다.

[0057] 예시된 바와 같이, 특정 구현들에서, 예를 들면, (동작들(402 및 404)을 통해) 블러링된 워프 패치들과 디지털 이미지의 부분들 사이의 특정 수의 매치들이 식별되는 것에 기초하여, 디지털 이미지의 적어도 일부와 연관된 모션 블러의 양을 측정하는 것이 가능할 수 있는 동작(408)과 같은 부가적인 동작들이 작업 흐름(400)에 포함될 수 있다. 이전에 언급된 바와 같이, 모션 블러를 측정함으로써, 예를 들면, 그럴듯한 추정된 모션 블러 효과 및/또는 모델링된 포즈 변화 효과를 선택함으로써 더 정확히 블러링된 워프 패치들을 후속으로 제공하는 것이 가능할 수 있다. 동작(408)은, 예를 들면, 동작(404)으로부터의 루프에 포함될 수 있다.

[0058] 실시예에 따라, 디지털 이미지 내의 물체의 블러-인식 추적기는 주어진 카메라 프레임에 대해 처리될 일정양의 블러에 관한 지식을 가질 수 있다. 키포인트에 영향을 주는 모션-블러의 양은 카메라 모션 및 노출 시간의 곱(product)일 수 있다. 상이한 모션 블러 효과들이 소수의 블러링된 워프 패치들을 통해 적용 및 테스트될 수 있는, 모션 블러를 측정하기 위한 적응형 접근법이 적용될 수 있다. 초기의 매칭 스코어들/결정들에 기초하여, 장치(112) 및/또는 추적기(114)는, 어떠한 모션 블러 효과 및/또는 측정되는 모션 블러의 양이 현재 프레임에 대해 가정될 수 있는지를 결정할 수 있다. 따라서, 이어서 동작(402)은 남아있는 패치들을 생성하기 위해 이러한 측정된 모션 블러 등을 사용할 수 있다. 초기 테스트들의 수가 프레임 당 매치들의 전체 수와 비교하여 작을 수 있기 때문에, 그러한 테스트들은 전체 프로세싱 시간에 대해 적게 영향을 줄 수 있다.

[0059] 예시된 바와 같이, 특정 구현들에서, 프로세싱되는 다양한 디지털 이미지들과 연관된 이미지 스케일이, 예를 들면, 스케일의 증가 또는 감소를 적용하여 영향을 받을 수 있는 동작(410)과 같은 부가적인 동작들이 작업 흐름(400)에 포함될 수 있다.

[0060] 따라서, 특정 예시적인 구현들에서, 작업 흐름(400)은 다중-스케일 추적기에서 사용하도록 적응될 수 있다. 여기서, 예를 들면, 모션 블러 효과 및/또는 모델링된 포즈 변화 효과에 의해 상이한 스케일 레벨들이 상이하게 영향을 받을 수 있다.

[0061] 결과적으로, 도 4에 예시된 바와 같이, 작업 흐름(400)은, 동작(410)이 일부 방식으로 고려되는 이미지 스케일에 영향을 주는 상호작용적 능력을 포함하고, 작업 흐름(400)는 예시된 라인(412)을 통해 동작(402)으로 복귀한다.

[0062] 이전의 예들을 염두하여, 예시적인 구현에 따른, 적어도 모션 블러 효과를 기준 디지털 이미지의 키포인트에 적용하도록 전자 디바이스 내에서 구현될 수 있는 프로세스(500)의 흐름도로서, 또 다른 예가 도 5에 예시된다.

[0063] 예시적인 블록(502)에서, 기준 디지털 이미지에 표현된 물체의 적어도 일부에 대응하는 기준 패치가 식별된다. 여기서, 예를 들면, 기준 패치는 디지털 이미지들의 시퀀스, 비디오 스트림 등 내에서 추적하기 위한 물체의 적어도 키포인트를 나타낼 수 있다. 예시적인 블록(504)에서, 기준 패치에 대응하는 복수의 워프 패치들은 모델링된 포즈 변화 효과들을 키포인트의 디지털 표현에 선택적으로 적용함으로써 생성될 수 있다. 예시적인 블록(506)에서, 복수의 워프 패치들 중 2 개 이상은 키포인트의 적어도 디지털 표현에 적용되는 모션 블러 효과를 통해 기준 패치에 대응하는 블러링된 워프 패치를 형성하도록 결합될 수 있다.

[0064] 예시적인 블록(510)에서, 블러링된 워프 패치가 디지털 이미지의 부분과 만족스럽게 매칭하는지에 대한 결정이 이루어질 수 있다. 특정 예시적인 구현들에서, 예시적 블록(510)에서, 예를 들면, 모션 블러의 양은, 예를 들면, 모션 블러 효과에 적어도 부분적으로 기초하여 측정될 수 있다. 특정 예시적인 구현들에서, 프로세스(500) 전에 및/또는 그의 부분으로서, 기준 디지털 이미지, 복수의 디지털 이미지 샘플들 및/또는 하나 이상의 디지털 이미지들 중 하나 이상의 적어도 일부의 스케일이 일부 방식으로 영향을 받을 수 있다.

[0065] 다음에 도 6이 주목되고, 도 6은 예시적인 구현에 따른, 적어도 모션 블러 효과를 기준 디지털 이미지의 키포인트에 적용하기 위한 예시적인 전자 디바이스(110)의 특정 특징들 ― 이것은 예시적인 특수 컴퓨팅 플랫폼(600)의 형태를 취할 수 있음 ― 을 예시한 개략도이다.

[0066] 예시된 바와 같이 특수 컴퓨팅 플랫폼(600)은 하나 이상의 접속부들(606)을 통해 메모리(604)에 커플링된 하나 이상의 프로세싱 유닛들(602)(예를 들어, 본원에 제공된 기술들에 따른 데이터 프로세싱을 수행하기 위하여, 장치(112) 및/또는 추적기(114) 등)을 포함할 수 있다. 프로세싱 유닛(들)(602)은 예를 들어, 하드웨어 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 프로세싱 유닛(들)(602)은 데이터 컴퓨팅 절차 또는 프로세스의 적어도 일부를 수행하기 위하여 구성 가능한 하나 이상의 회로들을 대표할 수 있다. 비제한적인 예로서, 프로세싱 유닛은 하나 이상의 프로세서들, 제어기들, 마이크로프로세서들, 마이크로제어기들, 주문형 집적 회로들, 디지털 신호 프로세서들, 프로그램 가능 로직 디바이스들, 필드 프로그램 가능 게이트 어레이들 등 또는 이들의 임의의 결합을 포함할 수 있다.

[0067] 메모리(604)는 임의의 데이터 스토리지 메커니즘을 대표할 수 있다. 메모리(604)는 예를 들어, 1차 메모리(604-1) 및/또는 2차 메모리(604-2)를 포함할 수 있다. 1차 메모리(604-1)는 예를 들어 랜덤 액세스 메모리, 판독 전용 메모리, 등을 포함할 수 있다. 본 예에서는 프로세싱 유닛들로부터 분리된 것으로 도시되지만, 1차 메모리의 모두 또는 일부가 프로세싱 유닛(들)(602) 또는 모바일 디바이스(110) 내의 다른 유사 회로 내에 제공되거나, 그렇지 않다면 프로세싱 유닛(들)(602) 또는 모바일 디바이스(110) 내의 다른 유사 회로에 콜로케이팅/커플링될 수 있다는 것이 이해되어야 한다. 2차 메모리(604-2)는 예를 들어, 1차 메모리와 동일하거나 유사한 타입의 메모리 및/또는 예를 들어, 디스크 드라이브, 광학 디스크 드라이브, 테이프 드라이브, 솔리드 모션 상태 메모리 드라이브, 등 같은 하나 이상의 데이터 스토리지 디바이스들 또는 시스템들을 포함할 수 있다.

[0068] 특정 구현들에서, 2차 메모리는 비-일시적인 컴퓨터 판독가능 매체(620)를 동작 가능하게 수용하거나, 그렇지 않으면 커플링하도록 구성 가능할 수 있다. 메모리(604) 및/또는 비-일시적인 컴퓨터 판독가능 매체(620)는 예를 들어, 본원에 제공된 바와 같이 적용 가능한 기술들에 따라, 데이터 프로세싱을 수행하는데 사용하기 위한 명령들(622)을 포함할 수 있다.

[0069] 특수 컴퓨팅 플랫폼(600)은 예를 들어 하나 이상의 네트워크 인터페이스 유닛(들)(608)을 더 포함할 수 있다. 네트워크 인터페이스 유닛(들)(608)은 예를 들어, 여기서 하나 이상의 수신기들(610) 및 하나 이상의 송신기들(612)에 의해 표현된 하나 이상의 유선 및/또는 무선 통신 인터페이스들을 포함할 수 있다. 특정 구현들에서, 통신 인터페이스(608)가 하나 이상의 트랜시버들 등을 포함할 수 있다는 것이 이해되어야 한다. 게다가, 비록 도시되지 않았지만, 통신 인터페이스(608)가 통신 인터페이스 기능/능력이 주어질 경우 적용 가능한 하나 이상의 안테나들 및/또는 다른 회로를 포함할 수 있다는 것이 이해되어야 한다.

[0070] 특정 예시적 구현들에 따라, 네트워크 인터페이스 유닛(들)(608)은 예를 들어 전화 시스템, 로컬 영역 네트워크, 광역 네트워크, 퍼스널 영역 네트워크, 인트라넷, 인터넷 등 같은, 예를 들어 다양한 유선 통신 네트워크들과 함께 사용하도록 인에이블될 수 있다.

[0071] 특정 예시적 구현들에 따라, 네트워크 인터페이스 유닛(들)(608)은 예를 들어, 무선 광역 네트워크(WWAN), 무선 로컬 영역 네트워크(WLAN), 무선 퍼스널 영역 네트워크(WPAN) 등 같은 다양한 무선 통신 네트워크들과 함께 사용하도록 인에이블될 수 있다. 용어 "네트워크" 및 "시스템"은 본원에서 상호 교환 가능하게 사용될 수 있다. WWAN은 코드 분할 다중 액세스(CDMA) 네트워크, 시분할 다중 액세스(TDMA) 네트워크, 주파수 분할 다중 액세스(FDMA) 네트워크, 직교 주파수 분할 다중 액세스(OFDMA) 네트워크, 단일-캐리어 주파수 분할 다중 액세스(SC-FDMA) 네트워크 등일 수 있다. CDMA 네트워크는, 단지 몇 가지 라디오 기술들을 들자면, cdma2000, 광대역-CDMA(W-CDMA), 시분할 동기 코드 분할 다중 액세스(TD-SCDMA)와 같은 하나 이상의 라디오 액세스 기술(RAT)들을 구현할 수 있다. 여기서, cdma2000은 IS-95, IS-2000, 및 IS-856 표준들에 따라 구현된 기술들을 포함할 수 있다. TDMA 네트워크는 GSM(Global System for Mobile communications), D-AMBP 능력(Digital Advanced Mobile Phone System), 또는 몇몇 다른 RAT를 구현할 수 있다. GSM 및 W-CDMA는 "3세대 파트너쉽 프로젝트(3GPP)"라 불리는 컨소시움으로부터의 문헌들에서 설명된다. cdma2000은 "3세대 파트너쉽 프로젝트 2(3GPP2)"라 불리는 컨소시움으로부터의 문헌들에서 설명된다. 3GPP 및 3GPP2 문헌들은 공개적으로 이용 가능하다. WLAN은 IEEE 802.11x 네트워크를 포함할 수 있고, WPAN은 예를 들어 블루투스 네트워크, IEEE 802.15x를 포함할 수 있다. 무선 통신 네트워크들은 소위 차세대 기술들(예를 들어, "4G"), 이를 테면, 예를 들어, 롱 텀 에볼루션(LTE), 어드밴스드 LTE, WiMAX, 울트라 모바일 광대역(UMB) 등을 포함할 수 있다. 부가적으로, 통신 인터페이스(들)(608)는 하나 이상의 다른 디바이스들과의 적외선 기반 통신들을 추가로 제공할 수 있다. WLAN은 예를 들어 IEEE 802.11x 네트워크를 포함할 수 있고, WPAN은 예를 들어 블루투스 네트워크, IEEE 802.15x를 포함할 수 있다. 본원에 설명된 무선 통신 구현들은 또한 WWAN, WLAN 또는 WPAN의 임의의 결합과 관련하여 사용될 수 있다. 다른 양상에서, 무선 전송 디바이스는 셀룰러 텔레폰 서비스를 비지니스 또는 홈으로 확장하는데 사용되는 펨토셀을 포함할 수 있다. 그러한 구현에서, 하나 이사의 모바일 디바이스들은, 예를 들면, CDMA 셀룰러 통신 프로토콜을 통해 펨토셀과 통신할 수 있고, 펨토셀은 인터넷과 같은 다른 광대역 네트워크에 의해 모바일 디바이스 액세스를 더 큰 셀룰러 전기통신 네트워크에 제공할 수 있다.

[0072] 모바일 디바이스(110)는, 예를 들어, 하나 이상의 입력/출력 유닛들(614)을 더 포함할 수 있다. 입력/출력 유닛들(614)은 하나 이상의 다른 디바이스들 및/또는 사용자의 모바일 디바이스(102)로부터 입력들을 얻고 및/또는 출력들을 그들에 제공하기 위하여 사용될 수 있는 하나 이상의 디바이스들 또는 다른 유사한 메커니즘을 나타낼 수 있다. 따라서, 예를 들어, 입력/출력 유닛들(614)은 하나 이상의 사용자 입력들을 수신하기 위하여 사용될 수 있는 다양한 버튼들, 스위치들, 터치 패드, 트랙볼, 조이스틱, 터치 스크린, 키보드, 마이크로폰, 카메라 등을 포함할 수 있다. 특정 예들에서, 입력/출력 유닛들(614)은 사용자에게 시각 출력, 가청 출력, 및/또는 촉각 출력을 생성하는데 사용될 수 있는 다양한 디바이스들을 포함할 수 있다. 예를 들어, 입력/출력 유닛들(614)은 간청(solicitation)을 사용자에게 제공하고 특정 대응하는 사용자 입력들을 획득하는데 사용될 수 있다. 따라서, 예를 들면, 본원에 제공된 특정 컴퓨터 비전 기술들은 증강 현실에 관련된 다양한 정보, 사용자 제스처 입력들 등이 수신 또는 디스플레이되는 등을 허용할 수 있고, 이것은 물체 식별 및 추적에 적어도 부분적으로 기초할 수 있다.

[0073] 모바일 디바이스(110)는 예를 들어 하나 이상의 센서들(616)을 포함할 수 있다. 예를 들어, 센서(들)(616)는 환경 및/또는 모바일 디바이스(110)의 양상들을 검출하는데 유용할 수 있는 하나 이상의 관성 센서들, 하나 이상의 환경 센서들 등을 나타낼 수 있다. 따라서 예를 들어, 센서(들)(616)는 하나 이상의 가속도계들, 하나 또는 하나 이상의 자이로스코프들 또는 자이로미터들, 하나 이상의 자력계들 등, 하나 이상의 기압계들, 하나 이상의 온도계들 등을 포함할 수 있다. 추가로, 특정 예들에서 센서(들)(616)는 마이크로폰, 카메라, 광 센서 등 같은 하나 이상의 입력 디바이스들을 포함할 수 있다. 특정 예들에서, 센서-기반 포지셔닝 능력은 자연적인 환경 내의 모바일 디바이스(110)의 움직임에 대응하는 현재 추정된 모션 상태의 식별을 제공하고 및/또는 현재 추정된 모션 상태를 식별할 수 있는 몇몇의 다른 프로세스에 영향을 줄 수 있다. 센서들(616)은 예를 들어, 포지셔닝 또는 내비게이션 동작들에 관련된 애플리케이션들과 같은 하나 이상의 애플리케이션들의 지원시 메모리(604)에 저장될 수 있고 DPS(들)(도시되지 않음) 또는 프로세싱 유닛(들)(602)에 의해 프로세싱될 수 있는 아날로그 또는 디지털 신호들을 생성할 수 있다.

[0074] 특정 구현들에서, 전자 디바이스(110)는 디지털 이미지들(132)을 캡처하고 및/또는 그렇지 않다면 획득할 수 있는 이미지 캡처 유닛(618)을 포함할 수 있다. 따라서, 예를 들면, 특정 예들에서, 이미지 캡처 유닛(618)은 카메라(106), 렌즈(108) 및/또는 접속부(109)의 전부 또는 부분을 포함할 수 있다. 부가적으로, 이미지 캡처 유닛(618)은 디지털 이미지들과 연관된 하나 이상의 오디오 채널들을 캡처할 수 있는 하나 이상의 마이크로폰들을 포함할 수 있다.

[0075] 본원에 설명된 기술들은 특정 특징들 및/또는 예들에 따른 애플리케이션들에 의존하여 다양한 수단에 의해 구현될 수 있다. 예를 들어, 그런 방법들은 소프트웨어와 함께 하드웨어, 펌웨어, 및/또는 이들의 결합들로 구현될 수 있다. 하드웨어 구현에서, 예를 들어, 프로세싱 유닛은 하나 이상의 주문형 집적 회로(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 필드 프로그램 가능 로직 디바이스(PLD)들, 필드 프로그램 가능 게이트 어레이(FPGA)들, 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 설명된 기능들을 수행하도록 설계된 다른 디바이스 유닛들, 및/또는 이들의 결합들로 구현될 수 있다.

[0076] 이전 상세한 설명에서, 다수의 특정 상세들은 청구된 청구 대상의 완전한 이해를 제공하기 위하여 설명되었다. 그러나, 청구된 청구 대상이 이들 특정 상세들 없이 실시될 수 있다는 것이 당업자들에 의해 이해될 것이다. 다른 예들에서, 당업자에게 알려졌을 방법들 및 장치들은 청구된 청구 대상을 모호하게 하지 않기 위하여 상세히 설명되지 않는다.

[0077] 이전의 상세한 설명의 일부 부분들은 특정 장치 또는 특수 목적 컴퓨팅 디바이스 또는 플랫폼의 메모리 내에 저장된 이진 디지털 전자 신호들에 대한 동작들의 알고리즘들 또는 심볼 표현들의 견지에서 제시되었다. 이런 특정 명세서의 맥락에서, 용어 특정 장치 등은, 일단 이것이 프로그램 소프트웨어로부터의 명령들에 따라 특정 기능들을 수행하도록 프로그램되면, 범용 목적 컴퓨터를 포함한다. 알고리즘 설명들 또는 심볼 표현들은 다른 당업자들에게 그들의 작업 본질을 전달하기 위하여 신호 프로세싱 또는 관련 기술들의 당업자들에 의해 사용되는 기술들의 예들이다. 알고리즘은 여기서, 그리고 일반적으로 원하는 결과를 유도하는 자체-일관적 동작 시퀀스 또는 유사한 신호 프로세싱이라고 고려된다. 이 맥락에서, 동작들 또는 프로세싱은 물리적 양들의 물리적 조작을 포함한다. 통상적으로, 반드시는 아니지만, 그런 양들은 저장, 전달, 결합, 비교 또는 그렇지 않으면 정보를 표현하는 전자 신호들로서 조작될 수 있는 전기 또는 자기 신호들의 형태를 취할 수 있다. 때로는, 원칙적으로 공통 용도의 이유들 때문에, 그런 신호들을 비트들, 데이터, 값들, 엘리먼트들, 심볼들, 문자들, 용어들, 번호들, 수치들, 정보 등으로서 지칭하는 것이 편리한 것으로 증명되었다. 그러나, 이들 또는 유사한 용어 모두가 적당한 물리적 양들과 연관되고 단순히 편리한 라벨들인 것이 이해되어야 한다. 특정하게 움직임이 다르게 언급되지 않으면, 다음 논의에서 명백한 바와 같이, 이 명세서 전체에 걸쳐 "프로세싱", "컴퓨팅", "계산", "결정", "생성", "얻음", "변형", "선택", "식별" 등 같은 용어들을 사용한 이런 명세서 논의들이 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스 같은 특수 장치의 동작들 또는 프로세스들을 지칭하는 것이 인식된다. 이 명세서의 맥락에서, 그러므로, 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스는 통상적으로 메모리들, 레지스터들, 또는 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스의 디스플레이 디바이스들 내의 물리적 전자 또는 자기 양들로서 표현되는, 신호들을 조작 또는 변환할 수 있다. 이런 특정 특허 출원의 맥락에서, 용어 "특정 장치"는, 이것이 프로그램 소프트웨어로부터의 명령들에 따라 특정 기능들을 수행하도록 프로그램되면, 범용 목적 컴퓨터를 포함할 수 있다.

[0078] 본원에 사용된 바와 같은 용어 "및", "또는" 및 "및/또는"은 그런 용어가 사용되는 문맥에 적어도 부분적으로 의존하는 것으로 또한 예상되는 다양한 의미들을 포함할 수 있다. 통상적으로, A, B 또는 C와 같은 리스트를 연관시키기 위하여 사용될 경우 "또는"은, 여기서 배타적 의미에서 사용된 A, B 또는 C뿐 아니라, 여기서 포괄적 의미에서 사용된 A, B, 및 C를 의미하도록 의도된다. 게다가, 본원에 사용되는 용어 "하나 이상"은 단수의 임의의 피처, 구조, 또는 특성을 설명하기 위하여 사용될 수 있거나 복수의 피처, 구조들 또는 특성들 또는 몇몇 다른 결합을 설명하기 위하여 사용될 수 있다. 그래도, 이것이 단순히 예시적인 예이고 청구된 청구 대상이 이 예로 제한되지 않는 것이 주의되어야 한다.

[0079] 예시적인 특징들일 것으로 현재 고려된 것이 예시 및 설명되었지만, 다양한 다른 변형들이, 청구된 청구 대상에서 벗어남이 없이 이루어질 수 있고, 등가물들이 대체될 수 있다는 것이 당업자들에 의해 이해될 것이다. 게다가, 많은 변형들은 본원에 설명된 핵심 개념에서 벗어남이 없이 청구된 청구 대상의 지침들에 특정 상황을 적응시키도록 이루어질 수 있다.

[0080] 그러므로, 청구된 청구 대상이 개시된 특정 예들로 제한되는 것이 아니고, 그런 청구된 청구 대상이 또한 첨부된 청구항들, 및 그의 등가물들의 범위 내에 속하는 모든 양상들을 포함할 수 있다는 것이 의도된다.

Claims (16)

1. 전자 디바이스를 통해, 이미지들에 걸쳐 물체(object)를 추적하기 위한 방법으로서,
   기준 디지털 이미지에 표현되는 상기 물체의 적어도 일부에 대응하는 기준 패치(reference patch)를 식별하는 단계 ― 상기 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 상기 물체의 적어도 키포인트(keypoint)를 표현함 ―;
   모델링된 포즈 변화 효과들을 상기 키포인트의 디지털 표현에 선택적으로 적용함으로써, 상기 기준 패치에 대응하는 복수의 워프 패치들(warped patches)을 생성하는 단계; 및
   상기 키포인트의 적어도 상기 디지털 표현에 적용된 모션 블러(blur) 효과를 통해 상기 기준 패치에 대응하는 블러링된 워프 패치(blurred warped patch)를 형성하기 위해 상기 복수의 워프 패치들 중 적어도 2 개를 결합하는 단계를 포함하고,
   상기 복수의 워프 패치들 중 상기 적어도 2 개를 결합하는 단계는, 상기 전자 디바이스의 이미지 캡처 노출(exposure) 시간에 적어도 부분적으로 기초하는,
   이미지들에 걸쳐 물체를 추적하기 위한 방법.
2. 제 1 항에 있어서,
   상기 전자 디바이스를 통해,
   상기 블러링된 워프 패치가 상기 복수의 디지털 이미지들 중 하나의 디지털 이미지의 적어도 일부와 매칭하는지 여부를 결정하는 단계를 더 포함하는,
   이미지들에 걸쳐 물체를 추적하기 위한 방법.
3. 제 2 항에 있어서,
   상기 전자 디바이스를 통해,
   상기 복수의 이미지들 중 상기 디지털 이미지의 적어도 상기 일부와 매칭하는 상기 블러링된 워프 패치를 형성하기 위해, 상기 복수의 워프 패치들 중 얼마나 많은 것이 결합되는지를 나타내는 값을 적응적으로 결정하는 단계를 더 포함하는,
   이미지들에 걸쳐 물체를 추적하기 위한 방법.
4. 제 1 항에 있어서,
   상기 블러링된 워프 패치를 생성하는 단계는,
   백워드 맵핑 접근법(backward mapping approach)에 적어도 부분적으로 기초하여 상기 기준 패치에 대응하는 상기 블러링된 워프 패치를 생성하는 단계를 더 포함하는,
   이미지들에 걸쳐 물체를 추적하기 위한 방법.
5. 전자 디바이스에서 이미지들에 걸쳐 물체를 추적하기 위한 장치로서,
   기준 디지털 이미지에 표현되는 상기 물체의 적어도 일부에 대응하는 기준 패치를 식별하기 위한 수단 ― 상기 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 상기 물체의 적어도 키포인트를 표현함 ―;
   모델링된 포즈 변화 효과들을 상기 키포인트의 디지털 표현에 선택적으로 적용함으로써, 상기 기준 패치에 대응하는 복수의 워프 패치들을 생성하기 위한 수단; 및
   상기 키포인트의 적어도 상기 디지털 표현에 적용된 모션 블러 효과를 통해 상기 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 상기 복수의 워프 패치들 중 적어도 2 개를 결합하기 위한 수단을 포함하고,
   상기 복수의 워프 패치들 중 상기 적어도 2 개를 결합하는 것은, 상기 전자 디바이스의 이미지 캡처 노출 시간에 적어도 부분적으로 기초하는,
   이미지들에 걸쳐 물체를 추적하기 위한 장치.
6. 제 5 항에 있어서,
   상기 블러링된 워프 패치가 상기 복수의 디지털 이미지들 중 하나의 디지털 이미지의 적어도 일부와 매칭하는지 여부를 결정하기 위한 수단을 더 포함하는,
   이미지들에 걸쳐 물체를 추적하기 위한 장치.
7. 제 6 항에 있어서,
   상기 디지털 이미지의 적어도 상기 일부와 매칭하는 상기 블러링된 워프 패치를 형성하기 위해, 상기 복수의 워프 패치들 중 얼마나 많은 것이 결합되는지를 나타내는 값을 적응적으로 결정하기 위한 수단을 더 포함하는,
   이미지들에 걸쳐 물체를 추적하기 위한 장치.
8. 제 5 항에 있어서,
   백워드 맵핑 접근법에 적어도 부분적으로 기초하여 상기 기준 패치에 대응하는 상기 블러링된 워프 패치를 생성하기 위한 수단을 더 포함하는,
   이미지들에 걸쳐 물체를 추적하기 위한 장치.
9. 이미지들에 걸쳐 물체를 추적하기 위한 전자 디바이스로서,
   메모리; 및
   프로세싱 유닛을 포함하고, 상기 프로세싱 유닛은,
   기준 디지털 이미지에 표현되는 상기 물체의 적어도 일부에 대응하는 기준 패치를 식별하고 ― 상기 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 상기 물체의 적어도 키포인트를 표현함 ―;
   모델링된 포즈 변화 효과들을 상기 키포인트의 디지털 표현에 선택적으로 적용함으로써, 상기 기준 패치에 대응하는 복수의 워프 패치들을 생성하고; 그리고
   상기 키포인트의 적어도 상기 디지털 표현에 적용된 모션 블러 효과를 통해 상기 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 상기 복수의 워프 패치들 중 적어도 2 개를 결합하기 위한 것이고,
   상기 복수의 워프 패치들 중 상기 적어도 2 개를 결합하는 것은, 상기 전자 디바이스의 이미지 캡처 노출 시간에 적어도 부분적으로 기초하는,
   이미지들에 걸쳐 물체를 추적하기 위한 전자 디바이스.
10. 제 9 항에 있어서,
    상기 프로세싱 유닛은 추가로,
    상기 블러링된 워프 패치가 상기 복수의 디지털 이미지들 중 하나의 디지털 이미지의 적어도 일부와 매칭하는지 여부를 결정하기 위한 것인,
    이미지들에 걸쳐 물체를 추적하기 위한 전자 디바이스.
11. 제 10 항에 있어서,
    상기 프로세싱 유닛은 추가로,
    상기 디지털 이미지의 적어도 상기 일부와 매칭하는 상기 블러링된 워프 패치를 형성하기 위해, 상기 복수의 워프 패치들 중 얼마나 많은 것이 결합되는지를 나타내는 값을 적응적으로 결정하기 위한 것인,
    이미지들에 걸쳐 물체를 추적하기 위한 전자 디바이스.
12. 제 11 항에 있어서,
    상기 프로세싱 유닛은 추가로,
    백워드 맵핑 접근법에 적어도 부분적으로 기초하여 상기 기준 패치에 대응하는 상기 블러링된 워프 패치를 생성하기 위한 것인,
    이미지들에 걸쳐 물체를 추적하기 위한 전자 디바이스.
13. 물품으로서,
    이미지들에 걸쳐 물체를 추적하기 위한 컴퓨터 구현 가능 명령들이 저장된 비일시적인 컴퓨터 판독 가능 매체를 포함하고, 상기 컴퓨터 구현 가능 명령들은,
    기준 디지털 이미지에 표현되는 상기 물체의 적어도 일부에 대응하는 기준 패치를 식별하고 ― 상기 기준 패치는 복수의 디지털 이미지들 내에서 추적하기 위한 상기 물체의 적어도 키포인트를 표현함 ―;
    모델링된 포즈 변화 효과들을 상기 키포인트의 디지털 표현에 선택적으로 적용함으로써, 상기 기준 패치에 대응하는 복수의 워프 패치들을 생성하고; 그리고
    상기 키포인트의 적어도 상기 디지털 표현에 적용된 모션 블러 효과를 통해 상기 기준 패치에 대응하는 블러링된 워프 패치를 형성하기 위해 상기 복수의 워프 패치들 중 적어도 2 개를 결합하도록
    전자 디바이스 내의 프로세싱 유닛에 의해 실행 가능하고,
    상기 복수의 워프 패치들 중 상기 적어도 2 개를 결합하는 것은, 상기 전자 디바이스의 이미지 캡처 노출 시간에 적어도 부분적으로 기초하는,
    물품.
14. 제 13 항에 있어서,
    상기 컴퓨터 구현 가능 명령들은,
    상기 블러링된 워프 패치가 상기 복수의 디지털 이미지들 중 하나의 디지털 이미지의 적어도 일부와 매칭하는지 여부를 결정하도록
    상기 프로세싱 유닛에 의해 추가로 실행 가능한,
    물품.
15. 제 14 항에 있어서,
    상기 컴퓨터 구현 가능 명령들은,
    상기 디지털 이미지의 적어도 상기 일부와 매칭하는 상기 블러링된 워프 패치를 형성하기 위해, 상기 복수의 워프 패치들 중 얼마나 많은 것이 결합되는지를 나타내는 값을 적응적으로 결정하도록
    상기 프로세싱 유닛에 의해 추가로 실행 가능한,
    물품.
16. 제 13 항에 있어서,
    상기 컴퓨터 구현 가능 명령들은,
    백워드 맵핑 접근법에 적어도 부분적으로 기초하여 상기 기준 패치에 대응하는 상기 블러링된 워프 패치를 생성하도록
    상기 프로세싱 유닛에 의해 추가로 실행 가능한,
    물품.

Images