KR20150079585A

KR20150079585A - 일련의 2ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법

Info

Publication number: KR20150079585A
Application number: KR1020157008498A
Authority: KR
Inventors: 이차크 윌프
Original assignee: 바디 패스 리미티드
Priority date: 2012-09-05
Filing date: 2013-09-03
Publication date: 2015-07-08
Also published as: CN104813340B; EP2893479A1; US20150154453A1; EP2893479B1; EP2893479A4; US9727787B2; JP6392756B2; ES2693028T3; JP2015534637A; WO2014037939A1; CN104813340A

Abstract

본 발명은 일련의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법에 관한 것이다. 본 방법은 a) 카메라에 의해 포착된 상기 사용자의 원(raw) 2D 이미지의 시퀀스를 획득함으로써 상기 사용자의 신체를 스캔하는 단계; b) 사용자 행동 분석기(UBA)를 이용하여, 상기 스캔하는 단계 이전에 또는 그 동안에 상기 사용자의 위치, 포즈/회전, 및 자세를 추적함으로써 상기 사용자의 행동을 분석하는 단계; c) 2D 형상 분석기(2DSA)를 이용하여 상기 이미지 시퀀스로부터 2D 형상 데이터 기술어를 추출 및 인코딩하는 단계; 및 d) 상기 2D 형상 기술어 뿐만 아니라, 사용자의 위치, 포즈, 및 회전 데이터를 수신하고, 그것들을 3D 형상 모델로 통합시키는 단계를 포함하고, 상기 통합은 상기 이미지 시퀀스에 회전 값을 할당하는 것을 포함하고, 상기 회전 값은 전체 전방 위치에 대한 절대값이거나, 또는 상기 시퀀스 내의 기준 이미지에 대한 상대값이다.

Description

일련의 2Ｄ 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템 및 방법{SYSTEM AND METHOD FOR DERIVING ACCURATE BODY SIZE MEASURES FROM A SEQUENCE OF 2D IMAGES}

본 발명은 신체 스캐닝 및 의복 시스템 분야에 관한 것이다. 더욱 상세하게는, 본 발명은 자동 사이즈 추천 및 증강 현실 시각화(augmented reality visualization)를 통해 옷 쇼핑 경험을 강화하기 위한 신체 스캐닝 시스템 및 방법에 관한 것이다.

(마이크로소프트의 키넥트(Kinect)와 같은) 전신 스캐너-레이저 스캐너/깊이 카메라의 어레이는 점 형태(예컨대, 점의 클라우드), 표면 형태(삼각형의 메쉬), 또는 다른 모델로 신체 형상을 나타내기 위해 사용될 수 있는, 신체의 표면 상의 3차원(3D) 포인트들을 포착하기 위해 사용될 수 있다. 이러한 모델들은 필요한 치수를 추출하기 위해 분석될 수 있다. 예를 들어, 허리 위치는 신체 비율로부터 계산될 수 있고, 허리 높이에서의 단면은 점들의 목록, 및 그 점에서 둘레를 나타내는 윤곽을 추출하기 위해 사용될 수 있다. 그 다음, 둘레(perimeter)는 상기 3D 목록의 점/윤곽으로부터 계산된다.

전신 스캐너를 구축하는 비용 및 복잡도는 상점에서의 대량 배치 및 구매자 가정용으로의 사용을 힘들게 하고 있다. 그러므로, 몇몇 종래기술은 단일 2차원(2D) 이미지(일반적으로 정면도) 및 선택적으로 수개의 다른 제어된 포즈의 추가적인 사진(예컨대, 측면도)으로부터 특정 신체 치수를 추출하는 방법을 설명한다. 예를 들어, 허리 둘레를 살펴보면, 추가적인 가정 또는 근사화가 없다면, 하나 또는 2개의 사진이 정확한 둘레(예컨대, 허리부분에서의 신체의 타원 단면적)를 계산하기에 충분한 정보를 제공하지 못한다는 것은 자명하다. 이러한 근사화는 실제 대상이 포함된 때 정확한 치수를 제공할 수 없음이 자명하다.

더욱이, 이러한 방법들은 정확한 포즈를 취하는 사용자의 능력에 의존하고, 부가적으로 풀 3D 모델을 생성할 수 없다. 제어된 턴테이블 또는 몸에 붙이는 마커(on-body marker)와 같은 수단에 의해 사용자의 정확한 포즈를 제어/측정하는 것은 복잡도의 레벨을 추가시켜, 이러한 방법이 가정용으로 또는 복수의 상점 위치에 사용되지 못하게 한다.

본 발명의 목적은 단일 고정 2D 카메라를 통해 움직이는 사람 대상의 일련의 2D 이미지를 포착하고, 복수의 이러한 2D 이미지로부터 2D 형상 또는 사이즈 관련 기술어(descriptor)를 추출하고, 상기 기술어를 3D 사이즈 치수 및/또는 3D 형상의 엘리먼트로 통합시킬 수 있는 시스템을 제공하는 것이다.

본 발명의 다른 목적 및 장점들은 설명을 진행함에 따라 명백해질 것이다.

본 발명은 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법에 관한 것이며, 본 방법은 a) 카메라에 의해 포착된 상기 사용자의 원(raw) 2D 이미지의 시퀀스를 얻음으로써 상기 사용자의 신체를 스캔하는 단계; b) 사용자 행동 분석기(UBA)를 이용하여, 상기 스캔하는 단계 이전에 또는 그 동안에, 상기 사용자의 위치, 포즈/회전 및 자세를 추적함으로써 상기 사용자의 행동을 분석하는 단계; c) 2D 형상 분석기(2DSA)를 이용하여, 상기 이미지 시퀀스로부터 2D 형상 데이터 기술어(descriptor)를 추출하고 인코딩하는 단계; 및 d) 상기 2D 형상 데이터 기술어, 뿐만 아니라 사용자의 위치, 포즈 및 회전 데이터를 수신하고, 그것들을 3D 형상 모델로 통합시키는 단계를 포함하고, 상기 통합은 상기 이미지 시퀀스에 회전 값을 할당하는 것을 포함하고, 상기 회전 값은 전체 전방 위치에 대한 절대 값이거나, 또는 상기 시퀀스 내의 기준 이미지에 대한 상대 값이다.

본 발명의 하나의 실시예에 따라, 본 방법은 스캔하는 단계 동안 최초 및 추가 사용자 안내/지원을 제공하는 것을 포함하여, 스캔하는 동안 사용자와 상호작용하기 위한 사용자 피드백 및 안내 모듈(UFGM)을 제공하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 사용자 행동 분석기는 또한 사용자가 사용자 피드백 및 안내 모듈에 의해 제공되는 명령을 따라 하고 있는지 검증하기 위해서도 사용된다.

본 발명의 하나의 실시예에 따라, 본 발명은 사용자 외형 분석기(UAA)에 의해 사용자의 시각적 비형상 기술어를 추출하고 인코딩하는 단계를 더 포함하고, 상기 시각적 비형상 기술어는 상기 사용자의 외형과 관련된 속성을 나타내고, 피부톤, 머리카락 색상 및 스타일을 포함할 수 있다.

본 발명의 하나의 실시예에 따라, UAA는 사용자의 얼굴 외형 기술어를 추출하고 인코딩하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 사용자 형상 및 외형 데이터베이스에 사용자 외형 데이터와 함께 저장될 3D 사이즈 치수를 추출하는 단계를 더 포함하고, 이를 통해, 이전에 스캔했던 사용자가 가상 피팅 룸 애플리케이션의 인터페이스를 통해 이 시스템에 로그인 한 때, 사용자의 저장된 신체 사이즈 특징이 옷 데이터베이스를 필터링/탐색하고 상기 사용자에게 가장 잘 어울리는 옷 및 옷의 구체적인 사이즈를 추천하기 위해 사용될 수 있다.

본 발명의 하나의 실시예에 따라, 사용자의 행동을 분석하는 단계는 전경 탐지 프로세스로부터 얻어진 바이너리 신체 실루엣 이미지 및 상기 이미지 시퀀스를 기초로 하고, 사용자 행동 분석의 하나의 주요 속성은 상기 사용자의 기준 바닥 위치이다.

본 발명의 하나의 실시예에 따라, 사용자는 스캔하는 단계 동안 지정된 영역 내에서 움직이도록 요청받는다. 예를 들어, 스캔하는 단계 동안 사용자를 안내하기 위해 바닥 마킹이 사용될 수 있다.

본 발명의 하나의 실시예에 따라, 본 방법은 입력 장치를 통해 이 시스템에 수동적으로 제공될 수 있거나, 또는 그 거리/위치가 상기 이미지 시퀀스로부터 자동으로 추출될 수 있는 단일 사이즈 값으로서, 사용자의 이미지 높이 및 사용자의 물리적 키로부터 거리를 추정하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, UBA에 의해 사용자의 행동을 분석하는 단계는: a) 상기 사용자의 발 위치를 탐지하기 위해 그리고 상기 탐지된 발로부터 상기 사용자의 거리를 추출하기 위해 바이너리 실루엣 이미지 내에서 바닥 로우(row)를 탐색함으로써 사용자 위치를 탐지하는 단계로서, 사용자 위치는 y 바닥 좌표 및 x 무게중심에 의해 판정되는 것인 상기 사용자 위치를 탐지하는 단계; b) 발 사이즈에 대한 평균 값 및 (선택적으로) 신체 회전 각도를 이용하여 발의 바닥 거리를 신체 중심 거리로 변환하고, 그렇게 함으로써 회전 중심에 대한 정확한 거리 값을 할당하는 단계; 및 c) 바닥 로우가 탐지된 후, 상기 사용자의 발 주변에 계산 윈도우를 그리고, x 무게중심을 바닥 수평 위치로 변환하는 단계를 포함한다.

본 발명의 하나의 실시예에 따라, 발 영역에서의 대상 분할의 불안정이 위치 정확도에 영향을 주지 않도록 하기 위해, y 바닥 좌표 및 x 무게중심 모두 시간적으로 필터링된다.

본 발명의 하나의 실시예에 따라, 본 방법은 사람 탐지 및 추적 기술을 적용함으로써, 수평(x) 무게 중심 부근에, 바이너리 형상의 꼭대기에서 사용자의 머리를 탐지하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 손 탐지 알고리즘을 적용함으로써, 사용자의 손을 탐지하는 단계를 더 포함한다. 본 발명의 하나의 실시예에 따라, 손 탐지 알고리즘은 추정된 어깨 위치에서부터 팔을 탐색하는 것을 시작하고, 그 다음 팔 형상의 끝점을 손으로 탐지하기 위해 이동한다.

본 발명의 하나의 실시예에 따라, 손 탐지 알고리즘은 바이너리 신체 실루엣 이미지를 1-픽셀 폭의 뼈대 이미지로 얇아지게 프로세싱함으로써 얻어지고, 이 때 손 끝은 신체 중심 위치에서 추적된 팔 뼈의 끝부에 있는 1-연결된 픽셀로서 탐지된다.

본 발명의 하나의 실시예에 따라, 본 방법은 상기 사용자의 탐지된 손을 추적함으로써 사용자가 완전한 원을 그리도록 안내하는 단계를 더 포함하고, 양 손이 전방 위치에서 탐지되면, 양 손은 이미지 내의 정확한 2D 및 3D 치수의 변화 및 손이 머리 실루엣과 합쳐지는 시간의 예측을 위한 추적 및 이미지 레지스트레이션(registration) 기술을 채용한 디지털 이미지 보정 및 추적(DIC/DDIT) 방법을 적용함으로써 프레임마다 추적된다.

본 발명의 하나의 실시예에 따라, 본 방법은 제 17 항에 있어서, 바이너리 이미지의 변화 폭 시퀀스를 추적하고, 보간법을 이용하여 그사이의 회전각을 추정함으로써, 사용자의 신체 실루엣의 폭 변화를 신체 회전에 대한 단서(key)로서 탐지하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 2DSA에 의해 2D 형상을 분석하는 단계는: a) 회전 시퀀스의 복수의 이미지에서 상기 사용자의 특정 신체 부위의 위치를 탐지하는 단계; 및 b) 상기 이미지 각각에서 상기 특정 신체 부위의 가장자리 및 윤곽 포인트를 측정하는 단계를 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 2D 형상 데이터로부터 3D 사이즈 메트릭(metric) 및 형상 데이터를 구성하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 사용자의 행동을 분석하는 단계는 사용자의 이미지가 카메라의 시야를 벗어나지 않음을 검증하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 복수의 씬 컨텐트, 및 씬 및 카메라 설정 및 사용자 행동 내의 공통된 문제점을 탐지하기 위한 사용자 행동 분석 알고리즘을 구비한 UFGM(120)를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 특정 옷 패턴 및 스킨 질감의 신체 실루엣 내의 시각적 컨텐트를 추적하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 추천 엔진을 이용하여 사용자에게 옷 추천을 제공하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 상기 추천은 (피부톤, 눈 색상, 머리카락 색상과 같은) 비형상 사용자 특징을 이용하는 것을 포함한다.

본 발명의 하나의 실시예에 따라, 본 방법은 스캔된 사용자 2D 형상 데이터로부터 및/또는 계산된 3D 형상 데이터로부터 아바타를 생성하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 이 아바타는 (피부톤, 눈 색상, 머리카락 색상과 같은) 비형상 사용자 특징을 포함한다.

본 발명의 하나의 실시예에 따라, 이 아바타는 스캔하는 단계 동안 사용자의 시각화를 위해 사용된다.

본 발명의 하나의 실시예에 따라, 이 아바타는 사용자에 대한 선택된 옷의 시각화를 위해 사용되고, 상기 시각화는 정적이거나, 또는 사전 결정된 움직임 또는 랜덤하게 발생된 움직임 중 하나를 취하도록 상기 아바타를 애니메이션화(animating) 함으로써 동적이다.

본 발명의 하나의 실시예에 따라, 상기 아바타 시각화는 스캐닝하는 단계 동안 사용자 경험을 강화하도록 수정된다.

본 발명의 하나의 실시예에 따라, 상기 아바타 시각화는 구매 단계 동안 옷 디스플레이를 강화하도록 수정된다.

본 발명의 하나의 실시예에 따라, 본 방법은 의료 분야 적용을 위해 비만도, 지방 분포도와 같은 어느 건강 관련 파라미터/메트릭을 산출하기 위해 사용자를 스캔하고 3D 형상 데이터를 분석하는 단계를 더 포함한다.

본 발명의 하나의 실시예에 따라, 상기 스캔하는 단계는 반복적으로 수행되고, 사용자 3D 형상 데이터는 기준 스캔 또는 하나 이상의 이전 스캔과 비교되어, 상기 비교 프로세스는 어느 형상 파라미터의 유의미한 변화의 지시를 생성한다.

다른 형태에서, 본 발명은 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템에 관한 것이며, 이 시스템은: a) 상기 사용자의 원(raw) 2D 이미지의 시퀀스를 포착함으로써, 상기 사용자의 신체를 스캔하는 카메라; b) 상기 신체를 스캔하기 전 또는 스캔하는 동안에, 상기 사용자의 위치, 포즈/회전 및 자세를 추적함으로써 상기 사용자의 행동을 분석하는 사용자 행동 분석기(UBA); c) 상기 이미지 시퀀스로부터 2D 형상 데이터 기술어(descriptor)를 추출 및 인코딩하는 2D 형상 분석기(2DSA); 및 d) 상기 2D 형상 데이터 기술어 뿐만 아니라, 상기 사용자의 위치, 포즈, 및 회전 데이터를 수신하고, 그것들을 3D 형상 모델로 통합시키도록 프로그래밍된 프로세싱 유닛을 포함하고, 상기 통합은 상기 이미지 시퀀스에 회전 값을 할당하는 것을 포함하고, 상기 회전 값은 전체 전방 위치에 대한 절대 값이거나, 또는 상기 이미지 시퀀스 내의 기준 이미지에 대한 상대 값이다.

본 발명의 하나의 실시예에 따라, 본 시스템은 스캔하는 동안 초기 및 추가 사용자 안내/지원을 제공하는 것을 포함하여, 스캔하는 동안 사용자와 상호작용하는 사용자 피드백 및 안내 모듈을 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 시스템은 사용자의 시각적인 비형상 기술어를 추출 및 인코딩하는 사용자 외형 분석기(UAA)를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 시스템은 사용자 외형 데이터와 함께 사용자 신체의 3D 사이즈 치수를 저장하기 위한 사용자 형상 및 외형 데이터베이스를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 시스템은 옷 관련 데이터를 저장하기 위한 옷 데이터베이스를 더 포함한다.

본 발명의 하나의 실시예에 따라, 본 시스템은 사용자에게 옷 추천을 제공하기 위한 옷 추천 엔진(GRE)을 더 포함한다.

도면에서,
- 도 1은 본 발명의 하나의 실시예에 따른 가상 피팅 룸 애플리케이션에 의한 신체 스캐닝 및 옷 선택 시스템을 개략적으로 도시한다.
- 도 2는 종래기술인 전경 탐지 방법을 일반적으로 도시하는 흐름도이다.
- 도 3은 스캐닝 프로세스를 위해 요구되는 사용자 행동을 분석하는 방법을 설명한다.
- 도 4는 발 이미지 위치 탐지로부터 사용자 거리의 추출을 도시한다.
- 도 5a 및 도 5b는 본 발명의 하나의 실시예에 따른 신체 회전 탐지 큐(cue)로서 손 탐지 및 추적을 도시한다.
- 도 6a 및 도 6b는 신체 회전에 대한 단서인 신체 실루엣 폭 변화를 개략적으로 도시한다.
- 도 7은 본 발명의 하나의 실시예에 따른 2D 형상 분석기를 도시한다.
- 도 8a-8c는 이미지 분석 방법에 의해 실행될 수 있는 수직 허리 위치에 대한 몇 가지 큐를 개략적으로 도시한다.
- 도 9a-9d는 실루엣 끝점을 경계를 이루는 각도 섹터로 변환하는 원리를 도시한다.
- 도 10a 및 도 10b는 본 발명의 하나의 실시예에 따른, 이미지 시퀀스로부터 정확한 단면 형상을 구하는 방법을 도시한다.
- 도 11은 2D 형상 데이터로부터 3D 사이즈 메트릭 및 형상 데이터를 구성하는 것을 도시한다.
- 도 12는 의류 산업에 의해 일반적으로 요구되는 신체 상체 사이즈 치수를 도시한다.
- 도 13a-13c는 생성된 3D 데이터로부터 3D 모델 표현을 구성하는 것을 개략적으로 도시한다.
- 도 14는 본 발명의 하나의 실시예에 따른 옷 추천 엔진(GRE)을 개략적으로 도시한다.
- 도 15는 본 발명의 하나의 실시예에 따른 예시적인 사이즈 계산 플로우를 개략적으로 도시한다.
- 도 16은 본 발명의 하나의 실시예에 따른 사이즈 추천 발행 프로세스를 개략적으로 도시한다.
- 도 17은 옷이 사용자의 신체에 얼마나 잘 맞는지 도시하는 개략적인 히트 맵에 대한 하나의 예를 개략적으로 도시한다.

본 발명은 더 효율적인 상점 또는 가정에서의 쇼핑 경험을 위한 자동 사이즈 추천에 대한 근거로서 역할 할 수 있는 복수의 선형 및 둘레 신체 사이즈 치수를 계산하기 위해 자연적인 신체 움직임을 통해 포착된 일련의 2D 이미지를 이용하는 방법(즉, 신체 스캐너)에 관한 것이다. 이러한 사이즈 치수는 또한 선택된 옷이 사용자의 신체에 얼마나 잘 맞는지 또는 어울리는지의 증강 현실 시각화를 위해 사용자의 신체 형상을 가장 잘 묘사하는 아바타를 선택 및/또는 수정하기 위해 사용될 수 있다. 부가적으로, 이러한 스캐닝 법은 상세한 신체 형상 모델로서 역할하는 점의 클라우드 또는 다른 밀집된 3D 표현을 얻기 위해 사용될 수 있다. 필요한 치수들은 이 모델로부터 도출될 수 있다. 이러한 3D 표현은 상술된 증강 현실 애플리케이션의 렌더링 엔진에 의해 사용되는 (삼각형과 같은) 표면 모델로 변환될 수 있다.

개념적으로, 신체 스캐너는 어디서든, 예컨대, 소매점 또는 쇼핑몰 또는 사용자의 가정에서 사용될 수 있다. 사용자가 옷을 입지 않은 상태, 보통 꼭 맞는 바디슈트(body suit)를 입은 상태로 플로어 상에 서는데, 이 목적은 자세 및 어깨 각도를 포함하는 정밀하고 완전한 신체 치수를 얻기 위함이다. 전형적으로, 핏(fit)의 부조화를 찾는 기초로서 또는 개인의 피드백을 얻기 위해 시험 착용용 옷(try-on garment)이 사용되지 않는다. 사용자의 신체 스캔 치수는 분석을 위해 컴퓨터 프로그램으로 넘겨진다. 이 프로그램은 사용자의 치수와, 어떤 주요 위치에서 측정된 옷의 치수, 섬유의 탄력성, 옷 핏 및 허용공차와 같은 선택된 옷의 특성을 비교한다. 이러한 시스템의 분석은 사용자에게 완벽하게 잘 맞는 옷을 야기할 수 있다.

아래의 상세한 설명에서, 특정한 실시예 또는 예를 설명하기 위해 도시된, 본 명세서의 일부를 형성하는 첨부된 도면에 대한 참조가 이루어진다. 이러한 실시예들은 결합될 수도 있고, 다른 실시예가 사용될 수도 있고, 본 발명의 정신 또는 범위를 벗어나지 않는 구조적 변경이 행해질 수 있다. 그러므로, 아래의 상세한 설명은 제한적인 의미로 해석되지 않아야 하고, 본 발명의 범위는 첨부된 청구항과 그 동등물에 의해 정의된다. 당업자들은 아래의 설명으로부터 여기 설명된 구조 및 방법의 대안의 실시예들이 여기 서술된 본 발명의 원리를 벗어나지 않고 채용될 수 있음을 쉽게 이해할 것이다.

이제 도면을 참조하여, 본 발명의 형태 및 예시적인 컴퓨팅 동작 환경이 서술될 것이다. 도 1 및 아래의 설명은 본 발명이 구현될 수 있는 적절한 컴퓨팅 환경의 간단하고 일반적인 설명을 제공하도록 의도되었다. 본 발명이 퍼스널 컴퓨터 상의 운영체제 상에서 실행하는 가상 피팅 룸 애플리케이션 프로그램과 함께 실행되는 프로그램 모듈의 일반적인 맥락에서 서술될 것이지만, 당업자들은 본 발명이 다른 프로그램 모듈과 조합하여 구현될 수 있음을 이해할 것이다.

일반적으로, 프로그램 모듈은 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 특정한 이미지 프로세싱 작업을 수행하는 다른 타입의 구조를 포함한다. 게다가, 당업자들은 본 발명이 휴대용 장치, 멀티프로세서 시스템, 마이크로프로세서 기반의 또는 프로그래밍 가능한 소비자 전자기기, 미니 컴퓨터, 및 메인 프레임 컴퓨터 등을 포함하는 다른 컴퓨터 시스템 구성을 통해 실시될 수 있음을 이해할 것이다. 본 발명은 또한 작업들이 통신 네트워크를 통해 링크된 원격 프로세싱 장치(예컨대, 사용자측 및 서버측)에 의해 수행되는 분산형 컴퓨팅 환경에서 실행될 수 있다. 분산형 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 모두 설치될 수 있다.

도 1은 본 발명의 하나의 실시예에 따른, 하나의 시퀀스의 2D 이미지로부터 정확한 신체 사이즈 치수를 도출하는 시스템(100)을 도시한다. 일반적으로, 시스템(100)은 가상 피팅 룸 애플리케이션에 의한 신체 스캐닝 및 옷 선택을 위해 사용된다. 시스템(100)은 사용자 피드백 및 안내 모듈(UFGM)(120), 카메라(121), 사용자 행동 분석기(UBA)(130), 2D 형상 분석기(2DSA)(140), 사용자 외형 분석기(UAA)(150), 3D 형상 분석기(3DSA(160)), 가상 피팅 룸 애플리케이션(190), 및 옷 데이터베이스(180)를 포함한다.

사용자의 신체의 스캐닝 프로세스 동안 최초의 및 추가적인 사용자 안내/지원을 제공하기 위해 UFGM(120)에 의해 구동되는 디스플레이(122) 및 스피커(123)와 함께, 사용자(110)는 카메라(121) 앞에 위치한다. 키보드(124), 터치 스크린 또는 음성 명령 모듈과 같은 입력 장치는 스캐닝 프로세스를 시작하고, 사용자 ID를 입력하고, 측정에 대한 사용자 동의를 수신하는 등의 역할을 할 수 있다.

카메라(121)는 스캐닝 프로세스 이전 및 그 동안에 사용자(110)의 위치, 포즈/회전 및 자세를 추적하고, 사용자의 이미지가 카메라의 시야를 초과하지 않고, 사용자가 UFGM(120)에 의해 제공되는 유사한 명령을 따르고 있음을 검증하는 UBA(130)에 접속된다. 이러한 간단한 명령은 "스캔 영역으로 들어가세요", "손을 들어 올리세요", "돌아보세요" 등을 포함할 수 있다.

카메라(121)는 또한 카메라(121)에 의해 포착된 일련의 이미지 각각으로부터 2D 형상 데이터를 추출하고 인코딩하는 2DSA(140)에 접속된다.

카메라(121)는 또한 사용자 특정의 시각적 비형상(non-shape) 기술어를 추출하고 인코딩하는 UAA(150)에 접속된다. 이러한 기술어는 피부톤, 머리카락 색상 및 스타일, 및 선택으로서 얼굴 외형 기술어를 포함할 수 있다. 이러한 기술어들은 사용자와 닮은, 예컨대, 사용자와 유사한 피부색을 가진, 사용자와 유사한 얼굴을 가진 등등의 아바타의 시각적 외형을 강화하기 위해 가상 피팅 룸 애플리케이션에 의해 사용될 수 있다.

또한, 시각적 비형상 기술어는 하나 이상의 이러한 기술어를 기초로 옷 추천을 발생시키기 위해 사용될 수 있다. 예를 들어, 추천되는 옷 색상 및/또는 질감/패턴은 피부톤, 머리카락 색상, 및 눈을 강화할 수 있다.

시스템(100)의 각각의 엘리먼트는 USB 웹캠, LCD 디스플레이, 접속된 스피커, 키보드, 퍼스널 컴퓨터 등과 같은 개별 모듈에 의해 구현될 수 있다. 그러나, 고성능 소비자 전자 장치를 도입하여, 본 발명의 특정 실시예는 그러한 장치를 기초로 할 수 있다. 구체적인 예로서, 시스템(100)의 모든 엘리먼트는 랩탑 컴퓨터, 애플 사의 아이패드(iPad)와 같은 태블릿 컴퓨터, 또는 심지어 삼성의 갤럭시와 같은 스마트폰과 같은 사용자의 컴퓨터 기반 장치에 의해 구현될 수 있다.

본 발명의 하나의 실시예에 따른, 시스템(100)의 몇몇 모듈은 3DSA(160) 및 옷 데이터베이스(180)와 같은 원격 서버 내에 구현될 수 있다. 3DSA(160)는 2D 형상 기술어 뿐만 아니라, 사용자 위치, 자세, 및 회전 데이터를 수신하고, 그것들을 3D 형상 모델로 통합하고, 및/또는 3D 사이즈 치수를 추출하여, 사용자 형상 및 외형 데이터베이스(170) 내에 사용자 외형 데이터와 함께 저장한다. 이전에 스캔했던 사용자가 (예컨대, 가상 피팅 룸 애플리케이션(190)의 인터페이스를 통해) 시스템(100)에 로그인 한 때, 옷 데이터베이스(180)를 필터링/탐색하기 위해 그리고, 그 사용자에게 가장 잘 어울릴 옷 및 그 특정 사이즈를 추천하기 위해 사용자의 신체 사이즈 특징이 사용된다. 현재 쇼핑 경험에 더 잘 맞추어 조정된 다른 사용 케이스로서, 사용자는 웹 상점에서 옷을 선택하고, 옷 추천 뿐만 아니라, 그 옷이 얼마나 몸에 잘 맞을 것인지 묘사하는 개략적인 히트 맵(heat map)을 수신한다(이러한 개략적인 히트 맵에 대한 예는 도 17에 제공되어 있다).

옷 데이터베이스(180)는 셔츠, 바지, 드레스 등과 같은 옷, 및 의류 산업에 의해 일반적으로 정해진 사이즈, 길이, 폭, 색상 등과 같은, 옷의 속성을 디지털로 표현하는 데이터를 포함한다. 예를 들어, 데이터베이스(180)에 옷을 추가하기 위해, 시스템(100)은 (도시되지 않은) 옷 탐지 모듈을 더 포함할 수 있다. 탐지된 옷에 대한 정확한 축척 및 투시도를 제공하기 위해, 그리고 선택으로서 카메라 시야각 및 옷이 놓여져 있는 평면으로 인해 발생할 수 있는 왜곡을 제거하거나 줄이기 위해, 기준 물체로서 기지의 치수를 가지는 물체(예컨대, 컴팩트 디스크) 또는 바둑판 패턴과 같은 교정 패턴을 이용하는 것과 같은, 당업계에 공지된 왜곡 보정 기술이 사용되어야 한다.

본 발명의 하나의 실시예에 따라, 3D 형상 정보는 또한 선택된 옷이 사용자의 몸에 얼마나 잘 맞는지 또는 어울릴 것인지의 증강 현실 시각화를 위해 사용자 신체 형상을 가장 잘 묘사하는 아바타를 생성하기 위해 사용된다. 더 강력한 프리젠테이션을 위해, UAA(150)로부터 얻어진 사용자 외형 정보가 피부/머리카락 색상 및 사용자가 스캐닝 프로세스 동안 포착될 사용자의 얼굴을 선택함으로써 제공되는 닮은 얼굴의 형태로 아바타에 포함된다. 이러한 사용자 컴퓨터 기반의 장치의 계산 능력의 성장으로 인해, 3DSA(160)는 이러한 장치상에 포함될 수 있고, 서버 측에 대한 계산 리소스 및 대역폭 요구사항을 더 감소시킬 수 있다.

도 2는 종래기술로서 공지되어 있는, 이미지 시퀀스 내의 변화를 검출하기 위해 널리 사용되는 전경 탐지(foreground detection) 방법을 도시한다. 스캐닝 프로세스가 실내에서 사용되고 카메라(121)(도 1)가 스캐닝 프로세스 동안 고정될 것이라면, 배경 분리(background subtraction) 기술이 적합하다. 배경 모델링(단계(220))은 사용자가 그 장면(scene)으로 들어오기 전에 전경 대상을 포함하지 않는 비디오 이미지의 러닝 애버리지(running average)로서 배경 모델을 구성하거나, 또는 프레임과 프레임 간의 차이가 큰 영역 내에서의 애버리징(averaging)을 억제함으로써, 사용자의 존재 또는 움직임에 대한 신호를 보낸다. 배경 모델의 예시적인 이미지가 부재번호, 211로 지시되어 있다.

(부재번호, 211로 지시된) 배경 모델이 안정화되면, 각각의 새로 포착된 비디오 프레임에 대하여, 배경 분리(단계(230))는 비디오 프레임(부재번호 210로 지시된)과 배경 모델 이미지(211) 간의 픽셀별로 절대 차이를 계산한다. 그 다음, (부재번호, 212로 지시된) 차이 이미지는 바이너리 이미지를 얻기 위해 조절 가능한 임계값에 의해 프로세싱되는데(단계(240)), 이 임계값은 전체적으로(globally) 또는 국부적으로(이미지 위치 마다) 잡음(noise) 및 조명 변화 레벨 바로 위로 설정된다(예시적인 바이너리 이미지가 부재번호, 213로 지시되어 있다). 바이너리 필터링 단계(250)는 저잡음 영역 및 물체 내부의 작은 구멍을 제거하기 위해 연결 성분 필터링(connected component filtering) 또는 형태학적 필터링(morphological filtering)과 같은 공지된 기술을 이용할 수 있다.

도 3은 본 발명의 하나의 실시예에 따른, 스캐닝 프로세스의 일부분으로서 UBA(130)에 의해 사용자 행동을 분석하는 프로세스를 흐름도 형태로 개략적으로 도시한다. 사용자 3D 형상 데이터를 얻을 목적으로, 사용자 행동 정보는 다음을 포함한다:

- 지면 상의 사용자 위치;

- 지면에 대한 사용자 포즈 또는 회전; 및

- UFGM(120)에 의해 명령받은 요구 자세의 검증.

아래의 설명에서, 스캐닝 프로세스는 허리, 엉덩이 및 가슴 등의 둘레를 측정할 목적으로, 그리고/또는 상체 부분을 묘사하는 3D 점의 클라우드를 얻기 위해 스캐닝 프로세스가 사용자의 상체를 향하고 있다고 가정한다. 특정한 실시예에서, 상체 스캐닝은 스캐닝 프로세서 동안 상체 부분이 가려지지 않도록(un-occluded), 사용자가 도 2 및 3의 이미지(210)에서의 윤곽과 같이 "선인장" 자세를 취한 채로 수행된다.

사용자 행동은 전경 탐지 프로세스로부터 얻어진 (도 2에서 이미지(213)로 지시된) 바이너리 신체 실루엣, 및 카메라(121)(도 1)로부터의 원(raw) 비디오 이미지를 기초로 분석된다.

본 발명의 하나의 실시예에 따른, 사용자 행동 분석의 하나의 주요 속성은 사람 대상의 기준 바닥(on-floor) 위치이다. 하나의 실시예에서, 사람 대상은 스캐닝 프로세스 동안 지정된 영역 내에서 움직일 것을 요구받는데, 선택적으로 스캐닝 프로세스 동안 사용자를 안내하기 위해 바닥 마킹이 이용될 수 있다. 대안으로서, 이 시스템은 대상의 이미지 높이 및 (예컨대, 도 1에 도시된 키보드(124)를 통해) 이 시스템에 수동적으로 입력될 수 있는 단일 사이즈 값인 대상의 물리적 높이로부터 거리를 추정할 수 있다. 그러나, 더욱 정교한 완전 자동 동작을 위해 그리고 대상이 덜 협조적인 경우를 위해, 이 시스템은 2D 이미지 시퀀스로부터 거리/위치를 추출한다.

UBA(130)에 의해 사용자 행동을 분석하는 것은 아래의 단계들을 포함할 수 있다.

발 탐지(단계(310)), 바이너리 실루엣의 바닥 로우(row) 찾기. 스캐닝 프로세스의 시작시 발생하는 카메라 캘리브레이션(calibration)을 기초로, 바닥면을 나타내는 각각의 이미지 로우(y) 좌표는 카메라로부터의 거리로 변환될 수 있다. 예를 들어, 도 4는 발 이미지 위치 탐지로부터의 사용자 거리를 추출하는 것을 더 상세하게 도시한다. 캘리브레이팅된 거리 라인(280, 290, 300 및 310)이 거리 값과 함께 수평선으로 도시되어 있다. 라인 사이의 수직 발 위치는 보간(interpolate)될 수 있다. 회전 중심에 정확한 거리 값을 할당하기 위해, 이 시스템은 맨 아래의 발 거리를 발 사이즈 및 (선택적으로) 신체의 회전 각도에 대한 평균값을 이용하여 신체 중심 거리로 변환한다.

맨 아래의 로우가 탐지된 후, (카메라 캘리브레이션으로부터) 바닥 수평 위치로 변환된 x 무게 중심, 및 발 주변에 (점선(400)으로 지시된) 계산 윈도우가 그려진다. 이는 사용자 위치 탐지를 완료시킨다(단계(320)).

발 부분에서의 대상 분할(object segmentation)의 불안정이 위치 정확도에 영향을 주는 것을 막기 위해, y 바닥 좌표 및 x 무게 중심 모두는, 예컨대, 5-프레임 평균 필터 또는 다른 적절한 평균 필터를 이용하여 시간적으로 필터링된다.

사용자 거리는 본 발명에 서술된 바와 같이, 머리를 탐지 및 추적함으로써 머리 위치의 꼭대기로부터 유사한 방법으로 추정될 수 있다. 오직 발 탐지로부터 또는 오직 머리 탐지로부터 거리를 추적하는 이러한 두 방법들은 모두 바닥에서부터 카메라의 높이와 그것의 틸트(tilt)를 아는 것을 요구한다. 이것은 피팅 룸과 같은 고정된 카메라 설치에서는 쉽게 사용가능하지만, 가정용 애플리케이션을 지원하고자 희망할 때에, 1회 사용자에게는 카메라 높이를 측정하고 그 틸트를 제어/측정하는 것이 성가실 수 있다. 그러한 경우에, 머리 및 발 위치를 모두 추적하도록 본 발명에 따른 실시예를 결합하여, 카메라의 높이/틸트 값 없이 각각의 측정 프레임에서의 사용자 거리를 도출할 수 있다.

사용자가 카메라와 너무 가까워 사용자 실루엣의 클리핑(clipping) 및 투시도 왜곡의 증가를 야기할 수 있다면, 사용자 피드백 UFGM(120)은 사용자에게 경고를 제공할 것이다. 이와 유사하게, 사용자가 뒤쪽의 벽과 너무 가까워 도는 것이 어려워 질 수 있다면, 다른 경고가 전달될 것이다. UFGM(120)(도 1)은 조명이 너무 약하거나 또는 너무 밝거나, 배경이 너무 복잡하거나, 카메라의 시야 내에 TV 모니터 또는 컴퓨터 스크린과 같은 동적 배경이 있거나, 그림자가 움직이거나, 캐스트(cast) 조명이 움직이거나, 카메라가 기울어지는 것 등과 같은, 장면(scene) 및 카메라 설정 및 사용자 행동에서의 일반적인 문제점을 검출하기 위해, 복수의 장면 컨텐트 및 종래기술에 공지된 사용자 행동 분석 알고리즘을 포함한다.

바이너리 실루엣을 기초로, 머리 탐지 모듈(단계(330))은 사용자의 머리를 바이너리 형상의 꼭대기로서 수평(x) 무게 중심 부근에서 찾을 수 있다. 머리 위치의 추가적인 검증/미세 위치찾기는 오메가 형상 탐지기 또는 사람의 머리-어깨 부분의 오메가 형상의 특징부를 기초로 하는 다른 공지된 사람 탐지 및 추적 기술을 기초로 할 수 있다.

머리와 발이 탐지되면, 전체 형상에 대하여 범용 척도(general scale)가 사용가능하고, 어떤 신체 부위의 위치에 대한 초기 추측으로서 역할 할 수 있다. 손 탐지 모듈(단계(340))은 추정된 어깨 위치로부터 팔 탐색을 시작하고, 팔 형상의 종료점으로서 손을 탐지하기 위해 이동한다. 대안으로서, 바이너리 형상(예컨대, 예시적인 이미지(213) 참조)은 1 픽셀 폭의 뼈대 이미지로 얇아질 수 있는데, 이 때 손 끝은 중심 몸통 위치에서 추적되는 팔 뼈의 끝에서 1-연결된 픽셀로서 탐지될 수 있다.

발 실루엣으로부터 사용자 위치를 검증한 후, 이 시스템은 손 위치로부터 몸의 자세를 검증하고, 한바퀴 회전하도록 사용자에게 안내하는 것을 계속한다(단계(370))(이러한 안내는 UFGM(120)에 의해 수행될 수 있다). 이미지 시퀀스 연속성은 손을 추적하는데 활용될 수 있다. 두 손이 전방 위치에서 탐지되면, 그들은 (예컨대, 연관성 검색(correlation search) 또는 이미지 변화의 정확한 2D 및 3D 측정을 위한 추정 및 이미지 레지스트레이션(registration) 기술을 채용한 다른 일반적인 디지털 이미지 연관 및 추적(DIC/DDIT) 방법을 이용하여) 프레임별로 추적되고, 손과 머리 실루엣이 합쳐지는 시기를 예측한다.

2D 이미지 형상 데이터를 3D 사이즈/형상으로 통합하기 위해, 시퀀스 이미지에 회전값(완전 전방 위치에 대한 절대값, 또는 그 시퀀스 내의 기준 이미지에 대한 상대값)을 할당하는 것이 필요하다.

도 5a 및 5b는 신체 회전 탐지 큐(cue)로서 손 탐지 및 추적을 도시한다. 도 a는 제1 위치인 사용자(110)의 신체를 도시하고, 도 5b는 도 5a의 제1 위치에 대하여 회전된 다른 위치인 사용자(110)의 신체를 도시한다. 부재번호, 510는 사용자의 머리를 지시하고, 부재번호, 511 및 512는 사용자의 손을 지시한다. 손(511)과 손(512) 사이의 3D 거리가 짧은 회전 동안 고정 유지된다고 가정하고, 신체 회전 탐지 모듈(단계(380))은 회전 각도 추정값을 제공하기 위해 이미지 거리의 변화를 추적한다. 다른 신체 회전 큐가 독립적으로 또는 정밀도를 높이기 위해 결합되어 사용될 수 있다.

예를 들어, 옷 패턴 및 피부 질감과 같은 신체 실루엣 내의 시각적 컨텐트를 추적할 수도 있다. 적용가능한 기술은 특징점 탐지 및 추적[카를로 토마시 및 타케오 카나데, "포인트 피쳐의 탐지 및 추적", 카네기 멜론 유니버시티 기술 보고서 CMU-CS-91-132, 1991년 4월]을 포함할 수 있다. 몸체 회전은 시각적 이동의 "광 플로우" 필드를 계산하는 것, 및 백터 필드에 이동 모델을 피팅시키는 것으로부터 추정될 수 있다[존 에리 바론, 데이비드 제이, 플릿, 및 스티븐 뷰케민(1994), "광 플로우 기술의 성능", 컴퓨터 비전의 국제 저널(스플링거)]. 이러한 기술은 아래에 서술된 얼굴 회전 추적에 의해 증강(augment)될 수 있다.

얼굴 탐지 모듈(단계(350))은 머리 탐지 모듈(단계(330))에 의해 탐지된 머리에 대한 얼굴 탐색에 집중한다. 비올라 존스 얼굴 탐지기(Viola-Jones face detector)와 같은 얼굴 탐지기는 다양한 정면 포즈의 얼굴을 탐지하기 위해 이미지에 적용될 수 있고, 옆 얼굴을 탐지하도록 확장되었다. 최고점을 제공하는 특정한 분류자(classifier)는 얼굴 포즈의 감각을 제공한다. 정확도는 복수의 얼굴 랜드마크(landmark)를 탐지하고 그 상대 위치 및 거리 비율로부터 포즈를 추정함으로써 더 증가될 수 있다.

도 6a 및 6b는 몸체 회전에 대한 단서로서 신체 실루엣 폭 변화를 개략적으로 도시하는데, 도 6a는 제1 위치에 있는 신체 실루엣을 도시하고, 도 6b는 도 6a에 대하여 회전된 다른 위치에 있는 신체 실루엣을 도시한다. 예를 들어, 가장 좁은 허리 치수(최소 중 최소)는 90°로 할당될 수 있고, 가장 넓은 엉덩이 치수를 가진 이미지(최대 중 최대)는 0°로 할당될 수 있다. 그 다음 이 시스템은 폭 시퀀스의 변화를 추적하고, 아래와 같은 보간법(interpolation)을 이용하여 그 사이의 회전각을 추정한다.

- 일정한 각 속도를 가정한 - 선형 보간;

- 허리/엉덩이의 타원형 단면을 가정한 - 폭 기반 보간;

- 공지의 광 플로우 기술 또는 상술한 바와 같은 특징점 탐지 및 추적을 이용하여, 신체 실루엣 내부의 시각적 디테일의 이동을 추적하는 것 및 타원형 단면 모델을 이용하여 회전에 대하여 풀이하는 것.

UBA(130)에 의해 사용자 행동을 분석하는 앞서 언급한 프로세스는 프레임 별로 사용자 행동 분석을 설명한다. 분할 및 분석 에러는 노이즈 있는 치수 및/또는 고립된 프레임에서의 거짓값(spurious value)을 야기할 수 있다. 모든 사용자 행동 파라미터는 상기 파라미터의 견고한 추정값을 제공하기 위해 시간 도메인에서(시간 상에서) 평탄화될 수 있다. 하나의 특정 예로서, 중간값 필터(median filter) 또는 통계 분야에 공지된 다른 견고한 추정기가 랜덤 각도 에러를 줄이기 위해 그리고 이상점(outlier)을 걸러내기 위해 일련의 신체 회전 각도에 적용될 수 있다.

도 7은 본 발명의 하나의 실시예에 따른 2DSA(140)에 의해 2D 형상을 분석하는 프로세스를 플로우차트 형태로 도시한다. 더 우수한 명료함을 위해, 특정한 사이즈(허리 둘레) 측정 환경에서의 2D 형상 분석을 설명한다.

본 발명의 하나의 실시예에 따라, 2D 형상 분석은 회전 시퀀스의 복수의 이미지에서 허리 이미지 위치를 탐지한 후, 각각의 그러한 이미지에서 허리의 가장자리 또는 윤곽점을 측정하는 것을 필요로 한다.

도 7에 따라, 서브 시퀀스 선택 모듈(단계(710))은 (도 3에 관하여 상술한) UBA(130)로부터의 사용자 행동 데이터(단계(702))를 이용하여, 비디오 이미지 시퀀스(단계(700))로부터 서브 시퀀스의 이미지(단계(700)), 및 (도 2에 관하여 상술한) 전경 탐지 모듈로부터 획득된 그것의 전경 이미지 대응부(단계(701))를 선택한다. 이는 관련없는 이미지(예를 들어, 사용자 위치 데이터가 사용가능하지 않은 경우, 또는 사용자가 올바른 자세로 있지 않은 경우)를 건너뛰는(skip) 것은 물론, 리던던트(redundant) 이미지(사용자가 움직이지 않거나 매우 느리게 회전하는 경우)를 건너뛰는 것을 허용한다.

그 다음, 수직 허리 위치 모듈(단계(720))는 도 8a-8c에 도시된 이미지에 대하여 아래에 서술된 바와 같이, 선택된 이미지의 서브 시퀀스에 대한 허리의 수직 이미지 위치를 탐지한다.

그 다음, 실루엣 끝점 탐지 모듈(단계(740))은 상기 허리 수직 이미지 위치와 연관된 이미지 로우에서의 좌측 및 우측을 찾고, 좌측 및 우측 실루엣 끝점을 바이너리 이미지의 백-흑 교차 지점으로서 탐지한다. 끝점의 서브픽셀(sub-pixel) 정밀도는 당분야에 공지된 서브픽셀 에지/제로 크로싱(zero-crossing) 탐지를 이용한 그레이 레벨 이미지로부터 획득된다.

바람직한 실시예에서, 시간적 수직 위치 필터(단계(730)) 및 시간적 끝점 위치 필터(단계(750))는 잡음을 줄이고 이상점을 무시하기 위해 이전 단계로부터의 일련의 값에 적용된다.

시간적 수직 위치 필터(단계(730))는 예컨대, {yWaist_0, yWaist_l, ...}로 지시되는 수직 허리 위치의 시간적 시퀀스에 적용되는데, 여기서, _0, _1 등은 이미지 인덱스이다.

시간적 끝점 위치 필터(단계(750))는 좌측 허리 위치의 시간적 시퀀스, 예컨대, {xLft_0, xLft_l, ...}에 적용되는데, 여기서, _0, _1 등은 이미지 인덱스이고, 우측 허리 위치의 시간적 시퀀스와 유사하다.

이러한 프로세스는 엉덩이, 가슴 등과 같은 각각의 희망의 둘레 값에 대하여 반복한다. 효율을 높이기 위해, 그들의 신체 위치를 미리 알고 있다면, 도 7의 프로세스는 이미지 시퀀스의 단일 프로세싱 패스 동안 복수의 시간적 시퀀스를 얻도록 용이하게 수정될 수 있다.

점의 클라우드 형태인 풀 3D 모델이 요구되는 경우에, 실루엣의 전체 윤곽이 횡단되고 에지 포인트의 목록으로 변환되는데, 이 에지 포인트의 위치는 상술한 바와 같이 서브 픽셀 정밀도로 계산된다.

도 8a-8c는 이미지 분석 방법에 의해 실행될 수 있는 수직 허리 위치에 대한 몇 가지 큐를 개략적으로 도시한다. 몇몇 신체 형상에 대하여(예컨대, 도 8a 참조), 허리는 몸통에서 가장 좁은 지점으로 정의된다. 일 범위의 [ymin, ymax] 이미지 로우 좌표는 전체 신체 실루엣 사이즈를 기초로 정해지고, 최소 [x_left, x_right] 구간에 대한 탐색이 수행된다. 더 우수한 결과를 위해, 대상의 손은 측정을 방해하지 않기 위해 (예컨대, 도 8c에 도시된 사용자 자세처럼) 들어올려지거나, 또는 45도 들어올려져 몸통에서 떨어져 있어야 한다. 더 비만한 사람에 대해서는, 이러한 신체 폭의 함수를 통한 허리 위치가 분명하지 않을 수 있다. 그러므로, 수직 허리 탐지를 위한 다른 방법이 (도 8b에 개략적으로 도시된 바와 같이) 사용자의 배꼽과 같은 사용자 실루엣 내부의 시각적 특징점을 탐지하기 위해 사용될 수 있다. 허리 위치에 대한 시각적 큐가 충분히 안정되지 않은 때, 이 시스템은, 예컨대, 사용자의 키의 비율로서 평균 허리 높이를 제공하는 신체 계측 데이터(anthropometric data)로부터 허리 위치를 계산한다.

'자연' 해부학적 위치(예컨대, 허리, 가슴 등)를 탐지하는 것과 더불어, 명목 신체 위치에서 사용자의 치수가 추출되는데, 이는 특정한 옷 치수와 사용자 치수를 일치시키기 위해 요구되는 것이다. 예를 들어, 허리 라인이 어깨로부터 45cm가 되도록 정해진 어떠한 옷에 대하여, 신체를 따라 매우 동일한 포인트가 찾아질 것이고, 그 매우 동일한 포인트에서 둘레가 측정될 것이다.

사람 신체 부위의 외형의 광범위한 변화로 인해, 하나의 실시예에 따라, 그 신체 부위의 이미지의 집합이 수집되고, (하르 라이크 피처(haar-like feature) 또는 물체 인식에 사용되는 유사한 디지털 이미지 특징과 같은) 적절한 이미지 특징이 선택되고, 간단한 분류자(classifier)의 캐스케이드(cascade)가 공지된 아다부스트 알고리즘(AdaBoost algorithm)을 이용하여 또는 유사한 기계 학습 알고리즘의 구현을 이용하여 트레이닝된다. 이러한 단계들은 오프라인(offline)으로 수행될 수 있다. 시스템 동작 중, 전체 이미지 사이즈로부터 배꼽 영역이 추정되고, 이러한 분류자의 캐스케이드가 적용되고, 특징 탐지를 위해 상이한 척도로 그 영역을 스캔한다.

도 8c는 실루엣 분석을 기초로 어깨 높이와 가랑이 높이가 탐지되고, 수직 허리 위치가 이러한 두 값 사이에 비례하여 정해지는 수직 허리 위치에 대한 다른 실시예를 도시한다. 어깨 높이 및 가랑이 높이는 각각 점선(801 및 802)으로 지시되어 있고, 정해진 허리 위치는 라인(803)으로 지시되어 있다.

허리 라인, 엉덩이 라인, 및 가슴 라인과 같은 특정 상체 높이 라인에 대한 이미지 탐색은 인체측정 정보를 이용하여 더 제한된다. 모든 여성 중 99%에 대한 여성 허리 포인트는 여성의 키의 0.578과 0.652 사이에 놓인다. 그러므로, 카메라 파라미터와 함께, (예컨대, 이 시스템에 사용자를 등록하는 프로세스 중에) 입력된 대상의 성별 및 높이를 앎으로써, 허리 영역의 수직 이미지 폭(span)을 계산하고, 그 수직 이미지 폭 내에서만 상술된 하나 이상의 허리 탐지 프로세스를 수행하는 것이 가능해진다. 유사한 인체측정 데이터는 어깨, 목, 손목 등과 같은 다른 신체 주요 지점에 대한 탐색을 용이하게 한다.

도 9a-9d는 신체 실루엣(900)의 끝점을 경계 각도 섹터(bounding angular sector)로 변환하는 원리를 개략적으로 도시한다. 대략 카메라 높이에 있는 신체 부위에 대하여 정당화될 수 있는 카메라 또는 (신체 치수와 관련된) 거리 카메라에 대한 직교(orthographic)(또는 평행) 투영 모델이 상정될 것이다. 다른 경우에 대하여, 보정 팩터는 카메라 광축에 대한 특정한 신체 부위의 앙각(elevation angle) 마다 실험적으로 획득될 수 있고, 도출된 사이즈 치수/유도된 3D 윤곽 포인트를 보정하기 위해 사용될 수 있다.

다른 보정 팩터는 어느 신체 사이즈 치수의 정의와 관련된다. 예를 들어, 목 둘레는 신체 3D 형상의 대각선 슬라이스(diagonal slice)를 따라 형성되고, 특수 보정 팩터가 그 치수에 적용된다.

캘리브레이팅된 카메라를 상정하면, 각각의 이미지 포인트는 (도 9b에서 부재번호 906로 지시된) 공간 내에 하나의 광선을 만들기 위해 카메라 초점으로부터 뒤로 투사될 수 있다. (도 9b-9d에 각각 부재번호 901 및 902로 지시된) 좌우 끝점은 각도 섹터를 형성하는데, 이 각도 섹터는 직교 가정/근사화 하에서 바닥과 평행한 평면 내에 놓인다. (허리, 엉덩이 등과 같은) 특정 높이에서의 실루엣(900)의 신체 단면은 부재번호 903으로 지시된 바와 같이, 상기 각도 섹터에 의해 경계를 이룬다. 다른 특정 높이에 대한 예는 부재번호 904 및 905로 지시되어 있다.

카메라 캘리브레이션은 종래기술에 공지되어 있다. 카메라 시야 및 렌즈 왜곡 데이터는 제조사로부터 사용가능할 수 있다. 예를 들어, 애플사의 아이폰4S와 같은 스마트폰을 사용할 때, 본 발명에 따른 설치된 신체 측정 애플리케이션은 카메라 파라미터에 대하여 공지된 애플리케이션 프로그램 인터페이스(API)를 통해 그 장치에 물어볼 수 있다.

대안으로서, 고유한(시야, 왜곡, 광 중심) 및 외적인(위치 및 방향) 카메라 파라미터들은 캘리브레이션 패턴/오브젝트를 통해 얻어질 수 있다. 캘리브레이션 소프트웨어 패키지도 또한 공개 소스로서 사용가능하다.

이상적으로, 카메라 광축은 바닥면과 평행해야 한다. 그렇지 않은 경우, 그 기울기가 바닥과 벽의 교차 위치와 같은 시각적 정보로부터 탐지 및 추정될 수 있고, 또는 디바이스에 장착된 센서로부터 측정될 수 있다. 이러한 기울기 정보가 사용가능하다면, 그것은 그러한 기울기를 보상하기 위해 측정 식에 통합된다.

물론, (신체의 단일 2D 이미지로부터 획득된) 단일 제약은, 말하자면, 허리 레벨에서의 실제 신체 단면이 형상(902, 903, 904)과 같은 도 9b에 도시된 형상 중 하나 또는 다른 형상일 수 있기 때문에, 실제 신체 사이즈에 대해서는 아주 조금 말해줄 뿐이다. 다른 사진(측면도 등)이 불확실성을 줄이고, 타원 단면을 가정하여 신체 둘레에 대한 답을 구하는 것을 가능하게 함을 이해해야 한다. 그러나, 실제 사람의 신체에 대하여, 이러한 근사화는 적절한 사이즈 추천 및 시각화를 제공하기에는 충분히 정확하지 않다.

도 10a 및 10b는 자유롭게 회전하는 사용자의 일련의 이미지로부터 정확한 단면 형상(및 둘레)을 구하는 방법을 도시한다. 이 도면은 부재번호 911, 912 및 913으로 지시되어 있는, 타원 윤곽으로 표시된 3가지 포즈를 도시한다. 타원 윤곽(911)은 제1 기준 자세에서 도출된 경계 영역을 묘사한다. 사용자가 (시계 반대반향으로) 회전할 때, 그 실루엣 끝점은 변하고, 회전된 단면에 대하여 타원 윤곽(912 및 913)(점선)과 같은 추가적인 각도 섹터가 생성된다.

단면 형상을 분명하게 생성하기 위해, 이 시스템은 모든 각도 섹터를 제1 또는 다른 위치로서 임의적으로 선택된, 동일한 기준 프레임으로 변환(transform)해야 한다. 유클리드 변환(Euclidean transformation)이 기준 위치에 대한 신체의 선형이동(translation) 및 회전에 의해 정의된다. 이러한 모션 파라미터는 도 3에 대하여 상술한 사용자 행동 분석 모듈을 위해 구해진다.

도 10a를 다시 참조하면, 유클리드 변환 후, 신체 단면 형상에 대한 3개의 제약이 (실선으로 지시된) 각도 섹터(921, 922 및 923)에 의해 지정된다. 이제 이시스템은 상기 형상이 모든 3 섹터의 공통 영역 내에 놓여 있으므로, 상기 형상에 대하여 더 많이 알게 된다.

복수의 이미지를 통해(예컨대, 5초의 회전 동안, 이 시스템은 100개 초과의 이미지를 얻을 수 있다), 이 시스템은 기준 좌표 시스템에서 경계 각도 섹터를 계산하는 프로세스, 각각의 섹터에 유클리드 변환을 적용하는 프로세스, 및 누적 경계 형상과 교차시키는 프로세스를 반복한다. 신체의 더 많은 화면이 추가될수록, 섹터의 불 교차(Boolean intersection)는 그 형상을 더 촘촘하게 둘러싸고, 결국 볼록한 단면이 얻어진다. 이러한 불 교차는 공지된 다항식 교차(polygon intersection) 법을 이용하여 계산될 수 있다. 컴퓨터 그래픽에서 공지된 이러한 "물체-공간" 접근법은 임의의 정밀도로 형상을 계산하는 장점을 가진다.

대안으로서, 본 발명에 따른 "이미지 기반" 접근법은 (사각형(930)으로 지시된) 전체 측정 영역을 최초로 둘러싸는 고해상도 비트맵으로 하나씩 각도 섹터를 렌더링하고, 도 10b의 예시적인 일련의 흑백 이미지에 도시된 바와 같이 이전 비트맵과의 불 교차를 회귀적으로(recursively) 적용한다.

도 11은 2D 형상 모델 데이터 저장소로부터 3D 사이즈 메트릭 및 형상 데이터를 구성하는 것을 흐름도 형태로 도시한다. 2DSA(140)(도 1)에 의해 분석된 각각의 2D 이미지에 대하여, 실루엣 끝점 좌표는 사용자 위치 및 회전 각도와 함께(단계(1115)) 추출된다(단계(1105)). 후자는 2D 유클리드 변환 매트릭스를 계산하기 위해 사용된다(단계(1120)). 단계(1110)는 카메라 좌표 내의 경계 각도 섹터를 생성하고, 이는 기준 좌표 시스템으로 상기 매트릭스를 이용하여 (단계(1130)에 의해) 시프트 및 회전된다. 단계(1140)는 종래기술에 공지된 볼록 다각형 필링 기술(convex polygon filling technique)을 이용하여, 각도 섹터의 내부를 렌더링한다. 랜더링 해상도(예컨대, 5픽셀/cm)는 디지털화 에러를 피하기 위해 충분히 미세하여야 한다. 단계(1150)는 새로 랜더링된 각도 섹터와 지금까지 누적된 형상 수렴 비트맵의 불 교차를 수행한다.

1회전의 시퀀스가 상술한 바와 같이 프로세싱된 때, 단면의 형상은 사용가능하고, 그 윤곽이 단계(1160)에 의해 횡단될 수 있다. 이러한 윤곽은 복수의 높이에서 피규어(figure)의 단면들이 누적될 때, 3D 클라우드의 점으로 변환될 수 있는 하나의 어레이의 윤곽 포인트로 표현될 수 있다(단계(1170)). 대안으로서, 윤곽 길이가 단계(1180)에서 계산되고, 허리에 대한 둘레 값으로 역할한다. 획득된 3D 형상 모델은 데이터베이스에 저장될 수 있다(단계(1190)).

도 12는 의류 산업에 의해 일반적으로 요구되는 신체 사이즈 치수를 도시한다. 몇가지 주요 치수(흉부/가슴, 허리 및 엉덩이)는 팔을 들어올린(소위, "선인장") 자세로 사용자가 1회전함으로써 계산될 수 있다.

다른 신체 사이즈 치수는 사용자가 다른 자세를 취하도록 요구한다. 예를 들어, 사용자의 손을 사용자의 몸통 옆으로 벌린 채, 오버암(overarm) 및 목 둘레 치수를 얻는 것이 가능하다.

추가적인 신체 사이즈는 사실상 선형이다. 이들은 인심(inseam), 팔, 및 키를 포함한다. 캘리브레이션을 이용하여, 이러한 치수는 그 측정을 위한 전신 전/후 이미지를 선택하기 위한 사용자 행동 분석기(130)(도 1)에 의존하여, 단일 프레임으로부터 추출된다. 다리를 측정하는 것은 청바지 및 다른 꼭 끼는 옷의 경우에 중요하다. 다리가 전신 회전 동안에 서로 맞닿아 있다면(mutual occlusion), 본 발명의 방법에 대한 변형은 맞닿지 않은 프레임에서 무릎 또는 발목 형상을 만들 것이다. 무릎/발목에서의 다리 단면이 거의 원형이므로, 120°에 대한 각각의 다리 윤곽의 시계(visibility) 또는 회전 이동은 다리의 둘레의 정확한 추정을 위해 충분하다.

도 13a 내지 도 13c는 본 발명의 하나의 실시예에 따른, 생성된 3D 데이터로부터 3D 모델 표현을 구성하는 것을 개략적으로 도시한다. 하나의 시퀀스의 높이 값(elevation values)으로, 하나의 시퀀스의 이미지 프레임으로부터 실루엣 윤곽을 교차시킴으로써 얻어진 일련의 점에 대하여 도 11과 관련지어 서술된 프로세스를 반복하여, 점의 클라우드(도 13a)를 생성한다. 이러한 점의 클라우드는 풀 3D 신체 스캐너의 포맷으로 변환될 수 있다. 더 나아가, 종래기술 뿐만 아니라, 몇몇 상업적으로 이용가능한 소프트웨어 프로덕트는 점의 클라우드를, 가상 피팅 룸 애플리케이션 및 가상 옷 시뮬레이션에 더 적합할 수 있는 표면 모델(도 13c 참조)로서 역할하는 일련의 다각형(도 13b에 도시된 삼각형 메쉬 참조)으로 변환하는 방법을 보여준다.

도 14는 본 발명의 하나의 실시예에 따른 옷 추천 엔진(GRE)(175)를 도시한다. GRE(175)는 사용자의 신체 치수(예컨대, 둘레 및 길이)를 선택된 옷의 치수와 비교하고, 베스트 사이즈 핏에 관한 추천을 제공한다.

GRE(175)는 사용자의 신체 사이즈 치수 데이터베이스(예컨대, 사용자 형상 및 외형 데이터베이스(170 등)로부터 사용자의 치수를, 그리고 옷 데이터베이스(180)로부터 옷 치수를 수신한다. 데이터베이스(180)로의 옷 데이터 삽입은 수동적으로 또는 옷 탐지 모듈에 의해 자동적으로 수행될 수 있다. GRE(175)은 부재번호 174로 지시된 사용자의 구매 히스토리를 더 수신할 수 있다. 각각의 옷 타입(예컨대, 셔츠, 바지, 드레스 등)은 상이한 세트의 둘레 및 길이를 비교하는 것을 필요로 하고, 이러한 치수의 개수 또한 소매상마다 다를 수 있다. 고객의 치수와 비교될, 각각의 옷의 실제 사이즈는 또한 탄력성, 착용 편의성(wearing ease), 및 허용 공차와 같은 파라미터에 의존한다. 본 발명의 하나의 실시예에 따른 예시적인 사이즈 계산 플로우가 도 15에 도시되어 있다.

옷의 치수가 계산되고 고객의 신체 치수와 비교된 후, 예컨대, 도 16에 서술된 바와 같이, 도 17에 부재번호 620으로 지시된 히트 맵에 의해 제공되는 바디 핏(body fit)의 일러스트레이션을 동반하는 사이즈 추천이 발행된다.

이제 도 16을 참조하면, 오직 설명의 목적으로, 사이즈 추천을 발행하는 프로세스는 아래의 단계들을 포함할 수 있다. 먼저, GRE(175)는 (예컨대, 부재번호, 601-606으로 지시된 하나의 세트의 사용자의 엉덩이, 허리 및 가슴의 둘레 및 길이를 체크함으로써) 신체 치수를 체크한다. 이 예에서, 찾아진 둘레 사이즈는 가슴 사이즈=38, 허리 사이즈=38, 및 엉덩이 사이즈=40이다.

다음 단계(607)에서, GRE(175)는 모든 신체 치수들이 옷의 사이즈 범위 내에 있는지(크거나 작지 않은지) 체크한다. '예'라면, 다음 단계(608)에서, 신체 치수의 사이즈 간의 차이가 두 사이즈 보다 크지 않은지 체크한다. '예'라면, 다음 단계(609)에서, 신체 가슴 포인트가 패턴의 가슴 포인트의 수직축 상에서 +/- 3 cm 범위 내에 있는지 체크한다. 이러한 포인트까지, 단계(607-609)의 체크 중 임의의 하나에 대한 대답이 '아니오'라면, 추천 없음이 취해진다(단계(611)). 단계(609)에서 대답이 '예'라면, 다음 단계(610)에서, GRE(175)는 신체 치수의 사이즈 간의 차이가 한 사이즈보다 더 큰지 체크한다. '예'라면, (단계(613)에서), 퍼펙트 핏에 대한 추천(예컨대, 사이즈 40 - 가장 큰 사이즈)이 제공되고, 이 시스템은 사용자의 신체 다이어그램(예컨대, 사용자의 외형을 모방한 아바타) 상에 그 옷을 시각화한다. '아니오'라면, (단계(612)에서), 단계(613)에서처럼 반드시 퍼펫트 핏에 대한 추천은 아니지만, 가장 큰 핏에 대한 추천(예컨대, 사이즈 40)이 제공된다. 단계(612) 동안, 이 시스템은 사용자의 신체 다이어그램(예컨대, 사용자의 외형을 모방한 아바타) 상에 그 옷을 시각화한다.

사이즈 추천을 발행하는 상기 단계들이 추가적인 또는 다른 룰을 포함할 수 있는 훨씬 더 광범위한 로직 중 일부 부분만 다룬 것임을 거론할 필요가 있다. 예를 들어, 상기 단락에 서술된 2 사이즈 갭 차이(단계(608) 참조)는 사이즈 추천 프로세스의 효율을 강화하기 위해 사용될 수 있는 큰 세트의 룰 중 하나의 예시적인 룰일 뿐이다.

본 발명의 하나의 실시예에 따라, 이 시스템은 스캔된 사용자 2D 형상 데이터로부터, 및/또는 계산된 3D 형상 데이터로부터, 그리고 선택적으로 형상외의 사용자 특징(피부톤, 눈 색상, 머리카락 색상 등)으로부터 아바타를 생성하도록 구성될 수 있다. 앞서 언급한 바와 같이, 이러한 아바타는 스캐닝 프로세스 동안 사용자의 시각화를 위해 사용된다(이 아이디어는 카메라에 의해 포착된 실제 이미지를 보는 것이 아니라 - 경험을 강화하고 선택적으로 사생활 보호의 감각을 만들기 위해 사용자 행동을 따라하는 피규어를 제공하는 것이다).

이 아바타는 또한 사용자에 대한 선택된 옷의 시각화를 위해 사용될 수 있다. 상기 시각화는 정적일 수도 있고, 또는 미리 정해진/랜덤하게 생성된 움직임 중 하나를 취하도록 아바타를 애니메이션화 함으로써 동적일 수도 있다. 아바타 디스플레이는 스캐닝 동안 사용자 경험을 강화하기 위해, 또는 옷 구매 단계 동안 옷 디스플레이를 강화하기 위해 (예컨대, 실제보다 더 말라보이게) 수정될 수 있다.

본 발명에 따른 신체 측정 프로세스는 패션 소매 산업 이외의 다양한 영역에서 사용될 수 있다. 하나의 이러한 영역은 건강 분야이다. 비만은 상당한 건강 위험이 되고 있어 비만도를 감시하는 수단을 제공하는 것은 의무적이다. 체질량지수(BMI)는 비만도를 측정하기 위해 광범위하게 사용되는 간단한 메트릭이다. 그러나, BMI는 지방의 분포를 반영하지는 않는다.

본 발명의 몇몇 실시예에 따라, 신체 측정 프로세스는 의료 분야 적용을 위해, 사용자를 스캔하고 그 3D 형상 데이터를 분석하여 비만도, 지방 분포도와 같은 어떠한 건강 관련 파라미터/메트릭을 산출하도록 조절될 수 있다. 하나의 실시예에서, 이러한 스캐닝은 반복적으로(예컨대, 매달) 수행되고, 사용자 3D 형상 데이터는 기준 스캔과 또는 하나 이상의 이전 스캔과 비교된다. 비교 프로세스는 어떠한 형상 파라미터의 유의미한 변화의 지시를 발생시킨다.

도면에 서술된 배열들이 단일 정적 2D 카메라를 통해 움직이는 사람 대상의 일련의 2D 이미지를 포착하고, 복수의 이러한 2D 이미지로부터 2D 형상 또는 사이즈 관련 기술어를 추출하고, 상기 기술어를 3D 사이즈 치수 및/또는 3D 형상의 엘리먼트로 통합시킬 수 있는 시스템을 야기할 수 있음을 당업자들은 이해할 것이다.

본 발명의 하나의 실시예에 따라, 몇몇 부분(예컨대, 목 부분, 배꼽 부분, 소매 등)에서의 옷의 길이 및 폭과 같은 옷의 정확한 특징을 구하기 위해, 옷이 놓여져 있는 기준 평면에 대한 카메라의 각도가 고려되어야 한다. 이는 카메라 렌즈와 옷이 놓여져 있는 평면 간의 비평행 위치(또는 최적이 아닌 포착 각도)로 인해 발생할 수 있는 임의의 왜곡을 줄이기 위해 요구된다.

상술된 본 발명의 실시예들은 컴퓨터 프로세스(방법), 컴퓨팅 시스템으로서, 또는 컴퓨터 프로그램 프로덕트 또는 컴퓨터 판독가능한 매체와 같은 제조품으로서 구현될 수 있다. 컴퓨터 프로그램 프로덕트는 컴퓨터 시스템에 의해 판독 가능하고 컴퓨터 프로세스를 실행하기 위한 명령어의 컴퓨터 프로그램을 인코딩하는 컴퓨터 저장 매체일 수 있다.

게다가, 서술된 예시적인 프로세스에 대하여, 모든 프로세스 상태/단계가 달성되어야 하는 것은 아니며, 그 상태/단계가 서술된 순서로만 실행되어야 하는 것도 아니다. 더 나아가, 순차적으로 수행되는 것으로 서술된 어느 프로세스 상태들이 동시에 수행될 수도 있다.

이와 유사하게, 특정 예들이 퍼스널 컴퓨터(PC) 시스템 또는 데이터 장치를 언급할 수 있지만, 제한하지 않는 예로서, 태블릿, 네트워크 가능한 개인 휴대 정보 단말기(PDA), 스마트폰 등과 같은 다른 컴퓨터 또는 전자 시스템도 사용될 수 있다.

본 명세서에 사용된 용어, "예를 들어", "예컨대", "선택적으로"는 제한하지 않는 예를 소개하기 위해 사용되도록 의도되었다. 어떤 예시의 시스템 컴포넌트 또는 서비스에 대하여 어떤 참조가 이루어지지만, 다른 컴포넌트 및 서비스도 사용될 수 있고, 및/또는 예시적인 컴포넌트들은 더 적은 컴포넌트로 결합되거나, 및/또는 더 많은 컴포넌트로 나누어질 수도 있다. 더욱이, 본 명세서에서 기재 및 서술된 예시적인 용어들은 설명과 예시를 위한 것이며, 청구된 본 발명을 어떤 식으로든 제한하지 않도록 의도되었다.

모든 상기 설명 및 예시들은 설명의 목적으로 제공되었고, 본 발명을 어떤 식으로든 제한하도록 의도되지 않았다. 다양한 상이한 메커니즘, 분석 방법, 전자 및 로직 엘리먼트가 본 발명의 범위를 벗어나지 않고 채용될 수 있다.

Claims

하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법으로서,
a. 카메라에 의해 포착된 상기 사용자의 원(raw) 2D 이미지의 시퀀스를 얻음으로써 상기 사용자의 신체를 스캔하는 단계;
b. 사용자 행동 분석기(UBA)를 이용하여, 상기 스캔하는 단계 이전에 또는 그 동안에, 상기 사용자의 위치, 포즈/회전 및 자세를 추적함으로써 상기 사용자의 행동을 분석하는 단계;
c. 2D 형상 분석기(2DSA)를 이용하여, 상기 이미지 시퀀스로부터 2D 형상 데이터 기술어(descriptor)를 추출하고 인코딩하는 단계; 및
d. 상기 2D 형상 데이터 기술어, 뿐만 아니라 사용자의 위치, 포즈 및 회전 데이터를 수신하고, 그것들을 3D 형상 모델로 통합시키는 단계를 포함하고, 상기 통합은 상기 이미지 시퀀스에 회전 값을 할당하는 것을 포함하고, 상기 회전 값은 전체 전방 위치에 대한 절대 값이거나, 또는 상기 시퀀스 내의 기준 이미지에 대한 상대 값인 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 상기 스캔하는 단계 동안 최초 및 추가 사용자 안내/지원을 제공하는 것을 포함하여, 상기 스캔하는 동안 사용자와 상호작용하기 위한 사용자 피드백 및 안내 모듈(UFGM)을 제공하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 2 항에 있어서, 상기 사용자 행동 분석기는 또한 상기 사용자가 상기 사용자 피드백 및 안내 모듈에 의해 제공되는 명령을 따라하고 있는지 검증하기 위해서도 사용되는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 사용자 외형 분석기(UAA)에 의해 상기 사용자의 시각적 비형상 기술어를 추출하고 인코딩하는 단계를 더 포함하고, 상기 시각적 비형상 기술어는 상기 사용자의 외형과 관련된 속성을 나타내고, 피부톤, 머리카락 색상 및 스타일을 포함할 수 있는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 4 항에 있어서, 상기 UAA는 상기 사용자의 얼굴 외형 기술어를 추출하고 인코딩하는 것을 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 사용자 형상 및 외형 데이터베이스에 사용자 외형 데이터와 함께 저장될 3D 사이즈 치수를 추출하는 단계를 더 포함하고, 이를 통해, 이전에 스캔했던 사용자가 가상 피팅 룸 애플리케이션의 인터페이스를 통해 이 시스템에 로그인 한 때, 상기 사용자의 저장된 신체 사이즈 특징이 옷 데이터베이스를 필터링/탐색하고 상기 사용자에게 가장 잘 어울리는 옷 및 옷의 구체적인 사이즈를 추천하기 위해 사용될 수 있는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 상기 사용자의 행동을 분석하는 단계는 전경 탐지 프로세스로부터 얻어진 바이너리 신체 실루엣 이미지 및 상기 이미지 시퀀스를 기초로 하고, 사용자 행동 분석의 하나의 주요 속성은 상기 사용자의 기준 바닥 위치인 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 7 항에 있어서, 상기 사용자는 상기 스캔하는 단계 동안 지정된 영역 내에서 움직이도록 요청받는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 8 항에 있어서, 상기 스캔하는 단계 동안 상기 사용자를 안내하기 위해 바닥 마킹이 사용되는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 7 항에 있어서, 입력 장치를 통해 이 시스템에 수동적으로 제공될 수 있거나, 또는 그 거리/위치가 상기 이미지 시퀀스로부터 자동으로 추출될 수 있는 단일 사이즈 값으로서, 상기 사용자의 이미지 높이 및 상기 사용자의 물리적 키로부터 거리를 추정하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 7 항에 있어서, 상기 UBA를 이용하여 상기 사용자의 행동을 분석하는 단계는:
a. 상기 사용자의 발 위치를 탐지하기 위해 그리고 상기 탐지된 발로부터 상기 사용자의 거리를 추출하기 위해 상기 바이너리 신체 실루엣 이미지 내에서 바닥 로우(row)를 탐색함으로써 상기 사용자 위치를 탐지하는 단계로서, 상기 사용자 위치는 y 바닥 좌표 및 x 무게중심에 의해 판정되는 것인 상기 사용자 위치를 탐지하는 단계;
b. 발 사이즈에 대한 평균 값 및 (선택적으로) 신체 회전 각도를 이용하여 발의 바닥 거리를 신체 중심 거리로 변환하고, 그렇게 함으로써 회전 중심에 대한 정확한 거리 값을 할당하는 단계; 및
c. 상기 바닥 로우가 탐지된 후, 상기 사용자의 발 주변에 계산 윈도우를 그리고, x 무게중심을 바닥 수평 위치로 변환하는 단계를 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 11 항에 있어서, 발 영역에서의 대상 분할의 불안정이 위치 정확도에 영향을 주지 않도록 하기 위해, y 바닥 좌표 및 x 무게중심 모두 시간적으로 필터링되는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 11 항에 있어서, 사람 탐지 및 추적 기술을 적용함으로써, 수평(x) 무게 중심 부근에, 바이너리 형상의 꼭대기에서 상기 사용자의 머리를 탐지하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 11 항에 있어서, 손 탐지 알고리즘을 적용함으로써, 상기 사용자의 손을 탐지하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 11 항에 있어서, 상기 손 탐지 알고리즘은 추정된 어깨 위치에서부터 팔을 탐색하는 것에서 시작하고, 그 다음 상기 팔 형상의 끝점을 손으로 탐지하기 위해 이동하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 11 항에 있어서, 상기 손 탐지 알고리즘은 바이너리 신체 실루엣 이미지를 1-픽셀 폭의 뼈대 이미지로 얇아지게 프로세싱함으로써 얻어지고, 이 때 손 끝은 신체 중심 위치에서 추적된 팔 뼈의 끝부에 있는 1-연결된 픽셀로서 탐지되는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 14 항에 있어서, 상기 사용자의 탐지된 손을 추적함으로써 사용자가 완전한 원을 그리도록 안내하는 단계를 더 포함하고, 양 손이 전방 위치에서 탐지되면, 양 손은 이미지 내의 정확한 2D 및 3D 치수의 변화 및 손이 머리 실루엣과 합쳐지는 시간의 예측을 위한 추적 및 이미지 레지스트레이션(registration) 기술을 채용한 디지털 이미지 보정 및 추적(DIC/DDIT) 방법을 적용함으로써 프레임마다 추적되는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 17 항에 있어서, 바이너리 이미지의 변화 폭 시퀀스를 추적하고, 보간법을 이용하여 그사이의 회전각을 추정함으로써, 상기 사용자의 신체 실루엣의 폭 변화를 신체 회전에 대한 단서(key)로서 탐지하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 17 항에 있어서, 상기 2DSA에 의해 2D 형상을 분석하는 단계는:
a. 회전 시퀀스의 복수의 이미지에서 상기 사용자의 특정 신체 부위의 위치를 탐지하는 단계; 및
b. 상기 이미지 각각에서 상기 특정 신체 부위의 가장자리 및 윤곽 포인트를 측정하는 단계를 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 상기 2D 형상 데이터로부터 3D 사이즈 메트릭 및 형상 데이터를 구성하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 상기 사용자의 행동을 분석하는 단계는 상기 사용자의 이미지가 카메라의 시야를 벗어나지 않음을 검증하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 2 항에 있어서, UFGM(120)는 복수의 씬 컨텐트, 및 씬 및 카메라 설정 및 사용자 행동 내의 공통된 문제점을 탐지하기 위한 사용자 행동 분석 알고리즘을 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 특정 옷 패턴 및 피부 질감의 상기 신체 실루엣 내의 시각적 컨텐트를 추적하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 추천 엔진을 이용하여 상기 사용자에게 옷 추천을 제공하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 24 항에 있어서, 상기 추천은 (피부톤, 눈 색상, 머리카락 색상과 같은) 비형상 사용자 특징을 이용하는 것을 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 스캔된 사용자 2D 형상 데이터로부터 및/또는 계산된 3D 형상 데이터로부터 아바타를 생성하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 26 항에 있어서, 상기 아바타는 (피부톤, 눈 색상, 머리카락 색상과 같은) 비형상 사용자 특징을 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 27 항에 있어서, 상기 아바타는 상기 스캔하는 단계 동안 상기 사용자의 시각화를 위해 사용되는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 27 항에 있어서, 상기 아바타는 상기 사용자 상에 선택된 옷의 시각화를 위해 사용되고, 상기 시각화는 정적이거나, 사전 결정된 움직임 또는 랜덤하게 발생된 움직임 중 하나를 취하도록 상기 아바타를 애니메이션화(animating) 함으로써 동적인 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 28 항에 있어서,상기 아바타의 시각화는 상기 스캐닝하는 단계 동안 사용자 경험을 강화하기 위해 수정된 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 29 항에 있어서, 상기 아바타의 시각화는 구매 단계 동안 옷 디스플레이를 강화하도록 수정된 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 1 항에 있어서, 의료 분야 적용을 위해 비만도, 지방 분포도와 같은 어느 건강 관련 파라미터/메트릭을 산출하기 위해 상기 사용자를 스캔하고 3D 형상 데이터를 분석하는 단계를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
제 32 항에 있어서, 상기 스캔하는 단계는 반복적으로 수행되고, 상기 사용자 3D 형상 데이터는 기준 스캔 또는 하나 이상의 이전 스캔과 비교되고, 상기 비교 프로세스는 어느 형상 파라미터의 유의미한 변화의 지시를 생성하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 방법.
하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템으로서,
a. 상기 사용자의 원(raw) 2D 이미지의 시퀀스를 포착함으로써, 상기 사용자의 신체를 스캔하는 카메라;
b. 상기 신체를 스캔하기 전 또는 스캔하는 동안에, 상기 사용자의 위치, 포즈/회전 및 자세를 추적함으로써 상기 사용자의 행동을 분석하는 사용자 행동 분석기(UBA);
c. 상기 이미지 시퀀스로부터 2D 형상 데이터 기술어(descriptor)를 추출 및 인코딩하는 2D 형상 분석기(2DSA); 및
d. 상기 2D 형상 데이터 기술어 뿐만 아니라, 상기 사용자의 위치, 포즈, 및 회전 데이터를 수신하고, 그것들을 3D 형상 모델로 통합시키도록 프로그래밍된 프로세싱 유닛을 포함하고, 상기 통합은 상기 이미지 시퀀스에 회전 값을 할당하는 것을 포함하고, 상기 회전 값은 전체 전방 위치에 대한 절대 값이거나, 또는 상기 이미지 시퀀스 내의 기준 이미지에 대한 상대 값인 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템.
제 34 항에 있어서, 상기 스캔하는 동안 초기 및 추가 사용자 안내/지원을 제공하는 것을 포함하여, 상기 스캔하는 동안 상기 사용자와 상호작용하는 사용자 피드백 및 안내 모듈을 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템.
제 34 항에 있어서, 사용자의 시각적인 비형상 기술어를 추출 및 인코딩하는 사용자 외형 분석기(UAA)를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템.
제 34 항에 있어서, 사용자 외형 데이터와 함께 사용자 신체의 3D 사이즈 치수를 저장하기 위한 사용자 형상 및 외형 데이터베이스를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템.
제 34 항에 있어서, 옷 관련 데이터를 저장하기 위한 옷 데이터베이스를 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템.
제 34 항에 있어서, 사용자에게 옷 추천을 제공하기 위한 옷 추천 엔진(GRE)을 더 포함하는 것을 특징으로 하는 하나의 시퀀스의 2D 이미지로부터 사용자의 정확한 신체 사이즈 치수를 도출하는 시스템.