KR20150101858A - 생체 인식 방법 - Google Patents

Abstract

본 발명의 일 실시예는 깊이 정보를 이용해 적은 수의 특징점으로 생체의 관절 정보를 추정하는 것이 가능한 생체 인식 방법을 제공한다.
이를 위해 본 발명의 일 실시예에 따른 생체 인식 방법은 3D 센서를 이용해 대상의 깊이 영상을 생성하고, 깊이 값의 분포를 나타내는 히스토그램을 생성하는 단계(A), 상기 깊이 영상을 통해 배경을 분리하는 단계(B), 배경이 분리된 상기 깊이 영상에서 머리를 추정하여, 생체를 관심영역으로 지정하는 단계(C), 상기 관심영역에서 생체의 관절을 추출하는 단계(D), 상기 관심영역의 중심점을 기준으로 측지 거리 영상을 생성하는 단계(E), 상기 측지 거리 영상에 다수의 랜덤 포인트를 생성하는 단계(F) 및 상기 다수의 랜덤 포인트를 SVM(Support Vector Machine)에 입력하여, 생체의 관절 파트를 분류하는 단계(G)를 포함하는 포함하는 것을 특징으로 하는 생체 인식 방법을 개시한다.

Description

생체 인식 방법{Method for Biometric Detection}

본 발명의 일 실시예는 생체 인식 방법에 관한 것이다.

정보화 사회로 이행되는 과정에서 개인은 물론 특정 단체의 정보(이하 "개인 정보"라 한다)는 어느 자산보다도 중요한 가치를 지니게 되었다. 이렇게 중요한 개인 정보를 보호하기 위해서 각종 패스워드(password)가 사용되고, 기타 신분을 확인할 수 있는 기술이 절실히 요구되고 있다. 정보 보호 차원을 넘어서 신용카드, 현금카드, 전자 주민등록증 등 신분 확인을 필요로 하는 사회적 요구는 계속 확대되고 있으나 현재까지는 비밀번호 이외의 보조적인 신분 확인 방법이 없기 때문에 컴퓨터를 사용한 범죄 등 많은 사회적 문제점을 안고 있다. 최근에는 이러한 문제점을 해결할 수 있는 방법으로 지문, 홍채, 정맥의 모양 등 사람의 생체 정보를 이용하여 신원을 판별하는 생체 인식 기술이 주목 받고 있다.

공개특허공보 특2001-0056007(20010704)

본 발명의 일 실시예는 깊이 정보를 이용해 적은 수의 특징점으로 생체의 관절 정보를 추정하는 것이 가능한 생체 인식 방법을 제공한다.

또한, 본 발명의 일 실시예는 깊이 정보만을 이용하므로 야간에서도 사용이 가능하고, 임베디드 기반의 시스템에서도 구동이 가능한 생체 인식 방법을 제공한다.

본 발명의 일 실시예에 따른 생체 인식 방법은 3D 센서를 이용해 대상의 깊이 영상을 생성하고, 깊이 값의 분포를 나타내는 히스토그램을 생성하는 단계(A), 상기 깊이 영상을 통해 배경을 분리하는 단계(B), 배경이 분리된 상기 깊이 영상에서 머리를 추정하여, 생체를 관심영역으로 지정하는 단계(C), 상기 관심영역에서 생체의 관절을 추출하는 단계(D), 상기 관심영역의 중심점을 기준으로 측지 거리 영상을 생성하는 단계(E), 상기 측지 거리 영상에 다수의 랜덤 포인트를 생성하는 단계(F) 및 상기 다수의 랜덤 포인트를 SVM(Support Vector Machine)에 입력하여, 생체의 관절 파트를 분류하는 단계(G)를 포함한다.

상기 (A)단계에서, 상기 깊이 영상을 응용프로그램에서 요구하는 형태로 변환하는 전처리 과정을 수행할 수 있다.

상기 (C)단계에서, 상기 머리를 추정하는 방법은 상기 생체의 머리 지름을 계산하는 단계, 상기 생체의 머리 지름에 따라 2차원 머리 템플릿의 크기를 조절하는 단계, 챔퍼 거리 매칭(chamfer distance matching)을 수행하는 단계, 상기 생체의 머리 후보 영역을 추출하여, 3차원 머리 템플릿에 매칭하는 단계 및 상기 생체의 머리 위치 및 지름을 반환하는 단계를 포함할 수 있다.

상기 챔퍼 거리 매칭을 수행하는 단계는 상기 배경이 분리된 깊이 영상에서, 경계선을 추출하는 단계, 거리 변환(distance transform) 영상을 생성하는 단계 및 상기 2차원 머리 템플릿에 매칭하는 단계를 포함할 수 있다.

상기 (F)단계에서, 상기 다수의 랜덤 포인트의 좌표는 상기 중심점을 원점으로 할 수 있다.

상기 (F)단계에서, 상기 다수의 랜덤 포인트의 좌표는 기 설정된 상기 3D 센서와 대상의 거리에 적용하여 정규화 될 수 있다.

상기 (F)단계에서, 상기 SVM는 상기 관절 파트를 머리, 목, 몸통, 좌 어깨, 우 어깨, 좌 팔, 우파, 좌 엉덩이, 우 엉덩이, 좌 다리 및 우 다리로 분류할 수 있다.

상기 (G)단계 이후, 상기 관절 파트의 팔을 팔꿈치와 손목 관절로 분류하고, 다리를 무릎과 발목 관절로 분류하는 단계(H)를 더 포함할 수 있다.

상기 (H)단계는, 상기 팔로 분류된 관절 파트에 포함된 상기 랜덤 포인트들을 최소의 넓이로 감싸며, 2개의 단변과 2개의 장변으로 이루어진 사각형을 생성하는 단계, 상기 사각형의 일측 단변에 인접한 상기 랜덤 포인트들 중 상기 측지 거리 값이 가장 큰 포인트를 손목 관절로 분류하는 단계 및 상기 사각형의 중심으로부터 사각형의 타측 단변의 중심까지의 3/4인 포인트를 팔꿈치 관절로 분류하는 단계를 포함할 수 있다.

상기 (H)단계는 상기 다리로 분류된 관절 파트에 포함된 상기 랜덤 포인트들을 최소의 넓이로 감싸며, 2개의 단변과 2개의 장변으로 이루어진 사각형을 생성하는 단계, 상기 사각형의 일측 단변에 인접한 상기 랜덤 포인트들 중 상기 측지 거리 값이 가장 큰 포인트를 발목 관절로 분류하는 단계 및 상기 사각형의 중심으로부터 사각형의 타측 단변의 중심까지의 3/4인 포인트를 무릎 관절로 분류하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 생체 인식 방법은 깊이 정보를 이용해 적은 수의 특징점으로 생체의 관절 정보를 추정하는 것이 가능하다.

또한, 본 발명의 일 실시예에 따른 생체 인식 방법은 깊이 정보만을 이용하므로 야간에서도 사용이 가능하고, 임베디드 기반의 시스템에서도 구동이 가능하다.

도 1은 본 발명의 일 실시예에 따른 생체 인식 방법 중 생체 검출을 나타낸 흐름도이다.
도 2a 및 도 2b는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 배경을 제거한 전, 후를 나타낸 이미지이다.
도 3은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 생체 검출 결과를 나타낸 이미지이다.
도 4는 본 발명의 일 실시예에 따른 생체 인식 방법 중 머리의 추정/검출 단계를 나타낸 흐름도이다.
도 5a는 본 발명의 일 실시예에 따른 생체 인식 방법에서 2차원 머리 템플릿을 나타낸 이미지고, 도 5b는 3차원 머리 템플릿을 나타낸 이미지이다.
도 6은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 머리 검출 결과를 나타낸 이미지이다.
도 7은 본 발명의 일 실시예에 따른 생체 인식 방법 중 관절의 추출 단계를 나타낸 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 측지 거리를 나타낸 이미지이다.
도 9는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 랜덤 포인트의 좌표 변화를 나타낸 이미지이다.
도 10은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 대상의 깊이와 생체의 어깨 너비의 관계를 나타낸 그래프이다.
도 11은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 랜덤 포인트의 좌표의 정규화를 나타낸 그래프이다.
도 12는 본 발명의 일 실시예에 따른 생체 인식 방법에서, SVM를 통해 생체 관절이 분류된 결과를 나타낸 이미지이다.
도 13은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 팔(혹은 다리)을 팔꿈치(혹은 무릎)와 손목(혹은 발목) 관절로 분류하는 단계를 나타낸 흐름도이다.
도 14는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 팔 관절 팔꿈치와 손목 관절로 분류하는 과정 및 결과를 나타낸 이미지이다.
도 15는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 생체의 관절을 추출한 결과를 나타낸 이미지이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하기로 한다.

본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다. 또한, 본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 더불어, 본 명세서에서 사용된 바와 같이, 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 더욱이, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급한 단계, 동작, 부재, 요소, 수치 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 단계, 동작, 부재, 요소, 수치 및 /또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다.

도 1은 본 발명의 일 실시예에 따른 생체 인식 방법 중 생체 검출을 나타낸 흐름도이고, 도 2a 및 도 2b는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 배경을 제거한 전, 후를 나타낸 이미지이며, 도 3은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 생체 검출 결과를 나타낸 이미지이다.

우선, 도 1을 참조하면, 3D 센서(예를 들면, 깊이 카메라 등)을 통해 입력된 깊이 이미지에 대해 노이즈(noise)를 감소시키고 이미지 사이즈 조절을 위한 전처리 단계(pre-operation)를 수행한다. 여기서, 전처리 공정은 노이즈 감쇠를 위해 평균필터를 수행하고 빠른 영상처리를 위해 입력된 깊이 이미지의 크기를 절반으로 줄인다.

그 후, 도 2a 및 도 2b를 참조하면, 생체(이하, 사람이라 명함) 검출을 위해 배경 제거 단계가 수행된다. 배경 제거 단계는 카메라가 일정 위치에서 고정되어 있다는 가정하에 수 초 정도 배경 모델 학습(background model learning)을 통해 수행된다.

여기서, 배경 제거 알고리즘으로 사용된 것은 adaptive gaussian mixture model에 기반한 것으로 영상의 각 픽셀 값을 하나의 가우시안(Gaussian) 분포가 아닌 여러 개의 가우시안 혼합 분포를 이용하여 여러 프레임을 통해 확률적으로 배경을 구한 뒤 원본 영상과의 차를 통해 제거하는 방식이다. 따라서 배경 모델 학습 수행 시 사람이나 다른 움직이는 물체가 없어야 올바르게 학습 작업이 수행된다.

즉, 배경 모델 학습 후 매 프레임마다 입력되는 깊이 이미지에서 배경 모델을 제거하게 되면 전경에 해당하는 깊이 이미지만 남게 되고, 나머지 배경에 해당하는 픽셀들은 모두 0으로 출력된다. 따라서, 카메라의 시야에 사람들이 들어올 경우 배경를 제거한 전경 이미지는 해당 사람들의 정보만을 담고 있다.

이후, 도 3을 참조하면, 전경의 블럽(blob)들을 감싸는 사각형들을 구하며 해당 사각형들을 관심 영역(Region of interest, 이하, ROI로 명함)로 지정하게 되면 이것이 사람들의 ROI가 된다.

이때, 전경의 블럽들 중 크기가 너무 작은 것들은 노이즈로 간주하여 제거한다. 하지만, 여기서, 두 사람 이상이 인접해 있을 경우 인접한 사람들의 ROI가 하나로 합쳐지는 경우가 발생한다. 이러한 경우에 대비하여 추출한 ROI에 대해 머리 검출 단계를 수행하게 된다.

여기서, 머리 검출을 통해 얻은 사람의 얼굴 정보를 이용해 두 사람 이상이 하나의 ROI에 포함된 경우 각 사람에 대한 ROI로 분리한다. ROI에서 두 사람 이상의 얼굴이 검출될 경우, 인접한 두 얼굴 사이의 X축 중간 지점을 기준으로 나누어 ROI를 분리하게 된다.

도 4는 본 발명의 일 실시예에 따른 생체 인식 방법 중 머리의 추정/검출 단계를 나타낸 흐름도이고, 도 5a는 본 발명의 일 실시예에 따른 생체 인식 방법에서 2차원 머리 템플릿을 나타낸 이미지고, 도 5b는 3차원 머리 템플릿을 나타낸 이미지이며, 도 6은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 머리 검출 결과를 나타낸 이미지이다.

다음은 도 4 내지 도 6을 참조하여, 상술한 머리 검출 단계를 설명한다.

우선, 도4를 참조하면, 머리 검출 알고리즘은 변형된 템플릿 매칭(template matching) 기법인 챔퍼 거리 매칭(chamfer distance matching)을 이용하여 사람의 얼굴이라고 추정되는 위치를 찾는다.

여기서, 챔퍼 거리 매칭의 경우도 템플릿 매칭과 같이 찾고자 하는 물체와 템플릿의 이미지 크기가 같아야 해당 물체를 찾을 수 있다. 그런데 카메라에 대한 사람의 상대적인 위치에 따라 사람의 얼굴의 크기가 바뀐다. 얼굴의 크기가 변하는 문제로 인해 고정된 크기의 템플릿으로는 해당 템플릿의 크기보다 작거나 큰 크기의 얼굴은 검출할 수 없는 문제가 발생한다. 이를 해결하기 위해 머리 검출 알고리즘에서는 사람이 존재하는 지점의 깊이 값을 구하고 해당 깊이 값을 통해 사람의 얼굴의 크기를 추정하여 템플릿의 크기를 조절한다. 이때 사람이 존재하는 지점의 깊이는 배경 제거를 수행한 입력 이미지의 깊이 히스토그램(histogram)을 통해 구하게 된다. 이러한 변형된 방법을 사용할 경우 기존의 방법보다 챔퍼 거리 매칭의 수행 횟수가 유동적으로 조절되어 빠른 연산의 이점이 있다.

또한, 도4를 참조하면, 머리 검출 알고리즘을 자세히 설명하면 다음과 같다.

우선, 배경이가 제거된 ROI 이미지에 대해 사람이 존재할 것이라 예상되는 곳의 깊이 값을 알아내기 위해 입력된 이미지의 깊이 값의 분포를 나타내는 히스토그램을 생성한다. 여기서, 배경이 제거되었기 때문에 ROI 이미지에는 카메라로부터 특정 거리에 있는 사람의 깊이 정보만이 포함되어 있다. 즉, 히스토그램에는 사람이 존재하는 거리에 해당하는 깊이에만 높은 값을 나타낸다. 이러한 사실을 이용하여 생성된 히스토그램에서 최대 높이 정보(local maximum)를 찾게 되면 사람이 존재할 것이라 예상되는 깊이를 찾을 수 있다.

물론, 사람이 존재할 것이라 예상되는 거리의 깊이 정보를 이용하여 해당 거리에서의 사람 머리의 크기를 수식을 통해 예측할 수 있다. 본 발명의 일 실시예에서는 깊이 값에 따른 사람 머리의 크기는 3차식으로 되어 있으나 연산 속도를 위해 2차식으로 변형하였다. 다음 수학식 1은 깊이(z)를 통해 얼굴의 길이(h)를 구하는 식이다.

즉, 수학식 1을 통해 깊이 값에 따른 사람의 얼굴 길이를 추정하고, 이 정보를 이용하여 챔퍼 거리 매칭에 사용할 2D 템플릿(도 5a 참조)의 크기를 조절하게 된다.

여기서, 챔퍼 거리 매칭은 입력 이미지에 대해 경계(edge)만을 추출하여 거리 변환(distance transform)을 수행한 후, 거리 변환 이미지에 대해 템플릿 매칭(template matching)을 수행하여 찾고자 하는 형태의 물체를 검출한다. 즉, 챔퍼 거리 매칭은 일반적인 템플릿 매칭에 비교하여 찾고자 하는 물체의 형태에 변형에 대해서도 강인하게 검출할 수 있다는 장점이 있다.

입력된 ROI 이미지에 대해 챔퍼 거리 매칭을 수행하여 사람의 머리라고 추정되는 지점들을 찾는다. 세부 단계로 우선 Canny edge detection 알고리즘을 통해 경계 이미지를 얻고, 경계 이미지에 대해 거리 변환을 수행한다. 그 후 거리 변환 이지미에 앞서 크기를 조절한 2D 템플릿으로 템플릿 매칭을 수행하여 사람의 머리라고 여겨지는 형태의 물체들을 검출한다.

사람의 머리라고 추정되는 후보들에 대해 최종적으로 깊이 정보를 포함한 3D 템플릿(도 5b 참조)과의 템플릿 매칭을 통해 사람의 머리임을 확인한다. 여기서, 상술한 바와 동일하게 3D 템플릿 매칭에서는 사람의 머리라 여겨지는 후보들의 ROI를 추출하여 ROI의 크기를 템플릿 크기와 같도록 조정한 후 매칭 작업을 수행한다.

마지막으로 검출된 머리들 중 너무 근접하여 머리 영역이 겹치는 경우에는 영역이 겹치는 머리들을 하나의 머리로 통합하는 작업을 수행한다. 결과적으로, 도 6과 같은 이미지를 출력할 수 있다.

도 7은 본 발명의 일 실시예에 따른 생체 인식 방법 중 관절의 추출 단계를 나타낸 흐름도이고, 도 8은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 측지 거리를 나타낸 이미지이고, 도 9는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 랜덤 포인트의 좌표 변화를 나타낸 이미지이고, 도 10은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 대상의 깊이와 생체의 어깨 너비의 관계를 나타낸 그래프이고, 도 11은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 랜덤 포인트의 좌표의 정규화를 나타낸 그래프이며, 도 12는 본 발명의 일 실시예에 따른 생체 인식 방법에서, SVM를 통해 생체 관절이 분류된 결과를 나타낸 이미지이다.

다음은 도 7 내지 도 12를 참조하여, 본 발명의 일 실시예에 따른 생체 인식 방법 중 관절의 추출 단계를 설명한다.

관절 추출(Skeleton extraction) 알고리즘은 생체 검출로부터 입력 받은 사람 ROI에 대해 관절을 추출하며, 최종 결과로 각 ROI 내에 존재하는 사람의 관절 특징 포인트(예를 들면, 머리, 어깨, 팔꿈치 등)의 위치를 반환한다.

이후, 생체 검출로부터 사람 ROI에 관한 정보를 받아 ROI 내에 존재하는 사람의 관절 정보를 추정하게 된다. 여기서, 사람 ROI에 관한 정보는 ROI 이미지와 ROI에 존재하는 사람의 중심점 그리고 원본 이미지에서의 ROI의 원점좌표(ROI의 최 좌측 최 상위 점)로 구성되어 있다.

이후, 입력 받은 ROI 이미지에 대해 사람의 중심점을 기준으로 한 측지 거리(geodesic distance)이미지를 생성한다. 여기서, 측지 거리(Geodesic distance)는 노드(node)로 구성된 공간내의 점으로 연결되는 최단 거리를 뜻한다. 따라서, 깊이 정보를 가지는 사람 ROI 이미지를 이용하여 몸의 중심점을 기준으로 측지 거리를 계산한다면 손끝이나 발끝에서 가장 높은 값을 나타낸다. 여기서, 측지 거리는 Dijkstra? algorithm을 이용하여 계산하였다.

이후, 도 8과 같이 생성한 측지 거리 이미지에 대해 최소값과 최대값 사이를 60 단계로 나눈 측지 ISO 레벨(geodesic iso level) 이미지를 생성한다. 여기서, 측지 ISO 레벨 이미지를 생성하는 이유는 움직임의 변화가 적은 사람의 몸 중심점 주변보다 머리와 팔, 다리 등에 있는 특징점을 효과적으로 추출하기 위함이다.

물론, 상기 60단계는 임의로 단계 수로 설정될 수 있으며, 본 발명에서, ISO 레벨의 수를 한정하는 것은 아니다.

여기서, 도 8을 참조하면, 측지 ISO 레벨 이미지에서, 측지 거리가 멀수록 밝은 색을 나타낸다.

다음으로 생성한 측지 ISO 이미지에 임의로 200개의 랜덤 포인트들을 생성한다. 이때, 200개의 랜덤 포인트들은 측지 ISO 이미지에서 0이 아닌 값에서만 생성되도록 하였다. 생성된 200개의 랜덤 포인트들은 SVM(Support Vector Machine)에서 예측(prediction)의 입력 데이터로 사용될 것이다.

여기서, 상기 랜덤 포인트는 임의의 개수로 설정될 수 있음은 물론이며, 본 발명에서, 랜덤 포인트의 개수를 한정하는 것은 아니다.

여기서, 측지 ISO 이미지를 사용해 생성한 200개의 랜덤 포인트들의 좌표는 모두 ROI의 최 좌측 최상위 점을 원점으로 좌표계가 설정되어 있다. 하지만, 이러한 좌표로 SVM을 학습(training)하고 예측(prediction)할 경우, 사람의 자세에 따라 ROI의 크기가 변경될 때마다 몸의 파트 좌표들의 일관성이 떨어지는 문제가 발생한다. 따라서, 사람 몸의 중심점을 원점으로 하는 좌표계로 변환하게 되면 움직임이 많은 팔과 다리를 제외한 다른 부분의 점들의 좌표는 큰 일관성을 보이기 때문에 좌표계를 변경하지 않았을 때보다 더 좋은 결과를 얻을 수 있다. 이러한 이유로, 도 9에 도시된 바와 같이 생체 검출로부터 얻은 사람 몸의 중심점을 원점으로 하도록 200개의 랜덤 포인트들의 좌표들에 중심점의 좌표를 빼주어 200개의 랜덤 포인트의 좌표계 변환을 수행한다.

또한, 영상 이미지에서 사람과 카메라 사이의 거리에 따라 사람의 ROI의 크기가 변경되기 때문에 같은 동작을 취하고 있어도 사람과 카메라 간의 거리에 따라 몸의 파트 별 좌표가 다르게 나타날 수 있다. 이러한 문제를 해결하기 위해 기준이 되는 크기를 설정하여 200개의 랜덤 포인트들의 좌표를 정규화(normalization) 후 SVM의 학습과 예측을 수행할 필요가 있다.

좌표의 정규화를 수행하기 위해서는 거리(depth)에 따른 사람의 신체 길이의 변화에 대한 관계를 알아야 한다. 그래서 거리와 어깨 넓이에 대한 관계식을 이용한다. 이로써, 도 10에 도시된 바와 같이, 어깨 넓이와 거리 간의 관계에 대한 실험 결과를 얻을 수 있다. 즉, 카메라에 대한 상대적 거리를 변화시키면서 OpenNI를 통해 알아낸 두 어깨 포인트 사이의 거리를 구해 다음과 같은 데이터를 얻는다. 또한, 엑셀의 추세선에 대한 방정식을 구해 거리와 어깨 넓이 사이의 관계식을 구한다. 이로써, 거리(y)와 어깨넓이(x)에 대해 정의한 수학식 2를 얻는다.

여기서, 상기 수학식 2는 수식의 간결화 및 추세선의 위치가 데이터 분포에서 y축으로 위쪽에 치우쳐 그려져 이를 보정하고자 선형식을 x축으로 100만큼 내리기 위해 6,116에서 6,000으로 변경한다.

상기 수학식 2를 바탕으로 ROI에서 생성한 200개의 랜덤 포인트들의 평균 거리 값을 구하여 이것으로 대략적인 사람의 어깨 넓이를 추정하였다. 그리고 기준 어깨 넓이가 12픽셀이 되도록 랜덤 포인트들의 좌표들을 정규화하였다. 실제적으로, 어깨 넓이를 10에서부터 40까지 변경하며 테스트한 결과 12에서 가장 좋은 결과를 나타내므로 이를 기준으로 설정한다. 이를 통해 다음의 수학식 3은 거리의 평균(z_avrg)에 200개의 랜덤 포인트들의 (x, y) 좌표에 대해 스케일링(scaling)해 주어야 하는 스케일 값을 정의한다.

여기서, 거리의 평균(z_avrg) 값이 6,000 이상일 경우 스케일을 구할 수 없거나 또는, 음수가 되고, 6,000 이상의 경우에는 사람의 형체가 아주 작게 나타나기 때문에 거리의 평균(z_avrg)의 최대값을 5,800으로 제한한다.

그 이후, depth(z)값에 대해서 스켈링을 수행하여, 다음의 수학식 4와 같이 정규화된 거리(z_norm)를 얻는다.

따라서, 상기 수학식들을 통해, 도 11에 도시된 바와 같이, 스켈링을 수행하여, 200개의 랜덤 포인트들의 분포는 어깨 넓이가 12픽셀인 ROI 이미지의 분포와 같도록 정규화된다.

이후, SVM 분류기(classifier)에 사람 ROI에서 생성한 200개의 랜덤 포인트들을 인풋으로 하여 분류를 수행하면 200개의 포인트들이 각각 속한 생체 관절 파트에 대한 결과로 출력된다. 이를 바탕으로 각 생체 관절 파트에 해당하는 점들의 중심 모멘트(central moment)를 구하면 생체 관절 파트의 특징 포인트를 구할 수 있다. 그러나, 손목과 발목의 경우 다른 생체 관절 파트에 비해 학습 데이터(training data)에 존재하는 포인트 수가 작아 분류 결과가 좋지 않아 다른 방법으로 위치를 추정하는 것이 바람직하다.

다시 말하면, 우선, 머리, 목, 몸통, 어깨 그리고 골반에 해당하는 관절 파트는 도 12에 도시된 바와 같이 분류된 포인트들의 각 파트 별 중심 모멘트를 이용하여 특징 포인트를 구한다.

구체적으로 도 12에 도시된 바와 같은 분류 이미지에서 위치를 추정하고자 하는 생체 관절 파트의 색의 포인트들만 남도록 한다. 그리고 해당 파트의 포인트들의 중심 모멘트를 구하게 되면 해당 파트의 관절 포인트가 된다.

여기서, 상기 머리, 목, 몸통, 어깨 그리고 골반은 ROI 이미지에서 움직임이 적기 때문에 중심 모멘트를 통해 관절 포인트를 추정하여도 좋은 결과를 얻을 수 있으나, 손목이나 발목은 상대적으로 움직임이 많고 학습 데이터에 존재하는 포인트의 개수가 상대적으로 작아 분류 결과가 좋지 못하여 관절 포인트가 다른 곳으로 튀는 현상이 발생한다. 이와 같은 현상을 해결하고자 손목은 팔꿈치와 같은 라벨(label)로, 발목은 무릎과 같은 라벨로 학습하고, 예측 결과에서 팔꿈치와 무릎의 포인트들의 정보와 측지 거리 정보를 조합하여 팔꿈치와 손목, 무릎과 발목의 관절 포인트를 찾아내었다. 구체적으로 다시 말하면, SVM 학습 시 머리, 목, 몸통, 좌우어깨, 좌우팔꿈치, 좌우손목, 좌우엉덩이, 좌우 무릎, 좌우 발목 총 15개의 생체 관절 파트 대신에 머리, 목, 몸통, 좌우 어깨, 좌우 팔, 좌우 엉덩이, 좌우 다리로 총 11개의 생체 관절 파트로 라벨의 개수를 줄여 학습 및 예측을 수행한다.

이후, 팔과 다리의 예측 결과에 측지 거리의 정보를 이용하여 팔에서 팔꿈치와 손목으로 관절 포인트를 분리하고, 다리에서 무릎과 발목을 관절 포인트를 분리하였다. 이와 같은 방법을 적용 시 SVM이 학습 및 예측할 클래스(class)의 개수가 줄었기 때문에 SVM 예측 연산시간이 줄어든다는 이점이 있다.

도 13은 본 발명의 일 실시예에 따른 생체 인식 방법에서, 팔(혹은 다리)을 팔꿈치(혹은 무릎)와 손목(혹은 발목) 관절로 분류하는 단계를 나타낸 흐름도이고, 도 14는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 팔 관절 팔꿈치와 손목 관절로 분류하는 과정 및 결과를 나타낸 이미지이며, 도 15는 본 발명의 일 실시예에 따른 생체 인식 방법에서, 생체의 관절을 추출한 결과를 나타낸 이미지이다.

최종적으로 도 13 내지 도 15를 참조하여, 본 발명의 일 실시예에 따른 생체 인식 방법에서 생체 관절을 추출하는 과정을 설명한다.

도 13을 참조하면, 팔의 포인트로부터 팔꿈치와 손목의 관절 포인트를 추출하고 다리의 포인트로부터 무릎과 발목의 관절 포인트를 추출하는 알고리즘을 확인할 수 있다.

구체적으로 설명하면, 상술한 바와 같이, 팔의 경우에는 생체 관절 파트 중 움직임이 가장 많아 팔로 분류된 점들이 머리에 종종 나타나는 경우가 있다. 따라서, 이러한 점들까지 포함하여 손목과 팔꿈치의 관절 포인트를 계산할 경우 큰 에러가 발생한다. 즉, 이러한 상황을 피하기 위해 팔로 분류된 포인트들 중 머리 주위의 일정 영역에 속하는 포인트들은 제거하는 것이 바람직하다.

이후, 팔로 분류된 포인트들을 최소의 넓이로 감싸는 사각형을 구하게 되면 도 14에 도시된 이미지와 같은 형태로 나타난다.

이후, 생성된 사각형에서 사각형의 짧은 길이의 두 단변의 중 일측 단변에 인접한 영역이 손목이고 반대편 타측 단변에 인접한 영역이 팔꿈치에 해당하는 것을 확인 할 수 있다. 여기서, 상기 측지 거리 정보를 이용하면 사각형의 두 짧은 단변 중 어디가 손목에 해당하는 지 알 수 있다. 즉, 사각형의 짧은 두 단변의 근처 포인트들 중 측지 거리의 값이 가장 큰 포인트가 손목의 관절 포인트가 된다. 그리고 팔꿈치의 관절 포인트는 사각형의 반대편 타측 단변의 중심과 사각형의 중심을 연결하는 선위에 존재하는 점들 중 하나로 선택된다. 여기서, 실험적으로 테스트한 결과 사각형중심에서 변의 중심까지 3/4되는 지점을 팔꿈치가 되도록 하는 것이 바람직하다. 물론, 이는 다리에서 무릎과 발목의 관절 포인트를 찾는 데에도 같은 방법을 적용 가능하다.

이와 같이, 상술한 단계들을 모두 거치면, 도 15에 도시된 바와 같이, 최종적으로 생체의 관절을 추출한 결과를 나타낸 이미지를 얻을 수 있다.

이상에서 설명한 것은 본 발명에 따른 생체 인식 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

x; 어깨 넓이 y; 거리

Claims (10)

1. 3D 센서를 이용해 대상의 깊이 영상을 생성하고, 깊이 값의 분포를 나타내는 히스토그램을 생성하는 단계(A);
   상기 깊이 영상을 통해 배경을 분리하는 단계(B);
   배경이 분리된 상기 깊이 영상에서 머리를 추정하여, 생체를 관심영역으로 지정하는 단계(C);
   상기 관심영역에서 생체의 관절을 추출하는 단계(D);
   상기 관심영역의 중심점을 기준으로 측지 거리 영상을 생성하는 단계(E);
   상기 측지 거리 영상에 다수의 랜덤 포인트를 생성하는 단계(F); 및
   상기 다수의 랜덤 포인트를 SVM(Support Vector Machine)에 입력하여, 생체의 관절 파트를 분류하는 단계(G); 를 포함하는 것을 특징으로 하는 생체 인식 방법.
2. 제 1항에 있어서,
   상기 (A)단계에서,
   상기 깊이 영상을 응용프로그램에서 요구하는 형태로 변환하는 전처리 과정을 수행하는 것을 특징으로 하는 생체 인식 방법.
3. 제 1항에 있어서,
   상기 (C)단계에서,
   상기 머리를 추정하는 방법은
   상기 생체의 머리 지름을 계산하는 단계;
   상기 생체의 머리 지름에 따라 2차원 머리 템플릿의 크기를 조절하는 단계;
   챔퍼 거리 매칭(chamfer distance matching)을 수행하는 단계;
   상기 생체의 머리 후보 영역을 추출하여, 3차원 머리 템플릿에 매칭하는 단계; 및
   상기 생체의 머리 위치 및 지름을 반환하는 단계; 를 포함하는 것을 특징으로 하는 생체 인식 방법.
4. 제 3항에 있어서,
   상기 챔퍼 거리 매칭을 수행하는 단계는
   상기 배경이 분리된 깊이 영상에서, 경계선을 추출하는 단계;
   거리 변환(distance transform) 영상을 생성하는 단계; 및
   상기 2차원 머리 템플릿에 매칭하는 단계; 를 포함하는 것을 특징으로 하는 생체 인식 방법.
5. 제 1항에 있어서,
   상기 (F)단계에서,
   상기 다수의 랜덤 포인트의 좌표는 상기 중심점을 원점으로 하는 것을 특징으로 하는 생체 인식 방법.
6. 제 5항에 있어서,
   상기 (F)단계에서,
   상기 다수의 랜덤 포인트의 좌표는 기 설정된 상기 3D 센서와 대상의 거리에 적용하여 정규화 되는 것을 특징으로 하는 생체 인식 방법.
7. 제 1항에 있어서,
   상기 (F)단계에서,
   상기 SVM는 상기 관절 파트를 머리, 목, 몸통, 좌 어깨, 우 어깨, 좌 팔, 우파, 좌 엉덩이, 우 엉덩이, 좌 다리 및 우 다리로 분류하는 것을 특징으로 하는 생체 인식 방법.
8. 제 7항에 있어서,
   상기 (G)단계 이후,
   상기 관절 파트의 팔을 팔꿈치와 손목 관절로 분류하고, 다리를 무릎과 발목 관절로 분류하는 단계(H)를 더 포함하는 것을 특징으로 하는 생체 인식 방법.
9. 제 8항에 있어서,
   상기 (H)단계는,
   상기 팔로 분류된 관절 파트에 포함된 상기 랜덤 포인트들을 최소의 넓이로 감싸며, 2개의 단변과 2개의 장변으로 이루어진 사각형을 생성하는 단계;
   상기 사각형의 일측 단변에 인접한 상기 랜덤 포인트들 중 상기 측지 거리 값이 가장 큰 포인트를 손목 관절로 분류하는 단계; 및
   상기 사각형의 중심으로부터 사각형의 타측 단변의 중심까지의 3/4인 포인트를 팔꿈치 관절로 분류하는 단계를 포함하는 것을 특징으로 하는 생체 인식 방법.
10. 제 8항에 있어서,
    상기 (H)단계는,
    상기 다리로 분류된 관절 파트에 포함된 상기 랜덤 포인트들을 최소의 넓이로 감싸며, 2개의 단변과 2개의 장변으로 이루어진 사각형을 생성하는 단계;
    상기 사각형의 일측 단변에 인접한 상기 랜덤 포인트들 중 상기 측지 거리 값이 가장 큰 포인트를 발목 관절로 분류하는 단계; 및
    상기 사각형의 중심으로부터 사각형의 타측 단변의 중심까지의 3/4인 포인트를 무릎 관절로 분류하는 단계를 포함하는 것을 특징으로 하는 생체 인식 방법.

Images