KR101054736B1

KR101054736B1 - 3차원 물체 인식 및 자세 추정 방법

Info

Publication number: KR101054736B1
Application number: KR1020100041642A
Authority: KR
Inventors: 이석한; 김철훤; 노조금
Original assignee: 성균관대학교산학협력단
Priority date: 2010-05-04
Filing date: 2010-05-04
Publication date: 2011-08-05

Abstract

물체의 인식 및 자세 추정 방법은 스테레오 카메라를 통하여 2차원 영상을 획득하는 단계, 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계, 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(color histogram)과 타겟 모델(target model)의 색상 히스토그램 간의 유사도를 측정하는 단계, 유사도에 기초하여 이미지 패치들 중에서 복수의 이미지 패치들을 선정하는 단계, 및 선정된 이미지 패치들에 상응하는 자세 가설(pose hypothesis)을 예측하는 단계를 포함하고, 색상 히스토그램은 멀티파트 HSV 색상 히스토그램(multi-part color histogram)이다.

Description

3차원 물체 인식 및 자세 추정 방법{METHOD FOR 3D OBJECT RECOGNITION AND POSE ESTIMATION}

본 발명은 로봇의 3차원 물체 인식 및 자세 추정 방법에 관한 것이다.

3차원 물체의 인식 및 자세 추정은 지능 로봇 분야(intelligent robots)에서 중요한 문제들 중 하나이다.

3차원 물체의 인식 및 자세 추정을 수행하는 대부분의 기술들은 모델 기반의 인식/추정 기술(일례로, 장면으로부터 추출된 특징을 물체에 대해 미리 저장된 특징과 매칭을 통하여 인식/추정하는 기술)을 이용하여, 그 예로는, D. Jang, "Recognition of 3D objects from a sequence of images," Intelligent Computing in Signal Processing and Pattern Recognition, vol. 345, pp. 1024-1029, 2006. 에 개시된 기술, S. Q. Xie et al., "Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot," International Journal of Advanced Manufacturing Technology, vol. 38, no 7-8, pp. 822-839, Sep. 2008.에 개시된 기술, F. Rothganger et al., "3D object modeling and recognition using local affine-invariant image descriptors and multi-view spatial constraints," International Journal of Comupter vision, vol. 66, no. 3, pp. 231-259, Mar. 2006. 에 개시된 기술을 들 수 있다.

개시된 기술이 이루고자 하는 기술적 과제는 3차원 물체의 인식 및 자세 추정을 정확하고 효율적으로 수행하기 위한 방법을 제공하는 데 있다.

상기의 기술적 과제를 이루기 위해 개시된 기술의 제 1 측면은 스테레오 카메라를 통하여 2차원 영상을 획득하는 단계, 상기 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계, 상기 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(color histogram)과 타겟 모델(target model)의 색상 히스토그램 간의 유사도를 측정하는 단계, 상기 유사도에 기초하여 상기 이미지 패치들 중에서 복수의 이미지 패치들을 선정하는 단계 및 상기 선정된 이미지 패치들에 상응하는 자세 가설(pose hypothesis)을 예측하는 단계를 포함하고, 상기 색상 히스토그램은 멀티파트 HSV 색상 히스토그램(multi-part color histogram)인 물체 인식 및 자세 추정 방법을 제공하는 데 있다.

상기의 기술적 과제를 이루기 위해 개시된 기술의 제 2 측면은 스테레오 카메라를 통하여 2차원 영상을 획득하는 단계, 상기 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계, 상기 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(multi-part color histogram)과 타겟 모델(target model)의 색상 히스토그램(multi-part color histogram)간의 Bhattacharyya distance를 산출하는 단계, 상기 Bhattacharyya distance를 성분으로 하는 투표 행렬(vote matrix)을 생성하는 단계, 상기 투표 행렬에 기초하여 누적 확률 밀도 함수를 생성하고, 상기 누적 확률 밀도 함수 중 미리 설정된 비율에 따라 문턱 값(threshold value)을 설정하는 단계, 상기 문턱 값보다 작은 Bhattacharyya distance를 가지는 이미지 패치들을 선정하는 단계, 및 상기 선정된 이미지 패치들에 상응하는 3차원 물체 포즈들(3D object poses)을 2차원 상으로 투사하고, 상기 투사된 이미지들과 타겟 모델의 포즈를 매칭하여 상기 3차원 물체 포즈들에 해당하는 타겟 모델의 확률(probability)를 산출하는 단계를 포함하는 물체 인식 및 자세 추정 방법을 제공하는 데 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

일 실시예에 따른 3D 물체 인식 및 자세 추정 방법은 멀티파트 HSV 색상 히스토그램(multi-part hsv color histogram)을 사용하여 2차원 영상과 타겟 모델과의 유사도를 측정하므로, 정확한 유사도 측정이 가능하고 보다 자세 가설 예측의 정확도를 높일 수 있다.

일 실시예에 따른 3D 물체 인식 및 자세 추정 방법은 2차원 영상 중 자세 가설을 예측할 후보를 선정하는데 기준이 되는 문턱 값(threshold value)을 적응적으로 결정하므로, 안정적으로 자세 가설 예측을 할 수 있게 한다.

도 1은 본 발명의 일 실시예에 따른 3D 물체 인식 및 자세 추정 방법을 나타내는 흐름도이다.
도 2는 도 1의 물체 인식 및 자세 추정 방법을 설명하기 위한 도면이다.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.

도 1은 본 발명의 일 실시예에 따른 3D 물체 인식 및 자세 추정 방법을 나타내는 흐름도이고, 도 2는 도 1의 물체 인식 및 자세 추정 방법을 설명하기 위한 도면이다.

도 1을 참조하면, 110 단계에서, 물체 인식 및 자세 추정 장치는 타겟 모델(target model)의 위치와 자세를 추정하기 위하여, 스테레오 카메라를 이용하여 인식할 물체를 포함하는 주변환경을 촬영하며, 주변환경에 대한 2차원 영상을 획득한다. 예를 들어, 타겟 모델은 도 2의 (a)에 나타난 것과 같을 수 있으며, 물체 인식 및 자세 추정 장치는 도 2의 (b)에 나타난 것과 같은 2차원 영상을 획득할 수 있다. 여기에서, 2차원 영상은 주변환경에 대한 좌 이미지 및 우 이미지 중 적어도 하나를 포함할 수 있다.

115 단계에서, 물체 인식 및 자세 추정 장치는 스테레오 카메라의 의해 획득된 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성한다. 예를 들어, 물체 인식 및 자세 추정 장치는 도 2의 (b)에 나타난 2차원 영상으로부터 도 2의 (c)에 나타난 것과 같은 3차원 포인트 클라우드를 생성할 수 있다.

120 단계에서, 물체 인식 및 자세 추정 장치는 3차원 포인트 클라우드에 따른 평균 깊이(average depth)에 기초하여, 최초 스캐닝 윈도우 사이즈를 설정한다. 예를 들어, 물체 인식 및 자세 추정 장치는 3차원 포인트 클라우드에 따른 평균 깊이가 크면 작은 스캐닝 윈도우 사이즈를 설정하고, 평균 깊이가 작으면 큰 스캐닝 윈도우 사이즈를 설정할 수 있다.

125 단계에서, 물체 인식 및 자세 추정 장치는 2차원 영상 중 현재 스캐닝할 부분에 상응하는 3차원 포인트 클라우드의 로컬 깊이(local depth)에 기초하여, 적응적으로(adaptively) 로컬 스캐닝 윈도우 사이즈를 결정하고, 로컬 스캐닝 윈도우 사이즈에 따라 2차원 영상을 스캐닝하여 이미지 패치(image patch)를 생성한다. 예를 들어, 현재 스캐닝할 부분이 주변환경에 해당하면, 로컬 스캐닝 윈도우 사이즈는 최초 스캐닝 윈도우 사이즈에 상응할 수 있고, 현재 스캐닝할 부분이 물체(object)에 해당하면, 로컬 스캐닝 윈도우 사이즈는 최초 스캐닝 윈도우 사이즈보다 클 수 있다.

130 단계에서, 물체 인식 및 자세 추정 장치는 이미지 패치에 대한 멀티파트 HSV 색상 히스토그램(multi-part hsv color histogram)을 생성한다. 여기에서, 물체 인식 및 자세 추정 장치는 이미지 패치를 복수의 파트들로 분할하고, 분할된 파트별로 각각의 히스토그램을 생성함으로써 멀티파트 HSV 색상 히스토그램을 생성할 수 있다.

135 단계에서, 물체 인식 및 자세 추정 장치는 타겟 모델(target model)의 멀티파트 HSV 색상 히스토그램과 이미지 패치의 멀티파트 HSV 색상 히스토그램 간의 유사도를 측정한다. 예를 들어, 물체 인식 및 자세 추정 장치는 두 히스토그램 간의 Bhattacharyya distance를 계산할 수 있다. 여기에서, 타겟 모델의 색상 히스토그램과 이미지 패치의 색상 히스토그램이 서로 유사할수록 Bhattacharyya distance는 작아지고, 서로 유사하지 않을수록 Bhattacharyya distance는 커진다.

140 단계에서, 물체 인식 및 자세 추정 장치는 2차원 영상의 모든 이미지 패치들에 대하여 유사도 측정이 완료되었는지를 판단하고, 판단 결과 아직 완료되지 않았으면 125 단계로 진행한다.

145 단계에서, 물체 인식 및 자세 추정 장치는 2차원 영상에 상응하는 투표 행렬(vote matrix)을 생성한다. 여기에서, 투표 행렬은 Bhattacharyya distance를 성분으로 포함할 수 있다. 예를 들어, 물체 인식 및 자세 추정 장치는 도 2의 (b)에 나타난 2차원 영상에 상응하여 도 2의 (d)에 나타난 것과 같은 투표 행렬을 생성할 수 있다.

150 단계에서, 물체 인식 및 자세 추정 장치는 투표 행렬에 기초하여 확률 밀도 함수(PDF, probability density function) 및 누적 확률 밀도 함수(CDF, cumulative distribution function)를 산출한다. 예를 들어, 물체 인식 및 자세 추정 장치는 도 2의 (d)에 나타난 투표 행렬에 기초하여 도 2의 (e)에 나타난 것과 같은 확률 밀도 함수(210) 및 누적 확률 밀도 함수(220)를 생성할 수 있다.

155 단계에서, 물체 인식 및 자세 추정 장치는 누적 확률 밀도 함수에 기초하여 후보를 선정하는데 기준이 되는 문턱 값(threshold value)을 적응적으로 결정한다. 여기에서 문턱 값은 통계적으로 결정될 수 있다. 예를 들어, 물체 인식 및 자세 추정 장치는 누적 확률 밀도 함수에서, 하위 5%에 해당하는 값을 문턱 값으로 결정할 수 있다.

160 단계에서, 물체 인식 및 자세 추정 장치는 문턱 값보다 작은 Bhattacharyya distance를 가지는 이미지 패치들을 후보 패치들(candidate patches)로 선정한다.

165 단계에서, 물체 인식 및 자세 추정 장치는 후보 패치들에 상응하는 자세 가설(pose hypothesis)을 예측한다. 여기에서 각 자세 가설은 2차원 영상에서 타겟 모델의 위치에 대한 하나의 해석(interpretation)일 수 있다. 물체 인식 및 자세 추정 장치는 후보 패치들에 상응하는 3차원 물체 포즈들(3D object poses)을 2차원 이미지들로 투사하여 자세 가설을 예측할 수 있다. 예를 들어, 물체 인식 및 자세 추정 장치는 투사된 이미지들에 타겟 모델의 포즈에 따른 색상 시그너쳐(color signature) 및 크기(size)를 매칭하여 투사된 이미지들에 대한 확률을 계산할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

스테레오 카메라를 통하여 2차원 영상을 획득하는 단계;
상기 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계;
상기 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(color histogram)과 타겟 모델(target model)의 색상 히스토그램 간의 유사도를 측정하는 단계;
상기 유사도에 기초하여 상기 이미지 패치들 중에서 복수의 이미지 패치들을 선정하는 단계; 및
상기 선정된 이미지 패치들에 상응하는 자세 가설(pose hypothesis)을 예측하는 단계를 포함하고,
상기 색상 히스토그램은 멀티파트 HSV 색상 히스토그램(multi-part color histogram)인 물체 인식 및 자세 추정 방법.
제 1 항에 있어서, 상기 색상 히스토그램 간의 유사도는
상기 이미지 패치들의 멀티파트 HSV 색상 히스토그램과 상기 타겟 모델의 멀티파트 HSV 색상 히스토그램 간의 Bhattacharyya distance에 상응하는 것을 특징으로 하는 물체 인식 및 자세 추정 방법.
제 2 항에 있어서, 상기 복수의 이미지 패치들을 선정하는 단계는
상기 Bhattacharyya distance를 성분으로 하는 투표 행렬(vote matrix)를 생성하는 단계;
상기 투표 행렬에 기초하여 누적 확률 밀도 함수(cdf)를 산출하는 단계;
상기 누적 확률 밀도 함수에 기초하여 후보를 선정하는데 기준이 되는 문턱 값(threshold value)을 설정하는 단계; 및
상기 문턱 값보다 작은 Bhattacharyya distance를 가지는 이미지 패치들을 선정하는 단계를 포함하는 것을 특징으로 하는 물체 인식 및 자세 추정 방법.
제 1 항에 있어서, 상기 선정된 이미지 패치들에 상응하는 자세 가설(pose hypothesis)을 예측하는 단계는
상기 선정된 이미지 패치들에 상응하는 3차원 물체 포즈들(3D object poses)을 2차원 이미지들로 투사하는 단계; 및
상기 투사된 이미지들과 상기 타겟 모델의 포즈에 따른 색상 시그너쳐(color signature) 및 크기(size)를 매칭하여 자세 가설을 예측하는 단계를 포함하는 것을 특징으로 하는 물체 인식 및 자세 추정 방법.
제 1 항에 있어서,
상기 3차원 포인트 클라우드에 따른 로컬 깊이(local depth)에 기초하여 스캐닝 윈도우 사이즈를 결정하는 단계를 더 포함하고,
상기 이미지 패치는 상기 결정된 스캐닝 윈도우 사이즈에 상응하는 것을 특징으로 하는 물체 인식 및 자세 추정 방법.
스테레오 카메라를 통하여 2차원 영상을 획득하는 단계;
상기 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계;
상기 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(multi-part color histogram)과 타겟 모델(target model)의 색상 히스토그램(multi-part color histogram)간의 Bhattacharyya distance를 산출하는 단계;
상기 Bhattacharyya distance를 성분으로 하는 투표 행렬(vote matrix)을 생성하는 단계;
상기 투표 행렬에 기초하여 누적 확률 밀도 함수를 생성하고, 상기 누적 확률 밀도 함수 중 미리 설정된 비율에 따라 문턱 값(threshold value)을 설정하는 단계;
상기 문턱 값보다 작은 Bhattacharyya distance를 가지는 이미지 패치들을 선정하는 단계; 및
상기 선정된 이미지 패치들에 상응하는 3차원 물체 포즈들(3D object poses)을 2차원 상으로 투사하고, 상기 투사된 이미지들과 타겟 모델의 포즈를 매칭하여 상기 3차원 물체 포즈들에 해당하는 타겟 모델의 확률(probability)를 산출하는 단계를 포함하는 물체 인식 및 자세 추정 방법.
제 6 항에 있어서, 상기 색상 히스토그램은
멀티파트 HSV 색상 히스토그램(multi-part color histogram)인 물체 인식 및 자세 추정 방법.
제 7 항에 있어서,
상기 3차원 포인트 클라우드에 따른 로컬 깊이(local depth)에 기초하여 스캐닝 윈도우 사이즈를 결정하는 단계를 더 포함하고,
상기 이미지 패치는 상기 결정된 스캐닝 윈도우 사이즈에 상응하는 것을 특징으로 하는 물체 인식 및 자세 추정 방법.