KR100693262B1

KR100693262B1 - 화상 처리 장치

Info

Publication number: KR100693262B1
Application number: KR1020040032876A
Authority: KR
Inventors: 구미야히데또시; 다끼자와가쯔또시
Original assignee: 화낙 가부시끼가이샤
Priority date: 2003-05-12
Filing date: 2004-05-11
Publication date: 2007-03-13
Also published as: TWI244427B; EP1477934A3; EP1477934A2; JP2004333422A; CN100379530C; US7283661B2; KR20040097904A; TW200427968A; JP3834297B2; US20050002555A1; CN1550297A

Abstract

본 발명의 과제는, 적은 교시 모델(교시 화상)로 고정밀도로 광범위한 자세를 인식할 수 있는 화상 처리 장치를 얻는 것이다.

워크 자세의 변화를 볼 수 있는 범위의 전체 영역을 대략적으로 구분하고, 각 방향으로부터 화상을 취입하여 이 화상과 촬상 방향 데이터를 제1 교시 모델로서 기억한다. 워크 자세의 변화의 소정 영역을 작은 눈금으로 촬상 방향을 바꾸어 촬상한 화상 및 촬상 방향을 제2 교시 모델로서 기억한다. 워크를 촬상하여 제1 교시 모델과 비교 대조하여, 가장 유사한 제1 교시 모델을 선택한다(스텝 100 내지 104). 선택된 교시 모델로부터 제2 교시 모델과의 비교 대조를 위한 화상을 얻는 목표 이동 위치로 카메라를 이동시켜 촬상한다(스텝 105 내지 109). 촬상한 화상과 제2 교시 모델을 비교 대조하여, 가장 유사한 제2 교시 모델을 선택한다(스텝 110, 111). 상기 선택 교시 모델의 촬상 방향과 촬상 위치로부터 워크의 위치 자세를 구한다(스텝 112, 113).

화상 처리 장치, 로봇 본체, 로봇 제어 장치, 촬상 수단, 핸드

Description

화상 처리 장치 {IMAGE PROCESSING APPARATUS}

도1은 본 발명의 일실시 형태의 화상 처리 장치가 적용되는 로봇 시스템의 시스템 구성도.

도2는 촬상한 화상과 교시 모델과의 비교 대조에 의한 위치 자세를 인식하는 방법의 설명도.

도3은 본 발명의 실시 형태에 있어서의 제1 단계의 비교 대조를 행하기 위한 제1 교시 모델의 화상 취득 방법의 설명도.

도4는 상기 실시 형태에 있어서의 제2 단계의 비교 대조를 위한 제2 교시 모델의 화상 취득 방법의 설명도.

도5는 상기 실시 형태에 있어서의 로봇 시스템에 있어서의 워크 위치 자세를 구하는 처리의 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 화상 처리 장치

2 : 로봇 본체

3 : 로봇 제어 장치

4 : 촬상 수단(카메라)

5 : 핸드

6 : 워크(대상물)

9 : 위치 자세를 구하기 위해 촬상한 워크 화상

10 : 제1 교시 모델의 화상

20 : 제2 교시 모델의 화상

본 발명은, 대상물의 위치 및 자세를 검출하는 화상 처리 장치에 관한 것이다. 특히, 난잡하게 산적되어 그 위치 및 자세가 3 차원적으로 변화하고 있는 동일 형상의 대상물의 자세를 인식하여 검출하는 화상 처리 장치에 관한 것이다.

로봇 등의 자동 기계에서는, 정확하게 위치 결정되어 있지 않은 대상물(워크)을 핸들링하기 위해, 대상물을 촬상한 화상으로부터 그 위치 자세를 인식하는 방법이 일반적으로 채용되어 있다.

그러나, 산적 상태와 같이 3 차원적으로 임의의 위치 자세를 취할 수 있는 대상물(워크)의 위치 자세를 인식하기 위해서는 매우 곤란하다. 그래서, 대상물을 여러 방향으로부터 촬상한 복수의 화상을 교시 모델의 화상으로서 기억해 두고, 이 기억해 둔 교시 모델의 화상과 대상물의 위치 자세를 검출하고자 하여 촬상한 입력 화상을 매칭에 의해 비교 대조하고, 가장 유사한 교시 모델을 선택하여 그 선택 결과를 기초로 하여 대상물의 위치 자세를 구하고, 또한 제2 계측 수단의 센서에 의해 대상물의 위치 자세를 인식해야 할 위치로 이동하고, 상기 제2 계측 수단의 센 서에 의해 정확하게 대상물의 위치 자세를 인식할 수 있도록 한 것도 개발되어 있다(예를 들어, 특허 문헌 1 참조).

또한, 대상물을 여러 방향으로부터 촬상한 화상 데이터를 정규화 및 사이즈 변경하여 고유 벡터를 구하고, 또한 화상 데이터 집합으로부터 다양체를 계산하여 수치의 형태로 기억해 두고, 촬상한 2 차원 화상을 정규화하여 얻어진 데이터 및 기억되어 있는 고유 벡터와 다양체의 수치 데이터를 기초로 하여 대상물의 위치 및 자세를 산출하는 것도 알려져 있다(특허 문헌 2 참조).

[특허 문헌 1]

일본 특허 제3300682호

[특허 문헌 2]

일본 특허 제3252941호

상술한 바와 같이, 대상물을 여러 방향으로부터 촬상하여 교시 모델의 화상으로 하고, 산적된 대상물로부터 그 위치 자세를 구하기 위해 이 산적된 대상물을 촬상하여 그 입력 화상과 교시 모델의 화상을 매칭하여 유사한 교시 모델의 화상을 선택하고, 선택 교시 모델로부터 그 위치 자세를 인식하는 방법에 있어서 보다 정확하게 대상물의 위치 및 자세를 인식할 수 있도록 하기 위해서는, 교시 모델의 화상으로서 다수의 화상을 기억해 둘 필요가 있다.

대상물이 취할 수 있는 자세 변화의 전체 범위에 걸쳐서, 그 자세의 화상을 취득하여 교시 모델 화상으로 할 필요가 있지만, 검출하고자 하는 대상물의 위치 및 자세의 인식 정밀도를 향상시키기 위해서는, 대상물의 자세 변화의 전체 범위에 걸쳐서 가는 눈금으로 그 촬상 방향을 바꾸어 촬상한 화상을 교시 모델의 화상으로 할 필요가 있다. 이 눈금은 작을수록 대상물의 위치 및 자세의 인식 정밀도는 높아진다.

그러나 다수의 교시 모델의 화상을 취득하기 위해서는, 시간과 이 교시 모델의 화상을 기억하기 위한 기억 수단이 증대된다. 또한, 대상물의 위치 자세를 인식하고자 할 때에는, 비교 대조하고자 하는 교시 모델 화상이 다수이므로 이 비교 대조에 시간이 걸린다고 하는 문제가 있다.

그래서 본 발명의 목적은, 적은 교시 모델로 고정밀도로 광범위한 대상물의 자세를 인식할 수 있는 화상 처리 장치를 제공하는 데 있다.

본원 청구항 1에 관한 발명은, 대상물을 3차원적으로 임의의 방향으로부터 촬상한 입력 화면과 대상물의 교시 모델과의 비교 대조에 의해 상기 대상물의 적어도 자세를 인식하는 화상 처리 장치이며, 상기 대상물이 찍을 수 있는 자세의 전체 범위를 이산적으로 커버하도록 복수 방향으로부터 촬상하였을 때의 방향과 상기 방향에 대응한 촬상 화상으로 이루어지는 제1 교시 모델과, 상기 대상물을 찍을 수 있는 관점의 일부 범위만을 제1 교시 모델보다도 방향 변화의 눈금을 작게 한 복수 방향으로부터 촬상하였을 때의 방향과 상기 방향에 대응하는 촬상 화상으로 이루어지는 제2 교시 모델과, 촬상 수단에 의해 상기 대상물을 촬상한 제1 입력 화상에 대해 제1 교시 모델의 모델 화상과 비교 대조를 행하는 제1 비교 대조 수단과, 제1 비교 대조 수단에 의한 비교 대조 결과를 기초로 하여, 상기 대상물과 상기 촬상 수단과의 상대 위치 자세를 제2 교시 모델의 자세의 범위 내가 되도록 변경하는 촬상 수단의 상대 위치 자세 변경 수단과, 변경 후의 상대 위치 자세에 있어서 상기 촬상 수단에 의해 상기 대상물을 촬상한 제2 입력 화상에 대해 제2 교시 모델을 이용하여 비교 대조하는 제2 비교 대조 수단을 포함함으로써, 적은 교시 모델로 대상물의 자세를 고정밀도로 인식할 수 있도록 한 것이다. 그리고, 청구항 2에 관한 발명은 상기 상대 위치 자세 변경 수단을 로봇으로 구성하고, 청구항 3에 관한 발명은 상기 제1 및 제2 비교 대조 수단에 의한 비교 대조가 매칭에 의해 행해지는 것으로 하였다. 또한 청구항 4에 관한 발명은, 상기 제1 및 제2 비교 대조 수단에 의한 비교 대조는 입력 화상과 복수의 자세 화상의 직교 변환된 중간적 화상끼리의 비교 대조에 의해 행해지는 것으로 하였다.

도1은, 본 발명의 일실시 형태의 화상 처리 장치가 적용되는 로봇 시스템의 시스템 구성도이다.

로봇 제어 장치(3)와 화상 처리 장치(1)는 통신 인페이스를 거쳐서 접속되어 있다. 로봇 본체(2)의 아암 선단부에는 대상물(워크)을 촬상하는 촬상 수단으로서의 카메라(4)가 부착되어 있고, 상기 카메라(4)와 화상 처리 장치(1)는 신호선으로 접속되어 있어, 카메라(4)로 촬상한 화상은 화상 처리 장치(1)에 입력되도록 되어 있다.

로봇 제어 장치(3)와 화상 처리 장치(1)는, 상호 정보를 송수신하여 동기를 취하면서 전체적인 시스템 동작을 수행한다. 본 발명에 관계하여, 로봇 제어 장치(3)는 상기 로봇 제어 장치(3)가 파악하고 있는 로봇의 현재 위치를 화상 처리 장치(1)로 송신하고, 또한 로봇 제어 장치(3)로부터 화상 처리 장치(1)로 촬상 지령을 출력하고, 이 촬상 지령을 받아 화상 처리 장치(1)는 카메라(4)에 의해 워크(6)를 촬상한다. 또한, 화상 처리 장치(1)로부터는 상기 화상 처리 장치(1)에서 결정한 로봇의 목표 동작 위치를 로봇 제어 장치로 송신하고, 로봇 제어 장치(3)는 로봇 본체(2)의 각 기구부를 구동하는 서보 모터 등의 구동원을 구동 제어하여 목표 동작 위치에 위치 결정한다. 또, 도1에 있어서 부호 5는 로봇 아암 선단부에 부착된 핸드이다.

도2는, 워크(6)를 복수의 다른 방향으로부터 촬상한 화상을 교시 모델로서 복수 기억한 교시 모델로부터 워크(6)의 위치 자세를 인식할 때에 카메라(4)로 촬상하여 입력되어 온 화상과 각 교시 모델의 화상과의 비교 대조에 의한 워크의 위치 자세를 인식하는 방법의 설명도이다.

우선, 위치 자세를 인식하고자 하는 워크(대상물)를 여러 방향으로부터 촬상하고, 그 각 화상과 그 촬상 방향의 데이터를 대응시켜 교시 모델로서 화상 처리 장치(1) 내에 제1 교시 모델로서 기억시켜 둔다. 도2에 도시한 예에서는, 8개의 방향으로부터 워크를 촬상한 화상(10 …)이 각 교시 모델의 화상으로서 기억되어 있다. 그리고, 산적된 워크 등의 3 차원 위치 자세가 다른 워크에 위치 자세를 인식시키기 위해, 상기 워크(6)를 촬상한 화상(9)과 각 교시 모델의 화상을 비교 대조하여, 가장 유사도가 높은 교시 모델을 선택한다.

이 비교 대조에는, 화상끼리의 휘도의 상관에 의한 매칭이나, 푸리에 변환, 이산 코사인 변환 등의 직교 변환을 행하고, 직교 변환된 중간적 화상끼리의 비교에 의해 부분 공간 내에서의 거리로서 유사도를 계산하는 방법 등이 종래부터 채용되어 있다. 이 직교 변환을 행함으로써, 화상끼리의 직접 상관 계산을 하는 경우에 비해 데이터의 차원을 낮출 수 있으므로, 유사 화상의 비교 대조의 계산량을 적게 할 수 있다고 하는 효과가 있다.

도2에서는, 이와 같이 비교 대조한 결과, 입력 화상(9)은 교시 모델(10a)이 가장 유사하다고 하여 교시 모델(10a)이 선택된 예를 도시하고 있다.

상술한 교시 모델의 화상과 입력된 화상과의 비교 대조는 전술한 특허 문헌 1 등에 개시된 바와 같이 종래부터 행해지고 있는 것이지만, 본 발명은 이 비교 대조를 2 단계로 나누어 행한다는 점에 특징이 있다.

도3은, 제1 단계의 비교 대조를 행하기 위한 제1 교시 모델의 각 화상을 취득하는 방법의 설명도이다.

제1 단계의 비교 대조를 행하기 위한 각 교시 모델의 화상은, 인식해야 할 워크의 자세 변화에 의한 자세 변화의 전체 영역을 커버하도록 다른 방향으로부터 워크를 촬상하여, 그 화상을 교시 모델의 화상으로 하는 것이다. 로봇 본체(2)의 아암 선단부에 부착한 카메라(4)의 시선 방향을 바꾸어 워크(6)를 촬상하거나, 카메라는 고정해 두고 워크(6)의 자세를 바꾸어 카메라에 대한 워크의 상대 자세를 바꾸고, 워크(6)가 취할 수 있는 자세의 전체 영역을 분할하여 복수 촬상한다. 예를 들어, 도3에 도시한 바와 같이 워크(6)가 배치된 기준 좌표계와의 방향 각도를 30도 내지 45도의 눈금으로 각 방향으로 카메라(4) 위치, 혹은 워크(6)의 자세를 변화시키면서 각 방향으로부터 워크(6)를 촬상하고, 그 각 화상을 제1 교시 모델의 각 화상으로서 화상 처리 장치(1) 내의 기억 수단에 기억시킨다. 이 때, 촬상한 워크(6)에 대한 카메라(4)의 상대 촬상 방향을 촬상 화상에 대응시켜 교시 데이터로서 화상 처리 장치(1) 내의 기억 수단에 제1 교시 모델로서 기억시켜 둔다.

또한, 제2 단계의 비교 대조를 위해 제2 교시 모델을 구하여, 화상 처리 장치(1) 내의 기억 수단에 기억시킨다. 이 제2 교시 모델은 워크(6)의 자세 중, 일부 범위의 영역만큼 제1 교시 모델의 촬상 방향 변화 눈금보다 가는 눈금으로 워크(6)에 대한 카메라(4)의 촬상 방향을 상대적으로 바꾸어 촬상하는 것이다. 예를 들어, 도4에 도시한 바와 같이 연직 방향(Z축 방향)과 촬상하는 카메라의 광축이 이루는 각이 ± 30도의 범위 내만을 10도 단위로 방향을 바꾸어 촬상하고, 그 촬상 화상(20)과 함께 촬상 방향 데이터를 대응시켜 기억하고, 제2 교시 모델로서 화상 처리 장치(1) 내의 기억 수단에 기억시켜 둔다.

도5는, 본 실시 형태에 있어서의 로봇 시스템에 있어서의 워크 위치 자세를 구하는 처리의 흐름도이다.

우선, 로봇 제어 장치(3)는 로봇 본체(2)의 각 축을 구동하여 로봇 바로 앞에 부착한 카메라(4)를 산적된 3 차원 위치 자세를 구하고자 하는 워크에 대한 촬상 위치로 이동시켜 위치 결정한다(스텝 100). 그리고 이 카메라의 3 차원 위치를 화상 처리 장치로 송신하는 동시에 촬상 지령을 송신한다(스텝 101).

화상 처리 장치(1)의 프로세서는 로봇 제어 장치(3)로부터 이송되어 온 카메라의 3 차원 위치를 기억하는 동시에, 촬상 지령을 받아 카메라(4)로 워크(6)를 촬 상하여 그 화상(제1 입력 화상)을 얻는다(스텝 102). 이렇게 얻어진 화상과 기억 수단에 기억하는 제1 교시 모델의 각 교시 모델의 화상과의 비교 대조를 매칭 등에 의해 행한다. 이 비교 대조 처리의 상세는, 전술한 특허 문헌 1에 상세하게 기재되어 있고, 이미 알려져 있으므로 상세한 설명은 생략한다.

취입한 화상과 각 제1 교시 모델의 화상이 유사한 점이 있는지 판단하고(스텝 104), 유사한 점이 없으면 이 처리를 종료하고, 유사한 점이 있는 중 가장 유사한 교시 모델을 선택한다. 선택한 교시 모델에 기억되어 있는 워크(6)에 대한 카메라의 촬상 방향으로부터 카메라의 상대 자세를 구한다(스텝 105). 그리고, 스텝 101에서 기억하는 카메라(4)의 3차원 위치(로봇의 현재 위치)와 스텝 105에서 구한 카메라의 워크에 대한 상대 자세로부터 제2 단계의 제2 교시 모델과의 비교 대조를 위해, 화상을 얻기 위해 워크에 대해 상대적으로 이동시켜야 할 카메라(4)의 목표 이동 위치를 구하고, 로봇 제어 장치(3)에 출력한다(스텝 106).

로봇 제어 장치(3)는 로봇 본체의 각 축을 구동하여 로봇 바로 앞에 부착된 카메라(4)를 수신한 목표 이동 위치로 이동시킨다(스텝 107). 그리고, 화상 처리 장치(1)에 촬상 지령을 출력한다(스텝 108).

화상 처리 장치(1)는, 이 촬상 지령을 받아 카메라(4)로 워크(6)를 촬상하여 화상(제2 입력 화상)을 얻는다(스텝 109). 이렇게 얻어진 화상과 제2 교시 모델의 각 화상과의 비교 대조를 제1 교시 모델의 화상과의 비교 대조와 동일하게 행하여, 유사한 교시 모델을 선택한다. 제2 교시 모델 중으로부터 소정 기준 이상의 유사한 교시 모델을 검출할 수 없는 경우에는 이 처리를 종료하고, 유사한 교시 모델이 있는 경우에는 가장 유사도가 높은 교시 모델을 선택한다(스텝 110, 111).

선택한 교시 모델에 기억되어 있는 워크에 대한 카메라의 촬상 방향으로부터 카메라의 상대 자세를 구하고(스텝 112), 이 구한 카메라의 상대 자세와 스텝 106에서 구하여 이동한 현재의 카메라의 위치로부터 워크의 위치 자세를 구한다(스텝 113).

이상과 같이, 제1 교시 모델을 기초로 하여 워크(6)의 자세를 대략적으로 분류한 것 중으로부터 구하고, 이 구한 워크 자세 및 위치로부터 워크(6) 자세의 소정 범위 내의 소정 위치 자세로 카메라(4)가 되도록 제2 교시 모델과의 비교 대조를 위한 화상을 취입하는 위치로 이동시켜 화상을 취입하고, 워크(6)의 자세를 가는 눈금으로 기억하는 제2 교시 모델의 각 화상과 취입한 화상의 비교 대조를 행하여 워크(6)의 위치 자세를 구하므로, 워크(6)의 위치 자세를 적은 교시 모델로부터 고정밀도로 구할 수 있는 것이다.

이와 같이 하여, 워크의 위치 자세가 고정밀도로 인식된 후, 이 인식된 워크(6)를 핸드(5)로 파지하여 취출하는 등의 핸들링 처리를 행한다.

본 발명은 적은 교시 모델로, 고정밀도로 워크(대상물)의 자세를 인식할 수 있다.

Claims

대상물을 3차원적으로 임의의 방향으로부터 촬상한 입력 화상과 대상물의 교시 모델과의 비교 대조에 의해 상기 대상물의 적어도 자세를 인식하는 화상 처리 장치이며,

상기 대상물을 찍을 수 있는 관점의 전체 범위를 이산적으로 커버하도록 대상물을 복수의 방향으로부터 촬상하였을 때의 방향과 상기 방향에 대응하는 촬상 화상으로 이루어지는 제1 교시 모델과,

상기 대상물을 찍을 수 있는 관점의 일부 범위만을 제1 교시 모델보다도 방향 변화의 새김을 작게 한 복수의 방향으로부터 촬상하였을 때의 방향과 상기 방향에 대응하는 촬상 화상으로 이루어지는 제2 교시 모델과,

촬상 수단에 의해 상기 대상물을 촬상한 제1 입력 화상에 대해 제1 교시 모델의 각 화상과 비교 대조를 행하는 제1 비교 대조 수단과,

제1 비교 대조 수단에 의한 비교 대조 결과를 기초로 하여, 상기 대상물과 상기 촬상 수단과의 상대 위치 및 자세를 제2 교시 모델의 관점의 범위 내가 되도록 변경하는 촬상 수단의 상대 위치 자세 변경 수단과,

변경 후의 상대 위치 및 자세에 있어서 상기 촬상 수단에 의해 상기 대상물을 촬상한 제2 입력 화상에 대해 제2 교시 모델을 이용하여 비교 대조하는 제2 비교 대조 수단을 구비하는 화상 처리 장치.
제1항에 있어서, 상기 상대 위치 자세 변경 수단은 로봇인 화상 처리 장치.
제1항 또는 제2항에 있어서, 상기 제1 및 제2 비교 대조 수단에 의한 비교 대조가 매칭에 의해 행해지는 화상 처리 장치.
제1항 내지 제2항 중 어느 한 항에 있어서, 상기 제1 및 제2 비교 대조 수단에 의한 비교 대조는 입력 화상과 복수의 자세 화상의 직교 변환된 중간적 화상끼리의 비교 대조에 의해 행해지는 화상 처리 장치.