KR101553522B1 - 로봇 및 그 제어 방법 - Google Patents

Abstract

촬영 영역에 등록된 물체가 없으면 미등록 물체의 존재를 판단하고, 미등록된 물체가 있으면 사용자와 대화하여 물체 이름을 확보하여 데이터베이스에 추가 등록하는 로봇 및 그 제어방법을 개시한다. 따라서 촬영 영역에 존재하는 미등록 물체를 인식하여 로봇에게 주어진 서비스를 원활하게 수행할 수 있다.

물체, 인식, 영상, 등록, HRI, 인지, 학습

Description

로봇 및 그 제어 방법{Robot and method thereof}

본 발명은 로봇 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 미등록 물체를 인식하는 로봇 및 그 제어 방법에 관한 것이다.

로봇은 어떤 작업이나 조작을 자동적으로 수행하는 장치로서, 다양한 분야에서 인간을 대신하거나 보조하는데 활용된다. 그러한 예로서 가사 로봇과 비서 로봇과 엔터테인먼트 로봇 등의 지능화된 로봇이 출현되었다. 지능화된 로봇에게 있어 물체를 인식하는 능력은 주어진 서비스를 수행하는데 매우 중요하다.

로봇의 활동 공간에 존재하는 물체들은 모양과 형태 및 색상이 다른 것이 보편적이다. 로봇에게 주어진 서비스를 원활하게 수행하도록 하기 위해서는 다양한 물체를 알아볼 수 있는 인식 능력이 필요하다.

기존 로봇에 물체 인식 능력을 부여하기 위한 방법들이 개시된 바 있다. 그 하나의 방법은 로봇에 물체의 특징 정보를 미리 저장해둔 후 로봇에서 획득한 물체 정보와 저장된 물체 정보를 비교하여 등록 물체를 인식하는 것이다. 다른 하나의 방법은 로봇이 물체를 알 수 있게 훈련하여 원하는 물체를 등록하는 것으로, 로봇 의 활동 환경에서 사용하는 물체를 등록할 수 있다.

기존 로봇은 인식하려는 물체 정보를 미리 저장해두거나 훈련을 통하여 등록된 물체만을 인식한다. 이에 따라 기존 로봇에서 등록되지 않은 물체를 인식할 수 없으므로 원활한 서비스를 수행하는데 있어 지장을 준다. 만약 기존 로봇에서 미등록 물체를 인식하도록 하기 위해서는 번거로운 절차를 거쳐야 한다.

본 발명의 일 측면은 촬영 영역에 있는 미등록 물체를 추가 등록하는 로봇 및 그 제어 방법을 제시하는데 있다.

본 발명의 다른 측면은 사용자와 대화하여 미등록 물체를 추가 등록하는 로봇 및 그 제어 방법을 제시하는데 있다.

이를 위해 본 발명의 실시 예에 따른 로봇은, 촬영 영역에 등록 물체가 없으면 미등록 물체의 존재를 판단하는 물체존재 판단부와; 상기 미등록된 물체를 등록하기 위해 사용자와 대화하는 HRI 모듈;을 포함한다.

상기 촬영 영역의 촬영 데이터를 제공하는 카메라;를 더 포함하고, 상기 물체존재 판단부는 상기 카메라로부터 영상 데이터와 거리 데이터를 제공받는다.

상기 물체존재 판단부는 영상 데이터 또는 거리 데이터에서 물체후보가 존재할 수 있는 물체후보영역을 선정하는 적어도 하나의 물체영역 검출기를 포함한다.

상기 물체존재 판단부는 복수의 물체영역 검출기에서 선정한 물체후보영역들이 서로 겹치는 영역의 크기에 따라 물체 후보의 존재를 판단하는 물체영역 판단부;를 포함한다.

상기 복수의 물체영역 검출기는 상기 거리 데이터에 나타난 거리 분포에 따라 물체후보영역을 검출하는 적어도 하나의 검출기와, 상기 영상 데이터에 나타난 특징에 따라 물체후보영역을 검출하는 적어도 하나의 검출기를 포함한다.

상기 거리 데이터에서 검출하는 적어도 하나의 검출기는 3차원 거리 데이터를 2차원 거리 데이터로 변환한다.

상기 영상 데이터에서 검출하는 적어도 하나의 검출기는 상기 영상 데이터에서 검출된 에지와 폐곡면에 기초하여 물체후보영역을 선정한다.

상기 영상 데이터에서 검출한 적어도 하나의 검출기는 상기 영상 데이터에서 특징을 뽑을 위치와 영역을 결정하고 결정된 위치와 영역에서 뽑은 특징 벡터의 조밀도에 따라 물체후보영역을 선정한다.

상기 등록 물체를 저장하는 데이터 베이스와; 상기 데이터 베이스에 상기 미등록 물체를 추가 등록하는 물체등록기;를 더 포함한다.

상기 HRI 모듈은 상기 미등록된 물체의 이름을 알기 위해 사용자와 대화한다.

상기 사용자로부터 획득된 미등록 물체의 이름을 제공하기 위한 HRI 제어부를 더 포함한다.

상기 HRI 모듈은 음성 또는 제스처를 사용하여 대화한다.

이를 위해 본 발명의 실시 예에 따른 로봇의 제어방법은, 촬영 영역에 등록 물체의 존재를 판단하고; 상기 등록 물체가 촬영 영역에 존재하지 않으면 미등록 물체의 존재를 판단하며; 상기 미등록 물체가 존재하면 사용자와 대화하여 상기 미등록 물체를 추가 등록하는 것;을 특징으로 한다.

상기 미등록 물체의 존재 판단은, 상기 촬영 영역의 영상 데이터 또는 거리 데이터에서 물체후보가 존재할 수 있는 복수의 물체후보영역을 선정하며; 상기 복수의 물체후보영역이 서로 겹치는 영역의 크기에 따라 물체 후보의 존재를 판단하는 것;을 특징으로 한다.

상기 거리 데이터에서 물체후보영역을 선정하는 경우 상기 거리 데이터에 나타난 거리 분포에 따라 선정한다.

상기 거리 데이터에서 물체후보영역을 선정하는 경우 3차원 거리 데이터를 2차원 거리 데이터로 변환한다.

상기 영상 데이터에서 물체후보영역을 선정하는 경우, 상기 영상 데이터에서 검출한 에지와 폐곡면에 따라 선정한다.

상기 영상 데이터에서 물체후보영역을 선정하는 경우, 상기 영상 데이터에서 특징을 뽑을 위치와 영역을 결정하고 결정된 위치와 영역에서 뽑은 특징 벡터의 조밀도에 따라 물체후보영역을 선정한다.

상기 사용자와의 대화는 상기 미등록 물체의 이름을 얻기 위해 음성 또는 제스쳐를 사용한다.

상기 미등록 물체의 등록은 상기 사용자와 대화하여 얻은 물체 이름과 물체 특징으로 데이터베이스에 저장한다.

이와 같은 본 발명은 자신이 알지 못하는 물체를 새로 등록하여 인식 대상이 늘어나므로 인식 능력을 스스로 증식한다. 따라서 로봇이 활동하는 공간에 존재하는 미등록 물체를 인식하여 로봇에게 주어진 다양한 서비스를 원활하게 수행할 수 있다.

이하에서는 본 발명에 따른 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.

도 1에 도시한 바와 같이, 본 발명에 따른 로봇은 로봇 주위를 촬영하는 카메라(10)를 구비한다. 카메라(10)는 입체 영상을 찍을 수 있는 스테레오 카메라를 사용할 수 있다. 데이터 저장부(20)에 스테레오 카메라의 출력 데이터가 저장된다. 그 출력 데이터는 물체 영상과 거리 정보를 포함한다. 여기서 거리 정보는 카메라에서 떨어진 물체와의 거리를 의미한다.

데이터베이스(40)는 등록 물체에 대한 물체의 특징과 이름이 저장된다.

물체인식기(30)는 데이터 저장부(20)에서 제공받은 데이터에서 특징을 추출하고 데이터베이스(40)에 저장된 물체 정보와 비교한다. 즉 물체인식기(30)는 추출한 특징과 데이터베이스(40)에 저장된 각 물체의 특징을 호출하여 인식 알고리즘을 이용하여 데이터베이스에 존재하는 물체의 이름을 인식하거나 데이터베이스에 존재하는 물체와 일치하는 정보가 없으면 등록된 물체가 없는 것으로 인식한다. 그 인식 결과는 시스템제어부(50)에 제공된다.

물체등록기(60)는 데이터베이스(40)에 물체를 등록하는 역할을 하는데, 시스템 제어부(50)의 제어에 따라 등록할 물체의 특징과 이름을 데이터베이스(40)에 등록한다.

물체인식기(30)의 인식 결과 카메라(10)에 의해 촬영된 영역에 등록 물체가 없으면, 물체존재 판단부(70)가 촬영 영역에 미등록된 물체 즉 물체 후보가 존재하는지 판단한다. 그 판단을 위한 여러 방법에 관련된 상세한 설명은 후술한다.

촬영 영역에 물체 후보가 존재하면, 물체존재 판단부(70)가 HRI(human robot interface) 제어부(80)에 물체 후보의 존재를 알려 준다. 그러면 HRI 제어부(80)가 HRI 모듈(90)을 매개로 사용자와 대화한다.

여기서 대화 내용은 물체 후보의 이름을 알아내는 질의 응답을 포함하며, 이를 위해 다양한 의사 표현을 동원한다. HRI 모듈(90)에서 TTS(text to speech)(91)와, 음성인식기(92)와, 제스처 표현기(93)와, 제스처 인식기(95) 중 적어도 하나를 이용한다. 사용자에게 질의하는 경우 텍스트 형태로 음성 출력하는 TTS(91)를 이용할 수 있다. 사용자가 말한 내용이 음성인식기(92)에서 인식된다. 또 로봇에 설치된 손이나 발을 이용하여 의사 표현하는 경우 제스쳐 표현기(93)를 이용할 수 있다. 사용자가 행하는 제스처는 제스쳐 인식기(94)에서 인식된다.

HRI 모듈(90)을 매개로 사용자와 의사 소통할 수 있으므로 물체 후보의 이름을 간편하게 획득할 수 있다. 예를 들어 로봇이 손으로 물체 후보를 가리키면서 TTS(91)를 이용하여 "이것은 무엇입니까?"라고 질의한다. 이에 응답하여 사용자가 음성으로 "이것은 컵이다"라고 대답한다. 이에 따라 음성인식기(92)에서 사용자 음성을 인식하여 물체 후보의 이름을 알 수 있다.

HRI 제어부(80)가 획득된 물체 후보의 이름을 시스템제어부(50)에 전달한다. 그러면 물체등록기(60)가 물체 후보의 이름과 물체 특징을 데이터베이스(40)에 추가로 등록한다.

이하 물체 후보의 존재를 판단하는 물체존재 판단부(70)의 상세한 구성과 동작을 자세하게 설명한다.

도 2를 참고하면, 물체존재 판단부(70)는 제1물체영역 검출기(71)와, 제2물체영역 검출기(72)와, 제3물체영역 검출기(73), 및 물체영역 판단부(74)를 포함한다.

제1 내지 제3물체영역 검출기(71)(72)(73)는 각각의 검출 방법에 의존하여 물체 후보가 존재하는 물체후보영역을 선정한다. 그러면 물체영역 판단부(74)가 각 검출기에서 선정한 결과에 따라 촬영 영역에 물체후보가 존재하는지를 결정한다.

첫째, 제1물체영역 검출기(71)에서 물체후보영역을 선정하는 방법은 스테레오 카메라로부터 3차원 데이터를 제공받고, 깊이 분포가 비슷한 영역을 뽑아 물체후보영역으로 저장한다. 이를 자세히 설명한다.

도 3a의 촬영 영상(P1)은 입체 영상을 흑백 영상으로 변환한 것이다. 촬영 영상(P1)에 물체후보(N1)가 있다. 제1물체영역 검출기(71)가 카메라(10)에서 제공받은 3차원 거리 데이터로 구성된 거리 정보의 맵을 작성한다. 거리 정보의 맵 상에는 카메라와 물체의 간격에 대응하는 거리 분포가 나타난다. 그 거리 분포에 기초하여 물체후보영역을 선정한다. 만약 3차원 거리 데이터를 이용하지 않는 경우, 3차원 거리 데이터를 정사영하여(projection) 2차원 거리 데이터(2D)로 변환하고, 이로부터 물체후보영역을 선정할 수도 있다. 도 3b는 3축(X, Y, Z)의 거리 데이터를 한 축(Y)에 대해 정사영하여 2개 축(X, Z)의 공간에 나타낸 것이다. 여기서 도 3b에 도시된 물체후보영역(N11)은 촬영 영상(P1)의 물체후보(N1)에 대응한다.

둘째, 제2물체영역 검출기(72)에서 물체후보영역을 선정하는 방법은, 제공되는 영상 데이터에서 에지와 폐곡면이 존재하는 영역을 뽑아 물체후보영역으로 저장 한다. 이를 자세히 설명한다.

도 4a에 도시한 바와 같이, 카메라(10)에서 제공되는 촬영 영상(P2)에는 물체 후보(N2)가 포함된 경우이다. 제2물체영역 검출기(72)가 영상 처리 알고리즘을 이용하여 변환한 촬영 영상(P21)에서 에지(edge)와 폐곡면을 각각 검출하고, 검출된 에지와 폐곡면에 기초하여 물체후보영역(N21)을 선정한다.

셋째, 제3물체영역 검출기(73)에서 물체후보영역을 선정하는 방법은, 영상에서 특징을 뽑을 위치나 영역들을 결정한 후 그 결정된 위치나 영역들로부터 특징 벡터들을 뽑고, 이러한 특징 벡터들이 조밀하게 존재하는 영역을 물체후보영역으로 저장한다. 도 5에 도시한 바와 같이, 제3물체영역 검출기(73)에 의해 변환된 영상(P3)에는 특징 벡터로서 작은 사이즈의 원으로 표시된 특징 포인트가 있다. 이 특징 포인트의 분포도에 따라 물체후보영역(N3)을 선정한다.

본 실시예에서 적용하는 카메라(10)가 스테레오 카메라인 경우의 예를 설명하였다. 만약 모노 카메라를 적용한다고 하면 제1물체영역 검출기(71)를 배제하고 제2 및 제3물체영역 검출기(73)에서만 물체후보영역을 선정한다.

제1 내지 제3물체영역 검출기(71)(72)(73)에 의해 선정된 물체후보영역(N11)(N21)(N3)이 겹치는 영역은 여러 가지 양상으로 나타날 수 있다.

물체판단부(74)는 표 1과 같이 각 검출기에서 선정된 물체후보영역들이 겹치는 영역의 크기에 따라 우선순위를 부여하고, 이 우선순위 중 어느 하나에 해당하면 물체후보가 존재하는 것으로 판단한다.

표 1

물체후보영역의 겹침 영역	적용 조건	우선순위
N11, N21, N3 겹치는 영역 : A1	a1 < A1 < b1	우선순위 1
N11, N21 겹치는 영역 : A2	a2 < A2 < b2	우선순위 2_1
N11, N3 겹치는 영역 : A3	a3 < A3 < b3	우선순위 2_2
N21, N3 겹치는 영역 : A4	a4 < A4 < b4	우선순위 3

본 실시예에서 설명하고 있지 않으나 물체존재 판단부(70)가 표 1의 우선순위 중 일부만을 선별적으로 적용할 수 있음은 이 기술 분야의 통상적인 지식을 가진 자에게 있어 명백하다.

이하에서는 본 발명의 실시예에 따른 로봇의 제어방법을 설명한다.

로봇 작동 시 카메라(10)가 로봇 주위를 촬영하며, 카메라(10)의 촬영 데이터가 데이터 저장부(20)에 저장된다. 여기서 스테레오 카메라를 사용한 경우 촬영 데이터에는 영상 데이터와 거리 데이터를 포함한다. 시스템 제어부(50)는 데이터 저장부(20)에 데이터 호출 명령을 인가한다(200).

데이터 호출에 따라 데이터 저장부(20)에 저장된 데이터가 물체인식기(30)에 전송된다(210). 물체인식기(30)는 데이터에서 특징을 추출한다. 또 물체인식기(30)는 데이터베이스(30)에서 등록 물체의 특징에 대한 데이터를 가져온다. 그런 다음 물체인식기(30)가 데이터에서 추출한 특징과 등록 물체의 특징을 비교하고, 일치하면 물체의 이름을 인식한다(220). 그 인식 결과에 따라 등록 물체가 존재하는지 판단한다(230). 판단 결과는 시스템제어부(50)에 제공된다.

추출된 특징과 일치하는 등록 물체의 특징이 존재하지 않은 경우, 데이터 저장부(20)에 저장된 촬영 데이터가 물체존재판단부(70)에 전송된다. 물체존재 판단부(70)에서 물체후보의 존재를 판단하게 하는 명령을 시스템제어부(50)가 출력한다.

도 7을 참고하여 제1 내지 제3물체영역 검출기(71)(72)(73)가 물체후보영역을 각각 검출하고(240)(250)(260), 물체영역 판단부(74)가 물체후보의 존재를 결정한다(270). 이를 자세하게 설명한다.

저장부(20)에 저장된 영상 데이터 및 거리 데이터가 각 검출기(71)(72)(73)에 전송된다. 거리 데이터는 3차원 데이터이다(210).

제1물체영역 검출기(71)는 3차원 거리 데이터를 이용하여 거리정보 맵을 작성한다(241). 그런 다음 제1물체영역 검출기(71)는 2D 프로젝션을 사용하지 않은 경우 거리 정보 맵 상에서 거리 분포에 따라 제1물체후보영역을 선정한다(242)(243). 2D 프로젝션을 사용하는 경우 3차원 거리 데이터가 2차원 거리 데이터로 변환되고, 변화된 2차원 거리 데이터에서 거리 분포에 따라 제1물체후보영역을 선정한다(244)(245).

제2물체영역 검출기(72)는 영상 데이터에서 에지와 폐곡면을 검출하고(251)(252), 검출된 에지와 폐곡면에 기초하여 특징이 나타난 제2물체후보영역을 선정한다(253).

제3물체영역 검출기(73)는 영상 데이터에서 특징을 뽑을 위치와 영역을 결정한 후 결정된 위치와 영역에서 특징 벡터로서 특징 포인트를 검출하고(261), 검출된 특징 포인트의 분포도를 산출하며(272). 산출된 특징 포인트의 분포도에 따라 제3물체후보영역을 선정한다(260).

이와 같이 각 검출기에서 물체후보영역이 선정되게 된다. 그러면 물체영역 판단부(74)는 각 검출기(71)(72)(73)에서 선정한 물체후보영역이 서로 겹치는 영역 의 크기에 따라 물체 후보가 존재하는 것으로 결정하거나 물체후보가 존재하지 않는 것으로 결정한다(270).

제1 내지 제3물체후보영역이 모두 겹치는 영역(A1)이 있고, 그 영역(A1)이 적용 조건(a1< A1 <b1)을 만족하면 우선순위 1을 만족하는 영역이 있다고 판단하여 물체후보가 존재하는 것으로 결정한다(271)(275).

제1 및 제2물체후보영역이 서로 겹치는 영역(A2)이 있고, 그 영역(A2)이 적용 조건(a2< A2 <b2)을 만족하면 우선순위 2_1을 만족하는 영역이 있다고 판단하여 물체후보가 존재하는 것으로 결정한다(272)(275). 제1 및 제3물체후보영역이 서로 겹치는 영역(A3)이 있고, 그 영역(A3)이 적용 조건(a3< A3 <b3)을 만족하면 우선순위 2_2을 만족하는 영역이 있다고 판단하여 물체후보가 존재하는 것으로 결정한다(273)(275). 제2 및 제3물체후보영역이 서로 겹치는 영역(A4)이 있고, 그 영역(A4)이 적용 조건(a4< A4 <b4)을 만족하면 우선순위 3을 만족하는 영역이 있다고 판단하여 물체후보가 존재하는 것으로 결정한다(274)(275).

각 검출기에서 선정한 물체후보영역들이 서로 겹치지 않으면 물체후보가 존재하지 않는 것으로 결정한다(276)

다시 도 6을 참고하여, 각 검출된 물체후보영역의 겹치는 정도에 기초하여 물체존재 판단부(70)가 물체 후보의 존재를 판단한다(280). 만약 물체후보가 존재하지 않는 경우 그대로 종료한다.

물체 후보가 존재하면 HRI 제어부(80)에서 HRI 모듈(90)을 이용하여 사용자와 대화한다(290). 사용자와 대화하는 방법으로 음성 또는 제스처를 사용할 수 있 다.

사용자와 대화하여 물체후보의 이름을 획득하고, HRI 제어부(80)가 시스템제어부(50)에 알려 준다(300).

그러면 시스템 제어부(50)가 물체 등록기(60)에 물체 등록 명령을 출력한다. 이에 따라 물체등록기(60)가 물체 후보의 특징을 추출한다(310). 그런 다음 물체등록기(60)가 물체후보의 특징과 물체후보의 이름을 데이터베이스(40)에 추가함으로서 미등록 물체에 대한 등록을 끝낸다(320).

도 1은 본 발명의 실시예에 따른 로봇의 제어블록도이다.

도 2는 본 발명의 실시예에 따른 물체존재 판단부의 상세한 구성을 나타낸 블록도이다.

도 3a 및 도 3b는 본 발명의 실시예에 따른 제1물체영역 검출기가 물체후보영역을 선정하는 과정을 설명하기 위한 도면이다.

도 4a 및 도 4b는 본 발명의 실시예에 따른 제2물체영역 검출기가 물체후보영역을 선정하는 과정을 설명하기 위한 도면이다.

도 5는 본 발명의 실시예에 따른 제3물체영역 검출기가 물체후보영역을 선정하는 동작을 설명하기 위한 도면이다.

도 6은 본 발명의 실시예에 따른 로봇의 제어방법을 설명하기 위한 흐름도이다.

도 7은 본 발명의 실시예에 따른 물체후보의 존재를 판단하기 위한 상세한 과정을 설명하기 위한 흐름도이다.

*도면의 주요부분에 대한 부호 설명*

10 : 카메라

50 : 시스템 제어부

70 : 물체존재 판단부

90 : HRI 모듈

Claims (20)

1. 등록 물체의 특징이 저장되는 데이터베이스;

   촬영 영역의 촬영 데이터를 획득하는 카메라;

   상기 촬영 데이터에서 추출한 특징과 상기 데이터베이스에 저장된 상기 등록 물체의 특징이 일치하면, 상기 촬영 영역에 상기 등록 물체가 존재하는 것으로 인식하는 물체인식기;

   상기 촬영 영역에 등록 물체가 없으면 미등록 물체의 존재를 판단하는 물체존재 판단부와;

   상기 미등록된 물체를 등록하기 위해 사용자와 대화하는 HRI 모듈;을 포함하는 로봇.
2. 제1항에 있어서,

   상기 물체존재 판단부는 상기 카메라로부터 영상 데이터와 거리 데이터를 제공받는 로봇.
3. 제1항에 있어서,

   상기 물체존재 판단부는 영상 데이터 또는 거리 데이터에서 물체후보가 존재할 수 있는 물체후보영역을 선정하는 적어도 하나의 물체영역 검출기를 포함하는 로봇.
4. 제3항에 있어서,

   상기 물체존재 판단부는 복수의 물체영역 검출기에서 선정한 물체후보영역들이 서로 겹치는 영역의 크기에 따라 물체 후보의 존재를 판단하는 물체영역 판단부;를 포함하는 로봇.
5. 제4항에 있어서,

   상기 복수의 물체영역 검출기는 상기 거리 데이터에 나타난 거리 분포에 따라 물체후보영역을 검출하는 적어도 하나의 검출기와, 상기 영상 데이터에 나타난 특징에 따라 물체후보영역을 검출하는 적어도 하나의 검출기를 포함하는 로봇.
6. 제5항에 있어서,

   상기 거리 데이터에서 검출하는 적어도 하나의 검출기는 3차원 거리 데이터를 2차원 거리 데이터로 변환하는 로봇.
7. 제5항에 있어서,

   상기 영상 데이터에서 검출하는 적어도 하나의 검출기는 상기 영상 데이터에서 검출된 에지와 폐곡면에 기초하여 물체후보영역을 선정하는 로봇.
8. 제5항에 있어서,

   상기 영상 데이터에서 검출한 적어도 하나의 검출기는 상기 영상 데이터에서 특징을 뽑을 위치와 영역을 결정하고 결정된 위치와 영역에서 뽑은 특징 벡터의 조밀도에 따라 물체후보영역을 선정하는 로봇.
9. 제1항에 있어서,

   상기 데이터 베이스에 상기 미등록 물체를 추가 등록하는 물체등록기;를 더 포함하는 로봇.
10. 제1항에 있어서,

    상기 HRI 모듈은 상기 미등록된 물체의 이름을 알기 위해 사용자와 대화하는 로봇.
11. 제10항에 있어서,

    상기 사용자로부터 획득된 미등록 물체의 이름을 제공하기 위한 HRI 제어부 를 더 포함하는 로봇.
12. 제10항에 있어서,

    상기 HRI 모듈은 음성 또는 제스처를 사용하여 대화하는 로봇.
13. 등록 물체의 특징을 저장하고;

    촬영 영역의 촬영 데이터를 획득하고;

    상기 촬영 데이터에서 추출한 특징과 상기 저장된 등록 물체의 특징을 비교하고;

    상기 비교 결과를 기초로, 상기 촬영 영역에 상기 등록 물체의 존재를 판단하고;

    상기 등록 물체가 상기 촬영 영역에 존재하지 않으면 미등록 물체의 존재를 판단하며;

    상기 미등록 물체가 존재하면 사용자와 대화하여 상기 미등록 물체를 추가 등록하는 것;을 특징으로 하는 로봇의 제어방법.
14. 제13항에 있어서,

    상기 미등록 물체의 존재 판단은,

    상기 촬영 영역의 영상 데이터 또는 거리 데이터에서 물체후보가 존재할 수 있는 복수의 물체후보영역을 선정하며; 상기 복수의 물체후보영역이 서로 겹치는 영역의 크기에 따라 물체 후보의 존재를 판단하는 것;을 특징으로 하는 로봇의 제어방법.
15. 제14항에 있어서,

    상기 거리 데이터에서 물체후보영역을 선정하는 경우 상기 거리 데이터에 나타난 거리 분포에 따라 선정하는 로봇의 제어방법.
16. 제14항에 있어서,

    상기 거리 데이터에서 물체후보영역을 선정하는 경우 3차원 거리 데이터를 2차원 거리 데이터로 변환하는 로봇의 제어방법.
17. 제14항에 있어서

    상기 영상 데이터에서 물체후보영역을 선정하는 경우,

    상기 영상 데이터에서 검출한 에지와 폐곡면에 따라 선정하는 로봇의 제어방법.
18. 제14항에 있어서,

    상기 영상 데이터에서 물체후보영역을 선정하는 경우,

    상기 영상 데이터에서 특징을 뽑을 위치와 영역을 결정하고 결정된 위치와 영역에서 뽑은 특징 벡터의 조밀도에 따라 물체후보영역을 선정하는 로봇의 제어방법.
19. 제13항에 있어서,

    상기 사용자와의 대화는 상기 미등록 물체의 이름을 얻기 위해 음성 또는 제스쳐를 사용하는 로봇의 제어방법.
20. 제13항에 있어서,

    상기 미등록 물체의 등록은 상기 사용자와 대화하여 얻은 물체 이름과 물체 특징으로 데이터베이스에 저장하는 로봇의 제어방법.

Images