KR20240076571A - 듀얼 핑거를 이용하여 오브젝트를 그립하는 로봇 및 그의 오브젝트 그립 방법 - Google Patents

Abstract

제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함하는 로봇이 개시된다. 본 로봇은 제1 핑거에 마련된 제1 발광 소자, 제1 핑거에 마련되며, 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 제1 발광 소자에서 출력된 광 또는 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 제1 접촉부로 제공하는 제1 편광 필터, 제2 핑거에 마련된 제2 발광 소자, 제2 핑거에 마련되며, 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 제2 발광 소자에서 출력된 광 또는 제2 발광 소자에서 출력된 광 중 제1 방향과 수직한 제2 방향의 편광을 통과시켜 상기 제2 접촉부로 제공하는 제2 편광 필터, 제1 핑거 및 상기 제2 핑거를 구동하는 구동부 및 제1 발광 소자, 제1 카메라, 제1 편광 필터, 제2 발광 소자, 제2 카메라, 제2 편광 필터 및 구동부와 연결되어 로봇을 제어하는 하나 이상의 프로세서를 포함하며, 하나 이상의 프로세서는 제1 접촉부 및 제2 접촉부 사이에 오브젝트가 위치하면, 제1 발광 소자, 제2 발광 소자, 상기 제1 편광 필터 및 제2 편광 필터의 온 또는 오프 상태를 제어하여 제1 카메라를 통해 제1 영상을 획득하고, 제2 카메라를 통해 제2 영상을 획득하고, 제1 영상 및 제2 영상에 기초하여 제1 접촉부와 오브젝트 간의 제1 거리와 제2 접촉부와 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지되면서 제1 핑거 및 제2 핑거가 상기 오브젝트를 그립하도록 구동부를 제어한다.

Description

듀얼 핑거를 이용하여 오브젝트를 그립하는 로봇 및 그의 오브젝트 그립 방법 { ROBOT FOR GRIPPING AN OBJECT USING DUAL FINGERS AND OBJECT GRIP METHOD THEREOF }

본 개시는 로봇 및 그의 오브젝트 그립 방법에 대한 것으로, 더욱 상세하게는 듀얼 핑거를 이용하여 오브젝트를 그립하는 로봇 및 그의 오브젝트 그립 방법에 대한 것이다.

전자 기술의 발달에 힘입어 다양한 종류의 전자 장치가 개발되고 있다. 특히, 최근에는 사람과 유사한 형태의 로봇이 개발되고 있으며, 형태 뿐만 아니라 기능적으로도 사람과 유사하기 위한 다양한 시도가 있다.

예를 들어, 사람이 물체를 잡았을 때 손가락에서 느끼는 접촉 정보를 로봇 핸드에서도 감지할 수 있도록 다양한 기술이 개발되고 있다.

본 개시의 일 실시 예에 따라 제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함하는 로봇은 상기 제1 핑거에 마련된 제1 발광 소자, 상기 제1 핑거에 마련되며, 상기 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 상기 제1 발광 소자에서 출력된 광 또는 상기 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 상기 제1 접촉부로 제공하는 제1 편광 필터, 상기 제2 핑거에 마련된 제2 발광 소자, 상기 제2 핑거에 마련되며, 상기 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 상기 제2 발광 소자에서 출력된 광 또는 상기 제2 발광 소자에서 출력된 광 중 상기 제1 방향과 수직한 제2 방향의 편광을 통과시켜 상기 제2 접촉부로 제공하는 제2 편광 필터, 상기 제1 핑거 및 상기 제2 핑거를 구동하는 구동부 및 상기 제1 발광 소자, 상기 제1 카메라, 상기 제1 편광 필터, 상기 제2 발광 소자, 상기 제2 카메라, 상기 제2 편광 필터 및 상기 구동부와 연결되어 상기 로봇을 제어하는 하나 이상의 프로세서를 포함한다. 상기 하나 이상의 프로세서는 상기 제1 접촉부 및 상기 제2 접촉부 사이에 오브젝트가 위치하면, 상기 제1 발광 소자, 상기 제2 발광 소자, 상기 제1 편광 필터 및 상기 제2 편광 필터의 온 또는 오프 상태를 제어하여 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제2 카메라를 통해 제2 영상을 획득한다. 하나 이상의 프로세서는 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제1 접촉부와 상기 오브젝트 간의 제1 거리와 상기 제2 접촉부와 상기 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지되면서 상기 제1 핑거 및 상기 제2 핑거가 상기 오브젝트를 그립하도록 상기 구동부를 제어한다.

또한, 상기 제1 접촉부는 복수의 마커를 포함하는 제1 젤 및 상기 제1 젤 상에 형성된 제1 코팅층을 포함할 수 있다. 상기 제2 접촉부는 복수의 마커를 포함하는 제2 젤 및 상기 제2 젤 상에 형성된 제2 코팅층을 포함할 수 있다.

그리고, 상기 제1 코팅층 및 상기 제2 코팅층은 투명하거나 반투명할 수 있다.

또한, 상기 하나 이상의 프로세서는 상기 제1 발광 소자 및 상기 제2 발광 소자를 오프시키고, 상기 제1 편광 필터 및 상기 제2 편광 필터를 온 시키고, 상기 제1 카메라를 통해 획득한 제1 영상 및 상기 제2 카메라를 통해 획득한 제2 영상에서 상기 오브젝트가 검출되면, 상기 제1 영상에 기초하여 상기 제1 거리를 식별하고 상기 제2 영상에 기초하여 상기 제2 거리를 식별하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 핑거 및 제2 핑거가 상기 오브젝트를 그립하도록 상기 구동부를 제어할 수 있다.

그리고, 상기 하나 이상의 프로세서는 상기 제1 발광 소자 및 상기 제2 발광 소자를 온 시키고, 상기 제1 카메라를 통해 획득한 제1 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제1 접촉부에 접촉되었는지를 식별하고, 상기 제2 카메라를 통해 획득한 상기 제2 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제2 접촉부에 접촉되었는지를 식별할 수 있다.

또한, 상기 하나 이상의 프로세서는 상기 제1 거리 및 상기 제2 거리가 기설정된 거리 이하인 경우, 상기 제1 발광 소자 및 상기 제2 발광 소자를 제1 시간 구간 동안 오프시키고, 상기 제1 발광 소자 및 상기 제2 발광 소자를 제1 시간 구간 보다 긴 제2 시간 구간 동안 온시킬 수 있다.

그리고, 상기 하나 이상의 프로세서는 상기 제1 영상 및 상기 제2 영상에서 오브젝트가 검출되지 않으면, 상기 제2 발광 소자를 온 시키고, 상기 제1 편광 필터 및 상기 제2 편광 필터를 오프시키고, 상기 제1 카메라를 통해 획득한 제1 영상에서 오브젝트가 검출되면, 상기 제1 영상에 기초하여 상기 제1 거리를 식별하고, 상기 제1 발광 소자를 온 시키고, 상기 제2 발광 소자를 오프시키고, 상기 제2 카메라를 통해 획득한 제2 영상에서 오브젝트가 검출되면, 상기 제2 영상에 기초하여 상기 제2 거리를 식별하고, 상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 핑거 및 제2 핑거가 상기 오브젝트를 그립하도록 상기 구동부를 제어할 수 있다.

또한, 상기 하나 이상의 프로세서는 상기 제1 발광 소자가 온 상태이고 상기 제2 발광 소자가 오프 상태인 동안 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제1 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제1 접촉부에 접촉되었는지를 식별하고, 상기 제1 발광 소자가 오프 상태이고 상기 제1 발광 소자가 온 상태인 동안 상기 제2 카메라를 통해 제2 영상을 획득하고, 상기 제2 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제2 접촉부에 접촉되었는지를 식별할 수 있다.

한편, 본 개시의 일 실시 예에 따라 제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함하며, 상기 제1 핑거에 마련된 제1 발광 소자, 상기 제1 핑거에 마련되며, 상기 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 상기 제1 발광 소자에서 출력된 광 또는 상기 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 상기 제1 접촉부로 제공하는 제1 편광 필터, 상기 제2 핑거에 마련된 제2 발광 소자, 상기 제2 핑거에 마련되며, 상기 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라 및 인가되는 전압에 따라 상기 제2 발광 소자에서 출력된 광 또는 상기 제2 발광 소자에서 출력된 광 중 상기 제1 방향과 수직한 제2 방향의 편광을 통과시켜 상기 제2 접촉부로 제공하는 제2 편광 필터를 포함하는 로봇의 오브젝트 그립 방법은 상기 제1 접촉부 및 상기 제2 접촉부 사이에 오브젝트가 위치하면, 상기 제1 발광 소자, 상기 제2 발광 소자, 상기 제1 편광 필터 및 상기 제2 편광 필터의 온 또는 오프 상태를 제어하여 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제2 카메라를 통해 제2 영상을 획득하는 단계 및 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제1 접촉부와 상기 오브젝트 간의 제1 거리와 상기 제2 접촉부와 상기 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지하면서 상기 제1 핑거 및 상기 제2 핑거를 상기 오브젝트가 위치한 방향으로 이동시키는 단계를 포함한다.

한편, 본 개시의 일 실시 예에 따라 제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함하며, 상기 제1 핑거에 마련된 제1 발광 소자, 상기 제1 핑거에 마련되며, 상기 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 상기 제1 발광 소자에서 출력된 광 또는 상기 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 상기 제1 접촉부로 제공하는 제1 편광 필터, 상기 제2 핑거에 마련된 제2 발광 소자, 상기 제2 핑거에 마련되며, 상기 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라 및 인가되는 전압에 따라 상기 제2 발광 소자에서 출력된 광 또는 상기 제2 발광 소자에서 출력된 광 중 상기 제1 방향과 수직한 제2 방향의 편광을 통과시켜 상기 제2 접촉부로 제공하는 제2 편광 필터를 포함하는 로봇의 하나 이상의 프로세서에 의해 실행되는 경우 상기 전자 장치가 동작을 수행하도록 하는 컴퓨터 명령을 저장하는 비일시적 컴퓨터 판독 가능 매체에 있어서, 상기 동작은 상기 제1 접촉부 및 상기 제2 접촉부 사이에 오브젝트가 위치하면, 상기 제1 발광 소자, 상기 제2 발광 소자, 상기 제1 편광 필터 및 상기 제2 편광 필터의 온 또는 오프 상태를 제어하여 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제2 카메라를 통해 제2 영상을 획득하는 단계 및 상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제1 접촉부와 상기 오브젝트 간의 제1 거리와 상기 제2 접촉부와 상기 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지하면서 상기 제1 핑거 및 상기 제2 핑거를 상기 오브젝트가 위치한 방향으로 이동시키는 단계를 포함한다.

도 1a은 본 개시의 일 실시 예에 따른 로봇에 마련된 제1 핑거 및 제2 핑거의 구현 예를 설명하기 위한 도면,
도 1b는 본 개시의 일 실시 예에 따른 로봇에 마련된 제1 핑거 및 제2 핑거의 세부 구현 예를 설명하기 위한 도면,
도 2a는 본 개시의 일 실시 예에 따른 로봇의 구성을 설명하기 위한 블록도,
도 2b는 본 개시의 일 실시 예에 따른 로봇의 세부 구성을 설명하기 위한 블록도,
도 3은 본 개시의 일 실시 예에 따라 제1 핑거 및 제2 핑거가 이동 및 회전하는 예를 설명하기 위한 도면,
도 4 내지 도 11은 본 개시의 일 실시 예에 따라 로봇이 제1 핑거 및 제2 핑거 사이에 위치한 오브젝트를 그립하는 과정을 설명하기 위한 도면들,
도 12는 본 개시의 일 실시 예에 따라 오브젝트가 제1 접촉부 및 제2 접촉부에 접촉된 경우를 설명하기 위한 도면,
도 13은 본 개시의 일 실시 예에 따라 로봇이 그립할 오브젝트를 감지하는 방법을 설명하기 위한 도면,
도 14는 본 개시의 일 실시 예에 따른 로봇의 오브젝트 그립 방법을 설명하기 위한 흐름도이다.

본 개시에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어(operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

실시 예에 있어서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.

이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.

도 1a은 본 개시의 일 실시 예에 따른 로봇에 마련된 제1 핑거 및 제2 핑거의 구현 예를 설명하기 위한 도면이다.

도 1a을 참조하면, 본 개시에 따른 로봇은 듀얼 핑거를 포함할 수 있다. 듀얼 핑거는 제1 핑거(1) 및 제2 핑거(2)를 포함할 수 있다.

여기에서, 핑거(또는 그리퍼)는 오브젝트(예: 다양한 종류의 물체)를 그립하는 기능을 수행할 수 있다. 로봇은 제1 핑거(1)와 제2 핑거(2)를 서로 마주보는 방향(예: 도 1a의 ①, ②)으로 이동시켜, 제1 핑거(1)와 제2 핑거(2) 사이에 위치한 오브젝트를 그립할 수 있다.

제1 핑거(1)에는 제1 광 촉각 센서(optical tactile sensor)가 배치될 수 있다. 제1 광 촉각 센서는 제1 접촉부(10), 제1 발광 소자(110), 제1 카메라(120) 및 제1 편광 필터(130)를 포함할 수 있다.

그리고, 제2 핑거(2)에는 제2 광 촉각 센서가 배치될 수 있다. 제2 광 촉각 센서는 제2 접촉부(20), 제2 발광 소자(140), 제2 카메라(150) 및 제2 편광 필터(160)를 포함할 수 있다.

제1 접촉부(10)는 젤(gel)(11)을 포함하고, 제2 접촉부(20)는 젤(21)을 포함할 수 있다. 젤은 투명할 수 있다.

제1 접촉부(10)는 복수의 마커(12)를 포함할 수 있다. 복수의 마커(12)는 젤(11)의 일 면에 잉크, 실리콘 등으로 프린팅될 수 있다. 제2 접촉부(20)는 복수의 마커(22)를 포함할 수 있다. 복수의 마커(22)는 젤(21)의 일 면에 잉크, 실리콘 등으로 프린팅될 수 있다.

복수의 마커(12, 22)는 매트릭스 형태로 배치될 수 있으며, 복수의 마커(12, 22) 간의 간격은 서로 동일할 수 있다. 복수의 마커(12, 22) 각각은 원형일 수 있다. 다만, 이예에 한정되는 것은 아니고, 마커는 다양한 형상일 수 있다.

제1 접촉부(10)는 코팅층(13)을 포함한다. 코팅층(13)은 복수의 마커(12)가 프린팅된 젤(11)의 일 면 상에 형성될 수 있다. 제2 접촉부(20)는 코팅층(23)을 포함한다. 코팅층(23)은 복수의 마커(22)가 프린팅된 젤(21)의 일 면 상에 형성될 수 있다. 코팅층(12, 22)은 젤(11, 21)에 프린팅된 복수의 마커(12, 22)가 마모되는 것을 방지할 수 있다. 또한, 코팅층(13, 23)은 투명하거나, 반투명할 수 있다.

제1 발광 소자(110)에 제1 핑거(1)에 마련되고, 제2 발광 소자(140)는 제2 핑거(2)에 마련된다.

그리고, 제1 발광 소자(110) 및 제2 발광 소자(140)는 빛을 출력할 수 있다. 제1 발광 소자(110) 및 제2 발광 소자(140)는 LED로 구현될 수 있다. 다만, 이 예에 한정되는 것은 아니고, 제1 발광 소자(110) 및 제2 발광 소자(140)는 빛을 출력하는 다양한 유형의 발광 소자로 구현될 수 있다.

젤(11)의 타 면 상에는 제1 편광 필터(130)가 배치될 수 있다. 또한, 젤(21)의 타 면 상에는 제2 편광 필터(160)가 배치될 수 있다.

제1 편광 필터(130) 및 제2 편광 필터(160)는 인가되는 전압에 따라 온 및 오프될 수 있다.

예를 들어, 제1 편광 필터(130) 및 제2 편광 필터(160)에 제1 전압이 인가되는 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)는 오프될 수 있다. 이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)에는 편광축이 형성되지 않으며, 제1 편광 필터(130) 및 제2 편광 필터(160)는 빛을 그대로 투과시킬 수 있다.

제1 편광 필터(130) 및 제2 편광 필터(160)에 제1 전압과 다른 제2 전압이 인가되는 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)는 온 될 수 있다. 이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)에 편광축이 형성되고, 제1 편광 필터(130) 및 제2 편광 필터(160)는 편광축과 평행하게 편광된 빛만을 투과시키고, 그 밖의 다른 방향으로 편광된 빛은 흡수 또는 반사될 수 있다.

제1 편광 필터(130)에 형성되는 제1 편광축과 제2 편광 필터(160)에 형성되는 제2 편광축은 서로 다른 방향으로 배치될 수 있다. 구체적으로, 제1 편광축과 제2 편광축은 서로 직교할 수 있다. 예를 들어, 제1 편광축을 갖는 제1 편광 필터(130)는 수평 선편광을 투과시키고, 제2 편광축을 갖는 제2 편광 필터(160)는 수직 선편광을 투과시킬 수 있다.

제1 편광 필터(130)는 인가되는 전압에 따라 제1 발광 소자(110)에서 출력된 빛 또는 제1 발광 소자(110)에서 출력된 빛 중 제1 방향의 편광을 투과시켜 제1 접촉부(10)로 제공할 수 있다.

구체적으로, 인가되는 전압에 따라 제1 편광 필터(130)가 오프되면, 제1 편광 필터(130)는 제1 발광 소자(110)에서 출력된 빛을 투과시켜 제1 접촉부(10)로 제공할 수 있다. 즉, 제1 편광 필터(130)는 제1 발광 소자(110)에서 출력된 빛을 그대로 투과시켜 제1 접촉부(10)로 제공할 수 있다. 그리고, 인가되는 전압에 따라 제1 편광 필터(130)가 온되면, 제1 편광 필터(130)는 제1 발광 소자(110)에서 출력된 빛 중 수평 선편광을 투과시켜 제1 접촉부(10)로 제공할 수 있다.

이들 경우에서, 제1 접촉부(10)로 제공된 빛은 제1 접촉부(10)를 투과하여 제1 광 촉각 센서의 외부로 출력될 수 있다.

제2 편광 필터(160)는 인가되는 전압에 따라 제2 발광 소자(140)에서 출력된 빛 또는 제2 발광 소자(140)에서 출력된 빛 중 제2 방향의 편광을 투과시켜 제2 접촉부(20)로 제공할 수 있다. 여기에서, 제2 방향은 제1 방향과 다를 수 있다. 예를 들어, 제2 방향은 제1 방향과 수직한 방향일 수 있다.

구체적으로, 인가되는 전압에 따라 제2 편광 필터(160)가 오프되면, 제2 편광 필터(160)는 제2 발광 소자(140)에서 출력된 빛을 투과시켜 제2 접촉부(20)로 제공할 수 있다. 즉, 제2 편광 필터(160)는 제2 발광 소자(140)에서 출력된 빛을 그대로 투과시켜 제2 접촉부(20)로 제공할 수 있다. 그리고, 인가되는 전압에 따라 제2 편광 필터(160)가 온되면, 제2 편광 필터(160)는 제2 발광 소자(140)에서 출력된 빛 중 수직 선편광을 투과시켜 제2 접촉부(20)로 제공할 수 있다.

이들 경우에서, 제2 접촉부(20)로 제공된 빛은 제2 접촉부(20)를 투과하여 제2 광 촉각 센서의 외부로 출력될 수 있다

한편, 전술한 예에서는 제1 편광 필터(130)에 수평 편광축이 형성되고, 제2 편광 필터(160)에 수직 편광축이 형성되는 것으로 설명하였다. 다만, 이 예에 한정되는 것은 아니고, 제1 편광 필터(130)에 수직 편광축이 형성되고, 제2 편광 필터(160)에 수평 편광축이 형성될 수 있다.

제1 카메라(120) 및 제2 카메라(150)는 영상을 촬영한다. 제1 카메라(120) 및 제2 카메라(150)는 정지 영상 또는 동영상을 촬영할 수 있다. 즉, 제1 카메라(120) 및 제2 카메라(150)는 특정 시점에서의 정지 영상을 촬영할 수 있으나, 연속적으로 정지 영상을 촬영할 수도 있다.

이를 위해, 제1 카메라(120) 및 제2 카메라(150) 각각은 렌즈 및 이미지 센서 등을 포함할 수 있다. 즉, 제1 카메라(120) 및 제2 카메라(150)는 렌즈를 통해 들어도는 빛을 이미지 센서를 통해 전기적인 영상 신호로 변환할 수 있다.

제1 카메라(120)는 제1 핑거(1)에 마련된다. 그리고, 제1 카메라(120)는 제1 접촉부(10)가 위치한 방향을 촬영한다. 즉, 제1 카메라(120)는 촬영 방향이 제1 접촉부(10)를 향하도록 배치될 수 있다. 그리고, 제1 접촉부(10)는 제1 카메라(120)의 화각 내에 위치할 수 있다.

전술한 바와 같이, 제1 접촉부(10)는 투명하거나 반투명한 코팅층(13)를 포함한다.

코팅층(13)이 투명한 경우, 제1 발광 소자(110)의 온 및 오프와 관계 없이, 제1 카메라(120)는 제1 접촉부(10)의 복수의 마커(12) 및 제1 접촉부(10)를 통해 보이는 제1 광 촉각 센서의 외부를 촬영할 수 있다. 따라서, 제1 카메라(120)에 의해 촬영된 영상은 제1 접촉부(10)의 복수의 마커(12) 및 제1 광 촉각 센서의 외부 영역을 포함할 수 있다. 이 경우, 제1 발광 소자(110)가 오프 상태인 경우보다 온 상태인 경우, 복수의 마커(12)가 더욱 선명하게 촬영될 수 있다.

코팅층(13)이 반투명한 경우, 제1 발광 소자(110)의 온 및 오프에 따라 제1 카메라(120)에 의해 제1 광 촉각 센서의 외부가 촬영되거나 촬영되지 않을 수 있다. 구체적으로, 제1 발광 소자(110)가 온 상태인 경우, 제1 카메라(120)는 제1 발광 소자(110)에서 출력된 빛으로 인해 반투명한 코팅층(13)를 통해 제1 광 촉각 센서 외부를 볼 수 없게 된다. 따라서, 제1 카메라(120)에 의해 촬영된 영상은 제1 접촉부(10)의 복수의 마커(12)를 포함할 수 있다. 하지만, 제1 발광 소자(110)가 오프 상태인 경우, 제1 카메라(120)는 제1 광 촉각 센서 외부의 빛(예: 외부 조명 등)으로 인해 반투명한 코팅층(13)를 통해 제1 광 촉각 센서 외부를 볼 수 있다. 따라서, 제1 카메라(120)에 의해 촬영된 영상은 제1 접촉부(10)의 복수의 마커(12) 및 제1 광 촉각 센서의 외부 영역을 포함할 수 있다.

제2 카메라(150)는 제2 핑거(2)에 마련된다. 그리고, 제2 카메라(150)는 제2 접촉부(20)가 위치한 방향을 촬영한다. 즉, 제2 카메라(150)는 촬영 방향이 제2 접촉부(20)를 향하도록 배치될 수 있다. 그리고, 제2 접촉부(20)는 제2 카메라(150)의 화각 내에 위치할 수 있다.

전술한 바와 같이, 제2 접촉부(20)는 투명하거나 반투명한 코팅층(23)를 포함한다.

코팅층(23)이 투명한 경우, 제2 발광 소자(140)의 온 및 오프와 관계 없이, 제2 카메라(150)는 제2 접촉부(20)의 복수의 마커(22) 및 제2 접촉부(20)를 통해 보이는 제2 광 촉각 센서의 외부를 촬영할 수 있다. 따라서, 제2 카메라(150)에 의해 촬영된 영상은 제2 접촉부(20)의 복수의 마커(22) 및 제2 광 촉각 센서의 외부 영역을 포함할 수 있다. 이 경우, 제2 발광 소자(140)가 오프 상태인 경우보다 온 상태인 경우, 복수의 마커(22)가 더욱 선명하게 촬영될 수 있다.

코팅층(23)이 반투명한 경우, 제2 발광 소자(140)의 온 및 오프에 따라 제2 카메라(150)에 의해 제2 광 촉각 센서의 외부가 촬영되거나 촬영되지 않을 수 있다. 구체적으로, 제2 발광 소자(140)가 온 상태인 경우, 제2 카메라(150)는 제2 발광 소자(140)에서 출력된 빛으로 인해 반투명한 코팅층(23)를 통해 제2 광 촉각 센서 외부를 볼 수 없게 된다. 따라서, 제2 카메라(150)에 의해 촬영된 영상은 제2 접촉부(20)의 복수의 마커(22)를 포함할 수 있다. 하지만, 제2 발광 소자(140)가 오프 상태인 경우, 제2 카메라(150)는 제2 광 촉각 센서 외부의 빛(예: 외부 조명 등)으로 인해 반투명한 코팅층(23)를 통해 제1 광 촉각 센서 외부를 볼 수 있다. 따라서, 제2 카메라(150)에 의해 촬영된 영상은 제2 접촉부(20)의 복수의 마커(22) 및 제2 광 촉각 센서의 외부 영역을 포함할 수 있다.

도 1b는 본 개시의 일 실시 예에 따른 로봇에 마련된 제1 핑거 및 제2 핑거의 세부 구현 예를 설명하기 위한 도면이다.

도 1b를 참조하면, 제1 핑거(1)에 배치된 제1 광 촉각 센서는 도 1a에 도시된 바와 같은 제1 접촉부(10), 제1 발광 소자(110), 제1 카메라(120) 및 제1 편광 필터(130) 뿐 아니라, 지지층(30)를 더 포함할 수 있다. 또한, 제2 핑거(2)에 배치된 제1 광 촉각 센서는 도 1a에 도시된 바와 같은 제1 접촉부(20), 제2 발광 소자(140), 제2 카메라(150) 및 제2 편광 필터(160) 뿐 아니라, 지지층(40)을 더 포함할 수 있다.

제1 핑거(1) 및 제2 핑거(2)를 이용하여 오브젝트를 그립하는 경우, 오브젝트에 의해 제1 접촉부(10) 및 제2 접촉부(20)에 힘이 가해질 수 있다. 이 경우, 제1 접촉부(10)는 지지층(30)에 의해 지지되고, 제2 접촉부(20)는 지지층(40)에 의해 지지될 수 있다. 지지층(30)및 보호층(40)은 투명한 레진(resin) 또는 아크릴(acryl)로 구현될 수 있다.

도 1a 및 도 1b에 도시된 바와 같이, 로봇은 제1 광 촉각 센서가 배치된 제1 핑거(1) 및 제2 광 촉각 센서가 배치된 제2 핑거(2)를 이용하여 오브젝트를 그립할 수 있다. 이와 같이, 광 촉각 센서가 이용되는 경우, 사람의 피부처럼 접촉면의 위치와 크기를 식별할 수 있고, 작은 힘의 변화를 감지할 수 있게 된다. 또한, 사람의 피부에 해당하는 광 촉각 센서의 표면이 투명하거나 반투명한 경우, 별도의 센서 없이도 센서 내부의 카메라를 이용하여 센서 외부의 물체를 검출하고 그립할 수 있다는 점에서, 좁은 공간에서 유용하다.

한편, 로봇은 제1 핑거(1) 및 제2 핑거(2) 사이에 오브젝트를 위치시키고, 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치하는 방향으로 이동하여 제1 핑거(1) 및 제2 핑거(2)를 이용해 오브젝트를 그립할 수 있다.

이 경우, 로봇은 제1 카메라(120)를 통해 촬영된 복수의 마커(12)를 이용하여 오브젝트가 제1 핑거(1)의 제1 접촉부(10)에 접촉되었는지를 식별하고, 제2 카메라(150)를 통해 촬영된 복수의 마커(22)를 이용하여 오브젝트가 제2 핑거(2)의 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다.

이와 같이, 제1 핑거(1) 및 제2 핑거(2)가 서로 마주보게 배치되는 경우, 제1 광 촉각 센서 내부에 배치된 제1 카메라(120)의 화각 내에 제2 광 촉각 센서가 위치하게 되고, 제2 광 촉각 센서 내부에 배치된 제2 카메라(150)의 화각 내에 제1 광 촉각 센서가 위치하게 된다.

이때, 제2 광 촉각 센서 내부에 배치된 제2 발광 소자(140)가 온 상태인 경우, 제2 발광 소자(140)에서 출력된 빛이 제2 접촉부(20)를 투과하여 제1 광 촉각 센서로 제공되고, 그로 인해 제1 카메라(120)가 간섭을 받게 된다. 이와 마찬가지로, 제1 광 촉각 센서 내부에 배치된 제1 발광 소자(110)가 온 상태인 경우, 제1 발광 소자(110)에서 출력된 빛이 제1 접촉부(10)를 투과하여 제2 광 촉각 센서로 제공되고, 그로 인해 제2 카메라(150)가 간섭을 받게 된다. 이러한 간섭으로 인해 제1 접촉부(10) 및 제2 접촉부(20)에 대한 오브젝트의 접촉을 센싱하는데, 부정한 센싱 결과가 초래될 수 있다.

본 개시에서는 제1 발광 소자(110), 제1 편광 필터(130), 제2 발광 소자(140) 및 제2 편광 필터(160)의 온 또는 오프 상태를 제어하여 하나의 광 촉각 센서가 다른 광 촉각 센서에 미치는 간섭을 방지할 수 있다.

도 2a는 본 개시의 일 실시 예에 따른 로봇의 구성을 설명하기 위한 블록도이다.

도 2a를 참조하면, 로봇(100)은 제1 발광 소자(110), 제1 카메라(120), 제1 편광 필터(130), 제2 발광 소자(140), 제2 카메라(150), 제2 편광 필터(160), 구동부(170) 및 하나 이상의 프로세서(180)를 포함할 수 있다.

도 1a 및 도 1b에서 설명한 바와 같이, 로봇(100)은 제1 접촉부(10)가 형성된 제1 핑거(1) 및 제2 접촉부(20)가 형성된 제1 핑거(2)를 포함할 수 있다. 한편, 제1 발광 소자(110), 제1 카메라(120), 제1 편광 필터(130), 제2 발광 소자(140), 제2 카메라(150) 및 제2 편광 필터(160)는 도 1a에서 자세한 설명한 바 있다는 점에서, 중복되는 설명은 생략하도록 한다.

또한, 로봇(100)는 제1 접촉부(10)가 형성된 제1 핑거(1) 및 제2 접촉부(20)가 형성된 제2 핑거(2)를 포함한다.

이 경우, 제1 접촉부(10)는 복수의 마커(12)를 포함하는 제1 젤(11) 및 제1 (11) 상에 형성된 제1 코팅층(13)을 포함한다. 그리고, 제2 접촉부(20)는 복수의 마커(22)를 포함하는 제2 젤(21) 및 제2 젤 상에 형성된 제2 코팅층(23)을 포함한다. 제1 및 제2 코팅층(13, 23)은 투명하거나, 반투명할 수 있다.

구동부(170)는 제1 핑거(1) 및 제2 핑거(2)를 구동한다. 이를 위해, 구동부(170)는 모터, 액츄에이터, 기어 등을 포함할 수 있다.

구체적으로, 구동부(170)는 제1 핑거(1) 및 제2 핑거(2)를 이동시킬 수 있다. 예를 들어, 도 3의 301과 같이, 구동부(170)는 제1 핑거(1) 및 제2 핑거(2)를 각각 상/하/좌/우 방향 및 앞/뒤 방향으로 이동시킬 수 있다. 또한, 도 3의 302와 같이, 구동부(170)는 제1 핑거(1) 및 제2 핑거(2)를 각각 시계 방향 및 반시계 방향으로 회전시킬 수 있다.

또한, 구동부(170)는 제1 핑거(1) 및 제2 핑거(2)를 개별적으로 구동할 수 있다. 이에 따라, 제1 핑거(1) 및 제2 핑거(2)는 개별적으로 이동 및 회전될 수 있다.

하나 이상의 프로세서(180)는 로봇(100)의 동작을 전반적으로 제어한다. 구체적으로, 하나 이상의 프로세서(180)는 로봇(100)의 각 구성과 연결되어 디스플레이 장치(100)의 동작을 전반적으로 제어할 수 있다. 예를 들어, 하나 이상의 프로세서(180)는 제1 발광 소자(110), 제1 카메라(120), 제1 편광 필터(130), 제2 발광 소자(140), 제2 카메라(150), 제2 편광 필터(160) 및 구동부(170)와 전기적으로 연결되어 로봇(100)을 제어할 수 있다. 하나 이상의 프로세서(180)는 하나 또는 복수의 프로세서로 구성될 수 있다.

하나 이상의 프로세서(180)는 메모리에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 다양한 실시 예에 따른 로봇(100)의 동작을 수행할 수 있다.

하나 이상의 프로세서(180)는 CPU(Central Processing Unit), GPU(Graphics Processing Unit), APU(Accelerated Processing Unit), MIC(Many Integrated Core), DSP(Digital Signal Processor), NPU(Neural Processing Unit), 하드웨어 가속기 또는 머신 러닝 가속기 중 하나 이상을 포함할 수 있다. 하나 이상의 프로세서(180)는 로봇(100)의 다른 구성요소 중 하나 또는 임의의 조합을 제어할 수 있으며, 통신에 관한 동작 또는 데이터 처리를 수행할 수 있다. 하나 이상의 프로세서(180)는 메모리에 저장된 하나 이상의 프로그램 또는 인스트럭션을 실행할 수 있다. 예를 들어, 하나 이상의 프로세서는 메모리에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시의 일 실시 예에 따른 방법을 수행할 수 있다.

본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 하나의 프로세서에 의해 수행될 수도 있고, 복수의 프로세서에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제1 동작, 제2 동작, 제3 동작이 수행될 때, 제1 동작, 제2 동작, 및 제3 동작 모두 제1 프로세서에 의해 수행될 수도 있고, 제1 동작 및 제2 동작은 제1 프로세서(예를 들어, 범용 프로세서)에 의해 수행되고 제3 동작은 제2 프로세서(예를 들어, 인공지능 전용 프로세서)에 의해 수행될 수도 있다.

하나 이상의 프로세서(180)는 하나의 코어를 포함하는 단일 코어 프로세서(single core processor)로 구현될 수도 있고, 복수의 코어(예를 들어, 동종 멀티 코어 또는 이종 멀티 코어)를 포함하는 하나 이상의 멀티 코어 프로세서(multicore processor)로 구현될 수도 있다. 하나 이상의 프로세서(180)가 멀티 코어 프로세서로 구현되는 경우, 멀티 코어 프로세서에 포함된 복수의 코어 각각은 캐시 메모리, 온 칩(On-chip) 메모리와 같은 프로세서 내부 메모리를 포함할 수 있으며, 복수의 코어에 의해 공유되는 공통 캐시가 멀티 코어 프로세서에 포함될 수 있다. 또한, 멀티 코어 프로세서에 포함된 복수의 코어 각각(또는 복수의 코어 중 일부)은 독립적으로 본 개시의 일 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있고, 복수의 코어 전체(또는 일부)가 연계되어 본 개시의 일 실시 예에 따른 방법을 구현하기 위한 프로그램 명령을 판독하여 수행할 수도 있다.

본 개시의 일 실시 예에 따른 방법이 복수의 동작을 포함하는 경우, 복수의 동작은 멀티 코어 프로세서에 포함된 복수의 코어 중 하나의 코어에 의해 수행될 수도 있고, 복수의 코어에 의해 수행될 수도 있다. 예를 들어, 일 실시 예에 따른 방법에 의해 제1 동작, 제2 동작, 및 제3 동작이 수행될 때, 제1 동작, 제2 동작, 및 제3 동작 모두 멀티 코어 프로세서에 포함된 제1 코어에 의해 수행될 수도 있고, 제1 동작 및 제2 동작은 멀티 코어 프로세서에 포함된 제1 코어에 의해 수행되고 제3 동작은 멀티 코어 프로세서에 포함된 제2 코어에 의해 수행될 수도 있다.

본 개시의 실시 예들에서, 프로세서는 하나 이상의 프로세서 및 기타 전자 부품들이 집적된 시스템 온 칩(SoC), 단일 코어 프로세서, 멀티 코어 프로세서, 또는 단일 코어 프로세서 또는 멀티 코어 프로세서에 포함된 코어를 의미할 수 있으며, 여기서 코어는 CPU, GPU, APU, MIC, DSP, NPU, 하드웨어 가속기 또는 기계 학습 가속기 등으로 구현될 수 있으나, 본 개시의 실시 예들이 이에 한정되는 것은 아니다.

이하에서는 설명의 편의를 위하여, 하나 이상의 프로세서(180)를 프로세서(180)로 명명하도록 한다.

프로세서(180)는 제1 접촉부(10) 및 제2 접촉부(20) 사이에 오브젝트가 위치하면, 제1 발광 소자(110), 제2 발광 소자(140), 제1 편광 필터(130) 및 제2 편광 필터(160)의 온 또는 오프 상태를 제어하여 제1 카메라(120)를 통해 제1 영상을 획득하고 제2 카메라(150)를 통해 제2 영상을 획득할 수 있다.

그리고, 프로세서(180)는 제1 영상 및 제2 영상에 기초하여 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리의 차이가 기설정된 임계 범위 내로 유지되면서 제1 핑거(1) 및 제2 핑거(2)가 오브젝트를 그립하도록 구동부(170)를 제어할 수 있다.

여기에서, 기설정된 범위는 0을 포함하며, 기설정된 범위의 상한과 하한은 0에 가까운 값일 수 있다.

즉, 제1 거리와 제2 거리 간의 차이가 기설정된 임계 범위 내로 유지되면서 제1 핑거(1)와 제2 핑거(2)가 오브젝트를 그립한다는 것은 제1 거리와 제2 거리가 동일하게(또는 거의 동일하게) 유지되면서 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트가 위치하는 방향으로 이동하여, 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트에 접촉되어 오브젝트를 그립하는 것을 의미할 수 있다.

도 2b는 본 개시의 일 실시 예에 따른 로봇의 세부 구성을 설명하기 위한 블록도이다.

도 2b를 참조하면, 로봇(100)은 제1 발광 소자(110), 제1 카메라(120), 제1 편광 필터(130), 제2 발광 소자(140), 제2 카메라(150), 제2 편광 필터(160), 구동부(170), 하나 이상의 프로세서(180) 및 메모리(190)를 포함할 수 있다. 그러나, 이와 같은 구성은 예시적인 것이다. 본 개시를 실시함에 있어, 이와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음을 물론이다. 도 2b에 도시된 구성 중 도 2a에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명은 생략하도록 한다.

메모리(190)는 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다.

메모리(190)는 데이터 저장 용도에 따라 로봇(100)에 임베디드된 메모리 형태로 구현되거나, 로봇(100)에 탈부착이 가능한 메모리 형태로 구현될 수 있다.

예를 들어, 로봇(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다.

또한, 로봇(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.

메모리(190)는 로봇(100)을 구동시키기 위한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 이 경우, 프로세서(180)는 메모리(190)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 다양한 실시 예에 따른 로봇(100)의 동작을 수행할 수 있다. 또한, 메모리(190)는 로봇(100)의 구동을 위한 프로그램 및 데이터가 저장될 수 있다.

한편, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2) 사이에 오브젝트가 위치하는 경우, 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치한 방향으로 이동시켜 오브젝트를 그립하기 위한 동작을 수행할 수 있다.

이 경우, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2) 사이에 위치한 오브젝트를 검출하고, 제1 핑거(1) 및 제2 핑거(2)가 오브젝트에 접촉되도록 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치한 방향으로 이동시킬 수 있다.

이를 위해, 프로세서(180)는 제1 발광 소자(110), 제2 발광 소자(140), 제1 편광 필터(130) 및 제2 편광 필터(160)의 온 또는 오프 상태를 제어할 수 있는데, 이하에서 보다 구체적으로 설명하도록 한다.

도 4는 본 개시의 일 실시 예에 따른 로봇이 제1 핑거 및 제2 핑거 사이에 위치한 오브젝트를 그립하는 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 프로세서(180)는 제1 발광 소자(110) 및 제2 발광 소자(140)를 오프시키고, 제1 편광 필터(130) 및 제2 편광 필터(160)를 온시킬 수 있다(S410).

그리고, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상 및 제2 카메라(150)를 통해 획득한 제2 영상에서 오브젝트가 검출되는지를 식별할 수 있다(S420).

구체적으로, 프로세서(180)는 제1 카메라(120)를 통해 제1 접촉부(10)가 위치한 방향을 촬영하여 제1 영상을 획득하고, 제2 카메라(150)를 통해 제2 접촉부(20)가 위치한 방향을 촬영하여 제2 영상을 획득할 수 있다.

그리고, 프로세서(180)는 제1 영상 및 제2 영상에서 오브젝트가 검출되는지를 식별할 수 있다.

도 5를 참조하면, 제1 발광 소자(110)는 오프 상태라는 점에서, 제1 카메라(120)는 제1 접촉부(10)를 통해 제1 광 촉각 센서의 외부를 촬영할 수 있다. 또한, 제2 발광 소자(140)는 오프 상태라는 점에서, 제2 카메라(150)는 제2 접촉부(20)를 통해 제2 광 촉각 센서의 외부를 촬영할 수 있다.

또한, 제1 편광 필터(130) 및 제2 편광 필터(160)가 온 상태라는 점에서, 제2 편광 필터(160)를 투과하여 제1 광 촉각 센서로 들어오는 빛은 제1 편광 필터(130)에 의해 차단될 수 있다(도 5의 ①). 이에 따라 제1 카메라(120)가 촬영한 제1 영상(410)에서 제2 접촉부(20)가 촬영된 영역은 검은색 영역(411)일 수 있다. 이와 마찬가지로, 제1 편광 필터(130)를 투과하여 제2 광 촉각 센서로 들어오는 빛은 제2 편광 필터(160)에 의해 차단될 수 있다(도 5의 ②). 이에 따라 제2 카메라(150)가 촬영한 제2 영상(420)에서 제1 접촉부(10)가 촬영된 영역은 검은색 영역(421)일 수 있다.

한편, 프로세서(180)는 제1 영상 및 제2 영상에서 엣지(edge), 코너(corner) 등과 같은 특징(feature)을 추출하고, 추출된 특징들을 이용하여 제1 영상 및 제2 영상에서 오브젝트를 검출할 수 있다. 다만, 이는 일 예이고, 프로세서(180)는 다양한 오브젝트 검출 알고리즘을 이용하여 영상에서 오브젝트를 검출할 수 있다.

도 5를 참조하면, 제1 영상(410) 및 제2 영상(420)은 검은색 영역(411, 421)을 포함할 수 있다. 따라서, 로봇(100) 주변이 밝고, 오브젝트(50)의 색상이 밝은 경우, 제1 영상(410) 및 제2 영상(420) 각각에 포함된 오브젝트(50)는 검은색 영역(411, 412)과 구별될 수 있고, 제1 영상(410) 및 제2 영상(420)에서 오브젝트(50)가 검출될 수 있다.

프로세서(180)는 오브젝트가 검출된 경우(S420-Y), 제1 영상에 기초하여 제1 접촉부(10)와 오브젝트 간의 제1 거리를 식별하고, 제2 영상에 기초하여 제2 접촉부(20)와 오브젝트 간의 제2 거리를 식별할 수 있다(S430).

구체적으로, 프로세서(180)는 제1 영상에서 오브젝트가 포함된 영역의 선명도에 기초하여 제1 접촉부(10)와 오브젝트 간의 제1 거리를 식별하고, 제2 영상에서 오브젝트가 포함된 영역의 선명도에 기초하여 제2 접촉부(20)와 오브젝트 간의 제2 거리를 식별할 수 있다.

즉, 젤(11, 21) 및 코팅층(13, 23)가 투명한 물질이라 하더라도, 완전히 투명하지 않다는 점에서, 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)로부터 멀리 떨어져 위치할수록 제1 영상 및 제2 영상 각각에서 오브젝트가 포함된 영역의 선명도는 낮아질 수 있다.

이에 따라, 프로세서(180)는 제1 영상에서 오브젝트가 포함된 영역의 선명도를 산출하고, 복수의 선명도에 대응되는 복수의 거리 중 산출된 선명도에 대응되는 거리를 제1 접촉부(10)와 오브젝트 간의 제1 거리인 것으로 판단할 수 있다. 또한, 프로세서(180)는 제2 영상에서 오브젝트가 포함된 영역의 선명도를 산출하고, 복수의 선명도에 대응되는 복수의 거리 중 산출된 선명도에 대응되는 거리를 제2 접촉부(20)와 오브젝트 간의 제2 거리인 것으로 판단할 수 있다.

이를 위해, 복수의 선명도 별로 각 선명도에 대응되는 거리에 대한 정보가 메모리(190)에 기저장되어 있을 수 있다. 이 경우, 복수의 선명도 별로 각 선명도에 대응되는 거리는 실험적으로 측정될 수 있다.

한편, 전술한 예에서는 선명도에 기초하여 오브젝트와 접촉부 간의 거리를 결정하는 것으로 설명하였으나, 이 예에 한정되는 것은 아니다.

예를 들어, 프로세서(180)는 삼각측량법을 이용하여 오브젝트의 위치를 식별하고, 식별된 위치를 이용하여 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리를 판단할 수 있다.

구체적으로, 프로세서(180)는 제1 핑거(1)의 자세 및 제2 핑거(2)의 자세에 기초하여 제1 카메라(120)의 위치(예: 좌표)를 기준으로 한 제2 카메라(150)의 위치를 식별할 수 있다. 여기에서, 자세는 기준 위치로부터 핑거가 이동한 거리 및 핑거가 회전한 방향 등에 기초하여 결정될 수 있다.

그리고, 프로세서(180)는 제1 카메라(120)의 촬영 방향 및 제1 카메라(120)를 통해 촬영된 영상에서 오브젝트가 포함된 영역의 위치에 기초하여 제1 카메라(120)를 기준으로 오브젝트가 위치한 각도를 추정할 수 있다. 또한, 프로세서(180)는 제2 카메라(150)의 촬영 방향 및 제2 카메라(150)를 통해 촬영된 영상에서 오브젝트가 포함된 영역의 위치에 기초하여 제2 카메라(150)를 기준으로 오브젝트가 위치한 각도를 추정할 수 있다.

그리고, 프로세서(180)는 제1 카메라(120)의 위치, 제2 카메라(150)의 위치, 제1 카메라(120)를 기준으로 오브젝트가 위치한 각도 및 제2 카메라(150)를 기준으로 오브젝트가 위치한 각도를 이용하여 오브젝트의 위치를 판단할 수 있다. 그리고, 프로세서(180)는 제1 카메라(120)와 제1 접촉부(10) 간의 위치 관계 및 제2 카메라(150)와 제2 접촉부(20) 간의 위치 관계를 고려하여, 제1 카메라(120)의 위치, 제2 카메라(150)의 위치 및 오브젝트의 위치를 바탕으로 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리를 판단할 수 있다.

이후, 프로세서(180)는 제1 거리 및 제2 거리에 기초하여 제1 핑거(1) 및 제2 핑거(2)가 오브젝트를 그립하도록 구동부(170)를 제어할 수 있다(S440).

즉, 프로세서(180)는 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지되면서 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트가 위치한 방향으로 이동하도록 구동부(170)를 제어할 수 있다.

여기에서, 기설정된 범위는 기설정된 값(즉, 0)을 포함하며, 기설정된 범위의 상한과 하한은 0에 가까운 값일 수 있다.

즉, 제1 거리와 제2 거리 간의 차이가 기설정된 범위 내로 유지되면서 제1 핑거(1)와 제2 핑거(2)가 이동된다는 것은 제1 거리와 제2 거리가 동일하게(또는 거의 동일하게) 유지되면서 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트가 위치하는 방향으로 이동하여, 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트에 접촉되어 오브젝트를 그립하는 것을 의미할 수 있다.

구체적으로, 프로세서(180)는 제1 거리와 제2 거리가 동일한(또는 거의 동일한) 경우, 제1 거리 및 제2 거리 간의 거리를 기설정된 범위 내로 유지시키기 위해 제1 핑거(1)와 제2 핑거(2)를 동일한(또는 거의 동일한) 속도로 이동시킬 수 있다.

또한, 프로세서(180)는 제1 거리가 제2 거리보다 큰 경우, 제1 핑거(1)를 제2 핑거(2)보다 상대적으로 빠른 속도로 이동시킬 수 있다. 그리고, 프로세서(180)는 제1 거리와 제2 거리가 동일해지면(또는 거의 동일해지면), 제1 거리 및 제2 거리 간의 차이를 기설정된 범위 내로 유지시키기 위해 제1 핑거(1)와 제2 핑거(2)를 동일한(또는 거의 동일한) 속도로 이동시킬 수 있다.

그리고, 프로세서(180)는 제2 거리가 제1 거리보다 큰 경우, 제2 핑거(2)를 제1 핑거(1)보다 상대적으로 빠른 속도로 이동시킬 수 있다. 그리고, 프로세서(180)는 제1 거리와 제2 거리가 동일해지면(또는 거의 동일해지면), 제1 거리 및 제2 거리 간의 차이를 기설정된 범위 내로 유지시키기 위해 제1 핑거(1)와 제2 핑거(2)를 동일한(또는 거의 동일한) 속도로 이동시킬 수 있다.

이와 같이, 제1 핑거(1) 및 제2 핑거(2)가 이동되면, 제1 핑거(1)와 제2 핑거(2)가 오브젝트에 동시에(또는 거의 동시에) 접촉될 수 있고, 이에 따라, 제1 핑거(1)와 제2 핑거(2)를 통해 보다 안정적으로 오브젝트를 그립할 수 있게 된다.

예를 들어, 도 6을 참조하면, 제1 핑거(1)는 오브젝트(50)가 위치한 방향으로 이동하고(도 6의 ①), 제2 핑거(2)는 오브젝트(50)가 위치한 방향으로 이동할 수 있다. 이때, 제1 접촉부(20)와 오브젝트(50) 간의 제1 거리(d1)와 제2 접촉부(20)와 오브젝트(50) 간의 제2 거리(d2)는 서로 동일하게 유지될 수 있다.

한편, 프로세서(180)는 제1 카메라(120)를 통해 촬영된 제1 영상에서 오브젝트가 기설정된 영역에 위치하도록 제1 핑거(1)를 이동시킬 수 있다. 또한, 프로세서(180)는 제2 카메라(150)를 통해 촬영된 제2 영상에서 오브젝트가 기설정된 영역에 위치하도록 제2 핑거(1)를 이동시킬 수 있다.

이와 같이, 오브젝트가 제1 영상 및 제2 영상 각각의 기설정된 영역에 위치하면, 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치한 방향으로 이동하여 오브젝트를 그립하였을 때, 오브젝트가 제1 접촉부(10)의 중앙 영역과 제2 접촉부(20)의 중앙 영역에 각각 접촉될 수 있다.

예를 들어, 도 7의 701과 같이, 제1 카메라(120)을 통해 촬영된 제1 영상(710)의 좌측 부분에서 오브젝트(70)가 검출되고, 제2 카메라(150)을 통해 촬영된 제2 영상(720)의 우측 부분에서 오브젝트(70)가 검출된 경우를 가정한다. 이 경우, 프로세서(180)는 x 축의 (+) 방향으로 제1 핑거(1) 및 제2 핑거(2)를 이동시키도록 구동부(170)를 제어할 수 있다.

그리고, 프로세서(180)는 제1 카메라(120)을 통해 촬영된 제1 영상 및 제2 카메라(150)을 통해 촬영된 제2 영상에서 오브젝트를 검출하고, 검출된 오브젝트의 위치를 식별할 수 있다. 이 경우, 도 7의 702와 같이, 프로세서(180)는 제1 영상(710)의 기설정된 영역(711)에 오브젝트(70)가 위치하고, 제2 영상(720)의 기설정된 영역(721)에 오브젝트(70)가 위치하는 경우, 제1 핑거(1) 및 제2 핑거(2)가 정지하도록 구동부(170)를 제어할 수 있다. 그리고, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치하는 방향으로 이동시킬 수 있다.

이와 같이, 제1 핑거(1) 및 제2 핑거(2)가 이동되면, 오브젝트가 제1 접촉부(10)의 중앙 영역과 제2 접촉부(10)의 중앙 영역에 접촉될 수 있고, 이에 따라, 제1핑거(1)와 제2 핑거(2)를 통해 보다 안정적으로 오브젝트를 그립할 수 있게 된다.

다시 도 4를 참조하면, 프로세서(180)는 제1 발광 소자(110) 및 제2 발광 소자(140)를 온 시킬 수 있다(S450). 이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)는 온 상태일 수 있다.

이와 같이, 제1 발광 소자(110) 및 제2 발광 소자(140)를 온 시키는 것은 제1 카메라(120)를 이용하여 제1 접촉부(10)의 복수의 마커(12)를 촬영(또는 선명하게 촬영)하고, 제2 카메라(150)를 이용하여 제2 접촉부(10)의 복수의 마커(22)를 촬영(또는 선명하게 촬영)하기 위함이다.

그리고, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에 포함된 복수의 마커(12)에 기초하여 오브젝트가 제1 접촉부(10)에 접촉되었는지를 식별하고, 제2 카메라(150)를 통해 획득한 제2 영상에 포함된 복수의 마커(22)에 기초하여 오브젝트가 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다(S460).

구체적으로, 제1 핑거(1) 및 제2 핑거(2)의 이동에 따라 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)에 접촉하게 되면, 오브젝트에 의해 제1 접촉부(10) 및 제2 접촉부(20)에 힘이 가해질 수 있다. 제1 접촉부(10) 및 제2 접촉부(20)는 젤로 형성된다는 점에서, 가해진 힘에 의해 제1 접촉부(10) 및 제2 접촉부(20)는 변형될 수 있고, 제1 접촉부(10) 및 제2 접촉부(20) 각각에 포함된 복수의 마커 중 적어도 하나가 이동될 수 있다.

따라서, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에서 복수의 마커(12) 중 적어도 하나의 마커가 이동하였는지를 식별하여, 오브젝트가 제1 접촉부(10)에 접촉되었는지를 식별할 수 있다. 또한, 프로세서(180)는 제2 카메라(150)를 통해 획득한 제2 영상에서 복수의 마커(22) 중 적어도 하나의 마커가 이동하였는지를 식별하여, 오브젝트가 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다.

도 8은 본 개시의 일 실시 예에 따라 접촉부에 포함된 복수의 마커를 이용하여 오브젝트가 접촉부에 접촉되었는지를 식별하는 방법의 일 예를 설명하기 위한 도면이다.

도 8과 같이, 오브젝트(810)에 의해 접촉부(820)에 수직한 방향의 힘이 가해지는 경우, 접촉부(820)의 변형에 따라 접촉부(820)에 포함된 복수의 마커(821 내지 829)가 이동될 수 있다.

이 경우, 수직한 방향의 힘의 중심점에 배치된 마커는 힘이 가해지는 방향에 따라 뒤쪽으로 이동되고, 주위의 마커들은 중심점을 향해 이동될 수 있다.

예를 들어, 도 8의 화살표 방향과 같이, 복수의 마커(821 내지 829)가 이동될 수 있다. 이 경우, 카메라(830)는 오브젝트(810)의 반대편에서 접촉부(820)를 촬영한다는 점에서, 촬영된 영상에서 중심점에 배치된 제1 마커(821)는 원래보다 크기가 증가할 수 있고, 제2 내지 제8 마커(822 내지 829)는 위치가 이동될 수 있다. 프로세서(180)는 이러한 마커의 이동을 감지하여, 오브젝트가 접촉부에 접촉되었는지를 식별할 수 있다.

한편, 프로세서(180)는 오브젝트가 제1 접촉부(10)에 접촉되지 않고, 오브젝트가 제2 접촉부(20)에 접촉되지 않은 것으로 식별되면, 제1 발광 소자(110) 및 제2 발광 소자(140)를 오프시킬 수 있다. 이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)는 온 상태를 유지할 수 있다.

그리고, 프로세서(180)는 S430, S440, S450, S460 단계를 반복하여 수행할 수 있다.

이와 같이, 프로세서(180)는 제1 발광 소자(110) 및 제2 발광 소자(140)를 온 및 오프시키면서, 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치한 방향으로 이동시키고, 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)가 접촉되었는지를 식별할 수 있다.

구체적으로, 프로세서(180)는 제1 발광 소자(110) 및 제2 발광 소자(140)가 온 상태인 동안 제1 카메라(120) 및 제2 카메라(150)를 통해 획득된 제1 영상 및 제2 영상에 기초하여 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리를 판단하고, 제1 거리 및 제2 거리 간의 차이가 기설정된 범위 내로 유지되면서 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트가 위치한 방향으로 이동하도록 구동부(170)를 제어할 수 있다.

그리고, 프로세서(180)는 제1 핑거(1)와 제2 핑거(2)가 이동하는 동안 제1 발광 소자(110) 및 제2 발광 소자(140)를 오프시키고, 제1 발광 소자(110) 및 제2 발광 소자(140)가 오프 상태인 동안 제1 카메라(120) 및 제2 카메라(150)를 통해 획득된 제1 영상 및 제2 영상에 기초하여 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)에 각각 접촉되었는지를 식별할 수 있다.

이 경우, 프로세서(180)는 제1 접촉부(10) 및 제2 접촉부(20)에 접촉된 것으로 식별될 때까지, 전술한 동작을 반복적으로 수행할 수 있다.

전술한 바와 같이, 제1 발광 소자(110) 및 제2 발광 소자(140)는 온 및 오프될 수 있다. 이 경우, 프로세서(180)는 제1 발광 소자(110) 및 제2 발광 소자(140)를 제1 시간 구간 동안 오프시키고, 제1 발광 소자(110) 및 제2 발광 소자(140)를 제2 시간 구간 동안 온시킬 수 있다. 여기에서, 제1 시간 구간과 제2 시간 구간은 동일한 길이를 가질 수 있다.

한편, 프로세서(180)는 제1 접촉부(20)와 오브젝트 간의 제1 거리와 제2 접촉부(20)와 오브젝트 간의 제2 거리가 기설정된 거리 이하인 경우, 제1 발광 소자(110) 및 제2 발광 소자(140)를 제1 시간 구간 동안 오프시키고, 제1 발광 소자(110) 및 제2 발광 소자(140)를 제1 시간 구간 보다 긴 제2 시간 구간 동안 온 시킬 수 있다.

즉, 프로세서(180)는 제1 거리 및 제2 거리가 기설정된 거리 이하인 경우, 제2 시간 구간의 길이를 제1 시간 구간의 길이보다 길게 설정할 수 있다. 구체적으로, 오브젝트가 제1 핑거(1) 및 제2 핑거(2)에 근접하게 되면, 짧은 시간 이내에 오브젝트가 제1 접촉부(20)와 제2 접촉부(20)에 접촉될 수 있다. 따라서, 제1 거리 및 제2 거리가 각각 기설정된 거리 이하인 경우, 오브젝트의 접촉 여부를 보다 효과적으로 식별하기 위해, 제2 시간 구간의 길이를 제1 시간 구간의 길이보다 길게 설정하게 된다.

한편, 전술한 예에서는 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리에 기초하여 제1 핑거(1) 및 제2 핑거(2)를 구동하는 것으로 설명하였다.

다만, 이는 일 예이고, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에서 검출된 오브젝트 및 제2 카메라(150)를 통해 획득한 제2 영상에서 검출된 오브젝트에 기초하여 제1 핑거(1) 및 제2 핑거(2)를 구동하도록 구동부(170)를 제어할 수도 있다.

구체적으로, 프로세서(180)는 제1 영상에서 검출된 오브젝트의 사이즈와 제2 영상에서 검출된 오브젝트의 사이즈가 동일하게(또는 거의 동일하게) 유지되도록 제1 핑거(1)와 제2 핑거(2)를 이동시킬 수 있다. 여기에서, 제1 영상에서 검출된 오브젝트의 사이즈 및 제2 영상에서 검출된 오브젝트의 사이즈가 동일하다는 것은 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리가 동일하다는 것을 의미할 수 있다.

또한, 전술한 예에서는 제1 발광 소자(110)와 제2 발광 소자(140)의 온 및 오프를 반복적으로 수행하면서, 오브젝트가 제1 접촉부(20)와 제2 접촉부(20)에 접촉되었는지를 식별하는 것으로 설명하였다.

다만, 이는 일 예이고, 프로세서(180)는 제1 발광 소자(110)와 제2 발광 소자(140)가 온 상태인 동안 제1 접촉부(20)와 오브젝트 간의 제1 거리와 제2 접촉부(20)와 오브젝트 간의 제2 거리를 식별하고, 식별된 제1 거리 및 제2 거리가 기설정된 거리 이하가 되면, 제1 발광 소자(110)와 제2 발광 소자(140)를 오프시킬 수도 있다. 그리고, 프로세서(180)는 제1 발광 소자(110)와 제2 발광 소자(140)가 오프 상태인 동안 제1 카메라(120)를 통해 획득한 제1 영상 및 제2 카메라(150)를 통해 획득한 제2 영상을 이용하여 오브젝트가 제1 접촉부(20)와 제2 접촉부(20)에 접촉되었는지를 식별할 수도 있다.

한편, 도 4의 S420 단계에서, 제1 영상 및 제2 영상에서 오브젝트가 검출되지 않을 수 있다.

예를 들어, 제1 편광 필터(130) 및 제2 편광 필터(160)가 온 상태인 경우, 제1 영상 및 제2 영상 각각에는 검은색 영역이 포함될 수 있다. 여기에서, 로봇(100) 주변이 어둡거나, 오브젝트의 색상이 어두운 경우, 제1 영상 및 제2 영상 각각에 포함된 검은색 영역으로 인해 제1 영상 및 제2 영상 각각에서 오브젝트가 검출되지 않을 수 있다.

도 9를 참조하면, 프로세서(180)는 제1 영상 및 제2 영상에서 오브젝트가 검출되지 않는 경우(S420-N), 제2 발광 소자(140)를 온 시키고, 제1 편광 필터(130) 및 제2 편광 필터(160)를 오프시킬 수 있다(S910). 이 경우, 제1 발광 소자(110)는 오프 상태일 수 있다.

예를 들어, 도 10a를 참조하면, 제1 발광 소자(110)가 오프된 상태라는 점에서, 제1 카메라(120)는 제1 접촉부(10)를 통해 제1 광 촉각 센서의 외부를 촬영할 수 있다.

이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)가 오프 상태라는 점에서, 제2 발광 소자(140)에서 출력되어 제2 편광 필터(160)를 투과한 빛은 제1 편광 필터(130)에 의해 차단되지 않으며, 제2 발광 소자(140)에서 출력된 빛은 오브젝트(60)에 의해 반사되어 제1 접촉부(10)를 통해 제1 광 촉각 센서 내부로 들어갈 수 있다(도 10a의 ①). 즉, 제2 발광 소자(140)에서 출력된 빛은 제1 카메라(120)에 대한 외부 조명의 역할을 할 수 있게 된다. 이에 따라, 로봇(100)이 위치하는 공간이 어둡거나, 오브젝트가 어두운 색상이라도, 프로세서(180)는 제1 카메라(120)에 의해 촬영된 제1 영상에서 오브젝트를 검출할 수 있다.

그리고, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에서 오브젝트가 검출되면, 제1 영상에 기초하여 제1 거리를 식별할 수 있다(S920). 한편, 영상에서 오브젝트를 검출하는 방법 및 영상에 기초하여 거리를 식별하는 방법은 전술한 바와 동일하다.

이어서, 프로세서(180)는 제1 발광 소자(110)를 온시키고, 제2 발광 소자(140)를 오프시킬 수 있다(S930). 이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)는 오프 상태일 수 있다.

예를 들어, 도 10b를 참조하면, 제2 발광 소자(140)가 오프된 상태라는 점에서, 제2 카메라(150)는 제2 접촉부(20)를 통해 제2 광 촉각 센서의 외부를 촬영할 수 있다.

이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)가 오프 상태라는 점에서, 제1 발광 소자(110)에서 출력되어 제1 편광 필터(130)를 투과한 빛은 제2 편광 필터(160)에 의해 차단되지 않으며, 제1 발광 소자(110)에서 출력된 빛은 오브젝트(60)에 의해 반사되어 제2 접촉부(20)를 통해 제2 광 촉각 센서 내부로 들어갈 수 있다(도 10b의 ②). 즉, 제1 발광 소자(110)에서 출력된 빛은 제2 카메라(150)에 대한 외부 조명의 역할을 할 수 있게 된다. 이에 따라, 로봇(100)이 위치하는 공간이 어둡거나, 오브젝트가 어두운 색상이라도, 프로세서(180)는 제2 카메라(120)에 의해 촬영된 제2 영상에서 오브젝트를 검출할 수 있다.

그리고, 프로세서(180)는 제2 카메라(150)를 통해 획득한 제2 영상에서 오브젝트가 검출되면, 제2 영상에 기초하여 제2 거리를 식별할 수 있다(S940). 한편, 영상에서 오브젝트를 검출하는 방법 및 영상에 기초하여 거리를 식별하는 방법은 전술한 바와 동일하다.

그리고, 프로세서(180)는 제1 거리 및 제2 거리에 기초하여 제1 핑거(1) 및 제2 핑거(2)가 오브젝트를 그립하도록 구동부(170)를 제어할 수 있다(S950).

즉, 프로세서(180)는 제1 접촉부(10)와 오브젝트 간의 제1 거리 및 제2 접촉부(20)와 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지되면서 제1 핑거(1)와 제2 핑거(2)가 각각 오브젝트가 위치한 방향으로 이동하도록 구동부(180)를 제어할 수 있다. 또한, 프로세서(180)는 제1 카메라(120)를 통해 촬영된 제1 영상에서 오브젝트가 기설정된 영역에 위치하도록 제1 핑거(1)를 이동시킬 수 있다. 또한, 프로세서(180)는 제2 카메라(150)를 통해 촬영된 제2 영상에서 오브젝트가 기설정된 영역에 위치하도록 제2 핑거(1)를 이동시킬 수 있다.

한편, 제1 핑거(1) 및 제2 핑거(2)를 구동하는 방법은 전술한 바와 동일하다.

그리고, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제1 접촉부(10)에 접촉되었는지를 식별하고, 제2 카메라(150)를 통해 획득한 제2 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다(S960).

구체적으로, 프로세서(180)는 제1 발광 소자(110)가 온 상태이고, 제2 발광 소자(140)가 오프 상태인 동안 제1 카메라(120)를 통해 제1 영상을 획득할 수 있다. 그리고, 프로세서(180)는 제1 영상에 포함된 복수의 마커(12) 중 적어도 하나가 이동되었는지를 식별하여, 오브젝트가 제1 접촉부(10)에 접촉되었는지를 식별할 수 있다. 즉, 제1 발광 소자(110)가 온 상태인 경우, 제1 카메라(120)를 통해 제1 접촉부(10)의 복수의 마커(12)가 촬영(또는 선명하게 촬영)될 수 있다는 점에서, 프로세서(180)는 제1 발광 소자(110)가 온 상태인 동안 제1 카메라(120)를 통해 복수의 마커(12)가 촬영된 제1 영상을 획득할 수 있다.

또한, 프로세서(180)는 제1 발광 소자(110)가 오프 상태이고, 제2 발광 소자(140)가 온 상태인 동안 제2 카메라(150)를 통해 제2 영상을 획득할 수 있다. 그리고, 프로세서(180)는 제2 영상에 포함된 복수의 마커(22) 중 적어도 하나가 이동되었는지를 식별하여, 오브젝트가 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다. 즉, 제2 발광 소자(140)가 온 상태인 경우, 제2 카메라(150)를 통해 제2 접촉부(20)의 복수의 마커(22)가 촬영(또는 선명하게 촬영)될 수 있다는 점에서, 프로세서(180)는 제2 발광 소자(140)가 온 상태인 동안 제2 카메라(150)를 통해 복수의 마커(22)가 촬영된 제2 영상을 획득할 수 있다. 한편, 오브젝트가 접촉부에 접촉하였는지를 판단하는 방법은 전술한 바와 동일하다.

한편, 프로세서(180)는 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)에 접촉되지 않은 것으로 식별되면, 제1 발광 소자(110) 및 제2 발광 소자(140)를 교대로 온시키면서, 전술한 동작을 반복하여 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다.

이와 같이, 프로세서(180)는 제1 접촉부(10) 및 제2 접촉부(20)에 접촉된 것으로 식별될 때까지, 전술한 동작을 반복적으로 수행할 수 있다.

한편, 전술한 예에서 프로세서(180)는 제1 카메라(120) 및 제2 카메라(150)를 통해 일정한 시간 구간 동안 획득한 제1 영상 및 제2 영상에서 오브젝트가 검출되지 않는 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)의 온 시킬 수 있다. 이후, 프로세서(180)는 도 4에서 설명한 방법을 이용하여 오브젝트를 검출할 수 있다.

한편, 오브젝트의 사이즈가 광 촉각 센서의 센싱 가능 범위(예: 제1 및 제2 접촉부(10, 20)의 크기) 보다 큰 경우, 도 4의 S420 단계에서 오브젝트가 검출되지 않을 수 있다.

이 경우에도, 프로세서(180)는 도 9에서 설명한 바와 동일하게 제1 편광 필터(130) 및 제2 편광 필터(160)를 오프 상태로 유지하면서, 제1 발광 소자(110) 및 제2 발광 소자(140)를 교대로 온시킬 수 있다.

그리고, 프로세서(180)는 광 촉각 센서에서 출력되는 빛에 기초하여 제1 핑거(1) 및 제2 핑거(2)가 오브젝트를 그립하도록 구동부(170)를 제어할 수 있다.

구체적으로, 제1 발광 소자(110) 및 제2 발광 소자(140)가 교대로 온된다는 점에서, 이들 발광 소자 중 하나의 발광 소자가 온 상태인 동안 나머지 발광 소자는 오프 상태일 수 있다.

이 경우, 오프 상태인 발광 소자가 배치된 광 촉각 센서의 카메라에서 반대편 광 촉각 센서를 바라봤을 때, 오브젝트에 의해 접촉부가 전부 가려지는 경우, 카메라는 반대편 광 촉각 센서의 발광 소자에서 출력되는 빛을 수신할 수 없다. 또한, 오브젝트에 의해 접촉부의 일부가 가려지는 경우, 반대편 광 촉각 센서의 발광 소자에서 출력된 빛 중 일부는 오브젝트에 의해 차단되지만, 일부는 카메라의 이미지 센서에서 수신될 수 있다.

여기에서, 오브젝트에 의해 가려지는 접촉부의 영역은 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치하는 방향으로 이동하였을 때, 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)에 접촉되는 영역이다. 로봇(100)은 접촉되는 영역을 통해 오브젝트를 그립한다는 점에서, 접촉되는 영역의 사이즈가 작으면, 로봇(100)은 제1 접촉부(10) 및 제2 접촉부(20)를 이용하여 오브젝트를 안정적으로 그립할 수 없게 된다.

따라서, 프로세서(180)는 오프 상태인 발광 소자가 배치된 광 촉각 센서의 카메라에 의해 촬영된 영상에서 밝기 값이 기설정된 값 이상인 영역을 식별할 수 있다. 여기에서, 밝기 값이 기설정된 값 이상인 영역은 오브젝트에 의해 가려지지 않는 접촉부의 영역에 대응될 수 있다.

그리고, 프로세서(180)는 카메라를 통해 촬영된 영상에서 밝기 값이 기설정된 값 이상인 영역의 비율이 기설정된 값 이하가 되도록 구동부(170)를 통해 제1 핑거(1) 및 제2 핑거(2)를 이동시킬 수 있다.

일 예에 따르면, 도 11의 1101을 참조하면, 제1 발광 소자(110)가 오프된 상태라는 점에서, 제1 카메라(120)는 제1 접촉부(10)를 통해 제1 광 촉각 센서의 외부를 촬영할 수 있다.

이 경우, 제1 편광 필터(130) 및 제2 편광 필터(160)가 오프 상태라는 점에서, 제2 발광 소자(140)에서 출력되어 제2 편광 필터(160)를 투과한 빛은 제1 편광 필터(130)에 의해 차단되지 않는다. 다만, 제1 접촉부(10)의 일부가 오브젝트(70)에 의해 가려진다는 점에서, 제2 발광 소자(140)에서 출력된 빛 중 일부가 오브젝트(70)에 의해 차단되고, 일부는 제1 카메라(120)에서 수신될 수 있다(도 11의 ①).

한편, 프로세서(180)는 제1 카메라(120)을 통해 촬영된 제1 영상(1110)에서 밝기 값이 기설정된 값 이상인 영역(1120)을 식별하고, 식별된 영역(1120)이 제1 영상(1110)에서 차지하는 비율을 식별할 수 있다. 그리고, 프로세서(180)는 식별된 비율이 기설정된 값 이상인 경우, 밝기 값이 기설정된 값 이상인 영역의 비율이 기설정된 값 이하가 되도록 제1 핑거(1) 및 제2 핑거(2)를 이동시킬 수 있다.

이 경우, 프로세서(180)는 제1 영상(1110)에서 영역(1120)의 위치에 기초하여 제1 핑거(1) 및 제2 핑거(2)를 이동시킬 수 있다.

예를 들어, 도 11의 ②,③과 같이, 프로세서(180)는 제1 영상(1110)에서 영역(1120)이 위치한 방향의 반대 방향(즉, x 축의 (+) 방향)으로 제1 핑거(1) 및 제2 핑거(2)를 이동시키도록 구동부(170)를 제어할 수 있다.

그리고, 도 11의 1102과 같이, 프로세서(180)는 제1 영상(1130)에서 밝기 값이 기설정된 값 이상인 영역의 비율이 기설정된 값 이하되면, 제1 핑거(1) 및 제2 핑거(2)가 정지되도록 구동부(170)를 제어할 수 있다. 예를 들어, 프로세서(180)는 제1 영상(1130)에서 밝기 값이 기설정된 값 이상인 영역이 식별되지 않는 경우, 제1 핑거(1) 및 제2 핑거(2)를 정지시킬 수 있다. 그리고, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치한 방향으로 이동시켜 오브젝트를 그립하도록 구동부(170)를 제어할 수 있다(도 11의 ④,⑤).

한편, 전술한 실시 예들에서, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2)를 각각 오브젝트가 위치한 방향으로 이동시킬 수 있다.

그리고, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제1 접촉부(10)에 접촉되었는지를 식별하고, 제2 카메라(150)를 통해 획득한 제2 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제2 접촉부(20)에 접촉되었는지를 식별할 수 있다.

이 경우, 도 12와 같이, 프로세서(180)는 오브젝트가 제1 접촉부(10) 및 제2 접촉부(20)에 접촉한 것으로 식별되면, 제1 발광 소자(110), 제2 발광 소자(140), 제1 편광 필터(130) 및 제2 편광 필터(160)를 온시킬 수 있다. 이 경우, 프로세서(180)는 이들 구성요소 중 현재 온 상태에 있는 구성요소는 온 상태를 유지하고, 현재 오프 상태에 있는 구성요소는 온 시킬 수 있다.

제1 발광 소자(110)를 온 시키는 것은 제1 카메라(120)를 통해 제1 접촉부(10)의 복수의 마커(12)를 촬영하기 위한 것이고, 제2 발광 소자(140)를 온 시키는 것은 제2 카메라(150)를 통해 제2 접촉부(20)의 복수의 마커(22)를 촬영하기 위한 것이다. 또한, 제1 편광 필터(130) 및 제2 편광 필터(160)를 온 시키는 것은 제1 발광 소자(110)에서 출력된 빛에 의해 제2 카메라(150)가 간섭을 받는 것을 방지하고, 제2 발광 소자(140)에서 출력된 빛에 의해 제1 카메라(120)가 간섭을 받는 것을 방지하기 위함이다.

한편, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상에 기초하여 제1 접촉부(10)의 복수의 마커(12) 중 적어도 하나의 이동을 식별하고, 제2 카메라(150)를 통해 획득한 제2 영상에 기초하여 제2 접촉부(12)의 복수의 마커(22) 중 적어도 하나의 이동을 식별할 수 있다.

구체적으로, 프로세서(180)는 제1 영상에 기초하여 제1 접촉부(10)의 복수의 마커(12) 중에서 위치가 이동된 적어도 하나의 마커를 식별하고, 해당 마커가 이동한 방향 및 이동 거리 등을 식별할 수 있다. 또한, 프로세서(180)는 제2 영상에 기초하여 제2 접촉부(20)의 복수의 마커(22) 중에서 위치가 이동된 적어도 하나의 마커를 식별하고, 해당 마커가 이동한 방향 및 이동 거리 등을 식별할 수 있다.

그리고, 프로세서(180)는 위치가 이동된 마커에 기초하여 제1 접촉부(10) 및 제2 접촉부(20)에 작용하는 힘의 세기를 식별할 수 있다.

이를 위해, 메모리(190)에는 마커의 이동 방향 및 이동 거리에 따라 제1 접촉부(10) 및 제2 접촉부(20)에 작용하는 힘의 세기에 대한 정보가 기저장되어 있을 수 있다. 이 경우, 힘의 세기에 대한 정보는 실험적으로 측정될 수 있다.

이에 따라, 프로세서(180)는 메모리(190)에 저장된 정보를 이용하여 제1 접촉부(10) 및 제2 접촉부(20)에 작용하는 힘의 세기를 판단할 수 있다.

한편, 일 실시 예에 따르면, 로봇(100)은 그립할 오브젝트를 감지하고, 오브젝트로 이동할 수 있는데, 이때, 로봇(100)은 로봇(100)이 그립할 오브젝트를 감지하기 위해, 하나의 광 촉각 센서에 마련된 발광 소자를 다른 광 촉각 센서에 대한 외부 조명으로 이용할 수 있다.

구체적으로, 프로세서(180)는 제1 핑거(1)가 제1 방향으로 일정한 각도만큼 회전되도록 구동부(170)를 제어하고, 제2 핑거(2)가 제1 방향과 반대인 제2 방향으로 일정한 각도만큼 회전되도록 구동부(170)를 제어할 수 있다.

여기에서, 제1 방향은 반시계 방향이고, 제2 방향은 시계 방향일 수 있다. 또는, 제1 방향은 시계 방향이고, 제2 방향은 반시계 방향일 수 있다.

이에 따라, 제1 핑거(1) 및 제2 핑거(2) 사이의 각도가 기설정된 각도가 되도록 제1 핑거(1) 및 제2 핑거(2)가 배치될 수 있다. 이 경우, 기설정된 각도는 90도 이상일 수 있다.

그리고, 도 13의 1301를 참조하면, 프로세서(180)는 제1 발광 소자(110)를 오프시키고, 제1 발광 소자(110)를 온 시킬 수 있다. 또한, 프로세서(180)는 제1 편광 필터(130) 및 제2 편광 필터(160)를 오프시킬 수 있다.

이 경우, 제1 발광 소자(110)가 오프된 상태라는 점에서, 제1 카메라(120)는 제1 접촉부(10)를 통해 제1 광 촉각 센서의 외부를 촬영할 수 있다.

또한, 제1 편광 필터(130) 및 제2 편광 필터(160)가 오프 상태라는 점에서, 제2 발광 소자(140)에서 출력되어 제2 편광 필터(160)를 투과한 빛은 제1 편광 필터(130)에 의해 차단되지 않으며, 제2 발광 소자(140)에서 출력된 빛은 오브젝트(80)에 의해 반사되어 제1 접촉부(10)를 통해 제1 광 촉각 센서 내부로 들어갈 수 있다(도 13의 1301의 ①). 즉, 제2 발광 소자(140)에서 출력된 빛은 제1 카메라(120)에 대한 외부 조명의 역할을 할 수 있게 된다. 그리고, 프로세서(180)는 제1 카메라(120)를 통해 제1 영상을 촬영할 수 있다.

이후, 도 13의 1302를 참조하면, 프로세서(180)는 제1 발광 소자(110)를 온시키고, 제2 발광 소자(140)를 오프시킬 수 있다. 제1 편광 필터(130) 및 제2 편광 필터(160)는 오프 상태일 수 있다.

이 경우, 제2 발광 소자(140)가 오프된 상태라는 점에서, 제2 카메라(150)는 제2 접촉부(20)를 통해 제2 광 촉각 센서의 외부를 촬영할 수 있다.

또한, 제1 편광 필터(130) 및 제2 편광 필터(160)가 오프 상태라는 점에서, 제1 발광 소자(110)에서 출력되어 제1 편광 필터(130)를 투과한 빛은 제2 편광 필터(160)에 의해 차단되지 않으며, 제1 발광 소자(110)에서 출력된 빛은 오브젝트(80)에 의해 반사되어 제2 접촉부(20)를 통해 제2 광 촉각 센서 내부로 들어갈 수 있다(도 13의 1302의 ②). 즉, 제1 발광 소자(110)에서 출력된 빛은 제2 카메라(150)에 대한 외부 조명의 역할을 할 수 있게 된다. 그리고, 프로세서(180)는 제2 카메라(150)를 통해 제2 영상을 촬영할 수 있다.

한편, 프로세서(180)는 제1 카메라(120)를 통해 획득한 제1 영상 및 제2 카메라(150)를 통해 획득한 제2 영상에서 오브젝트를 검출할 수 있다. 이 경우, 검출된 오브젝트는 로봇(100)이 그립할 타겟 오브젝트일 수 있다.

그리고, 프로세서(180)는 오브젝트의 위치에 기초하여 제1 핑거(1) 및 제2 핑거(2)를 이동시키도록 구동부(170)를 제어할 수 있다. 구체적으로, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2) 사이에 오브젝트가 위치하도록 제1 핑거(1) 및 제2 핑거(2)를 이동시킬 수 있다.

이와 같이, 로봇(100)은 제1 핑거(1) 및 제2 핑거(2) 사이에 오브젝트가 위치하게 되면, 전술한 바와 같은 그립 동작을 수행하여 제1 핑거(1) 및 제2 핑거(2)를 이용하여 오브젝트를 그립할 수 있다.

이상과 같은 본 개시에 따르면, 제1 핑거(1)와 제2 핑거(2)를 이용하여 오브젝트를 그립하기 위해, 제1 핑거(1)와 제2 핑거(2)가 서로 마주보도록 배치되어도, 반대편 핑거에 배치된 광 촉각 센서에서 출력되는 빛에 의한 간섭 없이 제1 핑거(1)와 제2 핑거(2) 사이에 오브젝트를 감지하고, 그에 따라 오브젝트를 그립할 수 있게 된다.

한편, 전술한 예에서는 제1 핑거(1) 및 제2 핑거(2) 사이에 오브젝트를 위치시키기 위해 제1 핑거(1) 및 제2 핑거(2)를 이동시키는 것으로 설명하였다. 다만, 이는 일 예이고, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2)가 구비된 로봇(100)을 이동시킬 수 있다. 이를 위해, 로봇(100)은 복수의 바퀴(미도시) 및 복수의 바퀴를 구동하기 위한 구동부(미도시)를 포함할 수 있다. 또는, 프로세서(180)는 제1 핑거(1) 및 제2 핑거(2)가 구비된 로봇(100)의 핸드를 이동시킬 수 있다. 이를 위해, 로봇(100)은 핸드를 구동하기 위한 구동부(미도시)를 포함할 수 있다. 이들 경우, 구동부(미도시)는 모터, 액츄에이터, 기어 등을 포함할 수 있다.

도 14는 본 개시의 일 실시 예에 따른 로봇의 오브젝트 그립 방법을 설명하기 위한 흐름도이다.

여기에서, 로봇은 제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함할 수 있다.

그리고, 로봇은 제1 핑거에 마련된 제1 발광 소자, 제1 핑거에 마련되며, 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라, 인가되는 전압에 따라 제1 발광 소자에서 출력된 광 또는 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 제1 접촉부로 제공하는 제1 편광 필터, 제2 핑거에 마련된 제2 발광 소자, 제2 핑거에 마련되며, 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라 및 인가되는 전압에 따라 제2 발광 소자에서 출력된 광 또는 제2 발광 소자에서 출력된 광 중 제1 방향과 수직한 제2 방향의 편광을 통과시켜 제2 접촉부로 제공하는 제2 편광 필터를 포함할 수 있다.

한편, 오브젝트 그립 방법은 제1 접촉부 및 제2 접촉부 사이에 오브젝트가 위치하면, 제1 발광 소자, 제2 발광 소자, 제1 편광 필터 및 제2 편광 필터의 온 또는 오프 상태를 제어하여 제1 카메라를 통해 제1 영상을 획득하고, 제2 카메라를 통해 제2 영상을 획득한다(S1410).

그리고, 제1 영상 및 제2 영상에 기초하여 제1 접촉부와 오브젝트 간의 제1 거리와 제2 접촉부와 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지하면서 제1 핑거 및 제2 핑거를 오브젝트가 위치한 방향으로 이동시킨다(S1420).

여기에서, 제1 접촉부는 복수의 마커를 포함하는 제1 젤 및 상기 제1 젤 상에 형성된 제1 코팅층을 포함할 수 있다. 또한, 제2 접촉부는 복수의 마커를 포함하는 제2 젤 및 상기 제2 젤 상에 형성된 제2 코팅층을 포함할 수 있다.

여기에서, 제1 코팅층 및 상기 제2 코팅층은 투명하거나 반투명할 수 있다.

또한, S1410 단계는 제1 발광 소자 및 제2 발광 소자를 오프시키고, 제1 편광 필터 및 제2 편광 필터를 온 시킬 수 있다. 이 경우, S1420 단계는, 제1 카메라를 통해 획득한 제1 영상 및 제2 카메라를 통해 획득한 제2 영상에서 오브젝트가 검출되면, 제1 영상에 기초하여 제1 거리를 식별하고 제2 영상에 기초하여 제2 거리를 식별하고, 제1 거리 및 제2 거리에 기초하여 제1 핑거 및 제2 핑거를 이동시킬 수 있다.

또한, S1410 단계는 제1 발광 소자 및 제2 발광 소자를 온 시킬 수 있다. 이 경우, S1420 단계는 제1 카메라를 통해 획득한 제1 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제1 접촉부에 접촉되었는지를 식별하고, 제2 카메라를 통해 획득한 제2 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제2 접촉부에 접촉되었는지를 식별할 수 있다.

또한, S1410 단계는 제1 거리 및 제2 거리가 기설정된 거리 이하인 경우, 제1 발광 소자 및 제2 발광 소자를 제1 시간 구간 동안 오프시키고, 제1 발광 소자 및 제2 발광 소자를 제1 시간 구간 보다 긴 제2 시간 구간 동안 온시킬 수 있다.

또한, S1410 단계는 제1 영상 및 제2 영상에서 오브젝트가 검출되지 않으면, 제2 발광 소자를 온 시키고, 제1 편광 필터 및 제2 편광 필터를 오프시키고, 제1 발광 소자를 온 시키고, 제2 발광 소자를 오프시킬 수 있다. 이 경우, S1420 단계는 제2 발광 소자가 온 상태이고, 제1 편광 필터 및 제2 편광 필터가 오프 상태인 동안 제1 카메라를 통해 획득한 제1 영상에서 오브젝트가 검출되면, 제1 영상에 기초하여 제1 거리를 식별하고, 제1 발광 소자가 오프 상태이고, 제1 편광 필터 및 제2 편광 필터가 오프 상태인 동안 제2 카메라를 통해 획득한 제2 영상에서 오브젝트가 검출되면, 제2 영상에 기초하여 제2 거리를 식별하고, 제1 거리 및 제2 거리에 기초하여 제1 핑거 및 제2 핑거를 이동시킬 수 있다.

또한, S1410 단계는 제1 발광 소자가 온 상태이고 제2 발광 소자가 오프 상태인 동안 제1 카메라를 통해 제1 영상을 획득하고, 제1 발광 소자가 오프 상태이고 제1 발광 소자가 온 상태인 동안 제2 카메라를 통해 제2 영상을 획득할 수 있다. 이 경우, S1420 단계는 제1 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제1 접촉부에 접촉되었는지를 식별하고, 제2 영상에 포함된 복수의 마커에 기초하여 오브젝트가 제2 접촉부에 접촉되었는지를 식별할 수 있다.

한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어로서 구현될 수도 있다. 소프트웨어 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시 예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 제1 발광 소자 120 : 제1 카메라
130 : 제1 편광 필터 140 : 제2 발광 소자
150 : 제2 카메라 160 : 제2 편광 필터
170 : 구동부 180 : 하나 이상의 프로세서

Claims (16)

1. 제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함하는 로봇에 있어서,
   상기 제1 핑거에 마련된 제1 발광 소자;
   상기 제1 핑거에 마련되며, 상기 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라;
   인가되는 전압에 따라 상기 제1 발광 소자에서 출력된 광 또는 상기 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 상기 제1 접촉부로 제공하는 제1 편광 필터;
   상기 제2 핑거에 마련된 제2 발광 소자;
   상기 제2 핑거에 마련되며, 상기 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라;
   인가되는 전압에 따라 상기 제2 발광 소자에서 출력된 광 또는 상기 제2 발광 소자에서 출력된 광 중 상기 제1 방향과 수직한 제2 방향의 편광을 통과시켜 상기 제2 접촉부로 제공하는 제2 편광 필터;
   상기 제1 핑거 및 상기 제2 핑거를 구동하는 구동부; 및
   상기 제1 발광 소자, 상기 제1 카메라, 상기 제1 편광 필터, 상기 제2 발광 소자, 상기 제2 카메라, 상기 제2 편광 필터 및 상기 구동부와 연결되어 상기 로봇을 제어하는 하나 이상의 프로세서;를 포함하며,
   상기 하나 이상의 프로세서는,
   상기 제1 접촉부 및 상기 제2 접촉부 사이에 오브젝트가 위치하면, 상기 제1 발광 소자, 상기 제2 발광 소자, 상기 제1 편광 필터 및 상기 제2 편광 필터의 온 또는 오프 상태를 제어하여 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제2 카메라를 통해 제2 영상을 획득하고,
   상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제1 접촉부와 상기 오브젝트 간의 제1 거리와 상기 제2 접촉부와 상기 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지되면서 상기 제1 핑거 및 상기 제2 핑거가 상기 오브젝트를 그립하도록 상기 구동부를 제어하는, 로봇.
2. 제1항에 있어서,
   상기 제1 접촉부는, 복수의 마커를 포함하는 제1 젤 및 상기 제1 젤 상에 형성된 제1 코팅층을 포함하고,
   상기 제2 접촉부는, 복수의 마커를 포함하는 제2 젤 및 상기 제2 젤 상에 형성된 제2 코팅층을 포함하는, 로봇.
3. 제2항에 있어서,
   상기 제1 코팅층 및 상기 제2 코팅층은, 투명하거나 반투명한, 로봇.
4. 제1항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 발광 소자 및 상기 제2 발광 소자를 오프시키고, 상기 제1 편광 필터 및 상기 제2 편광 필터를 온 시키고,
   상기 제1 카메라를 통해 획득한 제1 영상 및 상기 제2 카메라를 통해 획득한 제2 영상에서 상기 오브젝트가 검출되면, 상기 제1 영상에 기초하여 상기 제1 거리를 식별하고 상기 제2 영상에 기초하여 상기 제2 거리를 식별하고,
   상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 핑거 및 제2 핑거가 상기 오브젝트를 그립하도록 상기 구동부를 제어하는, 로봇.
5. 제4항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 발광 소자 및 상기 제2 발광 소자를 온 시키고,
   상기 제1 카메라를 통해 획득한 제1 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제1 접촉부에 접촉되었는지를 식별하고, 상기 제2 카메라를 통해 획득한 상기 제2 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제2 접촉부에 접촉되었는지를 식별하는, 로봇.
6. 제5항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 거리 및 상기 제2 거리가 기설정된 거리 이하인 경우, 상기 제1 발광 소자 및 상기 제2 발광 소자를 제1 시간 구간 동안 오프시키고, 상기 제1 발광 소자 및 상기 제2 발광 소자를 제1 시간 구간 보다 긴 제2 시간 구간 동안 온시키는, 로봇.
7. 제4항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 영상 및 상기 제2 영상에서 오브젝트가 검출되지 않으면, 상기 제2 발광 소자를 온 시키고, 상기 제1 편광 필터 및 상기 제2 편광 필터를 오프시키고,
   상기 제1 카메라를 통해 획득한 제1 영상에서 오브젝트가 검출되면, 상기 제1 영상에 기초하여 상기 제1 거리를 식별하고,
   상기 제1 발광 소자를 온 시키고, 상기 제2 발광 소자를 오프시키고,
   상기 제2 카메라를 통해 획득한 제2 영상에서 오브젝트가 검출되면, 상기 제2 영상에 기초하여 상기 제2 거리를 식별하고,
   상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 핑거 및 제2 핑거가 상기 오브젝트를 그립하도록 상기 구동부를 제어하는, 로봇.
8. 제7항에 있어서,
   상기 하나 이상의 프로세서는,
   상기 제1 발광 소자가 온 상태이고 상기 제2 발광 소자가 오프 상태인 동안 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제1 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제1 접촉부에 접촉되었는지를 식별하고,
   상기 제1 발광 소자가 오프 상태이고 상기 제1 발광 소자가 온 상태인 동안 상기 제2 카메라를 통해 제2 영상을 획득하고, 상기 제2 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제2 접촉부에 접촉되었는지를 식별하는, 로봇.
9. 제1 접촉부가 형성된 제1 핑거 및 제2 접촉부가 형성된 제2 핑거를 포함하는 로봇의 오브젝트 그립 방법에 있어서,
   상기 로봇은,
   상기 제1 핑거에 마련된 제1 발광 소자;
   상기 제1 핑거에 마련되며, 상기 제1 접촉부가 위치한 방향을 촬영하는 제1 카메라;
   인가되는 전압에 따라 상기 제1 발광 소자에서 출력된 광 또는 상기 제1 발광 소자에서 출력된 광 중 제1 방향의 편광을 통과시켜 상기 제1 접촉부로 제공하는 제1 편광 필터;
   상기 제2 핑거에 마련된 제2 발광 소자;
   상기 제2 핑거에 마련되며, 상기 제2 접촉부가 위치한 방향을 촬영하는 제1 카메라; 및
   인가되는 전압에 따라 상기 제2 발광 소자에서 출력된 광 또는 상기 제2 발광 소자에서 출력된 광 중 상기 제1 방향과 수직한 제2 방향의 편광을 통과시켜 상기 제2 접촉부로 제공하는 제2 편광 필터;를 포함하고,
   상기 오브젝트 그립 방법은,
   상기 제1 접촉부 및 상기 제2 접촉부 사이에 오브젝트가 위치하면, 상기 제1 발광 소자, 상기 제2 발광 소자, 상기 제1 편광 필터 및 상기 제2 편광 필터의 온 또는 오프 상태를 제어하여 상기 제1 카메라를 통해 제1 영상을 획득하고, 상기 제2 카메라를 통해 제2 영상을 획득하는 단계; 및
   상기 제1 영상 및 상기 제2 영상에 기초하여 상기 제1 접촉부와 상기 오브젝트 간의 제1 거리와 상기 제2 접촉부와 상기 오브젝트 간의 제2 거리의 차이가 기설정된 범위 내로 유지하면서 상기 제1 핑거 및 상기 제2 핑거를 상기 오브젝트가 위치한 방향으로 이동시키는 단계;를 포함하는, 오브젝트 그립 방법.
10. 제9항에 있어서,
    상기 제1 접촉부는, 복수의 마커를 포함하는 제1 젤 및 상기 제1 젤 상에 형성된 제1 코팅층을 포함하고,
    상기 제2 접촉부는, 복수의 마커를 포함하는 제2 젤 및 상기 제2 젤 상에 형성된 제2 코팅층을 포함하는, 오브젝트 그립 방법.
11. 제10항에 있어서,
    상기 제1 코팅층 및 상기 제2 코팅층은, 투명하거나 반투명한, 오브젝트 그립 방법.
12. 제9항에 있어서,
    상기 획득하는 단계는,
    상기 제1 발광 소자 및 상기 제2 발광 소자를 오프시키고, 상기 제1 편광 필터 및 상기 제2 편광 필터를 온 시키는 단계;를 포함하고,
    상기 이동시키는 단계는,
    상기 제1 카메라를 통해 획득한 제1 영상 및 상기 제2 카메라를 통해 획득한 제2 영상에서 상기 오브젝트가 검출되면, 상기 제1 영상에 기초하여 상기 제1 거리를 식별하고 상기 제2 영상에 기초하여 상기 제2 거리를 식별하는 단계; 및
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 핑거 및 상기 제2 핑거를 이동시키는 단계;를 포함하는, 오브젝트 그립 방법.
13. 제12항에 있어서,
    상기 획득하는 단계는,
    상기 제1 발광 소자 및 상기 제2 발광 소자를 온 시키는 단계;를 포함하고,
    상기 이동시키는 단계는,
    상기 제1 카메라를 통해 획득한 제1 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제1 접촉부에 접촉되었는지를 식별하고, 상기 제2 카메라를 통해 획득한 상기 제2 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제2 접촉부에 접촉되었는지를 식별하는 단계;를 포함하는, 오브젝트 그립 방법.
14. 제13항에 있어서,
    상기 획득하는 단계는,
    상기 제1 거리 및 상기 제2 거리가 기설정된 거리 이하인 경우, 상기 제1 발광 소자 및 상기 제2 발광 소자를 제1 시간 구간 동안 오프시키고, 상기 제1 발광 소자 및 상기 제2 발광 소자를 제1 시간 구간 보다 긴 제2 시간 구간 동안 온시키는, 오브젝트 그립 방법.
15. 제12항에 있어서,
    상기 획득하는 단계는,
    상기 제1 영상 및 상기 제2 영상에서 오브젝트가 검출되지 않으면, 상기 제2 발광 소자를 온 시키고, 상기 제1 편광 필터 및 상기 제2 편광 필터를 오프시키는 단계; 및
    상기 제1 발광 소자를 온 시키고, 상기 제2 발광 소자를 오프시키는 단계;를 포함하고,
    상기 이동시키는 단계는,
    상기 제2 발광 소자가 온 상태이고, 상기 제1 편광 필터 및 상기 제2 편광 필터가 오프 상태인 동안 상기 제1 카메라를 통해 획득한 제1 영상에서 오브젝트가 검출되면, 상기 제1 영상에 기초하여 상기 제1 거리를 식별하는 단계;
    상기 제1 발광 소자가 오프 상태이고, 상기 제1 편광 필터 및 상기 제2 편광 필터가 오프 상태인 동안 상기 제2 카메라를 통해 획득한 제2 영상에서 오브젝트가 검출되면, 상기 제2 영상에 기초하여 상기 제2 거리를 식별하는 단계; 및
    상기 제1 거리 및 상기 제2 거리에 기초하여 상기 제1 핑거 및 제2 핑거를 이동시키는 단계;를 포함하는, 오브젝트 그립 방법.
16. 제15항에 있어서,
    상기 획득하는 단계는,
    상기 제1 발광 소자가 온 상태이고 상기 제2 발광 소자가 오프 상태인 동안 상기 제1 카메라를 통해 제1 영상을 획득하는 단계; 및
    상기 제1 발광 소자가 오프 상태이고 상기 제1 발광 소자가 온 상태인 동안 상기 제2 카메라를 통해 제2 영상을 획득하는 단계;를 포함하고,
    상기 이동시키는 단계는,
    상기 제1 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제1 접촉부에 접촉되었는지를 식별하는 단계; 및
    상기 제2 영상에 포함된 복수의 마커에 기초하여 상기 오브젝트가 상기 제2 접촉부에 접촉되었는지를 식별하는 단계;를 포함하는, 오브젝트 그립 방법.
    

Images