KR101984320B1 - 로봇과 사용자 상호작용을 위한 다중 상태 모델 - Google Patents
로봇과 사용자 상호작용을 위한 다중 상태 모델 Download PDFInfo
- Publication number
- KR101984320B1 KR101984320B1 KR1020137018167A KR20137018167A KR101984320B1 KR 101984320 B1 KR101984320 B1 KR 101984320B1 KR 1020137018167 A KR1020137018167 A KR 1020137018167A KR 20137018167 A KR20137018167 A KR 20137018167A KR 101984320 B1 KR101984320 B1 KR 101984320B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- robot
- state
- relationship
- task
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40202—Human robot coexistence
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Fuzzy Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Manipulator (AREA)
Abstract
주요 개시는 태스크를 수행하기 위한 로봇의 태스크 관련 동작과 로봇과 상호작용하기 위한 사용자-관계 동작을 제어하는 모델을 포함하는 로봇 장치에 관한 것이다. 모델은 동작 상태를 제어하는데, 다양한 자극, 예를 들어, 로봇의 센서를 통해 수신된 정보 및/또는 학습된 데이터로부터 결정된 현재 맥락에 기초하여 자율 태스크 상태에서 관계 상태로 전이하는 것을 포함한다. 로봇이 사용자와 관계를 맺고자 할 수 있고, 사용자가 로봇과 관계를 맺고자 할 수 있으며, 또는 사용자와 로봇은 우연히 만나고 거기서 둘 중 하나가 관계를 개시하려고 시도할 수 있다.
Description
가전기기, 차량, 컴퓨터, 전화, 핸드헬드 장치 등과 같은 사람을 위해 설계된 장치는, 상호작용을 시작하기 위하여 주로 터치나 기타 손을 기반으로 하는 접촉과 같은 하나 이상의 사용자의 명시적인 물리적 동작에 의존한다. 예를 들어, 전자레인지는 누군가가 키패드를 누르는 것을 기다리고, 컴퓨터는 누군가가 마우스를 움직이거나 키를 누르는 것을 기다리며, 이동 전화는 누군가가 스크린이나 버튼을 터치하는 것을 기다리는 등이다. 이러한 장치는 (직접적으로 또는 리모트 컨트롤러(remote controller)를 통해 간접적으로) 명시적 물리적 동작이 취해지는 때에 사용자와 관계되고, 사용자의 물리적 동작이 상호작용을 관장한다.
반면, 소비자 로봇(감각적 인식, 컴퓨터 지능(computational intelligence) 및 이동성의 조립을 포함)은 완전히 다른 범위의 사람과의 상호작용을 보인다. 그 중 하나로, 일반적으로 명시적 물리적 접촉은 로봇과 관계를 시작하는 가장 좋은 방법이 아니다. 대신에, 예를 들어, 한쪽(사람 또는 로봇)이 언어 또는 제스처 통신을 통하는 것을 포함하여 다른 쪽과의 관계(engage)나 관계 끊기(disengage)를 개시할 수 있다. 예를 들어, 로봇은 메시지를 전달하거나, 정보를 묻거나 제공하기 위해 특정인을 찾고, 인식하고 물리적으로 접근하여 관계를 맺을 수 있다. 관계를 맺기 위한 직접 상호작용이 필수적인 것은 아님을 유의하라; 예를 들어, 사용자는 로봇으로부터의 도움을 필요로 하거나 다른 방으로부터 로봇을 소환할 수 있다.
종래의 전자 장치와의 또 다른 현저한 차이는 로봇이 자주 고정된 위치에서 대기하는 것이 아니라 사용자, 주인, 가족 구성원, 방문자 또는 손님 대신에 과업을 수행하거나, 자율적으로 공간을 탐험하거나, 일반적이지 않은 사건을 기록 및 보고하거나, 심지어 스스로 유흥을 즐기면서("entertaining" itself) 공간(예를 들어, 집)을 돌아다닌다는(maneuver) 점이다. 로봇과 사람의 단순한 근접은 관계 맺음과 필연적으로 대응하는 것은 아닌데, 양 당사자(로봇과 사람)가 여하한 시간에 독립적인 태스크에 빠져 있을 수 있기 때문이다. 예를 들어 둘은 각자 별개의 관계없는 태스크에 집중하면서 복도에서 서로를 지나치고 있을 수 있다. 양 당사자가 관계 맺을 수 있기는 하지만, 관계는 필수적이지 않다. 그러나 우연히 지나치는 동안(예를 들어 복도에서), 한 쪽 당사자는 다른 당사자에게 요청을 하고자 할 수 있다.
또한, 사람과 로봇이 관계를 맺은 때에 둘 중 하나는 상황적 맥락에 기초하여 다양한 이유로 관계를 끊을 수 있다. 예를 들어, 로봇은 이전에 스케줄된 태스크에 착수하기 위한 허가를 요청할 수 있고, 또는 사람이 별개의 대화에 의해 방해받을 수 있다.
본 개요는 아래 상세한 설명에서 더 설명될 대표적 개념 중 선택된 것을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구된 주제의 핵심 특징 또는 중요 특징을 식별하기 위한 것이 아니고, 여하한 방식으로도 청구된 주제의 범위를 제한하도록 사용되려는 것도 아니다.
간략하게, 여기 설명된 주제의 다양한 태양은 로봇 장치가, 로봇과 상호작용하기 위하여 로봇의 태스크 관련 동작 및 사용자-관계 동작을 제어하는 다수의 상태(예를 들어, 관계(engaged), 사용자-지시(user-directed), 자율-지시(self-directed), 휴지(rest))를 포함하는 상호작용 모델을 포함하게 하는 기술에 관한 것이다. 모델은, 로봇이 태스크를 수행하는 자율 태스크 상태에서 로봇이 사용자와 상호작용하는 관계 상태로 전이하는 것 및 그 역을 포함하여 동작 상태에 관해 로봇 장치의 동작을 제어한다. 모델은 로봇의 센서를 통해 수신한 정보를 포함하여 현재 맥락에 기초하여 언제 전이할지를 결정한다. 로봇은 사용자와 관계를 맺기를 구할 수 있거나, 사용자가 로봇과 관계 맺기를 구할 수 있거나, 또는 사용자와 로봇이 우연히 만나서 둘 중 하나가 관계를 시작하려고 시도할 수 있다.
일 태양에서, 모델을 통해 로봇이 자율 태스크 상태에서 동작하는데, 이는 로봇이 사용자 입력에 기초하여 사용자 태스크를 수행하는 사용자 지시 모드와 로봇이 사용자 입력에 기초하지 않은 태스크를 수행하는 자율 지시 모드를 포함한다. 로봇은 휴지 상태에 있을 수도 있는데, 로봇은 태스크 관련 트리거링 이벤트나 사용자와의 관계 필요성에 의해 휴지 상태에서 나갈 수 있다. 우선순위 레벨 순서는 관계 상태의 로봇을 자율 상태(사용자-지시 모드)보다 위에 배치하고, 자율 상태(사용자-지시 모드)는 다시 자율 상태(자율-지시 모드)보다 위에 있으며, 자율 상태(자율-지시 모드)는 다시 휴지 상태보다 위에 있다.
다른 태양에서, 로봇은 관계 상태로 들어가서, 복수의 자극 중 어떤 자극이 관계 상태로의 전이를 유발하였는지에 따라 상이하게 동작한다. 예시적인 자극은 원격 프록시 통신, 오디오 데이터(예를 들어, 로봇 이름에 대응하는 발화), 또는 사용자에 대응하는 모션의 검출을 포함한다.
로봇은 사용자를 향해 움직임으로써, 또는 사용자를 향한 청각 및/또는 시각 통신 데이터를 출력함으로써 관계를 시작할 수 있다. 사용자와 관계를 맺으려는 시도는 사용자와의 이전의 관계 이력에 기초하여 조정될 수 있는데, 예를 들어, 관계 맺기 시도에 대한 빈도-한정된 시간(frequency-determined time)에 이를 때까지 대기함으로써 너무 자주 관계를 시도하지 않을 수 있다.
다른 장점이 도면과 결합하여 아래의 상세한 설명으로부터 명확해질 수 있다.
본 발명은 첨부된 도면에서 예시의 방식으로 도시되고 제한되지 않는데, 도면에서 유사한 참조 부호는 유사한 요소를 나타낸다.
도 1은 로봇 장치의 컴퓨터 지능 시스템이 로봇 장치의 동작 상태를 결정하는 모델을 포함하는 로봇 장치의 예시적인 실시형태를 나타내는 블록도이다.
도 2는 예시적인 로봇 장치의 입력 양상(modality), 출력 양상 및 동작 상태의 표현이다.
도 3은 로봇 장치의 상태와 그들 상태 사이의 전이를 나타내는 상태도이다.
도 4는 여기에 설명된 다양한 실시형태의 하나 이상의 태양이 구현될 수 있는 예시적 비제한적 컴퓨팅 시스템 또는 동작 환경을 나타내는 블록도이다.
도 1은 로봇 장치의 컴퓨터 지능 시스템이 로봇 장치의 동작 상태를 결정하는 모델을 포함하는 로봇 장치의 예시적인 실시형태를 나타내는 블록도이다.
도 2는 예시적인 로봇 장치의 입력 양상(modality), 출력 양상 및 동작 상태의 표현이다.
도 3은 로봇 장치의 상태와 그들 상태 사이의 전이를 나타내는 상태도이다.
도 4는 여기에 설명된 다양한 실시형태의 하나 이상의 태양이 구현될 수 있는 예시적 비제한적 컴퓨팅 시스템 또는 동작 환경을 나타내는 블록도이다.
여기에 설명된 기술의 다양한 태양은 일반적으로, 자연스럽고 적절하며 유용하고 즐길 수 있는 상호작용을 용이하게 하는 방식으로 로봇의 상호작용 동작을 제어하는 다수의 상태(예를 들어, 관계, 사용자-지시, 자율-지시, 휴지)를 포함하는 사람(또는 "사용자")과 로봇 상호작용 모델을 포함하는 로봇 장치에 관한 것이다. 일 태양에서, 모델은 비관계(non-engaged) 상태와 관계 상태 사이의 전이, 로봇 또는 사람에 의한 개시 방법 및 이들 전이를 관리하기 위한 맥락 인식 및 감각 능력의 사용을 관장한다. 모델은 그의 관계 가능성을 조정하기 위해 로봇이 감각적 인식을 어떻게 이용하는지와 같은 기타 로봇 행동을 정의할 수 있다.
본 명세서의 예 중 어떤 것도 비제한적임을 이해하여야 한다. 예를 들어, 다양한 모델 등이 여기에서 예시로서 사용되는데, 그러나, 예시된 것과 다른 모델이 사용될 수 있다. 이와 같이, 본 발명은 여기에 설명된 여하한 특정 실시형태, 태양, 개념, 구조, 기능 또는 예로 제한되지 않는다. 오히려, 여기 설명된 실시형태, 태양, 개념, 구조, 기능 또는 예 중 여하한 것은 비제한적이고, 본 발명은 로보틱스 기술 일반에서 이점과 장점을 제공하는 다양한 방식으로 이용될 수 있다.
도 1은 이동성(운전) 메커니즘(104)을 통해 이동성을 위해 구성된 로봇 장치(102)의 예시적인 구현을 나타내는 블록도이다. 컴퓨터 지능 시스템(106)이 적절한 명령을 통해 이동성 메커니즘(104)을 구동한다. 이는 로봇 장치(102)에 이동성을 제공하여 컴퓨터 지능 시스템(106)이 컴퓨터 지능 시스템(106)으로부터의 명령에 기초하여 운송될 수 있다.
일반적으로, 로봇(102)은, 환경 데이터, 시간, 요일, 현재 위치, 배터리 잔량, 근처의 인식된 사람 등과 같은 현재 상태 데이터 등을 나타내기 위해 컴퓨터 지능 시스템(106)에 하나 이상의 신호를 제공하는 하나 이상의 센서를 포함하는 센서 세트(108)를 포함한다. 이 상태 데이터는, 로봇의 스캐줄, 이력 데이터(예를 들어, 조정되고 학습된 지식) 등과 같은 다른 유지되는 데이터와 함께 현재 맥락을 포함한다.
센서 세트(108)는 여하한 기계, 전기, 광학 및/또는 자기 센서나 센서들을 포함할 수 있고, 각각은 감지를 위해 로봇(102) 상의 적절한 위치에 배치될 수 있는데, 예를 들어, 특정 시야각을 얻기 위해 높이 설치될 수 있다. 센서 세트(108)는 컴퓨터 지능 시스템(106)이 특정 사람의 물리적 존재, 응시 방향, 핸드 제스처 등을 검출할 수 있게 하는 하나 이상의 카메라를 포함할 수 있다. 로봇(102)은 장치 배터리(109) (또는 기타 적장한 휴대용 전원)도 포함할 수 있다.
컴퓨터 지능 시스템(106)은 프로세서(110), 메모리(112) 및 인터페이스(114)를 포함한다. 후술하는 바와 같이, 인터페이스(114)는 로봇(102)이 다양한 유형의 입력과 출력을 통해 통신하도록 구성될 수 있다. 또한 후술하는 바와 같이, 컴퓨터 지능 시스템(106)은 사용자(사람) 상호작용 모델(120)을 포함한다.
도 2는 하나 이상의 로봇 입력 메커니즘(220)과 로봇 출력 메커니즘(222)을 포함하여, 로봇과의 통신을 위한 일부 예시적인 메커니즘을 보여준다. 도 2에 나타낸 바와 같이, 로봇은 리모트 컨트롤 프록시 사용자 명령을 특히 다른 방과 같은 원격 위치로부터 수신하는 등을 위한 리모트 컨트롤 수신기(224)를 포함할 수 있다. 사용자가 리모트 컨트롤의 일 실시형태에서 리모트 컨트롤을 착용할 수 있기 때문에 리모트 컨트롤 입력의 한 가지 유형은 "펜던트(pendant)" 입력이라고 불림을 유의하라. 로봇은 또한 여하한 유선(물리적으로 결합된 경우) 또는 무선 소스로부터 리모트 컨트롤 명령을 수신할 수 있는데, 예를 들어, 사용자는 퍼스널 컴퓨터를 이용한 인터넷 접속 등을 통해 통신할 수 있다.
다른 유형의 입력은 발화(speech)인데, 이를 로봇이 발화 인식기(225)에 의해 처리한다. 비디오 카메라나 깊이 센서에 의해 캡처되는 바와 같은 이미지 입력은 입력의 다른 유형이고, 도 2에서 이미지 인식기(블록 226)로 나타내는 바와 같이, 얼굴 인식 기술, 위치 검출, 응시 검출, 눈 추적, 제스처 검출/인식 기술, 골격 추적(skelectal tracking) 등으로 처리될 수 있다. 캡처된 이미지 중 하나의 이미지/시퀀스는 예일 뿐이고, 종래의 이미지 또는 비디오일 필요는 없는데, 예를 들어, 적외선, 모션, 깊이 센서 등이 모두 적당한 카메라나 유사한 센서에 의해 포착 및 검출될 수 있음을 유의하라.
도 2에는 블록 227에 의해 검출된 이미지 및 발화 입력도 나타내어져 있다. 이는 제스처와 결합된 발화를 지칭하는데, 이는 상이한 의미로 결합될 수 있다(예를 들어, 적절한 손 제스처와 함께 "움직여(move)"라는 단어를 말하는 것은 로봇에게 움직이라고 명령할 뿐만 아니라 좌나 우와 같이 어느 방향으로 움직일지를 명령하는데 사용될 수 있다). 다른 유형의 입력이 결합될 수 있는데, 예를 들어, 사용자가 말하는 때에 로봇을 보는 것은 사용자가 로봇을 보지 않는 경우와 다르게 해석될 수 있다(예를 들어, 사용자는 로봇에게 전혀 말하고 있지 않을 수 있다).
예를 들어, 터치, 냄새, 온도, 습도, 사용자 바이오메트릭 데이터 등의 다른 유형의 입력이 적절한 센서에 의해 감지되는 대로 수신될 수 있다. 블록 228이 여하한 이러한 다른 입력 메커니즘 및/또는 센서를 나타낸다.
로봇은, 몸 움직임, 자세/응시(231), 시각적 표현(232)(예를 들어, 눈 깜빡임과 같은 애니메이션 움직임), 오디오(233) 및 디스플레이(234)(스크린이나 프로젝터와 같은 디스플레이 장치를 통해 렌더링될 수 있는 그래픽 사용자 인터페이스, 이미지 등)를 통하는 것을 포함하여, 도 2에 도시된 것들 중 일부나 전부를 포함하는 다양한 출력 메커니즘(222) 중 하나 이상을 통하여 정보를 출력할 수 있다. 진동이나 냄새와 같은 다른 출력이 블록 235를 통해 나타내어져 있다. 로봇은 기분, 일반적인 상태, 태스크 상태 등을 나타내기 위해 여하한 상태에 있는 동안 그 출력 메커니즘(222) 중 하나 이상을 사용할 수 있다.
도시된 출력 메커니즘(222)은 일반적으로 사람 사용자와 통신하는 것에 관한 것임을 유의하라. 그러나, 출력의 다른 유형은 다른 로봇, 컴퓨터, 전화, 기기 등과 같은 전자 장치를 향할 수도 있다. 이들 장치와는 예를 들어 유선 또는 무선 무선 신호 또는 오디오 샘플을 통해 통신할 수 있다. 또한, 로봇은 다른 로봇뿐만 아니라 애완동물, 움직이지 않는 물체(예를 들어, 게임 콘솔) 등과 같은 다른 엔티티와 상호작용할 수 있다. 그러므로, 사람뿐만 아니라 이와 같은 기타 엔티티가 여기서는 "사용자"라고 지칭된다(다만 사람이 가장 통상적인 사용자이므로 "사람"과 "사용자"는 상호교환가능하게 사용된다).
도 2는 또한, 입력 및 출력 메커니즘(220과 222)이 로봇-사용자 상호작용을 위해 사용되고 있는 관계 상태(242)를 포함하여 로봇이 임의의 시간에 있을 수 있는 일부 예시적인 동작 상태(240-244)를 도시한다. 나타낸 상태(240-244)가 아래에 설명되지만, 하나 이상의 다른 상태가 가능하고 상태는 결합될 수 있음(예를 들어, 다른 구현에서 로봇은 사용자-지시 태스크의 일부를 실행하면서 다르게는 휴지 상태에 있을 수 있다)을 이해하여야 한다. 다음 표가 예시적인 상태를 요약한다:
후술하는 바와 같이, 로봇은 위의 표에 나타난 바와 같이 상태의 명확한 우선순위를 갖는다. 더 높은 우선순위 상태는 낮은 우선순위 상태를 인터럽트할 수 있고, 관계(관계 상태로의 전이)가 임의의 자율-지시 또는 사용자-지시 태스크를 인터럽트할 수 있다.
도 3은 로봇의 자율 동작 모드(360)(도 2의 사용자-지시 또는 자율-지시 상태(243과 244)에 대응)에서 애플리케이션 상호작용 모드(362)(도 2의 관계 상태(242)에 대응)로의 전이의 표시이다. 일반적으로, 그리고 도 3에 나타낸 바와 같이, 로봇은 사용자와의 관계 검출(블록 364) 시에 자율 모드(360)에서 애플리케이션 상호작용 모드(362)(관계 상태)로 전이하고, 관계 끊기 검출(블록 366) 시에 애플리케이션 상호작용 모드(362)에서 다시 자율 모드(360)로 전이한다. 오프/이용불가 상태(240) 및 휴지 상태(241)와 같은 도 2의 다른 상태가 아래에서 이들 다른 상태에 관련하여 설명되는데, 예를 들어, 로봇은, 시간이나 기타 트리거링 이벤트에 기초하는 등으로 사람과의 관계없이 휴지 상태(241)에서 자율 모드(360)로 갈 수 있다.
이들 전이에서 볼 수 있는 바와 같이, 로봇에 관하여 사용자의 관계 및 관계 끊기(disengaged) 상태를 구별할 필요가 있다. 이해하는 바와 같이, 일반적으로, 구별하는데 상황 맥락이 관련이 있다.
이 목적으로, 사용자 선호, 상태 데이터, 위치, 예절, 사회적 규범 등과 같은 맥락 인자에 기초한 구조화되지 않은 환경 내의 관계/관계 끊기 모델을 포함하는 동적 멀티-스테이트 사용자-로봇 상호작용 모델(120)(도 1)이 여기에 설명된다. 이 모델은 관계와 미관계(non-engaged) 상태 사이의 전이, 로봇이나 사용자에 의한 관계 및 관계끊기의 시작 및 이들 전이를 관리하기 위한 맥락 인식 및 감각 능력의 사용을 관장한다. 모델은 그의 관계 가능성을 조정하기 위해 로봇이 감각적 인식을 어떻게 이용하는지를 정의할 수 있다.
더 구체적으로, 둘 중 하나(사용자나 로봇)는, 상황 맥락에 따라 다른 하나와의 관계 또는 관계 끊기의 시작을 다양한 방식으로(통상 비접촉 방법) 적절하게 시작할 수 있어야 한다. 이는 시간, 위치, 사용자의 정체 및 각 당사자의 그 시간에서의 예측되는 필요와 같은 인자를 포함할 수 있다. 로봇은 통상의 모임 시간 및 장소와 같은 관찰된/학습된 가정의 패턴에 기초하여 그 가용성을 최적화할 수 있다.
도 2를 참조하여 상술한 바와 같이, 관계를 용이하게 하기 위해, 로봇은 각 상태에서의 상호작용의 범위와 상태 사이의 전이를 정의하는 다수의 상태(예를 들어, 관계, 사용자-지시, 자율-지시, 휴지)를 가진다. 로봇이 사용자와 관계되는 때에, 사용자는 대기하고 있거나, 입력을 수신하거나 입력에 응답하고 있다. 관계는 맥락 큐(cue)에 기초하여 유지될 수 있다. 예를 들어, 사용자와 로봇의 근접성, 사용자와 로봇 사이의 응시/눈 맞춤(eye contact), 발화의 위치 및/또는 계속되는 상호작용이 관계와 관계 끊기를 제어할 수 있다. 사용자가 발화, 움직임 또는 얼굴 검출을 이용하여 로봇과 관계되는 경우, 사용자와 로봇은 서로의 상호작용 범위(이는 일반적으로 움직임/얼굴 검출보다 오디오에 대해 더 넓은 범위이다) 내에 위치하고 있음을 유의하라. 사용자가 리모트 컨트롤(프록시) 장치를 이용하여 로봇과 관계되는 경우, 사용자와 로봇은 서로의 송신/수신 범위 내의 어디에나 위치될 수 있다.
다음의 예는 사용자가 관련되는 결정 지점(예를 들어, 스케줄된 태스크 오버라이드(override))에 도달하는 때마다 사용자가 로봇을 책임지는 시나리오에 관한 것임을 유의하여야 한다. 일부 시나리오에서, 상이한 사용자들이 로봇과 상호작용하고 로봇을 지시(명령)할 수 있다. 이들은 피어(peer) 사용자들일 수 있으며, 따라서 여하한 충돌이 모델(120)에 의해 해결되는데, 예를 들어, 최후 명령이 우선할 수 있으며, 또는 사용자의 계층이 있을 수 있는데, 예를 들어, 사용자 B는, 예를 들어, 로봇이 사용자 B의 태스크 세트를 위해 사용가능하게 되는 때 등에 태스크를 스케줄링하고 상태 정보를 알기 위해 로봇과 잠시 관계될 수는 있지만 사용자 B가 사용자 A의 태스크 세트를 오버라이드할 수는 없다. 사용자의 다른 유형은 (예를 들어 권한 있는 사용자가 달리 로봇에 이야기해 줄 때까지) 인식되지 않은 사람과 같은, 로봇이 명령을 수용하지 않는 비인증(non-authorized)/비권한(non-authenticated) 사용자이다. 이는 애플리케이션에 의존할 수 있는데, 예를 들어, 순찰 태스크 중에 있는 때에, 로봇은 오직 최고위 사용자 또는 사용자들과만 통신하도록 허용될 수 있다. 또한, 본 예는 모델의 일 구현에 대응한다; 모델의 다른 구현은 로봇 행동을 관장하는 다른 규칙 등을 가질 수 있고, 예시된 모델의 일부 태양은 사용자 선호에 따라 (예를 들어, 규칙을 오버라이드 하도록) 사용자 구성가능할 수 있다.
일 예로서, 모델(120)은, 관계되는 동안에 사용자가 로봇이 그렇게 하도록 동의하지 않고는 로봇이 자율-지시 상태(244)에 들어갈 수 없고 사용자로부터의 명시적인 명령에 의해서만 휴지 상태(241)로 갈 수 있다고 규정한다. 저 배터리 상태와 같은 극단적인 경우에도, 관계된 동안에 로봇은 사용자에게 사용자가 충전하러 가도록 해달라고 요청(또는 달리 신호)한다.
사용자-지시 상태(243)에서, 로봇은 관계 종료하였고(블록 366), 도 3에 도시되는 바와 같이 사용자를 대신하여 태스크를 수행하기 위해 동작의 자율 모드로 들어갔다. 이 상태에는 사용자로부터의 명시적인 명령에 응답하여 관계 상태를 통해 또는 특정 시간에 일어나는 명시적인 태스크 설정에 의해 들어가게 된다.
관계 상태에 있는 동안에 (직접적으로 또는 사용자-특정 스케줄 또는 기타 기준을 통해) 명시적으로 획득되지 않은 로봇이 수행할 수 있는 다른 태스크는 자율-지시 상태(244)에서 실행되는 것으로 생각된다.
사용자-지시 상태(243)에 있는 동안, 로봇은 요청이 있으면 사용자와 관계될 수 있지만, 사용자-지시 태스크 세트가 종료되기까지는 자율-지시 태스크로 들어가지 않을 것이다. 그 결과, 로봇의 메트릭 맵을 개선하기 위한 탐색과 같은 주어진 시간에 보통 일어나는 자율-지시 태스크는 사용자-지시 테스크(또는 태스크 세트)가 완료될 때까지 대기한다.
사용자-지시 태스크 세트가 완료되면, 로봇은 그의 자율-지시 상태(244)로 전이한다. 순찰과 같이 사용자에 의해 실행되도록 스케줄된 테스크는 사용자-지시 태스크로서 실행됨을 유의하라. 즉각적인 사용자-지시 태스크는 스케줄된 태스크보다 우선한다.
로봇은 사용자-지시 상태(243)에 있는 때에 사용자에 의해 관계를 갖게 되면, 로봇은 태스크로 바쁘다는 것을 나타내는 정보(예를 들어, 대화)를 출력한다. 대화는 사용자가 대화를 중단(따라서 관계 요청을 취소)하고 로봇이 그 태스크를 계속하도록 허용하거나, 현재 사용자-지시 태스크나 애플리케이션을 취소(또는 중단)하여 사용자가 관계를 계속할 수 있도록 강제한다.
자율-지시 상태에서, 로봇은 완전히 자율적으로 동작하고 있다. 이 상태에서, 로봇은 로봇이 하기로 결정하는 태스크를 수행하는데, 예를 들어, 그의 내부 집 지도를 개선/업데이트하고, 학습된 이력에 기초하여 필요로 하는 사용자 예측 하에서 그 배터리를 충전하는 등이다. 자율-지시 상태(244)에서, 사용자가 상호작용을 요청하면 로봇은 그의 현재 태스크를 중단할 것이다.
휴지 상태(241)에서, 로봇은 관계 요청을 대기하고, 움직이지 않고 있다(예를 들어, 사용자를 찾기 위해 간헐적으로 회전(swivel)하는 등 관계 요청을 용이하게 하기 위한 것을 제외). 로봇은 휴지 상태에서 충전하고 있거나 충전하지 않고 있을 수 있다. 일반적으로, 로봇은, 에너지를 유지하고 그 부품의 마모를 피하면서, 예를 들어, 발화, 리모트 컨트롤 신호, 비디오 입력 등을 통해 통신을 "듣고 있다(listening)." 휴지 상태(241)에 있는 동안, 사용자에 의한 새로운 상호작용 없이, 로봇이 자기-지시 상태(244)로 전이할 수 있고 사용자 스케줄 태스크를 통해 사용자-지시 상태(243)로 전이할 수 있다.
관계 및 어트랙션(attraction)으로 가면, 관계의 유형은 로봇의 행동을 결정할 수 있다. 예를 들어, 사용자는 로봇과 관계를 맺기 위해 리모트 컨트롤(프록시) 장치를 사용할 수 있는데, 이는 마이크로폰 및/또는 스피커를 통한 오디오(예를 들어, 발화), 카메라 및/또는 디스플레이 장치를 통한 시각적 정보 등을 릴레이할 수 있다. 그러므로 로봇은 발화를 수신하고 그에 응답할 수 있고 명령을 제시하고 키보드 바로가기 대화를 표시할 수 있다. 로봇은 무활동 기간 후에 이러한 원격 관계를 중단할 수 있다.
키워드-온리(keyword-only) 관계에서, 로봇이 그때에 관계를 맺지 않거나 관계를 제안하고 있더라도, 로봇은 그 이름을 (예를 들어, 발화 인식을 통해) 키워드로서 인식하였다. 키워드-온리 관계에서, 로봇은 키워드 바로가기 대화를 표시하고 키워드 바로가기에 응답할 수 있다. 로봇은 또한 국지적인(localized) 얼굴을 스캔할 수 있다. 얼굴을 일반적으로 스캔하기 위해서, 로봇은 전체 각도의 시야를 효과적으로 커버하는 패턴으로 전체 움직임 범위에 걸쳐 그의 두부를 회전시키고 기울일 수 있다; 그러나, 로봇은 대신에 국지적인 얼굴을 스캔할 수 있는데, 여기서 로봇은 예를 들어 음원 위치결정(sound source localization)을 이용하여 음(음성) 소스의 방향을 중심으로 한 시야의 범위를 효과적으로 커버하는 패턴으로 제한된 움직임 범위에 걸쳐 그 두부를 회전시키고 기울인다. 로봇은 해제되거나 무활동 타임아웃(예를 들어, 30초)에 도달할 때까지 키워드-온리 관계에서 유지된다.
로봇 이름 인식에 관하여, 로봇은 현재 맥락, 예를 들어, 관계 가능, 관계 제안 및 관계에 의존하는 그의 이름 인식에 대한 상이한 반응을 가질 수 있다. 예를 들어, 가용한 경우, 로봇은 멈추고 그의 머리를 음원을 향해 돌려 국지적인 얼굴을 스캔할 수 있다. 얼굴이 검출되지 않으면, 로봇은 발화 관계로 들어가고 키워드 바로가기 대화를 표시하며, 로봇은 인식 이벤트를 "후속 음성 듣기" 단계로 취급하고 어트랙션 동작으로 진행하는데, 예를 들어, 음원으로 이동하고 멈춰서 얼굴을 스캔하고, 타임아웃 시간 전에 얼굴이 검출되지 않으면 이전 태스크로 돌아간다. 얼굴이 검출되면, 또는 로봇이 관계를 제안하고 있으면, 로봇은 후술하는 바와 같이 "근처의(nearby)" 관계 제안 및 수용 동작으로 진행한다.
관계를 제안하는 동안, 로봇이 그 이름을 인식하면 로봇은 관계 모드로 움직인다. 관계 모드에 있는 동안 로봇이 그 이름을 인식하면, 애플리케이션 상태와 무관하게, 맥락에 적당한 키워드 바로가기 대화를 표시한다.
근처 관계라고 지칭되는 관계 유형에서, 로봇과 사용자는 상호작용 범위 (예를 들어, 가시 범위) 내에 있고 사용자는 로봇의 관계 제안을 수용하였다 (또는 그 역일 수 있다). 로봇은 해제되거나 무활동 타임아웃에 도달할 때까지 근처 관계로 유지된다. 로봇은 동시에, 관계되고 사용자와의 근접성을 통해 근처 관계된 원격 프록시 장치일 수 있음을 유의하라. 검출된 다수의 사용자가 있을 수 있고, 이 경우, 현재 근처의 사용자가 얼굴이 상호작용 범위 내에서 깊이 카메라에 가장 가까운 것으로 검출된 (선택적으로 얼굴이 인식된 및/또는 선택적으로 인증된) 사용자인 것으로 결정된다. 로봇은 상호작용 평면을 생성하고, 현재 사용자로부터의 제스처 입력을 추적하고 인식한다.
로봇과 사용자가 근처 관계된 때에, 로봇은 예를 들어 사용자의 손을 검출 및 추적할 수 있고, 제스처 입력에 응답할 수 있다. 로봇은 메뉴를 표시할 수 있고, 사용자의 얼굴이 인식되면 사용자의 표시(예를 들어, 사용자의 아바타)를 표시할 수 있는 등이다. 사용자의 얼굴이 인식되지 않으면, 로봇은 "알 수 없음" 표시를 표시하고, 관계에 걸처 얼굴 인식 시도를 계속한다.
관계 시작에 관하여, 로봇이 휴지 상태에 있으면 로봇은 되는대로 관계를 찾지만, 찾기의 범위와 유형은 그 배터리 수준에 의존할 수 있다. 자기-지시 상태에서, 로봇은 자주 그리고 정규적으로 (가능하게는 약간의 임의성이 삽입되어) 멈추어서 되는대로 관계를 찾을 수 있다. 사용자-지시 상태에서, 로봇은 관계를 찾지 않지만, 예를 들어, 발화, 얼굴 검출 또는 원격 프록시 장치를 이용하여 사용자가 직접 요청하면 관계를 맺을 것이다.
추가적인 세부사항으로 가면, 근처 관계에서, 로봇은 소리나 움직임에 유혹되고, 얼굴 검출을 수행하여 검출된 얼굴을 인식하려고 시도한다. 로봇은 관계를 제안할 수 있고, 사용자는 신중하게 관계 제안을 받아들일 수 있다. 제안은 중복된 것일 수 있고 따라서 사용자가 관계가 희망된다는 것을 명확히 하였다면 제안이 필요하지 않지만, 아래에서 설명의 목적으로, 로봇이 (귀찮게) 검출하는 모든 얼굴과 관계를 맺지 않고 관계 맺는 것을 중단하지 않도록, 로봇은 관계를 제안하여야 하고 사용자는 신중하게 그 제안을 받아들여야 한다.
관계 수용의 예는 응시(gaze)를 포함하는데, 여기서 사용자는 소정 기간, 예를 들어 2초 동안 로봇의 카메라를 직접 (예를 들어, 15도 내로) 응시한다. 사용자가 로봇 너머를 보거나 옆을 보면, 관계는 수용된 것으로 생각되지 않는다. 사용자가 로봇을 보고 있는 사용자-초점 주의(user-focused attention) 상태에 있으면 주위 주의 상태(ambient attention) 상태와 달리 동작할 수 있다. 다른 예는, 사용자가 로봇의 이름을 말하는 (그리고 로봇이 인식하는) 경우이다. 제스처도 관계 수용을 위해 검출되고 사용될 수 있는데, 예를 들어, 사용자는 "에어터치(airtouch)" 평면을 통해 손을 앞으로 뻗거나, 사용자가 사용자의 볼과 로봇 사이에서 손을 앞뒤로 흔드는 것과 같은 다른 특정한 제스처를 취한다.
로봇 상에서 실행되는 일부 애플리케이션은 적극적으로 여하한 사용자 또는 특정 사용자와의 관계를 시작할 수 있다. 이러한 경우에, 애플리케이션은 되는대로 사람을 찾고 얼굴을 스캔할 수 있다. 얼굴이 검출되는 때에, 애플리케이션은 관계 제안을 할 수 있다.
관계 프로세스는 사용자를 귀찮게 하는 것과 같은 바람직하지 않은 행동을 초래할 수 있다. 관계 문제를 축소시키기 위해, 로봇은 다른 결정을 채용하거나 다른 결정을 할 수 있다. 예를 들어, 로봇이 비-인간(소스가 머리 모양을 갖지 않음)으로부터 연속적인 음성 및/또는 RGB 움직임을 검출하면, 로봇은 소스의 위치를 "미디어 플레이어"로 표시하고 그 위치에서의 음성, 동작 및 얼굴을 무시한다. 로봇은 관계에서 물러설 수 있는데(back off), 예를 들어, 로봇이 한 위치에서 잦은 관계 제안을 하고 하나도 받아들여지지 않으면, 로봇은 일시적으로 그 위치에서의 또는 특정 사용자로의 제안의 빈도를 줄인다. 로봇은 빈도를 조정하기 위해 전달할 메시지의 긴급성과 같은 인자를 고려할 수 있다. 로봇은 다른 사람을 검출하고 대신에 그 사람과 관계를 맺으려고 시도할 수 있다. 로봇은 조정하여 가끔 다른 사람보다 먼저 한 사용자에게 갈 수 있고, 그 역일 수도 있다.
다른 태양으로 가면, 사용자의 얼굴이 로봇에게 상실되면, 사용자가 로봇의 시야 범위 (프레임)을 떠났고 사용자가 관계를 계속하고 싶으면 곧 돌아올 것이라는 것이 가정이다. 그러나, 사용자가 무심코 프레임을 떠났지만 여전히 상호작용하고자 할 수 있다. 로봇은 관계를 맺은 때에 추적 행동을 갖고, 그러므로 이는 사용자가 상호작용 범위 밖으로 가거나 로봇이 추적하기에는 너무 빨리 움직이는 때에만 일어난다는 것을 유의하라. 그러므로, 사용자가 떠난 것으로 생각하기 전에 시간 기간(예를 들어, 3초)이 사용되고, 예를 들어, 사용자 복귀를 돕도록 카메라를 같은 위치에 두고, 그 후에 로봇이 표준 관계 전 상태로 돌아간다. 유사한 상황은 사용자가 로봇으로부터 멀리 걸어가고 더 이상 상호작용하기를 원치 않는 때이다; 이 경우, 로봇은 예를 들어 수 초 후에 그 태스크를 다시 시작한다.
그러므로, 로봇이 사용자의 얼굴의 모습을 잃으면, 로봇은 카메라 앵글을 리셋하여 대부분의 사용자가 쉽게 찾아질 수 있게 한다. 그러면 로봇은 그의 무활동 타임아웃에 도달하기를 기다린 후에 관계 상태로부터 빠져나간다.
자율 관계 행동은 로봇이 도움이 되고 쌍방향성이어야 한다는 점에 기초하고, 사용자를 찾고 사용자에 접근함으로써 부분적으로 이루어질 수 있다. 로봇이 자율-지시 상태나 휴지 상태에 있는 때에, 로봇은 주위를 관찰하고, 사람을 찾는데, 예를 들어, 로봇은 검출을 최적화하기 위해 그 관련 센서를 회전시킬 수 있다. 로봇이 사람을 검출하면, 로봇은 관계를 제안한다; 사람이 관계 범위 밖에 있으면, 로봇은 사용자를 향해 갈 수 있고, 관계 범위 내에 있으면 관계를 제안할 수 있다.
예시적인 컴퓨팅 장치
언급한 바와 같이, 유리하게는, 여기 설명된 기술은 여하한 장치에 적용될 수 있다. 그러므로, 핸드헬드, 휴대용 및 기타 컴퓨팅 장치와 모든 종류의 컴퓨팅 물체가 다양한 실시형태와 관련한 사용을 위해 고려됨을 이해할 수 있다. 예를 들어, 아래 도 4에서 설명되는 범용 원격 컴퓨터는 로봇 장치를 위한 하드웨어 및 기저 소프트웨어 플랫폼의 대부분을 형성할 수 있는 컴퓨팅 장치의 일 예일 뿐이다.
실시형태는 부분적으로, 장치나 물체를 위한 서비스의 개발자에 의해 사용되기 위하여, 운영 체제를 통해 구현될 수 있거나, 및/또는 여기 설명된 다양한 실시형태 중 하나 이상의 기능적 태양을 수행하도록 동작하는 애플리케이션 소프트웨어 내에 포함될 수 있다. 소프트웨어는, 클라이언트 워크스테이션, 서버 또는 기타 장치와 같은 하나 이상의 컴퓨터에 의해 실행되고 있는, 프로그램 모듈과 같은 컴퓨터 실행가능 명령의 일반적인 맥락에서 설명될 수 있다. 당업자는 컴퓨터 시스템이 데이터를 통신하는데 사용될 수 있는 다양한 구성 및 프로토콜을 가질 수 있고 그러므로 특정 구성이나 프로토콜은 제한적인 것으로 생각되지 않음을 인식할 것이다.
도 4는 그러므로 여기에 도시된 실시형태 중 하나 또는 태양들이 구현될 수 있는 적당한 컴퓨팅 시스템 환경(400)의 예를 도시하지만, 위에서 명확히 한 바와 같이, 컴퓨팅 시스템 환경(400)은 적당한 컴퓨팅 환경의 일 예일 뿐이고 사용이나 기능의 범위에 관한 여하한 제한도 시사하려는 것이 아니다. 또한, 컴퓨팅 시스템 환경(400)은 예시적인 컴퓨팅 시스템 환경(400)에 도시된 컴포넌트 중 여하한 하나 또는 그 결합에 관한 여하한 의존성을 갖는 것으로 해석되려는 것이 아니다.
도 4를 참조하면, 하나 이상의 실시형태를 구현하기 위한 예시적인 원격 장치는 컴퓨터(410)의 형태로 범용 컴퓨팅 장치를 포함한다. 컴퓨터(410)의 컴포넌트는, 처리 유닛(420), 시스템 메모리(430) 및 시스템 메모리를 포함하는 다양한 시스템 컴포넌트를 처리 유닛(420)에 결합하는 시스템 버스(422)를 포함할 수 있지만 이에 제한되지 않는다.
컴퓨터(410)는 통상 다양한 컴퓨터 판독가능 매체를 포함하지만 컴퓨터(410)에 의해 액세스될 수 있는 여하한 가용 매체일 수 있다. 시스템 메모리(430)는 ROM(read only memory) 및/또는 RAM(random access memory)와 같은 휘발성 및/또는 비휘발성 메모리의 형태로 컴퓨터 저장 매체를 포함할 수 있다. 제한이 아니라 예로서, 시스템 메모리는 또한 운영 체제, 애플리케이션 프로그램, 기타 프로그램 모듈 및 프로그램 데이터를 포함할 수 있다.
사용자는 입력 장치(440)를 통해 컴퓨터(410)로 명령과 정보를 입력할 수 있다. 모디터 또는 기타 유형의 디스플레이 장치가 또한 출력 인터페이스(450)와 같은 인터페이스를 통해 시스템 버스(422)로 접속된다. 모니터에 추가하여, 컴퓨터는 또한 스피커와 프린터와 같은 기타 주변 출력 장치를 포함할 수 있는데, 이는 출력 인터페이스(450)를 통해 접속될 수 있다.
컴퓨터(410)는 원격 컴퓨터(470)와 같은 하나 이상의 다른 원격 컴퓨터로의 논리적 접속을 이용하여 네트워크된 또는 분산된 환경에서 동작할 수 있다. 원격 컴퓨터(470)는 퍼스널 컴퓨터, 서버, 라우터, 네트워크 PC, 피어 장치 또는 기타 공통 네트워크 노드, 또는 여하한 기타 원격 매체 소비(consumption) 또는 전송 장치일 수 있고, 컴퓨터(410)에 대해 상술한 요소 중 여하한 것 또는 전부를 포함할 수 있다. 도 4에 도시된 논리적 접속은 LAN(local area network) 또는 WAN(wide area network)와 같은 네트워크(472)를 포함하지만, 다른 네트워크/버스도 포함할 수 있다. 이러한 네트워킹 환경은 가정, 사무실, 기업 범위 컴퓨터 네트워크 인트라넷 및 인터넷에서 흔하다.
상술한 바와 같이, 다양한 컴퓨팅 장치 및 네트워크 아키텍처와 관련하여 예시적인 실시형태가 설명되었지만, 기저의 개념은 리소스 사용의 효율을 개선하는 것이 바람직한 여하한 컴퓨팅 장치나 시스템 몇 여하한 네트워크 시스템에 적용될 수 있다.
또한, 동일 또는 유사한 기능을 구현하기 위한 다수의 방법, 예를 들어, 애플리케이션과 서비스가 여기 제공된 기술을 이용할 수 있게 하는 적절한 API, 툴킷(tool kit), 드라이버 코드, 운영 체제, 제어, 독립 또는 다운로드가능 소프트웨어 객체 등이 존재한다. 그러므로, 여기의 실시형태는 API(또는 기타 소프트웨어 객체)의 관점에서뿐만 아니라 여기에 설명되는 바와 같은 하나 이상의 실시형태를 구현하는 소프트웨어나 하드웨어 객체의 관점에서 고려된다. 그러므로, 여기 설명된 다양한 실시형태는 전부 하드웨어 안에 있는 태양, 부분적으로 하드웨어 안에 있고 부분적으로 소프트웨어에 있는 태양뿐만 아니라 소프트웨어 안에 있는 태양을 가질 수 있다.
"예시적인"이라는 단어는 여기서 예, 경우, 또는 예시로 기능하는 것을 의미하는 것으로 사용된다. 의심을 피하기 위해, 여기 개시된 주제는 이러한 예에 의해 제한되지 않는다. 또한, 여기서 "예시적"인 것으로 설명된 여하한 태양이나 설계는 다른 태양이나 설계에 비해 선호되거나 유리한 것으로 해석되어야 하는 것은 아니고, 당업자에게 알려진 균등한 예시적 구조 및 기술을 배제하려는 것도 아니다. 또한, "포함한다(include)," "갖는다," "포함한다(contain)" 및 기타 유사한 단어가 사용되는 범위에서, 의심을 피하기 위해, 이러한 용어는 청구범위에서 사용되는 때에 여하한 추가의 또는 기타 요소를 배제하지 않는 개방형 전환어(open transition word)로서의 용어 "포함하는(comprsing)"과 유사한 방식으로 포괄적인 것으로 의도된다.
언급된 바와 같이, 여기 설명된 다양한 기술은 하드웨어 또는 소프트웨어와 관련하여, 또는 적절한 때에는 양자의 결합과 관련하여 구현될 수 있다. 여기에 사용되는 바와 같은 용어 "컴포넌트," "모듈," "시스템" 등은 유사하게 하드웨어, 하드웨어와 소프트웨어의 결합, 소프트웨어 또는 실행 중의 소프트웨어 중 하나인 컴퓨터-관련 엔티티를 지칭하려는 것이다. 예를 들어, 컴포넌트는 프로세서 상에서 실행되는 프로세스, 프로세서, 객체, 실행파일(executable), 실행 스레드(thread) 프로그램 및/또는 컴퓨터일 수 있지만 이에 제한되지 않는다. 예시로서, 컴퓨터 상에서 실행되는 애플리케이션과 컴퓨터 양자는 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행의 스레드 내에 거주할 수 있고, 컴포넌트는 하나의 컴퓨터에 국지화되거나 및/또는 2 이상의 컴퓨터 사이에서 분산될 수 있다.
전술한 시스템은 몇몇의 컴포넌트 사이의 상호작용에 관해 설명되었다. 이러한 시스템과 컴포넌트는 그들 컴포넌트 또는 특정된 서브-컴포넌트, 특정된 컴포넌트 또는 서브-컴포넌트 중 일부 및/또는 추가의 컴포넌트를 포함할 수 있고, 또한 전술한 것의 다양한 순열과 조합에 따를 수 있음을 인식할 수 있다. 서브-컴포넌트는 부모 컴포넌트 내에 포함되는(계층적) 것이 아니라 다른 컴포넌트에 통신적으로 결합되는 컴포넌트로 구현될 수도 있다. 또한, 하나 이상의 컴포넌트가 집합 기능을 제공하는 단일 컴포넌트로 결합되거나 별개의 서브 컴포넌트들로 나누어질 수 있고, 관리 계층과 같은 여하한 하나 이상의 중간 계층이 집적된 기능을 제공하기 위해 이러한 서브-컴포넌트로 통신적으로 결합하기 위해 제공될 수 있음을 유의할 수 있다. 여기 설명된 여하한 컴포넌트는 또한 여기 구체적으로 설명되지 않지만 당업자가 일반적으로 알고 있는 하나 이상의 다른 컴포넌트와 상호작용할 수도 있다.
여기 설명된 예시적인 시스템에 비추어, 설명된 주제에 따라 구현될 수 있는 방법론은 또한 다양한 도면의 흐름도를 참조하여 인식될 수 있다. 설명의 단순화를 위해 방법론은 블록의 시리즈로 도시되고 설명되지만, 일부 블록은 여기 도시되고 설명된 것과 다른 순서로 및/또는 다른 블록과 동시에 일어날 수 있어서 다양한 실시형태는 블록의 순서에 의해 제한되지 않음을 이해할 것이다. 흐름도를 통해 비순차적인, 또는 분기되는 흐름이 도시되는 경우, 동일 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로 및 블록의 순서가 구현될 수 있음을 인식할 수 있다. 또한, 일부 도시된 블록은 후술하는 방법론을 구현하는데 선택적이다.
결론
본 발명이 다양한 변경 및 대안적 구조를 허용할 수 있지만, 특정한 도시된 실시형태가 도면에 도시되고 위에서 상세히 설명되었다. 그러나, 본 발명을 개시된 특정 형태로 제한하려는 의도는 없고, 오히려, 모든 변경, 대안적 구조 및 본 발명의 사상과 범위 내에 있는 균등물을 커버하려는 의도임을 이해하여야 한다.
여기 설명된 다양한 실시형태에 추가하여, 대응하는 실시형태(들)과 동일한 또는 균등한 기능을 수행하기 위해 그들로부터 벗어남이 없이 다른 유사한 실시형태가 사용될 수 있거나 설명된 실시형태(들)에 변경과 추가가 이루어질 수 있음을 이해하여야 한다. 또한, 다수의 처리 칩 또는 다수의 장치가 여기 설명된 하나 이상의 기능의 수행을 공유할 수 있고, 유사하게, 저장소가 복수의 장치에 걸쳐 이루어질 수 있다. 따라서, 본 발명은 여하한 단일 실시형태로 제한될 것이 아니고, 첨부된 청구범위에 따른 폭, 사상 및 범위에서 해석될 것이다.
Claims (20)
- 컴퓨팅 환경에서의 로봇 장치로서,
상기 로봇 장치에 정보를 입력하는 센서 세트와,
사용자와의 통신을 위한 하나 이상의 출력 양상(modality)을 포함하는 출력 메커니즘과,
동작 상태에 관하여 상기 로봇 장치의 동작을 제어하도록 구성된 모델(model)을 포함하고,
상기 동작 상태는, 상기 로봇 장치가 직접적인 사용자 입력으로부터 독립된 태스크를 수행하는 자율 태스크 상태(autonomous task state), 및 상기 로봇 장치가 상기 센서 세트와 상기 출력 메커니즘을 통해 상기 사용자와 상호작용하는 관계 상태(engagement state)를 포함하며,
상기 모델은, 상기 센서 세트를 통해 수신되는 정보를 포함하는 현재 맥락 및 우선순위 레벨 순서에 기초하여, 상기 자율 태스크 상태에서 상기 관계 상태로 로 언제 전이할지, 및 상기 관계 상태에서 상기 자율 태스크 상태로 언제 전이할지를 결정하도록 구성되는
로봇 장치.
- 제 1 항에 있어서,
상기 자율 태스크 상태는, 상기 로봇 장치가 사용자 입력에 기초하여 하나 이상의 사용자 태스크를 포함하는 태스크 세트를 수행하는 사용자-지시(user-directed) 모드, 및 상기 로봇 장치가 사용자 입력에 기초하지 않는 하나 이상의 태스크를 수행하는 자율-지시(self-directed) 모드를 포함하는
로봇 장치.
- 제 2 항에 있어서,
휴지(rest) 상태를 더 포함하고,
상기 모델은, 상기 자율 태스크 상태에서는, 상기 관계 상태가 상기 사용자-지시 모드보다 높은 우선 순위를 갖고, 상기 사용자-지시 모드가 상기 자율-지시 모드보다 높은 우선 순위를 가지며, 상기 자율 태스크 상태의 상기 자율-지시 모드가 상기 휴지 상태보다 높은 우선 순위를 갖는다고 하는, 우선 순위 순서에 따라 상기 로봇 장치의 동작을 제어하는
로봇 장치.
- 제 1 항에 있어서,
휴지(rest) 상태를 더 포함하고,
상기 모델은, 명시적인 관계 맺기 요청을 검출하는 것에 기초해서 상기 휴지 상태에서 나와서 상기 관계 상태로 들어가고, 트리거링 이벤트를 검출하는 것에 기초해서 상기 휴지 상태에서 나와서 상기 자율 태스크 상태로 들어가도록 더 구성되는
로봇 장치.
- 제 1 항에 있어서,
상기 모델은, 상기 로봇 장치가 상기 사용자와의 관계 맺기 시도를 개시하고 상기 시도가 성공했을 때, 상기 로봇 장치를 상기 자율 태스크 상태에서 상기 관계 상태로 전이시키는
로봇 장치.
- 제 1 항에 있어서,
상기 모델은, 상기 로봇 장치가 우연한 만남에 의해 상기 사용자를 검출하고 또한 상기 로봇 장치가 상기 사용자가 상기 로봇 장치와의 상호작용에 관심이 있을 수 있다는 것을 검출했을 때, 상기 로봇 장치를 상기 자율 태스크 상태에서 상기 관계 상태로 전이시키는
로봇 장치.
- 제 1 항에 있어서,
상기 모델은,
상기 로봇 장치가 상기 태스크를 수행하고 있는 동안에 상기 사용자가 상기 로봇 장치와의 관계 맺기 시도를 개시한 경우에, 상기 로봇 장치를 상기 자율 태스크 상태에서 상기 관계 상태로 전이시키고,
상기 관계 상태에 있는 동안, 상기 로봇 장치는 상기 태스크를 다시 시작할지 아니면 상기 관계 상태에 머무를지를 결정하기 위해 상기 사용자와 통신하는
로봇 장치.
- 로봇으로 하여금 자율적으로 동작을 수행하게 하는 하나 이상의 프로그램을 상기 로봇에서 실행시키기 위해, 컴퓨팅 환경에서, 적어도 하나의 프로세서 상에서 적어도 부분적으로 수행되는 방법으로서,
자율 태스크 상태에 있는 동안 태스크 세트를 수행하는 단계와,
사용자를 검출하는 단계와,
상기 사용자와 관계 맺기(engage)를 시도하는 단계와,
상기 관계 맺기 시도가 성공하면, 현재 맥락 및 우선순위 레벨 순서에 기초하여 관계 상태로 들어가서 상기 사용자와 상호작용하는 단계
를 포함하는 방법.
- 제 8 항에 있어서,
상기 동작은,
상기 관계 상태로 들어가는 것과,
상기 사용자와 상호작용하는 것과,
현재 상태 데이터의 변화에 기초해서 상기 관계 상태로부터 관계 끊기하는(disengaging) 것
을 더 포함하는 방법.
- 제 9 항에 있어서,
상기 현재 상태 데이터의 변화에 기초해서 상기 관계 상태로부터 관계 끊기하는 것은, 일정 시간 기간 동안 상기 사용자가 상기 로봇으로부터 멀어졌거나 혹은 상기 로봇으로부터 주의(attention)가 멀어졌다는 것을 검출하는 것, 또는 사용자로부터 관계 끊기 명령(disengage command)에 대응하는 통신 데이터를 수신하는 것을 포함하는
방법.
- 제 8 항에 있어서,
상기 사용자와 관계 맺기를 시도하는 것은, 상기 태스크 세트의 태스크를 중단하는 것 및 관계 맺기를 제안하는 것을 개시하는 것을 포함하는
방법.
- 제 8 항에 있어서,
상기 사용자를 검출하는 것은, 원격 프록시 통신을 검출하는 것, 오디오 데이터를 검출하는 것 혹은 모션을 검출하는 것을 포함한, 복수의 자극 중 하나를 검출하는 것을 포함하고,
상기 사용자와 관계 맺기를 시도하는 것은, 상기 자극 중 어느 것이 검출되었는지에 기초해서, 상기 관계 맺기의 시도에 대응하는 적어도 하나의 동작을 변경하는 것을 포함하는
방법.
- 제 8 항에 있어서,
상기 사용자를 검출하는 것은, 상기 사용자가 근처에 존재하는 것을 우연히 검지하는 것, 혹은 상기 사용자를 적극적으로 찾아냄으로써 상기 사용자가 근처에 존재하는 것을 검지하는 것을 포함하는
방법.
- 제 8 항에 있어서,
상기 사용자와 관계 맺기를 시도하는 것은,
상기 사용자를 향해서 이동하는 것이나, 혹은
상기 사용자를 향해서 청각 통신 데이터나 시각 통신 데이터, 혹은 이들 모두를 출력하는 것이나, 혹은
상기 사용자를 향해서 이동하는 것과 상기 사용자를 향해서 청각 통신 데이터나 시각 통신 데이터, 혹은 이들 모두를 출력하는 것 모두
에 의해서 상기 관계 맺기 시도를 개시하는 것을 포함하는
방법.
- 제 8 항에 있어서,
상기 사용자와 관계 맺기를 시도하는 것은, 상기 사용자의 이전의 관계 이력에 기초하여 상기 관계 맺기 시도를 조정하는(adapting) 것을 포함하는
방법.
- 제 15 항에 있어서,
상기 관계 맺기 시도를 조정하는 것은, 상기 관계 맺기 시도에 대한 빈도-한정된 시간(frequency-determined time)에 이를 때까지 대기하는 것을 포함하는
방법.
- 제 8 항에 있어서,
상기 사용자와 관계 맺기의 시도에 성공한 경우,
상기 사용자가 상기 로봇을 찾고 있는 것이나, 상기 로봇에 말을 하는 것이나, 혹은 상기 로봇에 제스쳐하는 것을 검출하는 것에 기초해서, 또는 상기 사용자가 상기 로봇을 찾고 있는 것과, 상기 로봇에 말을 하는 것과, 상기 로봇에 제스쳐하는 것을 검출하는 것의 임의의 조합을 검출한 것에 기초해서, 상기 사용자와 맺어진 관계를 유지하는 단계
를 더 포함하는 방법.
- 로봇으로 하여금 자율적으로 동작을 수행하게 하는 하나 이상의 프로그램을 상기 로봇에서 실행시키기 위한 컴퓨터 실행가능 명령이 저장된 하나 이상의 컴퓨터 판독가능 매체로서, 상기 컴퓨터 실행가능 명령은 실행될 때,
상기 로봇이 독립적으로 태스크를 수행하는 자율 태스크 상태의 자율-지시 모드에서 동작하는 단계와,
상기 로봇이 사용자로부터의 이전의 입력과 트리거링 이벤트의 검출에 기초하여 사용자 태스크를 수행하는 상기 자율 태스크 상태의 사용자-지시 모드에서 동작하는 단계와,
상기 사용자 태스크를 완료하는 단계와,
상기 자율 태스크 상태에서 관계 상태로 전이하는 것과, 상기 관계 상태에 있는 동안 다른 사용자 태스크에 대응하는 정보를 수신하는 것과, 상기 다른 사용자 태스크를 수행하기 위해 상기 자율 태스크 상태로 전이하는 것을 포함하는 다른 사용자 태스크를 상기 로봇이 수행하는 상기 사용자-지시 모드의 다른 인스턴스에서 동작하는 단계
를 수행하는
하나 이상의 컴퓨터 판독가능 매체.
- 제 18 항에 있어서,
상기 하나 이상의 프로그램은 또한, 상기 로봇으로 하여금, 휴지 상태로부터 상기 관계 상태로 전이하거나, 혹은 휴지 상태로부터 상기 자율 태스크 상태로 전이하는 동작을 수행하게 하는
하나 이상의 컴퓨터 판독가능 매체.
- 제 18 항에 있어서,
상기 하나 이상의 프로그램은 또한, 상기 로봇으로 하여금, 현재 맥락을 결정하기 위해 입력 데이터를 감지하는 동작을 수행하게 하고,
상기 트리거링 이벤트는 상기 현재 맥락에 대응하는 정보에 기초하는
하나 이상의 컴퓨터 판독가능 매체.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/005,839 | 2011-01-13 | ||
US13/005,839 US8818556B2 (en) | 2011-01-13 | 2011-01-13 | Multi-state model for robot and user interaction |
PCT/US2012/021001 WO2012097109A2 (en) | 2011-01-13 | 2012-01-12 | Multi-state model for robot and user interaction |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140037802A KR20140037802A (ko) | 2014-03-27 |
KR101984320B1 true KR101984320B1 (ko) | 2019-05-30 |
Family
ID=46491380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020137018167A KR101984320B1 (ko) | 2011-01-13 | 2012-01-12 | 로봇과 사용자 상호작용을 위한 다중 상태 모델 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8818556B2 (ko) |
EP (2) | EP3722054A1 (ko) |
JP (1) | JP5905488B2 (ko) |
KR (1) | KR101984320B1 (ko) |
CN (1) | CN102609089B (ko) |
HK (1) | HK1171830A1 (ko) |
WO (1) | WO2012097109A2 (ko) |
Families Citing this family (179)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012170256A1 (en) * | 2011-05-31 | 2012-12-13 | Intuitive Surgical Operations, Inc. | Positive control of robotic surgical instrument end effector |
WO2012172721A1 (ja) * | 2011-06-14 | 2012-12-20 | パナソニック株式会社 | ロボット装置、ロボット制御方法、及びロボット制御プログラム |
KR20130021943A (ko) * | 2011-08-24 | 2013-03-06 | 한국전자통신연구원 | 디지털 마인드 서비스 장치 및 방법 |
US9656392B2 (en) * | 2011-09-20 | 2017-05-23 | Disney Enterprises, Inc. | System for controlling robotic characters to enhance photographic results |
KR102067458B1 (ko) | 2011-10-21 | 2020-01-20 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 로봇 수술 기구 엔드 이펙터용 파지력 제어 방법 |
US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
US9753453B2 (en) | 2012-07-09 | 2017-09-05 | Deep Learning Robotics Ltd. | Natural machine interface system |
DE102012109004A1 (de) * | 2012-09-24 | 2014-03-27 | RobArt GmbH | Roboter und Verfahren zur autonomen Inspektion oder Bearbeitung von Bodenflächen |
AU2013204965B2 (en) * | 2012-11-12 | 2016-07-28 | C2 Systems Limited | A system, method, computer program and data signal for the registration, monitoring and control of machines and devices |
KR20140077489A (ko) * | 2012-12-14 | 2014-06-24 | 삼성전자주식회사 | 사용자 단말 장치, 네트워크 장치 및 그 제어 방법 |
US8868238B1 (en) | 2013-01-10 | 2014-10-21 | The United States Of America As Represented By The Secretary Of The Army | Apparatus and method for systematic control of robotic deployment and extraction |
US9625884B1 (en) | 2013-06-10 | 2017-04-18 | Timothy Harris Ousley | Apparatus for extending control and methods thereof |
US9211644B1 (en) | 2013-10-25 | 2015-12-15 | Vecna Technologies, Inc. | System and method for instructing a device |
US9846843B2 (en) * | 2013-10-30 | 2017-12-19 | Georgia Tech Research Corporation | Methods and systems for facilitating interactions between a robot and user |
CN104881108B (zh) * | 2014-02-27 | 2018-08-31 | 青岛海尔机器人有限公司 | 一种智能人机交互方法及装置 |
EP2933070A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | Methods and systems of handling a dialog with a robot |
EP2933066A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | Activity monitoring of a robot |
EP2933064A1 (en) * | 2014-04-17 | 2015-10-21 | Aldebaran Robotics | System, method and computer program product for handling humanoid robot interaction with human |
US9272418B1 (en) * | 2014-09-02 | 2016-03-01 | The Johns Hopkins University | System and method for flexible human-machine collaboration |
US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US10046457B2 (en) | 2014-10-31 | 2018-08-14 | General Electric Company | System and method for the creation and utilization of multi-agent dynamic situational awareness models |
WO2016132729A1 (ja) * | 2015-02-17 | 2016-08-25 | 日本電気株式会社 | ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体 |
US9875502B2 (en) | 2015-03-06 | 2018-01-23 | Wal-Mart Stores, Inc. | Shopping facility assistance systems, devices, and methods to identify security and safety anomalies |
US20180099846A1 (en) | 2015-03-06 | 2018-04-12 | Wal-Mart Stores, Inc. | Method and apparatus for transporting a plurality of stacked motorized transport units |
WO2016142794A1 (en) | 2015-03-06 | 2016-09-15 | Wal-Mart Stores, Inc | Item monitoring system and method |
CN106325113B (zh) * | 2015-06-26 | 2019-03-19 | 北京贝虎机器人技术有限公司 | 机器人控制引擎及*** |
CN106325142A (zh) * | 2015-06-30 | 2017-01-11 | 芋头科技(杭州)有限公司 | 一种机器人***及其控制方法 |
CN105446491B (zh) * | 2015-12-16 | 2018-09-18 | 北京光年无限科技有限公司 | 一种基于智能机器人的交互方法和装置 |
JP6726388B2 (ja) * | 2016-03-16 | 2020-07-22 | 富士ゼロックス株式会社 | ロボット制御システム |
CN105843118B (zh) * | 2016-03-25 | 2018-07-27 | 北京光年无限科技有限公司 | 一种机器人交互方法及机器人*** |
CA2961938A1 (en) | 2016-04-01 | 2017-10-01 | Wal-Mart Stores, Inc. | Systems and methods for moving pallets via unmanned motorized unit-guided forklifts |
US10019566B1 (en) | 2016-04-14 | 2018-07-10 | X Development Llc | Authorizing robot use and/or adapting physical control parameters for a robot |
GB2564809B (en) * | 2016-06-14 | 2021-11-17 | Groove X Inc | Autonomously acting robot that seeks coolness |
CN107813306B (zh) * | 2016-09-12 | 2021-10-26 | 徐州网递智能科技有限公司 | 机器人及其动作控制方法和装置 |
US10265844B2 (en) * | 2017-03-24 | 2019-04-23 | International Business Machines Corporation | Creating assembly plans based on triggering events |
US11250844B2 (en) * | 2017-04-12 | 2022-02-15 | Soundhound, Inc. | Managing agent engagement in a man-machine dialog |
JP6817152B2 (ja) * | 2017-06-09 | 2021-01-20 | 本田技研工業株式会社 | サービス提供システム及びデータベース |
JP6572943B2 (ja) * | 2017-06-23 | 2019-09-11 | カシオ計算機株式会社 | ロボット、ロボットの制御方法及びプログラム |
US10427306B1 (en) * | 2017-07-06 | 2019-10-01 | X Development Llc | Multimodal object identification |
US11220008B2 (en) * | 2017-07-18 | 2022-01-11 | Panasonic Intellectual Property Management Co., Ltd. | Apparatus, method, non-transitory computer-readable recording medium storing program, and robot |
JP7075168B2 (ja) * | 2017-07-18 | 2022-05-25 | パナソニックホールディングス株式会社 | 装置、方法、プログラム、及びロボット |
JP6393377B1 (ja) * | 2017-07-24 | 2018-09-19 | ユニティガードシステム株式会社 | ロボット、情報提供方法及び情報提供システム |
KR102000110B1 (ko) * | 2017-08-21 | 2019-07-15 | 한국기계연구원 | 혼합현실을 이용한 자율기계시스템 및 자율기계시스템 제어방법 |
WO2019054846A1 (en) | 2017-09-18 | 2019-03-21 | Samsung Electronics Co., Ltd. | DYNAMIC INTERACTION METHOD AND ELECTRONIC DEVICE THEREOF |
US11229436B2 (en) | 2017-10-30 | 2022-01-25 | Cilag Gmbh International | Surgical system comprising a surgical tool and a surgical hub |
US11291510B2 (en) | 2017-10-30 | 2022-04-05 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
US20190125320A1 (en) | 2017-10-30 | 2019-05-02 | Ethicon Llc | Control system arrangements for a modular surgical instrument |
US11311342B2 (en) | 2017-10-30 | 2022-04-26 | Cilag Gmbh International | Method for communicating with surgical instrument systems |
US11317919B2 (en) | 2017-10-30 | 2022-05-03 | Cilag Gmbh International | Clip applier comprising a clip crimping system |
US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11141160B2 (en) | 2017-10-30 | 2021-10-12 | Cilag Gmbh International | Clip applier comprising a motor controller |
CN107831903B (zh) * | 2017-11-24 | 2021-02-02 | 科大讯飞股份有限公司 | 多人参与的人机交互方法及装置 |
US11096693B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing |
US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
US11056244B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks |
US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
US11304699B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
US10944728B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Interactive surgical systems with encrypted communication capabilities |
US11234756B2 (en) | 2017-12-28 | 2022-02-01 | Cilag Gmbh International | Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter |
US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
US10987178B2 (en) | 2017-12-28 | 2021-04-27 | Ethicon Llc | Surgical hub control arrangements |
US11273001B2 (en) | 2017-12-28 | 2022-03-15 | Cilag Gmbh International | Surgical hub and modular device response adjustment based on situational awareness |
US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
US10595887B2 (en) | 2017-12-28 | 2020-03-24 | Ethicon Llc | Systems for adjusting end effector parameters based on perioperative information |
US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
US11051876B2 (en) | 2017-12-28 | 2021-07-06 | Cilag Gmbh International | Surgical evacuation flow paths |
US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
US11419667B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location |
US10932872B2 (en) | 2017-12-28 | 2021-03-02 | Ethicon Llc | Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set |
US11304745B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical evacuation sensing and display |
US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
US11179208B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Cloud-based medical analytics for security and authentication trends and reactive measures |
US11278281B2 (en) | 2017-12-28 | 2022-03-22 | Cilag Gmbh International | Interactive surgical system |
US11464535B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Detection of end effector emersion in liquid |
US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
US11364075B2 (en) | 2017-12-28 | 2022-06-21 | Cilag Gmbh International | Radio frequency energy device for delivering combined electrical signals |
US11529187B2 (en) | 2017-12-28 | 2022-12-20 | Cilag Gmbh International | Surgical evacuation sensor arrangements |
US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
US11317937B2 (en) | 2018-03-08 | 2022-05-03 | Cilag Gmbh International | Determining the state of an ultrasonic end effector |
US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
US11672605B2 (en) | 2017-12-28 | 2023-06-13 | Cilag Gmbh International | Sterile field interactive control displays |
US11311306B2 (en) | 2017-12-28 | 2022-04-26 | Cilag Gmbh International | Surgical systems for detecting end effector tissue distribution irregularities |
US10695081B2 (en) | 2017-12-28 | 2020-06-30 | Ethicon Llc | Controlling a surgical instrument according to sensed closure parameters |
US20190201594A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
US11446052B2 (en) | 2017-12-28 | 2022-09-20 | Cilag Gmbh International | Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue |
US11160605B2 (en) | 2017-12-28 | 2021-11-02 | Cilag Gmbh International | Surgical evacuation sensing and motor control |
US11179175B2 (en) | 2017-12-28 | 2021-11-23 | Cilag Gmbh International | Controlling an ultrasonic surgical instrument according to tissue location |
US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
US10943454B2 (en) | 2017-12-28 | 2021-03-09 | Ethicon Llc | Detection and escalation of security responses of surgical instruments to increasing severity threats |
US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
US11213359B2 (en) | 2017-12-28 | 2022-01-04 | Cilag Gmbh International | Controllers for robot-assisted surgical platforms |
US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
US10898622B2 (en) | 2017-12-28 | 2021-01-26 | Ethicon Llc | Surgical evacuation system with a communication circuit for communication between a filter and a smoke evacuation device |
US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
US11304720B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Activation of energy devices |
US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US20190201039A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Situational awareness of electrosurgical systems |
US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
US10849697B2 (en) | 2017-12-28 | 2020-12-01 | Ethicon Llc | Cloud interface for coupled surgical devices |
US10966791B2 (en) | 2017-12-28 | 2021-04-06 | Ethicon Llc | Cloud-based medical analytics for medical facility segmented individualization of instrument function |
US10755813B2 (en) | 2017-12-28 | 2020-08-25 | Ethicon Llc | Communication of smoke evacuation system parameters to hub or cloud in smoke evacuation module for interactive surgical platform |
US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
US11419630B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Surgical system distributed processing |
US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
US11291495B2 (en) | 2017-12-28 | 2022-04-05 | Cilag Gmbh International | Interruption of energy due to inadvertent capacitive coupling |
US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
US11308075B2 (en) * | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity |
US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
US11100631B2 (en) | 2017-12-28 | 2021-08-24 | Cilag Gmbh International | Use of laser light and red-green-blue coloration to determine properties of back scattered light |
US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
US11659023B2 (en) | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
US11304763B2 (en) | 2017-12-28 | 2022-04-19 | Cilag Gmbh International | Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use |
US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
US11410259B2 (en) | 2017-12-28 | 2022-08-09 | Cilag Gmbh International | Adaptive control program updates for surgical devices |
US11844579B2 (en) | 2017-12-28 | 2023-12-19 | Cilag Gmbh International | Adjustments based on airborne particle properties |
US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
US11423007B2 (en) * | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Adjustment of device control programs based on stratified contextual data in addition to the data |
US11376002B2 (en) | 2017-12-28 | 2022-07-05 | Cilag Gmbh International | Surgical instrument cartridge sensor assemblies |
US11284936B2 (en) | 2017-12-28 | 2022-03-29 | Cilag Gmbh International | Surgical instrument having a flexible electrode |
US20190201139A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Communication arrangements for robot-assisted surgical platforms |
US10892899B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Self describing data packets generated at an issuing instrument |
US11266468B2 (en) | 2017-12-28 | 2022-03-08 | Cilag Gmbh International | Cooperative utilization of data derived from secondary sources by intelligent surgical hubs |
US11147607B2 (en) | 2017-12-28 | 2021-10-19 | Cilag Gmbh International | Bipolar combination device that automatically adjusts pressure based on energy modality |
US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
US11324557B2 (en) | 2017-12-28 | 2022-05-10 | Cilag Gmbh International | Surgical instrument with a sensing array |
US11253315B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Increasing radio frequency to create pad-less monopolar loop |
US11069012B2 (en) | 2017-12-28 | 2021-07-20 | Cilag Gmbh International | Interactive surgical systems with condition handling of devices and data capabilities |
US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
US11589915B2 (en) | 2018-03-08 | 2023-02-28 | Cilag Gmbh International | In-the-jaw classifier based on a model |
US11464532B2 (en) | 2018-03-08 | 2022-10-11 | Cilag Gmbh International | Methods for estimating and controlling state of ultrasonic end effector |
WO2019187581A1 (ja) * | 2018-03-28 | 2019-10-03 | ソニー株式会社 | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム |
US11207067B2 (en) | 2018-03-28 | 2021-12-28 | Cilag Gmbh International | Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing |
US11278280B2 (en) | 2018-03-28 | 2022-03-22 | Cilag Gmbh International | Surgical instrument comprising a jaw closure lockout |
US11259806B2 (en) | 2018-03-28 | 2022-03-01 | Cilag Gmbh International | Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein |
US11197668B2 (en) | 2018-03-28 | 2021-12-14 | Cilag Gmbh International | Surgical stapling assembly comprising a lockout and an exterior access orifice to permit artificial unlocking of the lockout |
US11471156B2 (en) | 2018-03-28 | 2022-10-18 | Cilag Gmbh International | Surgical stapling devices with improved rotary driven closure systems |
US11096688B2 (en) | 2018-03-28 | 2021-08-24 | Cilag Gmbh International | Rotary driven firing members with different anvil and channel engagement features |
US10973520B2 (en) | 2018-03-28 | 2021-04-13 | Ethicon Llc | Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature |
US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
US11219453B2 (en) | 2018-03-28 | 2022-01-11 | Cilag Gmbh International | Surgical stapling devices with cartridge compatible closure and firing lockout arrangements |
US10678228B2 (en) * | 2018-04-04 | 2020-06-09 | Invia Robotics, Inc. | Autonomous robots performing concerted operation based on shared sensory access and holistic flow of information |
CN108551355A (zh) * | 2018-04-23 | 2018-09-18 | 王宏伟 | 一种安防巡逻用机器人 |
CN110653815B (zh) * | 2018-06-29 | 2021-12-07 | 深圳市优必选科技有限公司 | 一种机器人控制方法、机器人及计算机存储介质 |
CN112512763A (zh) * | 2018-08-08 | 2021-03-16 | 索尼公司 | 控制装置、控制方法和程序 |
CN109278051A (zh) * | 2018-08-09 | 2019-01-29 | 北京光年无限科技有限公司 | 基于智能机器人的交互方法及*** |
DE102018214023A1 (de) * | 2018-08-20 | 2020-02-20 | Bayerische Motoren Werke Aktiengesellschaft | Skalierbare Teleoperation Autonomer Roboter |
JP7374581B2 (ja) * | 2018-10-01 | 2023-11-07 | カシオ計算機株式会社 | ロボット、画像処理方法及びプログラム |
KR102228866B1 (ko) * | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
KR102673293B1 (ko) * | 2018-11-08 | 2024-06-11 | 현대자동차주식회사 | 서비스 로봇 및 그의 운용 방법 |
CN109949721A (zh) * | 2019-02-01 | 2019-06-28 | 腾讯科技(深圳)有限公司 | 一种全息影像显示装置以及全息影像的显示控制方法 |
US11291444B2 (en) | 2019-02-19 | 2022-04-05 | Cilag Gmbh International | Surgical stapling assembly with cartridge based retainer configured to unlock a closure lockout |
US11369377B2 (en) | 2019-02-19 | 2022-06-28 | Cilag Gmbh International | Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout |
US11464511B2 (en) | 2019-02-19 | 2022-10-11 | Cilag Gmbh International | Surgical staple cartridges with movable authentication key arrangements |
US11357503B2 (en) | 2019-02-19 | 2022-06-14 | Cilag Gmbh International | Staple cartridge retainers with frangible retention features and methods of using same |
US11317915B2 (en) | 2019-02-19 | 2022-05-03 | Cilag Gmbh International | Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers |
JP7273566B2 (ja) | 2019-03-19 | 2023-05-15 | パナソニックホールディングス株式会社 | ロボット、ロボットの制御方法及びプログラム |
USD964564S1 (en) | 2019-06-25 | 2022-09-20 | Cilag Gmbh International | Surgical staple cartridge retainer with a closure system authentication key |
USD952144S1 (en) | 2019-06-25 | 2022-05-17 | Cilag Gmbh International | Surgical staple cartridge retainer with firing system authentication key |
USD950728S1 (en) | 2019-06-25 | 2022-05-03 | Cilag Gmbh International | Surgical staple cartridge |
CN110286771B (zh) * | 2019-06-28 | 2024-06-07 | 北京金山安全软件有限公司 | 交互方法、装置、智能机器人、电子设备及存储介质 |
KR102292052B1 (ko) * | 2020-02-21 | 2021-08-20 | 네이버 주식회사 | 로봇의 위치 정보와 모바일 단말의 센싱 정보를 수집하는 방법 및 장치 |
CN113771014B (zh) * | 2021-10-09 | 2022-03-18 | 北京中海兴达建设有限公司 | 一种用于建筑施工的scara智能化机械臂控制方法和*** |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001300148A (ja) * | 2000-04-18 | 2001-10-30 | Casio Comput Co Ltd | アクション応答システムおよびそのプログラム記録媒体 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001277163A (ja) * | 2000-04-03 | 2001-10-09 | Sony Corp | ロボットの制御装置及び制御方法 |
KR20020044499A (ko) | 2000-12-06 | 2002-06-15 | 윤종용 | 로봇 제어시스템 및 그 제어방법 |
JP4143305B2 (ja) * | 2001-01-30 | 2008-09-03 | 日本電気株式会社 | ロボット装置、照合環境判定方法、及び照合環境判定プログラム |
JP2003205483A (ja) * | 2001-11-07 | 2003-07-22 | Sony Corp | ロボットシステム及びロボット装置の制御方法 |
JP3714268B2 (ja) * | 2002-03-18 | 2005-11-09 | ソニー株式会社 | ロボット装置 |
JP2003305677A (ja) * | 2002-04-11 | 2003-10-28 | Sony Corp | ロボット装置およびロボット制御方法、記録媒体、並びにプログラム |
US20040095389A1 (en) * | 2002-11-15 | 2004-05-20 | Sidner Candace L. | System and method for managing engagements between human users and interactive embodied agents |
JP3751309B2 (ja) | 2002-12-12 | 2006-03-01 | 松下電器産業株式会社 | ロボット制御装置 |
JP4147960B2 (ja) * | 2003-02-05 | 2008-09-10 | ソニー株式会社 | ロボット装置、及びロボット装置の動作制御方法 |
JP2004283958A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | ロボット装置、その行動制御方法及びプログラム |
US8292433B2 (en) | 2003-03-21 | 2012-10-23 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
JP2007044825A (ja) * | 2005-08-10 | 2007-02-22 | Toshiba Corp | 行動管理装置、行動管理方法および行動管理プログラム |
US7720572B2 (en) * | 2005-09-30 | 2010-05-18 | Irobot Corporation | Companion robot for personal interaction |
CN101631651B (zh) * | 2007-01-12 | 2013-07-24 | 汉斯乔格·巴尔特斯 | 用于产生机器人的方法和*** |
JP4764377B2 (ja) * | 2007-05-09 | 2011-08-31 | 本田技研工業株式会社 | 移動型ロボット |
KR101553521B1 (ko) | 2008-12-11 | 2015-09-16 | 삼성전자 주식회사 | 지능형 로봇 및 그 제어방법 |
KR20100081587A (ko) * | 2009-01-06 | 2010-07-15 | 삼성전자주식회사 | 로봇의 소리 인식 장치 및 그 제어 방법 |
-
2011
- 2011-01-13 US US13/005,839 patent/US8818556B2/en active Active
-
2012
- 2012-01-12 WO PCT/US2012/021001 patent/WO2012097109A2/en active Application Filing
- 2012-01-12 KR KR1020137018167A patent/KR101984320B1/ko active IP Right Grant
- 2012-01-12 JP JP2013549530A patent/JP5905488B2/ja active Active
- 2012-01-12 EP EP19214601.7A patent/EP3722054A1/en active Pending
- 2012-01-12 EP EP12734236.8A patent/EP2663429A4/en not_active Ceased
- 2012-01-12 CN CN201210008234.1A patent/CN102609089B/zh active Active
- 2012-12-04 HK HK12112502.2A patent/HK1171830A1/zh unknown
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001300148A (ja) * | 2000-04-18 | 2001-10-30 | Casio Comput Co Ltd | アクション応答システムおよびそのプログラム記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
EP2663429A2 (en) | 2013-11-20 |
WO2012097109A2 (en) | 2012-07-19 |
CN102609089B (zh) | 2015-12-16 |
CN102609089A (zh) | 2012-07-25 |
HK1171830A1 (zh) | 2013-04-05 |
US8818556B2 (en) | 2014-08-26 |
EP3722054A1 (en) | 2020-10-14 |
US20120185090A1 (en) | 2012-07-19 |
KR20140037802A (ko) | 2014-03-27 |
JP5905488B2 (ja) | 2016-04-20 |
JP2014502566A (ja) | 2014-02-03 |
WO2012097109A3 (en) | 2012-10-26 |
EP2663429A4 (en) | 2017-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101984320B1 (ko) | 로봇과 사용자 상호작용을 위한 다중 상태 모델 | |
US20220122607A1 (en) | Controlling an engagement state of an agent during a human-machine dialog | |
KR102438300B1 (ko) | 청취 디바이스에 대한 디바이스 중재 | |
US20220012470A1 (en) | Multi-user intelligent assistance | |
US10970527B2 (en) | Robot attention detection | |
CN112272819A (zh) | 被动唤醒用户交互设备的方法和*** | |
KR102103624B1 (ko) | 자율 생활 능력을 갖는 휴머노이드 로봇 | |
US11416212B2 (en) | Context-based user agent | |
US10212040B2 (en) | Troubleshooting voice-enabled home setup | |
KR102423712B1 (ko) | 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송 | |
KR20190022109A (ko) | 음성 인식 서비스를 활성화하는 방법 및 이를 구현한 전자 장치 | |
CN112313742A (zh) | 根据多助理环境的特性来调节助理响应性 | |
KR20210010270A (ko) | 로봇 및 그의 기동어 인식 방법 | |
JP2014522053A (ja) | テレプレゼンスセッションを実行するためのシステム、方法及び記憶媒体 | |
JP2013237124A (ja) | 端末装置、情報提供方法及びプログラム | |
US11376742B2 (en) | Robot and method of controlling the same | |
KR20190106925A (ko) | 인공지능 로봇 및 그의 제어 방법 | |
JP2004234631A (ja) | ユーザと対話型実体エージェントとの間の対話を管理するシステムおよび対話型実体エージェントによるユーザとの対話を管理する方法 | |
US12014736B2 (en) | Information processing apparatus and information processing method | |
US11743588B1 (en) | Object selection in computer vision | |
JP2021099538A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN116197891B (zh) | 控制机器人运动的方法、装置、机器人及存储介质 | |
KR20230022898A (ko) | 제스처를 인식하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
KR20210029591A (ko) | 로봇 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |