KR101234289B1 - 서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템 및 그 방법 - Google Patents

Abstract

서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템이 개시된다. 이 시스템은 로봇의 외부 정보를 감지하기 위한 감지부와, 로봇의 외부로 행위하기 위한 행위부, 로봇의 기억이 저장되기 위한 기억부, 및 감지부에 의해 감지된 정보를 문장으로 표현하여 기억부에 저장하며 기억부에 저장된 기억을 추론하고 그 추론 결과에 따라 상기 행위부를 통해 외부로 행위하게 하는 추론 관리부를 포함한다. 이에 의해 서비스 로봇의 맥락적 상호작용이 가능해진다.

Description

서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템 및 그 방법{Congitive system realizing contextual human robot interaction for service robot and method thereof}

본 발명은 로봇에 관련된 기술로, 특히 로봇이 인간과 상호 소통할 수 있도록 하기 위한 인지 기술에 관한 것이다.

로봇 기술이 발전하면서 인간과 로봇이 생활 공간 안에서 일상생활을 함께하는 서비스 로봇에 대한 관심이 늘어나고 있다. 그동안 인간 로봇 상호작용(Human Robot Interface)의 관점에서 기초화(grounding)에 대한 연구가 진행되어 왔는데, Roy의 경우는 로봇에 의해 얻어지는 시각적 물체 정보를 마음 영상화(mental imagery)를 통해 모델화하고 이에 대한 대화가 가능하도록 하였다. Siskind는 동영상 속에 존재하는 물체와 손의 움직임을 역학적 의미를 가지는 언어적 표현으로 기술하였다. 이러한 연구들은 시간과 공간적 상황을 동시에 처리할 수 있는 문장 단위의 기초화 모델이 제시되고 있지 못하며, 기초화된 정보를 기억으로 저장하고 재생하는 것에 대한 연구는 아직 이루어지고 있지 않다.

한편, 인지과학 분야에서는 인간의 마음의 구조와 연결하여 이를 모델화한 인지 구조(congnitive architecture)에 대한 연구가 진행되고 있는데, 카네기멜런대학의 ACT-R 이나 미시간대학의 SOAR의 경우 인간의 인지를 이해하고 시뮬레이션하는 연구들이다. 이 연구들은 인간의 인지 기능을 가능한 한 유사하게 모방하는 데에 일차적 목적을 두고 있으며, 로봇에 적용할 경우에 대한 효율성의 문제는 충분히 고려하고 있지 않다. 따라서 로봇의 인지 시스템으로 활용하기가 어려우며, 인간과 로봇이 맥락에 기반한 상호작용에 대한 발명은 이루어지지 못하였다.

인간과 일상생활을 함께하는 서비스 로봇이 되기 위해서는 인간과 경험을 공유하고 시공간적 맥락에 의거한 상호작용이 필수적으로 요구된다. 로봇과 인간의 상호작용은 외부로부터의 센싱과 외부로 향한 행동, 인지 정보에 대한 기억, 그리고 맥락에 의거한 재생 등의 기능이 요구된다. 이를 위해서는 인지 정보를 적절한 형태로 기술하고 저장하는 과정이 필요하다. 또한 상호 대화를 위한 언어를 활용하기 위해서는 로봇이 인간의 언어를 이해하고 필요에 따라 발화하는 기능이 요구된다. 이러한 기능들은 필수적으로 언어와 인지 정보의 결합 또는 연결이 요구되며 이로부터 맥락적 상호작용을 위한 정보를 이끌어낼 수 있다. 이와 같이 감지, 행위, 기억 등과 같은 인지 정보에 대한 언어적 표현과 인간으로부터 발화된 언어를 인지적 정보와 결합시키는 인지 시스템이 필요하다.

본 발명은 인간과 로봇이 맥락에 기반한 상호 작용을 가능하게 하는 기술적 방안을 제공함을 목적으로 한다.

전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템은 로봇의 외부 정보를 감지하기 위한 감지부, 상기 로봇의 외부로 행위하기 위한 행위부, 상기 로봇의 기억이 저장되기 위한 기억부, 및 상기 감지부에 의해 감지된 정보를 문장으로 표현하여 상기 기억부에 저장하며, 상기 기억부에 저장된 기억을 추론하고 그 추론 결과에 따라 상기 행위부를 통해 외부로 행위하게 하는 추론 관리부를 포함한다.

한편, 전술한 기술적 과제를 달성하기 위한 본 발명의 일 양상에 따른 서비스 로봇의 맥락적 상호작용을 위한 인지 방법은 로봇의 청취 모듈에 의해 음성이 변환된 문장을 해석하는 단계, 상기 해석된 문장을 상기 로봇의 기억부에 저장하는 단계, 상기 해석된 문장의 내용을 추론하는 단계, 및 상기 추론 결과에 대한 행위를 실행하는 단계를 포함한다.

전술한 기술적 과제를 달성하기 위한 본 발명의 다른 양상에 따른 서비스 로봇의 맥락적 상호작용을 위한 인지 방법은 로봇에 입력된 카메라 영상에서 인식된 물체에 대해 동일 물체에 대한 정보가 상기 로봇의 기억부의 물체기술자에 등록되어 있는지 판단하는 단계, 상기 판단 결과 등록되어 있지 않으면 상기 인식된 물체에 대한 정보를 상기 물체기술자에 새로이 등록하는 단계, 및 상기 새로운 물체 인식 사건에 대한 문장을 생성하여 상기 기억부에 저장하는 단계를 포함한다.

본 발명은 모든 사건을 문장으로 표현하여 기억하고 필요할 경우 이를 재생할 수 있는 기능을 통해 서비스 로봇의 맥락적 상호작용을 가능하게 하는 효과를 창출한다. 또한 본 발명은 언어적 표현만이 아닌 공간 정보와 같은 보조적 인지 정보를 제공하여 서비스 로봇의 맥락적 상호작용을 더욱 높일 수 있다.

도 1은 본 발명의 일 실시예에 따른 인지 시스템 개념도.
도 2는 본 발명의 일 실시예에 따른 인지 시스템 블록도.
도 3은 본 발명의 일 실시예에 따른 해석기 블록도.
도 4는 본 발명의 일 실시예에 따른 공간 추론기의 공간 추론 예시도.
도 5는 본 발명의 일 실시예에 따라 인지 시스템의 시각 모듈에서 발생하는 사건에 대한 인지 방법 흐름도.
도 6은 본 발명의 일 실시예에 따라 인지 시스템의 청취 모듈에서 발생하는 사건에 대한 인지 방법 흐름도.
도 7은 본 발명의 일 실시예에 따라 인지 시스템의 행위 모듈에서 발생하는 사건에 대한 인지 방법 흐름도.
도 8은 본 발명의 일 실시예에 따라 인지 시스템의 발화 모듈에서 발생하는 사건에 대한 인지 방법 흐름도.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 인지 시스템 개념도이다.

도 1은 인간과의 상호작용을 위해 로봇이 갖추어야 할 인지 시스템의 개념도로서, 인지 정보를 문장과 연결한 모습을 나타낸다. 외부로부터 감지 또는 청취한 정보를 문장으로 표현하고 저장 또는 추론하고, 외부로 행위를 하거나 발화할 경우에도 문장을 기준으로 하여 실행하게 한다는 것이다. 즉, 인지 정보와 언어를 연결하고 문장을 기본 단위로 기억 속에 저장하고 필요할 경우에 추론하고 재생한다. 그러나 추론시 기억 속에 저장된 문장 만으로는 한계를 가지는데, 문장의 연속으로만 기억이 구성됨으로써 문장으로 표현하기 어려운 인지 정보에 대한 추론이 어렵다. 따라서 본 발명에 따른 인지 시스템은 문장을 기반으로 하되 시각 등과 같은 추가적인 인지 정보를 보조 수단으로 활용함으로써 보다 효과적인 추론이 가능하도록 한다. 따라서 인지 정보의 언어적 표현과 이를 보조적 인지 정보와 연결하는 과정이 요구된다.

한편, 도 1과 같은 방식에 의하면 다음과 같은 장점이 있다. 첫째, 대화 자체가 언어적 표현이므로 인지 정보의 언어적 표현은 발화나 청취 정보를 그대로 표현할 수 있으므로 다른 형태로 코드화할 필요가 없다. 둘째, 로봇이 감지하는 센싱 정보, 행동 정보뿐만 아니라 내부적 추론도 독백 형태의 언어로 표현할 수 있다. 셋째, 문장의 시간 태그를 포함한 순서적인 저장을 통해 인지 정보를 시간적으로 저장하고 필요할 경우에 재생할 수 있다. 넷째, 한 문장은 로봇이나 물체의 동작을 표현할 수 있는 최소 단위로서 의미적으로 완결적이며 사건의 기본 단위가 될 수 있다.

도 2는 본 발명의 일 실시예에 따른 인지 시스템 블록도이다.

도시된 바와 같이, 인지 시스템은 감지부(100), 행위부(200), 기억부(300), 및 추론 관리부(400)를 포함한다. 감지부(100)는 로봇의 외부 정보를 감지하기 위한 구성이다. 일 실시예에 있어서, 감지부(100)는 시각 모듈(110)과 센서 모듈(130) 및 청취 모듈(120) 중 적어도 하나를 포함한다. 시각 모듈(110)은 카메라와 연결되어 카메라로 입력되는 영상을 획득하기 위한 구성이다. 청취 모듈(120)은 마이크와 연결되어 마이크로 입력되는 외부 음성을 획득하기 위한 구성이다. 이 청취 모듈(120)은 마이크로 입력된 음성을 문장으로 변환하기 위한 STT(Speech To Text) 기능을 포함할 수 있다. 그리고 센서 모듈(130)은 하나 이상의 센서로부터 센싱되는 데이터를 획득하기 위한 구성이다. 다수의 서로 다른 목적을 가진 센서들이 센서 모듈(130)과 연결될 수 있으며, 동일한 센서가 여러 개일 수 있다. 예를 들어, 센서로는 촉각 센서, 온도 센서, 습도 센서 등일 수 있다. 감지부(100)는 이러한 시각 모듈(110)과 청취 모듈(120) 및 센서 모듈(130)을 통해 로봇의 외부 상황을 감지할 수 있다.

행위부(200)는 동작 모듈(210)과 발화 모듈(220)을 포함한다. 동작 모듈(210)은 로봇의 동작을 위한 다수의 액추에이터를 구동하기 위한 모듈이다. 동작 모듈(210)을 통해 로봇의 팔, 다리의 움직임은 물론 감정 표현을 위한 얼굴 표정의 움직임도 가능하다. 발화 모듈(220)은 로봇의 발화를 위한 구성으로서, 스피커와 연결된다. 바람직하게 발화 모듈(220)은 문장을 음성으로 변환하기 위한 TTS(Text To Speech) 기능을 포함한다.

기억부(300)는 로봇의 기억을 저장하기 위한 구성이다. 이 기억부(300)는 하나 이상의 메모리를 포함한다. 메모리는 비휘발성 메모리임이 바람직하며, 플래시 메모리일 수 있다. 기억부(300)는 문장 저장부(310)와 물체기술자(320) 및 동작기술자(330)를 포함한다. 문장 저장부(310)와 물체기술자(320) 및 동작기술자(330)는 각각 물리적으로 구분된 메모리에 구현될 수 있다. 아니면 문장 저장부(310)와 물체기술자(320) 및 동작기술자(330)는 물리적으로 하나의 메모리에 저장되되, 논리적으로 구분되어 있을 수도 있다. 문장 저장부(310)에는 로봇과 관련된 사건이 문장으로 표현되어 저장된다. 물체기술자(320)에는 시각 모듈(110)에 의해 새로운 물체 혹은 물체의 자세가 바뀌었을 때 그 정보가 저장되며, 동작기술자(330)에는 로봇이 하는 동작과 그 동작순서에 대한 정보가 저장된다.

추론 관리부(400)는 감지부(100)에 의해 감지된 정보를 문장으로 표현하여 기억부(300)에 저장하며, 기억부(300)에 저장된 기억을 추론하고 그 추론 결과에 따라 행위부(200)를 통해 외부로 행위하는 역할을 수행하기 위한 구성으로서, 컴퓨터 프로세서로 구현될 수 있다. 이 추론 관리부(400)는 감지부(100)에서 전달되는 정보를 모두 문장으로 표현하고 로봇 외부로 행위를 하기 위한 해석기(410)를 포함하고, 사건의 발생에 대한 지식과 정보를 추론하기 위한 지식 추론기(430)를 포함하며, 공간적 추론과 현재의 공간적 상황을 나타내기 위한 공간 추론기(420)를 포함한다.

해석기(410)는 감지부(100)나 행위부(200)에 의해서 발생한 모든 정보, 즉 사건을 문장으로 표현하고, 그 사건이 언제 일어났는지를 알 수 있도록 시간 태그를 함께 붙여 기억부(300)의 문장 저장부(310)에 저장한다. 이는 로봇의 인간과의 맥락적 상호작용을 가능하게 한다. 표 1은 시각 모듈(110)을 통해 입력된 정보에 대해 문장으로 표현하여 문장 저장부(310)에 저장한 예를 나타내고 있다.

번호	시간	모듈	문장
1	년월일시분초	시각	(S (NP_AGENT Tom) (VP gave (NP_THEME an apple)) (PP_BENEFICIARY to (NP Peter)) (PP_TIME at (NP 6))) .)
2	...	...	...
3	...	...	...

표 1과 같은 문장 저장을 위해서, 시각 모듈(110)을 통해 입력된 정보를 문장으로 표현할 수 있도록, 해석기(410)는 시각 모듈(110)을 통해 입력된 정보를 해석하기 위한 시각 해석기(411)를 포함한다. 그 외에 해석기(410)는 센서 모듈(130)을 통해 입력된 정보, 예를 들어, 촉각 정보, 온도 정보, 습도 정보 등을 해석하기 위해서 센서 해석기(412)를 더 포함한다. 또한 해석기(410)는 시각 해석기(411) 및 센서 해석기(412)에 의해 해석된 내용을 문장으로 표현하기 위한 문장 발생기(413)를 더 포함한다.

시각 해석기(411)에 의해 카메라 영상에 대한 내용이 해석되면, 문장 발생기(413)는 해석된 내용을 문장으로 발생시킨다. 시각 해석기(411) 및 문장 발생기(413)에 의해 시각 정보가 문장으로 표현된다. 이 문장은 그대로 문장 저장부(310)에 저장될 수도 있으나, 구문 해석 및 의미 해석을 통해 해석된 결과가 문장 저장부(310)에 저장될 수도 있다. 이를 위해 문장 해석기(414)는 구문 해석기(syntactic parser)(414A) 및 의미 해석기(semantic parser)(414B)를 포함한다. 여기서 구문 해석기(414A)와 의미 해석기(414B)로는 자연언어처리에서 제공하는 소프트웨어가 이용될 수 있다.

구문 해석기(414A)의 예를 들면 Penn Treebank라는 규칙에 따라 문장을 해석하게 되는데, 표 2에는 Penn Treebank의 태그집합을 보여주고 있다. 구문 해석기(414A)는 문장의 구를 태그 집합의 종류를 자동으로 판단하여 구의 종류를 나타내주는 역할을 하는 것이다.

1	ADJP	Adjective phrase
2	ADVP	Adverb phrase
3	NP	Noun phrase
4	PP	Prepositional phrase
5	S	Simple declarative clause
6	SBAR	Clause introduced by subordinating conjunction or 0
7	SBAEQ	Direct question introduced by wh-word or wh-phrase
8	SINV	Declarative sentence with subject-aux inversion
9	SQ	Subconstituent of SBARQ excluding wh-word or wh-phrase
10	VP	Verb phrase
11	WHADVP	wh-adverb phrase
12	WHNP	wh-noun phrase
13	WHPP	wh-propositional phrase
14	X	Constituent of unknown or certain category
Null elements
1	*	"Understood" subject of infinitive or imperative
2	0	Zero variant of that in subordinate clause
3	T	Trace-marks position where moved wh-constituent is interpreted
4	NIL	Marks position where preposition is interpreted in pied-piping contexts

그리고 의미 해석기(414B)는 문장의 구 단위에 대해 각 논항의 의미역을 부여하는 기능을 한다. 자연어 처리 연구 분야에 의하면, 의미역은 크게 논항과 부가항으로 이루어진다. 아래 표 3은 논항과 부가항 태그의 종류를 나타내고 있다.

논항 태그
1	행위주(agent)	술어가 기술하는 행위를 의도적으로 일으키는 것
2	피험체(Theme)	술어가 기술하는 행위로 인해 변화를 겪는 것
3	심리경험주(Experiencer)	술어가 기술하는 정신적 심리적 상태를 겪는 것
4	도구(Instrument)	술어가 기술하는 행위에서 쓰여지는 도구
5	장소(Locative)	술어가 기술하는 행위가 향해지는 곳
6	목표(Goal)	술어가 기술하는 행위가 향해지는 곳
7	근원(Source)	술어가 기술하는 행위에서 개체가 움직여 온 곳
8	수혜자(Benefactive)	술어가 기술하는 행위로부터 수혜를 받는 것
9	사역주(Causer)	어떤 사건행위를 일으키는 것
10	피사역체(Causee)	사역주에 의해서 일어나는 것
부가항 태그
1	시간(Time)	언제 행위가 일어난 시점
2	방법(Manner)	행위의 방법
3	이유(Reason)	행위의 이유
4	목적(Purpose)	행위의 목적
5	위치(Location)	행위가 일어난 장소
6	방향(Direction)	행위의 방향

구문 해석기(414A)와 의미 해석기(414B)의 예를 다음과 같은 문장으로 살펴본다.

Tom gave an apple to Peter at 6

구문 해석기(414A)를 거치면 문장의 동사를 중심으로 한 구 단위의 해석이 이루어진다.

(S (NP Tom) (VP gave (NP an apple) (PP to (NP peter)) (PP at (NP 6))) .)

이를 다시 의미 해석기(414B)를 통과시키면 문장의 구에 대한 의미가 주어진다.

(S (NP_AGENT Tom) (VP gave (NP_THEME an apple) (PP_BENEFICIARY to (NP Peter)) (PP_TIME at (NP 6))) .)

문장 저장부(310)에 저장되는 문장은 위와 같은 구문 해석과 의미 해석을 거쳐서 저장되나, 이와 달리 일반적인 문장을 그대로 저장하고 필요시에 구문 해석과 의미 해석을 하여 처리하는 방법도 가능하다.

한편, 공간 추론기(420)는 세계좌표계 상으로 로봇이 존재하는 공간에 대한 물체들의 배치를 나타내는 것이며, 필요시 과거의 사건을 회상할 경우 과거 기억의 공간적 상황에 대해 추론하는 기능을 한다. 도 4는 공간 추론기의 예를 보여주고 있다. 공간 추론기(420)가 현재의 공간적 상황을 나타내는 방법은, 시각 모듈(110)에서 시각 모듈(110)과 연결되어 있는 카메라로부터 물체의 형상을 인식하고 그 결과를 공간 추론기(420)에 표시한다. 그리고 공간 추론기(420)는 기억부(300)에 저장된 지금까지의 시각적 인식을 근거로 하여 현재 상태에 대해 세계좌표계의 공간을 구성하게 된다. 여기에 카메라로 입력된 영상에서 물체를 구분하고, 그 물체의 모양과 자세를 찾는다. 여기서 자세는 물체의 세계좌표계에서의 위치와 각도를 나타내는데, 2차원으로 표현할 경우 (x, t, θ)이며, 3차원으로 표현할 경우 위치정보와 각도정보로 이루어지는 (x, y, z, α, β, γ)로 표현하게 된다. 공간 추론기(420)가 과거의 기억을 추론할 경우는 물체기술자(320)의 물체의 모양정보와 자세정보를 검색하여 과거의 기억 공간을 만들고, 물체의 중심위치를 기준으로 하여 전후좌우 등의 공간적 정보를 파악하게 된다.

지식 추론기(430)는 인지 시스템의 내부에서 발생하는 지식과 관련된 추론을 하는 기능으로서 다음과 같은 기능을 가진다. 외부에 의한 지식의 재생을 요청할 경우를 예를 들면, 외부의 인간이 로봇에게 과거의 기억에 대한 질의를 할 경우, 감지부(100)의 청취 모듈(120)에 의해 인간의 음성은 문장으로 변환되고, 해석기(410)의 구문 해석기(414A)와 의미 해석기(414B)에 의해 구문 해석과 의미 해석을 거치게 된다. 의미 해석의 결과로 나타나는 질의의 내용은 지식 추론기(430)에 의해 기억부(300)를 통해 검색되고, 필요에 따라서 발화 모듈(220)에서 발화하거나 동작 모듈(210)을 통해 동작으로 연결되게 된다. 따라서 지식 추론기(430)는 IF-THEN 형태의 산출 규칙이 되고, IF에 해당하는 내용은 조건부가 되며, THEN에 해당하는 내용은 추론의 결과가 된다. 예로써, 다음의 질의를 살펴본다.

When did Tom go to the back of Peter

지식 추론기(430)의 동작은 조건문에는 상황에 대한 내용과 결과문에는 그 조건에 대한 결과로서 함수를 호출하게 된다.

IF (WHADVP TIME) (VP go) (TENSE PAST) (1PP1 to) (LOCATION the back of Peter);

THEN CALL search(TIME, AGENT, 1PP1, LOCATION);

추론 관리부(400)는 지식 추론기(430)와 공간 추론기(420) 중 적어도 하나에 의해 추론된 결과를 가지고 문장 발생기(413)에 의해 문장으로 발생하여 발화 모듈(220)을 통해 음성으로 변환 후 스피커로 출력되거나, 동작기술자(330)에 기술된 로봇의 동작 및 그 동작 순서를 조합하여 행위 모듈로 출력하여 로봇의 액추에이터를 구동함으로써 로봇이 동작하도록 한다. 아니면 추론 관리부(400)는 추론 결과에 따라 발화 행위 및 동작 행위를 모두 수행하도록 할 수도 있다.

한편, 물체기술자(320)에 대해 표 4를 이용하여 설명하면 다음과 같다.

물체	이름	모양	특징	현재자세
O1	Tom		Blue	x1,y1,θ1
O2	Peter		Red	x1,y2,θ2
H1	Kim		Male	x3,y3,θ3
H2	Park		Female	x4,y4,θ4

물체기술자(320)는 물체에 대한 자료를 저장하는 자료 공간으로서, 시각 모듈(110)에 의해 인식된 물체의 모양과 자세를 저장하며, 물체의 특징 등을 저장하고 인지 시스템이 알고 있는 최근의 자세를 저장한다.

동작기술자(330)에 대해 표 5를 이용하여 설명하면 다음과 같다.

번호	문장	함수
S1	I found at x,y,θ	find(X)
S2	I approach X	approach(X)
S3	I open hand	openHand()
S4	I reach to grip position of X	reachGripPosition(X)
S5	I grip X	B(grip X)
S6	I bend arm	B(bend arm)

동작기술자(330)는 로봇의 동작에 있어서 기초가 되는 동작들의 집합이다. 표 5는 로봇이 물체를 집는 명령, 즉 “hold X”라는 명령을 받았을 때 취하는 동작이다. 여기서 각 문장은 기초 동작들이며, 이것의 조합에 의해 완전한 하나의 의미 있는 동작이 이루어진다.

도 5는 본 발명의 일 실시예에 따라 인지 시스템의 시각 모듈에서 발생하는 사건에 대한 인지 방법 흐름도이다.

시각 모듈(110)은 카메라로부터 지속적으로 영상을 입력받고 있으며, 입력되는 카메라 영상에 변화가 일어나면 영상 내부의 물체를 인식한다(S510)(S520). 여기서 물체를 인식한다는 것은 물체의 위치와 회전 및 물체의 형태를 인식한다는 의미이다. 인식이 완료되면, 추론 관리부(400)는 인식된 물체와 물체기술자(320)의 물체 데이터들과 비교한다(S530). 추론 관리부(400)는 비교를 통해 인식된 물체에 대해 물체기술자(320)에 기술된 물체들 중 동일 물체가 존재하는지를 판단한다(S540). 동일 물체가 존재하면, 추론 관리부(400)는 인식된 물체와 동일 물체의 자세를 비교하여 동일한 자세인지를 판단한다(S550). 동일한 자세가 아니면, 추론 관리부(400)는 물체기술자(320)에 자세 정보를 변경한다(S560). 한편, 동일 물체가 존재하지 않으면, 추론 관리부(400)는 인식된 물체가 로봇이 새롭게 접한 물체이므로 이를 물체기술자(320)에 등록한다(S570). 또한 물체기술자(320)가 변경된 경우 시간 모듈 상에 새로운 사건이 발생한 것이므로, 문장 저장부(310)에 그 사건을 문장으로 표현하여 등록한다(S580)(S590). 이때 추론 관리부(400)는 사건을 문장으로 표현하기 위해 시각 해석기(411)를 이용한다.

상기 문장저장부(310)에 문장을 등록하기 위한 방법을 상세히 설명하면, 시각모듈(110)에서 물체의 모양과 자세정보를 검출하면, 시각해석기(411)에서 물체기술자(320)에 저장된 물체들과 비교하여 사건의 변경 여부를 결정한다. 만약 물체의 변동이 이루어 졌다고 한다면 문장발생기(413)에서 그 사건에 대한 내용을 문장으로 만들어 문장저장부(310)에 저장한다. 그 사건은 크게 두 가지로 나누어지는데, 새로운 물체가 등장한 경우와, 저장된 물체의 자세가 바뀐 경우이다. 먼저 새로운 물체가 등장한 경우는

A new object appeared at x1,y1,θ1

라고 표현될 수 있다. 여기서 ‘A new object’ 는 임의의 새로운 물체를 지칭하는 것이며, ‘appeared ’는 공간추론기(420) 상의 현재의 장면에 새로운 물체가 등장했음을 알리는 동사로 작용하며, ‘at'은 물체의 자세를 나타낸다. 여기서 ‘A new object’와 ‘appeared ’와 ‘at'는 문장발생기에서 자동으로 발생시키게 되며 (x1,y1,θ1)의 값은 청취모듈에서 인식된 값을 대응시킨다.

센서모듈은 로봇에게 부착된 인간의 음성외의 모든 센서를 나타내며, 음향의 경우에도 자연어 인식은 청취모듈의 역할이나 외부의 노이즈나 음향 그리고 인간의 음성에서 나타나는 음성세기나 무드(mood)등은 모두 센서모듈에 해당된다. 센서모듈이 인식되는 과정과 해석되는 과정은 시각모듈의 것과도 유사한 과정인데, 센서는 외부로부터의 감지 정보를 이용하므로 외부로부터 감지된 정보를 해석하고 그 결과를 문장으로 발생시키게 된다. 센서로부터의 감지된 정보는 크게 센서의 종류, 센싱된 정보의 강도(intesnsity), 센싱정보의 시간적 연속성과 시간에 따른 신호의 특성 등이 된다. 이러한 센서정보는 센서모듈(120)에 의해 인식되어지며 그 내용은 센서해석기에서 의미를 정의하고 문장발생기에서 문장으로 발생시키게 된다. 예를 든다면 촉각센서에서 가벼운 두드림의 상황이 발생하면,

Someone touches me.

촉각센서에서 강하게 치는 상황이 발생하면,

Someone beats me.

라는 문장으로 표현한다. 여기서 ‘Someone’는 현재까지 확인되지 않은 에이전트를 의미하며 에이전트는 인간이나 로봇 동물이 될 수 있다. 'me'는 대상이 다른 에이전트가 아닌 로봇 자신임을 나타낸다. ‘touches'와 ’beats'는 센서해석기의 해석에 의해 결정되는데 센서해석기에 감지된 촉각센서의 정보의 세기가 미리 사전에 정의한 기준을 넘어선 경우와 그렇지 않은 경우에 따라 결정되는 것이다.

도 6은 본 발명의 일 실시예에 따라 인지 시스템의 청취 모듈에서 발생하는 사건에 대한 인지 방법 흐름도이다.

청취 모듈(120)은 마이크를 통해 음성을 입력받는다(S610). 청취 모듈(120)은 입력된 음성을 내장된 음성 인식 기능을 통해 문장으로 변환한다(S620). 추론 관리부(400)의 문장 해석기(414)를 이용하여 변환된 문장의 의미를 해석하는데, 바람직하게 구문적 해석과 의미적 해석 과정을 수행한다(S630). 추론 관리부(400)는 구문적 해석과 의미적 해석이 완료된 문장을 문장 저장부(310)에 저장한다(S640). 이때 추론 관리부(400)는 그 문장에 대한 사건이 언제 일어났는지를 알 수 있도록 시간 태그를 함께 붙여 문장 저장부(310)에 저장한다. 추론 관리부(400)는 공간 추론기(420)와 지식 추론기(430) 중 적어도 하나를 이용하여 문장의 의미를 해석하는데, 이때 각 논항의 의미를 따라서 추론하게 된다(S650). 추론이 완료되면, 추론 관리부(400)는 추론 결과를 동작 모듈(210) 및/또는 발화 모듈(220)로 출력하여 추론 결과에 대한 행위를 실행시킨다(S660).

도 7은 본 발명의 일 실시예에 따라 인지 시스템의 행위 모듈에서 발생하는 사건에 대한 인지 방법 흐름도이다.

추론 관리부(400)는 지식 추론기(430)를 이용하여 생성 규칙에 따라 행위 명령을 내리게 되며, 그 결과로 동작기술자(330)에 있는 동작을 검색하게 된다(S710)(S720). 추론 관리부(400)는 검색 결과에 따라 동작 모듈(210)을 통해 액추에이터를 구동하여 동작을 실행한다(S730).

도 8은 본 발명의 일 실시예에 따라 인지 시스템의 발화 모듈에서 발생하는 사건에 대한 인지 방법 흐름도이다.

새로운 물체가 발견되면, 추론 관리부(400)는 물체기술자(320)에 그 물체의 라벨이 존재하지 않음을 확인한다(S810). 추론 관리부(400)는 그 존재 없음을 확인한 후, 지식 추론기(430)에게 발화 문장을 작성하게 하고, 이어서 그 작성된 문장을 발화 모듈(220)에서 음성으로 변환하여 출력하도록 한다(S820)(S830).

도 7과 함께 행위부에 해당하는 동작모듈과 발화모듈의 예를 구체적으로 들면 다음과 같다. 동작모듈은 추론관리부에 의해 로봇의 동작이 요청되는 경우에 로봇이 가지고 있는 모터와 같은 엑츄에이터(actuator)에 의해 이루어지는 동작을 실행하는 기능을 한다. 예를 들어 외부인 인간이 청취모듈로 통해 다음과 같은 명령이 주어졌다고 하자.

Hold the cup.

청취모듈은 이를 문장으로 만들고 문장저장부(310)에 문장해석기(414)를 통해 해석된 문장을 저장한다. 동시에 문장해석기(414)는 그 내용을 해석하여 지식추론기에 전달한다. 지식추론기(430)에는 상기한 바와 같이 어떤 상황에 대한 IF-THEN 형태의 추론이 이루어진다.

IF (VP_IMPERATIVE hold) (OBJ the cup)

THEN CALL hold(the cup)

이라는 추론의 결과에 의해 hold(the cup)이라는 동작 함수가 호출되는 것이다. 이에 따라 표 5와 같이 동작기술자에 존재하는 'hold X'를 호출하게 되면 컵을 집는 과정을 'hold X'에 포함된 기초 동작들의 함수를 호출함으로써 순서대로 컵을 집는 동작을 진행하게 되는 것이다.

다음으로 도 8과 함께 발화모듈에 해당하는 경우를 예를 들면 다음과 같다. 발화모듈은 추론관리부의 요청에 의해 외부로 음성이 출력되는 것을 말한다. 발화모듈이 동작되는 경우는 크게 인지시스템 내부의 요청과 외부 세계의 요청에 의해 이루어 진다. 내부의 요청의 경우를 예를 들면, 상기한 바와 같이 새로운 물체가 등장하면 이에 대한 정보를 물체기술자에 저장하게 된다. 그런데 이 저장된 물체기술자(320)의 이름칸(label slot)에 물체의 이름(label)이 없는 상태이다. 따라서 이 물체를 가지고 인간과 대화할 수 없다. 따라서 새로운 물체를 발견하였을 때 즉시 그 물체에 대한 이름을 인간에게 질의한다. 이 과정은 지식추론기(430)가 일정시간 간격으로 물체기술자(320)의 상태를 점검하며 만약 이름이 없는 경우가 존재하면 발화모듈로 이름을 묻는 문장을 발생시키게 된다.

IF label( Obj) == 0 ;

THEN CALL sentence(Obj);

예를 들어 오렌지 색깔의 둥근 물체가 있으면 지식추론기는 문장발생기로 통해 'sentence(Obj)‘라는 함수를 이용하여 다음과 같은 문장을 발생시키게 된다.

What is the new orange object

다음으로는 외부세계의 요구에 의해 발화되는 경우를 예를 드는데 주로 외부의 인간의 질문에 대한 답을 하는 경우이다. 예를 들어 외부 세계에서 청취모듈로 다음과 같은 문장이 입력되었다고 한다면,

When did Ele go to the back of Pupy

이 문장의 의미는 공간추론기로 통해 과거의 사건을 추론을 요청하고 그 결과를 발화모듈로 출력할 것을 요청하는 것이다. 'When'은 사건 발생의 시점을 묻는 것이며, 'go'는 'Ele'라는 물체가 이동한 사건을 나타내는 것이며 'to'는 물체가 향하는 방향성을 나타내는 것이며, "the back of Pupy" 목표 위치를 나타내는 것이다. 이에 대해 공간추론기는 문장메모리와 물체기술자의 정보를 이용하여 시점을 현재로부터 과거로 이동하면서 물체의 상호관계를 추론하게 된다. 문장메모리에 정의된 'Pupy'와 과거의 위치정보를 상호 비교하면서 'Ele'가 'Pupy'의 중심위치보다 뒤쪽으로 이동한 사건과 그 사건이 일어난 시점을 찾는다. 찾아진 후 그 사건을 다음과 같은 문장으로 문장발생기에서 만들어서 발화모듈로 통해 말로 출력되는 것이다.

Ele went to the to the back of Pupy at 10:51

이러한 일련의 과정을 나타내는 문장저장부의 예를 들면 다음과 같다. 각 문장들은 해석기를 거치지 않은 문장만을 나타내었다.

번호	시간	모듈	문장
1	9-10:40:15	시각	A new object appeared at 129,51,-8.1
2	9-10:40:18	발화	what is the new orange object
3	9-10:40:29	청취	It is Pupy
4	9-10:40:49	시각	A new object appeared at 77,72,-149.0
5	9-10:40:52	발화	What is the new green object.
6	9-10:41:1	청취	It is Raby
7	9-10:41:27	시각	A new object appeared at 146,141,-171.0
8	9-10:41:30	발화	what is the new blue object
9	9-10:41:46	청취	It is Caty
10	9-10:41:57	시각	A new object appeared 210,49,-118.6
11	9-10:42:01	발화	What is the new red object
12	9-10:42:37	청취	It is Ele
13	9-10:43:56	시각	Ele went to 170,-8,-63.4
14	9-10:46:29	시각	Caty disappeared
15	9-10:51:55	시각	Ele went to 123,142,-131.8
16	9-10:52:8	시각	Caty reappeared at 201,30,-163.4
17	9-10:54:4	청취	When did Ele go to the back of Pupy
18	9-10:54:9	발화	Ele went to the to the back of Pupy at 10:51
19	9-10:56:22	청취	What did appear last
20	9-10:56:27	발화	Ele appeared last
21	9-10:57:47	청취	What is foremost object
22	9-10:52:51	발화	Caty is foremost object

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.

본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 감지부 110 : 시각 모듈
120 : 청취 모듈 130 : 센서 모듈
200 : 행위부 210 : 동작 모듈
220 : 발화 모듈 300 : 기억부
310 : 문장 저장부 320 : 물체기술자
330 : 동작기술자 400 : 추론 관리부
410 : 해석기 411 : 시각 해석기
412 : 센서 해석기 413 : 문장 발생기
414 : 문장 해석기 414A : 구문 해석기
414B : 의미 해석기 420 : 공간 추론기
430 : 지식 추론기

Claims (22)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 로봇의 외부 정보를 감지하기 위한 감지부와;
    상기 로봇의 외부로 행위하기 위한 행위부와;
    상기 로봇의 기억이 저장되기 위한 기억부 및;
    상기 감지부에 의해 감지된 정보를 문장으로 표현하여 상기 기억부에 저장하며, 상기 기억부에 저장된 기억을 추론하고 그 추론 결과에 따라 상기 행위부를 통해 외부로 행위하게 하는 추론 관리부를 포함하되;
    상기 추론 관리부는 상기 로봇의 맥락적 기억을 위해 시간 태그와 함께 문장을 기억부에 저장하고,
    상기 감지부는 카메라 영상을 획득하기 위한 시각 모듈와,
    외부 음성을 획득하기 위한 청취 모듈 및,
    상기 감지부는 하나 이상의 센싱 데이터를 획득하기 위한 센서 모듈을 구비하고,
    상기 행위부는 상기 로봇의 동작을 위한 액추에이터를 구동하는 동작 모듈 및,
    상기 로봇의 발화를 위해 발화 문장을 음성으로 변환하여 스피커로 출력하는 발화 모듈을 구비하며,
    상기 기억부는 문장이 저장되기 위한 문장 저장부와,
    상기 시각 모듈에 의해 획득된 물체 정보가 저장되기 위한 물체기술자 및,
    상기 로봇의 동작과 그 동작 순서에 대한 정보가 저장되기 위한 동작기술자를 구비하고,
    상기 추론 관리부는 상기 감지부를 통해 감지된 정보를 해석하여 문장으로 표현하고, 상기 추론 결과에 따라 상기 행위부를 제어하여 행위를 수행하는 해석기와,
    상기 의미 해석된 문장에 대해 상기 기억부를 통해 추론하는 지식 추론기 및,
    상기 시각 모듈에 의해 획득된 카메라 영상에서 물체를 구분하고 그 구분된 물체의 모양과 자세를 파악하여 상기 물체기술자를 갱신하기 위한 공간 추론기를 구비하며,
    상기 해석기는 상기 문장을 구 단위로 해석하는 구문 해석기(syntactic parser)와 상기 구문 해석된 문장의 구에 대한 의미를 해석하는 의미 해석기(semantic parser)를 포함하는 문장 해석기를 구비하는 것을 특징으로 하는 서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템.
12. 제11항에 있어서,
    상기 공간 추론기는 상기 로봇의 과거의 공간 기억을 추론할 경우, 상기 물체기술자의 물체의 모양정보와 자세정보를 검색하여 과거의 기억 공간을 만들고 물체의 중심위치를 기준으로 하여 전후좌우 공간정보를 추론함을 특징으로 하는 서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템.
13. 제12항에 있어서,
    상기 추론 관리부는 상기 지식 추론기와 상기 공간 추론기 중 적어도 하나에 의해 추론된 결과에 따라 문장을 발생시켜 상기 발화 모듈로 출력하거나 상기 동작기술자에 기술된 로봇의 동작 및 그 동작 순서를 조합하여 상기 행위 모듈로 출력함을 특징으로 하는 서비스 로봇을 위한 맥락적 상호작용이 가능한 인지 시스템.
14. 삭제
15. 삭제
16. 삭제
17. 로봇의 청취 모듈에 의해 음성이 변환된 문장을 해석하는 단계;
    상기 해석된 문장을 상기 로봇의 기억부에 저장하는 단계;
    상기 해석된 문장의 내용을 추론하는 단계 및;
    상기 추론 결과에 대한 행위를 실행하는 단계를 포함하되;
    상기 해석 단계는 상기 음성이 변환된 문장을 구 단위로 구문 해석하는 단계 및,
    상기 구문 해석된 문장의 구에 대한 의미를 해석하는 단계를 구비하고,
    상기 저장 단계는 상기 로봇의 맥락적 기억을 위해 시간 태그와 함께 문장을 저장하며,
    상기 추론 단계는 시간별로 저장된 문장과 카메라 영상을 통해 획득된 물체들에 대한 정보가 저장된 물체기술자가 저장된 상기 로봇의 기억부를 검색하여 상기 해석된 문장의 내용을 추론함을 특징으로 하는 서비스 로봇의 맥락적 상호작용을 위한 인지 방법.
18. 제17항에 있어서,
    상기 추론 단계는 상기 해석된 문장의 내용에 따라 상기 로봇의 과거의 공간 기억을 추론할 경우, 상기 물체기술자의 물체의 모양정보와 자세정보를 검색하여 과거의 기억 공간을 만들고 물체의 중심위치를 기준으로 하여 전후좌우 공간정보를 추론함을 특징으로 하는 서비스 로봇의 맥락적 상호작용을 위한 인지 방법.
19. 제18항에 있어서,
    상기 실행 단계는 상기 추론 결과에 따라 문장을 발생시켜 상기 로봇의 발화 모듈로 출력하거나 상기 기억부의 동작기술자에 기술된 로봇의 동작 및 그 동작 순서를 조합하여 상기 로봇의 행위 모듈로 출력함을 특징으로 하는 서비스 로봇의 맥락적 상호작용을 위한 인지 방법.
20. 삭제
21. 삭제
22. 로봇에 입력된 카메라 영상에서 인식된 물체에 대해 동일 물체에 대한 정보가 상기 로봇의 기억부의 물체기술자에 등록되어 있는지 판단하는 단계;
    상기 판단 결과 등록되어 있지 않으면, 상기 인식된 물체에 대한 정보를 상기 물체기술자에 새로이 등록하는 단계 및;
    상기 새로운 물체 인식 사건에 대한 문장을 생성하여 상기 기억부에 저장하는 단계를 포함하되;
    상기 물체기술자에 등록되는 물체에 대한 정보는 물체의 모양과 자세에 대한 정보를 포함하고,
    상기 판단 결과 등록되어 있으면, 상기 인식된 물체의 자세가 상기 동일 물체의 자세와 동일한지 판단하는 단계,
    상기 판단 결과 자세가 동일하지 않으면, 상기 물체기술자에 상기 동일 물체의 자세 정보를 변경하는 단계 및,
    상기 동일 물체의 자세 변경 사건을 문장으로 생성하여 상기 기억부에 저장하는 단계를 구비하는 것을 특징으로 하는 서비스 로봇의 맥락적 상호작용을 위한 인지 방법.

Images