KR100813668B1 - 안드로이드 로봇의 감정표현 방법 - Google Patents

Abstract

본 발명은 안드로이드 로봇의 감정표현 방법에 관한 것으로 특히, 카메라를 통해 촬상되는 사람의 얼굴표정, 색깔과 모션, 물체의 인식을 통해 사람의 감정적 정보들은 추출하는 비전부와; 마이크를 통해 입력되는 사람의 음성과 상기 비전부에서 제공된 데이터를 통해 검출된 개성과 감정모델 및 텍스트로부터 감성적 정보를 추출하고, 각 축들에 적용된 모터에 맞게 편집된 얼굴 표정과 제스처가 저장되어 있는 데이터 베이스를 통해 로봇이 표현해야 할 감정을 선택하고 관리하는 지능부와; 상기 비전부와 지능부에서 전송되어서 데이터를 이용하여 감정적 행동들을 실행하고, 각 축의 모터가 시나리오부에서 원하는 동작을 수행하도록 중재하는 모션 제어부;로 구성한 것을 특징으로 한다.

따라서, 안드로이드 로봇이 감정 상태를 인간과 유사한 피부와 관절 구조로 표현할 수 있고, 비전, 음성, 텍스트로 상대방에게 감정을 표현할 수 있기에 인간과 더욱 친근한 의사소통을 할 수 있을 뿐만 아니라, 이로 인해 로봇과 관련된 새로운 기술들의 수요를 증가시킬 수 있고 로봇 시장 촉진에 기여할 수 있는 것이다.

안드로이드 로봇, 비전, 지능, 모션 제어, 감정, 개성, 모션

Description

안드로이드 로봇의 감정표현 방법{Emotional expression equipment and method in android robot}

도 1은 본 발명 방법이 적용된 감정표현장치의 개략 블록 구성도.

도 2는 본 발명 방법이 적용된 장치의 상세 블록 구성도.

도 3은 본 발명 방법을 설명하기 위한 메인 플로우챠트.

도 4는 도 3의 비전 처리단계 중 색깔 인식에 의한 모션 인식단계의 상세 플로우챠트.

도 5는 도 3의 비전 처리단계 중 얼굴 및 물체 추적단계에 대한 상세 플로우챠트.

도 6은 본 발명 방법 중 지능 처리단계에 따른 일 실시 예의 상세 플로우챠트.

도 7은 본 발명 방법 중 지능 처리단계에 따른 다른 실시 예의 상세 플로우챠트.

도 8은 본 발명 방법 중 모션 제어단계의 상세 플로우챠트.

도 9는 본 발명에서 적용한 로봇의 개성 모델을 도시한 블록 구성도.

도 10은 본 발명에서 적용한 로봇의 감성 모델을 도시한 2차원 감정 공간도.

도 11은 본 발명에서 적용한 로봇의 얼굴에 나타난 네 가지 감정들의 예시 도.

도 12는 본 발명에서 적용한 로봇이 실행한 제스처들의 예시도.

*도면의 주요부분에 대한 부호 설명*

1 : 비전부 2 : 지능부

3 : 모션 제어부 4 : 카메라

5 : 마이크 6 : 웹이나 메신저 또는 키보드

7 : 스피커 8 : 얼굴 모터

9 : 팔,몸통,손 모터 10 : 눈,목 모터

11 : 얼굴 인식부 12 : 물체 인식부

13 : 색깔 인식부 14 : 모션 인식부

15 : 얼굴 추적부 16 : 물체 추적부

21 : 음성 인식부 22 : 음성신호 방향 검출부

23 : 대화 엔진부 24 : 개성 모델부

25 : 감정 모델부 26 : 시나리오부

27 : 음향신호 합성부 28 : 항상성 발생기

29,37 : 데이터 베이스 31 : 감정적인 행동부

32 : 얼굴 표정부 33 : 제스처부

34 : 생리적인 행동부 35 : 립 싱크부

36 : 모터 중재자

본 발명은 안드로이드 로봇의 감정표현 방법에 관한 것으로, 더욱 상세하게는 인간과 비슷한 피부와 움직임을 가지는 안드로이드 로봇의 감정을 얼굴 표정과 제스처로 표현할 수 있도록 하여 사람과 더욱 자연스럽고 친근하게 의사소통을 할 수 있도록 발명한 것이다.

일반적으로 로봇(robot)은 사람의 손발과 같은 동작을 하는 기계로써, 인조인간(人造人間)이라고도 한다.

본래 사람의 모습을 한 인형 내부에 기계장치를 조립해 넣고, 손발과 그 밖의 부분을 본래의 사람과 마찬가지로 동작하는 자동인형을 가리켰는데, 로봇이라는 말은 체코어의 "일한다(robota)"는 뜻으로, 1920년 체코슬로바키아의 작가 K.차페크가 희곡 "로섬의 인조인간：Rossum’s Universal Robots"을 발표한 이래 관심을 가지게 되었다.

차페크는 이 희곡에서 기술의 발달과 인간사회와의 관계에 대하여 아주 비관적인 견해를 상징적으로 표현하였다. 모든 정신노동과 육체노동을 인간과 똑같이 할 수 있으나 인간적 정서나 영혼을 가지지 못하며, 마모되었을 때에는 폐품으로서 신품과 교환할 수 있는 인조인간을 등장시켰는데, 이 로봇은 노동자로서 인간의 지배를 받는 사회를 그렸다.

그리고 이 로봇들은 노동을 통하여 지능 및 반항정신이 발달하여 결국 인간 을 멸망시키는 이야기를 전개시켰는데, 그러한 견해는 현대의 오토메이션이 사회에 미치는 영향에 대한 하나의 전형적인 견해로서 당시 관심을 끌었다.

인조인간을 만들려는 시도는 고대부터 있었으며, 그리스-로마 시대 및 기원전에는 종교의식의 한 도구로 만들어졌으며, 중세 때에는 건물의 문을 열거나 악기를 연주하는 자동인형을 만들었고, 이들 자동인형은 장식용이었거나 또 사람들을 놀라게 하거나 또는 신(神)과 결부시켜 지배자의 권위를 과시하는 데 이용되었다.

한편으로는 기계기술자들의 장난이기도 하였나, 이들 자동인형의 제작은 과학기술의 진보에 직접적으로 기여하지는 못하였고, 20세기에 들어와서도 자동인형의 제작은 여러 가지로 시도되었고, 과학이나 기술이 진보되어 전보다는 정교하게 만들 수 있었는데, 그것은 상품 전시용이었거나 박람회의 관객 유치용이었으며 실용적인 것은 아니었다.

이런 로봇 가운데 유명한 것은 1927년에 미국의 웨스팅하우스전기회사의 기사 R.J.웬즐리가 만든 텔레복스(Televox)나 영국의 리처즈가 만든 에릭(Eric) 등인데, 모두 기계기술이나 전기기술을 응용하였으며 전화의 응답도 할 수 있는 정교한 것이었다.

현대에 와서는 전자관(電子管), 광전관(光電管), 전화, 테이프리코더 등을 조합하여 사람들의 질문에 대답하거나, 손발을 교묘히 움직여 걷거나, 무선에 의한 원격조종에 의하여 자유자재로 움직일 수 있는 인조인간이 제작되었다.

그러나 이렇게 사람과 같은 모습을 가진 것은 그 동작이 아무리 정교하게 만들어졌어도 동작에 한계가 있고 그다지 실용적이지 못하였다.

그리하여 실용면에서 사람의 모습을 닮지는 않았지만 인간의 동작과 같은 동작을 하는 기계도 로봇이라고 하게 되고, 여러 방면에서 로봇을 응용하려는 경향이 강해졌다.

원래 기계는 생산수단으로 산업구조에 배치되었는데, 사회환경의 다극화에 대응하여 로봇을 여러 가지 이상환경(異常環境)에 적응하는 기계로 등장시키게 되었고, 또한 자동제어기술이나 원격조종기술의 진보에 따라 우주나 해저, 고온이나 저온 등의 위험한 환경에서의 작업 또는 아주 단조로운 작업 등은 모두 인간에게는 부적합한 것인데, 현재는 이런 이상환경에서 로봇의 응용분야가 확대되고 있다.

로봇의 응용분야는 대체로 산업용, 의료용, 우주용, 해저용으로 분류된다.

예를 들면, 자동차 생산과 같은 기계가공 공업에서는 사람의 팔이 하는 작업을 한 번만 가르쳐 주면 몇 시간이든 같은 동작을 반복하는 산업로봇이 이미 많이 가동되고 있고, 의료용 분야에서는 팔이 없는 사람의 의사(意思), 즉 운동신경으로부터 보내 오는 명령을 근전위(筋電位)로 꺼내서 모터를 구동시키는 의수(義手)가 실용화되어 있으며, 우주개발에 있어서도 현재 러시아의 자동월면차(自動月面車) 루노호트(Lunokhod)와 같은 원격조종형 로봇이 개발되어 있다.

최근에는 로봇을 조종형, 자동형 및 자율형으로 크게 나누는데, 조종형은 사람의 손이나 발에 해당하는 기능을 가진 기계를 멀리 떨어진 곳에서 조종하는 방식을 말하며, 텔레오퍼레이터 시스템(teleoperator system)이라고도 한다. 원자로(原子爐) 안에서 사용하고 있는 머니퓰레이터(manipulator:magic hand)가 조종형 로봇이다.

우주개발과 관련하여 미국에서는 우주왕복선(컬럼비아호 등)에 매니퓰레이터를 설치하여 우주공간에서 기술용역을 시킬 것을 실험하고 있으며, 또 루노호트와 같은 이동차에 매니퓰레이터나 텔레비전 카메라의 눈을 탑재하여 연락선에서 원격조정하는 것 등을 계획하고 있다. 이들 기술을 해양개발에서도 응용하려 하고 있고, 또한 화재의 소화, 불발탄의 제거 등 위험작업에도 응용될 것이다. 의료 분야에도 조종형 로봇은 진단, 치료, 수술 또는 리허빌리테이션(rehabilitation) 등 모든 장면에서 이용되리라 보고 있다.

자동형으로는 현재 널리 산업계에서 사용되고 있는 산업 로봇이 있다. 미리 순서를 가르쳐 주면 그것을 기억하고 있어서 반복하는 형의 것이다. 이 형의 로봇은 다음의 자율형에의 과도적 존재이기도 하다. 자율형이란 로봇 스스로가 현재의 자기 자신의 상태와 환경 상태를 알아차리고 명령에 따라서 자율적으로 행동하는 것으로, 이 형이야말로 원래 로봇이라고 할 수 있다.

한편, 인간은 자신의 손과 발의 상태를 눈을 감아도 알 수 있는데, 그것은 피부감각이나 관절감각, 근(筋)이나 건(腱)으로부터의 감각 등이 중추(中樞)로 되돌아가기 때문이며, 또 외계의 상황은 눈이나 귀를 통하여 알 수 있으므로 자율형 로봇에는 이런 것에 필적하는 감각장치가 필요하다.

최근 제작된 로봇 가운데는 인간형 손발을 가지고 텔레비전 카메라의 눈, 인공의 귀, 입, 촉각, 관절감각 등을 갖추고, 2∼3세 유아 정도의 능력을 가진 것도 있는데, 예를 들면, 방에 있는 물건을 찾으라고 말로 명령하면 실내를 돌아보고 찾아내서 말로 대답하고, 두 발로 걸어가서 손으로 집어 온다.

이렇게 기계가 스스로 판단하여 행동한다는 것은 기계가 지능을 가지게 된다고 할 수 있으므로 이런 로봇을 지능 로봇이라고 하는데, 특히 시각의 기능만을 가진 로봇을 시각로봇이라고 한다.

산업용으로서는 조립로봇이나 검사 로봇 등의 개발이 추진되고 있는데, 물건을 조립할 경우에 치수나 모양 등이 고르지 않은 수많은 대상물 가운데서 필요한 2개의 물건을 인식, 선택하여 그것을 요구된 형태로 조립한다는 것은 상당히 고급 지능에 속한다.

이러한 지능 로봇의 연구를 쌓아간다고 해도 이상적인 로봇의 실현은 아직 미지수이며, 인간의 뇌의 기능이나 구조가 아직 생리학적으로 완전히 해명되어 있지 않고, 사용되고 있는 컴퓨터가 원리상 인간의 뇌와 다르기 때문이다.

또한, 최근 급속한 산업 발달과 더불어 개발된 산업용 로봇에서 인간과 같이 생활 할 수 있는 가정용 로봇으로 진화하면서 인간이 제공하는 신호들을 인식해야 할 뿐만 아니라, 인간과 비슷한 신호들을 제공해야 하는 필요성이 대두되고 있다.

인지 과학, 뇌 과학, 신경 과학 등에서 먼저 연구가 진행되었고, 점차 로봇 분야에 적용되고 있는데, 기존에는 컴퓨터의 가상공간이나 인간과 관절 구조는 비슷하지만 외형이 틀린 로봇들을 이용하여 인간이 제공하는 신호들은 인식은 할 수 있지만, 제공에 어려움이 있었다.

그런데, 미국에서는 텍사스 대학의 K-bot, NASA의 David Hanson, MIT의 Kismet이 인간과 비슷한 얼굴을 가지고 감정을 표현하고 있고, 일본에서는 오사카 대학과 코코로사가 개발한 Actroid 시리즈가 인간과 유사한 감정과 동작을 표현하 고 있다.

이와 같이 인간과 유사한 외형을 갖는 로봇(일명 "안드로이드 로봇"이라 칭함)은 친근감을 제공할 뿐만 아니라 감정 표현을 통하여 인간과의 의사소통을 원활하게 하므로 인간과 더욱 친근한 의사소통을 위해서는 감정을 얼굴 표정과 제스처 등을 통해 보다 정밀하게 표현할 수 필요가 요구되고 있는 실정이다.

본 발명은 이와 같은 종래의 제반 문제점 및 요구사항을 해결하기 위하여 안출된 것으로, 인간과 비슷한 피부와 움직임을 가지는 안드로이드 로봇이 감정 상태를 인간과 유사한 피부와 관절 구조로 표현할 수 있고, 비전과 음성 및 텍스트로 상대방에게 감정을 표현할 수 있도록 하여 인간과 더욱 친근한 의사소통을 할 수 있도록 함과 동시에 이로 인해 로봇과 관련된 새로운 기술들의 수요가 증가될 수 있고, 로봇 시장 촉진에 기여할 수 있는 안드로이드 로봇의 감정표현 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명 방법이 적용된 감정표현장치는, 카메라를 통해 촬상되는 사람의 얼굴표정, 색깔과 모션, 물체의 인식을 통해 사람의 감정적 정보들은 추출하는 비전부와; 마이크를 통해 입력되는 사람의 음성과 상기 비전부에서 제공된 데이터를 통해 검출된 개성과 감정모델 및 텍스트로부터 감성적 정보를 추출하고, 각 축들에 적용된 모터에 맞게 편집된 얼굴 표정과 제스처가 저장되어 있는 데이터 베이스를 통해 로봇이 표현해야 할 감정을 선택하고 관리하는 지능부와; 상기 비전부와 지능부에서 전송되어서 데이터를 이용하여 감정적 행동들을 실행하고, 각 축의 모터가 시나리오부에서 원하는 동작을 수행하도록 중재하는 모션 제어부;로 구성한 것을 특징으로 한다.

이때, 상기 비전부는 로봇의 두 안구에 장착되어 있는 카메라를 통해 촬상된 영상에서 얼굴과 색깔 및 물체를 각각 인식하는 얼굴 인식부와 색깔 인식부 및 물체 인식부와; 상기 색깔 인식부의 출력신호를 입력받아 살색인지 여부와 머리 및 손의 움직임을 분석하여 긍정/부정적인 감정신호를 도출해 내는 모션 인식부와; 상기 얼굴 인식부 및 물체 인식부의 출력신호를 각각 입력받아 얼굴 및 물체를 추적하며 눈동자와 목 및 허리의 동작 범위를 각각 추적하여 대화거리를 추출해 내는 얼굴 추적부 및 물체 추적부;로 구성한 것을 특징으로 한다.

또, 상기 지능부는 마이크를 통해 음성신호가 입력되는지의 여부와 입력된 음성신호의 방향을 검출하는 음성 인식부 및 음성신호 방향 검출부와; 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트신호와 상기 음성 인식부를 통해 입력되는 마이크를 통한 음성신호를 인식하고 긍정/부정적인 감정신호를 추출하는 대화 엔진부와; 상기 비전부의 모션 인식부와 상기 대화 엔진부에서 각각 추출된 감정 정보를 이용하여 상대 값을 변화시켜 활발함/소심함의 두 개성을 추출하는 개성 모델부와; 상기 개성 모델부에서 제공하는 상대 값을 감성 모델 축에 적용하여 개성이 적용된 감정을 추출하는 감정 모델부와; 상기한 각부에서 입력되는 신호들과 데이터 베이스에 기 저장된 시나리오에 정의된 태그들을 이용하여 로봇의 얼굴 표정 및 제스처 제어신호를 모션 제어부에 출력시켜 줌과 동시에 음성 합성신호를 출력시켜 주는 시나리오부와; 상기 시나리오부에서 출력되는 음성 합성신호를 스피커를 통해 출력시켜 주는 음향신호 합성부와; 기 입력된 데이터를 이용하여 생리적인 행동 데이터를 발생시키는 항상성 발생기;로 구성한 것을 특징으로 한다.

또한, 상기 모션 제어부는 상기 지능부의 감정 모델부에서 제공하는 신호에 부응하여 감정 표현에 필요한 구동신호를 발생하는 감정적인 행동부와; 상기 지능부의 시나리오부와 감정 모델부에서 각각 출력되는 신호에 부응하여 얼굴 표정과 제스처 표현에 필요한 구동신호를 발생하는 얼굴 표정부 및 제스처부와; 상기 항상성 발생기에서 출력되는 신호에 부응하여 생리적인 행동 표현에 필요한 구동신호를 발생하는 생리적인 행동부와; 상기 음향신호 합성부의 출력신호에 부응하여 입 모양 변화에 필요한 구동신호를 발생하는 립 싱크부와; 데이터 베이스를 구비하고 상기한 각부에서 출력되는 구동신호에 부응하여 얼굴 모터와 팔,몸통,손 모터 및 눈,목 모터의 구동을 제어하는 모터 중재자;로 구성한 것을 특징으로 한다.

한편, 상기한 목적을 달성하기 위한 본 발명 방법은, 카메라에 의해 촬상된 영상신호를 이용하여 사람의 감정적 정보를 추출하는 비전 처리단계와; 상기 카메라로부터 촬상된 영상신호에 의해 추출된 모션 정보와, 마이크를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트신호를 이용하여 감성적 정보를 추출하고 각 축들에 적용된 모터에 맞게 편집하는 지능 처리단계와; 상기 비전 처리단계와 지능 처리단계에서 추출 및 편집되어 출력되는 신호에 부응하여 로봇의 각부 모터 구동을 제어하는 모션 제어단계;로 이루어진 것을 특징으로 한다.

이때, 상기 비전 처리단계는, 카메라로부터 들어오는 영상정보 중에서 색깔을 인식하여 머리와 손을 구별하고, 모션을 인식하는 모션 인식단계와; 카메라로부터 들어오는 영상정보 중에서 얼굴 및 물체를 인식하여 로봇과 인간과의 거리 정보를 분석하고, 상기 로봇이 실행해야 할 추적 동작을 선택하는 얼굴 및 물체 추적단계;를 포함하는 것을 특징으로 한다.

또한, 상기 지능 처리단계는, 상기 비전 처리단계에서 인식된 모션 정보와 마이크를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트신호를 인식하는 단계와; 상기에서 인식된 신호들을 이용하여 로봇이 표현해야 할 개성과 감정 모델을 추출하는 단계와; 상기에서 추출된 정보들을 이용하여 로봇이 실행해야한 얼굴 표정 및 제스처에 따른 시나리오를 발생시키는 단계와; 음성신호를 포함하여 각종 음향신호를 합성하는 단계;를 포함하는 것을 특징으로 한다.

또, 상기 모션 제어단계는, 상기 비전 처리단계와 지능 처리단계로부터 입력된 신호들을 통해 립싱크, 얼굴 표정, 제스처, 감정적 행동에 필요한 제어신호를 생성하는 단계와; 상기에서 생성된 신호에 부응하여 로봇의 모든 모터에 최종적인 위치 값을 출력시켜 그의 구동을 제어하는 모터 중재단계;를 포함하는 것을 특징으로 한다.

한편, 상기 지능 처리단계의 또 다른 실시 예는, 로봇이 감정을 표현하기 위해 마이크를 통해서 입력되는 음성 신호와, 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트 신호 및 카메라에서 감지되는 얼굴 및 움직이는 물체의 신호들을 인 식하는 단계와; 대화 엔진부를 통해 입력되는 감정적 단어 및 카메라를 통해서 들어오는 모션, 얼굴, 물체를 추출하는 단계와; 상기에서 추출된 신호들을 표현해야 할 감정과 제스처가 들어 있는 시나리오부 내의 데이터베이스와 매칭시켜 주는 단계와; 눈 깜빡임, 하품, 졸음, 딸꾹질과 같은 생리적인 행동을 생성하는 단계와; 각 축에 있는 모터에 위치 정보를 분배하는 모션 제어부의 모터 중재자로 전송하는 단계;를 포함하는 것을 특징으로 한다.

이하, 본 발명에 따른 하나의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.

도 1은 본 발명 방법이 적용된 감정표현장치의 개략 블록 구성도를 나타낸 것이고, 도 2는 본 발명 방법이 적용된 장치의 상세 블록 구성도를 나타낸 것이며, 도 3은 본 발명 방법을 설명하기 위한 메인 플로우챠트를 나타낸 것이다.

또, 도 4는 도 3의 비전 처리단계 중 색깔 인식에 의한 모션 인식단계의 상세 플로우챠트를 나타낸 것이고, 도 5는 도 3의 비전 처리단계 중 얼굴 및 물체 추적단계에 대한 상세 플로우챠트를 나타낸 것이며, 도 6은 본 발명 방법 중 지능 처리단계에 따른 일 실시 예의 상세 플로우챠트를 나타낸 것이고, 도 7은 본 발명 방법 중 지능 처리단계에 따른 다른 실시 예의 상세 플로우챠트를 나타낸 것이며, 도 8은 본 발명 방법 중 모션 제어단계의 상세 플로우챠트를 나타낸 것이다.

또한, 도 9는 본 발명에서 적용한 로봇의 개성 모델을 도시한 블록 구성도를 나타낸 것이고, 도 10은 본 발명에서 적용한 로봇의 감성 모델을 도시한 2차원 감정 공간도를 나타낸 것이며, 도 11은 본 발명에서 적용한 로봇의 얼굴에 나타난 네 가지 감정들의 예시도를 나타낸 것이고, 도 12는 본 발명에서 적용한 로봇이 실행한 제스처들의 예시도를 나타낸 것이다.

이에 따르면 본 발명 방법이 적용된 감정표현장치는 도 1에 도시된 바와 같이, 카메라(4)를 통해 촬상되는 사람의 얼굴표정, 색깔과 모션, 물체의 인식을 통해 사람의 감정적 정보들은 추출하는 비전부(1)와;

마이크(5)를 통해 입력되는 사람의 음성과 상기 비전부(1)에서 제공된 데이터를 통해 검출된 개성과 감정모델 및 텍스트로부터 감성적 정보를 추출하고, 각 축들에 적용된 모터에 맞게 편집된 얼굴 표정과 제스처가 저장되어 있는 데이터 베이스(29)를 통해 로봇이 표현해야 할 감정을 선택하고 관리하는 지능부(2)와;

상기 비전부(1)와 지능부(2)에서 전송되어서 데이터를 이용하여 감정적 행동들을 실행하고, 각 축의 모터가 시나리오부(26)에서 원하는 동작을 수행하도록 중재하는 모션 제어부(3);로 구성한 것을 특징으로 한다.

이때, 상기 비전부(1)는 도 2에 도시된 바와 같이, 로봇의 두 안구에 장착되어 있는 카메라(4)를 통해 촬상된 영상에서 얼굴과 색깔 및 물체를 각각 인식하는 얼굴 인식부(11)와 색깔 인식부(13) 및 물체 인식부(12)와;

상기 색깔 인식부(13)의 출력신호를 입력받아 살색인지 여부와 머리 및 손의 움직임을 분석하여 긍정/부정적인 감정신호를 도출해 내는 모션 인식부(14)와;

상기 얼굴 인식부(11) 및 물체 인식부(12)의 출력신호를 각각 입력받아 얼굴 및 물체를 추적하며 눈동자와 목 및 허리의 동작 범위를 각각 추적하여 대화거리를 추출해 내는 얼굴 추적부(15) 및 물체 추적부(16);로 구성한 것을 특징으로 한다.

또, 상기 지능부(2)도 도 2에 도시된 바와 같이, 마이크를 통해 음성신호가 입력되는지의 여부와 입력된 음성신호의 방향을 검출하는 음성 인식부(21) 및 음성신호 방향 검출부(22)와;

웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트신호와 상기 음성 인식부(21)를 통해 입력되는 마이크(5)를 통한 음성신호를 인식하고 긍정/부정적인 감정신호를 추출하는 대화 엔진부(23)와;

상기 비전부(1)의 모션 인식부(14)와 상기 대화 엔진부(23)에서 각각 추출된 감정 정보를 이용하여 상대 값을 변화시켜 활발함/소심함의 두 개성을 추출하는 개성 모델부(24)와;

상기 개성 모델부(24)에서 제공하는 상대 값을 감성 모델 축에 적용하여 개성이 적용된 감정을 추출하는 감정 모델부(25)와;

상기한 각부에서 입력되는 신호들과 데이터 베이스(29)에 기 저장된 시나리오에 정의된 태그들을 이용하여 로봇의 얼굴 표정 및 제스처 제어신호를 모션 제어부(3)에 출력시켜 줌과 동시에 음성 합성신호를 출력시켜 주는 시나리오부(26)와;

상기 시나리오부(26)에서 출력되는 음성 합성신호를 스프커(7)를 통해 출력시켜 주는 음향신호 합성부(27)와;

기 입력된 데이터를 이용하여 생리적인 행동 데이터를 발생시키는 항상성 발생기(28);로 구성한 것을 특징으로 한다.

또한, 상기 모션 제어부(3) 역시 도 2에 도시된 바와 같이, 상기 지능부(2)의 감정 모델부(25)에서 제공하는 신호에 부응하여 감정 표현에 필요한 구동신호를 발생하는 감정적인 행동부(31)와;

상기 지능부(2)의 시나리오부(26)와 감정 모델부(25)에서 각각 출력되는 신호에 부응하여 얼굴 표정과 제스처 표현에 필요한 구동신호를 발생하는 얼굴 표정부(32) 및 제스처부(33)와;

상기 항상성 발생기(28)에서 출력되는 신호에 부응하여 생리적인 행동 표현에 필요한 구동신호를 발생하는 생리적인 행동부(34)와;

상기 음향신호 합성부(27)의 출력신호에 부응하여 입 모양 변화에 필요한 구동신호를 발생하는 립 싱크부(35)와;

데이터 베이스(37)를 구비하고 상기한 각부에서 출력되는 구동신호에 부응하여 얼굴 모터(8)와 팔,몸통,손 모터(9) 및 눈,목 모터(10)의 구동을 제어하는 모터 중재자(36);로 구성한 것을 특징으로 한다.

한편, 상기한 목적을 달성하기 위한 본 발명 방법은 도 3에 도시된 바와 같이, 카메라(4)에 의해 촬상된 영상신호를 이용하여 사람의 감정적 정보를 추출하는 비전 처리단계(S1)와;

상기 카메라(4)로부터 촬상된 영상신호에 의해 추출된 모션 정보와, 마이크(5)를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트신호를 이용하여 감성적 정보를 추출하고 각 축들에 적용된 모터에 맞게 편집하는 지능 처리단계(S2)와;

상기 비전 처리단계(S1)와 지능 처리단계(S2)에서 추출 및 편집되어 출력되는 신호에 부응하여 로봇의 각부 모터 구동을 제어하는 모션 제어단계(S3);로 이루어진 것을 특징으로 한다.

이때, 상기 비전 처리단계(S1)는 도 4 및 도 5에 도시된 바와 같이, 카메라(4)로부터 들어오는 영상정보 중에서 색깔을 인식하여 머리와 손을 구별하고, 모션을 인식하는 모션 인식단계(S11)와;

카메라(4)로부터 들어오는 영상정보 중에서 얼굴 및 물체를 인식하여 로봇과 인간과의 거리 정보를 분석하고, 상기 로봇이 실행해야 할 추적 동작을 선택하는 얼굴 및 물체 추적단계(S12);를 포함하는 것을 특징으로 한다.

또한, 상기 지능 처리단계(S2)의 일 실시 예는 도 6에 도시된 바와 같이, 상기 비전 처리단계(S1)에서 인식된 모션 정보와 마이크(5)를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트신호를 인식하는 단계(S21)와;

상기에서 인식된 신호들을 이용하여 로봇이 표현해야 할 개성과 감정 모델을 추출하는 단계(S22)와;

상기에서 추출된 정보들을 이용하여 로봇이 실행해야한 얼굴 표정 및 제스처에 따른 시나리오를 발생시키는 단계(S23)와;

음성신호를 포함하여 각종 음향신호를 합성하는 단계(24);를 포함하는 것을 특징으로 한다.

또, 상기 모션 제어단계(S3)는 도 8에 도시된 바와 같이, 상기 비전 처리단 계(S1)와 지능 처리단계(S2)로부터 입력된 신호들을 통해 립싱크, 얼굴 표정, 제스처, 감정적 행동에 필요한 제어신호를 생성하는 단계(S31)와;

상기에서 생성된 신호에 부응하여 로봇의 모든 모터에 최종적인 위치 값을 출력시켜 그의 구동을 제어하는 모터 중재단계(S32);를 포함하는 것을 특징으로 한다.

한편, 상기 지능 처리단계(S2)의 또 다른 실시 예는 도 7에 도시된 바와 같이, 로봇이 감정을 표현하기 위해 마이크(5)를 통해서 입력되는 음성 신호와, 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트 신호 및 카메라(4)에서 감지되는 얼굴 및 움직이는 물체의 신호들을 인식하는 단계(S25)와;

대화 엔진부(23)를 통해 입력되는 감정적 단어 및 카메라(4)를 통해서 들어오는 모션과 얼굴 및 물체를 추출하는 단계(S26)와;

상기에서 추출된 신호들을 표현해야 할 감정과 제스처가 들어 있는 시나리오부(26) 내의 데이터 베이스(29)와 매칭시켜 주는 단계(S27)와;

눈 깜빡임, 하품, 졸음, 딸꾹질과 같은 생리적인 행동을 생성하는 단계(S28)와;

각 축에 있는 모터에 위치 정보를 분배하는 모션 제어부(3)의 모터 중재자(36)로 전송하는 단계(S29);를 포함하는 것을 특징으로 한다.

이와 같은 구성 및 단계로 이루어진 본 발명의 작용효과를 설명하면 다음과 같다.

먼저, 본 발명 방법이 적용된 안드로이드 로봇의 감정표현장치는 크게 비전부(1)와 지능부(2) 및 모션 제어부(3)로 구성된 것을 주요 기술 구성요소로 한다.

이때, 상기 비전부(1)는 얼굴 인식부(11)와 색깔 인식부(13), 물체 인식부(12), 모션 인식부(14), 얼굴 추적부(15) 및 물체 추적부(16)를 구비하고 카메라(4)를 통해 촬상되는 사람의 얼굴표정, 색깔과 모션, 물체의 인식을 통해 사람의 감정적 정보들은 추출하는 기능을 수행한다.

상기 비전부(1)에 있어서 얼굴 인식부(11)와 색깔 인식부(13) 및 물체 인식부(12)는 로봇의 두 안구에 장착되어 있는 카메라(4)를 통해 촬상된 영상에서 얼굴과 색깔 및 물체를 각각 인식하게 되고, 상기 모션 인식부(14)에서는 색깔 인식부(13)의 출력신호를 입력받아 살색인지 여부와 머리 및 손의 움직임을 분석하여 긍정/부정적인 감정신호를 도출해 내게 된다.
이때, 상기 색깔 인식부(13)에서 인식하게 되는 색깔은 사람의 얼굴과 손의 색깔을 통해 감정적 정보를 추출하는 것을 의미하고, 모션 인식부(14)에서 인식하는 모션은 부정적 의미로 고개를 절레절레 흔들거나, 긍정적 의미로 고개를 끄덕 끄덕하거나, 반가움을 표시하기 위해 손을 흔들거나, 긍정의 의미로 팔로 "O" 모양이나 "X" 모양을 만드는 것을 의미하며, 손의 색깔은 모션을 인식하는데 있어 손의 위치를 알려주는 정보로 활용함에 따라 얼굴 색깔뿐만 아니라 손의 색깔 또한 감정적 정보를 추출하는데 사용한다.

또, 상기 얼굴 추적부(15) 및 물체 추적부(16)에서는 상기 얼굴 인식부(11) 및 물체 인식부(12)의 출력신호를 각각 입력받아 얼굴 및 물체를 추적하며 눈동자와 목 및 허리의 동작 범위를 각각 추적하여 대화거리를 추출해 내게 된다.
이때, 물체의 인식이라 함은 단순히 물체의 인식만을 가지고 감정적 정보를 추출하는 것을 의미하지 않고, 상기 물체 인식부(12)는 물체 추적부(16)에 필요한 정보를 제공하게 되며, 특정 물체에 대해 계속적인 트래킹을 하게 되면 그 물체에 대한 호기심이 증가하는 감정적 정보를 추출할 수 있고, 관심을 특정 물체에 집중하여 그 물체에 대한 이야기를 이끌어 나갈 수 있는 원인을 제공할 수 있으며, 물체의 인식을 통한 감정적 정보추출은 호기심이란 감정을 추출하는데 사용된다.

또한, 상기 지능부(2)는 음성 인식부(21) 및 음성신호 방향 검출부(22), 대화 엔진부(23), 개성 모델부(24), 감정 모델부(25), 시나리오부(26), 음향신호 합성부(27) 및 항상성 발생기(28)를 구비하고 마이크(5)를 통해 입력되는 사람의 음성과 상기 비전부(1)에서 제공된 데이터를 통해 검출된 개성과 감정모델 및 텍스트로부터 감성적 정보를 추출하고, 각 축들에 적용된 모터에 맞게 편집된 얼굴 표정과 제스처가 저장되어 있는 데이터 베이스(29)를 통해 로봇이 표현해야 할 감정을 선택하고 관리하는 기능을 수행하게 된다.

이때, 상기 음성 인식부(21) 및 음성신호 방향 검출부(22)는 마이크(5)를 통해 음성신호가 입력되는지의 여부와 입력된 음성신호의 방향을 검출하게 되고, 상기 대화 엔진부(23)는 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트신호와 상기 음성 인식부(21)를 통해 입력되는 마이크(5)를 통한 음성신호를 인식하고 긍정/부정적인 감정신호를 추출하게 된다.

또, 상기 개성 모델부(24)에서는 비전부(1)의 모션 인식부(14)와 상기 대화 엔진부(23)에서 각각 추출된 감정 정보를 이용하여 상대 값을 변화시켜 활발함/소심함의 두 개성을 추출하게 되고, 상기 감정 모델부(25)에서는 개성 모델부(24)에서 제공하는 상대 값을 감성 모델 축에 적용하여 개성이 적용된 감정을 추출하게 된다.

그리고, 상기 시나리오부(26)에서는 상기한 각부에서 입력되는 신호들과 데이터 베이스(29)에 기 저장되어 있는 시나리오에 정의된 태그들을 이용하여 로봇의 얼굴 표정 및 제스처 제어신호를 모션 제어부(3)에 출력시켜 줌과 동시에 음성 합성신호를 출력시켜 주게 되고, 상기 음향신호 합성부(27)에서는 시나리오부(26)에서 출력되는 음성 합성신호를 스프커(7)를 통해 출력시켜 주며, 상기 항상성 발생기(28)에서는 기 입력된 데이터를 이용하여 생리적인 행동 데이터(즉, 눈 깜빡임, 하품, 졸음, 딸꾹질과 같은 데이터)를 발생시키게 된다.

한편, 상기 모션 제어부(3)는 감정적인 행동부(31)와 얼굴 표정부(32) 및 제스처부(33), 생리적인 행동부(34), 립 싱크부(35) 및 모터 중재자(36)를 구비하고, 상기 비전부(1)와 지능부(2)에서 전송되어서 데이터를 이용하여 감정적 행동들을 실행함은 물론 각 축의 모터가 시나리오부(26)에서 원하는 동작을 수행하도록 중재하는 기능을 한다.

이때, 상기 감정적인 행동부(31)는 지능부(2)의 감정 모델부(25)에서 제공하는 신호에 부응하여 감정 표현에 필요한 구동신호를 발생하게 되고, 상기 얼굴 표정부(32) 및 제스처부(33)는 상기 지능부(2)의 시나리오부(26)와 감정 모델부(25)에서 각각 출력되는 신호에 부응하여 얼굴 표정과 제스처 표현에 필요한 구동신호를 발생하게 된다.

또, 상기 생리적인 행동부(34)는 항상성 발생기(28)에서 출력되는 신호에 부응하여 생리적인 행동(즉, 눈 깜빡임, 하품, 졸음, 딸꾹질과 같은 행동) 표현에 필요한 구동신호를 발생하게 되고, 상기 립 싱크부(35)는 음향신호 합성부(27)의 출력신호에 부응하여 입 모양 변화에 필요한 구동신호를 발생하게 되며, 상기 모터 중재자(36)는 데이터 베이스(37)를 구비하고 상기한 각부에서 출력되는 구동신호에 부응하여 얼굴 모터(8)와 팔,몸통,손 모터(9) 및 눈,목 모터(10)의 구동을 직접적으로 제어하여 안드로이드 로봇이 인간과 같이 감정 표현을 할 수 있도록 하게 된다.

한편, 본 발명 방법은 크게 비전 처리단계(S1)와 지능 처리단계(S2) 및 모션 제어단계(S3)로 이루어진 것을 주요 기술 구성요소로 한다.

이때, 상기 비전 처리단계(S1)는 카메라(4)에 의해 촬상된 영상신호를 이용하여 사람의 감정적 정보를 추출하는 단계로서, 카메라(4)로부터 들어오는 영상정보 중에서 색깔을 인식하여 머리와 손을 구별하고, 모션을 인식하는 단계(S11)와, 카메라(4)로부터 들어오는 영상정보 중에서 얼굴 및 물체를 인식하여 로봇과 인간과의 거리 정보를 분석하고, 상기 로봇이 실행해야 할 추적 동작을 선택하는 단계(S12)로 이루어지게 된다.

또, 상기 지능 처리단계(S2)는 기본적으로 카메라(4)로부터 촬상된 영상신호에 의해 추출된 모션 정보와, 마이크(5)를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트신호를 이용하여 감성적 정보를 추출하고 각 축들에 적용된 모터에 맞게 편집하는 단계로서, 그 일실시 예서는 상기 비전 처리단계(S1)에서 인식된 모션 정보와 마이크(5)를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트신호를 인식하는 단계(S21)를 실시한 다음, 상기에서 인식된 신호들을 이용하여 로봇이 표현해야 할 개성과 감정 모델을 추출하는 단계(S22)를 실시하고, 이어서 상기에서 추출된 정보들을 이용하여 로봇이 실행해야한 얼굴 표정 및 제스처에 따른 시나리오를 발생시키는 단계(S23)를 실시한 후 음성신호를 포함하여 각종 음향신호를 합성하는 단계(S24)를 실시하는 형태를 갖는다.

또한, 상기 지능 처리단계(S2)의 다른 실시 예에서는, 로봇이 감정을 표현하기 위해 마이크(5)를 통해서 입력되는 음성 신호와, 웹이나 메신저 또는 키보드(6)를 통해 입력되는 텍스트 신호 및 카메라(4)에서 감지되는 얼굴 및 움직이는 물체의 신호들을 인식하는 단계(S25)를 실시한 다음, 대화 엔진부(23)를 통해 입력되는 감정적 단어 및 카메라(4)를 통해서 들어오는 모션과 얼굴 및 물체를 추출하는 단계(S26)를 실시하고, 상기에서 추출된 신호들을 표현해야 할 감정과 제스처가 들어 있는 시나리오부(26) 내의 데이터 베이스(29)와 매칭시켜 주는 단계(S27)를 실시한 후 눈 깜빡임, 하품, 졸음, 딸꾹질과 같은 생리적인 행동을 생성하는 단계(S28)를 실시하고, 이어서 각 축에 있는 모터에 위치 정보를 분배하는 모션 제어부(3)의 모터 중재자(36)로 전송하는 단계(S29)를 실시하는 형태를 갖는다.

그리고, 상기 모션 제어단계(S3)는 비전 처리단계(S1)와 지능 처리단계(S2)에서 추출 및 편집되어 출력되는 신호에 부응하여 로봇의 각부 모터 구동을 제어하는 단계로서, 상기 비전 처리단계(S1)와 지능 처리단계(S2)로부터 입력된 신호들을 통해 립싱크, 얼굴 표정, 제스처, 감정적 행동에 필요한 제어신호를 생성하는 단계(S31)를 실시한 다음 상기에서 생성된 신호에 부응하여 로봇의 모든 모터에 최종적인 위치 값을 출력시켜 그의 구동을 제어하는 모터 중재단계(S32)로 이루어진다.

다시 말해서 본 발명에 따른 로봇의 감정 표현 방법은, 세 단계인 비전 처리단계(S1)와 지능 처리단계(S2) 및 모션 제어단계(S3)를 포함하고 있고, 세부적으로는 입력된 신호 인식단계, 개성 및 감정이나 모션, 얼굴, 물체를 추출하는 단계, 행동을 생성하는 단계를 포함한다.

이때, 비전부(1)의 카메라(4)는 로봇의 안구에 장착되어 있어 사람과 유사한 시야와 위치를 제공하게 되는데, 인식 단계에서는 얼굴, 물체, 색깔의 정보를 인식하고, 상기의 신호들은 모션, 얼굴, 물체를 추적하는 단계에 제공된다.

이와 같은 단계를 거쳐 추출된 신호들은 미리 등록된 얼굴 표정, 제스처 데이터들이 저장된 지능부(2)의 시나리오부(26) 내 데이터 베이스(29) 내용과 비교 및 평가되어 모터 중재자(36)와 시나리오에 제공한다.

또한 상기 모션 제어부(3)의 모터 중재자(36)에서 수행하는 모션 제어단계(S3)는 감정 표현 방법의 최하위 단계로써 본 발명의 한 실시 예에 따른 로봇을 구성하고 있는 모터들에 서로 간섭하지 않고, 움직임이 자연스럽도록 위치 값을 제공한다.

또, 지능 처리단계(S2)는 최상위 단계로써 특정 작업을 수행하기 위해 입력된 신호들은 조합하여 하위 단계로 신호를 제공하게 되는데, 본 발명에서 사용할 수 있는 입력된 신호들을 태그로 정의할 뿐만 아니라 시나리오 구성상 필요한 기능들도 태그로 제공한다.

입력된 신호 태그들에는 립싱크, 텍스트, 음성 파일, 음성 톤 및 스피드, 얼굴 표정, 제스처 등을 제공하고, 필요에 의해 만들어진 태그들에는 주석, 종료, 멈춤, 시작 등을 제공한다.

한편, 비전부(1)에서는 카메라(4)를 통해서 제공된 신호들 중에서 살색을 인식한다. 비전부(1)을 통해 인간의 모션으로부터 감정적 신호들을 추출하기 위해서 감정적 신호들과 연관성이 많은 머리와 손의 움직임으로부터 신호를 얻을 수 있다.

세부적인 신호들을 얻기 위해서는 많은 양의 데이터 처리 과정이 필요하기 때문에 본 발명에 사용한 로봇은 비교적 적은 양의 데이터 처리 과정이 필요한 머리와 손의 움직임으로부터 긍정/부정적 두 가지의 신호들을 추출하게 되는데, 이와 같은 머리와 손의 구분은 일반적인 인간의 구조적 데이터를 통해 얻을 수 있다.

머리와 손은 면적, 동작 범위, 위치가 다르지만 같은 색깔을 가지고 있기 때문에 색깔 인식을 통해서 구분할 수 있고, 추출된 머리와 손으로부터 움직임을 분 석하여 긍정/부정적 두 가지의 신호들을 개성 모델에 제공하며, 개성 모델에서 계산된 상태 값이 감정 모델에 적용되어, 시나리오부(26)에서 실행되는 얼굴 표정과 제스처에 감정적 신호들을 제공한다.

통상 인간은 상대방과 대화를 하면서 항상 일정 거리를 유지하게 되는데, 이는 문화적 차이에 따라 다를 수 있다.

카메라(4)를 통해서 얼굴 및 물체를 인식함으로써 대화 거리를 파악할 수 있으며, 대화 거리 안으로 들어온다면 거부감을 보일 것이고, 너무 멀면 대화 거리를 줄이려고 노력할 것이다.

또한, 상대방과 대화하기 위해서는 상대편의 얼굴을 쳐다봄으로써 말할 순서나 상대방의 감정을 파악함에 따라 얼굴 및 물체를 추적하는 기능이 필요하다.

대화 거리 안으로 들어오면 모터 중재자(36)에 신호를 제공하여 대화 거리를 유지하고, 얼굴 및 물체를 추적하기 위해서는 먼저 눈동자의 동작 범위에서 추적할 수 있는지를 파악하고, 범위에서 벗어나면 목, 허리 순으로 얼굴 및 물체를 추적한다.

한편, 지능부(2)에서는 마이크(5)를 통해 들어온 음성 신호와 웹이나 메신저 또는 키보드(6)에서 입력되는 텍스트 신호를 인식하고, 인식된 신호들은 대화 엔진부(23)를 통해서 감정적 신호들이 추출된다.

이때, 대화 엔진부(23)의 대화 엔진은 10,000개의 텍스트 정보와 100개의 제스처가 저장되어 있고, 추출된 신호들이 감정적 신호들이 아니라면 대화 엔진부(23)에 등록된 텍스트와 제스처가 실행된다.

감정적 신호들이 추출되었다면 개성 모델부(24)에 긍정/부정적 신호를 제공하여 내부 상태 값을 변화시키게 되고, 상기에서 변화된 상태 값은 감정 모델부(25)에 제공된다.

또, 상기 개성 모델부(24)의 상태 값은 감정 모델의 축을 변화시켜 감정 모델이 미소, 슬픔, 놀람, 화남의 네 가지 검정을 가지게 하게 되는데, 도 9는 이와 같은 로봇의 개성 모델을 도시한 블록 구성도이다.

상기와 같이 음성이나 비전 및 텍스트로 입력된 신호들은 개성 모델부(24)의 내부 상태 값과 현재 상태 값을 변화시키게 되는데, 이때 개성 모델은 활발함(Vigorous)/소심함(Timid)의 두 가지 개성을 갖는다.

초기 내부 상태 값은 0.5이고, 최소 0, 최대 1의 값을 갖는다. 활발한 개성은 감정 모델의 미소 축과 놀람 축에 영향을 미치고, 소심한 개성은 감정 모델의 슬픔 축과 화남 축에 영향을 미치며, 현재 상태 값은 입력된 신호가 긍정/부정에 따라 상대적으로 가 더해지거나 소거된다.

이는 계단 함수

에 입력된다. 수식으로 나타내면,

와 같다.

한편, 긍정적인 신호들이 계속 제공된다면 본 발명이 적용된 로봇의 개성은 활발함의 상태 값이 증가하고, 소심함의 상태 값은 감소하며, 개성 모델의 현재 상 태 값은 감정 모델의 축에 영향을 주어 감정 모델이 개성을 가지게 한다.

도 10은 본 발명에서 적용한 로봇의 감성 모델을 예시한 2차원 감정 공간도이다.

감정을 연속적인 차원의 공간상에 표현한 방법으로 MIT, Breazeal의 Kismet의 감정 공간 방법과 Nagoya 대학의 Miwa의 WE-3의 방법이 있다.

Breazeal은 Arousal, Valence, Stance의 3개의 축으로 이루어진 감정 공간 9개의 감정을 표현했고, Miwa는 Pleasantness, Activation, Certainty 3개의 축으로 구성된 감정 공간에 7개의 감정을 표현했다. 일반적으로 행복, 슬픔, 화남, 놀람, 공포, 혐오를 6대 감정으로 분류한다.

본 발명이 적용된 로봇에서는 감정의 빈도 수가 적은 공포와 혐오를 제외한 행복(미소), 슬픔, 화남, 놀람의 4개의 감정을 2차원 상의 원점을 기준으로 하나의 축(E₀-E₃)으로 할당한다.

한 시점에서 감정 모델의 입력은 4가지 감정값의 쌍으로 나타나게 되는데, 이때 각 감정값은 0에서 1 사이의 값으로 표현되고, 인덱스 0은 행복, 1은 화남, 2는 슬픔, 3은 놀람을 나타낸다.

예를 들면, 도 11에서 나타낸 감정의 입력은 [e0 e1 e2 e3] = [0.8 0.3 0.4 0.4]이다. S₀~S₄는 각 감정 축을 이등분한 선에 의해 생성되는 영역의 면적으로서 감정의 출력을 계산하는데 사용된다. 이때 감정의 출력(Wi)은,

와 같이 정의한다.

감정의 축이 변하면 동일한 입력에 대한 감정의 출력 값이 변하여 다른 감정의 반응 특성이 나타난다.

이에 따라 각 개체는 자신의 경험에 따라 다양한 반응의 패턴, 즉 개성을 갖는다. 감정의 축은 발생 빈도가 높을수록 길어지고 감정의 동시 발생확률이 높을 수록 가까워진다.

도 12는 행복(미소)의 발생빈도가 높아져 E₀축이 길어지고 슬픔과 놀람 그리고 슬픔과 화남의 감정의 동시 발생확률이 높아 E₂와 E₁ 및 E₃의 축이 가까워진 결과를 나타내는 것으로, 이것은 자주 발생하는 감정에 대한 반응도를 높이고 동시에 발생하는 감정의 반응도를 비슷하게 만든다.

도 11은 본 발명에서 적용한 로봇의 얼굴에 나타난 네 가지 감정들의 예시도이다.

도 12는 본 발명에서 적용한 로봇이 실행한 제스처들의 예시도이다.

본 발명은 그 정신 또는 주요한 특징으로부터 일탈하는 일없이, 다른 여러 가지 형태로 실시할 수 있다. 그 때문에, 전술한 실시예는 모든 점에서 단순한 예시에 지나지 않으며, 한정적으로 해석해서는 안된다.

본 발명의 범위는 특허청구의 범위에 의해서 나타내는 것으로서, 명세서 본 문에 의해서는 아무런 구속도 되지 않으며, 또한 특허청구범위의 균등 범위에 속하는 변형이나 변경은, 모두 본 발명의 범위 내의 것이다.

이상에서 설명한 바와 같이 본 발명에 의하면, 안드로이드 로봇이 감정 상태를 인간과 유사한 피부와 관절 구조로 표현할 수 있고, 비전, 음성, 텍스트로 상대방에게 감정을 표현할 수 있기 때문에 인간과 더욱 친근한 의사소통을 할 수 있을 뿐만 아니라, 이로 인해 로봇과 관련된 새로운 기술들의 수요를 증가시킬 수 있고 결국 로봇 시장 촉진에 기여할 수 있는 등 매우 유용한 발명인 것이다.

Claims (9)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 카메라에 의해 촬상된 영상신호를 이용하여 사람의 감정적 정보를 추출하는 비전 처리단계와;

   상기 카메라로부터 촬상된 영상신호에 의해 추출된 모션 정보와, 마이크를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트신호를 이용하여 감성적 정보를 추출하고 각 축들에 적용된 모터에 맞게 편집하는 지능 처리단계와;

   상기 비전 처리단계와 지능 처리단계에서 추출 및 편집되어 출력되는 신호에 부응하여 로봇의 각부 모터 구동을 제어하는 모션 제어단계;로 이루어지되,

   상기 비전 처리단계는, 카메라로부터 들어오는 영상정보 중에서 색깔을 인식하여 머리와 손을 구별하고, 모션을 인식하는 모션 인식단계와; 카메라로부터 들어오는 영상정보 중에서 얼굴 및 물체를 인식하여 로봇과 인간과의 거리 정보를 분석하고, 상기 로봇이 실행해야 할 추적 동작을 선택하는 얼굴 및 물체 추적단계;를 포함하고,

   상기 지능 처리단계는, 비전 처리단계에서 인식된 모션 정보와 마이크를 통해 입력되는 음성신호 및 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트신호를 인식하는 단계와; 상기에서 인식된 신호들을 이용하여 로봇이 표현해야 할 개성과 감정 모델을 추출하는 단계와; 상기에서 추출된 정보들을 이용하여 로봇이 실행해야한 얼굴 표정 및 제스처에 따른 시나리오를 발생시키는 단계와; 음성신호를 포함하여 각종 음향신호를 합성하는 단계;를 포함하며,

   상기 지능 처리단계는, 로봇이 감정을 표현하기 위해 마이크를 통해서 입력되는 음성 신호와, 웹이나 메신저 또는 키보드를 통해 입력되는 텍스트 신호 및 카메라에서 감지되는 얼굴 및 움직이는 물체의 신호들을 인식하는 단계와; 대화 엔진부를 통해 입력되는 감정적 단어 및 카메라를 통해서 들어오는 모션과 얼굴 및 물체를 추출하는 단계와; 상기에서 추출된 신호들을 표현해야 할 감정과 제스처가 들어 있는 시나리오부 내의 데이터 베이스와 매칭시켜 주는 단계와; 눈 깜빡임, 하품, 졸음, 딸꾹질과 같은 생리적인 행동을 생성하는 단계와; 각 축에 있는 모터에 위치 정보를 분배하는 모션 제어부의 모터 중재자로 전송하는 단계;를 포함하고,

   상기 모션 제어단계는, 비전 처리단계와 지능 처리단계로부터 입력된 신호들을 통해 립싱크, 얼굴 표정, 제스처, 감정적 행동에 필요한 제어신호를 생성하는 단계와; 상기에서 생성된 신호에 부응하여 로봇의 모든 모터에 최종적인 위치 값을 출력시켜 그의 구동을 제어하는 모터 중재단계;를 포함하는 것을 특징으로 하는 안드로이드 로봇의 감정표현방법.
6. 삭제
7. 삭제
8. 삭제
9. 삭제

Images