KR20110060039A - 대화형 로봇 장치 및 그 제어방법 - Google Patents

대화형 로봇 장치 및 그 제어방법 Download PDF

Info

Publication number
KR20110060039A
KR20110060039A KR1020090116507A KR20090116507A KR20110060039A KR 20110060039 A KR20110060039 A KR 20110060039A KR 1020090116507 A KR1020090116507 A KR 1020090116507A KR 20090116507 A KR20090116507 A KR 20090116507A KR 20110060039 A KR20110060039 A KR 20110060039A
Authority
KR
South Korea
Prior art keywords
image
user
voice
module
processing module
Prior art date
Application number
KR1020090116507A
Other languages
English (en)
Inventor
한성호
Original Assignee
동국대학교 산학협력단
뷰모션 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단, 뷰모션 (주) filed Critical 동국대학교 산학협력단
Priority to KR1020090116507A priority Critical patent/KR20110060039A/ko
Publication of KR20110060039A publication Critical patent/KR20110060039A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 대화형 로봇 장치 및 그 제어방법을 개시한 것으로, 이러한 본 발명은 텍스트와 스피치는 물론 영상 인식을 통해 로봇이 대화 상대인 화자를 스스로 인식할 수 있도록 하는 대화형 로봇을 구성한 것으로, 함으로써, 단답형이 아닌 화자와 로봇간의 의사소통이 가능할 정도로 발전되는 맞춤형 대화가 가능하도록 함은 물론, 다중 사용자와의 맞춤형 대화도 가능하도록 하면서 대화형 로봇이 관공서나 병원에서 안내 도우미로서 활용되거나, 회사에서 임원들의 비서 서비스를 제공함은 물론, 외국어 회화 학습과 같은 분야에서 도움을 줄 수 있도록 하는 등 대화형 로봇을 누구나 간편하게 사용할 수 있도록 한 것이다.
대화형 로봇, 화자, 영상, 카메라

Description

대화형 로봇 장치 및 그 제어방법{Communication Robot and controlling method therof}
본 발명은 로봇 장치에 관한 것으로서, 보다 상세하게는 기 저장된 화자의 정보와 촬영되는 화자의 영상 정보를 비교하여 화자를 인식하고, 이를 통해 화자와 로봇간의 맞춤형 대화가 이루어질 수 있도록 하는 대화형 로봇 장치 및 그 제어방법에 관한 것이다.
영상처리 분야는 영상 압축, 영상 향상, 영상 복원, 영상 형태학, 신경/회로망, 지식 기반의 영상 해석 등의 기술적인 발전으로 인하여 그 활용 분야가 점차 확대되고 있는 추세이다.
즉, 영상처리는 영상을 더욱 높은 질의 영상으로 만들거나, 일그러뜨리고, 영상의 두드러진 특징들을 더욱 두드러지게 하며, 다른 영상의 일부분으로부터 새로운 영상을 만들어내고, 영상을 획득하는 동안이나 획득한 후에 변질된 영상을 복원시키는 등의 세분화된 기술을 포함하는 것으로, 이러한 영상처리 기술은 카메라나 스캐너를 통해 촬영된 영상을 디지털화한 후 여러가지 목적에 따라 컴퓨터와 여러가지 알고리즘을 적용하여 처리하는 것이다.
즉, 현재 영상처리의 기술은 의료분야(예; CT촬영, 자기공명 영상기술), 생체인식(예; 지문인식, 총체인식, 얼굴인식 등), 반도체 산업분야(예; 머신 비젼), 게임 분야(예; 영상처리에 의한 동작인식) 등에 넓리 활용되고 있다.
이때, 상기 얼굴 인식 기술은 기존 얼굴 사진의 데이터베이스를 구축하고, 이를 바탕으로 카메라에 의해 촬영되는 영상과 비교하여 본인 여부를 확인하고 인식하는 기술로, 대부분의 생체 인식 방법은 입력방법에 따라 특별한 환경하에서 사용자로 하여금 일정한 동작을 취하도록 요구하여 사용자의 거부감을 일으키는 단점이 있으나, 얼굴인식방법은 사용자의 특별한 동작이나 행위에 대한 요구없이 비접촉식으로 자연스럽게 식별할 수 있는 장점을 가진다.
한편, 상기 영상처리 기술이 접목된 종래의 지능형 대화 로봇은 사람과 대화 가능한 소프트웨어 에이전트를 의미하는 채팅 로봇으로, 채터봇(chatterbot), 챗봇(chatbot), 채터박스(chatterbox), 대화 에이전트(conversational agent) 등으로 불려진다.
상기 지능형 대화 로봇은 사용자와 사용자간에 채팅이 이루어지는 것이 아니라, 사용자와 대화 에이전트 즉, 지능형 대화 로봇간의 채팅이 이루어지는 것이며, 주로 대화 로봇이 예상되는 질문/응답의 쌍들을 미리 패턴 매칭을 통해 데이터베이스화하여 저장해 둠으로써 사용자의 질문에 응답할 수 있도록 한 것이다.
그러나, 종래 지능형 대화 로봇의 경우 상대방을 인식하기 위해서는 텍스트(text)나 스피치(speech)로 사용자가 직접 소개해야 하는 과정을 반드시 거쳐야 하며, 이러한 과정으로 입력되는 정보는 전문 지식을 가진 프로그래머가 직접 원시 소스코드(source code)를 수정해야만 로봇이 상대방을 인식할 수 있는 등 사용에 상당한 불편함이 있고, 이에따라 대화형 로봇에 대한 보급이 보편화되지 못하고 전문분야에서만 사용될 수 밖에 없는 단점이 있다.
또한, 종래의 지능형 대화 로봇은 첨부된 도 1에서와 같이 사용자 인식 기능이 없고, 처음 시작시 기본 설정값으로 단순하게 질문하거나 응답하는 단답형에 국한되어 있으며, 이에따라 사용자와 로봇의 대화가 연속적이지 못하고 단시간에 종료될 수 밖에 없는 등 그 사용에 상당한 불편함이 있다.
따라서, 본 발명은 상기와 같은 종래의 문제점을 개선하기 위한 것으로, 텍스트와 스피치는 물론 영상 인식을 통해 로봇이 대화 상대인 화자를 스스로 인식할 수 있도록 하는 대화형 로봇을 구성함으로써, 단답형이 아닌 화자와 로봇간의 의사소통이 가능할 정도로 발전되는 맞춤형 대화가 가능하도록 함은 물론, 다중 사용자와의 맞춤형 대화도 가능하도록 하는 대화형 로봇 장치 및 그 제어방법을 제공함에 주된 목적이 있는 것이다.
상기 목적 달성을 위한 본 발명 대화형 로봇장치는, 유저의 얼굴을 촬영한 영상이미지로부터 특징점을 추출하는 영상처리모듈; 유저의 음성정보를 입력받아 음성정보로부터 특징점을 추출하는 음성처리모듈; 상기 영상처리모듈로부터 추출되는 영상이미지의 특징점과 유저DB에 등록된 유저의 디지털 처리된 영상이미지를 매칭시켜 유저를 인식하고, 인식된 유저의 디지털 처리된 영상이미지를 출력하는 영상매칭모듈; 상기 영상매칭모듈로부터 유저 인식이 이루어질 때, 상기 음성처리모듈로부터 추출되는 특정점에 해당하는 배경이미지를 배경이미지DB로부터 탐색하여 출력하는 배경변환모듈; 상기 영상매칭모듈과 배경변환모듈에 의해 처리되는 정보를 화면에 표시하는 디스플레이부; 상기 디스플레이부에 유저에 대한 디지털 처리된 영상이미지와 배경이미지가 디스플레이시, 상기 배경이미지에 해당하는 캐릭터로 변환한 후 유저와의 대화를 위한 정보를 대화DB에서 추출하여 유저와의 질 의/응답 대화를 진행하는 대화처리모듈; 및, 상기 각 모듈을 제어하는 제어모듈; 을 포함한다.
또한, 상기 영상처리모듈은, 유저를 촬영하는 카메라; 상기 카메라에 의해 촬영되는 유저의 얼굴 영상을 인식하는 안면 인식부; 상기 안면인식부에 의해 인식되는 유저의 얼굴 영상으로부터 특징점을 추출하여 제어모듈로 출력하는 특징점 추출부; 를 포함한다.
또한, 상기 음성처리모듈은, 유저의 음성을 입력받는 음성입력부; 상기 음성입력부로부터 입력되는 유저의 음성을 인식하는 음성인식부; 상기 음성인식부로부터 인식되는 유저의 음성에서 특징점을 추출하는 특징점 추출부; 상기 특징점 추출부로부터 유저의 직업군을 분석한 후 이를 제어모듈에 출력하는 음성분석부; 를 포함한다.
또한, 상기 대화처리모듈은, 상기 제어모듈의 제어를 받아 구동하고, 음성처리모듈로부터 입력되는 유저의 질의 음성정보에 매칭되는 응답 음성을 대화DB에서 추출하는 대화처리부; 및, 상기 대화처리부로부터 추출되는 응답 음성을 외부로 출력하는 대화출력부; 를 포함한 것이다.
또한, 상기 유저DB에는 유저의 신상정보와 직업군 및 디지털 처리된 유저의 영상이미지, 그리고 유저와 로봇간의 이전 대화 내용정보가 업데이트되어 저장되는 것이다.
그리고, 상기 대화형 로봇장치에 의해 구현되는 화자와 로봇의 대화 제어방법으로는, 입력되는 영상을 인식한 후 특징점을 추출하는 단계; 상기 단계로부터 추출된 특징점으로부터 매칭되는 영상이미지가 존재하는지를 탐색하는 단계; 상기 단계의 탐색결과 매칭되는 영상이미지가 존재하면 디지털 처리된 유저의 영상이미지를 출력하여 표시한 후 유저의 음성정보를 입력받아 그 특징점을 추출하는 단계; 상기 단계로부터 추출되는 유저 음성의 특징점으로부터 배경이미지를 출력하여 표시한 후 대화를 위한 캐릭터 변환이 이루어지는 단계; 및, 상기 유저의 디지털 처리된 영상이미지와 배경이미지가 표시됨과 동시에, 변환된 캐릭터를 통해 유저와의 질의/응답 대화를 진행하는 단계; 를 포함하여 진행하는 것이다.
또한, 상기 단계에서 영상이미지의 매칭 정보가 없을 경우, 촬영된 유저의 영상이미지를 새로 등록할 것인가를 결정하는 단계; 를 더 포함한다.
또한, 상기 단계에서 유저 음성의 특징점에 따라 배경이미지 출력이 없으면 캐릭터 변환없이 일반적인 로봇의 대화모드로 유저와의 질의/응답 대화를 진행하는 단계; 를 더 포함한다.
이 같은 본 발명은 텍스트와 스피치는 물론 영상 인식을 통해 로봇이 대화 상대인 화자를 스스로 인식할 수 있도록 하는 대화형 로봇을 구성한 것으로, 함으로써, 단답형이 아닌 화자와 로봇간의 의사소통이 가능할 정도로 발전되는 맞춤형 대화가 가능하도록 함은 물론, 다중 사용자와의 맞춤형 대화도 가능하도록 하면서 대화형 로봇이 관공서나 병원에서 안내 도우미로서 활용되거나, 회사에서 임원들의 비서 서비스를 제공함은 물론, 외국어 회화 학습과 같은 분야에서 도움을 줄 수 있도록 하는 등 대화형 로봇을 누구나 간편하게 사용할 수 있는 효과를 기대할 수 있 는 것이다.
이하, 첨부된 도면에 의하여 본 발명의 실시예를 설명하면 다음과 같다.
도 2는 본 발명의 실시예로 대화형 로봇장치의 구성도이고, 도 3은 본 발명의 실시예로 대화형 로봇 장치의 제어방법을 보인 흐름도이며, 도 4는 본 발명의 실시예로 얼굴 인식 흐름도이고, 도 5는 본 발명의 실시예로 로봇과 다자간 대화 흐름이며, 도 6은 본 발명의 실시예로 로봇의 캐릭터 변환 흐름도를 도시한 것이다.
도 2 내지 도 6을 참조하면, 본 발명의 실시예에 따른 대화형 로봇장치는 영상처리모듈(10), 음성처리모듈(20), 영상매칭모듈(30), 배경변환모듈(40), 디스플레이부(50), 대화처리모듈(60), 그리고 제어모듈(70)을 포함한다.
상기 영상처리모듈(10)은 유저의 얼굴을 촬영한 영상이미지로부터 특징점을 추출하기 위한 것으로, 카메라(11), 안면인식부(12), 특징점 추출부(13)를 포함한다.
상기 카메라(11)는 유저를 촬영하는 것으로 그 촬영범위는 유저의 신체 전체 또는 특정부위(예; 얼굴)만 될 수도 있는 것이다.
상기 안면인식부(12)는 상기 카메라(11)에 의해 촬영되는 유저의 얼굴 영상을 인식하는 것이고, 상기 특징점 추출부(13)는 상기 안면인식부(12)에 의해 인식되는 유저의 얼굴 영상으로부터 구성요소(예; 눈, 코, 입 등)를 추출한 후 전처리 과정(예; 회전, 조명 보정 등)을 거쳐 유저만이 가지는 특징점을 추출하도록 구성 된다.
상기 음성처리모듈(20)은 유저의 음성정보를 입력받아 음성정보로부터 특징점을 추출하는 것으로, 음성입력부(21), 음성인식부(22), 특징점 추출부(23), 그리고 음성분석부(24)를 포함한다.
상기 음성입력부(21)는 마이크로서 유저의 음성을 입력받으며, 상기 음성인식부(22)는 상기 음성입력부(21)로부터 입력되는 유저의 음성을 인식하는 것이고, 상기 특징점 추출부(23)는 상기 음성인식부(22)로부터 인식되는 유저의 음성에서 특징점(예; 발음, 세기, 특정단어 등)을 추출하도록 구성된다.
상기 음성분석부(24)는 상기 특징점 추출부(23)로부터 추출되는 음성의 특징점으로부터 유저의 직업군을 분석하도록 구성된다.
상기 영상매칭모듈(30)은 상기 영상처리모듈(10)로부터 추출되는 영상이미지의 특징점과 유저DB(31)에 등록된 유저의 디지털 처리된 영상이미지를 매칭시켜 유저를 스스로 인식할 수 있도록 구성되며, 상기 인식된 유저의 디지털 처리된 영상이미지를 상기 디스플레이부(50)에 출력하도록 구성된다.
여기서, 상기 유저DB(31)는 로봇의 초기 제작단계에서 기본적으로 주문자(유저)가 원하는 정보를 입력하여 둔 상태에서 다른 유저들과의 대화 진행시 정보를 업데이트시키도록 한 것이며, 이에따라 유저의 신상정보(예; 나이, 성별, 관심분야 등)와 직업군(예; 의사, 약사, 호텔 매니저 등) 및 디지털 처리된 유저의 영상이미지, 그리고 유저와 로봇간의 이전 대화 내용을 업데이트하여 저장하도록 구성된다.
상기 배경변환모듈(40)은 상기 영상매칭모듈(30)로부터 유저 인식이 이루어 질 때, 상기 음성처리모듈(20)로부터 추출되는 특징점에 해당하는 배경이미지를 배경이미지DB(41)로부터 탐색하여 출력하도록 구성된다.
여기서, 상기 배경이미지DB(41)는 대화 상대자의 직업군에 해당하는 이미지인 것이다.
일예로, 첨부된 도 6에서와 같이 대화 상대자(유저 A)가 호텔 매니저이면 호텔 이미지를 배경화면으로서 제공하고, 대화 상대자(유저 B)가 식당 매니저이면 식당 이미지를 배경화면으로서 제공하며, 대화 상대자(유저 C)가 의사이면 병원 이미지를 배경화면으로서 제공할 수 있도록 다양한 배경이미지가 저장되어 있는 것이다.
상기 디스플레이부(50)는 상기 영상매칭모듈(30)과 배경변환모듈(40)에 의해 처리되는 정보를 화면에 표시하도록 구성된다.
상기 대화처리모듈(60)은 상기 디스플레이부(50)에 유저에 대한 디지털 처리된 영상이미지와 배경이미지가 디스플레이시, 상기 배경이미지에 따라 유저와 실제 대화할 수 있는 캐릭터(예; 환자, 동료의사, 투숙객, 손님 등)로 로봇을 변환시킨 후 유저와의 대화를 위한 정보를 대화DB(61)에서 추출하여 유저와의 질의/응답 대화를 진행하도록 구성된다.
이때, 상기 대화처리모듈(60)에는 상기 제어모듈(70)의 제어를 받아 구동하고, 음성처리모듈(20)로부터 입력되는 유저의 질의 음성정보에 매칭되는 응답 음성을 대화DB(61)에서 추출하는 대화처리부(62), 그리고 상기 대화처리부(62)로부터 추출되는 응답 음성을 외부로 출력하도록 스피커를 포함하는 대화출력부(63)를 포 함하는 것이다.
여기서, 상기 대화DB(61)에 저장되는 대화내용은 유저와의 이전 대화 내용이 업데이트되어 저장됨은 물론, 각종 직업군에 해당하는 대화 정보가 설정되어 저장되는 것이다.
상기 제어모듈(70)은 상기 각 모듈(10)(20)(30)(40)(50)(60)을 통합 제어하도록 구성된다.
즉, 본 발명의 실시예는 첨부된 도 2 내지 도 6에서와 같이, 우선 대화형 로봇의 제작이 이루어질 때 구매자의 요청에 따라 유저DB(31)에 정보를 세팅 저장하는 한편, 배경이미지DB(41)와 대화DB(61)에는 각종 배경이미지와 대화에 필요로 하는 단어와 어문 등을 세팅하여 저장한다.
이후, 대화형 로봇이 특정장소에 설치된 상태에서, 유저(A,B,C)들이 상기 대화형 로봇과의 대화를 시도하는 경우, 우선 대화형 로봇에 구성되는 영성처리모듈(10)내의 카메라(11)는 유저(A,B,C)들의 영상을 촬영한 후 이를 안면인식부(12)에 전달한다.
그러면, 상기 안면인식부(12)는 대화를 시도하는 유저(A,B,C)들의 안면을 인식한 후 이를 특징점 추출부(13)로 전달하게 되는 바, 상기 특징점 추출부(13)는 인식된 안면으로부터 특징점을 추출한 후 이를 제어모듈(70)에 전송하게 되며, 이에따라 상기 제어모듈(70)은 영상매칭모듈(30)의 구동을 제어하게 된다.
즉, 상기 영상매칭모듈(40)은 상기 영상처리모듈(10)의 특징점 추출부(13)로부터 추출되는 영상이미지의 특징점과 유저DB(31)에 등록된 유저(A,B,C)의 디지털 처리된 영상이미지를 매칭시켜 유저(A,B,C)를 스스로 인식한 후 인식된 유저(A,B,C)의 정보를 디스플레이부(50)를 통해 대화 상대자인 유저(A,B,C)들이 볼 수 있도록 표시하게 되며, 만약 매칭되는 유저(A,B,C)의 디지털 처리된 영상이미지가 존재하지 않을 경우에는 그 등록여부를 결정하게 되는 것이다.
한편, 상기와 같이 대화 상대자인 유저(A,B,C)들을 스스로 인식한 상태에서, 유저(A,B,C)들이 대화의 음성정보(예; 이름, 직업을 연상할 수 있는 특정단어)를 입력하는 경우, 상기 대화의 음성정보는 음성처리모듈(20)내의 음성입력부(21)를 통해 입력되어 음성인식부(22)에 의해 인식된 후 특징점 추출부(23)로 전달되고, 이에따라 상기 특징점 추출부(23)는 입력되는 대화 음성정보에서 대화 상대자들인 유저(A,B,C)들을 파악할 수 있는 특정단어를 추출한 후 이를 분석부(24)에 전달한다.
그러면, 상기 분석부(24)는 상기와 같이 추출되는 특정단어를 분석한 후 이 분석정보를 제어모듈(70)에 전송하는 바,
상기 제어모듈(70)은 배경변환모듈(40)을 구동 제어하는 한편, 대화처리모듈(60)을 구동 제어하여 로봇과 유저(A,B,C)들의 대화가 이루어질 수 있도록 한다.
일예로, 유저 A의 영상이미지가 저장된 상태에서 유저 A가 로봇과의 처음 대화를 시도하면서 이름을 말할 때, 상기 로봇은 상기 유저 A의 영상이미지를 유저DB(31)로부터 탐색하여 추출하거나, 또는 영상이미지가 존재하지 않을 경우에는 현장에서 바로 영상처리모듈(10)을 통해 유저 A의 영상이미지를 저장하여 둔다.
이후, 유저 A가 일정시간 또는 일정기간이 경과된 상태에서 로봇과의 대화를 재차 시도하는 경우, 상기 로봇은 유저 A의 영상이미지를 촬영하는 한편, 이를 기 저장된 영상이미지와 대조하여 현재 대화를 시도하는 유저 A의 누구인지를 스스로 인지한 후 유저 A와의 맞춤형 대화를 진행시키게 되는 것이다.
이때, 상기 제어모듈(70)의 제어로부터 배경변환모듈(40)은 상기 영상매칭모듈(30)로부터 유저(A,B,C) 인식이 이루어질 때, 상기 음성처리모듈(20)로부터 추출되는 특징점에 해당하는 배경이미지를 배경이미지DB(41)로부터 탐색한 후 탐색된 배경이미지를 디스플레이부(50)를 통해 외부로 표시하게 되는 것이다.
그러면, 상기 디스플레이부(50)에는 유저들의 디지털 처리된 영상이미지는 물론 유저들의 직업군에 해당하는 배경이미지가 표시될 수 있는 것이다.
이때, 상기 제어모듈(70)의 제어에 따라 대화처리모듈(60)내의 대화처리부(62)는 상기 배경이미지에 적합한 캐릭터로 로봇의 대화내용을 변환시키는 한편, 대화DB(61)를 탐색하여 유저들이 공유할 수 있는 대화정보를 추출한 후 이를 음성출력부(63)를 통해 외부로 출력하게 된다.
이에따라, 유저(A,B,C)들은 캐릭터 변환이 이루어진 로봇에게 심도있는 질의를 할 때, 이에 대응하여 캐릭터 변환된 로봇은 상기 질의에 맞는 응답을 바로 진행할 수 있게 되는 것이다.
이하, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와같은 변경은 청구범위 기재의 범위내에 있게 된다.
도 1은 종래 유저와 로봇의 대화 흐름도.
도 2는 본 발명의 실시예로 대화형 로봇장치의 구성도.
도 3은 본 발명의 실시예로 대화형 로봇 장치의 제어방법을 보인 흐름도.
도 4는 본 발명의 실시예로 얼굴 인식 흐름도.
도 5는 본 발명의 실시예로 로봇과 다자간 대화 흐름도.
도 6은 본 발명의 실시예로 로봇의 캐릭터 변환 흐름도.
*도면의 주요부분에 대한 부호의 설명*
10; 영상처리모듈 11; 카메라
12; 안면인식부 13; 특징점 추출부
20; 음성처리모듈 21; 음성입력부
22; 음성 인식부 23; 특징점 추출부
24; 분석부 30; 영상매칭모듈
31; 유저DB 40; 배경변환모듈
41; 배경이미지DB 50; 디스플레이부
60; 대화처리모듈 61; 대화DB
70; 제어모듈

Claims (8)

  1. 유저의 얼굴을 촬영한 영상이미지로부터 특징점을 추출하는 영상처리모듈;
    유저의 음성정보를 입력받아 음성정보로부터 특징점을 추출하는 음성처리모듈;
    상기 영상처리모듈로부터 추출되는 영상이미지의 특징점과 유저DB에 등록된 유저의 디지털 처리된 영상이미지를 매칭시켜 유저를 인식하고, 인식된 유저의 디지털 처리된 영상이미지를 출력하는 영상매칭모듈;
    상기 영상매칭모듈로부터 유저 인식이 이루어질 때, 상기 음성처리모듈로부터 추출되는 특정점에 해당하는 배경이미지를 배경이미지DB로부터 탐색하여 출력하는 배경변환모듈;
    상기 영상매칭모듈과 배경변환모듈에 의해 처리되는 정보를 화면에 표시하는 디스플레이부;
    상기 디스플레이부에 유저에 대한 디지털 처리된 영상이미지와 배경이미지가 디스플레이시, 상기 배경이미지에 해당하는 캐릭터로 변환한 후 유저와의 대화를 위한 정보를 대화DB에서 추출하여 유저와의 질의/응답 대화를 진행하는 대화처리모듈; 및,
    상기 각 모듈을 제어하는 제어모듈; 을 포함하여 구성하는 것을 특징으로 하는 대화형 로봇장치.
  2. 제 1 항에 있어서, 상기 영상처리모듈은,
    유저를 촬영하는 카메라;
    상기 카메라에 의해 촬영되는 유저의 얼굴 영상을 인식하는 안면 인식부;
    상기 안면인식부에 의해 인식되는 유저의 얼굴 영상으로부터 특징점을 추출하여 제어모듈로 출력하는 특징점 추출부; 를 더 포함하여 구성하는 것을 특징으로 하는 대화형 로봇장치.
  3. 제 1 항에 있어서, 상기 음성처리모듈은,
    유저의 음성을 입력받는 음성입력부;
    상기 음성입력부로부터 입력되는 유저의 음성을 인식하는 음성인식부;
    상기 음성인식부로부터 인식되는 유저의 음성에서 특징점을 추출하는 특징점 추출부;
    상기 특징점 추출부로부터 유저의 직업군을 분석한 후 이를 제어모듈에 출력하는 음성분석부; 를 더 포함하여 구성하는 것을 특징으로 하는 대화형 로봇장치.
  4. 제 1 항에 있어서, 상기 대화처리모듈은,
    상기 제어모듈의 제어를 받아 구동하고, 음성처리모듈로부터 입력되는 유저의 질의 음성정보에 매칭되는 응답 음성을 대화DB에서 추출하는 대화처리부; 및,
    상기 대화처리부로부터 추출되는 응답 음성을 외부로 출력하는 대화출력부; 를 더 포함하여 구성하는 것을 특징으로 하는 대화형 로봇장치.
  5. 제 1 항에 있어서, 상기 유저DB에는 유저의 신상정보와 직업군 및 디지털 처리된 유저의 영상이미지, 그리고 유저와 로봇간의 이전 대화 내용정보가 업데이트되어 저장하는 것을 특징으로 하는 대화형 로봇장치.
  6. 입력되는 영상을 인식한 후 특징점을 추출하는 단계;
    상기 단계로부터 추출된 특징점으로부터 매칭되는 영상이미지가 존재하는지를 탐색하는 단계;
    상기 단계의 탐색결과 매칭되는 영상이미지가 존재하면 디지털 처리된 유저의 영상이미지를 출력하여 표시한 후 유저의 음성정보를 입력받아 그 특징점을 추출하는 단계;
    상기 단계로부터 추출되는 유저 음성의 특징점으로부터 배경이미지를 출력하여 표시한 후 대화를 위한 캐릭터 변환이 이루어지는 단계; 및,
    상기 유저의 디지털 처리된 영상이미지와 배경이미지가 표시됨과 동시에, 변환된 캐릭터를 통해 유저와의 질의/응답 대화를 진행하는 단계; 를 포함하여 진행하는 것을 특징으로 하는 대화형 로봇장치 제어방법.
  7. 제 6 항에 있어서, 상기 단계에서 영상이미지의 매칭 정보가 없을 경우, 촬영된 유저의 영상이미지를 새로 등록할 것인가를 결정하는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 대화형 로봇장치 제어방법.
  8. 제 6 항에 있어서, 상기 단계에서 유저 음성의 특징점에 따라 배경이미지 출력이 없으면 캐릭터 변환없이 일반적인 로봇의 대화모드로 유저와의 질의/응답 대화를 진행하는 단계; 를 더 포함하여 진행하는 것을 특징으로 하는 대화형 로봇장치 제어방법.
KR1020090116507A 2009-11-30 2009-11-30 대화형 로봇 장치 및 그 제어방법 KR20110060039A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090116507A KR20110060039A (ko) 2009-11-30 2009-11-30 대화형 로봇 장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090116507A KR20110060039A (ko) 2009-11-30 2009-11-30 대화형 로봇 장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20110060039A true KR20110060039A (ko) 2011-06-08

Family

ID=44394876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090116507A KR20110060039A (ko) 2009-11-30 2009-11-30 대화형 로봇 장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR20110060039A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140012757A (ko) * 2011-06-24 2014-02-03 애플 인크. 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
WO2018070687A1 (ko) * 2016-10-13 2018-04-19 엘지전자 주식회사 공항 로봇 및 그를 포함하는 공항 로봇 시스템
CN110718294A (zh) * 2019-08-28 2020-01-21 云知声智能科技股份有限公司 一种智能导医机器人和智能导医方法
CN111267083A (zh) * 2020-03-12 2020-06-12 北京科技大学 一种基于单双目摄像头结合的机械臂自主搬运***
CN111435268A (zh) * 2019-01-11 2020-07-21 合肥虹慧达科技有限公司 基于图像的识别与重建的人机交互方法和使用该方法的***及装置
KR20210024855A (ko) * 2019-08-26 2021-03-08 주식회사 포켓메모리 인공지능 기반 생체 인식형 대화서비스 제공 방법 및 장치
US11710481B2 (en) 2019-08-26 2023-07-25 Samsung Electronics Co., Ltd. Electronic device and method for providing conversational service

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140012757A (ko) * 2011-06-24 2014-02-03 애플 인크. 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
US9536132B2 (en) 2011-06-24 2017-01-03 Apple Inc. Facilitating image capture and image review by visually impaired users
WO2018070687A1 (ko) * 2016-10-13 2018-04-19 엘지전자 주식회사 공항 로봇 및 그를 포함하는 공항 로봇 시스템
KR20180040839A (ko) * 2016-10-13 2018-04-23 엘지전자 주식회사 공항 로봇 및 그를 포함하는 공항 로봇 시스템
US11260533B2 (en) 2016-10-13 2022-03-01 Lg Electronics Inc. Robot and robot system comprising same
CN111435268A (zh) * 2019-01-11 2020-07-21 合肥虹慧达科技有限公司 基于图像的识别与重建的人机交互方法和使用该方法的***及装置
KR20210024855A (ko) * 2019-08-26 2021-03-08 주식회사 포켓메모리 인공지능 기반 생체 인식형 대화서비스 제공 방법 및 장치
US11710481B2 (en) 2019-08-26 2023-07-25 Samsung Electronics Co., Ltd. Electronic device and method for providing conversational service
CN110718294A (zh) * 2019-08-28 2020-01-21 云知声智能科技股份有限公司 一种智能导医机器人和智能导医方法
CN110718294B (zh) * 2019-08-28 2022-04-01 云知声智能科技股份有限公司 一种智能导医机器人和智能导医方法
CN111267083A (zh) * 2020-03-12 2020-06-12 北京科技大学 一种基于单双目摄像头结合的机械臂自主搬运***
CN111267083B (zh) * 2020-03-12 2022-01-04 北京科技大学 一种基于单双目摄像头结合的机械臂自主搬运***

Similar Documents

Publication Publication Date Title
US10977452B2 (en) Multi-lingual virtual personal assistant
CN108000526B (zh) 用于智能机器人的对话交互方法及***
CN107894833B (zh) 基于虚拟人的多模态交互处理方法及***
KR20110060039A (ko) 대화형 로봇 장치 및 그 제어방법
WO2019000832A1 (zh) 一种声纹创建与注册方法及装置
WO2017100334A1 (en) Vpa with integrated object recognition and facial expression recognition
KR20220004259A (ko) 인공지능을 이용한 원격진료 서비스 방법 및 시스템
CN106157956A (zh) 语音识别的方法及装置
CN110634472B (zh) 一种语音识别方法、服务器及计算机可读存储介质
CN107315742A (zh) 具有人机对话功能的拟人化口语翻译方法及***
CN110109541B (zh) 一种多模态交互的方法
CN112016367A (zh) 一种情绪识别***、方法及电子设备
CN113703585A (zh) 交互方法、装置、电子设备及存储介质
CN113723327A (zh) 一种基于深度学习的实时中文手语识别交互***
CN113380271A (zh) 情绪识别方法、***、设备及介质
WO2020053172A1 (en) Invoking chatbot in online communication session
CN115661907A (zh) 一种生物特征识别方法及***
CN110825164A (zh) 基于儿童专用穿戴智能设备的交互方法及***
WO2021066399A1 (ko) 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템
JP6922178B2 (ja) 音声認識システム、情報処理装置、プログラム
CN108628454B (zh) 基于虚拟人的视觉交互方法及***
CN115171673A (zh) 一种基于角色画像的交流辅助方法、装置及存储介质
CN112820265B (zh) 一种语音合成模型训练方法和相关装置
CN114490967A (zh) 对话模型的训练方法、对话机器人的对话方法、装置和电子设备
WO2021171613A1 (ja) サーバ装置、会議支援システム、会議支援方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application