KR20060002995A

KR20060002995A - 전기 장치 및 장치와 유저 사이의 통신 방법

Info

Publication number: KR20060002995A
Application number: KR1020057019465A
Authority: KR
Inventors: 에릭 텔렌; 매튜 데이비드 하리스; 바산스 필로민
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2003-04-14
Filing date: 2004-04-05
Publication date: 2006-01-09
Also published as: RU2005135129A; CN1938672A; WO2004090702A3; JP2007527502A; WO2004090702A2; BRPI0409349A; US20060222216A1; EP1665015A2

Abstract

전기 장치 및 장치와 유저 사이에 통신 방법이 기술된다. 이 장치는 부근에 있는 물체(34, 36)를 검출하는 센서 수단, 예를 들어, 카메라(18)를 포함한다. 물체(34, 36)의 위치는 메모리(M)에 저장된다. 예를 들어, 기계적 지시 요소의 형태이거나 또는 집중된 광빔(40)을 생성하는 광원을 갖는 지향성 지시 유닛(20)은 이 장치 부근에 있는 물체로 지향될 수 있다. 그리하여 대화시에 대응하는 물체가 사람인 유저로 지시될 수 있다.

Description

전기 장치 및 장치와 유저 사이의 통신 방법{ELECTRIC APPARATUS AND METHOD OF COMMUNICATION BETWEEN AN APPARATUS AND A USER}

본 발명은 전기 장치 및 장치와 유저 사이의 통신 방법에 관한 것이다.

유저와 전기 장치 사이에 통신을 하기 위한 다수의 가능성이 있는 것으로 알려져 있다. 이 장치에 입력하기 위해, 이들 가능성은, 광학적(예를 들어, 이미지 센서) 또는 음향적 입력 수단(대응하는 신호 처리, 예를 들어, 음성 인식을 하는 마이크로폰) 뿐만 아니라, 키나 터치 스크린과 같은 기계적이거나 전기적인 입력 수단을 포함한다. 이 장치에서 유저로 출력하기 위해, 특히 광학적(LED, 디스플레이 스크린, 등) 및 음향적 표시와 같은 여러 가능성이 또한 알려져 있다. 음향 표시는, 간단한 기준 톤(reference tone)을 포함할 뿐만 아니라 예를 들어 음성 합성(speech synthesis)을 포함할 수 있다. 음성 인식과 음성 합성을 결합함으로써 전기 장치를 제어하기 위해 자연스런 음성 대화가 사용될 수 있다.

US-A-6,118,888호는, 전기 장치, 예를 들어, 컴퓨터 또는 소비자 전자 장치를 제어하는 제어 디바이스와 제어 방법을 기술한다. 이 장치의 제어를 위해, 유저는 음성 인식 뿐만 아니라 키보드나 마우스와 같은 기계적 입력 가능성과 같은 다수의 입력 가능성을 가진다. 나아가, 이 제어 디바이스는 유저의 제스처와 흉내를 픽업하여 다른 입력 신호로 처리할 수 있는 카메라를 구비한다. 유저와의 통신은, 이 시스템이 또한 유저에게로 정보를 전송하는 다수의 모드를 처리하는 대화 형태로 실현된다. 이들 모드는 음성 합성과 음성 출력이다. 특히, 이들 모드는, 또한 의인화 표현(anthropomorphic representation), 예를 들어, 사람, 사람의 얼굴이나 동물의 표현을 포함한다. 이 표현은 디스플레이 스크린 위에 컴퓨터 그래픽 이미지로 표시된다.

그러나, 지금까지 알려진 입력과 출력 수단은 예를 들어 유저와의 대화시 전기 장치가 부근에 있는 물체나 위치를 지시하여야 할 때와 같은 일부 응용에서는 귀찮다.

따라서 본 발명의 목적은, 특히 부근에 있는 물체를 지시할 때 간단하고 효과적인 통신이 가능한, 장치 및 장치와 유저 사이의 통신 방법을 제공하는 것이다.

본 목적은 청구항 1에 한정된 장치와 청구항 10에 한정된 방법에 의해 해결된다. 종속 청구항은 본 발명의 유리한 실시예로 한정된다.

본 발명은 장치와 사람 유저 사이의 통신에 사람 통신 수단의 시뮬레이션이 또한 유리하다는 인식에 기초를 두고 있다. 그러한 통신 수단은 지시이다. 따라서 본 발명에 따른 장치는, 부근에 있는 물체로 지향될 수 있는 지향성 지시 유닛을 포함한다.

지시의 유용한 응용을 위해, 본 장치는 부근에 관한 정보를 요구한다. 본 발명에 따라, 물체를 검출하는 센서 수단이 제공된다. 이런 방식으로, 이 장치는 자기 부근에 있는 물체를 검출하고 물체를 제한할 수 있다. 유저와의 상호작용으로, 지시 유닛은 이들 물체를 지시하도록 적절히 지향될 수 있다.

이 장치에서, 물체의 위치는 센서 수단으로부터 지시 유닛으로 직접 전달될 수 있다. 이것은, 예를 들어, 이동하는 물체를 추적하는 것, 즉 따라가는 것이 요구될 때 유용하다. 그러나, 이 장치는 바람직하게는 물체의 위치를 저장하는 적어도 하나의 메모리를 포함한다.

지시 유닛은 여러 방식으로 실현될 수 있다. 한편, 기계적으로 이동가능하며 예를 들어 긴 형상을 갖는 기계적인 지시 요소를 사용하는 것도 가능하다. 이 기계적인 이동은 바람직하게는 지시 방향에 수직한 적어도 하나, 바람직하게는 2개의 축에 대해 기계적인 지시 요소의 선회 이동을 포함한다. 이 지시 요소는, 부근에 있는 물체를 지향하도록 적절한 구동 수단에 의해 선회된다. 마찬가지로 사람의 표현으로 (손가락으로) 지시할 때에도 이 장치가 물체를 지시하는 것이 가능하다.

한편, 지시 유닛은 광원을 또한 포함할 수 있다. 이 지시를 위해, 집중된 광빔이, 예를 들어, 레이저나 적절한 광학계나 조리개를 사용하여 생성된다. 이 광빔은 적절한 수단을 사용하여 이 장치 부근에 있는 물체로 지향되어, 이 장치와 사람 유저 사이의 통신 프로세스로 이들 물체를 조명하여 지시할 수 있다. 광빔을 지시하기 위해, 광원이 기계적으로 이동되도록 배열될 수 있다. 대안적으로, 광원이 생성하는 광은 또한 기계적으로 이동가능한 하나 이상의 미러에 의해 원하는 방향으로 편향될 수도 있다.

이 장치 부근에 있는 물체를 검출하기 위한 본 발명에 따른 센서 수단은, 예를 들어, 광학 센서 수단, 특히 카메라로 형성될 수 있다. 이미지를 적절히 처리할 때, 검출 범위 내에 있는 물체를 인식하여 이 장치에 대한 물체의 상대적인 위치를 결정할 수 있다. 물체의 위치는 적절히 저장될 수 있어, 이후 유저와의 통신 프로세서로 물체를 지시할 필요가 있을 때 이 지시 유닛은 이 물체로 지향될 수 있다.

본 발명의 다른 실시예에 따라, 이 장치는 기계적으로 이동가능한 의인화 요소(personification element)를 포함한다. 이것은 유저에 대한 대화 파트너의 의인화로 사용되는 장치의 일부이다. 그러한 의인화 요소의 구체적인 구현은 매우 달라질 수 있다. 예를 들어, 이것은 전기 장치의 고정 하우징에 대해 모터로 이동가능한 하우징의 일부일 수 있다. 이 의인화 요소는 그리하여 유저에 의해 인식될 수 있는 전면(front side)을 가지는 것이 필수적이다. 이 전면이 유저와 마주하는 경우, 이에 의해 유저는 이 장치가 "경청하고 있다는" 즉 예를 들어 음성 명령을 수신할 수 있다는 인상을 받는다.

이를 위해, 이 장치는 유저의 위치를 결정하는 수단을 포함한다. 이들 수단은 바람직하게는 이 장치 부근에 있는 물체를 검출하는데 사용되는 동일한 센서 수단이다. 의인화 수단의 이동 수단은 의인화 요소의 전면이 유저 위치 쪽으로 지시하도록 제어된다. 유저는 그리하여 항상 이 장치가 유저를 "경청"할 준비가 되어 있다는 인상을 갖는다.

의인화 요소는 예를 들어, 의인화 표현(anthropomorphic representation)일 수 있다. 이것은 사람이나 동물의 표현일 수 있으나, 공상 인물일 수도 있다. 이 표현은 바람직하게는 사람 얼굴의 모방이다. 이 표현은, 실제 표현이거나 또는, 예를 들어, 눈, 코, 및 입과 같은 윤곽만이 도시되어 있는 상징적 표현일 수도 있다.

지시 유닛은 바람직하게는 의인화 요소 위에 배열된다. 의인화 요소의 기계적 이동성은 지시 유닛의 지향 가능성이 완전히 또는 부분적으로 보장되도록 사용될 수 있다. 예를 들어, 의인화 요소가 수직 축에 대해 회전가능하다면, 의인화 요소 위에 배열된 지시 유닛은 또한 이 회전으로 인해 이동될 수 있으며, 물체로 지향될 수 있다. 필요하다면, 이 지시 유닛은 추가적인 지향 수단(구동 수단, 미러)을 가질 수 있다.

이 디바이스는 음성 신호를 입력하고 출력하기 위한 수단을 포함하는 것이 바람직하다. 음성 입력은, 한편으론, 음향 신호를 픽업하는 것과, 다른 한편으론, 음성 인식에 의해 음향 신호를 처리하는 것을 의미하는 것으로 이해된다. 음성 출력은 예컨대 스피커에 의한 음성 합성과 출력을 포함한다. 음성 입력과 출력 수단을 사용하여, 이 장치를 완전히 대화식으로 제어할 수 있다. 대안적으로, 유저를 즐겁게 하기 위해, 이 대화는 또한 유저 편을 들 수도 있다.

이제 이 장치의 실시예가 도면을 참조하여 상세히 설명될 것이다.

도 1은 장치의 일실시예를 도시하는 도면.

도 2는 이 장치의 기능 유닛의 개략 블록도.

도 3은 부근에 있는 물체와 도 1의 장치를 도시하는 도면.

도 1은 전기 장치(10)를 도시한다. 이 장치(10)는 수직 축을 중심으로 베이 스(12)에 대해 360°선회가능한 의인화 요소(14)를 갖는 베이스(12)를 구비한다. 이 의인화 요소(14)는 편평하며 전면(16)을 갖는다.

이 장치(10)는 사람 유저로부터 입력 정보를 수신하며 출력 정보를 유저에게 전달하는 대화 시스템을 갖는다. 이 장치(10)의 구현에 따라, 이 대화는 이 장치(10)를 제어하는데 사용될 수 있으며 또는 이 장치(10)는 제어 유닛에 연결된 다른 장치를 제어하는 고유한 제어 유닛으로 동작한다. 예를 들어, 이 장치(10)는 소비자 전자 장치 예를 들어 오디오 또는 비디오 플레이어일 수 있으며 또는 그 소비자 전자 장치는 이 장치(10)에 의해 제어된다. 마지막으로, 이 장치(10) 편을 드는 대화는 우선순위 대상(priority target)으로서 이 장치의 기능 제어를 수행하지 않지만 유저를 즐겁게 하는데에는 사용될 수 있는 것도 가능하다.

이 장치(10)는 센서에 의하여 자기 부근의 물체를 검출할 수 있다. 카메라(18)는 의인화 요소(14) 위에 배열된다. 카메라(18)는 의인화 요소(14)의 전면(16) 앞에 있는 범위 내 이미지를 검출한다.

카메라(18)에 의하여, 이 장치(10)는 자기 부근에 있는 물체나 사람을 검출하고 인식할 수 있다. 사람 유저의 위치도 검출된다. 의인화 요소(14)의 모터 구동 수단(미도시)은 의인화 요소(14)의 전면(16)이 유저 쪽으로 지향되도록 조정 각도(α)에 대해 제어된다.

이 장치(10)는 사람 유저와 통신할 수 있다. 마이크로폰(미도시)을 통해, 이 장치(10)는 유저로부터 음성 명령을 수신한다. 음성 명령은 음성 인식 시스템에 의하여 인식된다. 추가적으로, 이 장치는 유저에 대한 음성 메시지를 생성할 수 있으 며 스피커(미도시)를 통해 재생할 수 있는 음성 합성 유닛(미도시)을 포함한다. 이런 방식으로, 유저와의 상호작용은 자연스러운 대화 형태로 일어날 수 있다.

나아가, 지시 유닛(20)은 의인화 요소(14) 위에 배열된다. 도시된 실시예에서, 지시 유닛(20)은 집중된 가시적인 광빔을 생성하는 대응하는 광학계를 갖는 레이저 다이오드 형태로 된 기계적으로 이동가능한 광원이다.

지시 유닛(20)은 지향성 타입이다. 적절한 모터 구동 수단(미도시)에 의해, 지시 유닛은 의인화 요소(14)에 대해 높이 각도(β)로 선회될 수 있다. 각도(α) 만큼 의인화 요소(14)를 선회시키는 것과 적절한 높이 각도(β)로 조정하는 것을 결합함으로써, 지시 유닛(20)으로부터의 광빔은 이 장치 부근에 있는 물체로 지향될 수 있다.

이 장치(10)는 동작 프로그램을 수행하는 중앙 유닛(central unit)을 통해 제어된다. 이 동작 프로그램은 상이한 기능을 위한 상이한 모듈을 포함한다.

전술된 바와 같이, 이 장치(10)는 유저와의 자연스러운 대화를 수행할 수 있다. 대응하는 기능은 소프트웨어 모듈 형태로 실현된다. 음성 인식, 음성 합성 및 대화 제어의 필요한 모듈은 이 기술 분야에 잘 알려져 있으므로 상세히 기술하지 않을 것이다. 음성 합성과 대화 시스템 구조에 관한 정보와 음성 인식의 기초 지식은, 예를 들어, "Fundamentals of Speech Recognition" (Lawrence Rabiner와 Biing-Hwang Juang 저, Prentice Hall, 1993 (ISBN 0-13-0151572-2) 및 "Statistical Methods for Speech Recognition" (Frederick Jelinek 저, MIT Press, 1997 (ISBN 0-262-10066-5) 및 "Automatische Spracherkennung" (E.G.Schukat-Talamazzini 저, Vieweg, 1995 (ISBN 3-528-05492-1) 뿐만 아니라, 이들 책에서 참조문헌으로 언급된 문헌에 기술되어 있다. 또한 조사 내용은, 논문 "The thoughtful elephant : Strategies for spoken dialog systems" (Bernd Souvignier, Andreas Kellner, Bernhard Rueber, Hauke Schramm, 및 Frank Seide 저, IEEE Transactions on Speech and Audio Processing, 8(1):51-62, January 2000)에도 제공되어 있다.

유저와의 대화 범위 내에서, 이 장치(10)는 물체를 지시하여 자기 부근에 있는 물체를 지시할 수 있다. 이를 위해 지시 유닛(20)은 적절히 정렬되며 광빔은 관련 물체로 지향된다.

지시 유닛을 제어하는 소프트웨어 구조를 이제 설명한다. 도 2의 하부 부분은 이 장치(10)의 입력 서브 시스템(24)을 도시한다. 이 도 2에서, 이 장치(10)의 센서 유닛, 즉 카메라(18)는 일반적인 블록으로 도시되어 있다. 카메라에 의해 픽업된 신호는 부근 분석을 위하여 소프트웨어 모듈(22)에 의해 처리된다. 이 장치(10) 부근에 있는 물체에 관한 정보는 카메라(18)에 의해 픽업된 이미지로부터 추출된다. 물체를 분리하고 인식하기 위한 대응하는 이미지 처리 알고리즘은 이 기술 분야에 숙련된 자에게는 알려져 있다.

인식된 물체에 관한 정보와, 이 예에서 회전 각(α)과 높이 각(β)에 의하여 표현된, 이 장치(10)에 대한 상대적인 위치가 메모리(M)에 저장된다.

도 2의 상부 부분은 이 장치(10)의 출력 서브 시스템(26)을 도시한다. 출력 서브 시스템(26)은 주어진 출력 정보를 제공하는 방식으로 대화 모듈(28)에 의해 제어된다. 출력 계획 모듈(30)은 출력 정보의 계획을 담당하며 출력 정보가 지시 유닛(20)을 사용하여 주어질지 여부를 체크한다. 부분 모듈(32)은 이 장치(10) 부근에 있는 물체 중 어느 물체를 지시하여야 하는지를 결정한다.

지시 유닛을 위한 드라이버(D)는 인터페이스 모듈(I)을 통해 제어된다. 이 드라이버(D)는 어느 물체가 지시되어야 하는지를 알게 된다. 드라이버 모듈(D)은 제어될 위치에 대해 메모리(M)에 문의하여 지시 유닛(20)을 적절히 제어한다. 물체를 지시하기 위해, 구동 수단(미도시)은 고정 각도(α)로 의인화 요소(14)를 회전시키고 관련 높이 각도(β)로 지시 유닛(20)을 지시하도록 제어된다.

하나의 상황의 일례가 도 3에 도시된다. 다수의 CD(36)를 갖는 CD 랙(rack)(34)이 장치(10) 부근에 존재한다. 의인화 요소(14) 전면(16)에 있는 카메라(18)는 CD 랙(34)의 이미지를 검출한다. 적절한 이미지 처리에 의하여 랙(34)에 존재하는 개개 CD(36)가 인식될 수 있다. 적절한 광학적 해상도의 경우에, 타이틀과 가수(performer)를 판독할 수 있다. 이 정보와 함께 개개 CD의 위치에 관한 정보{즉, 이 장치(10)에 대한 랙(34)의 회전각(α)과 관련 CD의 높이 각(β)}가 메모리에 저장된다.

유저 편을 드는 대화에서, 이 장치(10)는 유저가 듣을 수 있는 CD에 관해 유저에게 제안을 한다. 대화 제어 모듈(28)은 음성 합성을 통해 선호되는 음악 장르에 관해 유저에게 질문하여 유저의 대답을 음성 인식을 통해 지정하도록 적절히 프로그래밍되어 있다. 랙(34) 내 CD(36)의 적절한 선택이 이렇게 모여진 정보에 기초하여 이루어지면, 출력 서브 시스템(26)이 동작하게 된다. 이 서브 시스템은 지시 유닛(20)을 적절히 제어한다. 지시 유닛에서 방출되는 광빔(40)은 선택된 CD(36)로 지향된다. 유사하게, 유저는 음성 출력 정보를 통해 이것이 이 장치에 의해 이루어진 추천 종목이라는 것을 알게 된다.

적절한 CD를 선택하기 위한 이 장치(10)의 전술된 응용은 지시 유닛을 사용하는 일례인 것으로만 이해하여야 할 것이다. 다른 실시예(미도시)에서, 이 장치(10)는 예를 들어 알람 장치의 제어 유닛에 연결된 보안 시스템이다. 이 경우에, 지시 유닛은 보안 문제 예를 들어 개방 윈도우를 유도할 수 있는 룸 내 위치에 유저의 관심을 유도하는데 사용된다.

다수의 다른 응용은 지시 유닛(20)에 의하여 자기 부근에 있는 물체를 지시할 수 있는 장치를 위해 사용 가능하다. 그러한 장치는 고정 장치 뿐만 아니라 모바일 장치 예를 들어 로봇일 수도 있다.

다른 실시예에서, 이 장치(10)는 카메라(18)에 의하여 자기 부근에 있는 물체의 이동을 추적할 수 있다. 의인화 요소와 지시 유닛(20)은 광빔(40)이 이동하는 물체로 지향되어 유지되도록 제어된다. 이 경우에, 물체의 좌표는 메모리(M)에 버퍼링되지 않으나 지시 유닛을 위한 드라이버(D)는 부근 분석을 위해 소프트웨어 모듈(22)에 의해 직접 제어되는 것이 가능하다.

전술된 바와 같이, 본 발명은 장치와 유저 사이에 대화식 통신을 하는데 이용가능하다.

Claims

전기 장치에 있어서,

- 이 장치(10) 부근에 있는 물체(34, 36)를 검출하는 센서 수단(18)과,

- 이 장치(10) 부근에 있는 물체(34, 36)로 지향될 수 있는 지향성 지시 유닛(20)

을 포함하는, 전기 장치.
제 1 항에 있어서, 상기 물체(34, 36)의 위치(α, β)를 저장하는 적어도 하나의 메모리(M)를 포함하는, 전기 장치.
제 1 항 또는 제 2 항에 있어서, 상기 지시 유닛은, 상기 장치 부근에 있는 물체로 지향될 수 있도록 기계적으로 이동가능한 기계적 지시 요소를 포함하는, 전기 장치.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 지시 유닛(20)은,

- 집중된 광빔(40)을 생성하는 광원과,

- 상기 장치(10) 부근에 있는 물체(34, 36)로 상기 광빔(40)을 지향시키는 수단

을 포함하는, 전기 장치.
제 4 항에 있어서, 상기 광원은 기계적으로 이동가능한, 전기 장치.
제 4 항 또는 제 5 항에 있어서, 상기 광빔(40)을 지향시키는 수단은 기계적으로 이동가능한 하나 이상의 미러를 포함하는, 전기 장치.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

- 전면(16)을 가지는 의인화 요소(personification element)(14)와,

- 상기 의인화 요소(14)를 기계적으로 이동시키는 이동 수단과,

- 유저의 위치를 결정하는 수단과,

- 상기 의인화 요소(14)의 전면(16)이 유저의 위치 쪽으로 지향되도록 상기 이동 수단을 제어하도록 구성된 제어 수단

을 포함하는, 전기 장치.
제 7 항에 있어서, 상기 지시 유닛(20)은 상기 의인화 요소(14) 위에 배열되는, 전기 장치.
제 1 항 내지 제 8 항 중 어느 한 항에 있어서, 음성 인식과 음성 출력을 위한 수단을 포함하는, 전기 장치.
장치(10)와 유저 사이에 통신하는 방법에 있어서,

상기 장치(10)는,

- 센서 수단(18)에 의하여 부근에 있는 물체(34, 36)를 검출하며,

- 메모리(M)에 상기 물체(34, 36)의 위치를 저장하며,

- 상기 물체 중 하나의 물체(36)와 지향 지시 유닛(10)을 정렬시키는,

장치(10)와 유저 사이에 통신하는 방법.