KR20200012399A - Smart projector and method for controlling thereof - Google Patents
Smart projector and method for controlling thereof Download PDFInfo
- Publication number
- KR20200012399A KR20200012399A KR1020180087664A KR20180087664A KR20200012399A KR 20200012399 A KR20200012399 A KR 20200012399A KR 1020180087664 A KR1020180087664 A KR 1020180087664A KR 20180087664 A KR20180087664 A KR 20180087664A KR 20200012399 A KR20200012399 A KR 20200012399A
- Authority
- KR
- South Korea
- Prior art keywords
- smart device
- voice
- user
- transparent window
- height
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B21/00—Projectors or projection-type viewers; Accessories therefor
- G03B21/14—Details
- G03B21/145—Housing details, e.g. position adjustments thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 스마트 디바이스 및 그 제어 방법에 관한 것으로, 보다 상세하게는 보이스 커맨드에 대응하는 피드백을 오디오-타입 또는 비디오-타입으로 출력하는 스마트 디바이스 및 그 제어 방법에 관한 것이다.The present invention relates to a smart device and a control method thereof, and more particularly, to a smart device and a control method for outputting a feedback corresponding to a voice command in an audio-type or video-type.
음성 인식 기술의 인식 정확도가 향상됨에 따라 점차 '인공지능 음성비서(보이스 어시스턴트, voice assistant) 기능이 다양한 스마트 디바이스에 탑재되고 있다. 이러한 추세 속에서 보이스 어시스턴트 기능이 탑재된 스마트 스피커는 사물 인터넷(IoT: Internet of Things)의 확산과 맞물려 스마트 홈 분야의 핵심 디바이스로 자리잡아가고 있다. As the recognition accuracy of speech recognition technology improves, 'intelligent voice assistant' is being installed in various smart devices. In this trend, smart speakers equipped with voice assistant function are becoming a core device in the smart home field in conjunction with the proliferation of the Internet of Things (IoT).
스마트 스피커 분야는 2014년 아마존이 최초의 스마트 스피커인 에코를 출시한 이후 구글, 애플, 페이스북과 같은 IT 공룡들뿐 아니라 다음카카오나 네이버 등의 국내 기업들도 자사 소프트웨어를 탑재한 스마트 스피커를 앞다퉈 출시하며 치열한 경쟁 양상을 보이고 있다. Since the launch of Echo, the first smart speaker, in 2014, the smart speaker sector has been ahead of smart speakers equipped with its own software, as well as IT dinosaurs such as Google, Apple and Facebook, as well as domestic companies such as Daum Kakao and Naver. The competition is showing intense competition.
스마트 스피커는 기본적으로 음성을 매개로 사용자로부터 명령을 받아 수행하거나 사용자와 대화를 나누므로 사용자가 가정이나 사무실 등의 실내 공간에서 자유로이 활동하면서 이용할 수 있는 장점을 가지지만, 오디오-타입의 정보가 가지는 정보량의 제약, 시각 정보 처리의 곤란성, 정보 출력의 비지속성 등으로 인해 몇몇 상황에서 사용자 편의성이 떨어질 수 있다. Smart speaker basically has the advantage of being able to use it freely in indoor space such as home or office because it performs commands or communicates with user through voice, but audio-type information has User convenience may be impaired in some situations due to limitations in information volume, difficulty in processing visual information, and non-persistence of information output.
본 발명의 일 과제는 디스플레이 방향이 조절되는 스마트 디바이스를 제공하는 것이다.One object of the present invention is to provide a smart device in which the display direction is adjusted.
본 발명의 일 과제는 디스플레이 방향이 자유로이 회전하는 스마트 디바이스를 제공하는 것이다. One object of the present invention is to provide a smart device in which the display direction is free to rotate.
본 발명이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by the present invention is not limited to the above-described problem, the objects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. .
본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다. According to an aspect of the present invention, an open cylindrical lower frame, a lower cylindrical opening upper frame and a cylindrical transparent window of the upper and lower portions disposed between the upper frame and the lower frame is opened, A housing in which the lower frame, the transparent window, and the upper frame are combined to form a single body; A rotating member installed inside the housing and rotating about an axis of the housing; A projector installed on the rotating member, the projection direction of which is adjusted according to the rotation of the rotating member, and a light output unit for outputting an image spaced apart from the rotation axis by a predetermined distance from the rotation axis toward an inner surface of the transparent window; A microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And outputting a display-back through the projector based on feedback data related to a voice command included in the user voice, wherein the display is performed in consideration of a user's position predicted based on user voices received from the plurality of microphones. And a controller for rotating the rotating member to adjust the projection direction in which the bag is output, wherein the transparent window has a different thickness according to a height direction.
본 발명의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다. Means for solving the problems of the present invention are not limited to the above-described solutions, and the solutions not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings. Could be.
본 발명에 의하면, 스마트 디바이스가 구동 모듈에 의해 프로젝터의 프로젝션 방향이 조절하여 사용자 지향성으로 피드백을 출력할 수 있다. According to the present invention, the smart device may output the feedback in a user-directed direction by adjusting the projection direction of the projector by the driving module.
또 본 발명에 의하면, 스마트 디바이스가 프로젝터가 투명 윈도우를 통하여 프로젝션을 투사하더라도 영상을 고품질로 유지할 수 있다. In addition, according to the present invention, the smart device can maintain a high quality image even if the projector projects the projection through the transparent window.
본 발명에 의하면, 스마트 디바이스가 프로젝션 방향이 조절하기 위해 프로젝터를 회전할 때 전력선의 꼬임으로 인한 회전 각도의 제한을 극복할 수 있다. According to the present invention, the smart device can overcome the limitation of the rotation angle due to the twist of the power line when the projector rotates the projector to adjust the projection direction.
본 발명의 효과는 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-described effects, effects that are not mentioned will be clearly understood by those skilled in the art from the present specification and the accompanying drawings.
도 1은 본 발명의 일 실시에에 따른 스마트 디바이스의 블록도이다.
도 2 내지 도 6은 본 발명의 일 실시예에 따른 스마트 디바이스의 몇몇 구현예에 관한 도면이다.
도 7 및 도 8은 본 발명의 일 실시예에 따른 스마트 디바이스의 작동 모드예에 관한 도면이다.
도 9는 본 발명의 일 실시예에 따른 스마트 디바이스와 보이스 어시스턴트 서버 간의 통신에 관한 도면이다.
도 10은 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스의 블록도이다.
도 11은 본 발명의 일 실시에에 따른 지향성 피드백을 출력하는 스마트 디바이스의 구현예의 사시도이다.
도 12는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스의 구현예의 분해 사시도이다.
도 13 및 도 14는 본 발명의 일 실시예에 따른 지향성 피드백의 출력에 관한 도면이다.
도 15 내지 도 17은 본 발명의 일 실시예에 따른 하우징의 몇몇 예시에 관한 도면이다.
도 18은 본 발명의 일 실시예에 따른 투명 윈도우의 예시의 사시도이다.
도 19 내지 도 21은 본 발명의 일 실시예에 따른 투명 윈도우의 몇몇 예시의 단면도이다.
도 22 및 23은 본 발명의 일 실시예에 따른 전원 모듈의 몇몇 예시에 관한 도면이다.
도 24 및 도 25는 본 발명의 일 실시예에 따른 전극의 단자들의 몇몇 예시에 관한 도면이다. 1 is a block diagram of a smart device according to an embodiment of the present invention.
2 to 6 are diagrams of some implementations of a smart device according to an embodiment of the present invention.
7 and 8 are diagrams illustrating an example of an operation mode of a smart device according to an embodiment of the present invention.
9 is a diagram illustrating communication between a smart device and a voice assistant server according to an embodiment of the present invention.
10 is a block diagram of a smart device for outputting directional feedback according to an embodiment of the present invention.
11 is a perspective view of an embodiment of a smart device for outputting directional feedback according to one embodiment of the present invention.
12 is an exploded perspective view of an embodiment of a smart device for outputting directional feedback according to an embodiment of the present invention.
13 and 14 illustrate output of directional feedback according to an embodiment of the present invention.
15-17 illustrate some examples of housings in accordance with one embodiment of the present invention.
18 is a perspective view of an example of a transparent window in accordance with one embodiment of the present invention.
19-21 are cross-sectional views of some examples of transparent windows in accordance with one embodiment of the present invention.
22 and 23 illustrate some examples of power modules according to one embodiment of the invention.
24 and 25 illustrate some examples of terminals of an electrode according to an embodiment of the present invention.
본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 의해 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.Embodiments described herein are intended to clearly explain the spirit of the present invention to those skilled in the art, the present invention is not limited by the embodiments described herein, the present invention The scope of should be construed to include modifications or variations without departing from the spirit of the invention.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.The terminology used herein is a general term that has been widely used as far as possible in view of the functions of the present invention, but may vary according to the intention of a person of ordinary skill in the technical field to which the present invention belongs, custom or the emergence of a new technology. Can be. In contrast, when a specific term is defined and used in any meaning, the meaning of the term will be described separately. Therefore, the terms used in the present specification should be interpreted based on the actual meanings of the terms and the contents throughout the present specification, rather than simple names of the terms.
본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The drawings attached to the present specification are provided to easily explain the present invention, and the shapes shown in the drawings may be exaggerated and displayed as necessary to help understanding of the present invention, and thus the present invention is not limited to the drawings.
본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.In the present specification, when it is determined that a detailed description of a known configuration or function related to the present invention may obscure the gist of the present invention, a detailed description thereof will be omitted as necessary.
본 발명의 일 양상에 따르면,개방된 통 형상의 하부 프레임, 하부가 개방된 통 형상의 상부 프레임 및 상기 상부 프레임과 하부 프레임의 사이에 배치되는 상하부가 개방된 통 형상의 투명 윈도우를 포함하고, 상기 하부 프레임, 상기 투명 윈도우 및 상기 상부 프레임이 차례로 결합되서 일체를 이루는 하우징; 상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재; 상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터; 상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및 상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되, 상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는 스마트 디바이스가 제공될 수 있다. According to an aspect of the present invention, an open cylindrical lower frame, a lower cylindrical opening upper frame and a cylindrical transparent window of the upper and lower portions disposed between the upper frame and the lower frame is opened, A housing in which the lower frame, the transparent window, and the upper frame are combined to form a single body; A rotating member installed inside the housing and rotating about an axis of the housing; A projector installed on the rotating member, the projection direction of which is adjusted according to the rotation of the rotating member, and a light output unit for outputting an image spaced apart from the rotation axis by a predetermined distance from the rotation axis toward an inner surface of the transparent window; A microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And outputting a display-back through the projector based on feedback data related to a voice command included in the user voice, wherein the display is performed in consideration of a user's position predicted based on user voices received from the plurality of microphones. And a controller for rotating the rotating member to adjust the projection direction in which the bag is output, wherein the transparent window has a different thickness according to a height direction.
여기서, 상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 작은 제2 높이에서의 두께가 더 작을 수 있다. Here, the transparent window may have a smaller thickness at a second height where the thickness at the first height is smaller than the first height.
여기서, 상기 투명 윈도우는, 그 높이가 작을수록 그 두께가 작아질 수 있다. Here, the thickness of the transparent window may be smaller as the height thereof is smaller.
여기서, 상기 프로젝션 방향은 수평보다 아래쪽을 향하고, 상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일할 수 있다. Here, the projection direction is lower than the horizontal, the distance that the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height may be substantially the same.
여기서, 상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 큰 제2 높이에서의 두께가 더 작을 수 있다.Here, the transparent window may have a smaller thickness at a second height where the thickness at the first height is greater than the first height.
여기서, 상기 투명 윈도우는, 그 높이가 클수록 그 두께가 작아질 수 있다. The transparent window may have a smaller thickness as the height thereof increases.
여기서, 상기 프로젝션 방향은 수평보다 윗쪽을 향하고, 상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일할 수 있다. Here, the projection direction is upward than the horizontal, the distance that the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height may be substantially the same.
여기서, 상기 투명 윈도우는, 수평으로 프로젝션되는 빔이 통과하는 특정 지점에서의 두께보다 다른 지점에서의 두께가 더 작을 수 있다. Here, the transparent window may have a smaller thickness at another point than the thickness at a specific point at which the horizontally projected beam passes.
여기서, 상기 투명 윈도우는, 상기 프로젝터의 광을 출력부에 대응하는 높이에서의 두께보다 다른 지점에서의 두께가 더 작을 수 있다. Here, the transparent window, the thickness of the light at the other point than the thickness of the height corresponding to the output portion of the projector may be smaller.
여기서, 상기 투명 윈도우는, 제1 높이에서의 두께보다 상기 제1 지점보다 작거나 큰 제2 높이에서의 두께가 더 작을 수 있다. Here, the transparent window may have a smaller thickness at a second height that is smaller or greater than the first point than the thickness at the first height.
여기서, 상기 투명 윈도우는, 상기 제1 높이로부터 멀어질수록 그 두께가 점점 작아질 수 있다.Here, the thickness of the transparent window may become smaller as it moves away from the first height.
1. 스마트 디바이스 1. Smart device
1.1. 개요 1.1. summary
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에 관하여 설명한다. Hereinafter, the
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 음성을 매체로 사용자와 상호작용할 수 있다. 구체적으로 스마트 디바이스(1000)는 사용자 음성을 수신하고, 사용자 음성에 포함된 보이스 커맨드에 의해 요청받은 피드백을 출력할 수 있다. 여기서, 스마트 디바이스(1000)는 오디오-타입 또는 비디오-타입의 피드백을 출력할 수 있다.The
1.2. 용어 1.2. Terms
여기서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에 대하여 더 설명하기에 앞서 본 명세서에서 사용되는 몇몇 용어들에 대해 정의하기로 한다. Before describing the
1.2.1. 스마트 디바이스 1.2.1. Smart devices
본 명세서에서 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 이용해 사용자와 음성을 매체로 상호작용할 수 있는 모든 종류의 디바이스를 포함할 수 있다. 스마트 디바이스(1000)는 대표적으로 스마트 스피커의 형태로 제공될 수 있으나, 이외에도 스마트 디바이스(1000)는 스마트 폰, 스마트 태블릿, 노트북, 스마트 텔레비전, 스마트 셋탑 박스, 스마트 디스플레이, 스마트 프로젝터 등의 형태로 제공되는 것도 가능하다. In the present specification, the
구성 요소적인 측면에서 살펴보면, 스마트 디바이스(1000)는 음성을 매체로 한 사용자와의 상호작용을 위해 사용자 음성을 입력받기 위한 음성 입력 모듈(1200) 및 오디오-타입의 피드백을 출력하기 위한 음성 출력 모듈(1300)을 포함할 수 있다. 또 스마트 디바이스(1000)는 비디오-타입의 피드백을 출력하기 위한 디스플레이 모듈(1400)을 선택적으로 더 포함할 수 있다. 이외에도 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 실현하기 위해 외부 기기(예를 들어, 보이스 어시스턴트 서버 등)와 통신하기 위한 통신 모듈(1020)를 비롯한 몇몇 구성 요소를 더 포함할 수 있으나, 이에 대한 구체적인 설명은 후술하기로 한다. In terms of components, the
1.2.2. 보이스 어시스턴트 1.2.2. Voice Assistant
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 보이스 어시스턴트 기능을 구현할 수 있다. 여기서, 보이스 어시스턴트 기능은 음성을 매체로 사용자와 스마트 디바이스(1000) 간의 상호작용을 가능케 하는 모든 기능을 포괄하는 개념이다.The
본 명세서에서 보이스 어시스턴트 기능이 구현되는 일 예는 다음과 같을 수 있다. 스마트 디바이스(1000)가 수신한 사용자 음성을 보이스 어시스턴트 서버(10)로 전달한다. 보이스 어시스턴트 서버(10)는 사용자 음성에 포함된 보이스 커맨드를 해석하고 보이스 커맨드에 의해 요청받은 피드백에 관한 피드백 데이터를 획득하고 이를 스마트 디바이스(1000)에 전달한다. 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 전달받은 피드백 데이터에 기초하여 피드백을 출력한다. 이로써, 스마트 디바이스(1000)가 보이스 어시스턴트 기능을 구현할 수 있다. 다만, 이상에서는 스마트 디바이스(1000)가 보이스 어시스턴트 서버(10)와 협업하여 보이스 어시스턴트 기능을 구현하는 것으로 설명하였으나, 경우에 따라서는 스마트 디바이스(1000)가 로컬에서 스탠드 얼론으로 보이스 어시스턴트 기능을 실행하는 것도 가능할 수 있다.An example in which the voice assistant function is implemented in the present specification may be as follows. The
1.2.3. 보이스 어시스턴트 서버 1.2.3. Voice Assistant Server
보이스 어시스턴트 서버(10)는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 협업하여 보이스 어시스턴트 기능을 구현하는 서버를 총칭할 수 있다. 보이스 어시스턴트 서버(10)는 스마트 디바이스(1000)로부터 사용자 음성을 전달받아 사용자 음성에 포함된 보이스 커맨드를 추출하고, 보이스 커맨드를 해석하여 스마트 디바이스(1000)가 보이스 커맨드에 대한 응답으로 출력할 피드백에 관한 피드백 데이터를 생성하고, 이를 스마트 디바이스(1000)에 전달하는 기능을 담당할 수 있다. The
본 명세서에서 보이스 어시스턴트 서버(10)는 필요에 따라 물리적으로 및/또는 기능적으로 단일한 서버로 구현되거나 복수의 서버로 구현되는 것이 가능하다. 예를 들어, 보이스 어시스턴트 서버(10)는 스마트 디바이스로부터 전달받은 음성으로부터 보이스 커맨드를 추출하는 음성 인식 서버, 추출된 보이스 커맨드를 해석하는 인공 지능 서버, 피드백으로 제공하기 위한 멀티미디어 콘텐츠를 관리하는 서버 등과 같은 여러 개의 서버의 집합체일 수 있다. 즉, 보이스 어시스턴트 서버(10)는 위에 언급된 기능 및 그 외의 보이스 어시스턴트 기능의 구현에 필요한 기능들을 모두 구현하는 단일 서버 형태는 물론, 각 기능을 분담하는 서버들의 집합체 형태일 수 있는 것이다. In this specification, the
1.2.4. 사용자 음성 1.2.4. User voice
본 명세서에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 획득할 수 있다. 여기서, 사용자 음성이란 스마트 디바이스(1000)를 이용하는 사용자가 발화한 음성을 의미할 수 있다. 예를 들어, 스마트 디바이스(1000)의 음성 입력 모듈(1200)은 후술될 스탠바이 모드나 리스닝 모드에서 음성 입력 모듈(1200)을 통해 음성을 수신하므로, 스마트 디바이스(1000)의 작동 모드가 스탠바이 모드나 리스닝 모드인 때 사용자가 발화하면 스마트 디바이스(1000)는 사용자 음성을 획득할 수 있다. In the present specification, the
한편, 본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 사용자 음성을 다른 음성과 구분하여 선택적으로 입력받을 수는 없으므로, 스마트 디바이스(1000)가 수신하는 음성에는 사용자 음성 이외의 음성이 포함되어 있을 수도 있다. 다른 음성의 예로는 스마트 디바이스(1000)에서 출력되는 피드백으로 인한 음성이나 기타 주변에서 발생하는 노이즈로 인한 음성 등이 포함될 수 있는데, 이하에서는 이들 다른 음성을 사용자 음성과 구분하여 기타 음성으로 지칭하기로 한다. 또 특히 기타 음성 중 스마트 디바이스(1000)에서 출력되는 피드백으로 인한 음성은 피드백 음성으로 지칭하기로 한다. On the other hand, since the
1.2.5. 보이스 커맨드 1.2.5. Voice command
사용자 음성에는 사용자가 스마트 디바이스(1000)에 특정한 동작의 수행/처리를 요구하는 보이스 커맨드가 포함될 수 있다. 여기서, 사용자 음성은 음향학적 관점에서 정의되는 용어로 해석될 수 있으며, 보이스 커맨드는 정보처리적 관점에서 정의되는 용어로 해석될 수 있다. 따라서, 본 명세서에서는 사용자 음성과 보이스 커맨드를 구분되는 개념으로 이용할 것이다. 그러나, 사용자 음성과 보이스 커맨드 간의 구별이 항상 명확한 것은 아니며 경우에 따라서는 그 구별의 실익이 실질적으로 없을 수 있으므로, 본 명세서에서 후술되는 몇몇 기재들과 특허 청구 범위에서는 당업자가 이해 가능한 범위 내에서 사용자 음성과 보이스 커맨드의 두 용어가 혼용될 수도 있음을 미리 밝혀둔다. The voice of a user may include a voice command for requesting a user to perform / process a specific operation on the
한편, 사용자가 반드시 보이스 커맨드를 통해서만 스마트 디바이스(1000)에 지시를 내려야만 하는 것은 아니다. 예를 들어, 사용자는 버튼 입력이나 터치, 제스처 등의 다양한 형태로 스마트 디바이스(1000)와 상호 작용하는 것도 가능하다.On the other hand, the user does not necessarily have to instruct the
1.2.6. 웨이크업-워드 1.2.6. Wake-up
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 수신되는 음성이 사용자가 스마트 디바이스(1000)를 이용하기 위해 발화한 사용자 음성인지 여부를 사전에 알 수 없거나 어렵기 때문에, 사용자로부터 특정한 동작의 수행/처리를 요구하는 사용자 음성을 수신하는 리스닝 모드로 진입하기 위한 예비적인 단계(phase)로 스탠바이 모드를 가질 수 있다. The
웨이크업 워드(wake-up word)는 스탠바이 모드에서 리스닝 모드로 진입하기 위한 트리거를 의미할 수 있다. 구체적으로, 스마트 디바이스(1000)는 스탠바이 모드에서 수신되는 사용자 음성으로부터 웨이크업 워드를 검출할 수 있으며, 웨이크업 워드가 검출되면 리스닝 모드로 진입할 수 있다. 따라서, 웨이크업 워드란 스마트 디바이스(1000)가 스탠바이 모드로부터 리스닝 모드로 진입할 것을 지시하는 특수한 보이스 커맨드라고 볼 수 있다. 웨이크업 워드를 리스닝 모드로 진입하기 위한 트리거(trigger)로 이용하면, 사용자가 스마트 디바이스(1000)를 이용하려는 의도 없이 발화하는 사용자 음성에 대해서도 스마트 디바이스(1000)가 반응하는 오작동을 방지할 수 있다. The wake-up word may mean a trigger for entering the listening mode from the standby mode. In detail, the
관점에 따라서는 웨이크업 워드를 보이스 커맨드의 일종으로 해석하는 것도 가능하지만, 본 명세서에서는 설명의 편의를 위해 웨이크업 워드와 보이스 커맨드를 가급적 구분하여 언급할 것이다. 다만, 경우에 따라 본 명세서에서 웨이크업 워드가 보이스 커맨드의 한 종류인 것으로 설명할 수도 있음을 미리 밝혀둔다. 또한, 이하의 기재에서 웨이크업 워드는 때때로 핫 워드라는 용어로 대체될 수 있다. Depending on the point of view, it is also possible to interpret the wakeup word as a kind of voice command. However, in the present specification, the wakeup word and the voice command will be referred to as much as possible. In some cases, however, the wakeup word may be described as being a type of voice command. In addition, in the following description, the wakeup word may sometimes be replaced with the term hot word.
본 발명의 일 실시예에 따른 스마트 디바이스(1000)에는 단일한 혹은 몇몇의 단어 내지는 어구(phrase)가 웨이크업 워드로 설정될 수 있다. 일반적인 스마트 디바이스(1000)의 이용 환경에서 웨이크업 워드는 사용자가 스마트 디바이스(1000)를 부르는 호칭(call name) 등으로 이용될 수 있다. 예를 들어, 웨이크업 워드는 스마트 디바이스(1000)의 세팅 프로세스에서 결정될 수 있으며, 'computer', 'hey speaker' 등과 같이 정해질 수 있다. In the
후술하겠지만, 보이스 커맨드는 임의의 단어, 어구 내지는 문장의 형태를 취할 수 있으므로 보이스 어시스턴트 기능을 수행하기 위해 사용자 음성으로부터 보이스 커맨드를 인식하고 해석하는 과정에는 복잡한 연산이 요구된다. 따라서, 스마트 디바이스(1000)가 자체적으로 임의의 보이스 커맨드를 인식하기 어렵기 때문에 대개 사용자 음성으로부터 보이스 커맨드를 처리하는 과정은 보이스 어시스턴트 서버(10)에서 이루어진다. 이에 반해 웨이크업 워드는 단일한 단어 또는 몇몇 단어의 집합에 불과하므로 사용자 음성으로부터 웨이크업 워드를 검출하는 과정은 스마트 디바이스(1000)에서 로컬로 처리될 수 있다. As will be described later, the voice command may take the form of an arbitrary word, phrase, or sentence, and thus, a complicated operation is required to recognize and interpret the voice command from the user voice in order to perform the voice assistant function. Therefore, since the
1.2.7. 피드백 1.2.7. feedback
본 명세서에서 피드백이란 스마트 디바이스(1000)가 사용자로부터 요청받은 지시 내지는 요구, 요청에 대하여 스마트 디바이스(1000)가 출력하는 응답을 의미할 수 있다. In the present specification, the feedback may mean a response that the
본 명세서에서 피드백은 오디오-타입 피드백과 비디오-타입 피드백을 포함할 수 있다. 여기서, 오디오-타입 피드백은 음성 출력 모듈(1300)을 통해 출력되는 청각적 피드백을 의미할 수 있으며 이하에서는 설명의 편의를 위해 오디오-타입의 피드백을 토크 백이라고 지칭하기로 한다. 또 여기서, 비디오-타입 피드백은 디스플레이 모듈(1400)을 통해 출력되는 시각적 피드백을 의미할 수 있으며, 이하에서는 설명의 편의를 위해 비디오-타입의 피드백을 디스플레이 백이라고 지칭하기로 한다. Feedback herein may include audio-type feedback and video-type feedback. Here, the audio-type feedback may refer to auditory feedback output through the
한편, 토크 백(talk-back)이라는 용어가 '대화(talk)'라는 단어를 포함하고 있지만, 토크 백이 반드시 대화 형태의 피드백만을 의미하는 것은 아니며 음악이나 효과음 등의 청각적 피드백을 모두 아우르는 것으로 해석되어야 한다. On the other hand, although the term talk-back includes the word 'talk', the talk-back does not necessarily mean conversational feedback but is interpreted as encompassing all of the auditory feedback such as music or sound effects. Should be.
또한, 디스플레이 백(talk-back)이 비디오-타입 피드백을 지칭하는 것이지만, 반드시 동화상 형태여야만 하는 것은 아니며 정지 영상까지 포함할 수 있다. 나아가 디스플레이 백은 시각적 피드백으로 토크 백은 청각적 피드백으로 설명하였으나, 이하에서는 설명의 편의를 위해 디스플레이 백이 시각적 피드백에 청각적 피드백이 더해진 것까지도 포괄하는 것으로 해석될 수 있다. 예를 들어, 본 명세서에서는 스마트 디바이스(1000)가 영화나 게임과 같이 시청각적 경험을 제공하는 멀티미디어 콘텐츠를 재생하는 것에 대해 스마트 디바이스(1000)가 디스플레이 백을 출력하는 것으로 설명할 수도 있다. 예를 들어, 디스플레이 백에는 TV 프로그램, 영화나 뮤직 비디오, 유튜브(youtube) 스트리밍 서비스 등이 포함될 수 있다. In addition, although the display back (talk-back) refers to the video-type feedback, it does not necessarily need to be in the form of a moving picture and may include still images. Furthermore, although the display back has been described as visual feedback and the talkback as an acoustic feedback, the display back can be interpreted to include the addition of the acoustic feedback to the visual feedback for convenience of description. For example, the
1.3. 스마트 디바이스의 구성 요소 1.3. Components of Smart Devices
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 구성 요소에 관하여 설명한다. Hereinafter, components of the
도 1은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 블록도이다.1 is a block diagram of a
본 발명의 일 실시예에 따른 스마트 디바이스(1000)는 음성 입력 모듈(1200), 음성 출력 모듈(1300), 통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)를 포함할 수 있다. 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 수신하고, 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)에 사용자 음성을 송신하고, 사용자 음성에 포함된 보이스 커맨드에 의해 요청된 피드백 데이터를 수신하고, 음성 출력 모듈(1300)을 통해 토크 백을 출력할 수 있으며, 콘트롤러(1060)는 상술한 과정에 필요한 각 모듈을 제어하거나 각종 정보를 처리할 수 있으며, 메모리(1040)에는 각종 정보가 저장될 수 있다. 또 스마트 디바이스(1000)는 디스플레이 백을 출력하기 위해 디스플레이 모듈(1400)을 선택적으로 더 포함할 수 있다. 또 스마트 디바이스(1000)는 디스플레이 백의 방향을 조절하기 위한 구동 모듈(1500)을 선택적으로 더 포함할 수 있다. The
음성 입력 모듈(1200)은 사용자 음성을 비롯한 다양한 음성을 수신할 수 있다. 음성 입력 모듈(1200)은 단일한 또는 복수의 마이크(1202)를 제공될 수 있다. 음성 입력 모듈(1200)이 복수의 마이크(1202)로 제공되는 경우, 음성 입력 모듈(1200)은 복수의 마이크(1202)가 소정의 형태를 이루고 배치되는 마이크 어레이(1204)로 제공될 수 있다. The
음성 출력 모듈(1300)은 토크 백을 비롯한 각종 소리를 출력할 수 있다. 음성 출력 모듈(1300)은 단일한 또는 복수의 스피커(1302)로 제공될 수 있다. 음성 출력 모듈(1300)은 필요에 따라 무지향성(omnidireictional)을 갖는 구조로 배치될 수 있다. 또는 음성 출력 모듈(1300)은 필요에 따라 지향성으로 소리를 출력하는 구조로 배치될 수도 있다. The
디스플레이 모듈(1400)은 디스플레이 백을 비롯한 각종 영상을 출력할 수 있다. 디스플레이 모듈(1400)은 디스플레이 패널(1420) 또는 프로젝터(1440) 등의 형태로 구현될 수 있다. The
또 디스플레이 모듈(1400)의 방향 또는 디스플레이 모듈(1400)에 의해 출력되는 디스플레이 백의 방향은 구동 모듈(1500)에 의해 조절될 수 있다. 일 예로, 스마트 디바이스(1000)는 프로젝터(1440)를 통해 디스플레이 백을 출력하며, 디스플레이 백이 출력되는 디스플레이 영역 내지는 프로젝션 방향은 구동 모듈(1500)에 의해 사용자 주변으로 동적으로 조절될 수 있다. 한편, 구동 모듈(1500)은 현재 디스플레이 백의 방향을 감지하기 위한 방향 감지 센서(1560)를 더 포함할 수도 있다. 예를 들어, 방향 감지 센서(1560)는 프로젝터(1440)가 배치된 방향을 센싱할 수 있다. In addition, the direction of the
통신 모듈(1020)은 외부 기기와 통신을 수행한다. 예를 들어, 스마트 디바이스(1000)는 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)와 정보를 송수신할 수 있는데, 보다 구체적으로는 스마트 디바이스(1000)는 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)로 사용자 음성을 전송하고, 통신 모듈(1020)을 통해 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신할 수 있다. The
통신 모듈(1020)은 크게 유선 타입과 무선 타입으로 나뉠 수 있다. 유선 타입과 무선 타입은 각각의 장단점을 가지며, 스마트 디바이스(1000)는 유선 타입의 통신 모듈(1020) 및/또는 무선 타입의 통신 모듈(1020)이 구비될 수도 있다. The
유선 타입의 경우에는 유선 LAN(Local Area Network), USB(Universal Serial Bus) 통신 등이 대표적인 예이나 그 외의 다른 방식도 가능하다. 무선 타입의 경우에는 이동 통신 방식, 블루투스(Bluetooth)나 직비(Zigbee)와 같은 WPAN(Wireless Personal Area Network) 계열의 통신 방식, 와이파이(Wi-Fi) 같은 WLAN(Wireless Local Area Network) 계열의 통신 방식 및 그 외의 알려진 다른 통신 방식을 이용하는 것도 가능하다. 물론, 유/무선 통신 방식이 상술한 예로 한정되는 것은 아님을 미리 밝혀둔다. In the case of the wired type, a wired LAN (Local Area Network) or a USB (Universal Serial Bus) communication is a typical example, but other methods are possible. In the case of the wireless type, a mobile communication method, a communication method of a wireless personal area network (WPAN) series such as Bluetooth or Zigbee, and a communication method of a wireless local area network (WLAN) series such as Wi-Fi And other known communication schemes. Of course, the wired / wireless communication method is not limited to the above-described example it will be appreciated in advance.
메모리(1040)는 각종 정보를 저장할 수 있다. 메모리(1040)는 데이터를 임시적으로 또는 반영구적으로 저장할 수 있다. 메모리(1040)의 예로는 하드 디스크(HDD: Hard Disk Drive), SSD(Solid State Drive), 플래쉬 메모리(flash memory), 롬(ROM: Read-Only Memory), 램(RAM: Random Access Memory) 등이 있을 수 있다. 메모리(1040)는 스마트 디바이스(1000)에 내장되는 형태나 피드백 디바이스에 탈부착 가능한 형태로 제공될 수 있다. The
메모리(1040)에는 스마트 디바이스(1000)를 구동하기 위한 운용 프로그램(OS: Operating System)이나 스마트 디바이스(1000)에 인스톨되는 각종 어플리케이션, 스마트 디바이스(1000)의 동작에 필요하거나 이용되는 각종 데이터가 저장될 수 있다.The
콘트롤러(1060)는 스마트 디바이스(1000)의 전반적인 동작을 제어를 수행할 수 있다. 예를 들어, 스마트 디바이스(1000)가 디스플레이 백을 출력하는 것은 콘트롤러(1060)가 디스플레이 모듈(1400)을 제어함에 따라 수행될 수 있으며, 스마트 디바이스(1000)가 보이스 어시스턴트 서버(10)와 통신하는 것은 콘트롤러(1060)가 통신 모듈(1020)을 제어함에 따라 수행될 수 있다. The
콘트롤러(1060)의 제어 동작은 콘트롤러(1060)가 각종 정보의 연산 및 처리를 수행함에 따라 이루어질 수 있다. 이를 위해 콘트롤러(1060)는 하드웨어나 소프트웨어 또는 이들의 조합에 따라 컴퓨터나 이와 유사한 장치로 구현될 수 있다. 하드웨어적으로 콘트롤러(1060)는 전기적인 신호를 처리하여 제어 기능을 수행하는 전자 회로 형태로 제공될 수 있으며, 소프트웨어적으로는 하드웨어적 회로를 구동시키는 프로그램이나 코드 형태로 제공될 수 있다. The control operation of the
콘트롤러(1060)는 단일한 물리적 구성을 가질 수 있지만, 경우에 따라서는 물리적으로 분리된 형태로 제공될 수도 있다. 다시 말해, 콘트롤러(1060)는 단일한 칩으로 제조되는 것도 가능하지만, 물리적으로 분산 배치되는 복수의 칩 내지는 기판으로 제공될 수도 있으며 이때에는 각 분리된 콘트롤러(1060) 간의 통신 인터페이스가 연결되어 있을 수도 있다. The
한편, 이하의 설명에서 스마트 디바이스(1000)가 수행하는 동작들은 별도의 언급이 없는 경우 콘트롤러(1060)에 의해 수행되는 것으로 해석될 수 있음을 밝혀둔다.Meanwhile, in the following description, operations performed by the
1.4. 스마트 디바이스의 구현예 1.4. Implementation of Smart Devices
이하에서는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 몇몇 구현예에 관하여 설명한다. 도 2 내지 6은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 구현예들에 관한 사시도이다.Hereinafter, some implementations of the
일 예에 따르면, 스마트 디바이스(1000)는 도 2에 도시된 바와 같이 테이블이나 플로어 등과 같은 수평면에 거치되어 이용되는 스마트 스피커 형태(1000a)로 제공될 수 있다. According to an example, the
본 예에서, 하우징(1100)은 수평면에 놓이는 하면(1101), 하면(1101)과 대응하는 상면(1102) 및 상기 하면(1101)과 상면(1102)을 연결하는 측면(1103)을 포함할 수 있다. 도 2는 하우징(1100)을 원 기둥 형상으로 도시하고 있으나, 하우징(1100)은 이외에도 다각 기둥, 상면(1102)이 경사진 테이퍼면인 원 또는 다각 기둥, 원 또는 다각 뿔 등 다양한 형상일 수 있다. In this example, the
본 예에서 스마트 디바이스(1000)에는 스마트 디바이스(1000)의 작동 모드를 지시하는 인디케이터(1106)가 구비될 수 있다. 에를 들어, 인디케이터(1106)는 작동 모드에 따라 특정 색상이나 특정 패턴을 표시하는 램프 등일 수 있다. 도 2에는 인디케이터(1106)가 하우징(1100)의 측면(1103)의 테두리를 둘러싸도록 배치되는 것으로 도시했으나, 이로 인해 인디케이터(1106)의 형상이나 위치가 도 2로 제한되는 것은 아니다.In this example, the
본 예에서 스마트 디바이스(1000)에 복수의 마이크(1202)를 포함하는 마이크 어레이(1204)가 구비될 수 있다. 예를 들어, 복수의 마이크(1202)는 도 2에 도시된 바와 같이 하우징(1100)의 상면(1102)에 방사형으로 배치되거나 하우징(1100)의 측면(1103)을 따라 배치될 수 있을 것이다. 물론, 스마트 디바이스(1000)에 단일한 마이크(1202)가 구비되는 것도 가능하다. 예를 들어, 단일한 마이크(1202)를 음성 입력 모듈(1200)로 이용하는 경우에는 마이크(1202)는 하우징(1100)의 측면(1103) 중 스마트 디바이스(1000)가 주로 사용되는 방향 쪽의 지점 또는 하우징(1100)의 상면(1102)에 배치될 수 있다. In this example, the
본 예에서 스마트 디바이스(1000)에는 단일한 스피커(1302)가 무지향성으로 음성을 출력하도록 마련될 수 있다. 예를 들어, 스피커(1302)는 하우징(1100)의 내부에 하우징(1100)의 하면(1101)을 향해 음성을 출력하도록 배치되고, 하우징(1100)의 하면(1101)에는 콘 형태의 돌출부를 마련하여 사운드 패스가 하우징(1100)의 외측 전방향으로 출력되도록 할 수 있다. 물론, 스피커(1302)가 복수로 제공되는 것도 가능하며 이때에는 스마트 디바이스(1000)가 지향성 음성 출력을 하거나 멀티 채널(예를 들어, 스테레오 사운드나 5.1 채널 등)로 음성 출력하는 것이 가능할 수 있다. In this example, the
본 예에 따른 스마트 디바이스(1000)의 구현예에서는 스마트 디바이스(1000)에 디스플레이 모듈(1400)이 탑재되지 않으므로, 스마트 디바이스(1000)가 디스플레이 백을 출력할 수는 없다. 후술될 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 그 제어 방법 중 일부는 디스플레이 모듈(1400)이 탑재된 스마트 디바이스(1000)에 한하여 적용될 수 있지만, 다른 일부는 디스플레이 모듈(1400)이 없는 스마트 디바이스(1000)에도 적용될 수 있음을 미리 밝혀둔다. In the embodiment of the
일 예에 따르면, 스마트 디바이스(1000)는 도 3에 도시된 바와 같이 테이블이나 플로어 등과 같은 수평면에 거치되어 이용되며 디스플레이 패널(1420)을 구비하는 형태(1000b)로 제공될 수 있다. According to an example, the
본 예에서, 스마트 디바이스(1000)에 디스플레이 패널(1420)이 구비될 수 있다. 디스플레이 패널(1420)은 주로 하우징(1100)의 일면에 구비될 수 있다. 스마트 디바이스(1000)는 디스플레이 패널(1420)을 통해 각종 영상(예를 들어, 디스플레이 백)을 출력할 수 있다. 한편, 디스플레이 패널(1420)이 터치 패널로 제공됨에 따라 디스플레이 패널(1420)이 터치 입력 인터페이스로 기능할 수도 있다. In this example, the
또 디스플레이 패널(1420)이 인디케이터(1106)의 역할을 대체할 수 있으므로, 본 예에서 스마트 디바이스(1000)에서 인디케이터(1106)는 선택적으로 구비될 수 있다. 또 본 예의 스마트 디바이스(1000)에서 음성 출력 모듈(1300)과 음성 입력 모듈(1200)은 다양한 배치 형태로 제공될 수 있다. In addition, since the
이상에서는 본 예의 스마트 디바이스(1000)에 대해 거치형인 것으로 설명했으나, 이와 달리 스마트 디바이스(1000)가 벽걸이형으로 제공될 수도 있다. 이때에는 하우징(1100)에 스마트 디바이스(1000)가 벽에 걸릴 수 있도록 하는 마운팅 수단이 마련되어 있을 수 있다. 예를 들어, 마운팅 수단은 접착층이나 브라켓, 리세스 등으로 제공될 수 있다. In the above description, the
일 예에 따르면, 스마트 디바이스(1000)는 도 4에 도시된 바와 같이 프로젝터(1440)를 구비하는 형태(1000c)로 제공될 수 있다. 이에 따라 스마트 디바이스(1000)는 프로젝터(1440)를 통해 각종 영상을 출력할 수 있다. 도 4에 도시된 스마트 디바이스(1000)는 수평면에 거치되어 이용되거나 또는 천장이나 벽면 등에 설치되어 이용될 수 있다. 프로젝션 거리가 짧은 사용 환경을 목적하는 경우에는 스마트 디바이스(1000)의 프로젝터(1440)로는 초단초점(UST: Ultra Short Throw) 프로젝터가 이용될 수 있다. According to an example, the
본 예에서 스마트 디바이스(1000)는 선택적으로 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스 구비할 수 있다. In this example, the
터치 입력 인터페이스는 스마트 디바이스(1000)가 놓인 면이나 스마트 디바이스(1000)가 디스플레이 백을 프로젝션하는 면에 대한 사용자의 터치 입력을 감지할 수 있다. 터치 입력 인터페이스의 예로는 적외선 터치 센서를 들 수 있다. 적외선 터치 센서는 적외선을 조사하는 출광 수단과 적외선을 수신하는 수광 수단을 포함하고, 출광 수단에 의해 출사된 적외선이 사용자의 신체에 반사되어 수광 수단으로 수신되는 것을 이용하여 터치 입력을 획득할 수 있다. 적외선 터치 센서에서는 수광 수단 대신 일반 카메라나 적외선 카메라를 이용할 수도 있다. 적외선 카메라를 이용하는 경우에는 출광 수단이 소정의 패턴을 형성하도록 적외선을 출사하고, 적외선 카메라에서 사용자 신체에 의해 패턴이 변형되는 것을 감지하는 방식으로 터치 입력을 획득할 수 있다. The touch input interface may detect a user's touch input on a surface on which the
또 제스처 입력 인터페이스는 각종 이미지에 기초하여 사용자의 신체로 표현되는 제스처(예를 들어, 팔동작이나 손가락 동작, 손가락 형태 등)을 인식할 수 있다. 제스처 입력 인터페이스는 터치 인터페이스와 다르게 물리적 면에 대한 터치만을 입력받지 않고 공간에 대한 제스처를 입력받을 수 있는 장점이 있다. In addition, the gesture input interface may recognize a gesture (for example, an arm gesture, a finger gesture, a finger shape, etc.) expressed by the user's body based on various images. Unlike the touch interface, the gesture input interface has an advantage of receiving a gesture for a space without receiving only a touch on a physical surface.
또 시선 인식 인터페이스는 스마트 디바이스(1000)의 사용자의 시선을 인식할 수 있다. 예를 들어, 시선 인식 인터페이스는 사용자가 바라보는 방향 내지 사용자가 바라보는 지점을 2차원 또는 3차원 정보로써 인식할 수 있다. In addition, the gaze recognition interface may recognize the gaze of the user of the
또 공간 인지 인터페이스는 스마트 디바이스(1000)가 있는 주변의 공간과 사물을 인지할 수 있다. 예를 들어, 공간 인지 인터페이스는 스마트 디바이스(1000)가 놓인 방의 구조, 주변에 놓인 사물의 위치, 형태 등을 인식할 수 있다. In addition, the space aware interface may recognize a space and an object around the
물론, 스마트 디바이스(1000)의 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스가 상술한 예로 한정되는 것은 아니며, 당업자에게 자명한 다양한 변형이 가능함은 물론이다. 또한, 터치 입력 인터페이스, 제스처 입력 인터페이스, 시선 인식 인터페이스 및/또는 공간 인지 인터페이스는 본 예의 스마트 디바이스(1000) 뿐만 아니라 스마트 디바이스(1000) 다른 구현예들에도 적용될 수 있음을 밝혀둔다. Of course, the touch input interface, the gesture input interface, the gaze recognition interface, and / or the space recognition interface of the
본 예에서, 스마트 디바이스(1000)는 그 거치 방향이 조절됨에 따라 프로젝션 방향이 조절되는 형태(1000d)로 제공될 수 있다. 예를 들어 도 5을 살펴보면, 스마트 디바이스(1000)의 하우징(1100)은 적어도 두 개의 거치면(1104, 1105)을 가질 수 있으며, 두 개의 거치면(1104, 1105) 중 어느 하나를 통해 하우징(1100)이 거치되는지 여부에 따라 프로젝션 방향이 벽면을 향하는지 또는 바닥면을 향하는지의 여부가 결정될 수 있다. 다시 말해, 사용자가 수동으로 스마트 디바이스(1000)의 거치 자세를 조절함으로써 스마트 디바이스(1000)의 프로젝션 방향 또는 프로젝션 영역이 조절될 수 있다. In this example, the
한편, 수동으로 거치 자세가 조절됨에 따라 프로젝션 방향 내지는 영역이 조절되는 것과 달리 본 예에서, 스마트 디바이스(1000)는 프로젝션 방향을 자동적으로 조절할 수도 있다. 이를 위해 스마트 디바이스(1000)는 프로젝션의 방향이나 프로젝션의 영역을 조절하는 구동 모듈(1500)을 더 포함할 수도 있다. 예를 들어, 스마트 디바이스(1000)에는 프로젝터를 회전시키는 회전 모터(1520)가 구동 모듈(1500)로 구비될 수 있다. 다른 예를 들어, 스마트 디바이스(1000)에는 프로젝션의 광 경로를 조절하는 반사 미러 등이 구동 모듈(1500)로 구비될 수 있다. 또 다른 예로, 구동 모듈(1500)은 회전 모터(1520)와 반사 미러가 조합된 형태로 제공될 수도 있다. 여기서, 반사 미러는 MEMS 미러, 레조넌스 미러 등과 같이 고정 상태 타입(solid-state)로 구현되거나 물리적으로 방향이 조절되는 노딩 미러나 다각(polygonal) 미러 등으로 제공될 수 있다. 도 6을 살펴보면, 스마트 디바이스(1000)는 테이블 상에 거치되어 테이블 위로 디스플레이 백을 출력하는데, 이때 스마트 디바이스(1000)는 구동 모듈(1500)을 이용하여 디스플레이 백의 프로젝션 방향을 사용자 방향으로 이동시킬 수 있다. 또 스마트 디바이스(1000)는 구동 모듈(1500)을 이용하여 프로젝션 방향을 필요에 따라 벽면 또는 테이블면을 적절히 조절할 수 있다. 프로젝션 방향 내지는 프로젝션 영역을 자동으로 조절하는 스마트 디바이스(1000)가 프로젝터(1440)를 구비하는 형태로 한정되는 것은 아니다. 예를 들어, 도 에 도시된 형태의 스마트 디바이스(1000)에 디스플레이 패널(1420)의 방향을 조절하는 구동 모듈(1500)이 탑재해 스마트 디바이스(1000)가 구동 모듈(15000)을 통해 자동적으로 디스플레이 방향을 조절하는 것도 가능하다.On the other hand, unlike the projection direction or the area is adjusted as the mounting posture is manually adjusted in this example, the
1.5. 스마트 디바이스의 작동 모드 1.5. Mode of operation of the smart device
1.5.1. 오프 상태 1.5.1. OFF state
스마트 디바이스(1000)는 기기가 동작하지 않는 오프 상태를 가질 수 있다. 오프 상태에서는 전원이 공급되지 않아 기기가 꺼져있는 상태이거나 최소한의 전원만을 이용하는 휴면(hibernation) 상태일 수 있다. The
1.5.2. 스탠바이 모드 1.5.2. Standby mode
스마트 디바이스(1000)는 전원이 인가되면 사용자로부터 특별히 지시를 받지 않은 상태에서 스탠바이 모드로 동작할 수 있다. 예를 들어, 스마트 디바이스(1000)는 전원이 인가되면 스탠바이 모드로 진입할 수 있다. When the power is applied, the
스탠바이 모드는 사용자로부터 스마트 디바이스(1000)를 이용하겠다는 의도를 전달받는 단계(phase)이다. 예를 들어, 스마트 디바이스(1000)는 스탠바이 모드에서 사용자 음성으로부터 웨이크업 워드를 검출하는 동작을 수행하고, 웨이크업 워드의 검출 여부에 따라 스마트 디바이스(1000)를 이용하려는 사용자의 의도를 판단할 수 있다. The standby mode is a phase in which a user receives an intention to use the
스탠바이 모드에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 음성을 수신할 수 있다. 이때, 음성 입력 모듈(1200)은 음성을 비선별적으로 수신할 수 있다. 아직 스마트 디바이스(1000)는 수신되는 음성이 스마트 디바이스(1000)를 향해 발화된 사용자 음성인지 알 수 없기 때문에 보이스 커맨드의 해석을 위해 수신한 음성을 보이스 어시스턴트 서버(10)로 전송하지 않을 수 있다. In the standby mode, the
스탠바이 모드에서 스마트 디바이스(1000)는 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. 웨이크업 워드는 스마트 디바이스(1000)의 제조사에 의해 미리 정해진 특정 단어 또는 어구이거나 스마트 디바이스(1000)의 제조사에 의해 미리 정해진 특정 단어군 또는 어구군 중 사용자에 의해 선택된 것일 수 있다. In the standby mode, the
상술한 바와 같이 웨이크업 워드는 임의적인 자연어 형태가 아니라 최대 몇몇 개의 미리 정해지는 단어 내지는 짧은 어구에 불과하므로, 입력되는 음성에서 웨이크업 워드를 검출하는 것은 많은 연산을 필요로 하지 않는다. 따라서, 스마트 디바이스(1000)의 콘트롤러(1060)는 보이스 어시스턴트 서버(10)와의 협업없이 직접 로컬에서 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. As described above, since the wakeup word is not an arbitrary natural language form but a maximum of several predetermined words or short phrases, detecting the wakeup word in the input voice does not require many operations. Accordingly, the
스탠바이 모드에서 스마트 디바이스(1000)는 수신된 음성으로부터 웨이크업 워드가 검출되는지 여부에 기초하여 스마트 디바이스(1000)를 이용하려는 사용자 의도를 판단할 수 있다. 수신되는 음성으로부터 웨이크업 워드가 검출되는 경우 스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도를 가진 것으로 이해할 수 있다. In the standby mode, the
스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도를 가진 것으로 판단하면, 사용자로부터 보이스 커맨드가 담긴 사용자 음성이 수신될 것을 대비해 리스닝 모드로 진입할 수 있다. 반대로 수신되는 음성으로부터 웨이크업 워드가 검출되지 않는 경우에는 스마트 디바이스(1000)는 사용자가 스마트 디바이스(1000)를 이용하려는 의도가 없는 것으로 이해할 수 있으며, 스마트 디바이스(1000)는 리스닝 모드로 진입하는 대신 스탠바이 모드를 유지할 수 있다. If the
한편, 스탠바이 모드는 웨이크업 워드를 검출/인식하는 모드이므로 경우에 따라서는 웨이크업 워드 검출 상태 또는 모드로 지칭할 수도 있다.On the other hand, since the standby mode is a mode for detecting / recognizing the wakeup word, it may also be referred to as a wakeup word detection state or mode in some cases.
1.5.3. 리스닝 모드 1.5.3. Listening mode
상술한 바와 같이 스마트 디바이스(1000)는 스탠바이 모드에서 웨이크업 워드의 입력이 검출되면 리스닝 모드로 진입할 수 있다. 한편, 스마트 디바이스(1000)에 리스닝 모드로의 진입을 지시하는 버튼이 마련되어 있고 스마트 디바이스(1000)가 해당 버튼에 대한 사용자 입력에 응해 리스닝 모드에 진입하는 것도 가능하다. As described above, when the input of the wake-up word is detected in the standby mode, the
리스닝 모드에서 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 사용자 음성을 입력받을 수 있다. 리스닝 모드에서 입력되는 사용자 음성은 스마트 디바이스(1000)에 특정한 동작을 지시하는 보이스 커맨드를 포함할 수 있다. In the listening mode, the
여기서, 반드시 그러한 것은 아니나 보이스 커맨드는 주로 자연어 형태를 취할 수 있다. 자연어 형태의 보이스 커맨드를 인식하는 것은 높은 연산량으로 인해 로컬에서 처리되기 어려울 수 있으므로, 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)와 협업하여 사용자 음성으로부터 보이스 커맨드를 해석할 수 있다. Here, but not necessarily, voice commands may take predominantly natural language forms. Recognizing natural language voice commands may be difficult to process locally due to a high amount of computation, so that the
따라서, 리스닝 모드에서 스마트 디바이스(1000)는 사용자 음성에 포함된 보이스 커맨드의 해석을 위해 입력된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. 스마트 디바이스(1000)는 몇몇 방식으로 사용자 음성을 보이스 어시스턴트 서버(10)에 전송할 수 있다. 일 예로, 스마트 디바이스(1000)는 리스닝 모드에서 수신되는 사용자 음성을 실시간으로 보이스 어시스턴트 서버(10)에 전송할 수 있다. 다른 예로, 스마트 디바이스(1000)는 수신되는 사용자 음성을 취합한 뒤 취합된 사용자 음성을 일괄적으로 보이스 어시스턴트 서버(10)에 전송할 수도 있다. 보이스 어시스턴트 서버(10)는 스마트 디바이스(1000)로부터 전달받은 사용자 음성으로부터 보이스 커맨드를 해석하고, 해석된 보이스 커맨드에 대응하는 피드백 데이터를 생성하여 스마트 디바이스(1000)로 반환할 수 있다.Therefore, in the listening mode, the
리스닝 모드에서 스마트 디바이스(1000)가 사용자 음성을 보이스 어시스턴트 서버(10)로 전송하기 전에, 스마트 디바이스(1000)는 사용자 음성에 대한 전처리(pre-processing)을 수행할 수 있다. 전처리의 예로는 노이즈 캔슬링, 음성 데이터 압축 등이 있다. 예를 들어, 음성 출력 모듈(1300)을 통해 토크 백을 출력 중인 스마트 디바이스(1000)가 리스닝 모드에서 사용자 음성을 수신한 경우 스마트 디바이스(1000)에는 토크 백과 보이스 커맨드를 포함한 사용자 음성을 함께 수신할 수 있다. 이때, 스마트 디바이스(1000)는 스스로 출력하는 토크 백에 대한 정보를 이용하여 수신된 음성 중 토크 백 부분을 제거함으로써 수신된 음성에서 사용자 음성 부분을 추출해 낼 수 있다. Before the
또 리스닝 모드에서 스마트 디바이스(1000)는 깨끗한 사용자 음성을 입력받기 위해 조용한 주변 환경을 조성하기 위한 동작을 수행할 수 있다. 일 예로, 스마트 디바이스(1000)는 리스닝 모드에서 진입하면 기 출력 중이던 토크 백의 출력을 중단하거나 토크 백의 오디오 볼륨을 감소시킬 수 있다. 예를 들어, 라디오 뉴스를 재생 중인 스마트 디바이스(1000)는 리스닝 모드에 진입하면 재생 중이던 라이브 뉴스를 일시 정지시킬 수 있다. In the listening mode, the
스마트 디바이스(1000)는 리스닝 모드를 일정한 시간 간격(time period) 동안 유지할 수 있다. 예를 들어, 스마트 디바이스(1000)는 보이스 커맨드를 담은 사용자 입력을 보이스 어시스턴트 서버(10)에 전송하고 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신하면, 리스닝 모드를 종료할 수 있다. 다른 예를 들어, 스마트 디바이스(1000)는 사용자 음성의 입력이 완료된 경우 또는 사용자 음성 입력된 후 미리 정해진 시간 동안 음성이 입력되지 않는 경우에, 리스닝 모드를 종료할 수 있다. 또 다른 예를 들어, 스마트 디바이스(1000)는 리스닝 모드에 진입한 뒤 미리 정해진 시간 동안 사용자 음성의 입력이 없는 경우에 리스닝 모드를 종료할 수 있다. 이하에서는 스마트 디바이스(1000)가 리스닝 모드를 유지하는 시간 간격을 '리스닝 윈도우'로 지칭하기로 한다. 또한 이와 관련하여 스마트 디바이스(1000)가 리스닝 모드로 진입하는 동작을 '리스닝 윈도우를 연다(opening a listening window)'고 지칭하고, 반대로 스마트 디바이스(1000)가 리스닝 모드를 종료하는 동작을 '리스닝 윈도우를 닫는다(closing a listening window)'로 지칭하며, 스마트 디바이스(1000)가 리스닝 모드를 유지하는 상태를 '리스닝 모드가 열린' 상태로 지칭하기로 한다. The
한편, 몇몇 경우에 스마트 디바이스(1000)는 리스닝 모드에서도 사용자 음성으로부터 웨이크업 워드를 검출할 수 있다. 리스닝 모드에서 웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드를 다시 시작할 수 있으며, 리스닝 윈도우를 초기화시킬 수 있다. In some cases, the
1.5.4. 응답 모드 1.5.4. Response mode
리스닝 모드에서 스마트 디바이스(1000)가 입력된 사용자 음성을 보이스 어시스턴트 서버(10)로 전달하면, 보이스 어시스턴트 서버(10)는 사용자 음성으로부터 보이스 커맨드를 추출하고 추출된 보이스 커맨드를 해석하고, 해석된 보이스 커맨드에 기초하여 피드백 데이터를 생성하고, 이를 스마트 디바이스(1000)에 전달할 수 있다. In the listening mode, when the
피드백 데이터를 전달받은 스마트 디바이스(1000)는 피드백 데이터를 이용하여 피드백을 출력할 수 있다. 이처럼 피드백을 전달받아 출력하는 단계(phase)가 응답 모드이다. 응답 모드에서 스마트 디바이스(1000)는 피드백 데이터를 수신해 그에 따라 피드백을 출력하는데, 스마트 디바이스(1000)는 토크 백 및/또는 디스플레이 백을 출력할 수 있다. The
한편, 스마트 디바이스(1000)는 피드백 데이터를 수신하여 피드백의 출력을 개시함과 동시에 또는 피드백의 출력을 개시한 뒤 곧이어 스탠바이 모드로 진입할 수 있다. 이 경우에는, 스마트 디바이스(1000)는 스탠바이 모드 또는 리스닝 모드인 상태에서 피드백을 출력할 수 있다. 관점에 따라서는, 스마트 디바이스(1000)가 스탠바이 모드나 리스닝 모드에서 피드백의 출력을 지속한다고 규정하는 대신, 응답 모드와 스탠바이 모드가 동시에 운용되는 것으로 해석할 수도 있다. Meanwhile, the
일 예로, 사용자로부터 라이브 뉴스의 스트리밍을 요구받은 스마트 디바이스(1000)는 응답 모드에서 보이스 어시스턴트 서버(10)로부터 라이브 뉴스에 대한 피드백 데이터를 수신해 라이브 뉴스의 재생을 개시한 뒤 스탠바이 모드로 진입하여 라이브 뉴스의 스트리밍을 지속할 수 있다. 다른 예로, 스탠바이 모드에서 라이브 뉴스 스트리밍 중 웨이크업 워드가 검출되면, 스마트 디바이스(1000)는 리스닝 모드로 진입하되, 여전히 라이브 뉴스 스트리밍을 유지하는 것도 가능하다. For example, the
1.5.5. 작동 상태의 운용 1.5.5. Operation of the operating state
본 발명의 일 실시예에 따른 스마트 디바이스(1000)가 상술한 모드들을 모두 운용해야 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)의 작동 모드에서 응답 모드가 생략되는 것도 가능하다. 또 본 발명의 일 실시예에 따른 스마트 디바이스(1000)에서 상술한 모두들이 모두 독립적으로 운용되어야만 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)는 스탠바이 모드, 리스닝 모드 및 응답 모드는 그 전부 또는 일부가 중복된 작동 모드를 가질 수도 있다. The
도 7 및 도 8은 본 발명의 일 실시예에 따른 스마트 디바이스(1000)의 작동 모드의 운용의 예시에 관한 도면이고, 도 9는 본 발명의 일 실시예에 따른 스마트 디바이스(1000)와 보이스 어시스턴트 서버(10) 간의 통신에 관한 도면이다. 7 and 8 are views illustrating an operation of an operation mode of the
도 7 및 9를 살펴보면, 스마트 디바이스(1000)는 전원이 인가되면, 오프 상태로부터 스탠바이 모드로 진입할 수 있다. 스탠바이 모드인 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 지속적으로 음성을 수신하며 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다. 7 and 9, when the power is applied, the
웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드로 진입할 수 있다. 또는 리스닝 모드를 지시하는 터치/버튼/제스처 등의 사용자 입력이 입력되어도 스마트 디바이스(1000)는 리스닝 모드에 진입할 수 있다. 리스닝 모드에서 스마트 디바이스(1000)는 보이스 커맨드가 담긴 사용자 음성을 수신할 수 있다.When the wakeup word is detected, the
스마트 디바이스(1000)는 수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. 스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 대한 피드백 데이터를 수신하고, 피드백 데이터에 기초하여 피드백을 출력할 수 있다. The
리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드로부터 스탠바이 모드로 복귀할 수 있다. 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드 진입 후 사용자 음성이 입력되지 않으면 스탠바이 모드로 복귀할 수 있다. 또 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성이 입력된 후 추가적인 사용자 음성이 입력되지 않으면 스탠바이 모드로 복귀할 수 있다. 또 예를 들어, 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성을 보이스 어시스턴트로 전달한 경우, 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 관련된 피드백의 피드백 데이터를 수신한 경우 또는 피드백 데이터에 기초하여 피드백의 출력(또는 출력의 개시)를 수행한 경우 스탠바이 모드로 복귀할 수 있다. The
도 8 및 도 9을 살펴보면, 스마트 디바이스(1000)는 전원이 인가되면, 오프 상태로부터 스탠바이 모드로 진입할 수 있다. 스탠바이 모드인 스마트 디바이스(1000)는 음성 입력 모듈(1200)을 통해 지속적으로 음성을 수신하며 수신되는 음성으로부터 웨이크업 워드를 검출할 수 있다8 and 9, when the power is applied, the
웨이크업 워드가 검출되면 스마트 디바이스(1000)는 리스닝 모드로 진입할 수 있다.When the wakeup word is detected, the
리스닝 모드에서 스마트 디바이스(1000)는 보이스 커맨드가 담긴 사용자 음성을 수신할 수 있다. 스마트 디바이스(1000)는 수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송할 수 있다. In the listening mode, the
수신된 사용자 음성을 보이스 어시스턴트 서버(10)로 전송한 스마트 디바이스(1000)는 응답 모드로 진입하여 피드백을 출력할 수 있다. 리스닝 모드인 스마트 디바이스(1000)는 사용자 음성을 보이스 어시스턴트 서버(10)에 전송한 경우 또는 보이스 어시스턴트 서버(10)로부터 피드백 데이터를 수신한 경우 응답 모드로 진입할 수 있다.The
스마트 디바이스(1000)는 보이스 어시스턴트 서버(10)로부터 보이스 커맨드에 대한 피드백 데이터를 수신하고, 피드백 데이터에 기초하여 피드백을 출력할 수 있다. 피드백의 출력을 종료하거나 또는 피드백의 출력을 개시한 스마트 디바이스(1000)는 스탠바이 모드로 복귀할 수 있다. The
한편, 리스닝 모드인 스마트 디바이스(1000)는 리스닝 모드인 동안 사용자 음성을 수신하지 못한 경우에는 응답 모드로 진입하는 대신 스탠바이 모드로 복귀할 수 있다. In the meantime, when the
2. 사용자 지향성 피드백(user directional feedback)을 출력하는 스마트 디바이스 2. Smart device that outputs user directional feedback
이하에서는 본 발명의 일 실시예에 따른 사용자 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명한다. 스마트 디바이스(1000)는 사용자가 감상하기 적절한 위치 또는 방향으로 피드백을 출력할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 사용자 지향성 피드백을 출력하는 스마트 디바이스(1000)는 사용자의 위치나 사용자의 방향을 고려하여 피드백이 출력되는 영역, 위치나 방향 등을 적절히 조절할 수 있다.Hereinafter, a
2.1. 사용자 지향성 2.1. User orientation
여기서, 사용자 지향성 피드백이란 사용자가 감상하기 적절한 위치를 향해 출력되는 피드백을 의미할 수 있다. 예를 들어, 사용자 지향성 피드백이 디스플레이-백인 경우 스마트 디바이스(1000)는 사용자의 주변이나 사용자가 보고 있는 방향에 디스플레이-백을 디스플레이할 수 있다. 다른 예를 들어, 사용자 지향성 피드백이 토크-백인 경우 스마트 디바이스(1000)는 사용자를 향해 토크-백을 출력할 수 있다. In this case, the user-oriented feedback may refer to feedback that is output toward an appropriate position for the user to appreciate. For example, when the user-directed feedback is a display-back, the
사용자 지향성 피드백은 전술한 바와 같이 토크-백이나 디스플레이-백 양자에 적용될 수 있으나, 이하에서는 설명의 편의를 위해 사용자 지향성 피드백이 디스플레이-백인 것을 기준으로 설명하기로 한다. The user-directed feedback may be applied to both talk-back and display-back as described above, but for the convenience of description, the following description will be made based on the fact that the user-directed feedback is display-back.
나아가 사용자 지향성 피드백인 디스플레이-백은 디스플레이 패널(1420)이나 또는 프로젝터(1440)인 디스플레이 모듈(1400)에 의해 출력될 수 있으나, 이하에서는 설명의 편의를 위해 사용자 지향성 피드백인 디스플레이-백이 프로젝터(1440)를 통해 출력되는 것을 기준으로 설명하기로 한다. 다만, 사용자 지향성 피드백인 디스플레이-백을 출력하기 위해 프로젝터(1440)의 프로젝션 방향을 조절하는 방식은 디스플레이의 디스플레이 방향을 조절하는 방식에도 적용될 수 있음을 미리 밝혀둔다. Furthermore, the display-back, which is user-directed feedback, may be output by the
한편, 이하의 설명에서 '지향성 피드백'은 사용자 지향성 피드백을 의미하고, '지향성 디스플레이-백'은 사용자 지향성을 갖는 디스플레이-백을 의미한다. Meanwhile, in the following description, 'directional feedback' means user-oriented feedback, and 'directional display-back' means display-back having user orientation.
2.2. 지향성 스마트 디바이스 2.2. Directional smart devices
이하에서는 본 발명의 일 실시예에 관한 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명한다. Hereinafter, a
도 10은 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 블록도이고, 도 11은 본 발명의 일 실시에에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 구현예의 사시도이고, 도 12는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 구현예의 분해 사시도이다. 이하에서는 도 10 내지 도 12를 참조하여 본 발명의 일 실시예에 관한 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관하여 설명하지만, 지향성 스마트 디바이스(1000)의 구현예가 반드시 도 11 또는 도 12의 형태로 한정되는 것은 아니며 도 2 내지 도 6에 도시된 형태들을 포함한 다양한 다른 형태로 구현될 수도 있음을 미리 밝혀둔다. 반대로 이하의 지향성 피드백을 출력하는 스마트 디바이스(1000)에 관한 설명은 본 명세서에서 언급되는 스마트 디바이스(1000) 전반에 적용될 수 있음 역시 밝혀둔다. 10 is a block diagram of a
도 10을 참조하면, 스마트 디바이스(1000)는 하우징(1100), 인디케이터(1106), 음성 입력 모듈(1200), 사용자 위치 감지 모듈(1700), 음성 출력 모듈(1300), 디스플레이 모듈(1400), 구동 모듈(1500), 전원 모듈(1600), 방열 모듈(1800), 통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)를 포함할 수 있다. Referring to FIG. 10, the
하우징(1100)은 스마트 디바이스(1000)의 외관을 형성한다. 또 하우징(1100)은 그 내부에 스마트 디바이스(1000)의 다른 구성 요소를 수용하며 이들을 외부의 충격으로부터 보호할 수 있다. 또 하우징(1100)은 사용자로하여금 심미감을 불러일으킬 수도 있다.The
하우징(1100)은 스마트 디바이스(1000)가 이용되는 환경에 적합한 형태를 취할 수 있다. 예를 들어, 테이블 상에 거치되어 사용되는 스마트 디바이스(1000)의 하우징(1100)은 스마트 디바이스(1000)가 테이블에 안정적으로 지지되도록 그 바닥에 거치면을 가질 수 있다. 다른 예로, 벽이나 천장에 설치되는 스마트 디바이스(1000)의 하우징(1100)은 그에 적합한 형태를 가질 수 있다. 구체적인 하우징(1100)의 형태의 예로는 원이나 다각 기둥, 원뿔, 다각뿔, 육면체 등이 있다. The
일 예로, 하우징(1100)은 도 11에 도시된 바와 같이 원 기둥 형태일 수 있다. 하우징(1100)은 하부 프레임(1120), 상부 프레임(1140), 및 투명 윈도우(1160)를 포함할 수 있다. 하부 프레임(1120)과 상부 프레임(1140)은 주로 불투명한 재질로 제공되며, 투명 윈도우(1160)는 상부 프레임(1140)과 하부 프레임(1120)의 사이에 배치되며 투명한 재질로 제공될 수 있다. 또한 투명 윈도우(1160)는 링 형태로 하우징(1100)을 감싸는 링 형상으로 제공될 수 있다. 투명 윈도우(1160)는 하우징(1100) 내에 배치되는 프로젝터(1440)가 출력하는 영상을 구성하는 광이 하우징(1100) 외부로 출력되는 통로 역할을 수행할 수 있다. 투명 윈도우(1160)는 프로젝터(1440)에서 출광되는 광을 외부로 통과시키면서도 하우징(1100)을 밀폐하기 위한 구성이다. 따라서, 필요에 따라서는 하우징(1100)에서 투명 윈도우(1160)를 제거하고, 그 대신 하우징(1100)에 프로젝터(1440)로부터 출력되는 광이 외부로 출광되는 경로를 제공하는 홀, 홈 또는 슬릿을 형성하는 것도 가능하다. As an example, the
인디케이터(1106)는 하우징(1100)의 외면에 설치될 수 있다. 인디케이터(1106)는 스마트 디바이스(1000)의 상태를 표시한다. 인디케이터(1106)는 특정한 색상이나 특정한 패턴을 디스플레이함으로써 스마트 디바이스(1000)의 상태를 표시할 수 있다. The
일 예로, 인디케이터(1106)는 도 11에 도시된 바와 같이 하우징(1100)의 상면이나 측면 상단에 방사형을 이루는 LED 어레이를 포함할 수 있다. LED 어레이는 색상이나 LED 어레이에 포함되는 LED들이 켜지는 순서나 방향 등을 통해 스마트 디바이스(1000)가 스탠바이 모드인지 리스닝 모드인지 또는 피드백 모드인지 여부, 정상 상태인지 오작동 상태인지 여부, 전원 상태, 통신 상태 등 다양한 정보를 표현할 수 있다. For example, the
음성 입력 모듈(1200)은 음성을 수신할 수 있다. 일 예로, 음성 입력 모듈(1200)은 도 11에 도시된 바와 같이 하우징(1100)의 상면 또는 측면 상단에 방사형을 이루는 마이크 어레이(1204)를 포함할 수 있다. 물론 마이크 어레이(1204)의 배치가 도 13에 의해 한정되는 것은 아니다. The
마이크 어레이(1204)는 각각 음성을 수신하는 복수의 마이크(1202)를 포함할 수 있다. 복수의 아미크를 갖는 마이크 어레이(1204)를 이용하면 음성이 수신될 때 음원의 위치를 감지할 수 있다. 구체적으로 복수의 마이크(1202)는 스마트 디바이스(1000)에 대한 사용자의 위치에 따라 음성 크기, 수신 시점, 반사음 형태가 다른 사용자 음성을 수신할 수 있다. 콘트롤러(1060)는 복수의 마이크(1202) 각각에서 수신되는 사용자 음성을 비교하여 스마트 디바이스(1000)에 대한 사용자의 위치, 거리 및/또는 방향을 획득할 수 있다. 여기서, 사용자 위치는 사용자의 거리 및 사용자의 방향 중 적어도 하나를 포함하는 개념으로 해석될 수 있으며, 이하에서는 스마트 디바이스(1000)에 대한 사용자의 위치, 거리, 방향을 각각 '사용자 위치', '사용자 거리', '사용자 방향'으로 지칭하기로 한다. The microphone array 1204 may include a plurality of
사용자 위치 감지 모듈(1700)은 사용자 위치, 사용자 거리 및/또는 사용자 방향을 감지할 수 있다. 따라서, 도 11에 도시된 마이크 어레이(1204)는 음성 입력 모듈(1200)인 동시에 사용자 위치 감지 모듈(1700)이 될 수 있다. 스마트 디바이스(1000)가 마이크 어레이(1204)를 이용해 사용자 위치를 감지할 수 있다면 사용자 위치 감지 모듈(1700)이 마이크 어레이(1204)로만 구성되는 것도 가능하다. 그러나, 보다 정확한 사용자 위치를 감지하기 위해 사용자 위치 감지 모듈(1700)에 마이크 어레이(1204) 이외에도 다른 센서가 추가적으로 포함되는 것도 가능하다. The user
예를 들어, 사용자 위치 감지 모듈(1700)은 모노/스테레오 카메라(1720)일 수 있다. 모노/스테레오 카메라(1720)는 스마트 디바이스(1000) 주변를 촬상하고, 콘트롤러(1060)가 촬상된 영상 내의 사용자 이미지를 분석함으로써 사용자 위치를 감지할 수 있다. 다른 예를 들어, 사용자 위치 감지 모듈(1700)은 열화상 카메라, IR 카메라, IR 센서 등일 수 있다. 열화상 카메라나 IR 카메라는 각각 열화상 이미지나 IR 이미지를 촬상하고, 콘트롤러(1060)는 촬상된 열화상 이미지나 IR 이미지를 이용해 사용자 위치를 감지할 수 있다. IR 센서는 IR 출광 수단과 IR 수광 수단을 포함할 수 있으며, IR 출광 수단이 출광한 적외선을 IR 수광 수단이 수신하고, 수신된 정보를 콘트롤러(1060)에서 분석함으로써 사용자 위치를 감지할 수 있다. 물론, 사용자 위치 감지 모듈(1700)은 상술한 예시 이외에도 광학 센서나 깊이 센서 등을 비롯한 다양한 형태로 구현될 수 있다. For example, the user
음성 출력 모듈(1300)은 토크-백을 출력할 수 있다. 비록 도 11에서는 음성 출력 모듈(1300)이 하우징(1100)의 하부 프레임(1120)에 하단에 배치되는 것으로 도시하고 있으나, 음성 출력 모듈(1300)의 형태나 배치가 도 11로 한정되는 것은 아니다. The
디스플레이 모듈(1400)은 디스플레이-백을 출력할 수 있다. 일 예로, 디스플레이 모듈(1400)은 도 12에 도시된 바와 같이 프로젝터(1440)로 제공될 수 있다. 프로젝터(1440)는 하우징(1100)의 투명 윈도우(1160)를 투과해 영상을 프로젝션할 수 있다. The
구동 모듈(1500)은 디스플레이 디스플레이-백의 출력 방향이나 출력 영역을 조절할 수 있다. 일 예로, 구동 모듈(1500)은 도 14에 도시된 바와 같이 회전 모터(1520) 및 회전 플레이트(1540)를 포함할 수 있다. 회전 모터(1520)는 하우징(1100)의 내부에 설치되고, 회전력을 발생시켜 회전 플레이트(1540)를 회전시킬 수 있다. 회전 플레이트(1540)는 도 14에 도시된 바와 같이 원형판으로 제공될 수 있다. 회전 플레이트(1540)는 회전 모터(1520)로부터 회전력을 전달받아 하우징(1100) 내부에서 하우징(1100)에 대해 상대적으로 회전할 수 있다. 회전 플레이트(1540) 상에는 프로젝터(1440)가 고정 설치되어 있으며, 따라서 회전 플레이트(1540)가 회전하면 프로젝터(1440)는 회전 플레이트(1540)와 일체로 회전하게 된다. 이에 따라 프로젝터(1440)의 프로젝션 방향이 회전할 수 있다. The
또 구동 모듈(1500)은 추가적으로 현재 프로젝션 방향을 감지하기 위한 방향 감지 센서(1560)를 더 포함할 수 있다. 예를 들어, 방향 감지 센서(1560)로는 회전 플레이트(1540)의 모서리에 형성되는 소정의 패턴을 읽는 인코더, 회전 플레이트(1540)의 회전 각도를 감지하는 자이로 센서, 회전 모터(1520)의 회전 각도를 산출하는 각종 센서 등으로 제공될 수 있다. In addition, the
이상에서는 구동 모듈(1500)이 프로젝터(1440)를 수평 방향으로 회전시키는 회전 모듈과 회전 플레이트(1540)로 구현되는 것으로 설명하였으나, 구동 모듈(1500)은 도 12 이외에도 다양한 형태를 가질 수 있으며, 프로젝션 방향이 반드시 수평 방향으로 조절되어야만 하는 것은 아니며 수직 방향으로 조절되는 것도 가능하다. 예를 들어, 구동 모듈(1500)은 회전 플레이트(1540)를 상하 방향으로 승강시키는 피스톤 또는 피스톤에 준하는 구동 수단을 포함하여 프로젝터(1440)를 승강시킴으로써 프로젝션 영역을 조절할 수 있다. 다른 예를 들어, 구동 모듈(1500)은 프로젝터(1440)로부터 출광되는 빔의 방향을 조절하는 MEMS 미러 등과 같은 틸팅 미러를 포함하여 프로젝션 방향을 수직 방향으로 조졸할 수 있다. In the above description, the
전원 모듈(1600)은 스마트 디바이스(1000)가 동작하기 위해 필요한 전원을 제공한다. 전원 모듈(1600)은 통상적으로 하우징(1100)의 하부에 마련될 수 있다. 전원 모듈(1600)은 전력을 입력받는 입력단, 입력된 전력을 저장하는 배터리, 배터리로부터 전력을 출력하는 출력단 및 출력단으로부터 스마트 디바이스(1000)의 각 구성 요소로 연결되는 전력선을 포함할 수 있다. 또는 전원 모듈(1600)은 필요에 따라 배터리를 생략하고 입력단으로부터 전력선으로 직접 연결될 수도 있다. The
방열 모듈(1800)은 스마트 디바이스(1000)의 동작으로 인해 발생하는 열을 방열할 수 있다. 방열 모듈(1800)의 예로는 히트핀이나 히트싱크, 히트팬 등의 형태로 제공될 수 있다. 도 13 및 도 14에 도시된 스마트 디바이스(1000)의 구성 중 주로 프로젝터(1440)에서 가장 많은 열이 발생할 수 있는데, 이때에는 방열 모듈(1800)은 프로젝터(1440)의 주변에 설치되는 것이 바람직할 수 있다. The
통신 모듈(1020), 메모리(1040) 및 콘트롤러(1060)는 본 예에서 그 일부 또는 전부가 사용자 위치를 감지하고, 지향성 피드백을 출력하는데 이용될 수 있다. 이들 구성에 대해서는 이미 상술한 바 있으므로 여기서는 자세한 설명은 생략하기로 한다.The
2.3. 지향성 피드백의 출력 동작 2.3. Output Behavior of Directional Feedback
2.3.1. 사용자 위치의 감지 2.3.1. Detect your location
본 발명의 일 실시예에서는 스마트 디바이스(1000)가 사용자 위치를 감지할 수 있다. 여기서, 사용자 위치란, 전술한 바와 같이 스마트 디바이스(1000)에 대한 사용자의 거리 및 방향 중 적어도 하나를 포함하는 개념이다.In an embodiment of the present invention, the
스마트 디바이스(1000)는 다양한 방법을 통해 사용자 위치를 감지할 수 있다. 또 스마트 디바이스(1000)는 로컬에서 스탠드 얼론으로 독자적으로 사용자 위치를 감지하거나 또는 보이스 어시스턴트 서버(10)나 다른 서버와 협업하여 사용자 위치를 감지할 수 있다. 예를 들어, 스마트 디바이스(1000)는, 사용자 위치 감지 모듈(1700)이 사용자 위치를 감지하기 위한 정보를 획득하고 콘트롤러(1060)가 상기 정보를 이용해 사용자 위치를 판단하는 것을 통해, 사용자 위치를 감지할 수 있다. 다른 예로, 스마트 디바이스(1000)는 사용자 위치를 감지하기 위한 정보를 획득하고 이를 서버에 전송하고 서버로부터 상기 정보에 기초하여 판단된 사용자 위치를 수신받는 것을 통해 사용자 위치를 감지할 수도 있다. The
스마트 디바이스(1000)는 사용자 위치를 감지하기 위한 정보를 다양한 형태로 획득할 수 있다. The
일 예로, 스마트 디바이스(1000)는 각종 카메라를 이용해 가시광 이미지, 열화상 이미지 또는 적외선 이미지를 촬상하고, 촬상된 이미지로부터 이미지에 포함된 사용자를 인식하고, 인식된 사용자의 이미지 내의 위치에 기반해 사용자 위치를 판단할 수 있다. 다른 예로는, 마이크(1202)로 소프트사의 키넥트와 같이 적외선 패턴의 변형을 감지하는 방식을 이용할 수도 있다. 또 다른 예로는, 스마트 디바이스(1000)가 깊이 카메라(deapth camera)를 구비하여 깊이 이미지(depth iamge)를 획득하고, 깊이 이미지로부터 사용자를 인식하는 방식으로 사용자 위치를 판단할 수도 있다. For example, the
또는 스마트 디바이스(1000)는 음성 입력 모듈(1200)(특히, 마이크 어레이(1204))를 이용해 사용자 위치를 감지할 수도 있다. 예를 들어, 복수의 마이크(1202)로 구성되는 마이크 어레이(1204)를 가지는 스마트 디바이스(1000)는 사용자가 발화한 사용자 음성이 각 마이크(1202)에 수신될 때, 마이크(1202) 별로 수신되는 음성 특성이 상이한 것을 이용하여 사용자 위치를 감지할 수도 있다. 예를 들어, 콘트롤러(1060)는 마이크(1202) 별로 수신되는 사용자 음성을 분석하여, 수신된 음성의 크기가 가장 큰 마이크(1202)가 배치된 방향에 사용자가 있는 것으로 판단할 수 있다. 다른 예를 들어, 콘트롤러(1060)는 마이크(1202) 별로 수신되는 사용자 음성을 분석하여, 수신된 음성의 수신 시각이 가장 빠른 마이크(1202)가 배치된 방향에 사용자가 있는 것으로 판단할 수도 있다. 물론, 사용자 위치를 감지하기 위해 이용되는 음성 특성은 음성 크기, 음성 수신 시각 이외에도 다양할 수 있다. Alternatively, the
2.3.2. 지향성 피드백의 출력 2.3.2. Output of directional feedback
스마트 디바이스(1000)는 요청받은 피드백을 사용자를 지향해 출력할 수 있다. 여기서, 사용자 지향이란 단순히 사용자를 향해 출력하는 것은 물론, 사용자가 피드백을 제공받기 적절한 위치나 방향에 피드백을 출력하는 것을 의미할 수 있다. The
도 13 및 도 14는 본 발명의 일 실시예에 따른 지향성 피드백의 출력에 관한 도면이다. 13 and 14 illustrate output of directional feedback according to an embodiment of the present invention.
스마트 디바이스(1000)는 사용자를 향해 디스플레이-백을 프로젝션 할 수 있다. 콘트롤러(1060)가 프로젝터(1440)의 프로젝션 방향을 사용자를 향하도록 구동 모듈(1500)을 제어함으로써 디스플레이-백이 사용자를 향해 출력될 수 있다. 예를 들어, 스마트 디바이스(1000)는 프로젝션 영역이 사용자의 주변헤 형성시킬 수 있다. 구체적으로 도 13을 살펴보면 스마트 디바이스(1000)는 사용자와 스마트 디바이스(1000)를 연결하는 가상의 라인 상에서 사용자에 가까운 지점에 프로젝션 영역을 형성할 수 있다. The
여기서, 지향성 디스플레이-백이 반드시 사용자를 향한 방향으로 프로젝션 되어야 하는 것은 아니다. 예를 들어, 스마트 디바이스(1000)는 벽을 향해 프로젝션 할 때에는, 사용자 위치의 반대측으로 영상을 출력할 수 있다. 구체적으로 도 14를 살펴보면 사용자, 스마트 디바이스(1000) 및 프로젝션 영역이 순서대로 배치되도록 프로젝션 영역을 형성할 수 있다. Here, the directional display-back does not necessarily have to be projected in the direction towards the user. For example, the
한편, 스마트 디바이스(1000)가 사용자의 시선 방향을 감지할 수 있는 경우에는 스마트 디바이스(1000)는 사용자의 시선 방향을 더 고려하여 지향성 피드백의 출력 방향 또는 출력 영역을 조절할 수도 있다. 이를 위해 스마트 디바이스(1000)는 시선 방향을 감지하기 위한 구성을 더 구비하거나 콘트롤러(1060)가 각종 정보를 이용해 시선 방향을 판별할 수 있다. Meanwhile, when the
2.3.3. 사용자 음성에 기반한 지향성 피드백의 출력 2.3.3. Output of directional feedback based on user speech
상술한 사용자 위치의 감지와 지향성 피드백의 출력은 사용자 음성에 기반하여 이루어질 수 있다. The above-described detection of the user position and output of the directional feedback may be made based on the user voice.
일 예에 따르면, 스마트 디바이스(1000)가 스탠바이 모드일 때, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 콘트롤러(1060)가 사용자 음성을 수신한 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단할 수 있다. 사용자 위치가 판단되면, 구동 모듈(1500)은 즉시 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이후 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. According to an example, when the
다른 예에 따르면, 스마트 디바이스(1000)가 스탠바이 모드일 때, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 사용자 음성로부터 웨이크업 워드를 검출할 수 있다. 웨이크업 워드가 검출되면, 콘트롤러(1060)는 사용자 음성을 수신한 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단하고 구동 모듈(1500)은 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이에 따라 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. 여기서, 사용자 위치의 판단과 프로젝션 방향의 조절은 리스닝 모드에 진입하기 전에, 진입한 후에 또는 진입과 동시에 이루어질 수 있다. According to another example, when the
또 다른 예에 따르면, 스탠바이 모드인 스마트 디바이스(1000)는, 음성 입력 모듈(1200)이 사용자 음성을 획득하고 사용자 음성로부터 웨이크업 워드가 검출되면, 리스닝 모드로 진입할 수 있다. 리스닝 모드에 진입하면, 음성 입력 모듈(1200)은 보이스 커맨드를 담은 사용자 음성을 수신하고, 리스닝 모드에서 수신된 사용자 음성에 따른 각 마이크(1202) 별 음성 특성에 기초하여 사용자 위치를 판단하고 구동 모듈(1500)은 프로젝터(1440)의 프로젝션 방향을 사용자 지향성을 갖도록 조절할 수 있다. 이에 따라 스마트 디바이스(1000)의 프로젝터(1440)는 리스닝 모드에서 입력되는 사용자 음성에 포함된 보이스 커맨드에 관련된 디스플레이-백을 지향성 피드백으로 출력할 수 있다. According to another example, when the
한편, 이상에서는 스마트 디바이스(1000)가 직접 사용자 위치를 판단하는 것으로 설명하였으나, 이와 달리 스마트 디바이스(1000)가 사용자 음성을 보이스 어시스턴트 서버(10)(또는 다른 서버)로 전송하고, 서버에서 사용자 위치를 판단하여 스마트 디바이스(1000)에 전달하는 것도 가능하다. In the above description, the
2.4. 지향성 스마트 디바이스의 세부 구성 2.4. Detailed configuration of directional smart devices
이상에서는 지향성 피드백을 출력하는 스마트 디바이스(1000)와 그 동작에 관하여 설명하였다. In the above, the
이와 관련하여 이하에서는 상술한 도 11 및 도 12에 도시된 지향성 피드백을 출력하는 스마트 디바이스(1000)의 예시에 적용될 수 있는 하우징(1100), 투명 윈도우(1160), 전원 모듈(1600) 및 콘트롤러(1060)의 구조, 형상, 배치 및 구성에 관하여 보다 구체적으로 설명한다. In this regard, hereinafter, the
2.4.1. 하우징 2.4.1. housing
도 15 내지 도 17는 본 발명의 일 실시예에 따른 지향성 피드백을 출력하는 스마트 디바이스(1000)의 몇몇 예에 관한 도면이다. 15 to 17 are diagrams of some examples of the
일 예에 따르면, 도 15에 도시된 바와 같이 스마트 디바이스(1000)의 하우징(1100)은 상부 프레임(1140), 하부 프레임(1120) 및 투명 윈도우(1160)가 상하 방향에 따라 순서대로 배치되는 형태로 제공될 수 있다. According to an example, as illustrated in FIG. 15, the
하부 프레임(1120)은 바닥에 거치되는 하면(거치면)과 하면으로부터 상방으로 연장되는 측면을 가질 수 있다. 여기서, 하부 프레임(1120)의 하면은 원판, 타원판 내지는 다각판일 수 있다. 또 하부 프레임(1120)의 상부는 개방된 형태로 제공될 수 있다. 예를 들어, 하부 프레임(1120)은 상부가 개방된 원통형으로 제공될 수 있다. The
상부 프레임(1140)은 상면(거치면)과 상면으로부터 하방으로 연장되는 측면을 가질 수 있다. 여기서, 하부 프레임(1120)의 상면은 원판, 타원판 내지는 다각판일 수 있다. 또 상부 프레임(1140)의 하부는 개방된 형태로 제공될 수 있다. 예를 들어, 상부 프레임(1140)은 하부가 개방된 원통형으로 제공될 수 있다. The
투명 윈도우(1160)는 상부와 하부가 개방된 통 형상으로 측면을 가질 수 있다. 여기서, 상부에서 본 투명 윈도우(1160)는 단면은 원, 타원 내지는 다각형일 수 있다. 예를 들어, 투명 윈도우(1160)는 상하부가 개방된 원형 링이나 원통 형상일 수 있다. The
하부 프레임(1120)과 상부 프레임(1140)은 투명 윈도우(1160)를 사이에 두고 배치될 수 있다. 구체적으로 투명 윈도우(1160)의 하부에는 하부 프레임(1120)의 상부가 결합되고, 투명 윈도우(1160)의 상부에는 상부 프레임(1140)의 하부가 결합될 수 있다. 이로써, 하부 프레임(1120), 상부 프레임(1140) 및 투명 윈도우(1160)가 하우징(1100)으로 일체를 이룰 수 있다. The
다른 예에 따르면, 도 15를 참조하여 설명한 바와 같이 하우징(1100)이 상부 프레임(1140), 하부 프레임(1120) 및 투명 윈도우(1160)가 상하 방향에 따라 순서대로 배치되는 형태로 제공되되, 도 16에 도시된 바와 같이 상부 프레임(1140)과 하부 프레임(1120)이 중앙 기둥을 통해 서로 연결될 수 있다. According to another example, as described with reference to FIG. 15, the
여기서, 상부 프레임(1140), 중앙 기둥 및 하부 프레임(1120)은 단일한 몸체를 이룰 수도 있지만, 상부 프레임(1140), 중앙 기둥 및 하부 프레임(1120) 중 적어도 하나가 분리되는 형태로 제공되는 것도 가능하다. 한편, 여기서 중앙 기둥은 후술할 전력선이나 통신선 등이 그 내부에 수용되도록 그 내부가 빈 실린더 형태로 제공될 수도 있다. Here, the
또 다른 예에 따르면, 도 17에 도시된 바와 같이 하우징(1100)은 메인 프레임과 투명 윈도우(1160)를 포함할 수도 있다. 메인 프레임은 상면과 하면, 그리고 상면과 하면을 연결하는 측면을 가질 수 있다. 여기서, 상면과 하면은 원판, 타원판 내지는 다각판일 수 있다. 예를 들어, 메인 프레임은 원 기둥 형상일 수 있다. According to another example, as shown in FIG. 17, the
이때, 메인 프레임에는 슬릿이 형성될 수 있다. 슬릿은 하나 또는 복수일 수 있다. 슬릿은 하우징(1100)을 상부에서 볼 때 하우징(1100)의 중심과 슬릿의 양단이 부채꼴을 이루는 형태로 형성될 수 있다. 슬릿의 각도는 30도 내지 360도 내에서 자유로이 설정될 수 있다. 또 슬릿이 복수 개 형성되는 것도 가능하다. 슬릿의 높이 역시 자유로이 설정될 수 있다. In this case, slits may be formed in the main frame. The slit may be one or plural. The slit may be formed in a shape in which a center of the
투명 윈도우(1160)는 하우징(1100)에 형성된 슬릿에 대응하는 형상으로 제공되며, 슬릿이 삽입된 상태로 하우징(1100)에 체결될 수 있다. The
2.4.2. 투명 윈도우 2.4.2. Transparent windows
도 18은 본 발명의 일 실시예에 따른 투명 윈도우(1160)의 예시의 사시도이다. 18 is a perspective view of an example of a
투명 윈도우(1160)는 하우징(1100)의 형태에 따라 상부에서 볼 때 원 또는 부채꼴의 단면을 가지는 통 형상으로 제공될 수 있다. 예를 들어, 투명 윈도우(1160)는 도 18에 도시된 바와 같이 링 형상의 통으로 제공될 수 있다. The
투명 윈도우(1160)는 프로젝터(1440)에서 출광되는 이미지가 통과하는 통로로 기능하므로 가능한한 광 투과율이 높은 재질을 이용하는 것이 바람직하다. 또한, 스마트 디바이스(1000)가 사용되는 중 투명 윈도우(1160)가 외부 충격을 받을 수도 있으므로, 투명 윈도우(1160)의 재질은 충격에 강하고, 흠짐이 잘 나지 않는 것을 사용하는 것이 좋다. 예를 들어, 투명 윈도우(1160)는 투명 플라스틱이나 유리 등의 소재로 제작될 수 있다. Since the
한편, 투명 윈도우(1160)의 측단면을 살펴보면, 투명 윈도우(1160)의 두께는 다양한 형태를 취할 수 있다. 예를 들어, 투명 윈도우(1160)는 그 높이와 무관하게 동일한 두께를 가질 수 있다. 그러나, 다른 에를 들면, 투명 윈도우(1160)는 그 높이에 따라 두께가 상이할 수 있다. Meanwhile, referring to the side cross-section of the
도 19 및 도 21은 본 발명의 일 실시예에 따른 투명 윈도우(1160)의 몇몇 예시의 단면도이다.19 and 21 are cross-sectional views of some examples of
도 19를 살펴보면, 투명 윈도우(1160)는 하부에서의 두께가 상부에서의 두께보다 작을 수 있다. 예를 들어, 투명 윈도우(1160)는 제1 높이에서의 두께가 제1 높이보다 작은 제2 높이에서의 두께보다 작을 수 있다. Referring to FIG. 19, the
스마트 디바이스(1000)의 프로젝터(1440)가 테이블이나 바닥면을 향해 프로젝션 하는 경우에 프로젝터(1440)는 광을 하방으로 출사할 수 있다. 이때 투명 윈도우(1160)의 두께가 높이와 무관하게 일정하다면, 전체 광 경로 중 상부 광경로가 투명 윈도우(1160)를 통과하는 거리보다 하부 광경로가 투명 윈도우(1160)를 통과하는 거리가 더 클 수 있다. 이에 반해 도 19와 같이 하부에서의 두께가 상부에서의 두께보다 큰 투명 윈도우(1160)를 이용하면 상부 광경로와 하부 광경로가 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다. When the
도 20을 살펴보면, 투명 윈도우(1160)는 하부에서의 두께가 상부에서의 두께보다 클 수 있다. 예를 들어, 투명 윈도우(1160)는 제1 높이에서의 두께가 제1 높이보다 작은 제2 높이에서의 두께보다 클 수 있다. Referring to FIG. 20, the
스마트 디바이스(1000)의 프로젝터(1440)가 벽면 등을 향해 프로젝션 하는 경우에 프로젝터(1440)는 광을 상방으로 출사할 수 있다. 이때 투명 윈도우(1160)의 두께가 높이와 무관하게 일정하다면, 전체 광 경로 중 상부 광경로가 투명 윈도우(1160)를 통과하는 거리보다 하부 광경로가 투명 윈도우(1160)를 통과하는 거리가 더 작을 수 있다. 이에 반해 도 20과 같이 하부에서의 두께가 상부에서의 두께보다 작은 투명 윈도우(1160)를 이용하면 상부 광경로와 하부 광경로가 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다. When the
도 21을 살펴보면, 투명 윈도우(1160)는 프로젝션 영상이 투명 윈도우(1160)를 수직으로 통과하는 높이에서의 두께보다 그 상부 및/또는 하부에서의 두께가 작을 수 있다. 다시 말해, 투명 윈도우(1160)는 수직 방향상 프로젝터(1440)의 출광부의 높이에 대응되는 지점에서의 두께가 다른 지점보다 클 수 있다. Referring to FIG. 21, the
스마트 디바이스(1000)의 프로젝터(1440)가 그 프로젝션 영상을 상하 방향으로 틸팅할 수 있다면, 프로젝터(1440)는 광을 수평 방향, 상방 또는 하방으로 출력할 수 있다. 따라서, 도 21과 같이 프로젝터(1440)에서 출사된 광이 투명 윈도우(1160)를 수직으로 통과하는 지점에 비해 다른 지점들에서의 두께가 작으면, 투명 윈도우(1160)를 통과하는 광경로 별로 투명 윈도우(1160)를 통과하는 거리의 차이를 감소시키거나 제거할 수 있다. 이에 따라 프로젝션 영상이 개선될 수 있다. If the
2.4.3. 전원 모듈 구조 2.4.3. Power module structure
도 22 및 23은 본 발명의 일 실시예에 따른 전원 모듈(1600)의 몇몇 예시에 관한 도면이다. 22 and 23 are diagrams of some examples of a
도 22에 도시된 일 예에 따르면, 입력단은 외부로부터 전원을 공급받는 플러그나 포트 형태로 제공될 수 있다. 배터리(배터리 대신 변압기나 정류기 등 전원 회로일 수 있음)는 하우징(1100)의 하부(예를 들어, 하부 프레임(1120)의 바닥면)에 설치될 수 있다. According to the example illustrated in FIG. 22, the input terminal may be provided in the form of a plug or a port that receives power from the outside. The battery (which may be a power circuit such as a transformer or a rectifier instead of the battery) may be installed in the lower portion of the housing 1100 (eg, the bottom surface of the lower frame 1120).
하우징(1100)의 내부에는 프로젝터(1440)를 회전시키기 위한 회전 플레이트(1540)가 설치될 수 있다. 예를 들어, 회전 플레이트(1540)는 하부 프레임(1120)으로부터 미리 정해진 높이만큼 이격된 거리에는 설치될 수 있다. 회전 플레이트(1540)를 회전시키는 회전 모터(1520)는 하부 프레임(1120)에 설치되며, 회전 플레이트(1540)는 회전 모터(1520)의 상부에 직간접적으로 안착될 수 있다. 또 프로젝터(1440)는 회전 플레이트(1540)의 상면에 배치될 수 있다. A
이때, 회전 플레이트(1540)의 중앙부에는 관통홀이 형성되어 있을 수 있다. 관통공은 반드시 회전 플레이트(1540)의 정중앙에 형성되어야 하는 것은 아니다. 예를 들어, 관통공이 형성되는 영역이 회전 플레이트(1540)의 중심축을 지나도록 관통공이 형성될 수 있다. 다른 예를 들어, 관통공이 형성되는 영역이 회전 플레이트(1540)의 중심축으로부터 미리 정해진 거리만큼만 이격된 거리를 지나도록 관통공이 형성될 수도 있다.In this case, a through hole may be formed in the central portion of the
출력단에는 배터리로부터 프로젝터(1440)로 연결되는 전력선이 포함될 수 있다. 이때 전력선은 관통공을 통과하여 프로젝터(1440)로 연결될 수 있다. 스마트 디바이스(1000)가 프로젝션 방향을 조절하기 위해 회전 플레이트(1540)를 회전시키면, 하부 프레임(1120)에 고정된 배터리에 대하여 회전 플레이트(1540) 상에 설치된 프로젝터(1440)가 상대적으로 이동할 수 있다. 배터리로부터 프로젝터(1440)로 연결되는 전력선이 관통공을 통과하여 프로젝터(1440)로 연결되면, 배터리에 대하여 프로젝터(1440)가 상대 이동하더라도 전력선이 꼬이는 것이 최대한 방지할 수 있다. The output terminal may include a power line connected from the battery to the
도 23에 도시된 다른 예에 따르면, 출력단은 각각 하부 프레임(1120)과 회전 플레이트(1540)에 서로 삽입되어 연결되는 상부 전극(1620)과 하부 전극(1640)을 포함할 수 있다. According to another example of FIG. 23, the output terminal may include an
하부 전극(1640)은 배터리에 연결되며 하부 프레임(1120)의 상면에 슬릿이나 돌기 형태로 형성될 수 있다. 상부 전극(1620)은 프로젝터(1440)에 연결되며 회전 플레이트(1540)의 하면에 하부 전극(1640)과 상보적인 형태로 형성될 수 있다. 이에 따라 상부 전극(1620)과 하부 전극(1640)이 서로 체결되어 전기적으로 연결될 수 있다. The
상부 전극(1620) 및 하부 전극(1640) 중 적어도 하나는 링형으로 형성될 수 있다. 또 상부 전극(1620)과 하부 전극(1640) 중 어느 하나는 링에 끼워져 링을 따라 회전이 가능한 브라켓 형태로 제공될 수 있다. 예를 들어, 하부 전극(1640)은 링 형태의 돌기나 홈으로 제공되고, 상부 전극(1620)은 돌기나 홈에 끼워지는 슬릿이나 슬롯 타입의 브라켓일 수 있다. 다른 예로, 하부 전극(1640)은 링 형태의 돌기나 홈으로 제공되고, 상부 전극(1620)은 하부 전극(1640)이 끼워지는 홈이나 하부 전극(1640)에 끼워지는 돌기로 제공되는 링으로 형성될 수 있다. At least one of the
도 23에 도시된 전극 구조를 이용하면, 회전 플레이트(1540)가 회전하더라도 상부 전극(1620)과 하부 전극(1640)이 연결된 상태에서 서로 회전하므로 전력선이 꼬이는 것으로 인해 회전에 제약을 받는 문제점을 해결할 수 있다. Using the electrode structure shown in FIG. 23, even if the
한편, 상부 전극(1620) 및 하부 전극(1640) 중 브라켓 형태로 제공되는 전극 측(하부 프레임(1120) 또는 회전 플레이트(1540))에는 더미 브라켓이 추가로 더 마련될 수 있다. 이는 회전 플레이트(1540)가 안정적으로 회전할 수 있도록 하기 위함이다. Meanwhile, a dummy bracket may be further provided on the electrode side (the
상술한 상부 전극(1620) 및 하부 전극(1640) 간의 전기적 연결은 다양한 단자 형태로 이루어질 수 있다. The electrical connection between the
도 24 및 도 25는 본 발명의 일 실시예에 따른 전극의 단자들의 몇몇 예시에 관한 도면이다. 24 and 25 illustrate some examples of terminals of an electrode according to an embodiment of the present invention.
상부 전극(1620)과 하부 전극(1640)은 돌기와 홈 구조로 결합되므로, 세 면을 통해 서로 접촉할 수 있다. 전극의 단자들은 (+) 단자, (-) 단자, 접지 단자 중 적어도 둘을 포함할 수 있으며, 전극의 단자들은 각각 서로 다른 면에 배치될 수 있다. Since the
예를 들어 도 24를 살펴보면, 링 형태의 돌기인 하부 전극(1640)에 브라켓 형태의 상부 전극(1620)이 끼워질 수 있다. 여기서, 하부 전극(1640)의 내측면, 상단면, 외측면에는 (+) 단자, 접지 단자, (-) 단자 중 어느 하나가 각각 마련될 수 있다. 이와 대응하여 상부 전극(1620)에도 하부 전극(1640)의 마주보는 면 별로 (+) 단자, 접지 단자, (-) 단자 중 어느 하나가 각각 마련될 수 있다. 여기서, 단자들 중 하나는 생략되는 것도 가능하다.For example, referring to FIG. 24, a bracket-type
이와 달리 전극의 단자들이 모두 동일한 면에 배치되거나 적어도 두 개가 동일한 면에 배치되는 것도 가능하다.Alternatively, the terminals of the electrodes may be all disposed on the same side or at least two may be disposed on the same side.
예를 들어 도 25를 살펴보면, 링 형태의 돌기인 하부 전극(1640)에 브라켓 형태의 상부 전극(1620)이 끼워질 수 있다. 여기서, 하부 전극(1640)의 내측면의 서로 다른 높이에 (+) 단자, 접지 단자, (-) 단자 중 적어도 둘 이상이 마련되고, 이와 대응하여 상부 전극(1620)의 상기 내측면과 마주하는 면에도 서로 다른 높이에 (+) 단자, 접지 단자, (-) 단자 중 적어도 둘 이상이 마련될 수 있다. For example, referring to FIG. 25, a bracket-type
한편, 상술한 단자 구조는 도 24 및 도 25에 의해 한정되는 것은 아니다. 예를 들어, 복수 개의 브라켓을 이용하는 경우에는 브라켓 별로 단자를 분산시킬 수도 있다. 또 링 형상의 전극이 반드시 완전한 링 형상이어야 하는 것은 아니며 불완전한 링 형상일 수도 있다. In addition, the terminal structure mentioned above is not limited by FIG. 24 and FIG. For example, when a plurality of brackets are used, terminals may be distributed for each bracket. In addition, the ring-shaped electrode does not necessarily have to be a complete ring shape, but may be an incomplete ring shape.
2.4.4. 콘트롤러 등의 배치 2.4.4. Layout of controllers, etc.
상술한 도 11 및 도 12에 도시된 지향성 피드백을 출력하는 스마트 디바이스(1000)의 예시에서는 회전 플레이트(1540) 상에 배치된 프로젝터(1440)가 하우징(1100)에 대하여 상대적으로 회전할 수 있다. 여기서, 상부 프레임(1140) 또는 마이크 어레이(1204)도 프로젝터(1440)와 함께 회전할 수 있지만, 경우에 따라서 마이크 어레이(1204)는 회전하지 않을 수도 있다. 이때 콘트롤러(1060)가 단일 유닛으로 제공되면, 마이크 어레이(1204)나 프로젝터(1440)와 각각 데이터를 주고 받기 위한 통신선이 회전 플레이트(1540)의 회전에 의해 꼬일 수 있다. In the example of the
따라서, 본 예에서는 콘트롤러(1060)가 복수 개 제공될 수 있다. 예를 들어, 프로젝터(1440)의 영상 처리를 위한 하나의 콘트롤러(1060)가 회전 플레이트(1540) 상에 설치되고, 마이크 어레이(1204)의 음성 처리를 위한 다른 콘트롤러(1060)는 하우징(1100)에 고정 설치될 수 있다. 여기서, 마이크 어레이(1204)를 위한 콘트롤러(1060)가 상부 프레임(1140)에 설치되고, 추가적으로 스마트 디바이스(1000) 전반을 관리하기 위한 또 다른 콘트롤러(1060)가 하부 프레임(1120)에 설치되는 것도 가능하다. Therefore, in the present example, a plurality of
이와 같은 구조에서 각 콘트롤러(1060)는 유선으로 연결될 수도 있지만, 무선 통신 방식으로 연결될 수도 있다. 또는 상술한 도 24 및 도 25에서 전력 또는 전력선을 연결하는 방식과 유사하게 통신선을 연결하는 것도 가능하다. In this structure, each
이하에서는 본 발명의 일 실시예에 따른 지향성 피드백 출력 방법에 관하여 설명한다. 이하의 기재에서는 지향성 피드백 출력 방법이 상술한 스마트 디바이스(1000)에 의해 수행되는 것을 기준으로 설명하지만, 이는 설명의 편의를 위한 것에 불과하므로 지향성 피드백 출력 방법은 본 명세서에서 언급된 스마트 디바이스(1000) 이외에도 본 명세서에 언급된 스마트 디바이스(1000)와 유사한 동작을 수행할 수 있는 다른 기기에 의해서도 수행될 수 있음을 밝혀둔다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 스마트 디바이스(1000)가 수행하는 동작들은 콘트롤러(1060)에 의해 수행되는 것으로 또는 콘트롤러(1060)가 스마트 디바이스(1000)의 다른 구성 요소를 제어하는 것을 통해 수행되는 것으로 이해될 수 있다. Hereinafter, a directional feedback output method according to an embodiment of the present invention will be described. In the following description, the directional feedback output method is described on the basis of being performed by the above-described
이하에서는 본 발명의 일 실시예에 따른 지향성 피드백 출력 방법에 관하여 설명한다. 이하의 기재에서는 지향성 피드백 출력 방법이 상술한 스마트 디바이스에 의해 수행되는 것을 기준으로 설명하지만, 이는 설명의 편의를 위한 것에 불과하므로 지향성 피드백 출력 방법은 본 명세서에서 언급된 스마트 디바이스 이외에도 본 명세서에 언급된 스마트 디바이스와 유사한 동작을 수행할 수 있는 다른 기기에 의해서도 수행될 수 있음을 밝혀둔다. 한편, 이하의 설명에서 특별한 언급이 없는 경우에는 스마트 디바이스가 수행하는 동작들은 콘트롤러에 의해 수행되는 것으로 또는 콘트롤러가 스마트 디바이스의 다른 구성 요소를 제어하는 것을 통해 수행되는 것으로 이해될 수 있다. Hereinafter, a directional feedback output method according to an embodiment of the present invention will be described. In the following description, the directional feedback output method is described on the basis of being performed by the above-described smart device, but this is merely for convenience of description, and thus the directional feedback output method is referred to herein as well as the smart device mentioned herein. It can also be performed by other devices that can perform operations similar to the smart device. Meanwhile, in the following description, unless otherwise stated, operations performed by the smart device may be understood as being performed by the controller or through the controller controlling other components of the smart device.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be embodied in the form of program instructions that can be executed by various computer means and recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described by the limited embodiments and the drawings as described above, various modifications and variations are possible to those skilled in the art from the above description. For example, the described techniques may be performed in a different order than the described method, and / or components of the described systems, structures, devices, circuits, etc. may be combined or combined in a different form than the described method, or other components. Or, even if replaced or substituted by equivalents, an appropriate result can be achieved.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are within the scope of the claims that follow.
10: 보이스 어시스턴트 서버
1000: 스마트 디바이스
1020: 통신 모듈
1040: 메모리
1060: 콘트롤러
1100: 하우징
1106: 인디케이터
1120: 하부 프레임
1140: 상부 프레임
1160: 투명 윈도우
1200: 음성 입력 모듈
1202: 마이크
1204: 마이크 어레이
1300: 음성 출력 모듈
1302: 스피커
1400: 디스플레이 모듈
1420: 디스플레이 패널
1440: 프로젝터
1500: 구동 모듈
1520: 회전 모터
1540: 회전 플레이트
1560: 방향 감지 센서
1600: 전원 모듈
1700: 사용자 위치 감지 모듈
1720: (모노/스테레오) 카메라
1800: 방열 모듈10: Voice Assistant Server
1000: smart device
1020: communication module
1040: memory
1060: controller
1100: housing
1106 indicator
1120: lower frame
1140: upper frame
1160: transparent window
1200: voice input module
1202: microphone
1204: microphone array
1300: voice output module
1302: speaker
1400: display module
1420: display panel
1440: projector
1500: drive module
1520: rotary motor
1540: rotating plate
1560: orientation sensor
1600: power module
1700: user position detection module
1720: (mono / stereo) camera
1800: heat dissipation module
Claims (11)
상기 하우징의 내부에 설치되고, 상기 하우징의 중심을 축으로 회전하는 회전 부재;
상기 회전 부재 상에 설치되어 상기 회전 부재의 회전에 따라 그 프로젝션 방향이 조절되고, 영상을 출력하는 광 출력부가 상기 회전축으로부터 상기 투명 윈도우의 내면을 향해 미리 정해진 이격 거리만큼 이격 배치되는 프로젝터;
상기 하우징의 상면에 설치되는 복수의 마이크를 포함하고, 사용자 음성을 수신하는 마이크 어레이; 및
상기 사용자 음성에 포함된 보이스 커맨드에 관련된 피드백 데이터에 기초하여 상기 프로젝터를 통해 디스플레이-백을 출력하되, 상기 복수의 마이크에서 수신된 사용자 음성에 기초하여 예측되는 사용자의 위치를 고려하여 상기 디스플레이-백이 출력되는 프로젝션 방향을 조절되도록 상기 회전 부재를 회전시키는 콘트롤러;를 포함하되,
상기 투명 윈도우는, 높이 방향에 따라 그 두께가 상이한 것을 특징으로 하는
스마트 디바이스.
A cylindrical lower frame having an upper opening, a cylindrical upper frame having an open lower portion, and a transparent transparent window having an upper and lower portions disposed between the upper frame and the lower frame, wherein the lower frame is transparent A housing in which the window and the upper frame are combined in order to form an integrated body;
A rotating member installed inside the housing and rotating about an axis of the housing;
A projector installed on the rotating member, the projection direction of which is adjusted according to the rotation of the rotating member, and a light output unit for outputting an image spaced apart from the rotation axis by a predetermined distance from the rotation axis toward an inner surface of the transparent window;
A microphone array including a plurality of microphones installed on an upper surface of the housing and receiving a user voice; And
The display-back is output through the projector based on the feedback data related to the voice command included in the user's voice, and the display-back is changed in consideration of the user's position predicted based on the user's voices received from the plurality of microphones. And a controller for rotating the rotating member to adjust an output projection direction.
The thickness of the transparent window is different depending on the height direction, characterized in that
Smart devices.
상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 작은 제2 높이에서의 두께가 더 작은 것을 특징으로 하는
스마트 디바이스.
According to claim 1,
The transparent window is characterized in that the thickness at the second height is smaller than the thickness at the first height.
Smart devices.
상기 투명 윈도우는, 그 높이가 작을수록 그 두께가 작아지는 것을 특징으로 하는
스마트 디바이스.
The method of claim 2,
The transparent window is characterized in that the smaller the height thereof, the smaller the thickness thereof.
Smart devices.
상기 프로젝션 방향은 수평보다 아래쪽을 향하고,
상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일한
스마트 디바이스.
The method of claim 2,
The projection direction is downward than horizontal,
The distance through which the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height are substantially equal
Smart devices.
상기 투명 윈도우는, 제1 높이에서의 두께가 상기 제1 높이보다 큰 제2 높이에서의 두께가 더 작은 것을 특징으로 하는
스마트 디바이스.
According to claim 1,
The transparent window is characterized in that the thickness at the second height where the thickness at the first height is greater than the first height is smaller.
Smart devices.
상기 투명 윈도우는, 그 높이가 클수록 그 두께가 작아지는 것을 특징으로 하는
스마트 디바이스.
The method of claim 5,
The transparent window is characterized in that the thickness of the transparent window becomes smaller,
Smart devices.
상기 프로젝션 방향은 수평보다 윗쪽을 향하고,
상기 프로젝션되는 광이 상기 제1 높이에서 상기 투명 윈도우를 통과하는 거리와 상기 제2 높이에서 상기 투명 윈도우를 통과하는 거리가 실질적으로 동일한
스마트 디바이스.
The method of claim 5,
The projection direction is upward above the horizontal,
The distance through which the projected light passes through the transparent window at the first height and the distance through the transparent window at the second height are substantially equal
Smart devices.
상기 투명 윈도우는, 수평으로 프로젝션되는 빔이 통과하는 특정 지점에서의 두께보다 다른 지점에서의 두께가 더 작은 것을 특징으로 하는
스마트 디바이스.
According to claim 1,
The transparent window is characterized in that the thickness at another point is smaller than the thickness at a particular point through which the horizontally projected beam passes.
Smart devices.
상기 투명 윈도우는, 상기 프로젝터의 광을 출력부에 대응하는 높이에서의 두께보다 다른 지점에서의 두께가 더 작은 것을 특징으로 하는
스마트 디바이스.
According to claim 1,
The transparent window has a smaller thickness at a different point than the thickness at the height corresponding to the light of the projector.
Smart devices.
상기 투명 윈도우는, 제1 높이에서의 두께보다 상기 제1 지점보다 작거나 큰 제2 높이에서의 두께가 더 작은 것을 특징으로 하는
스마트 디바이스.
According to claim 1,
The transparent window is characterized in that the thickness at the second height is less than or greater than the first point than the thickness at the first height.
Smart devices.
상기 투명 윈도우는, 상기 제1 높이로부터 멀어질수록 그 두께가 점점 작아지는 것을 특징으로 하는
스마트 디바이스.
The method of claim 10,
The transparent window is characterized in that the thickness becomes smaller as the distance from the first height
Smart devices.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180087664A KR102136461B1 (en) | 2018-07-27 | 2018-07-27 | Smart projector and method for controlling thereof |
PCT/KR2018/014220 WO2020022567A1 (en) | 2018-07-27 | 2018-11-19 | Smart device and method for controlling same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180087664A KR102136461B1 (en) | 2018-07-27 | 2018-07-27 | Smart projector and method for controlling thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200012399A true KR20200012399A (en) | 2020-02-05 |
KR102136461B1 KR102136461B1 (en) | 2020-07-21 |
Family
ID=69181804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180087664A KR102136461B1 (en) | 2018-07-27 | 2018-07-27 | Smart projector and method for controlling thereof |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102136461B1 (en) |
WO (1) | WO2020022567A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024122902A1 (en) * | 2022-12-05 | 2024-06-13 | 삼성전자주식회사 | Electronic device and method for controlling electronic device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114125623A (en) * | 2021-09-30 | 2022-03-01 | 江苏精仪达科技有限公司 | Carry-on safe hidden monitoring equipment |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057364A (en) * | 2014-09-05 | 2016-04-21 | 大日本印刷株式会社 | Irradiation device, optical module, scanner, and projection device |
KR20170000143U (en) * | 2015-07-02 | 2017-01-11 | 주식회사 엘지유플러스 | Image device |
JP2018030424A (en) * | 2016-08-24 | 2018-03-01 | 三菱電機株式会社 | Display device for vehicle |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7018053B2 (en) * | 2003-10-23 | 2006-03-28 | Hewlett-Packard Development Company, L.P. | Projector |
US8884883B2 (en) * | 2008-01-25 | 2014-11-11 | Microsoft Corporation | Projection of graphical objects on interactive irregular displays |
US9965034B2 (en) * | 2013-12-30 | 2018-05-08 | Immersion Corporation | Systems and methods for a haptically-enabled projected user interface |
KR101632007B1 (en) * | 2014-10-29 | 2016-06-21 | 엘지전자 주식회사 | Watch type control device |
KR20160114873A (en) * | 2015-03-25 | 2016-10-06 | 엘지전자 주식회사 | Rotational multimedia device |
-
2018
- 2018-07-27 KR KR1020180087664A patent/KR102136461B1/en active IP Right Grant
- 2018-11-19 WO PCT/KR2018/014220 patent/WO2020022567A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016057364A (en) * | 2014-09-05 | 2016-04-21 | 大日本印刷株式会社 | Irradiation device, optical module, scanner, and projection device |
KR20170000143U (en) * | 2015-07-02 | 2017-01-11 | 주식회사 엘지유플러스 | Image device |
JP2018030424A (en) * | 2016-08-24 | 2018-03-01 | 三菱電機株式会社 | Display device for vehicle |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024122902A1 (en) * | 2022-12-05 | 2024-06-13 | 삼성전자주식회사 | Electronic device and method for controlling electronic device |
Also Published As
Publication number | Publication date |
---|---|
KR102136461B1 (en) | 2020-07-21 |
WO2020022567A1 (en) | 2020-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102040406B1 (en) | Smart projector and method for controlling thereof | |
US9939896B2 (en) | Input determination method | |
CN108022590B (en) | Focused session at a voice interface device | |
CN110663021B (en) | Method and system for paying attention to presence subscribers | |
EP3179474B1 (en) | User focus activated voice recognition | |
US9401144B1 (en) | Voice gestures | |
CN107408027B (en) | Information processing apparatus, control method, and program | |
TWI571796B (en) | Audio pattern matching for device activation | |
KR102093030B1 (en) | Smart projector and method for controlling thereof | |
CN112771453A (en) | System and method for controlling an appliance using motion gestures | |
US20130293670A1 (en) | Media Enhancement Dock | |
US20160162039A1 (en) | Method and system for touchless activation of a device | |
KR20170013264A (en) | Hands free device with directional interface | |
WO2015029296A1 (en) | Speech recognition method and speech recognition device | |
US11507134B2 (en) | Audiovisual device with tiltable display | |
US20150139483A1 (en) | Interactive Controls For Operating Devices and Systems | |
WO2019077897A1 (en) | Information processing device, information processing method, and program | |
KR20180079824A (en) | Home robot and method for operating the same | |
KR102136461B1 (en) | Smart projector and method for controlling thereof | |
KR102136462B1 (en) | Smart projector and method for controlling thereof | |
JP6876122B2 (en) | Wireless speaker devices for wireless audio / video recording and communication devices | |
KR102168812B1 (en) | Electronic device for controlling sound and method for operating thereof | |
JP6842489B2 (en) | Electronics, control methods and programs | |
WO2019123754A1 (en) | Information processing device, information processing method, and recording medium | |
KR20200012408A (en) | Smart projector and method for controlling thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |