WO2016209039A1 - 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents
의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- WO2016209039A1 WO2016209039A1 PCT/KR2016/006796 KR2016006796W WO2016209039A1 WO 2016209039 A1 WO2016209039 A1 WO 2016209039A1 KR 2016006796 W KR2016006796 W KR 2016006796W WO 2016209039 A1 WO2016209039 A1 WO 2016209039A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- voice
- communication
- present
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
Definitions
- the present invention relates to a method, system and non-transitory computer readable recording medium for supporting communication.
- AR Augmented Reality
- VR Virtual Reality
- FIG. 1 is a diagram illustrating a communication support method according to the prior art by way of example.
- the user moves the pointer 11 to indicate the target object 10 so as to specify the target object 10 as a communication target (see FIG. 1 (a)),
- the user can specify the target object 10 as a communication target by aligning his gaze with the target object 10 (see (b) of FIG. 1).
- the present inventors determine a region (aka, a field of communication) to which the user's voice is transmitted by referring to the posture of the user and the strength of the voice spoken by the user, whereby the user's voice is intended by the user.
- a technique that can be delivered accurately to a domain or object.
- the object of the present invention is to solve all the above-mentioned problems.
- the present invention obtains information about the user's posture and information about the voice spoken by the user, and the surrounding area in which at least one object that can interact with the user exists with reference to the obtained information.
- Method, system, and non-transitory computer readable recording that determines the field of communication to which the voice of the intermediate user is to be delivered, so that the user's voice can be accurately delivered to the intended area or object of the user. It is another object to provide the medium.
- a method for supporting communication comprising: obtaining information about a user's posture and information about a voice spoken by the user, and the obtained information with reference to And determining a field of communication to which the voice is to be transmitted among the surrounding areas in which at least one object that can interact with the user exists.
- a system for supporting communication comprising: an information obtaining unit for obtaining information about a user's posture and information about a voice spoken by the user, and the obtained information;
- an information obtaining unit for obtaining information about a user's posture and information about a voice spoken by the user, and the obtained information;
- a system including a communication area determiner for determining a field of communication to which the voice is to be transmitted from among the surrounding areas in which at least one object capable of interacting with the user exists.
- non-transitory computer readable recording medium for recording another method, system, and computer program for executing the method for implementing the present invention.
- a user's voice is accurately transmitted to an area or object intended by the user based on a field of communication determined based on a direction in which the user is headed and the strength of the voice spoken by the user.
- the user can communicate naturally with the intended object without the inconvenience of specifying the target of communication separately in the actual use environment.
- the present invention by further utilizing the context information such as the filter set by the user, the user's gesture, the user's voice, the context information about the user and the like to meet the user's intention among the plurality of objects existing in the communication area. Since the object can be specified specifically, the effect that communication between the user and the objects around the user can be made more precisely and simply is achieved.
- FIG. 1 is a diagram illustrating a communication support method according to the prior art by way of example.
- FIG. 2 is a diagram illustrating an internal configuration of a communication support system according to an embodiment of the present invention.
- 3 to 5 are diagrams exemplarily illustrating a configuration for determining a communication area according to an embodiment of the present invention.
- FIG. 6 and 8 illustrate various embodiments in which a configuration for determining a communication area may be utilized according to an embodiment of the present invention.
- 9 to 12 are diagrams exemplarily illustrating a configuration for specifying a target object among objects existing in a communication area according to an embodiment of the present invention.
- control unit 260 control unit
- FIG. 2 is a diagram illustrating an internal configuration of a communication support system according to an embodiment of the present invention by way of example.
- the communication support system 200 may include an information acquisition unit 210, a communication area determination unit 220, a target specifying unit 230, and a database 240. It may include a communication unit 250 and a control unit 260.
- the information acquisition unit 210, the communication area determination unit 220, the target specifying unit 230, the database 240, the communication unit 250 and the control unit 260 at least Some may be program modules in communication with an external system (not shown). Such program modules may be included in the communication support system 200 in the form of operating systems, application modules, and other program modules, and may be physically stored on various known storage devices.
- program modules may be stored in a remote storage device that can communicate with the communication support system 200.
- program modules include, but are not limited to, routines, subroutines, programs, objects, components, data structures, etc. that perform particular tasks or execute particular abstract data types, described below, in accordance with the present invention.
- the communication support system 200 has been described as above, but this description is exemplary, and at least some of the components or functions of the communication support system 200 are carried by the user as needed or the body part of the user. It will be apparent to those skilled in the art that the device may be implemented within the user device 100 or worn within the user device 100 (eg, head, eyes, etc.). In some cases, all the functions and all the components of the communication support system 200 may be executed in the user device 100 or may be included in the user device 100.
- the user device 100 may include a head mounted display (HMD) capable of implementing Augmented Reality (AR) or Virtual Reality (VR); It may be a near eye display, and the user device 100 may include a microphone module (not shown) for recognizing a voice of a user.
- HMD head mounted display
- the user device 100 may be a wearable voice recognition device that does not include a display module, and more specifically, a microphone module (not shown) disposed around the mouth or Ear plug-type microphone module (not shown) may be included.
- the user device 100 the information necessary to determine the communication area of the user (that is, information about the posture of the user and the voice spoken by the user) Information) may be included in the sensing module (not shown).
- the information acquisition unit 210 may perform a function of obtaining information about a posture of a user. Specifically, the information acquisition unit 210 according to an embodiment of the present invention, may obtain information about the posture of the body part of the user related to communication through voice, for example, the head of the user or Information about the direction in which the mouth is facing can be obtained.
- the user device 100 possessed or worn by the user, or an external device (not shown) that can observe the user's posture separately from the user may be a specific body of the user. It may include at least one sensing module (not shown) that can obtain physical information about the position or movement of the site. Examples of such sensing modules include known components such as motion sensors, acceleration sensors, gyroscopes, magnetic sensors, positioning modules (GPS modules, beacon-based positioning (identification) modules, etc.), barometers, cameras, and the like. Can be.
- the user device 100 possessed or worn by the user may acquire physical information about the posture or movement of the user based on biometric information obtained from the human body of the user. It may include at least one sensing module. As an example of such a sensing module, the EMG signal measuring apparatus etc. are mentioned.
- the information acquisition unit 210 may perform a function of obtaining information about a voice spoken by a user. More specifically, the information acquisition unit 210 according to an embodiment of the present invention may obtain information about the strength of the voice spoken by the user, the voice recognition result of the voice spoken by the user, and the like.
- the communication area determiner 220 may interact with the user with reference to the information about the posture of the user and the information about the voice spoken by the user.
- the user may perform a function of determining a communication area to which the user's voice is to be transmitted among the surrounding areas in which at least one object exists.
- the communication area determiner 220 may determine the communication area with reference to the direction of the head or mouth of the user and the intensity of the voice spoken by the user. have.
- the communication area determiner 220 may perform at least some of the attributes of the communication area by further referring to the setting information input from the user.
- 3 to 5 are diagrams exemplarily illustrating a configuration for determining a communication area according to an embodiment of the present invention.
- the communication area 300 may be determined as a region having a quadrangular pyramid (ie, pyramid) shape having a vertex as a reference point of a user's mouth. More specifically, according to an embodiment of the present invention, the height (or depth) direction 310 of the communication region 300 having a quadrangular pyramid shape may be determined according to the direction of the head or mouth of the user. As a result, the communication area 300 may face the direction intended by the user. In addition, according to an embodiment of the present invention, the height 320 of the communication region 300 having a quadrangular pyramid shape may be determined according to the intensity of the voice spoken by the user. ) Can be made smaller (ie, the communication area 300 is confined only close to the user), while if the user speaks louder, the height of the communication area 300 can be made larger (ie, the communication area). 300 extends farther away from the user).
- a quadrangular pyramid ie, pyramid
- the horizontal and vertical lengths of the bottom surface of the communication area 300 having a quadrangular pyramid shape may be determined according to a value arbitrarily set by a user. For example, a user who wants to broaden the range of communication can set the above arbitrary setting value to widen the communication area 300, and a user who want to narrow the range of communication can set the above arbitrary setting. By setting the value small, the communication area 300 can be narrowed.
- the communication area 400 may be determined as an area having a cone shape having a vertex as a reference point of a user's mouth. More specifically, according to an embodiment of the present invention, the height direction 410 and the height 420 of the communication area 400 are respectively the direction that the head part or mouth part of the user looks and the voice spoken by the user It can be determined based on the strength of. In addition, according to an embodiment of the present invention, the widths 430 and 440 of the bottom surface of the communication area 400 having a conical shape may be determined according to a value arbitrarily set by a user.
- the communication area 500 may be determined as an area having an ellipsoid shape focusing on a reference point of a user's mouth. More specifically, according to an embodiment of the present invention, the long axis direction 510 and the long axis length 520 of the communication area 500 having an ellipsoid shape are respectively seen by the head part or mouth part of the user. It may be determined based on the direction and the intensity of the voice spoken by the user.
- the ratio between the length 520 of the long axis, the length 530 of the short axis, and the length 550 of the width of the communication area 500 having an ellipsoid shape ie, 520: 530: 550 or the length 520 of the major axis, the length 530 of the minor axis, the length 540 of the height and the length 550 of the width (ie, 520: 530: 540: 550) It can be determined according to the value set arbitrarily.
- the communication area determination method according to the present invention is not necessarily limited to those listed above, and it can be understood that the present invention can be changed as much as possible within the scope of achieving the object of the present invention.
- some attributes of the communication area ie, the width or length of the base, the width of the base, the ratio between the width and the length) of the communication area that were determined according to the values arbitrarily set by the user in the embodiments of FIGS. Etc.
- FIG. 6 and 8 illustrate various embodiments in which a configuration for determining a communication area may be utilized according to an embodiment of the present invention.
- a user 610 is included in a communication area 600 that is determined based on a direction that a user views among a plurality of other users who are present and the intensity of a voice spoken by the user.
- Two different users 620 and 630 can forward their voice messages.
- each of the plurality of users 711, 721, 731, 741, 751 is a communication area 712 that is determined based on the direction in which the user is looking and the intensity of the voice spoken by the user.
- 722, 723, 724, and 725 may transmit their voice commands to the devices 731, 732, 733, 734, and 735, respectively.
- a communication area based on the direction that the user 810 is looking at and the intensity of the voice spoken by the user. 830 may be determined, and the user 810 may transmit his or her voice command to the virtual object included in the communication area 830.
- the target specifying unit 220 is derived from information on a filter preset by the user, information on a gesture input from the user, and a voice recognition result of the user's voice.
- the target object is implemented by a virtual object or a real object such as another user, a real device capable of receiving a voice message or a voice command from the user, and a virtual reality or augmented reality from the user.
- a virtual object such as an avatar or a virtual device capable of receiving a voice message or a voice command may be included.
- 9 to 12 are diagrams exemplarily illustrating a configuration for specifying a target object among objects existing in a communication area according to an embodiment of the present invention.
- the filter preset by the user may be set based on various conditions that must be satisfied in order to become a target object.
- the setting is based on the relationship between the user and the object (family, friends, etc.), the language used by the user or the object, the age of the user or the object, the gender of the user or the object, and the like.
- the object 940 that meets the criteria of the above filter among the plurality of objects (ie, other users) 920 to 950 existing in the communication area 900 of the user 910 is the user. It may be determined to be a target object to receive the voice message from 910.
- the information about the user's intention derived from the voice recognition result of the user's voice the keyword (for example, the name of the object, the command to be delivered to the object) included in the voice Information on the type, keyword, location of the object, etc.), whether or not to use the idiom, and the user's identity recognized from the voice.
- a user when a user calls an object's name, it may be determined that the object corresponding to that name is the target object, and that another user who is older or higher than the user when the user uses the idiom It may be determined to be a target object.
- the gesture input from the user may include various operations that the user may perform to communicate with a real object or a virtual object that exists in the vicinity of the user, and the gesture may move It can be recognized by various sensing modules such as sensors, acceleration sensors, gyroscopes, magnetic sensors, positioning modules (GPS modules, beacon-based positioning (identification) modules, etc.), barometers, and cameras.
- various sensing modules such as sensors, acceleration sensors, gyroscopes, magnetic sensors, positioning modules (GPS modules, beacon-based positioning (identification) modules, etc.), barometers, and cameras.
- the object 1220 facing the user 1210 may be determined to be a target object to receive a voice message from the user 1210.
- the contextual information about the user includes demographic information of the user, information on the behavior pattern of the user, information on the place or time zone where the user uttered the voice, and the user's voice.
- Information about the voice spoken before the speech information about the user's preferences for the object, information about the user's activities on social network services (SNS), information about the conversations the user has had with other users, and notes that the user has recorded
- SNS social network services
- a smartphone owned by the user among the various smartphones existing in the communication area of the user will receive the voice command. Can be determined to be.
- the database 240 various information that can be used in determining the communication area according to the present invention and various that can be used in specifying the target object according to the present invention Information can be stored.
- the database 240 is illustrated as being included in the communication support system 200 in FIG. 2, according to the needs of those skilled in the art of implementing the present invention, the database 240 may be connected to the communication support system 200. It may be configured separately.
- the database 240 in the present invention is a concept that includes a computer-readable recording medium, and may be a broad database including not only a negotiated database but also a data record based on a file system. If the set can be retrieved to extract data, it can be the database 240 in the present invention.
- the communication unit 250 performs a function to enable the communication support system 200 to communicate with an external device.
- control unit 260 is the data between the information acquisition unit 210, the communication area determination unit 220, the target specifying unit 230, the database 240 and the communication unit 250 To control the flow of the. That is, the controller 260 controls the flow of data from the outside or between the respective components of the communication support system 200, whereby the information obtaining unit 210, the communication area determining unit 220, and the object specifying unit ( 230, the database 240 and the communication unit 250 control to perform a unique function, respectively.
- Embodiments according to the present invention described above may be implemented in the form of program instructions that may be executed by various computer components, and may be recorded on a non-transitory computer readable recording medium.
- the non-transitory computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
- the program instructions recorded on the non-transitory computer readable recording medium may be those specially designed and configured for the present invention, or may be known and available to those skilled in the computer software arts.
- non-transitory computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks ( magneto-optical media) and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
- program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
- the hardware device may be configured to operate as one or more software modules to perform the process according to the invention, and vice versa.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Abstract
본 발명의 일 태양에 따르면, 의사소통(communication)을 지원하기 위한 방법으로서, 사용자의 자세에 관한 정보 및 사용자가 발화한 음성에 관한 정보를 획득하는 단계, 및 위의 획득되는 정보를 참조로 하여, 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 음성이 전달될 의사소통 영역(Field of Communication)을 결정하는 단계를 포함하는 방법이 제공된다.
Description
본 발명은 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
근래에 들어, 현실 공간이나 가상 현실 공간에서 사용자가 다른 사용자와 음성에 기반한 의사소통을 수행하거나 사용자가 디바이스, 가상 객체 등에 대하여 음성에 기반한 제어를 수행하는 것을 지원하기 위한 기술이 소개되고 있다.
최근에는, 증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)에 관한 관심이 높아지고 관련 기술 분야의 연구 개발이 활발하게 진행됨에 따라, 사용자가 실제 현실 또는 가상 현실에 존재하는 상호작용 가능한 객체와 원활하게 의사소통할 수 있도록 지원하는 기술에 대한 요구가 늘어나고 있는 실정이다.
종래에는, 사용자나 시스템에 의하여 미리 지정된 대상 객체에 대하여만 사용자가 발화한 음성이 전달되도록 하는 기술이나 사용자가 대상 객체의 이름을 따로 말하도록 하거나 대상 객체를 명시적으로 지시함으로써(예를 들면, "거실 조명을 꺼줘", "301호의 에어컨 온도를 낮춰 주세요" 등) 사용자의 음성이 전달될 대상 객체가 특정되도록 하는 기술이 소개된 바 있다.
도 1은 종래 기술에 따른 의사소통 지원 방법을 예시적으로 나타내는 도면이다. 도 1에 도시된 종래 기술에 따르면, 사용자가 포인터(11)를 움직여서 대상 객체(10)를 지시함으로써 해당 대상 객체(10)를 의사소통의 대상으로서 특정하거나(도 1의 (a) 참조), 사용자가 자신의 시선을 대상 객체(10)에 맞춤으로써 해당 대상 객체(10)을 의사소통의 대상으로서 특정할 수 있다(도 1의 (b) 참조).
하지만, 위와 같은 종래 기술에 의하면, 사용자가 자신의 음성이 전달될 대상 객체의 범위를 유연하게 또는 적응적으로 결정하는 것이 매우 어렵게 되거나, 사용자가 의사소통을 할 때마다 자신의 음성이 전달될 대상을 매우 구체적으로 직접 특정해야 하는 불편을 겪을 수밖에 없으므로, 실제적인 사용 환경에서 의사소통의 유연성이 저하되거나 사용자 편의성이 떨어지는 한계가 존재한다.
이에, 본 발명자는, 사용자의 자세와 사용자가 발화한 음성의 세기를 참조로 하여 사용자의 음성이 전달될 영역(일명, 의사소통 영역(Field of Communication)을 결정함으로써, 사용자의 음성이 사용자가 의도한 영역 또는 대상에게 정확하게 전달될 수 있도록 하는 기술을 제안하는 바이다.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 사용자의 자세에 관한 정보 및 사용자가 발화한 음성에 관한 정보를 획득하고, 위의 획득되는 정보를 참조로 하여, 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 위의 사용자의 음성이 전달될 의사소통 영역(Field of Communication)을 결정함으로써, 사용자의 음성이 사용자가 의도한 영역 또는 대상에게 정확하게 전달될 수 있도록 하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 의사소통(communication)을 지원하기 위한 방법으로서, 사용자의 자세에 관한 정보 및 상기 사용자가 발화한 음성에 관한 정보를 획득하는 단계, 및 상기 획득되는 정보를 참조로 하여, 상기 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 상기 음성이 전달될 의사소통 영역(Field of Communication)을 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 의사소통(communication)을 지원하기 위한 시스템으로서, 사용자의 자세에 관한 정보 및 상기 사용자가 발화한 음성에 관한 정보를 획득하는 정보 획득부, 및 상기 획득되는 정보를 참조로 하여, 상기 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 상기 음성이 전달될 의사소통 영역(Field of Communication)을 결정하는 의사소통 영역 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 사용자가 향하고 있는 방향과 사용자가 발화한 음성의 세기를 참조로 하여 결정되는 의사소통 영역(Field of Communication)에 기초하여 사용자의 음성이 사용자가 의도한 영역 또는 대상에게 정확하게 전달될 수 있도록 할 수 있으므로, 실제적인 사용 환경에서 사용자가 의사소통의 대상을 따로 특정하는 불편을 겪지 않으면서도 사용자가 의도한 대상과 자연스럽게 의사소통할 수 있게 되는 효과가 달성된다.
또한, 본 발명에 의하면, 사용자에 의해 설정된 필터, 사용자의 제스쳐, 사용자의 음성, 사용자에 관한 문맥 정보 등의 상황 정보를 더 활용함으로써 의사소통 영역 내에 존재하는 복수의 대상 중 사용자의 의도에 부합하는 대상을 구체적으로 특정할 수 있으므로, 사용자와 사용자 주변의 객체 사이의 의사소통이 보다 정확하고도 간편하게 이루어질 수 있게 되는 효과가 달성된다.
도 1은 종래 기술에 따른 의사소통 지원 방법을 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따라 의사소통 지원 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 의사소통 영역을 결정하는 구성을 예시적으로 나타내는 도면이다.
도 6 및 도 8은 본 발명의 일 실시예에 따라 의사소통 영역을 결정하는 구성이 활용될 수 있는 다양한 실시예를 나타내는 도면이다.
도 9 내지 도 12는 본 발명의 일 실시예에 따라 의사소통 영역 내에 존재하는 객체 중 대상 객체를 특정하는 구성을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 사용자 디바이스
200: 의사소통 지원 시스템
210: 정보 획득부
220: 의사소통 영역 결정부
230: 대상 특정부
240: 데이터베이스
250: 통신부
260: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
의사소통 지원 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 의사소통 지원 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 의사소통 지원 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 의사소통 지원 시스템(200)은, 정보 획득부(210), 의사소통 영역 결정부(220), 대상 특정부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 의사소통 영역 결정부(220), 대상 특정부(230), 데이터베이스(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 의사소통 지원 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 의사소통 지원 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 의사소통 지원 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 의사소통 지원 시스템(200)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 사용자가 휴대하거나 사용자의 신체 부위(예를 들면, 머리, 눈 등)에 착용되는 사용자 디바이스(100) 내에서 실현되거나 사용자 디바이스(100) 내에 포함될 수도 있음은 당업자에게 자명하다. 경우에 따라서는, 의사소통 지원 시스템(200)의 모든 기능과 모든 구성요소가 사용자 디바이스(100) 내에 전부 실행되거나 사용자 디바이스(100) 내에 전부 포함될 수도 있다.
여기서, 본 발명의 일 실시예에 따르면, 사용자 디바이스(100)는, 증강 현실(AR; Augmented Reality)이나 가상 현실(VR; Virtual Reality)을 구현할 수 있는 헤드 마운트 디스플레이(HMD; Head Mounted Display) 또는 니어 아이 디스플레이(Near Eye Display)일 수 있으며, 이러한 사용자 디바이스(100)는 사용자의 음성을 인식하기 위한 마이크 모듈(미도시됨)을 포함할 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자 디바이스(100)는 디스플레이 모듈을 수반하지 않는 착용형 음성 인식 디바이스일 수 있으며, 보다 구체적으로는, 입 주변에 배치되는 마이크 모듈(미도시됨) 또는 이어 플러그 형태의 마이크 모듈(미도시됨)을 포함할 수 있다.
한편, 후술할 바와 같이, 본 발명의 일 실시예에 따르면, 사용자 디바이스(100)는, 사용자의 의사소통 영역을 결정하기 위해서 필요한 정보(즉, 사용자의 자세에 관한 정보 및 사용자가 발화한 음성에 관한 정보)를 인식하거나 획득할 수 있는 센싱 모듈(미도시됨)을 포함할 수도 있다.
먼저, 본 발명의 일 실시예에 따르면, 정보 획득부(210)는, 사용자의 자세에 관한 정보를 획득하는 기능을 수행할 수 있다. 구체적으로, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 음성을 통한 의사소통과 관련된 사용자의 신체 부위의 자세에 관한 정보를 획득할 수 있는데, 예를 들면, 사용자의 머리 부위 또는 입 부위가 향하고 있는 방향에 관한 정보를 획득할 수 있다.
이를 위하여, 본 발명의 일 실시예에 따르면, 사용자가 소지하거나 착용하고 있는 사용자 디바이스(100) 또는 사용자와 분리되어 사용자의 자세를 관찰할 수 있는 외부 디바이스(미도시됨)는, 사용자의 특정 신체 부위의 자세나 움직임에 관한 물리적인 정보를 획득할 수 있는 적어도 하나의 센싱 모듈(미도시됨)을 포함할 수 있다. 이러한 센싱 모듈의 예로서, 공지의 구성요소인, 움직임 센서, 가속도 센서, 자이로스코프, 자기 센서, 위치 결정 모듈(GPS 모듈, 비콘 기반의 위치 결정(확인) 모듈 등), 기압계, 카메라 등을 들 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자가 소지하거나 착용하고 있는 사용자 디바이스(100)는 사용자의 인체로부터 획득되는 생체 정보에 기초하여 해당 사용자의 자세나 움직임에 관한 물리적인 정보를 획득할 수 있는 적어도 하나의 센싱 모듈을 포함할 수 있다. 이러한 센싱 모듈의 예로서, 근전도 신호 측정 장치 등을 들 수 있다.
또한, 본 발명의 일 실시예에 따르면, 정보 획득부(210)는, 사용자가 발화한 음성에 관한 정보를 획득하는 기능을 수행할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 정보 획득부(210)는, 사용자가 발화한 음성의 세기, 사용자가 발화한 음성에 대한 음성인식 결과 등에 관한 정보를 획득할 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 의사소통 영역 결정부(220)는, 위의 획득되는 사용자의 자세에 관한 정보 및 사용자가 발화한 음성에 관한 정보를 참조로 하여, 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 사용자의 음성이 전달될 의사소통 영역을 결정하는 기능을 수행할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 의사소통 영역 결정부(220)는, 사용자의 머리 또는 입 부위가 향하고 있는 방향 및 사용자가 발화한 음성의 세기를 참조로 하여 의사소통 영역을 결정할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 의사소통 영역 결정부(220)는, 사용자로부터 입력되는 설정 정보를 더 참조로 하여 의사소통 영역의 속성 중 적어도 일부를 결정하는 기능을 수행할 수 있다.
도 3 내지 도 5는 본 발명의 일 실시예에 따라 의사소통 영역을 결정하는 구성을 예시적으로 나타내는 도면이다.
먼저, 도 3을 참조하면, 본 발명의 일 실시예에 따른 의사소통 영역(300)은, 사용자의 입 부위의 기준점을 꼭지점으로 하는 사각뿔(즉, 피라미드) 형상을 가지는 영역으로 결정될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따르면, 사각뿔 형상을 가지는 의사소통 영역(300)의 높이(또는 깊이) 방향(310)은 사용자의 머리 부위 또는 입 부위가 바라보고 있는 방향에 따라 결정될 수 있고, 이로써 의사소통 영역(300)이 사용자가 의도한 방향을 향할 수 있게 된다. 또한, 본 발명의 일 실시예에 따르면, 사각뿔 형상을 가지는 의사소통 영역(300)의 높이(320)는 사용자가 발화한 음성의 세기에 따라 결정될 수 있고, 이로써 사용자가 작게 말하면 의사소통 영역(300)의 높이가 작아질 수 있고(즉, 의사소통 영역(300)이 사용자로부터 가까운 곳에만 국한됨), 반면에 사용자가 크게 말하면 의사소통 영역(300)의 높이가 커질 수 있다(즉, 의사소통 영역(300)이 사용자로부터 먼 곳까지 확장됨).
계속하여, 도 3을 참조하면, 사각뿔 형상을 가지는 의사소통 영역(300)의 밑면의 가로 및 세로의 길이는, 사용자에 의하여 임의로 설정되는 값에 따라 결정될 수 있다. 예를 들면, 의사소통의 범위를 넓히고 싶은 사용자는 위의 임의의 설정값을 크게 설정하여 의사소통 영역(300)이 넓어지게 할 수 있고, 의사소통의 범위를 좁히고 싶은 사용자는 위의 임의의 설정값을 작게 설정하여 의사소통 영역(300)이 좁아지게 할 수 있다.
다음으로, 도 4를 참조하면, 본 발명의 일 실시예에 따른 의사소통 영역(400)은, 사용자의 입 부위의 기준점을 꼭지점으로 하는 원뿔 형상을 가지는 영역으로 결정될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따르면, 의사소통 영역(400)의 높이 방향(410) 및 높이(420)는 각각 사용자의 머리 부위 또는 입 부위가 바라보고 있는 방향 및 사용자가 발화한 음성의 세기에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 원뿔 형상을 가지는 의사소통 영역(400)의 밑면의 넓이(430, 440)는, 사용자에 의하여 임의로 설정되는 값에 따라 결정될 수 있다.
다음으로, 도 5를 참조하면, 본 발명의 일 실시예에 따른 의사소통 영역(500)은, 사용자의 입 부위의 기준점을 초점으로 하는 타원체 형상을 가지는 영역으로 결정될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따르면, 타원체 형상을 가지는 의사소통 영역(500)의 장축의 방향(510) 및 장축의 길이(520)는 각각 사용자의 머리 부위 또는 입 부위가 바라보고 있는 방향 및 사용자가 발화한 음성의 세기에 기초하여 결정될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 타원체 형상을 가지는 의사소통 영역(500)의 장축의 길이(520), 단축의 길이(530) 및 너비의 길이(550) 사이의 비율(즉, 520: 530: 550) 또는 장축의 길이(520), 단축의 길이(530), 높이의 길이(540) 및 너비의 길이(550) 사이의 비율(즉, 520: 530: 540: 550)는, 사용자에 의하여 임의로 설정되는 값에 따라 결정될 수 있다.
다만, 본 발명에 따른 의사소통 영역 결정 방법이 반드시 상기 열거된 것에 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있음을 밝혀 둔다. 다른 예를 들면, 도 3 내지 도 5의 실시예에서 사용자에 의하여 임의로 설정되는 값에 따라 결정되었던 의사소통 영역의 일부 속성(즉, 밑면의 너비 또는 길이, 밑면의 넓이, 너비와 길이 사이의 비율 등)은, 사용자에 의하여 미리 설정된 필터에 관한 정보, 사용자로부터 입력되는 제스쳐에 관한 정보, 사용자의 음성에 대한 음성인식 결과로부터 도출되는 사용자의 의도에 관한 정보, 사용자에 관한 문맥 정보 등의 다양한 상황 정보에 근거하여 적응적으로(즉, 자동으로) 결정될 수도 있다.
도 6 및 도 8은 본 발명의 일 실시예에 따라 의사소통 영역을 결정하는 구성이 활용될 수 있는 다양한 실시예를 나타내는 도면이다.
먼저, 도 6을 참조하면, 사용자(610)는 주변에 존재하는 복수의 다른 사용자 중 자신이 바라보고 있는 방향과 자신이 발화한 음성의 세기에 기초하여 결정되는 의사소통 영역(600) 내에 포함되는 두 명의 다른 사용자(620, 630)에 대하여 자신의 음성 메시지를 전달할 수 있게 된다.
다음으로, 도 7을 참조하면, 복수의 사용자(711, 721, 731, 741, 751) 각각은 자신이 바라보고 있는 방향과 자신이 발화한 음성의 세기에 기초하여 각각 결정되는 의사소통 영역(712, 722, 723, 724, 725) 내에 각각 포함되는 디바이스(731, 732, 733, 734, 735)에 대하여 자신의 음성 명령을 전달할 수 있게 된다.
다음으로, 도 8을 참조하면, 헤드 마운트 디스플레이 디바이스(100)를 통하여 제공되는 가상 현실(VR) 내에서 사용자(810)가 바라보고 있는 방향과 자신이 발화한 음성의 세기에 기초하여 의사소통 영역(830)이 결정될 수 있고, 사용자(810)는 이러한 의사소통 영역(830) 내에 포함되는 가상 객체에 대하여 자신의 음성 명령을 전달할 수 있게 된다.
다음으로, 본 발명의 일 실시예에 따르면, 대상 특정부(220)는, 사용자에 의하여 미리 설정된 필터에 관한 정보, 사용자로부터 입력되는 제스쳐에 관한 정보, 사용자의 음성에 대한 음성인식 결과로부터 도출되는 사용자의 의도에 관한 정보, 사용자에 관한 문맥 정보 등을 포함하는 다양한 상황 정보를 참조로 하여, 의사소통 영역 내에 존재하는 객체 중 사용자의 음성이 전달될 적어도 하나의 대상 객체를 구체적으로 특정하는 기능을 수행할 수 있다.
여기서, 본 발명의 일 실시예에 따르면, 대상 객체에는, 사용자로부터의 음성 메시지 또는 음성 명령을 전달 받을 수 있는 다른 사용자, 실물 디바이스 등의 실물 객체와 가상 현실 또는 증강 현실에 의하여 구현되어 사용자로부터의 음성 메시지 또는 음성 명령을 전달 받을 수 있는 아바타, 가상 디바이스 등의 가상 객체가 포함될 수 있다.
도 9 내지 도 12는 본 발명의 일 실시예에 따라 의사소통 영역 내에 존재하는 객체 중 대상 객체를 특정하는 구성을 예시적으로 나타내는 도면이다.
구체적으로, 본 발명의 일 실시예에 따르면, 사용자에 의하여 미리 설정된 필터는, 대상 객체가 되기 위하여 만족되어야 하는 다양한 조건에 기초하여 설정될 수 있다.
예를 들면, 도 9의 실시예에서, 사용자와 객체와의 관계(가족, 친구 등), 사용자 또는 객체가 사용하는 언어, 사용자 또는 객체의 나이, 사용자 또는 객체의 성별 등에 관한 조건에 기초하여 설정되는 필터를 기준으로 하여, 사용자(910)의 의사소통 영역(900) 내에 존재하는 복수의 객체(즉, 다른 사용자)(920 내지 950) 중 위의 필터의 기준에 부합하는 객체(940)가 사용자(910)로부터의 음성 메시지를 전달 받을 대상 객체인 것으로 결정될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자의 음성에 대한 음성인식 결과로부터 도출되는 사용자의 의도에 관한 정보에는, 음성에 포함되는 키워드(예를 들면, 객체의 이름, 객체에게 전달될 명령의 종류, 객체의 위치 등에 관한 키워드), 경어체 사용 여부, 음성으로부터 인식되는 사용자의 신원 등에 관한 정보가 포함될 수 있다.
예를 들면, 도 10의 실시예에서, 사용자(1110)가 자신이 특정하고자 하는 객체의 위치("Top right(오른쪽 위)")를 직접 말하는 경우에, 사용자(1110)의 의사소통 영역(1100) 내에 존재하는 복수의 객체(1120 내지 1150) 중 사용자(1110)가 직접 말한 위치에 존재하는 객체(1150)가 사용자(1110)로부터의 음성 메시지를 전달 받을 대상 객체인 것으로 결정될 수 있다.
다른 예를 들면, 사용자가 객체의 이름을 부르는 경우에 그 이름에 해당하는 객체가 대상 객체인 것으로 결정될 수 있고, 사용자가 경어체를 사용하는 경우에 해당 사용자보다 나이가 많거나 지위가 높은 다른 사용자가 대상 객체인 것으로 결정될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자로부터 입력되는 제스쳐에는, 사용자가 자신의 주변에 존재하는 실물 객체 또는 가상 객체와 의사소통하기 위하여 행할 수 있는 다양한 동작이 포함될 수 있으며, 이러한 제스쳐는 움직임 센서, 가속도 센서, 자이로스코프, 자기 센서, 위치 결정 모듈(GPS 모듈, 비콘 기반의 위치 결정(확인) 모듈 등), 기압계, 카메라 등의 다양한 센싱 모듈에 의하여 인식될 수 있다.
예를 들면, 도 11의 실시예에서, 사용자(1210)가 자신이 특정하고자 하는 객체를 바라보는 제스쳐를 취하는 경우에, 사용자(1210)의 의사소통 영역(1200) 내에 존재하는 복수의 객체(1220, 1230) 중 사용자(1210)와 마주보고 있는 객체(1220)가 사용자(1210)로부터의 음성 메시지를 전달 받을 대상 객체인 것으로 결정될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 사용자에 관한 문맥 정보에는, 사용자의 인구통계학적 정보, 사용자의 행동 패턴에 관한 정보, 사용자가 음성을 발화한 장소 또는 시간대에 관한 정보, 사용자가 음성을 발화하기 전에 발화한 음성에 관한 정보, 사용자의 객체에 대한 선호도에 관한 정보, 사용자가 소셜네트워크서비스(SNS)에서 행한 활동에 관한 정보, 사용자가 다른 사용자가 나눈 대화에 관한 정보, 사용자가 기록한 메모에 관한 정보, 사용자와 객체 사이의 사회적 관계 또는 소유 관계에 관한 정보 등이 포함될 수 있다.
예를 들면, 도 12의 실시예에서, 매일 밤 12시에 잠이 드는 행동 패턴을 보이는 사용자(1310)가 어느 날 밤 11시 30분에 "꺼(Turn off)"라는 음성 명령을 발화하는 경우에, 해당 사용자(1310)의 의사소통 영역(1300) 내에 존재하는 여러 가전제품(1320 내지 1350) 중 수면에 방해가 될 수 있는 일부 가전제품(1320, 1330)이 위의 음성 명령을 전달 받을 대상 객체인 것으로 결정될 수 있다.
다른 예를 들면, 사용자가 "잠금 해제"라는 음성 명령을 발화하는 경우에 해당 사용자의 의사소통 영역 내에 존재하는 여러 스마트폰 중 해당 사용자가 소유하고 있는 스마트폰이 위의 음성 명령을 전달 받을 대상 객체인 것으로 결정될 수 있다.
한편, 본 발명의 일 실시예에 따르면, 데이터베이스(240)에는, 본 발명에 따른 의사소통 영역을 결정함에 있어서 이용될 수 있는 다양한 정보 및 본 발명에 따른 대상 객체를 특정함에 있어서 이용될 수 있는 다양한 정보가 저장될 수 있다. 비록 도 2에서 데이터베이스(240)가 의사소통 지원 시스템(200)에 포함되어 구성되는 것으로 도시되어 있지만, 본 발명을 구현하는 당업자의 필요에 따라, 데이터베이스(240)는 의사소통 지원 시스템(200)과 별개로 구성될 수도 있다. 한편, 본 발명에서의 데이터베이스(240)는, 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있으며, 단순한 로그의 집합이라도 이를 검색하여 데이터를 추출할 수 있다면 본 발명에서의 데이터베이스(240)가 될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(250)는 의사소통 지원 시스템(200)이 외부 장치와 통신할 수 있도록 하는 기능을 수행한다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(260)는 정보 획득부(210), 의사소통 영역 결정부(220), 대상 특정부(230), 데이터베이스(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(260)는 외부로부터의 또는 의사소통 지원 시스템(200)의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 정보 획득부(210), 의사소통 영역 결정부(220), 대상 특정부(230), 데이터베이스(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어한다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 비일시성의 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 비일시성의 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (7)
- 의사소통(communication)을 지원하기 위한 방법으로서,사용자의 자세에 관한 정보 및 상기 사용자가 발화한 음성에 관한 정보를 획득하는 단계, 및상기 획득되는 정보를 참조로 하여, 상기 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 상기 음성이 전달될 의사소통 영역(Field of Communication)을 결정하는 단계를 포함하는 방법.
- 제1항에 있어서,상기 의사소통 영역 결정 단계에서,상기 사용자의 머리 또는 입 부위가 향하고 있는 방향 및 상기 사용자가 발화한 음성의 세기를 참조로 하여, 상기 의사소통 영역을 결정하는 방법.
- 제1항에 있어서,상기 사용자로부터 입력되는 설정 정보를 더 참조로 하여, 상기 의사소통 영역의 속성 중 적어도 일부를 결정하는 방법.
- 제1항에 있어서,상황 정보를 참조로 하여, 상기 의사소통 영역 내에 존재하는 객체 중 상기 음성이 전달될 적어도 하나의 대상 객체를 결정하는 단계를 더 포함하는 방법.
- 제4항에 있어서,상기 상황 정보에는, 상기 사용자에 의하여 미리 설정된 필터에 관한 정보, 상기 사용자로부터 입력되는 제스쳐에 관한 정보, 상기 음성에 대한 음성인식 결과로부터 도출되는 상기 사용자의 의도에 관한 정보 및 상기 사용자에 관한 문맥 정보 중 적어도 하나가 포함되는 방법.
- 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능한 기록 매체.
- 의사소통(communication)을 지원하기 위한 시스템으로서,사용자의 자세에 관한 정보 및 상기 사용자가 발화한 음성에 관한 정보를 획득하는 정보 획득부, 및상기 획득되는 정보를 참조로 하여, 상기 사용자와 상호작용할 수 있는 적어도 하나의 객체가 존재하는 주변 영역 중 상기 음성이 전달될 의사소통 영역(Field of Communication)을 결정하는 의사소통 영역 결정부를 포함하는 시스템.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20150089930 | 2015-06-24 | ||
KR10-2015-0089930 | 2015-06-24 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016209039A1 true WO2016209039A1 (ko) | 2016-12-29 |
Family
ID=57585741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2016/006796 WO2016209039A1 (ko) | 2015-06-24 | 2016-06-24 | 의사소통을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR101879349B1 (ko) |
WO (1) | WO2016209039A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009210956A (ja) * | 2008-03-06 | 2009-09-17 | National Institute Of Advanced Industrial & Technology | 操作方法およびそのための操作装置、プログラム |
JP2012257076A (ja) * | 2011-06-09 | 2012-12-27 | Sony Corp | 音制御装置、プログラム及び制御方法 |
US8381108B2 (en) * | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
US20140225918A1 (en) * | 2013-02-14 | 2014-08-14 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for hmd |
JP2014186361A (ja) * | 2013-03-21 | 2014-10-02 | Sony Corp | 情報処理装置、操作制御方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3757565B2 (ja) * | 1997-08-04 | 2006-03-22 | カシオ計算機株式会社 | 音声認識画像処理装置 |
JP2000184345A (ja) * | 1998-12-14 | 2000-06-30 | Nec Corp | マルチモーダルコミュニケーション支援装置 |
KR101262700B1 (ko) * | 2011-08-05 | 2013-05-08 | 삼성전자주식회사 | 음성 인식 및 모션 인식을 이용하는 전자 장치의 제어 방법 및 이를 적용한 전자 장치 |
-
2016
- 2016-06-24 WO PCT/KR2016/006796 patent/WO2016209039A1/ko active Application Filing
- 2016-06-24 KR KR1020160079473A patent/KR101879349B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009210956A (ja) * | 2008-03-06 | 2009-09-17 | National Institute Of Advanced Industrial & Technology | 操作方法およびそのための操作装置、プログラム |
US8381108B2 (en) * | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
JP2012257076A (ja) * | 2011-06-09 | 2012-12-27 | Sony Corp | 音制御装置、プログラム及び制御方法 |
US20140225918A1 (en) * | 2013-02-14 | 2014-08-14 | Qualcomm Incorporated | Human-body-gesture-based region and volume selection for hmd |
JP2014186361A (ja) * | 2013-03-21 | 2014-10-02 | Sony Corp | 情報処理装置、操作制御方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
KR101879349B1 (ko) | 2018-07-18 |
KR20170000809A (ko) | 2017-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10132633B2 (en) | User controlled real object disappearance in a mixed reality display | |
US10037312B2 (en) | Methods and systems for gaze annotation | |
US9390726B1 (en) | Supplementing speech commands with gestures | |
CN104410883B (zh) | 一种移动可穿戴非接触式交互***与方法 | |
US9038127B2 (en) | Physical interaction with virtual objects for DRM | |
US9153195B2 (en) | Providing contextual personal information by a mixed reality device | |
JP6572600B2 (ja) | 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム | |
WO2014125791A1 (en) | Voice recognition device, voice recognition method, and program | |
WO2017209560A1 (ko) | 화면 출력 방법 및 이를 지원하는 전자 장치 | |
KR102479052B1 (ko) | 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치 | |
CA3063365A1 (en) | Wearable multimedia device and cloud computing platform with application ecosystem | |
US11373650B2 (en) | Information processing device and information processing method | |
US9829708B1 (en) | Method and apparatus of wearable eye pointing system | |
CN115211144A (zh) | 助听器***和方法 | |
CN110968189A (zh) | 作为认知控制信号的瞳孔调制 | |
JPWO2018155026A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN107430856B (zh) | 信息处理***和信息处理方法 | |
WO2014116056A1 (ko) | 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
WO2014178693A1 (ko) | 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템 | |
WO2018131873A1 (ko) | 전자 장치 및 이를 포함하는 차량 | |
WO2018021651A1 (ko) | 사용자의 감정 정보를 이용한 오프라인 캐릭터 인형 제어 장치 및 방법 | |
WO2019156412A1 (ko) | 음성 인식 서비스 운용 방법 및 이를 지원하는 전자 장치 | |
WO2019190076A1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 단말 | |
WO2014185753A1 (ko) | 복수의 디바이스를 매칭시키는 방법, 그리고 상기 매칭이 가능하게끔 하여 주는 디바이스 및 서버 시스템 | |
KR20190134975A (ko) | 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16814752 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16814752 Country of ref document: EP Kind code of ref document: A1 |