CN103916686A - 显示装置及其控制方法 - Google Patents
显示装置及其控制方法 Download PDFInfo
- Publication number
- CN103916686A CN103916686A CN201310750792.XA CN201310750792A CN103916686A CN 103916686 A CN103916686 A CN 103916686A CN 201310750792 A CN201310750792 A CN 201310750792A CN 103916686 A CN103916686 A CN 103916686A
- Authority
- CN
- China
- Prior art keywords
- spoken utterances
- user spoken
- display unit
- control information
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 150
- 230000006870 function Effects 0.000 claims description 78
- 230000001276 controlling effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 230000001105 regulatory effect Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 8
- 230000006399 behavior Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
- G10L21/16—Transforming into a non-visible representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Computer Hardware Design (AREA)
- Otolaryngology (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Selective Calling Equipment (AREA)
Abstract
提供了一种显示装置及其控制方法。所述显示装置包括:语音收集器,其收集用户话语;通信器,其将用户话语传送到对话型服务器并且接收基于用户话语生成的响应信息;存储单元,其存储对应于每个用户话语的控制信息;和控制器,其确定对应于所收集的用户话语的控制信息是否存储在存储单元中并且基于确定的结果来执行对应于用户话语的操作。
Description
相关申请的交叉引用
本申请要求于2012年12月31日提交到韩国知识产权局的韩国专利申请第10-2012-0158296号的优先权,其公开通过整体引用合并于此。
技术领域
与示范性实施例一致的方法和装置涉及显示装置及其控制方法,更具体地说,涉及执行响应用户话语的操作的显示装置及其控制方法。
背景技术
存在两种可以辨识语音的显示装置:嵌入型显示装置和对话型显示装置。嵌入型显示装置在辨识用户话语(utterance)时受限于话语命令。也就是说,仅仅当收集到对应于预定话语命令的用户话语时,嵌入型显示装置才可以执行对应于用户话语的功能。也就是说,当收集到对应于预定话语命令的用户话语时,嵌入型显示装置具有执行与相应的用户话语对应的功能更快的优点,但是受限的是其仅仅辨识对应于话语命令的用户话语。
对话型显示装置辨识各种类型的用户话语,理解用户意图,并且执行适合于用户意图的操作。当收集到用户话语时,对话型显示装置从对话型服务器接收关于用户话语的响应信息,并且基于所接收的响应信息来执行对应于用户话语的操作。虽然对话型显示装置具有辨识各种类型的用户话语和执行对应于所辨识的用户话语的操作的优点,但是对话型显示装置通过上述的过程来执行对应于用户话语的功能。因此,在执行诸如音量和频道等等的简单功能性操纵时,对话型显示装置基于从对话型服务器接收的响应信息来执行对应于用户话语的功能,并且响应速度比嵌入型显示装置的响应速度更慢。
发明内容
示范性实施例解决至少上述问题和/或缺点以及以上没有描述的其它缺点。并且,不要求示范性实施例克服上述缺点,并且示范性实施例可以不克服上述任何问题。
根据示范性实施例的一个方面,提供了一种显示装置,该显示装置包括:语音收集器,其收集用户话语;通信器,其将用户话语传送到对话型服务器并且接收基于用户话语生成的响应信息;存储单元,其存储对应于每个用户话语的控制信息;和控制器,其确定对应于所收集的用户话语的控制信息是否存储在存储单元中并且基于确定的结果执行对应于用户话语的操作。
当对应于所收集的用户话语的控制信息存储在存储单元中时,所述控制器可以基于所存储的控制信息来执行对应于用户话语的操作,而当对应于所收集的用户话语的控制信息没有存储在存储单元中时,所述控制器可以基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
当在预定时间内没有基于存储在存储单元中的控制信息来执行对应于用户话语的操作时,所述控制器可以基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
显示装置还可以包括输出器,其输出图像和语音中的至少一个,其中,当确认消息与对应于所收集的用户话语的控制信息相匹配时,控制器可以通过输出器输出确认消息,并且当另外的用户话语被收集到时,控制器基于控制信息控制显示装置的功能。
控制信息可以是用于将显示装置的功能调节到对应于每个用户话语的预定目标值的信息。
当在显示装置的功能被调节到预定目标值之后收集到另外的用户话语时,控制器可以重新调节显示装置的功能。
响应信息可以是对应于用户话语的响应消息或用于控制显示装置的功能的控制命令中的一个。
对话型服务器可以包括将所收集的用户话语转换成文本信息的第一服务器、和生成与被转换成文本信息的用户话语对应的响应信息的第二服务器,并且控制器将所收集的用户话语转换成数字信号并且将数字信号传送到第一服务器,并且当从第一服务器接收到关于用户话语的文本信息时,控制器将文本信息传送到第二服务器以便接收对应于用户话语的响应信息。
根据另一个示范性实施例的一个方面,提供了一种控制显示装置的方法,该方法包括:收集用户话语;将所收集的用户话语传送到对话型服务器并且从对话型服务器接收响应信息;确定对应于所收集的用户话语的控制信息是否预先存储在存储单元中;和基于确定的结果来执行对应于用户话语的操作,当预先存储了对应于所收集的用户话语的控制信息时,基于预先存储的控制信息来执行对应于用户话语的操作,而当没有预先存储对应于所收集的用户话语的控制信息时,基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
当预先存储了对应于所收集的用户话语的控制信息时,所述执行操作可以基于所述控制信息来执行对应于用户话语的操作,而当没有预先存储对应于所收集的用户话语的控制信息时,可以基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
所述方法还可以包括在所述确定之后从对话型服务器接收对应于所收集的用户话语的响应信息;其中,当在预定时间内没有基于预先存储的控制信息来执行对应于用户话语的操作时,所述执行操作可以包括基于所述响应信息来执行对应于用户话语的操作。
当确认消息与对应于所收集的用户话语的控制信息相匹配时,所述执行操作可以输出确认消息,并且基于控制信息控制显示装置的功能。
控制信息可以是用于将显示装置的功能调节到对应于每个用户话语的预定目标值的信息。
当在显示装置的功能被调节到预定目标值之后收集到另外的用户话语时,所述执行操作可以基于对应于所收集的另外的用户话语的控制信息来重新调节显示装置的功能。
响应信息可以是对应于用户话语的响应消息或用于控制显示装置的功能的控制命令中的一个。
对话型服务器可以包括将所收集的用户话语转换成文本信息的第一服务器、和生成与被转换成文本信息的用户话语对应的响应信息的第二服务器,并且所述执行操作可以将所收集的用户话语转换成数字信号并且将所述数字信号传送到第一服务器,并且当从第一服务器接收到关于所述用户话语的文本信息时,将所述文本信息传送到第二服务器以便接收对应于用户话语的响应信息。
根据另一个示范性实施例的一个方面,提供了一种对话型***,所述对话型***包括:对话型服务器,其将用户话语转换成文本信息,并且分析所转换的文本信息以便提供对应于用户话语的响应信息;和显示装置,其收集用户话语,将所收集的用户话语传送到对话型服务器,确定是否预先存储了对应于用户话语的控制信息,以及当预先存储了控制信息时,基于预先存储的控制信息执行对应于用户话语的操作,而当没有预先存储控制信息时,基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
附图说明
通过参考附图详细描述示范性实施例,以上和/或其它方面将更加清楚,其中:
图1是根据示范性实施例的对话型***的第一示范性实施例;
图2是根据另一个示范性实施例的对话型***的第二示范性实施例;
图3是根据示范性实施例的、在对话型***中执行对应于用户话语的操作的方法的过程图;
图4是根据示范性实施例的显示装置的框图;
图5是根据示范性实施例的对话型服务器的框图;
图6是根据示范性实施例的、用于在显示装置中执行基于用户话语的操作的控制方法的流程图;以及
图7是根据示范性实施例的、用于在显示装置中执行对应于用户话语的操作的方法的流程图。
具体实施方式
下面参考附图更加详细地描述某些示范性实施例。
图1是示范性实施例的对话型***的第一示范性实施例。
如图1中所示,根据示范性实施例的对话型***包括显示装置100和对话型服务器200。
虽然不限于此,根据示范性实施例的显示装置100可以是智能电视机(TV)、智能电话、个人计算机(PC)、笔记本计算机、导航设备等等。当从用户收集到用户话语时,显示装置100将收集到的用户话语传送到对话型服务器200,并且确定是否预先存储了对应于用户话语的控制信息。当预先存储了对应于用户话语的控制信息时,显示装置100基于预先存储的控制信息来执行对应于用户话语的操作。当对应于用户话语的控制信息没有被预先存储时,显示装置100从对话型服务器200接收基于用户话语生成的响应信息,并且基于所接收的响应信息执行对应于用户话语的操作。
当从显示装置100接收到用户话语时,对话型服务器200将所接收的用户话语转换成文本信息,分析所转换的文本信息以便生成关于用户话语的响应信息,并且将响应信息传送到显示装置100。
例如,当收集到用于操纵音量的用户话语时,显示装置100将所收集的用户话语传送到对话型服务器200,并且确定是否预先存储了对应于所收集的用户话语的控制信息。作为确定的结果,当预先存储了对应于用户话语的控制信息时,显示装置100可以基于预先存储的控制信息来调节音量。也就是说,当预先存储了对应于用户话语的控制信息时,显示装置100可以在从对话型服务器200接收到响应信息之前基于预先存储的控制信息来调节音量。
又例如,当收集到用于提供内容信息的用户话语时,显示装置100将收集到的用户话语传送到对话型服务器200并且确定是否预先存储了对应于所收集的用户话语的控制信息。作为确定的结果,当没有预先存储对应于用户话语的控制信息时,显示装置100可以基于从对话型服务器200接收的响应信息来执行对应于用户话语的功能。也就是说,显示装置可以基于从对话型服务器200接收的响应信息将对应于用户话语的响应消息作为图像和语音中的至少一个输出。
又例如,当收集到用于控制外部设备300的用户话语时,显示装置100将收集到的用户话语传送到对话型服务器200并且确定是否预先存储了对应于收集到的用户话语的控制信息。作为确定的结果,当没有预先存储对应于用户话语的控制信息时,显示装置100可以基于从对话型服务器200接收的响应信息来执行对应于用户话语的功能。也就是说,显示装置100可以基于从对话型服务器200接收的响应信息来控制外部设备300的功能。这里,外部设备300可以是连接至显示装置100的电子装置(例如,DVD播放器、机顶盒、音效设备、和游戏设备等等)。
根据示范性实施例的对话***中的显示装置100可以基于从对话型服务器200接收的响应信息来执行对应于用户意图的功能,并且可以基于预先存储的对应于用户话语的控制信息来执行对应于用户意图的功能。因此,显示装置100不仅仅可以最小化执行对应于用户话语的功能时的错误,还可以以快速处理速度来执行对应于用户话语的功能。
基于所接收的用户话语生成响应信息的对话型服务器200分析从显示装置100接收的用户话语的含义,生成用于控制显示装置100的操作的响应信息,并且将响应信息传送到显示装置100。例如,当从显示装置100接收到用户话语时,对话型服务器200可以从所接收的用户话语提取话语元素,基于所提取的话语元素生成与用户话语有关的响应信息,并且将所生成的响应信息传送到显示装置100。话语元素可以是用户话语中的、用于执行用户所请求的操作的关键字。例如,在用户话语为“这个星期六OOO(例如,广播节目名称)什么时间开始?”的情况下,话语元素可以是“这个”、“星期六”、“OOO(广播节目名称)”、“什么时间”、和“开始”等等。
当提取了话语元素时,对话型服务器200基于所提取的话语元素来生成用于执行与用户话语对应的操作的响应信息,并且将响应信息传送到显示装置100。
例如,显示装置100可以收集“这个星期六OOO(广播节目名称)什么时间开始?”的与EPG(电子节目指南)有关的用户话语。当收集到用户话语时,显示装置100将收集到的用户话语传送到对话型服务器200。如果用户话语是模拟信号,则显示装置100可以将收集到的用户话语转换成数字信号,并且将转换后的用户话语传送到对话型服务器200。当接收到被转换成数字信号的用户话语时,对话型服务器200基于转换后的用户话语生成文本信息,分析所生成的文本信息,并且生成对应于用户话语的响应信息。
然而,应当理解,另一个示范性实施例不限于此。例如,显示装置100可以不进行额外的信号处理而将收集到的用户话语传送到对话型服务器200。在这种情况下,对话型服务器200可以将从显示装置100接收的用户话语转换成数字信号,并且基于所转换的数字信号生成关于用户话语的文本信息。通过用户话语转换成文本信息是熟知的技术,因此省略其详细说明。
如上所述,当生成了关于用户话语“这个星期六OOO(广播节目名称)什么时间开始?”的文本信息时,对话型服务器200可以分析用户话语并且提取话语元素。例如,所提取的话语元素可以是“这个”、“星期六”、“OOO(广播节目名称)”、“什么时间”、和“开始”。当提取了话语元素时,对话型服务器200基于所提取的话语元素来生成关于相应的广播节目何时开始的广播时间信息的响应信息,并且将所述响应信息传送到显示装置100。因此,显示装置100可以基于所接收的响应信息以语音或文本格式图像来提取响应消息“OOO(广播节目名称)在7点整开始”。
又例如,当显示装置100从用户收集到用户话语“预约这个星期六开始的OOO(广播节目名称)”时,显示装置100将收集到的用户话语传送到对话型服务器200。在这种情况下,对话型服务器200基于所提取的话语元素生成用于执行“OOO”的预约录制功能的控制命令以及包括响应消息“已经预约了录制OOO”的响应信息,并且将控制命令和响应信息传送到显示装置100。因此,显示装置100可以基于所接收的响应信息,关于相应的广播节目运行预约的录制功能,并且以语音或文本格式图像来输出响应消息“已经预约了录制OOO”。
如上所述,对话型服务器200可以包括:第一服务器10,其将被转换成数字信号的用户话语转换成文本信息;和第二服务器20,其生成对应于用户话语的响应信息。现在将参考图2描述根据第二示范性实施例的、通过第一服务器10和第二服务器20将适于用户话语的响应信息提供给显示装置100的对话型***。
参考图2,当从用户收集到用户话语时,显示装置100确定是否预先存储了对应于收集到的用户话语的控制信息,将收集到的用户话语转换成数字信号,并且将转换后的用户话语传送到第一服务器10。当接收到被转换成数字信号的用户话语时,第一服务器10根据关于预先存储的各种用户话语的特定图案来生成关于用户话语的文本信息,并且将所述文本信息传送到显示装置100。
当从第一服务器10接收到关于用户话语的文本信息时,显示装置100将所接收的文本信息传送到第二服务器20。然而,示范性实施例不限于此,当接收到关于用户话语的文本信息时,第一服务器10可以将接收到的文本信息传送到第二服务器20。当通过显示装置100或从第一服务器10接收到从第一服务器10中生成的文本信息时,第二服务器20分析接收到的文本信息以提取话语元素,生成用于执行与用户话语对应的操作的响应信息,并且将响应信息传送到显示装置100。
图3示出根据示范性实施例的、在对话型***中执行与用户话语对应的操作的方法的过程。
参考图3,显示装置100从用户收集用户话语(操作S301)。当收集了用户话语时,显示装置100确定是否预先存储了对应于所收集的用户话语的控制信息(操作S302)。显示装置100将接收到的用户话语转换成数字信号并且将转换后的用户话语传送到第一服务器10(操作S303)。虽然为了方便说明而划分了用于确定是否预先存储了与用户话语对应的控制命令的阶段和用于将用户话语传送到第一服务器10的阶段,但是应当理解,步骤S302和S303可以同时执行。
当预先存储了关于所收集的用户话语的控制信息时,显示装置100基于预先存储的控制信息来执行对应于用户话语的操作而不使用从第一服务器10和第二服务器20接收的与用户话语有关的响应信息(操作S304)。然而,当没有预先存储关于所收集的用户话语的控制信息时,显示装置100可以基于从第一服务器10和第二服务器20接收的响应信息来执行对应于用户话语的操作。如上所述,从显示装置100接收到被转换成数字信号的用户话语的第一服务器10生成转换后的用户话语的文本信息(操作S305),并且将所生成的文本信息传送到显示装置100(操作S306)。接下来,显示装置100将从第一服务器10接收的文本信息传送到第二服务器20(操作S307)。从显示装置100接收到被转换成文本信息的用户话语的第二服务器20从所接收的文本信息中提取话语元素(操作S308)。已经通过图1和图2说明了在第二服务器20中从关于用户话语的文本信息中提取话语元素的操作,因此省略进一步的说明。
当提取了话语元素时,第二服务器20基于所提取的话语元素来生成用于执行对应于用户话语的功能的响应信息(操作S309),并且将所生成的响应信息传送到显示装置100(操作S310)。因此,显示装置100基于对应于用户话语的响应信息来执行对应于用户话语的操作(操作S311)。
如上所述,当收集到用于音量操纵的用户话语时,显示装置100确定是否预先存储了对应于用户话语的控制信息,将所收集的用户话语转换成数字信号以便从第二服务器20接收对应于用户话语的响应信息,并且将转换后的用户话语传送到第一服务器10。当预先存储了对应于用户话语的控制信息时,显示装置100可以基于预先存储的控制信息来调节音量。也就是说,当预先存储了对应于用户话语的控制信息时,显示装置100可以在从第二服务器20接收到响应信息之前基于预先存储的控制信息来调节音量。
然而,当没有预先存储对应于用户话语的控制信息时,显示装置100可以基于从第二服务器20接收的响应信息来执行对应于用户话语的功能。例如,显示装置100可以基于从第二服务器20接收的响应信息将对应于用户话语的响应消息作为语音或图像来输出。
如上所述,当收集到用户话语时,显示装置100不仅仅可以在内部确定关于所收集的用户话语的用户意图,还可以通过第一服务器10和第二服务器20来进行确定。因此,显示装置100不仅仅可以响应于用户话语执行功能,还可以最小化关于用户话语的响应错误。
图4是根据示范性实施例的显示装置的框图。
参考图4,显示装置100包括语音接收器110、通信器120、存储单元130、和控制器140。
语音接收器110从用户接收用户话语。更具体地说,当收集到模拟类型的用户话语时,语音接收器110对所收集的用户话语进行采样并且将结果转换成数字信号。在存在噪音(例如,空调声音、真空吸尘器声音、和音乐声等等)的情况下,语音接收器110可以移除噪音,并且将已经移除了噪音的用户话语转换成数字信号。
当通过语音接收器110将用户话语转换成了数字信号时,通信器120将所转换的数字信号传送到对话型服务器200,并且接收对应于所传送的用户话语的响应信息。通信器120可以包括各种通信模块,诸如短距离无线通信模块(未示出)、无线通信模块(未示出)等等。短距离无线通信模块是用于执行与位于短距离内的对话型服务器200和外部设备300的无线通信的通信模块,例如,蓝牙或紫蜂等等。无线通信模块是连接至外部网络的模块,并且根据诸如Wifi和电气和电子工程师协会(IEEE)等等的无线通信协议进行通信。此外,无线通信模块还可以包括移动通信模块,所述移动通信模块访问移动通信网络并且根据诸如3G(第三代)、3GPP(第三代合作伙伴计划)、LTE(长期演进)等等的各种移动通信标准来执行通信。
虽然提供与用户话语对应的响应信息的对话型服务器200可以包括将被转换成数字信号的用户话语转换成文本信息的第一服务器、以及分析转换后的用户话语并且生成与所述用户话语对应的响应信息的第二服务器20,但是将基于通过对话型服务器200生成的、对应于用户话语的响应信息来说明示范性实施例。
存储单元130可以具体体现为其中存储了用于操作显示装置100的各种程序的记录介质,诸如HDD(硬盘驱动器)、存储器等等。例如,存储单元130可以具有用于存储用来执行控制器140的操作的程序的ROM、和用于根据操作的运行而临时存储数据的RAM。此外,存储单元130可以具有用于存储各种参考数据的EEROM(电可擦除可编程ROM)。存储单元130存储对应于每个用户话语的控制信息。更具体地说,存储单元130存储对应于用于调节音量、频道、和分辨率等等的用户话语的控制信息。控制信息是用于将显示装置100的功能调节到预定目标值的信息,并且可以由制造商初始确定。
输入器150是接收各种用户操纵并且将所接收的各种用户操纵传送到控制器140的输入装置。输入器150可以具体体现为输入面板。输入面板可以是具有各种功能键、数字键、特殊键、和字母键等等的触摸垫、小键盘、或触摸屏。输入器150可以具体体现为用于接收从用于控制显示装置100的遥控器所传送的遥控信号的RI接收器(未示出)。通过输入器150,用于控制显示装置100的功能的各种用户操纵可以被输入。例如,当显示装置100被具体体现为智能TV时,输入器150可以接收用于控制诸如电源开启/关闭、频道改变、和音量改变等等的智能TV功能的用户操纵。
控制器140通过通信器120将通过语音接收器110收集的用户话语传送到对话型服务器200,并且确定对应于所收集的用户话语的控制信息是否存储在存储单元130中。作为确定的结果,如果对应于用户话语的控制信息存储在存储单元130中,则控制器140基于所存储的控制信息来执行对应于用户话语的操作,并且当通过通信器120从对话型服务器200接收到对应于用户话语的响应信息时,关于所接收的响应信息不执行另外的操作。然而,当确定对应于所收集的用户话语的控制信息没有存储在存储单元130中时,控制器140基于通过通信器120从对话型服务器200接收的响应信息来执行对应于用户话语的操作。响应信息是用于控制显示装置100的功能的控制命令或对应于用户话语的响应消息中的一个。因此,当从对话型服务器200接收到响应信息时,控制器140可以基于所接收的响应信息通过输出器160(待说明)来输出响应消息或者控制所述显示装置的功能。
根据示范性实施例的一个方面,当在预定时间内没有基于存储在存储单元130中的控制信息来执行对应于用户话语的操作时,控制器140可以基于从对话型服务器200接收的响应信息来执行对应于用户话语的操作。
显示装置100可以包括输出图像和语音的输出器160。更具体地说,输出器160可以以文本类型图像来输出与用户话语有关的响应消息或者确认消息。响应消息可以是基于从对话型服务器200接收的响应信息而生成的消息,而确认消息可以是与存储在存储单元130中的多个控制信息当中的至少一个控制信息相匹配的消息。输出响应消息或者确认消息的输出器160可以包括显示器161和音频输出器163。更具体地说,显示器161可以具体体现为液晶显示器(LCD)、有机发光二级管显示器(OLED)、等离子显示面板(PDP)等等。显示器161可以以图像格式的文本来显示与用户话语有关的响应消息或者确认消息。显示器161可以具体体现为由交互的层结构和触摸垫组成的触摸屏形式,并且所述触摸屏可以被配置为检测由触摸输入引起的触摸输入位置、大小、区域、和压力。
音频输出器163可以具体体现为诸如扬声器、插孔等等的输出端口,来以可听见的声音格式输出与用户话语有关的响应消息或确认消息。
如上所述,存储单元130可以将确认消息与关于每个用户话语的控制信息当中的至少一个控制信息匹配并且存储结果。因此,当确认消息与对应于所收集的用户话语的控制信息相匹配时,通过输出器160输出与对应于用户话语的控制信息相匹配的确认消息。当通过输出器160输出确认消息并且通过语音接收器110收集到用户话语时,控制器140基于与通过输出器160输出的确认消息相匹配的控制信息来控制显示装置100的功能。然而,示范性实施例不限于此,控制器140通过输出器160输出确认消息,并且当通过语音接收器110收集到另外的用户话语时,控制器140分析所收集的另外的用户话语,获取对应于另外的用户话语的新的控制信息,并且基于新的控制信息来控制显示装置100的功能。
当在基于对应于用户话语的控制信息调节了显示装置100的功能之后收集到另外的用户话语时,控制器140可以基于所收集的另外的用户话语来重新调节显示装置100的功能。如上所述,控制信息是关于每个用户话语的用于将显示装置100的功能调节到预定目标值的信息。因此,控制器140基于对应于用户话语的控制信息来将显示装置100的功能调节到预定目标值,并且当从用户收集到另外的用户话语时,控制器140确定对应于所收集的另外的用户话语的控制信息是否被存储在存储单元130中。当确定存储了对应于另外的用户话语的控制信息时,控制器140可以基于相应的控制信息来将显示装置100的功能重新调节到预定目标值。
现在将描述在显示装置100中基于对应于用户话语的控制信息来控制显示装置100的功能的操作。
【表格1】
用户话语 | 功能调节单位 |
非常大声(very loud) | 当前值+10 |
很大声(very high) | 当前值+5 |
安静 | 当前值-5 |
非常安静 | 当前值-10 |
适中 | 10 |
嘘 | 静音 |
表格1是显示与关于音量调节的每个用户话语对应的功能调节单位的表格。所述表格可以存储在存储单元130中。当收集到用户话语“将音量调到非常大声”时,控制器140通过通信器120将所收集的用户话语传送到对话型服务器200,分析用户话语“将音量调到非常大声”以理解用户意图。例如,控制器140可以从用户话语“将音量调到非常大声”理解用户意图是要将音量调到非常大声。因此,控制器140基于用户意图从与音量调节有关的表格中获取目标值“当前值+10”。接下来,控制器140可以基于所获取的目标值来调节音量。例如,当当前音量值是5时,控制器140可以基于所获取的目标值将音量值从5调节到15。
可替换地,当收集到用户话语“将音量调小”时,控制器140可以分析所收集的用户话语并且理解用户意图是要将音量调节到安静。因此,控制器140基于用户意图从与音量调节有关的表格中获取目标值“当前值-5”。接下来,控制器140可以基于所获取的目标值来调节当前音量。例如,当当前音量值是10时,控制器140可以基于所获取的目标值将当前音量值从10调节到5。
然而,当没有从用户话语中准确理解用户意图时,控制器140可以通过输出器160输出确认消息。
【表格2】
用户话语 | 确认消息 | 功能调节单位 |
安静 | 调低音量? | 当前值-5 |
太大声 | 调低音量? | 当前值-5 |
我听不见你说话 | 调低音量? | 当前值+5 |
表格2是关于用户话语的将确认消息与量化的功能调整单位相匹配的表格,并且可以存储在存储单元130中。当从用户收集到用户话语“太大声”时,控制器140可以通过通信器120将所收集的用户话语传送到对话型服务器200,并且可以从用户话语“太大声”中理解用户意图是要调低音量。因此,控制器140可以基于用户意图从与音量调节有关的表格中获取目标值“当前值-5”。
当确认消息与所获取的目标值相匹配时,控制器140通过输出器160以语音和图像中的至少一个来输出确认消息“调低音量?”。接下来,当在预定时间内收集到另外的用户话语时,控制器140分析所收集的另外的用户话语并且理解用户意图。例如,当当前音量值是10时,控制器140可以基于所获取的目标值“当前音量-5”将当前音量值从10调节到5。
如上所述,从用户话语中理解用户意图并且根据基于所理解的用户意图的目标值来调节显示装置100的功能的控制器140可以调节显示装置100的功能,以及基于另外的用户话语来重新调节所调节的功能。
【表格3】
用户话语 | 功能调节单位 |
太大声/调得太高 | 当前值-3 |
太小声/调得太低 | 当前值+5 |
表格3是对于关于音量重新调节的每个用户话语量化功能调节单位的表格,其可以存储在存储单元130中。当在预定时间内从用户收集到另外的用户话语“太大声”时,已经基于与先前的用户话语对应的目标值调节了音量的控制器140通过通信器120将所收集的另外的用户话语传送到对话型服务器200,分析另外的用户话语“太大声”,并且理解用户意图。也就是说,当在预定时间内收集到另外的用户话语“太大声”时,控制器140理解用户意图是要重新调节所调节的音量。因此,控制器140可以基于存储在存储单元130中的关于音量重新调节的表格来获取目标值“当前值-3”。
例如,当对于已经基于先前的话语而被调节到15的当前音量值,关于音量重新调节获取了目标值“当前值-3”时,控制器140可以基于所获取的目标值来将音量值从15重新调节到12。
当通过表格1到3中的至少一个没有获取到对应于用户话语的目标值时,控制器140可以基于通过通信器120从对话型服务器200接收的响应信息来输出响应消息或者调节显示装置100的功能。
例如,当从用户输入用户话语“预约今天播出的OOO(广播节目名称)”时,控制器140将用户话语转换成数字信号并且将数字信号传送到对话型服务器200。因此,对话型服务器200生成关于用户话语“预约今天播出的OOO(广播节目名称)”的文本信息,从文本信息中提取话语元素“今天”、“OOO(广播节目名称)”、“录制”,基于所提取的话语元素来确定EPG相关功能,并且将关于对OOO(广播节目名称)的预约录制的控制命令和响应消息“已经预约了对OOO(广播节目名称)的录制”传送到显示装置100。
因此,控制器140根据包括在所接收的响应信息中的控制命令来确定关于OOO(广播节目名称)的预约录制。此外,控制器140基于包括在所接收的响应信息中的响应消息,通过图像和语音中的至少一个来控制输出器160输出响应消息“已经预约了对OOO(广播节目名称)的录制”。因此,输出器160可以以语音或文本格式图像来输出响应消息“已经预约了对OOO(广播节目名称)的录制”。
现在将描述生成与从显示装置100接收的用户话语对应的响应信息以及将所述响应信息从对话型服务器200传送到显示装置100的详细操作。
图5是根据示范性实施例的对话型服务器的框图。
参考图5,对话型服务器200包括通信器210、提取器220、存储单元230、和控制器240。
通信器210执行与显示装置100的通信,而提取器220从通过通信器210从显示装置100接收的用户话语中提取话语元素。存储单元230存储针对每个用户的对话历史信息以及EPG信息。控制器240基于根据通过提取器220提取的、关于用户话语的话语元素而分类的功能,生成不同形式的、对应于用户话语的响应信息。例如,分类为话语元素的功能可以包括显示装置100的操作控制功能和EPG相关功能中的至少一个。因此,控制器240可以根据所提取的话语元素来确定用户话语是与EPG有关还是用于控制显示装置100的操作,并且根据确定的结果来生成对应于用户话语的响应信息。
在所提取的话语元素是与EPG有关的话语元素的情况下,控制器240基于预先存储在存储单元230中的EPG信息来确定是否有可能提供对应于用户话语的EPG信息。作为确定的结果,如果有可能提供EPG信息,则控制器240基于EPG信息来生成对应于用户话语的响应信息,并且,如果不可能提供EPG信息,则控制器240基于预先存储在存储单元230中的EPG信息和网络搜索中的至少一个来生成与用户话语有关的响应信息。
更具体地说,当接收到关于用户话语的文本信息时,提取器220可以从所接收的文本信息中提取包括对话行为、主要目标、和核心元素的话语元素。对话行为可以是指示用户话语的言外之力(illocutionary force)的标签,例如陈述、请求、疑问等等。主要目标可以是指示用户话语中的实际用户意图的标签,例如,TV开启/关闭、节目搜索、节目时间搜索、和节目预约等等。此外,主要目标可以是流派、节目名称、时间、频道名称、和男演员/女演员姓名。
例如,在用户话语“OOO(广播节目名称)什么时间开始?”的情况下,对话行为可以是“?”,而主要目标可以是“开始”的节目时间搜索。此外,核心元素可以是“OOO(广播节目名称)节目名字”的节目名称。因此,当接收到关于用户话语“OOO(广播节目名称)什么时间开始?”的文本信息时,可以从所接收的文本信息中提取包括对话行为、主要目标、和核心元素的话语元素。当提取了话语元素时,控制器240可以参考存储在存储单元230中的EPG信息来确定所提取的话语元素是否是与EPG信息有关的元素。当控制器240确定从用户话语中提取的话语元素是与EPG信息有关的元素时,控制器240确定所提取的话语元素是否满足对应于用户话语的响应信息。
当所提取的话语元素包括对话行为、主要目标、和核心元素时,控制器240可以确定所提取的话语元素是否满足生成对应于用户话语的响应信息的条件。然而,当用户话语“它什么时间开始?”仅仅包括关于对话行为“?”和主要目标“开始”的话语元素时,控制器240确定所提取的话语元素不能满足生成对应于用户话语的响应信息的全部条件,并且基于预先存储在存储单元230中的对话历史信息来生成询问关于核心元素的话语元素的替换性响应信息。例如,控制器240可以生成与问题“哪个广播节目?”有关的响应信息。
当通过这样的操作满足了生成对应于用户话语的响应信息的条件时,控制器240可以基于存储在存储单元230中的EPG信息,确定是否有可能根据所提取的话语元素来提供EPG信息。作为确定的结果,当有可能根据话语元素来提供EPG信息时,控制器240基于EPG信息来生成对应于用户话语的响应信息,而当不可能提供EPG信息时,控制器240可以生成与用户话语有关的替换性响应信息。
例如,在用户话语“请预约这个星期播出的OOO(广播节目名称)!”的情况下,话语元素可以是“这个星期”、“OOO(广播节目名称)”、“录制”、“请”。当提取了这些话语元素时,控制器240可以从存储在存储单元230中的EPG信息中获取关于OOO(广播节目名称)的节目信息和节目开始时间信息。因此,控制器240可以生成这样的响应信息,其包括基于预先存储在存储单元230中的对话历史信息而生成的响应消息,以及基于所获取的节目信息和开始时间信息的与关于OOO(广播节目名称)的预约录制有关的控制命令。
在用户话语“在OOO(广播节目名称)出演的主要人物是谁?”的情况下,话语元素可以是“OOO(广播节目名称)”、“主要人物”、“谁”。当提取了话语元素时,控制器240检查存储在存储单元230中的EPG信息当中是否存在OOO(广播节目名称)的主要人物信息。作为检查的结果,当不可能从预先存储的EPG信息中获取关于OOO(广播节目名称)的主要人物的信息时,控制器240生成替换性响应信息,询问是否通过EPG信息或者网络搜索来接收与用户话语有关的替换性信息。例如,当从所述EPG信息中输入了接收替换性信息的用户话语时,控制器240从预先存储的EPG信息中获取OOO(广播节目名称)的演员表信息。也就是说,当通过EPG信息获取了与所述用户话语有关的替换性信息时,控制器240可以基于预先存储在存储单元230中的对话历史信息来生成包括所获取的替换性信息的替换性响应信息。
当所提取的话语元素是与EPG信息有关的元素时,控制器240确定所提取的话语元素是否是关于多个请求的、与EPG有关的话语元素。如果话语元素是关于多个请求的、与EPG有关的话语元素,则控制器240可以生成用于重新请求显示装置100中的用户话语的话语重新请求消息。
例如,在用户话语“请录制这个星期播出的OOO(广播节目名称),并且预约观看△△△(广播节目名称)!”的情况下,话语元素可以是“这个星期”、“OOO(广播节目名称)”、“△△△(广播节目)”、“录制”、“观看”和“请”。当提取了这些话语元素时,控制器240确定在所提取的话语元素中存在关于多个请求的话语元素“OOO(广播节目名称)”、“△△△(广播节目)”、“录制”、和“观看”。因此,控制器240可以基于预先存储在存储单元230中的对话历史信息来生成话语语音重新请求消息“只请求一个”。
在所提取的话语元素是与显示装置100的操作控制有关的话语元素的情况下,控制器240确定与用户话语对应的、对显示装置100的操作的控制是否是有可能的。作为确定的结果,如果对显示装置100的操作的控制是有可能的,则控制器240可以生成用于控制显示装置100的操作的响应信息。
存储单元230可以存储可以控制显示装置100的操作的指南(manual)信息。指南信息包括可以根据用户话语来控制显示装置100的操作的信息、以及可以根据除了用户话语之外的控制命令来控制显示装置100的操作的信息。因此,当提取了与显示装置100的控制有关的话语元素时,控制器240基于预先存储在存储单元230中的指南信息来确定是否根据用户话语来控制显示装置100的操作。作为确定的结果,如果有可能根据用户话语来控制显示装置100的操作,则控制器240可以生成包括用于执行对应于用户话语的操作的控制命令的响应信息。
例如,在用户话语“请把频道改变为MBC!”中,话语元素可以是“MBC”、“频道”、和“改变”。当提取了话语元素时,控制器240确定所提取的话语元素与显示装置100的控制的功能有关。接下来,控制器240参考预先存储在存储单元230中的指南信息来确定是否有可能根据所提取的话语元素改变显示装置100的频道。当有可能改变显示装置100的频道时,控制器240可以生成包括用于将当前频道改变为MBC的控制命令的响应信息。
当不可能根据用户话语来控制显示装置100的操作时,控制器240可以生成与显示装置100的操作控制方法和当前状态通知中的至少一个有关的响应信息。
例如,在用户话语“请使屏幕更亮!”中,话语元素可以是“屏幕”、“更亮”、和“请”。当提取了话语元素时,控制器240确定话语元素与显示装置100的功能控制有关。接下来,控制器240参考预先存储的指南信息来确定是否有可能根据所提取的话语元素进行显示装置100的屏幕调节。如果显示装置100的屏幕调节是不可能的,则控制器240可以参考存储在存储单元230中的指南信息来生成关于显示装置100的屏幕调节的响应信息。
图6是根据示范性实施例的、显示装置中用于基于用户话语执行操作的控制方法的流程图。
参考图6,显示装置从用户收集用户话语(操作S610)。当收集到用户话语时,显示装置将所收集的用户话语传送到对话型服务器,并且确定是否预先存储了对应于所收集的用户话语的控制信息(操作S620、S630)。作为确定的结果,当没有预先存储对应于所收集的用户话语的控制信息时,显示装置基于从对话型服务器接收的响应信息来执行对应于用户话语的操作(操作S640)。当预先存储了对应于所收集的用户话语的控制信息时,显示装置基于预先存储的控制信息来执行对应于用户话语的操作(操作S650)。在基于预先存储的控制信息执行对应于用户话语的操作中,当从对话型服务器接收到响应信息时,所期望的是不基于所接收的响应信息执行另外的操作。
当在预定时间内没有基于所获取的控制信息执行对应于用户话语的操作时,显示装置可以基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
例如,当收集到用于音量操纵的用户话语时,显示装置将所收集的用户话语传送到对话型服务器,并且确定是否预先存储了对应于用户话语的控制信息。作为确定的结果,当预先存储了对应于用户话语的控制信息时,显示装置可以基于预先存储的控制信息来调节音量。也就是说,当预先存储了对应于用户话语的控制信息时,显示装置可以在从对话型服务器接收到响应信息之前基于预先存储的控制信息来调节音量。
当收集到用于提供内容信息的用户话语时,显示装置确定是否预先存储了对应于所收集的用户话语的控制信息。当确定没有预先存储对应于用户话语的控制信息时,显示装置可以基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。也就是说,显示装置可以基于从对话型服务器接收的响应信息,将对应于用户话语的响应消息作为图像和语音中的至少一个输出或者控制显示装置的功能。
显示装置可以基于从对话型服务器接收的响应信息来执行用户意图的功能,并且可以基于对应于用户话语的控制信息来执行功能。因此,显示装置不仅仅可以最小化执行对应于用户话语的功能时的错误,还可以以更快的处理速度来执行对应于用户话语的功能。
现在将描述在显示装置中执行对应于用户话语的操作的方法。
图7是根据示范性实施例的、用于在显示装置中执行对应于用户话语的操作的方法的流程图。
参考图7,当收集到用户话语时,显示装置确定是否预先存储了对应于所收集的用户话语的控制信息。作为确定的结果,当预先存储了对应于用户话语的控制信息时,显示装置获取相应的控制信息并且确定确认消息是否与所获取的控制信息相匹配(操作S710)。这里,控制信息是用于将关于每个用户话语的、显示装置的功能调节到预定目标值的信息。因此,显示装置确定是否预先存储了相应的目标信息,并且确定确认消息是否与目标信息相匹配。
作为确定的结果,如果确定所述确认消息与对应于用户话语的控制信息相匹配,则显示装置将相应的确认消息作为语音或图像来输出(操作S720)。
接下来,显示装置确定是否收集到额外的用户话语(操作S730),并且当收集到额外的用户话语时,显示装置获取对应于额外的用户话语的控制信息(操作S740)。接下来,显示装置基于所获取的控制信息来调节显示装置的功能(操作S750)。然而,当在阶段S710中所述确认消息不与所获取的控制信息相匹配时,显示装置可以基于所述控制信息来调节显示装置的功能(操作S750)。
更具体地说,如表格1中所示,显示装置可以存储量化与关于音量调节的每个用户话语有关的功能调节单位的表格。当收集到用户话语“将音量调到非常大声”时,显示装置可以从所收集的用户话语中理解用于将音量调节到非常大声的用户意图。因此,基于所述用户意图从与音量调节有关的表格1中获取目标值“当前值+10”。接下来,显示装置确认关于目标值“当前值+10”的确认消息是否匹配,并且如果确定所述确认消息匹配,则有可能基于目标值“当前值+10”来调节当前音量。
如表格2中所说明的,当从用户收集到用户话语“太大声”时,显示装置可以从所收集的用户话语中理解用户意图是要将音量调到很小。因此,显示装置可以基于用户意图从与音量调节有关的表格2中获取目标值“当前值-5”。当匹配了关于所获取的目标值“当前值-5”的确认消息时,显示装置将确认消息“调低音量?”作为语音或图像中的至少一个来输出。接下来,当在预定时间内收集到另外的用户话语时,分析所收集的另外的用户话语来理解用户意图。
当所收集的另外的用户话语是关于响应的话语时,显示装置可以基于从另外的用户话语中获取的目标值来调节当前音量。
当在基于对应于用户话语的目标值来调节了显示装置的功能之后收集到另外的用户话语时,显示装置可以基于所收集的另外的用户话语来重新调节所调节的功能。
如表格3中所说明的,显示装置可以基于对应于先前的用户话语的目标值来调节音量,并且在预定时间内从用户收集另外的用户话语“声音太大”。在这种情况下,显示装置可以分析所收集的另外的用户话语来理解用户意图是要重新调节所调节的音量。显示装置可以从与音量重新调节有关的表格3中获取目标值“当前值-3”。当获取了目标值时,显示装置可以基于对应于另外的用户话语的目标值,对已经基于对应于先前的用户话语的目标值调节过的音量值进行重新调节。
如上所述,当收集到用户话语时,显示装置将用户话语传送到对话型服务器,并且确定是否预先存储了对应于所收集的用户话语的控制信息。因此,对话型服务器基于从显示装置接收的用户话语生成响应信息,并且将所生成的响应信息传送到显示装置。对话型服务器可以包括:第一服务器,其将所接收的用户话语转换成文本信息;和第二服务器,其生成与被转换成文本信息的用户话语对应的响应信息。更具体地说,当收集到用户话语时,第一服务器将所收集的用户话语转换成文本信息并且将所述文本信息传送到显示装置。接下来,当从第一服务器接收到关于用户话语的文本信息时,显示装置将所接收的文本信息传送到第二服务器。然而,示范性实施例不限于此,第一服务器可以生成关于用户话语的文本信息并且将所述文本信息传送到第二服务器。因此,第二服务器基于从第一服务器或显示装置接收的文本信息来生成响应信息,并且将所生成的响应信息传送到显示装置。
因此,当没有预先存储对应于所收集的用户话语的控制信息时,显示装置可以基于从对话型服务器的第二服务器接收的响应信息来输出响应消息或者控制对应于用户话语的功能。
虽然不限于此,但是示范性实施例可以被写成计算机程序并且可以在使用计算机可读记录介质来运行程序的通用数字计算机中实施。计算机可读记录介质的示例包括磁存储介质(例如,ROM、软盘、硬盘等等.)和光记录介质(例如,CD-ROM、或DVD)。并且,示范性实施例可以被写成这样的计算机程序,其通过诸如载波的计算机可读传输介质来传送,并且在运行程序的通用数字计算机中被接收和实施。此外,虽然没有在所有的方面都被要求,但是上述装置的一个或多个单元或元素可以包括运行存储在计算机可读介质中的计算机程序的处理器或微处理器。
虽然已经示出和描述了本发明的少数实施例,但是本领域技术人员将理解,可以在这些示范性实施例中进行改变而不脱离本发明构思的原理和精神,所述发明构思的范围在权利要求及其等效物中被定义。
Claims (14)
1.一种显示装置,包括:
语音收集器,其收集用户话语;
通信器,其将用户话语传送到对话型服务器并且接收基于用户话语生成的响应信息;
存储单元,其存储对应于每个用户话语的控制信息;和
控制器,其在将所收集的用户话语传送到对话型服务器的同时确定对应于所收集的用户话语的控制信息是否存储在存储单元中,
其中,当对应于所收集的用户话语的控制信息存储在存储单元中时,所述控制器基于所存储的控制信息来执行对应于用户话语的操作,而当对应于所收集的用户话语的控制信息没有存储在存储单元中时,所述控制器基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
2.根据权利要求1所述的显示装置,
其中,当在预定时间内没有基于存储在存储单元中的控制信息来执行对应于用户话语的操作时,所述控制器基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
3.根据权利要求1所述的显示装置,
还包括输出器,其输出图像和语音,
其中所述存储单元将确认消息与每个用户话语的控制信息当中的至少一个控制信息进行匹配并且存储,并且
当将确认消息与对应于所收集的用户话语的控制信息相匹配时,所述控制器通过所述输出器输出所述确认消息,并且当收集到另外的用户话语时,控制器基于所述控制信息控制显示装置的功能。
4.根据权利要求3所述的显示装置,
其中,所述控制信息是用于将显示装置的功能调节到对应于每个用户话语的预定目标值的信息。
5.根据权利要求4所述的显示装置,
其中,当在显示装置的功能被调节到预定目标值之后收集到另外的用户话语时,所述控制器重新调节显示装置的功能。
6.根据权利要求1-3中的任何一个所述的显示装置,
其中所述响应信息是对应于用户话语的响应消息或用于控制显示装置的功能的控制命令中的一个。
7.根据权利要求1-5中的任何一个所述的显示装置,
其中,所述对话型服务器包括将所收集的用户话语转换成文本信息的第一服务器、和生成对应于被转换成文本信息的用户话语的响应信息的第二服务器,并且
所述控制器将所收集的用户话语转换成数字信号并且将所述数字信号传送到第一服务器,并且当从第一服务器接收到关于所述用户话语的文本信息时,所述控制器将所述文本信息传送到第二服务器以便接收对应于所述用户话语的响应信息。
8.一种控制显示装置的方法,该方法包括:
收集用户话语;
在将所收集的用户话语传送到对话型服务器的同时确定是否预先存储了对应于所收集的用户话语的控制信息;
作为确定的结果,当预先存储了对应于所收集的用户话语的控制信息时,基于预先存储的控制信息来执行对应于用户话语的操作,而如果没有预先存储对应于所收集的用户话语的控制信息,则基于从对话型服务器接收的响应信息来执行对应于用户话语的操作。
9.根据权利要求8所述的控制显示装置的方法,
还包括在所述确定之后从对话型服务器接收对应于所收集的用户话语的响应信息,
其中,当在预定时间内没有基于预先存储的控制信息来执行对应于用户话语的操作时,所述执行操作基于所述响应信息来执行对应于用户话语的操作。
10.根据权利要求8所述的控制显示装置的方法,
其中,当将确认消息与对应于所收集的用户话语的控制信息相匹配时,所述执行操作输出所述确认消息,并且基于所述控制信息控制显示装置的功能。
11.根据权利要求10所述的控制显示装置的方法,
其中,所述控制信息是用于将显示装置的功能调节到对应于每个用户话语的预定目标值的信息。
12.根据权利要求8、9中的任何一个所述的控制显示装置的方法,
其中,当在显示装置的功能被调节到预定目标值之后收集到另外的用户话语时,所述执行操作基于对应于所述另外的用户话语的控制信息来重新调节显示装置的功能。
13.根据权利要求8-10中的任何一个所述的控制显示装置的方法,
其中所述响应信息是对应于用户话语的响应消息或用于控制显示装置的功能的控制命令中的一个。
14.根据权利要求8-11中的任何一个所述的控制显示装置的方法,
其中,所述对话型服务器包括将所收集的用户话语转换成文本信息的第一服务器、和生成与被转换成文本信息的用户话语对应的响应信息的第二服务器,并且
所述执行操作将所收集的用户话语转换成数字信号并且将所述数字信号传送到第一服务器,并且当从第一服务器接收到关于所述用户话语的文本信息时,所述执行操作将所述文本信息传送到第二服务器以便接收对应于所述用户话语的响应信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2012-0158296 | 2012-12-31 | ||
KR1020120158296A KR20140087717A (ko) | 2012-12-31 | 2012-12-31 | 디스플레이 장치 및 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103916686A true CN103916686A (zh) | 2014-07-09 |
Family
ID=50028694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310750792.XA Pending CN103916686A (zh) | 2012-12-31 | 2013-12-31 | 显示装置及其控制方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140188486A1 (zh) |
EP (1) | EP2750027A3 (zh) |
JP (1) | JP2014134791A (zh) |
KR (1) | KR20140087717A (zh) |
CN (1) | CN103916686A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104904227A (zh) * | 2013-01-07 | 2015-09-09 | 三星电子株式会社 | 显示设备以及用于控制显示设备的方法 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140087717A (ko) * | 2012-12-31 | 2014-07-09 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
KR102209519B1 (ko) * | 2014-01-27 | 2021-01-29 | 삼성전자주식회사 | 음성 제어를 수행하는 디스플레이 장치 및 그 음성 제어 방법 |
JP2016061970A (ja) * | 2014-09-18 | 2016-04-25 | 株式会社東芝 | 音声対話装置、方法およびプログラム |
KR102298767B1 (ko) | 2014-11-17 | 2021-09-06 | 삼성전자주식회사 | 음성 인식 시스템, 서버, 디스플레이 장치 및 그 제어 방법 |
TWI555393B (zh) * | 2015-08-24 | 2016-10-21 | 晨星半導體股份有限公司 | 電視節目智慧播放方法與其控制裝置 |
KR102420518B1 (ko) * | 2015-09-09 | 2022-07-13 | 삼성전자주식회사 | 자연어 처리 시스템, 자연어 처리 장치, 자연어 처리 방법 및 컴퓨터 판독가능 기록매체 |
KR101965880B1 (ko) * | 2017-03-30 | 2019-04-04 | 엘지전자 주식회사 | 음성 인식 방법 |
KR20180110974A (ko) * | 2017-03-30 | 2018-10-11 | 엘지전자 주식회사 | 음성 서버, 음성 인식 서버 시스템 및 그 동작 방법 |
KR102112565B1 (ko) * | 2017-05-19 | 2020-05-19 | 엘지전자 주식회사 | 홈 어플라이언스 및 음성 인식 서버 시스템의 동작 방법 |
CN107767869B (zh) * | 2017-09-26 | 2021-03-12 | 百度在线网络技术(北京)有限公司 | 用于提供语音服务的方法和装置 |
KR102080931B1 (ko) * | 2017-11-14 | 2020-02-24 | (주) 엔에이치엔다이퀘스트 | 음성 대화 제어 방법 및 장치 |
WO2021054495A1 (ko) * | 2019-09-19 | 2021-03-25 | 엘지전자 주식회사 | 디스플레이 장치 및 인공 지능 서버 |
EP4037323A4 (en) * | 2019-09-24 | 2023-05-10 | LG Electronics Inc. | ARTIFICIAL INTELLIGENCE SERVER AND ASSOCIATED OPERATING METHOD |
WO2021060590A1 (ko) * | 2019-09-27 | 2021-04-01 | 엘지전자 주식회사 | 디스플레이 장치 및 인공 지능 시스템 |
JP7482417B2 (ja) * | 2021-04-06 | 2024-05-14 | パナソニックIpマネジメント株式会社 | 発話機器の発話テスト方法、発話テストサーバ、発話テストシステム、および発話テストサーバと通信する端末で使用されるプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100057450A1 (en) * | 2008-08-29 | 2010-03-04 | Detlef Koll | Hybrid Speech Recognition |
US20120042343A1 (en) * | 2010-05-20 | 2012-02-16 | Google Inc. | Television Remote Control Data Transfer |
US20120226502A1 (en) * | 2011-03-01 | 2012-09-06 | Kabushiki Kaisha Toshiba | Television apparatus and a remote operation apparatus |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2830460B2 (ja) * | 1990-11-19 | 1998-12-02 | 松下電器産業株式会社 | 音声制御装置 |
US5774859A (en) * | 1995-01-03 | 1998-06-30 | Scientific-Atlanta, Inc. | Information system having a speech interface |
JP2001197379A (ja) * | 2000-01-05 | 2001-07-19 | Matsushita Electric Ind Co Ltd | 機器設定装置、機器設定システムおよび機器設定処理プログラムを記録した記録媒体 |
JP2002041276A (ja) * | 2000-07-24 | 2002-02-08 | Sony Corp | 対話型操作支援システム及び対話型操作支援方法、並びに記憶媒体 |
JP2003223314A (ja) * | 2002-01-31 | 2003-08-08 | Canon Inc | 情報処理装置及びその方法、プログラム |
US7398209B2 (en) * | 2002-06-03 | 2008-07-08 | Voicebox Technologies, Inc. | Systems and methods for responding to natural language speech utterance |
JP3862169B2 (ja) * | 2002-12-05 | 2006-12-27 | オムロン株式会社 | 音声認識サービス仲介システムと、それに用いる音声認識マスター参照方法 |
JP2007033901A (ja) * | 2005-07-27 | 2007-02-08 | Nec Corp | 音声認識システム、音声認識方法、および音声認識用プログラム |
JP5283947B2 (ja) * | 2008-03-28 | 2013-09-04 | Kddi株式会社 | 携帯端末の音声認識装置、音声認識方法、音声認識プログラム |
KR101502003B1 (ko) * | 2008-07-08 | 2015-03-12 | 엘지전자 주식회사 | 이동 단말기 및 그 텍스트 입력 방법 |
US20120089392A1 (en) * | 2010-10-07 | 2012-04-12 | Microsoft Corporation | Speech recognition user interface |
JP5584603B2 (ja) * | 2010-12-06 | 2014-09-03 | 富士通テン株式会社 | 情報提供システムおよび情報提供装置 |
EP4235365A3 (en) * | 2011-08-05 | 2023-11-01 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same |
US20130033644A1 (en) * | 2011-08-05 | 2013-02-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
JP5658641B2 (ja) * | 2011-09-15 | 2015-01-28 | 株式会社Nttドコモ | 端末装置、音声認識プログラム、音声認識方法および音声認識システム |
KR20140087717A (ko) * | 2012-12-31 | 2014-07-09 | 삼성전자주식회사 | 디스플레이 장치 및 제어 방법 |
-
2012
- 2012-12-31 KR KR1020120158296A patent/KR20140087717A/ko not_active Application Discontinuation
-
2013
- 2013-12-23 EP EP13199317.2A patent/EP2750027A3/en not_active Withdrawn
- 2013-12-31 US US14/144,808 patent/US20140188486A1/en not_active Abandoned
- 2013-12-31 CN CN201310750792.XA patent/CN103916686A/zh active Pending
-
2014
- 2014-01-06 JP JP2014000277A patent/JP2014134791A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100057450A1 (en) * | 2008-08-29 | 2010-03-04 | Detlef Koll | Hybrid Speech Recognition |
US20120042343A1 (en) * | 2010-05-20 | 2012-02-16 | Google Inc. | Television Remote Control Data Transfer |
US20120226502A1 (en) * | 2011-03-01 | 2012-09-06 | Kabushiki Kaisha Toshiba | Television apparatus and a remote operation apparatus |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104904227A (zh) * | 2013-01-07 | 2015-09-09 | 三星电子株式会社 | 显示设备以及用于控制显示设备的方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2750027A2 (en) | 2014-07-02 |
KR20140087717A (ko) | 2014-07-09 |
EP2750027A3 (en) | 2016-07-13 |
US20140188486A1 (en) | 2014-07-03 |
JP2014134791A (ja) | 2014-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103916686A (zh) | 显示装置及其控制方法 | |
US20210118463A1 (en) | Interactive server, control method thereof, and interactive system | |
CN103516711A (zh) | 显示设备、用于控制显示设备的方法和交互*** | |
JP6802305B2 (ja) | 対話型サーバ、ディスプレイ装置及びその制御方法 | |
KR102056461B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 제어 방법 | |
EP3214842B1 (en) | Display apparatus, electronic device, interactive system, and controlling methods thereof | |
US20140195230A1 (en) | Display apparatus and method for controlling the same | |
CN103517147A (zh) | 提供响应信息的显示设备、交互服务器以及方法 | |
KR101914708B1 (ko) | 서버 및 서버의 제어 방법 | |
JP6244560B2 (ja) | 音声認識処理装置、音声認識処理方法、および表示装置 | |
US20140123185A1 (en) | Broadcast receiving apparatus, server and control methods thereof | |
CN103916704A (zh) | 对话型接口设备及其控制方法 | |
CN103916709A (zh) | 服务器和用于控制服务器的方法 | |
JPWO2014103568A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN103546763A (zh) | 用于提供内容信息的方法和广播接收设备 | |
KR20190100630A (ko) | 디스플레이 장치 및 그의 동작 방법 | |
KR20190140890A (ko) | 디스플레이 장치 및 디스플레이 장치의 제어 방법 | |
KR102049833B1 (ko) | 대화형 서버, 디스플레이 장치 및 그 제어 방법 | |
KR20200069936A (ko) | 미디어에 포함된 정보를 제공하는 장치 및 그 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140709 |