CN105850115B - 电子设备及其控制方法 - Google Patents

电子设备及其控制方法 Download PDF

Info

Publication number
CN105850115B
CN105850115B CN201480070712.9A CN201480070712A CN105850115B CN 105850115 B CN105850115 B CN 105850115B CN 201480070712 A CN201480070712 A CN 201480070712A CN 105850115 B CN105850115 B CN 105850115B
Authority
CN
China
Prior art keywords
reserved word
sound
received sound
voice recognition
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201480070712.9A
Other languages
English (en)
Other versions
CN105850115A (zh
Inventor
柳映准
金桐完
裴在铉
申錤埙
赵南国
高秉燮
金起范
柳熙涉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105850115A publication Critical patent/CN105850115A/zh
Application granted granted Critical
Publication of CN105850115B publication Critical patent/CN105850115B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215Monitoring of peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/63Generation or supply of power specially adapted for television receivers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/32Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4436Power management, e.g. shutting down unused components of the receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

公开一种显示设备及控制显示设备的方法。所述显示设备包括:信号接收器,被配置为接收广播信号;显示器,被配置为基于接收的广播信号显示图像;声音接收器,被配置为接收用户说出的声音;第一声音识别器,被配置为当显示设备处于待机模式时被供应电力,并确定接收的声音是否为具有与保留字对应的高可能性的候选保留字;第二声音识别器,被配置为当接收的声音被确定为候选保留字时被供应电力并确定接收的声音是否为保留字;控制器,被配置为当接收的声音被确定为保留字时控制预设操作被执行。

Description

电子设备及其控制方法
技术领域
与示例性实施例一致的设备和方法涉及一种电子设备及其控制方法,更加具体地,涉及一种接收用户的语音并根据接收的声音操作的电子设备及其控制方法。
背景技术
在电子设备(诸如,电视机(TV)或类似的显示设备、游戏机、车辆导航***等)中,基于用户的语音的控制已经在增长。例如,在电子设备被关闭的状态(以下,被称为“待机模式”)下响应于用户说话的声音来打开电子设备的功能可以是用用户的语音控制电子设备的可适用示例中的一个。
图1示出与示例性实施例相关的电子设备在待机模式下根据用户的语音执行操作的示例中的一个。首先,电子设备在待机模式下接收声音(11)。由电子设备接收的声音可以是用户的语音,或与用户的语音不同的声音。具体地,用户的语音包括用于指导电子设备执行与声音对应的预设操作的命令(以下,称其为“保留字”)。接下来,电子设备识别可能的保留字(12)。如果接收的声音实际上是保留字(13),则电子设备执行与保留字对应的操作(14)。例如,如果保留字是用于“打开电源”的保留字,则从待机模式唤醒并打开电子设备。
发明内容
技术问题
然而,声音识别器15需要在待机模式下被打开并时刻准备接收声音以用于操作,以便电子设备能在待机模式下接收声音并识别保留字。例如,可将声音识别器15实现为微型处理器等。因此,为了保持活跃并准备操作,声音识别器15不可避免地在待机模式下消耗电力。另一方面,已经存在对配置电子设备以使得在待机模式下消耗尽可能少的电力的增长的需求。因此,存在最小化声音识别器15在待机模式下操作的功耗的需求。
与此同时,作为声音识别器15的硬件或软件的改进的结果,声音识别器15识别保留字13的可靠性相应地提高。然而,声音识别器15的硬件或软件的改进导致实现改进的成本的相应增加。此外,作为声音识别器15的硬件或软件的性能提高的结果,功耗增加。因此,需要更加有效地设计声音识别器15,以便提高声音识别器15的可靠性而同时考虑功耗的成本。
技术方案
一个或多个示例性实施例可提供一种电子设备及其控制方法,所述电子设备可响应于用户的语音而操作,同时在待机模式或省电模式下消耗最少量电力。
省电模式可与待机模式一致并包括电子设备消耗比当电子设备处于正常模式时消耗的电力少的电力的任何模式。以下,也可将关于待机模式的示例性实施例的特征应用于关于省电模式的另一个示例性实施例。
在电子设备的至少一个组件被关闭并不被供应电力的情况下,电子设备可消耗更少的电力。可选地,在电子设备的至少一个组件执行比在正常模式下更少的操作的情况下,电子设备可消耗更少的电力。可选地,在电子设备的至少一个组件执行比在正常模式下更低级的操作的情况下,电子设备可消耗更少的电力。电子设备的组件可以是硬件组件或软件组件。
此外,另一个示例性实施例可提供一种电子设备及其控制方法,所述电子设备可高可靠性地识别的用户的语音并执行操作,同时最小化成本或功耗。
根据示例性实施例,提供一种显示设备,包括:信号接收器,被配置为接收广播信号;显示器,被配置为基于接收的广播信号显示图像;声音接收器,被配置为接收用户说话的声音;第一声音识别器,被配置为当显示设备处于待机模式时被供应电力,还被配置为确定在待机模式下由声音接收器接收的声音是否为具有与用于指导显示设备执行预设操作的保留字对应的高可能性的候选保留字;第二声音识别器,被配置以免在待机模式下被供应电力,并被配置为当接收的声音被确定为候选保留字时被供应电力并确定接收的声音是否为保留字;控制器,被配置为当接收的声音被确定为保留字时控制预设操作被执行。
基于包括接收的声音的级别的能量特性,第一声音识别器可确定接收的声音是否为候选保留字。
基于包括在过零率、频谱平坦度值和语音存在概率中的至少一个的人声音特性,第一声音识别器可确定接收的声音是否为候选保留字。
基于与保留字的相似度,第一声音识别器可确定接收的声音是否为候选保留字。
根据当前条件,基于从能量特性、人声音特性和与保留字的相似度中选择的至少一个,第一声音识别器可确定接收的声音是否为候选保留字。
在待机模式下可不向与确定的保留字对应的信号接收器和显示器中的至少一个供应电力,并且当接收的声音被确定为保留字时向其供应电力。
保留字可包括第一保留字和第二保留字,并且第一声音识别器可在待机模式下确定接收的声音是否为与第一保留字对应的候选保留字,并当显示设备处于正常模式时,确定接收的声音是否为与第二保留字对应的候选保留字。
与第二保留字对应的命令的数量可大于与第一保留字对应的命令的数量。
根据示例性实施例,提供一种基于接收的广播信号控制用于显示图像的显示设备的方法,所述方法包括:接收用户说话的声音;使用当显示设备处于待机模式时被供应电力的第一声音识别器来确定在待机模式下接收的声音是否为具有与用于指导显示设备执行预设操作的保留字对应的高可能性的候选保留字;使用在待机模式下不被供应电力并且当接收的声音被确定为候选保留字时被供应电力的第二声音识别器来确定接收的声音是否为保留字;当接收的声音被确定为保留字时,执行预设操作。
确定接收的声音是否为候选保留字的步骤可包括:基于包括接收的声音的级别的能量特性,确定接收的声音是否为候选保留字。
确定接收的声音是否为候选保留字的步骤可包括:基于包括在过零率、频谱平坦度值和语音存在概率中的至少一个的人声音特性,确定接收的声音是否为候选保留字。
确定接收的声音是否为候选保留字的步骤可包括:基于与保留字的相似度,确定接收的声音是否为候选保留字。
确定接收的声音是否为候选保留字的步骤可包括:根据当前条件,基于从能量特性、人声音特性和与保留字的相似度中选择的至少一个,确定接收的声音是否为候选保留字。
所述方法还可包括:在待机模式下不向执行与保留字对应的操作的操作执行器供应电力,并且当接收的声音被确定为保留字时向操作执行器供应电力。
保留字可包括第一保留字和第二保留字,并且确定接收的声音是否为候选保留字的步骤可包括:在待机模式下确定接收的声音是否为与第一保留字对应的候选保留字;并且当显示设备处于正常模式时,确定接收的声音是否为与第二保留字对应的候选保留字。
与第二保留字对应的命令的数量可大于与第一保留字对应的命令的数量。
根据示例性实施例,提供一种显示设备,包括:信号接收器,被配置为接收信号;显示器,基于所述信号显示图像;声音接收器,被配置为检测声音;第一声音识别器,被配置为当显示设备处于待机模式时被提供电力。
第一声音识别器被配置为:确定当显示设备处于待机模式时由声音接收器接收的声音是否为具有与用于指导操作执行器的元件执行第一预设操作的保留字对应的高可能性的候选保留字。
提供一种被配置以免在显示设备处于待机模式时被供应电力的第二声音识别器,其中,第二声音识别器被配置为当接收的声音被确定为候选保留字时被供应电力并且确定接收的声音是否为保留字。
提供一种控制器,被配置为当接收的声音被确定为保留字时控制第二预设操作被执行。
根据示例性实施例,提供一种基于接收的广播信号控制用于显示图像的显示设备的方法,所述方法包括:使用第一声音识别器接收用户说话的声音,当显示设备处于待机模式时不向第一声音识别器提供电力;确定接收的声音是否为具有与保留字相似的高可能性的候选保留字;如果候选保留字具有与保留字相似的高可能性,则指导操作执行器的元件执行第一预设操作。使用第二声音识别器接收声音,当接收的声音被确定为候选保留字时向第二声音识别器提供电力。确定接收的声音是否为保留字,并且当接收的声音被确定为保留字时,执行第二预设操作。
根据示例性实施例,提供一种设备,包括:信号接收器,被配置为接收广播信号;声音接收器,被配置为检测接收的用户说话的声音;第一声音识别器,被配置为当设备处于待机模式时被供应电力,并且确定在待机模式下由声音接收器接收的声音是否为具有与用于指导设备执行预设操作的保留字对应的高可能性的候选保留字。
提供一种第二声音识别器,被配置以免在待机模式下被供应电力,并且被配置为当接收的声音被确定为候选保留字时被供应电力并确定接收的声音是否为保留字;一种控制器,被配置为当接收的声音被确定为保留字时控制预设操作被执行。
根据示例性实施例,提供一种控制设备的方法,所述方法包括:使用第一声音识别器接收用户说话的声音,当设备处于待机模式时不向第一声音识别器提供电力;确定接收的声音是否为具有与保留字相似的高可能性的候选保留字;如果候选保留字具有与保留字相似的高可能性,则指导操作执行器的元件执行第一预设操作;使用第二声音识别器接收声音,当接收的声音被确定为候选保留字时向第二声音识别器提供电力;确定接收的声音是否为保留字;当接收的声音被确定为保留字时,执行第二预设操作。
根据示例性实施例,提供一种显示设备,包括:信号接收器,被配置为接收信号;显示器,基于所述信号显示图像;声音接收器,被配置为显示声音;第一声音识别器,被配置为当显示设备处于待机模式时被供应电力,其中,第一声音识别器被配置为确定由声音接收器接收的声音是否为具有与用于指导操作执行器的元件执行预设操作的保留字对应的高可能性的候选保留字。
提供一种第二声音识别器,被配置以免在显示设备处于待机模式时被供应电力,其中,第二声音识别器被配置为当接收的声音被确定为候选保留字时被供应电力并确定接收的声音是否为保留字。
如果当前操作模式对应于第一操作模式,则第一声音识别器确定接收的声音是否为与第一保留字对应的候选保留字;其中,如果当前操作模式不对应于第一操作模式,则显示设备确定当前操作模式是否对应于第二操作模式。
如果当前操作模式对应于第二操作模式,则第一声音识别器确定接收的声音是否为与第二保留字对应的候选保留字;其中,与第二保留字对应的命令的数量可大于与第一保留字对应的命令的数量;一种控制器,被配置为当接收的声音被确定为保留字时,控制预设操作被执行。
根据示例性实施例,提供一种控制显示设备的方法,所述方法包括:使用第一声音识别器接收用户说话的声音,当设备处于待机模式时不向第一声音识别器提供电力;确定当前操作模式是否对应于第一操作模式,并确定接收的声音是否为与第一保留字对应的候选保留字。如果候选保留字具有与第一保留字的相似的高可能性,则指导操作执行器的元件执行第一预设操作。使用第二声音识别器接收声音,当接收的声音被确定为候选保留字时向第二声音识别器提供电力。确定当前操作模式是否不对应于第一操作模式,还确定当前操作模式是否对应于第二操作模式。指导第一声音识别器确定接收的声音是否为与第二保留字对应的候选保留字,并且当接收的声音被确定为第一保留字或第二保留字时执行预设操作。
有利效果
如上所述,根据示例性实施例,响应于待机模式下的用户语音的操作来执行操作,同时最小化功耗。
此外,根据示例性实施例,通过高可靠性地识别用户的语音来执行操作,同时最小化成本或功耗。
附图说明
图1示出与示例性实施例相关的处于待机模式的电子设备响应于用户的语音来执行操作的示例;
图2是根据示例性实施例的电子设备的框图;
图3示出根据示例性实施例的由电子设备中的声音接收器接收的声音的种类;
图4是示出根据示例性实施例的电子设备的操作的流程图;
图5是示出根据示例性实施例的电子设备中的第一声音识别器的操作的框图;
图6是示出根据示例性实施例的电子设备的操作的另一个示例的流程图;
图7是根据示例性实施例的显示设备的框图;
图8示出处于待机模式的根据示例性实施例的显示设备的操作;
图9是示出根据示例性实施例的显示设备的操作的流程图。
具体实施方式
下面,将详细描述示例性实施例。图2是根据示例性实施例的电子设备2的框图。如在图2中所示,电子设备2可被实现为显示设备(诸如,电视机(TV)、游戏机、车辆导航***等),并可包括通过识别声音来执行操作的任何装置。参照图2,电子设备2包括声音接收器21、第一声音识别器22、第二声音识别器23和操作执行器24。
首先,声音接收器21接收声音。可将声音接收器21实现为麦克风。由声音接收器21接收的声音可包括用户的语音,以及不是用户的语音的声音。图3示出可由声音接收器21接收的声音的种类。首先,由声音接收器21接收的所有声音31包括噪声等,以及具有相应低的成本和功耗的高级别(high level)声音32。虽然高级别声音32也包括噪声,但是高级别声音32可包括例如动物和人的声音33。人声音34还可包括具有与预设保留字对应的高可能性的声音35(以下,被称为“候选保留字”)。保留候选字35包括预设保留字36。在图3中,在声音识别操作中消耗的成本和电力随着沿水平轴从左向右移动而增加。
返回参照图2,第一声音识别器22和第二声音识别器23中的每一个执行对于由声音接收器21接收的声音的声音识别。第一声音识别器22执行声音识别作为第二声音识别器23的操作的预处理,即,第一声音识别器23在第二声音识别器23之前执行声音识别(以下,被称为“第一声音识别”)。第二声音识别器23执行声音识别作为第一声音识别器22的操作的后处理,即,第二声音识别器23在第一声音识别之后执行声音识别(以下,被称为“第二声音识别”)。即,第一声音识别器22的第一声音识别可包括基本或一般的识别,而第二声音识别器23的第二声音识别可包括更加具体或深入的识别。具体地,第一声音识别器22确定由声音接收器21接收的声音是否为与预设保留字36对应的保留候选字35。另一方面,第二声音识别器23确定由声音接收器21接收的声音是否为预设保留字36。
参照图2,操作执行器24执行与保留字36对应的操作。操作执行器24可执行与电子设备2的功能或用途对应的一个或多个不同操作。例如,如果电子设备2是诸如TV的显示设备,则操作执行器24可执行处理图像信号并基于处理的图像信号来显示图像的操作。可通过硬件、软件或其组合来实现并可同时提供操作执行器24。
图4是示出根据示例性实施例的电子设备2的操作的流程图。在操作S41,电子设备2接收声音。接下来,在操作S42,电子设备2确定在操作S41中的接收的声音是否为预设候选保留字35。如果确定接收的声音不是预设候选保留字35(S42的否),则电子设备2停止操作。如果确定来自操作S41的接收的声音是预设候选保留字35(S42的是),则在操作S43,电子设备2确定接收的声音是否为预设保留字36。如果确定接收的声音不是预设保留字(S43的否),则电子设备2停止操作。如果确定接收的声音是预设保留字(S43的是),则在操作S44,电子设备2执行与确定的保留字36对应的操作。
因此,根据示例性实施例,将接收的声音的识别划分为作为预处理的第一声音识别和作为后处理的第二声音识别。即,用于基本和一般的识别的第一声音识别操作预先从接收的声音过滤掉具有与保留字36对应的低可能性的声音,并且仅针对与对应于保留字的可能性高的候选保留字35对应的声音执行更加具体和深入的第二声音识别操作。因此,分享第一声音识别的功能和第二声音识别的功能是可能的,并且考虑到第一声音识别和第二声音识别的各自特性,具有有效和优化的设计也是可能的。此外,通过在确定声音是否为保留字之前预先确定声音是否为具有与保留字36对应的更高可能性的候选保留字35来过滤掉具有与保留字36对应的低可能性的声音,因而提高对于保留字36的识别成功率。因此,与为了提高声音识别的可靠性而提高受限的单个声音识别器的硬件或软件性能的状况相比,根据示例性实施例的电子设备2能以更高的可靠性和更低的成本来执行声音识别。
返回参照图2,基于在能量特性、声音特性和与保留字36的相似度中的至少一个,第一声音识别器22确定在声音接收器21中接收的声音是否对应于候选保留字35。例如,基于声音的能量特性,第一声音识别器22可从所有接收的声音31确定具有高级别的声音32。此外,基于动物和人的声音特性,第一声音识别器22可将动物声音33和人声音34从所有的声音31或具有高级别的声音32中区分出来。此外,基于与预设保留字36的相似度,第一声音识别器22可从所有的声音31、高级别声音32、动物和人声音33或人声音34确定候选保留字35。
第一声音识别器22可通过确定接收的声音的区间来检测相应声音的能量特性或声音特性。第一声音识别器22可确定相应声音关于声音的时域或频域的能量特性或声音特性。第一声音识别器22可检测相对于接收的声音的特定能量级别条件的相应声音的能量特性。第一声音识别器22可通过使用接收的声音的特定级别(dB)作为临界点来确定相应声音的能量特性。此外,基于接收的声音的级别与参考声音的级别之间的相对比率,第一声音识别器22可确定能量特性。此外,基于接收的声音的确定区间的维持时间,第一声音识别器22可确定能量特性。
基于接收的声音的过零率(zero-crossing rate),第一声音识别器22可确定动物或人的声音特性。基于针对平均无声部分电平的+/-穿过次数,第一声音识别器22可确定接收的声音的过零率。此外,基于在频域中的输入信号分布的梯度,即,基于频谱平坦度值(spectral flatness value),第一声音识别器22可确定接收的声音的特性。此外,基于关于语音/噪声的概率模型,即,基于语音存在概率(speech presence probability),第一声音识别器22可确定接收的声音的特性。
基于与预设保留字36的相似度,第一声音识别器22可确定接收的声音是否为候选保留字35。第一声音识别器22可确定与对应于在用于控制电子设备2的多个命令中选择的一些命令的保留字的相似度。基于比第二声音识别器23的第二声音识别轻的分类或模型,第一声音识别器22可确定与保留字的相似度。
基于从能量特性、人声音特性和与保留字的相似度中选择的至少一个,第一声音识别器22可根据当前条件确定接收的声音是否为候选保留字35。图5是示出根据示例性实施例的电子设备中的第一声音识别器22的操作的框图。如在图5中所示,基于来自能量特性、人声音特性和与保留字的相似度中的仅仅一个(参照图5的(a)、(b)和(c)),第一声音识别器22可确定接收的声音是否为候选保留字35。此外,基于从能量特性、人声音特性和与保留字36的相似度中选择的两个之间的顺序组合(参照图5的(d)、(e)和(f)),第一声音识别器22可确定接收的声音是否为候选保留字35。此外,基于能量特性、人声音特性和与保留字的相似度中的全部的顺序组合(参照图5的(g)),第一声音识别器22可确定接收的声音是否为候选保留字35。
在能量特性的情况下,算法的计算复杂度低,但可靠性也相对地低。另一方面,在声音特性的情况下,算法的计算复杂度和可靠性高于能量特性的计算复杂度和可靠性。在与保留字36的相似度的情况下,与能量特性和声音特性的算法的计算复杂度和可靠性相比,其计算复杂度和可靠性是最高的,但消耗相对更多的电力。可根据电子设备2的状态、周围环境、用户的请求等,通过考虑能量特性、人声音特性和与保留字的相似度的各自的条件,确定从能量特性、人声音特性和与保留字的相似度中选择哪个。图6是示出根据示例性实施例的电子设备的操作的另一个示例的流程图。在操作S61,电子设备2确定当前条件。在操作S62,根据确定的当前条件,电子设备2可从能量特性、人声音特性和与保留字36的相似度中选择与当前条件对应的至少一个。电子设备2从至少一个传感器(例如,麦克风、相机、操作传感器、压力传感器、温度传感器)或外部装置采集示出当前条件的信息,并基于采集的信息,从能量特性、人声音特性和与保留字36的相似度中选择与当前条件对应的至少一个。接下来,在操作S63,基于从能量特性、人声音特性和与保留字36的相似度中选择的至少一个,电子设备2的第一声音识别器22可确定接收的声音是否为候选保留字35。
如果电子设备2进入待机模式,则以正常模式向第一声音识别器22供应电力,而第二声音识别器23和操作执行器24处于省电模式并不被供应电力。第一声音识别器22在待机模式下正常运行,并确定接收的声音是否为候选保留字35。第二声音识别器23处于省电模式,并且如果第一声音识别器22确定接收的声音是候选保留字35则第二声音识别器23随后从省电模式被切换到正常模式而被供应电力,因而执行第二声音识别操作。可选地,第二声音识别器23可处于省电模式而被供应电力,但比预定水平消耗更少的电力。
因此,如果电子设备2处于省电模式,则第二声音识别器23处于省电模式,同时第一声音识别器22执行第一声音识别操作,因而即使在待机模式下执行声音识别时,也能最小化电子设备2的功耗。与此同时,当第二声音识别器23确定接收的声音是保留字时,操作执行器24从省电模式被唤醒到正常模式,因而执行与保留字对应的操作。因此,在待机模式或类似模式下,即使当执行声音识别操作时,电子设备2也消耗更少的电力。
可将第一声音识别器22和第二声音识别器23中的至少一个实现为诸如集成电路的硬件组件或诸如计算机程序的软件组件。可将第一声音识别器22和第二声音识别器23在单个主体中实现或在不同的主体中分别实现。第二声音识别器23可在省电模式下被关闭并不被供应电力。可选地,第二声音识别器23可在省电模式下消耗极少电力而不进行操作。可选地,第二声音识别器23可在省电模式下执行比正常模式下的操作少的操作。可选地,第二声音识别器23可在省电模式下以比在正常模式下以更低的程度来执行操作。
根据示例性实施例,可通过诸如TV的显示设备实现电子设备2。图7是根据示例性实施例的显示设备的框图。显示设备7可包括声音接收器75、第一声音识别器76、第二声音识别器77、操作执行器71、输入接收器72、子控制器73和电源74。在图7中示出的声音接收器75、第一声音识别器76和第二声音识别器77可与以上参照图2描述的声音接收器21、第一声音识别器22和第二声音识别器23类似地被配置或起作用。如在图7中所示,操作执行器71可包括信号接收器711、信号处理器712、显示器713、声音输出714、存储器715、通信器717和主控制器716。然而,在图7中示出的显示设备7的配置是示例性实施例,并可根据需要改变。即,虽然未示出,但是在图7中示出的显示设备7的配置可不包括所述元件中的至少一个或可包括新的另外的元件。
信号接收器711接收包含来自图像、声音和数据中的至少一个的信号。信号接收器711包括调谐器并接收诸如广播信号的信号。在主控制器716的控制下可将调谐器调到从多个频道中选择的一个频道并接收调到的频道的信号。这里,可由用户选择频道。输入接收器72可接收用户的输入。输入接收器72接收关于频道的选择的用户的输入,并将它发送到主控制器716。输入接收器72包括设置在显示设备7中以接收用户的输入的控制面板,或包括远程控制信号接收器以从远程控制器接收包含用户的输入的远程控制信号。可选地,输入接收器72可包括诸如相机的图像接收器,并接收通过拍摄作为用户的输入的手势或类似操作获得的图像。可选地,信号接收器711可从成像装置(诸如,机顶盒、数字多功能盘(DVD)播放器等)或用户终端(诸如,个人计算机等)接收信号。
信号处理器712执行关于接收的信号的图像处理,声音处理或数据处理,以便能在显示器713上显示图像和/或信息或者能通过声音输出714来输出声音。例如,信号处理器712可对接收的信号施加图像处理(诸如,调制、解调、多路复用、解复用、模数转换、数模转换、解码、编码、图像增强、缩放等)。
显示器713基于由信号处理器712处理的信号来显示图像和/或信息。显示器713可通过各种显示器类型(诸如,液晶显示器(LCD)、等离子显示面板(PDP)、有机发光二极管(OLED)等)来显示图像。声音输出714可包括扬声器,并基于由信号处理器712处理的信号来输出声音。存储器715可通过非易失性存储器(诸如,闪存存储器、硬盘驱动器等)来实现,并存储操作显示设备7所需的程序、信息和数据。通信器717可通过有线或无线网络与外部装置通信,并从外部装置接收和向外部装置发送显示设备7的操作以及与多个显示设备7之间的通信所需要的信息和/或数据。通信器717可通过互联网或类似网络从服务器接收包含图像等的信号,或通过本地无线网络从外部设备(诸如,膝上型个人计算机、智能电话、智能平板等)接收包含图像等的信号。通过通信器717接收的信号可由信号处理器712处理。
主控制器716控制显示设备7根据预设信息,或响应于通过输入接收器72或声音接收器75输入的用户的命令执行操作。例如,主控制器716可指导信号接收器711和信号处理器712基于由用户选择和调到的频道的信号来显示图像。主控制器716可包括用于执行指令的控制程序、存储控制程序的全部或部分的非易失性存储器和易失性存储器以及用于执行控制程序的微型处理器。
为了执行期望的操作,电源74向声音接收器75、第一声音识别器76、第二声音识别器77、输入接收器72、子控制器73和操作执行器71供应电力。电源74接收输入的交流(AC)电并输出具有预定电平的直流(DC)电。为此,电源74可包括AC-DC转换器、DC-DC转换器等。
子控制器73帮助主控制器716控制显示设备7执行期望的操作。例如,在待机模式下,操作执行器71和第二声音识别器77可处于省电模式(或睡眠模式)。子控制器73确定在待机模式期间发生的事件的发生是否满足唤醒操作执行器71的阈值,并实际上将操作执行器71从省电模式唤醒为正常模式,因而允许操作执行器71等执行与发生的事件对应的期望的操作。在待机模式下发生的事件可以是通过声音接收器75接收的声音。此外,在待机模式下发生的事件可包括通过输入接收器72接收的用户的输入。子控制器73可包括用于确定与特定事件的发生对应的哪一个操作将由操作执行器71执行的操作确定器732。此外,子控制器73可包括控制电源74允许或阻止将电力供应给操作执行器71等的电力控制器731。
图8示出处于待机模式的根据示例性实施例的显示设备7的操作。在图8中示出的显示设备7具有一系列逐步的电力状态811至电力状态81n。即,显示设备7可具有最低功耗的“电力状态1”811至最高功耗的“电力状态n”81n。与此同时,操作执行器73具有“操作执行器1”861至“操作执行器n”86n。“操作执行器1”861至“操作执行器n”86n分别对应于被包括在图7所示的操作执行器73中的信号接收器711等。由于“操作执行器1”861至“操作执行器n”86n被顺序地从省电模式改变到正常模式,所以“电力状态1”811以逐步的方式被改变到“电力状态n”81n。
首先,在待机模式下,“电源状态2”812的第二声音识别器77处于省电模式。此时,声音接收器75接收声音(82)。然后,第一声音识别器76确定由声音接收器75接收的声音是否为候选保留字(83)。候选保留字可对应于用于打开显示设备7的保留字88(例如,“你好,TV,打开”)。如果由声音接收器75接收的声音被确定为候选保留字84(84的“是”),则电力控制器731控制电源74将第二声音识别器77从省电模式改变为正常模式(851)。接下来,第二声音识别器77确定由声音接收器75接收的声音是否为预设保留字(88)。如果由声音接收器75接收的声音被确定为预设保留字(88的“是”),则操作确定器732选择与保留字对应的“操作执行器3”863(89),并且电力控制器731控制电源74,以便能将选择的“操作执行器3”863从省电模式唤醒进入正常模式,因而执行与保留字对应的操作(852)。例如,如果保留字是“你好,TV,打开”,则子控制器73控制主控制器716等从省电模式被唤醒进入正常模式,并且主控制器716等执行初始操作,以便显示设备7能准备供用户使用。
可选地,如果保留字是“新闻发布”,则子控制器73控制除了主控制器716之外的信号接收器711或通信器717、信号处理器712和声音输出714从省电模式被唤醒为正常模式。信号接收器711或通信器717可从广播信号或外部服务器接收关于新闻发布的信息。信号处理器712处理广播信号等以获得关于新闻发布的信息,并且声音输出714可输出关于新闻发布的信息。在这种情况下,显示器713等可持续地保持省电模式。可选地,如果保留字是“气象发布”,则操作执行器71的相应元件以与“新闻发布”的情况类似的方式从省电模式被唤醒到正常模式,因而允许输出关于气象发布的信息。可选地,如果保留字是“指定的时间”,则可输出关于由用户预先设置的指定时间的信息。
因此,根据示例性实施例,显示设备7被配置为基于保留字36来控制操作执行器71的多个元件,保留字36使所述多个元件中的一些从省电模式转变为被唤醒并在正常模式下操作,同时允许其他元件持续地在省电模式下进行操作,因而避免额外功耗。
显示器7的第一声音识别器76可通过根据当前条件改变候选保留字35来执行声音识别。图9是示出根据示例性实施例的显示设备7的操作的流程图。首先,在操作S91,显示设备7确定当前操作模式。例如,操作模式包括待机模式、正常模式等。接下来,如果当前操作模式对应于第一操作模式(S92的“是”),则在操作S93,显示设备7的第一声音识别器76确定接收的声音是否为与第一保留字对应的候选保留字。例如,如果第一操作模式是待机模式,则第一声音识别器76确定接收的声音是否为与第一保留字(诸如,“你好,TV,打开”)对应的候选保留字。如果当前操作模式不对应于第一操作(S92的“否”),则在操作S94,显示设备7确定当前操作模式是否对应于第二操作模式。如果当前操作模式对应于第二操作(S94的“是”),则在操作S95,第一声音识别器76确定接收的声音是否为与第二保留字36对应的候选保留字35。例如,如果第二操作是正常模式,则第一声音识别器76确定接收的声音是否为与第二保留字(诸如,“频道加”、“频道减”、“音量加”和“音量减”)对应的候选保留字35。与第二保留字对应的命令的数量可大于与第一保留字36对应的命令的数量。即,在待机模式等的情况下,仅对于一些第一保留字来执行声音识别,并且通过第一声音识别器76将具有与第一保留字对应的低可能性的声音过滤掉,因而防止处于省电模式的第二声音识别器77或操作执行器71被不必要地唤醒。与此同时,在正常模式等的情况下,对于各种通常使用的第二保留字执行声音识别,并且第一声音识别器76识别具有与第二保留字对应的高可能性的声音并平滑地将被确定为候选保留字35的声音发送到第二声音识别器77。
如上所述,根据示例性实施例,响应于待机模式下的用户的语音操作来执行操作,同时最小化功耗。
此外,根据示例性实施例,通过高可靠性地识别用户的语音来执行操作,同时最小化成本或功耗。
虽然已示出和描述一些示例性实施例,但是本领域技术人员将理解,在不背离本发明的原则和精神的前提下,可对这些示例性实施例做出改变,其中,在权利要求及其等同物中限定本发明的范围。

Claims (16)

1.一种显示设备,包括:
信号接收器,被配置为接收广播信号;
显示器,被配置为基于接收的广播信号显示图像;
声音接收器,被配置为接收用户说出的声音;
第一声音识别器,被配置为识别接收的声音是否为候选保留字;
第二声音识别器,被配置为识别接收的声音是否为保留字;
控制器,被配置为:
基于显示设备处于待机模式,控制第一声音识别器被供应电力,并控制第一声音识别器识别接收的声音是否包括人声音,响应于接收的声音包括人声音,控制第一声音识别器识别接收的声音是否为候选保留字;
基于接收的声音被识别为候选保留字,控制第二声音识别器被供应电力,并控制第二声音识别器识别接收的声音是否为保留字;
基于接收的声音被识别为保留字,控制预设操作被执行,
其中,保留字是用于命令显示设备执行预设操作的预定字,
其中,人声音中的候选保留字具有保留字的高可能性。
2.如权利要求1所述的显示设备,其中,基于包括接收的声音的级别的能量特性,控制器控制第一声音识别器识别接收的声音是否为候选保留字。
3.如权利要求1所述的显示设备,其中,基于包括过零率、频谱平坦度值和语音存在概率中的至少一个的人声音特性,控制器控制第一声音识别器识别接收的声音是否为候选保留字。
4.如权利要求1所述的显示设备,其中,基于接收的声音与保留字之间的相似度,控制器控制第一声音识别器识别接收的声音是否为候选保留字,
其中,基于接收的声音与保留字之间的相似度,控制器控制第二声音识别器识别接收的声音是否为保留字。
5.如权利要求1所述的显示设备,其中,根据当前条件,基于从能量特性、人声音特性和与保留字的相似度中选择的至少一个,控制器控制第一声音识别器识别接收的声音是否为候选保留字。
6.如权利要求1所述的显示设备,其中,控制器在待机模式下控制与识别的保留字对应的信号接收器和显示器中的至少一个不被供应电力,并且基于接收的声音被识别为保留字,控制所述与识别的保留字对应的信号接收器和显示器中的所述至少一个被供应电力。
7.如权利要求1所述的显示设备,其中,保留字包括第一保留字和第二保留字,
基于显示设备处于待机模式,控制器控制第一声音识别器识别接收的声音是否为与第一保留字对应的候选保留字,并且基于显示设备处于正常模式,控制器控制第一声音识别器识别接收的声音是否为与第二保留字对应的候选保留字。
8.如权利要求7所述的显示设备,其中,与第二保留字对应的命令的数量大于与第一保留字对应的命令的数量。
9.一种基于接收的广播信号控制用于显示图像的显示设备的方法,所述方法包括:
接收用户说出的声音;
基于显示设备处于待机模式,控制第一声音识别器被供应电力,并控制第一声音识别器识别接收的声音是否包括人声音,响应于接收的声音包括人声音,控制第一声音识别器识别接收的声音是否为候选保留字;
基于接收的声音被识别为候选保留字,控制第二声音识别器被供应电力,并控制第二声音识别器识别接收的声音是否为保留字;
基于接收的声音被识别为保留字,执行预设操作,
其中,保留字是用于命令显示设备执行预设操作的预定字,
其中,人声音中的候选保留字具有保留字的高可能性。
10.如权利要求9所述的方法,其中,控制第一声音识别器识别接收的声音是否为候选保留字的步骤还包括:基于包括接收的声音的级别的能量特性,识别接收的声音是否为候选保留字。
11.如权利要求9所述的方法,其中,控制第一声音识别器识别接收的声音是否为候选保留字的步骤还包括:基于包括过零率、频谱平坦度值和语音存在概率中的至少一个的人声音特性,识别接收的声音是否为候选保留字。
12.如权利要求9所述的方法,其中,控制第一声音识别器识别接收的声音是否为候选保留字的步骤还包括:基于接收的声音与保留字之间的相似度,识别接收的声音是否为候选保留字,
其中,控制第二声音识别器的步骤还包括:基于接收的声音与保留字之间的相似度,识别接收的声音是否为保留字。
13.如权利要求9所述的方法,其中,控制第一声音识别器识别接收的声音是否为候选保留字的步骤还包括:根据当前条件,基于从能量特性、人声音特性和与保留字的相似度中选择的至少一个,识别接收的声音是否为候选保留字。
14.如权利要求9所述的方法,还包括:基于显示设备处于待机模式,控制执行与保留字对应的操作的操作执行器不被供应电力,并且基于接收的声音被识别为保留字,控制所述操作执行器被供应电力。
15.如权利要求9所述的方法,其中,保留字还包括第一保留字和第二保留字,控制第一声音识别器识别接收的声音是否为候选保留字的步骤包括:
基于显示设备处于待机模式,控制第一声音识别器识别接收的声音是否为与第一保留字对应的候选保留字;
基于显示设备处于正常模式,控制第一声音识别器识别接收的声音是否为与第二保留字对应的候选保留字。
16.一种电子设备,包括:
声音接收器,被配置为接收用户说出的声音;
第一声音识别器,被配置为识别接收的声音是否为候选保留字;
第二声音识别器,被配置为识别接收的声音是否为保留字;
控制器,被配置为:
基于显示设备处于待机模式,控制第一声音识别器被供应电力,并控制第一声音识别器识别接收的声音是否包括人声音,响应于接收的声音包括人声音,控制第一声音识别器识别接收的声音是否为候选保留字;
基于接收的声音被识别为候选保留字,控制第二声音识别器被供应电力,并控制第二声音识别器识别接收的声音是否为保留字;
基于接收的声音被识别为保留字,控制预设操作被执行,
其中,保留字是用于命令显示设备执行预设操作的预定字,
其中,人声音中的候选保留字有保留字的高可能性。
CN201480070712.9A 2013-12-23 2014-12-12 电子设备及其控制方法 Expired - Fee Related CN105850115B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130161138A KR102179506B1 (ko) 2013-12-23 2013-12-23 전자장치 및 그 제어방법
KR10-2013-0161138 2013-12-23
PCT/KR2014/012249 WO2015099336A1 (en) 2013-12-23 2014-12-12 Electronic apparatus and control method thereof

Publications (2)

Publication Number Publication Date
CN105850115A CN105850115A (zh) 2016-08-10
CN105850115B true CN105850115B (zh) 2019-10-18

Family

ID=53400695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480070712.9A Expired - Fee Related CN105850115B (zh) 2013-12-23 2014-12-12 电子设备及其控制方法

Country Status (5)

Country Link
US (2) US9830907B2 (zh)
EP (1) EP3055992B1 (zh)
KR (1) KR102179506B1 (zh)
CN (1) CN105850115B (zh)
WO (1) WO2015099336A1 (zh)

Families Citing this family (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
KR101922663B1 (ko) 2013-06-09 2018-11-28 애플 인크. 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015020942A1 (en) 2013-08-06 2015-02-12 Apple Inc. Auto-activating smart responses based on activities from remote devices
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
KR102179506B1 (ko) * 2013-12-23 2020-11-17 삼성전자 주식회사 전자장치 및 그 제어방법
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) * 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
CN107767880B (zh) * 2016-08-16 2021-04-16 杭州萤石网络有限公司 一种语音检测方法、摄像机和智能家居看护***
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
KR102492727B1 (ko) 2017-12-04 2023-02-01 삼성전자주식회사 전자장치 및 그 제어방법
EP3496108A1 (en) * 2017-12-06 2019-06-12 Withings Apparatus, methods and computer programs for analysing heartbeat signals
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN108231079B (zh) * 2018-02-01 2021-12-07 北京百度网讯科技有限公司 用于控制电子设备的方法、装置、设备以及计算机可读存储介质
CN111742091B (zh) * 2018-02-23 2023-07-18 三星电子株式会社 洗衣机及其控制方法
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10944859B2 (en) 2018-06-03 2021-03-09 Apple Inc. Accelerated task performance
CN108847224A (zh) * 2018-07-05 2018-11-20 广州势必可赢网络科技有限公司 一种声音墙画面显示方法及装置
US20200090821A1 (en) * 2018-09-17 2020-03-19 Vet24seven Inc. Veterinary Services Inquiry System
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN109688474A (zh) * 2018-12-28 2019-04-26 南京创维信息技术研究院有限公司 电视语音控制方法、装置和计算机可读存储介质
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
CN110265011B (zh) * 2019-06-10 2020-10-23 龙马智芯(珠海横琴)科技有限公司 一种电子设备的交互方法及其电子设备
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
KR20210125356A (ko) * 2020-04-08 2021-10-18 삼성전자주식회사 전자 장치 및 그 동작 방법
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN114108229B (zh) * 2020-08-28 2023-11-07 青岛海尔洗衣机有限公司 衣物处理装置的控制方法及服务器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
WO2012025784A1 (en) * 2010-08-23 2012-03-01 Nokia Corporation An audio user interface apparatus and method
CN103310785A (zh) * 2012-03-15 2013-09-18 三星电子株式会社 使用语音识别控制电源的电子装置和方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6070140A (en) 1995-06-05 2000-05-30 Tran; Bao Q. Speech recognizer
JP3726448B2 (ja) 1997-03-12 2005-12-14 セイコーエプソン株式会社 認識対象音声検出方法およびその装置
US6046549A (en) 1997-09-29 2000-04-04 U.S. Energy, Inc. Energy saving lighting controller
KR20000026987A (ko) 1998-10-22 2000-05-15 구자홍 절전모드 제어장치 및 방법
JP2000315120A (ja) 1999-05-06 2000-11-14 Canon Inc 情報処理装置、情報処理方法、情報処理プログラムを格納した記憶媒体
US6397186B1 (en) 1999-12-22 2002-05-28 Ambush Interactive, Inc. Hands-free, voice-operated remote control transmitter
KR100385020B1 (ko) 2000-03-02 2003-05-22 삼성전자주식회사 리모트 컨트롤러로 구동되는 컴퓨터 시스템의 자동 암호확인 방법
KR20010094229A (ko) 2000-04-04 2001-10-31 이수성 전화기의 음성인식 조작 방법 및 시스템
JP3480923B2 (ja) 2000-07-26 2003-12-22 株式会社東芝 ネットワーク上の機器制御方法およびこの制御方法を用いる映像機器
EP1341380A1 (en) 2002-02-27 2003-09-03 Koninklijke Philips Electronics N.V. Power standby mode circuitry for audiovisual device
US20030216909A1 (en) 2002-05-14 2003-11-20 Davis Wallace K. Voice activity detection
JP2004289710A (ja) * 2003-03-25 2004-10-14 Toshiba Corp ハンズフリーシステムおよび携帯電話機
US7295199B2 (en) 2003-08-25 2007-11-13 Motorola Inc Matrix display having addressable display elements and methods
US7418392B1 (en) * 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
JP2005267099A (ja) 2004-03-17 2005-09-29 Ricoh Co Ltd ネットワーク制御装置、画像形成装置、画像形成システム、ネットワーク制御方法、コンピュータプログラム及び記録媒体
JP4444710B2 (ja) 2004-03-26 2010-03-31 キヤノン株式会社 画像処理装置、その制御方法、プログラムおよび記憶媒体
JP3846504B2 (ja) 2005-01-07 2006-11-15 オンキヨー株式会社 低消費電力装置
DE102005053531A1 (de) * 2005-11-08 2007-05-10 Man Turbo Ag Wärmedämmende Schutzschicht für ein Bauteil innerhalb des Heißgasbereiches einer Gasturbine
JP4736889B2 (ja) 2006-03-28 2011-07-27 富士通株式会社 情報処理システムおよび情報処理装置
JP2007296723A (ja) 2006-04-28 2007-11-15 Ricoh Co Ltd 電力切換え機能を持つ制御装置,画像形成装置および画像読取装置
TW200745803A (en) 2006-06-05 2007-12-16 Asustek Comp Inc Computer system controlled by remote control signal
JP4982304B2 (ja) 2007-09-04 2012-07-25 株式会社日立製作所 電源障害の発生を把握するストレージシステム
WO2009055819A1 (en) * 2007-10-26 2009-04-30 Honda Motor Co., Ltd. Improving free-speech command classification for car navigation system
US8339626B2 (en) 2009-09-08 2012-12-25 Samsung Electronics Co., Ltd. Image forming apparatus and controlling method thereof
CN102025383A (zh) 2009-09-10 2011-04-20 鸿富锦精密工业(深圳)有限公司 信号接收装置及信号接收方法
KR101688655B1 (ko) 2009-12-03 2016-12-21 엘지전자 주식회사 사용자의 프레전스 검출에 의한 제스쳐 인식 장치의 전력 제어 방법
KR101657565B1 (ko) 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
US8736243B2 (en) 2009-12-19 2014-05-27 Lanery Mgmt. Limited Liability Company Control multiplexor for a switch mode power supply
KR20110080958A (ko) 2010-01-07 2011-07-13 삼성전자주식회사 비주얼 디스플레이 기기의 대기 전력을 공급하기 위한 대기전력 공급방법, 대기 전력 공급장치, 배터리 충전 방법 및 이를 적용한 비주얼 디스플레이 기기
JP5555032B2 (ja) 2010-04-06 2014-07-23 ヤマト包装技術研究所株式会社 梱包ユニット
JP5625458B2 (ja) 2010-04-12 2014-11-19 ブラザー工業株式会社 画像処理装置
TWI486024B (zh) 2010-11-25 2015-05-21 Realtek Semiconductor Corp 控制電路之省電機制與防止誤喚醒的機制及其方法
EP2527895B1 (en) * 2011-05-26 2013-12-04 CCS Technology, Inc. Fiber optic distribution device
US8452597B2 (en) 2011-09-30 2013-05-28 Google Inc. Systems and methods for continual speech recognition and detection in mobile computing devices
EP2610862B1 (en) * 2011-12-30 2015-07-08 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling electronic apparatus
KR102003267B1 (ko) * 2011-12-30 2019-10-02 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20130105219A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 음성 인식을 이용하여 전원을 제어하는 전자 장치 및 이의 전원 제어 방법
KR102117841B1 (ko) 2012-10-30 2020-06-02 삼성전자주식회사 전자장치 및 그 제어방법
US9959865B2 (en) * 2012-11-13 2018-05-01 Beijing Lenovo Software Ltd. Information processing method with voice recognition
CN106981290B (zh) 2012-11-27 2020-06-30 威盛电子股份有限公司 语音控制装置和语音控制方法
US9542933B2 (en) * 2013-03-08 2017-01-10 Analog Devices Global Microphone circuit assembly and system with speech recognition
EP3040985B1 (en) * 2013-08-26 2023-08-23 Samsung Electronics Co., Ltd. Electronic device and method for voice recognition
US9245527B2 (en) * 2013-10-11 2016-01-26 Apple Inc. Speech recognition wake-up of a handheld portable electronic device
KR102179506B1 (ko) * 2013-12-23 2020-11-17 삼성전자 주식회사 전자장치 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
WO2012025784A1 (en) * 2010-08-23 2012-03-01 Nokia Corporation An audio user interface apparatus and method
CN103310785A (zh) * 2012-03-15 2013-09-18 三星电子株式会社 使用语音识别控制电源的电子装置和方法

Also Published As

Publication number Publication date
WO2015099336A1 (en) 2015-07-02
US10468023B2 (en) 2019-11-05
EP3055992B1 (en) 2019-07-17
EP3055992A4 (en) 2017-06-07
KR102179506B1 (ko) 2020-11-17
US20150179176A1 (en) 2015-06-25
US9830907B2 (en) 2017-11-28
KR20150073441A (ko) 2015-07-01
CN105850115A (zh) 2016-08-10
US20170330568A1 (en) 2017-11-16
EP3055992A1 (en) 2016-08-17

Similar Documents

Publication Publication Date Title
CN105850115B (zh) 电子设备及其控制方法
CN105556417B (zh) 用于控制电力的电子设备及其方法
RU2641480C2 (ru) Электронное устройство и способ его управления
EP2696572B1 (en) Power saving control method and electronic device supporting the same
CN106375604B (zh) 控制终端电量的方法和装置
US8898486B2 (en) Apparatus and method for controlling input power
US20170177059A1 (en) Power managing method and electronic system applying the power managing method
CN107407951B (zh) 电子设备及其电池信息提供方法
US20100048139A1 (en) Battery power consumption control
CN110264935A (zh) 显示器驱动方法、显示器驱动集成电路及电子设备
KR102151135B1 (ko) 전력 관리 방법 및 그 방법을 처리하는 전자 장치
CN109891903A (zh) 显示设备及其控制方法
US10237390B2 (en) Intelligent notification device and intelligent notification method
TW201826123A (zh) 電力管理方法和電子裝置
CN116126509A (zh) 基于多设备提供服务的方法、相关装置及***
US9600002B2 (en) Method and electronic device for controlling driving condition based on operating state
CN104955217A (zh) 基于温度调整闪光装置
CN106292329A (zh) 智能家居控制方法、装置、***及一种电子设备
CN108710558A (zh) 用于计算机的运行控制方法及装置
CN106982542A (zh) 电子设备及其散热方法、装置
US20150381048A1 (en) Method and electronic device for controlling switching regulator
CN105188112A (zh) 休眠状态的控制方法及装置
CN110784763A (zh) 显示终端控制方法、显示终端及可读存储介质
Moshnyaga A new approach for energy management in user-centric applications
US20240069710A1 (en) Electronic apparatus and ui providing method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

Termination date: 20211212

CF01 Termination of patent right due to non-payment of annual fee