CN111819560A - 通过与始终侦听辅助设备解耦的安全附件的信息安全性/私密性 - Google Patents
通过与始终侦听辅助设备解耦的安全附件的信息安全性/私密性 Download PDFInfo
- Publication number
- CN111819560A CN111819560A CN201880086432.5A CN201880086432A CN111819560A CN 111819560 A CN111819560 A CN 111819560A CN 201880086432 A CN201880086432 A CN 201880086432A CN 111819560 A CN111819560 A CN 111819560A
- Authority
- CN
- China
- Prior art keywords
- computing device
- data
- electronic sensor
- gatekeeper
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 claims abstract description 125
- 230000006854 communication Effects 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims abstract description 94
- 230000004044 response Effects 0.000 claims abstract description 72
- 230000005540 biological transmission Effects 0.000 claims abstract description 29
- 230000003213 activating effect Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 87
- 230000009471 action Effects 0.000 claims description 18
- 238000012546 transfer Methods 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims 2
- 238000005352 clarification Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 12
- 239000008186 active pharmaceutical agent Substances 0.000 description 10
- 238000003058 natural language processing Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 239000008267 milk Substances 0.000 description 3
- 210000004080 milk Anatomy 0.000 description 3
- 235000013336 milk Nutrition 0.000 description 3
- 206010017577 Gait disturbance Diseases 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000002243 precursor Substances 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 206010047924 Wheezing Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008672 reprogramming Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3215—Monitoring of peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3231—Monitoring the presence, absence or movement of users
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L2025/783—Detection of presence or absence of voice signals based on threshold decision
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Bioethics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
Abstract
公开了具有始终侦听能力的计算设备家族,每个计算设备包括用于用户输入的电子传感器和关守模块,该关守模块在被启用时可以防止通信模块向该设备外部发送数据。设备确定用户输入包括第一唤醒短语;响应于该确定,在该短语之后发送用户输入的表示;激活始终接收模式以发送在短语之后捕获的用户输入流;禁用始终接收模式,以防止传输在短语之后接收的用户输入,除非也在第二唤醒短语之前;或启用关守模块以阻止向设备外部传输数据。还公开了用于处理针对除设备之外的接收者的用户输入以及通过控制设备的网络访问来确保数据安全性的其他方法。
Description
发明领域
本申请涉及用于包括可听语音或可见手势输入的用户输入的安全性和私密性,和经由“始终侦听”介质对用户输入执行辅助响应的方法和***。
背景技术
许多设备或软件解决方案目前销售给消费者作为“始终侦听”,包括Amazon(又名AlexaTM)、Google HomeTM、Apple HomePodTM和设备上的但是,这些设备配置为始终侦听其各自的“唤醒”词,一旦接收到这些字,设备将仅继续记录其他语音一段时间(例如单个完整的命令,字符串或查询继续其唤醒词,最后停顿一下)。这些唤醒词使设备知道命令或查询何时指向这些设备,以便立即进行语音数据的捕获和处理;并且不会以任何方式、形状或形式将其他语音数据记录或发送到云中,以保护安全性并保护用户所说的可听数据的私密性。
当前的“始终侦听”设备将更恰当地称为“唤醒词的始终侦听”,并且实际上响应大多数语音而处于非活动和休眠状态,而不是“始终”分析和确定对收到语音的响应和命令。
此外,这些设备仅通过遵从单个命令或响应单个查询来进行响应;由于当前***和“侦听”方法的局限性,他们无法遵守或直观地遵循一系列命令或查询。
当前市场上用于保护数据的解决方案使用设备表面上的物理按钮为用户提供对麦克风以及这些设备是否可以侦听的完全控制。当消费者期望仅语音控制时,需要手动按钮来确保启用和禁用麦克风很不方便,并且这不是令人满意的解决方案。设备制造商主要为了用户的安心提供它。
某些***通过软件方式控制“始终侦听”状态,这始终有外部数字入侵者入侵和窃取麦克风中可听或语音数据的风险。
消费者不太可能相信这些设备和安全协议将完全保护其隐私,尤其是如果没有通过“始终侦听”功能提供直接语音控制的情况下。
当前使用“唤醒”词和安全软件协议的方法需要花费大量时间和精力,以不断开发、维护和改进,而仍然无法在用户期望时实现保证静音的安全性。
当前大多数技术重点都放在改善检测可觉语音的机制或“操作方法”,提高准确性和提供“更快的响应”,其中后者的重点是预先定义规则和程序以响应查询或鉴于数百万用户可能拥有的各种各样的查询和命令或期望的帮助而预先分析极为有限的过去行为,而每一个用户都可能是独一无二的。
设备制造商和其他广告商竞争,以根据用户的需求和接受度,在最适用的时机和最相关的主题之间平衡提供最理想的帮助,同时被用户视为是无干扰和无破坏的。
发明内容
公开了一种具有始终侦听能力的计算设备,其包括:第一接收器,其被配置为从用户接收包括话语或手势的输入;通信模块,其被配置为向远程服务器发送数据并从远程服务器接收数据;关守模块;以及非暂时性存储器。关守模块由处理器实现,使得在禁用关守功能时,通信模块基于来自第一接收器的数据接收的所有数据均通过关守模块,而在启用关守功能时没有基于来自第一接收器的数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从第一接收器接收,并且关守模块的所有数据输出通过专用输出引线传输到第一接收器以外的组件。该非暂时性存储器存储指令,该指令在由处理器执行时使处理器:确定第一接收器接收的输入包括第一唤醒短语;以及响应于确定输入包括第一唤醒短语,自动执行以下至少一项:在第一唤醒短语之后发送用户输入的表示;激活始终接收模式以发送在第一唤醒短语之后捕获的用户输入流;停用始终接收模式,以防止传输在第一唤醒短语之后接收到的用户输入,除非也在第二唤醒短语之前;或启用关守模块以阻止所有的数据传输到具有始终侦听功能的计算设备外部。
公开了一种用于提供始终侦听辅助响应的计算机实现的方法。该方法包括经由接收器接收包括一个或多个话语或手势的用户输入;将基于接收到的用户输入的数据通过处理器实现的关守模块传递给通信模块,确定所述用户输入包括第一唤醒短语;和响应于确定用户输入包括第一唤醒短语,自动执行以下至少一项:在第一唤醒短语之后发送用户输入的表示;激活始终接收模式以发送在第一唤醒短语之后捕获的用户输入流;停用始终接收模式,以防止传输在第一唤醒短语之后接收到的用户输入,除非也在第二唤醒短语之前;或启用关守模块以阻止通信模块所有的数据传输。在禁用关守功能时,通信模块接收的基于来自接收器的数据的所有数据均通过关守模块,而在启用关守功能时没有基于来自接收器的数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从接收器接收,并且关守模块的所有数据输出通过专用输出引线传输到接收器以外的组件。
公开了一种具有始终侦听能力的计算设备,其包括:第一电子传感器,其被配置为记录视频数据;通信模块,其被配置为向远程服务器发送数据和从远程服务器接收数据;关守模块;和非暂时性存储器。关守模块由处理器实现,其中在禁用关守功能时,通信模块接收的基于来自第一接收器的数据的所有数据均通过关守模块,其中在启用关守功能时没有基于来自第一接收器的数据的数据通过通信模块,其中关守模块的所有数据输入通过专用输入引线从第一接收器接收,并且其中关守模块的所有数据输出通过专用输出引线传输到第一接收器以外的组件。非暂时性存储器存储指令,该指令在由处理器执行时使处理器:确定第一电子传感器记录的视频数据包括第一输入内容;以及响应于确定视频数据包括第一输入内容,自动生成并发送消息以供人类用户接收。
一种用于提供始终侦听辅助响应的计算机实现的方法,包括:经由第一电子传感器记录视频数据;将基于记录的视频数据的数据通过处理器实现的关守模块传递给通信模块;确定第一电子传感器记录的视频数据包括第一输入内容;和响应于确定视频数据包括第一输入内容,自动生成并发送消息以供人类用户接收。在禁用关守功能时,通信模块接收的基于记录的视频数据的所有数据均通过关守模块,而在启用关守功能时没有基于记录的视频数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从电子传感器接收,并且关守模块的所有数据输出通过专用输出引线传输到电子传感器以外的组件。
用于具有通信模块的计算设备的具有始终侦听能力的解耦附件,其包括第一电子传感器,其被配置为记录包括话语或手势的用户输入;与计算设备的数据连接;由处理器实现的关守模块;和非暂时性存储器。在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。非暂时性存储器存储指令,该指令在由处理器执行时使处理器:确定第一电子传感器记录的用户输入包括第一输入内容;以及响应于确定用户输入包括第一输入内容,自动生成并发送消息至计算设备。
公开了一种使用具有始终侦听能力的解耦附件来控制具有通信模块的计算设备的方法。该方法包括确定由附件的第一电子传感器记录的用户输入包括第一输入内容;以及响应于确定用户输入包括第一输入内容,自动生成消息并将消息发送到计算设备。附件包括到计算设备的数据连接以及由处理器实现的关守模块,其中在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了一种具有始终侦听能力的解耦帽,其被配置为与具有通信模块的计算设备进行物理接合,其包括被配置为记录包括话语或手势的用户输入的第一电子传感器、非暂时性存储器以及由处理器实现的关守模块。在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。所述帽干扰了计算设备的功能,并且非暂时性存储器存储指令,这些指令在由处理器执行时使处理器:确定由第一电子传感器记录的用户输入包括第一输入内容;以及改变对计算设备的功能的干扰性质。
公开了一种通过具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法,该解耦帽被配置为与之物理接合。该方法包括:确定包括话语或手势并且由帽的第一电子传感器记录的用户输入包括第一输入内容;以及改变所述帽对计算设备的功能的干扰性质。所述帽包括由处理器实现的关守模块,其中在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了一种具有始终侦听能力的解耦帽,其被配置为与具有通信模块的计算设备进行物理接合,其包括被配置为记录包括话语或手势的用户输入的第一电子传感器;非暂时性存储器;以及由处理器实现的关守模块。在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。所述帽干扰了计算设备的功能,并且非暂时性存储器存储指令,这些指令在由处理器执行时使处理器:确定由第一电子传感器记录的用户输入包括第一输入内容;以及从不同于第一服务器的第二服务器获取对用户输入的响应,计算设备将已经从第一服务器获取数据但是是因为计算设备的功能被干扰。
一种通过配置为与计算设备物理接合的具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法,包括:确定包括话语或手势并由帽的第一电子传感器记录的用户输入包括第一输入内容;以及从不同于第一服务器的第二服务器获取对用户输入的响应,计算设备将已经从第一服务器获取数据但是是因为计算设备的功能被干扰。所述帽包括由处理器实现的关守模块,其中在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了具有通信模块并在同一计算网络中的与第二计算设备解耦的具有始终侦听能力的第一计算设备,其包括:第一电子传感器,其被配置为记录包括话语或手势的用户输入;由处理器实现的关守模块;和非暂时性存储器,其存储指令,该指令在由处理器执行时使处理器:确定由第一电子传感器记录的用户输入包括第一输入内容;以及从不同于第二服务器的第一服务器获取对用户输入的响应,第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信。在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,而在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
公开了经由与第二计算设备解耦并在同一计算网络中的具有始终侦听能力的第一计算设备在具有通信模块的第二计算设备中提供信息安全性的方法,包括:确定包括话语或手势的并且由第一计算设备的第一电子传感器记录的用户输入包括第一输入内容;以及从不同于第二服务器的第一服务器获取对用户输入的响应,第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信。第一计算设备包括由处理器实现的关守模块,其中在禁用关守功能时,通信模块接收的基于来自第一电子传感器的数据的所有数据均通过关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过通信模块,其中关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
本文公开了一种计算设备,其包括电子传感器、关守模块和存储指令的非暂时性存储器,所述指令在由处理器执行时允许用户经由被电子传感器感知的用户输入控制由关守模块执行的始终侦听模式。
附图说明
图4描绘了第三方软件的现有技术功能,其用于设置唤醒词以命令软件开始口述;
图5以简化的形式描绘了现有技术的个人数字助理中组件的常规关系;
图6以简化形式示出了具有“始终侦听”能力的电子设备的实施例;
图7以简化形式描绘了具有“始终侦听”能力的电子设备的替代实施例;
图8以简化形式描绘了具有“始终侦听”能力的电子设备的替代实施例;
图9描绘了处理第二不同的唤醒词的说明性方法的流程图;
图10描绘了用于始终侦听设备的附加特征的程序逻辑的替代流程图;
图11描绘了解耦的关守附件,其可以被附接到现有的侦听设备以提供安全的始终侦听功能;
图12A、图12B和图12C示出了用于帮助提供安全的始终侦听功能的解耦的隔音或其他隔离屏障;和
图13描绘了包括解耦的网络设备的***,其用于提供安全的始终侦听功能,同时有选择地将用户的生成的网络流量的一部分绕道到替代目的地。
具体实施方式
本文公开了一种改进的技术方法、设备和***,供用户控制其语音或动作(包括但不限于单词、音调、命令手势、手语通信、面部表情、移动方式或其任何组合)何时由电子设备记录,同时最小化或消除对安全性编程的需求,有机地创建对电子设备和可听语音和/或视频数据的受控访问***,并为用户和协助传递服务提供商均提供接收、分析、解密、计算、访问或评估数据的渠道,以向用户提供实时相关的帮助。
本发明提供了对固定接收的数据的当前技术和方法的显著改进,如本文针对提供用户使用基于语音或手势的动作的装置在侦听介质或设备(例如Amazon移动设备、计算设备、网络摄像头、安全摄像***等)中控制始终侦听模式而无需依赖于要固定的软件进一步描述的,因此提高了用户选择允许介质始终侦听对话的可接受性;在完整的始终侦听模式有效时,几乎实时地提供这些定向或间接的语音、动作/手势和/或命令/查询,以便对其进行解密、处理和提供非定向和未经请求的帮助或无需“唤醒”词下的帮助。手势包括(但不限于)自定义手势或基于语言的手势,例如美国手语。
本文公开的用于保护可听数据的改进的方法、装置和***包括不能从设备外部来源接收电信号(但是仍然能够发送电信号和数据)的麦克风或摄像头(在本文中称为“接收器”),以及可以是一个或多个无法接收外部电信号(但能够接收数据)的独立处理器,或嵌入在双向处理器中的关守模块,关守模块位于其中,其中关守模块无法接收外部电信号(仍然能够发送电信号并从接收器接收数据),其中关守模块或独立处理器(其无法接收外部电信号)可以充当本地化预处理器,以在启用或禁用电子设备的真正“始终侦听”之前对用户的语音命令进行预处理。因此,提供了通过语音命令打开和关闭真正的始终侦听的本地化的不可破解的控件。该预处理器或预处理(或关守)功能可以能够将可听数据直接中继到无线通信模块,或中继到主处理器,以执行其他处理功能,例如端到端加密,然后再将随后加密的可听数据中继到无线通信模块;然后它可以连接到远程计算机(例如云服务器或计算平台)。本质上,预处理器/关守模块充当单向通信的不可破解的“阀门”,其将从接收器接收到的数据馈送到主处理器或无线通信组件。
本文所述的方法利用了不能接收外部电信号的处理器上的本地化预处理器或预处理功能,将“始终侦听”功能与控制权隔离给了本地用户,其中关守模块的控制实际上没有外部数据访问,因此不容易受到黑客攻击。
图1-4描绘了现有技术中用于控制数字个人助理设备的侦听和响应的各种软件控件。例如,图1的接口10示出了拨动开关11,用于允许唤醒词“Hey Siri”触发侦听而无需与设备进行物理交互。同样,图2显示了界面20,其允许词“OK Google”触发侦听。图3显示操作***的界面30,按钮31用于禁止麦克风输入到***。最后,图4显示在第三方软件“Dictation”中的界面40,用于在按钮41中总体控制口述和设置特定的唤醒短语42以触发记录和动作。
图5以简化的形式描绘了现有技术的个人数字助理中组件的常规关系。用户可以按下按钮100以物理上禁止(静音)麦克风101“始终侦听唤醒”词。在正常操作条件下(未静音),麦克风101被动地侦听唤醒词以进行检测,一旦检测到,将在前体唤醒词发送到处理器/或无线I/O组件103之后立即记录语音字符串、查询或命令。一旦字符串被处理器或无线I/O组件103接收,在大多数情况下单个字符串就被传输到云服务器104,或者如果处理器存储了一组预编程的可执行指令(例如“关闭<名称>灯”,则本地处理。然后,处理器/始终侦听设备返回以被动监听前体唤醒词。如果字符串被发送而不是本地处理,则云服务器104处理字符串、查询或命令,并通过无线I/O组件103将响应返回到第一处理器。然后处理响应以实际上遵守命令,或者通过扬声器105播放可听见的响应。
图6以简化形式示出了具有真正“始终侦听”能力的电子设备的实施例。该设备可以替代地在其他实施例中描述为“始终接收”、“始终观看”、“始终记录”、“始终发送”和/或感测和记录来自传感器的输入的任何其他方法,无论那些传感器是麦克风、摄像头或其他能够捕获有关环境信息的电子设备。
麦克风(或摄像头或其他接收器)200可以配置为始终侦听(或记录或监视除音频输入以外的)来自用户的潜在指令的感觉馈送,包括但不限于激活始终侦听模式,停用始终聆听模式,激活或停用基础数字个人助理***的功能,或提供数字个人助理服务(例如响应口头查询)。记录的音频、视频或其他数据可以从接收器200发送到预处理器和/或关守模块201。
在一些实施例中,该设备可以包括两个或更多个不同的接收器。只要设备被加电,第一接收器200就可以被加电并监视用户输入,但是其可以不具有通往设备的通信模块202的数据引线,因此可以防止与远程服务器或其他外部设备进行通信。从第一接收器输出的数据可以仅发送到语言处理能力有限的处理器和/或关守模块201。第二接收器206通常可以断电或断开数据传输,只有在关守模块201允许的情况下才恢复电力或恢复数据传输功能。
关守模块201可以控制或限制在电子设备的关键路径、组件或功能处的入站(包括但不限于授权和未授权电信号)或出站数据(音频、视频、语音、手势或其他数据)的手段。可选地,关守模块201可以允许或拒绝从电源205(例如可以是电池或到A/C电源的连接)到设备的特定组件的电力,所述组件包括(但不限于)麦克风、处理器和/或通信模块(例如Wi-Fi、ZigBee、蓝牙、近场通信(NFC)、蜂窝电话连接等)。在一些实施例中,各种组件总是直接连接到电源205(在图中用实线表示),而其他组件可以直接连接或通过关守模块201连接(在图中用虚线表示)。
关守模块201可以被实现为集成电路、母板上的芯片或任何其他形式的硬件解决方案。可选地,关守模块201可以采用存储在非暂时性存储器上的安全编程或协议的实施方案,所述非暂时性存储器例如(但不限于)EPROM(只能通过照射紫外线到存储器芯片上的设计/指定区域在本地和物理上擦除并且无法远程重新编程的存储器)。应当理解,本领域普通技术人员将能够在任何数量的替代硬件和/或软件实施方案中应用如本文所述的关守方法。
编程/协议可以具有将接收的入站电信号限制为预设大小或时间段或基于最近的活动的功能(例如向服务器发送请求以加载网页可能会允许电子设备接收数据一段时间或直到加载网页为止,但是当在预设的时间段内没有最近的数据请求时,EPROM中的关守模块可阻止电子设备通过无线接收器接收其他数据)以防止电子设备被黑客入侵。
可选地,如果关守模块处理器没有来自用户的本地输入许可以连续发送,则关守模块可以被设置为“阻止(或限制)无线发射机上的连续音频传输”。
关守模块可以设置为允许在时间间隔(例如从皮秒到秒、到分钟的任何时间)内的入站数据微爆发,以使设备可以下载预期的数据流,从而允许检查推送通知,并允许配置为处理用户数据的服务器接收响应,但使获得未经授权的访问或“破解”安全漏洞、上传恶意数据或进行拒绝服务攻击所需的连续连接变得困难或不可能。间隔的长度或间隔之间禁用通信的时间长度可以随机选择或以固定间隔选择(例如,每20毫秒禁用通信一毫秒,或者从每一秒中禁用通信随机选择的一毫秒)。间隔的长度也可以与比例相关(例如,与禁用入站数据的时间间隔相比,允许入站数据的时间长五倍,长二十倍或任何其他时间倍数)。
关守模块可以设计为仅允许通过物理、有线方式或更有限范围的无线方式例如(但不限于)蓝牙、NFC等在本地将传入的数据连接到功能本身。可以通过修改设备上所需的一个或多个密码、数字指纹(例如Cookie或令牌)保护该功能,或通过需要由用户的个人电子设备(例如智能手机或其他移动设备上的应用程序)进行物理标识或验证用户身份的软件保护该功能,然后允许修改该功能的软件。允许对关守模块进行某种程度的编程或重新编程的这种方法将允许有益的安全协议和更新,而不必进行“入侵防御”,也可以进行“中转”相关的安全性和定制。例如,关守模块可以被编程以连接到另一个云计算平台而不是由原始制造商硬指定和编码的平台(例如AlexaTM/可以被重新配置,以通过识别新的语音可发送到的IP地址连接到平台)。
关守模块还可以通过预定的软件例如(但不限于)智能手机“app”定期编程和/或更新。在一些实施例中,设备可以被重新编程为使用VPN(虚拟专用网络)来将可听语音或手势数据中继到云中的服务器处理器。可替代地,可以基于负载平衡或流量平衡考虑对设备进行编程以从一组可能的IP地址中进行选择。可以添加安全特征,以对加密和/或恶意代码进行两点验证,这些加密和/或恶意代码是作为上传的音频数据或手势数据通过或经过。
可替代地,可以对关守模块或处理器进行编程以将接收到的数据转发到本地预处理器。例如,可以将接收到的语音或手势数据转发到与该设备相同的无线网络上的本地服务器207,或者转发到智能手机应用程序,而不是转发到远程服务器。这样,可以确保信息的私密性和安全性,并且即使无线网络与更大互联网的连接丢失,也可以允许以某种容量进行操作。
在另一个实施例中,数字个人助理可以包括多个处理器,其中无线通信组件被限制为接收外部来源的入站数据并且仅将入站信号发送到第一处理器,第一处理器不能向无线组件发送信号,并且只能将信号传输到显示器或扬声器。此外,无线通信组件可以被限制为仅从第二处理器(从一个或多个接收器接收)接收出站(接收的输入)数据以发送到远程计算设备;因此,使得接收器无法被数字入侵者所取代。
语音和手势数据的纯本地处理可以启用与安全性和私密性相关的更安全的应用程序。例如,如果家庭安全***由语音、手势、面部识别或其他需要处理的视频或音频输入控制,则本地处理可能比远程处理更优选,远程处理可能允许远程黑客禁用房屋的安全性。可以添加私有和安全的“对讲机”或其他通信功能,以在本地网络之外运行并允许本地网络上的多个设备之间进行通信。
在一些实施例中,预处理器201可以被编程为默认允许连续传输由接收器接收的所有音频或视频数据,并且仅响应于特定用户输入而对数据传输施加限制。
在预处理器及其功能的另一个实施例中,预处理器201可以包含嵌入在非暂时性存储器中的本地化自然语言处理(NLP)程序,其负责将用户接收的输入的连续字符串预先解析为单个最容易理解的子字符串。
例如,用户可能更喜欢做出一系列命令而没有停顿,始终侦听设备和/或其云计算单元可能无法破译一系列复杂的命令,如:“上播放古典音乐设定音量为四,一小时内停止播放,关闭卧室灯光,在上午7点设置闹钟”。但是,利用包含预解析NLP的预处理器201可以在将字符串传输到云计算单元之前将字符串分析和转换为五个单独的命令:
“将音量设置为4”,
“在1小时内停止播放”,
“关闭卧室灯光”,和
“在上午7点设置闹钟”。
作为响应,云计算服务器203可能够分别按顺序响应,如其原始功能正常的和/或连续地:
“我将在1小时内停止播放。”
(自动更改设置)“好的”。
“闹钟设置为上午7点。”
字符串的预分析也可以在远程云计算单元203处完成;或在引入实际的NLP或ASR(自动语音识别)之前已完成的任何其他配置中。
在另一个实施例中,关守模块和/或其相关联的硬件可以在与“始终侦听”电子设备分开的设备中是独立的。
关守模块201可以包括自然语言处理(NLP)以本地处理来自用户的输入。
在图6中,箭头描绘了电子设备内的无线和有线之间数据传输的定向流。如图所示,预处理器和/或关守模块201限于单向出站传输。关守功能201可以被嵌入在单向处理器(即仅具有来自接收器的输入并且仅具有至下游处理器的输出的设备或组件)或双向处理器中,只要关守模块仅限于单向出站传输。如果不由数据输入/输出端口本身强制执行单向功能,则可以由例如存储在只读存储器(ROM)中并由关守模块201中的处理器执行的软件强制执行。
在所示的实施例中,预处理器和/或关守模块201中继并保护接收器200接收到的语音或其他视频或音频数据,然后将其发送到主处理器和/或无线输入/输出通信组件202,其将语音数据发送到云或其他远程服务器203。
主处理器202可以在传输之前加密语音数据或以其他方式确保数据传输通道的安全性。可替代地,加密可以在预处理器级别201处进行;或两者兼而有之,以获得多层加密特征。
***/组件/方法可以集成到各种类型的电子设备中,例如(但不限于):移动电话,平板电脑,笔记本电脑,计算机,智能手表,电视,照明设备,媒体播放器(例如DVD播放器、蓝光播放器、iPod等),家庭安全***,智能家居设备(例如智能恒温器、智能冰箱、智能锁/门铃等)。本领域普通技术人员将能够将本发明应用于整合将为用户、设备制造商、内容(和/或广告)交付提供者或其组合提供附加值的实施例的许多其他方案、应用和方法。
在一些实施例中,没有外部数据输入的集成的关守模块可以用于保护用户可能会发现敏感并希望保持安全和私密的视频或其他类型的数据馈送。
在一些实施例中,设备可以包括一个或多个发光二极管(LED),其发光/不发光状态、颜色或闪烁模式允许用户视觉确定始终侦听模式是打开还是关闭。其他视觉或听觉效果可用于指示始终侦听状态,包括例如在设备的屏幕或显示屏上的符号、图标或闪烁的图标,偶尔的蜂鸣声或预先录制的声音,以提醒用户处于始终侦听模式,或者通过该用户的感官输入以其他任何方式警告或提醒用户正在发生录制。
尽管用于向用户输出设备的扬声器是优选的,但是在一些实施例中,设备可能不包括用于输出的扬声器,而是可以由光、振动、视频屏幕或其他视觉指示器中的一个或多个提供。可替代地,设备可以是完全无声的并且在视觉外观上不变,仅在后台执行数据传输和更新而无需反馈给用户。
在一些实施例中,除了麦克风或摄像头之外,该设备还可以包括一个或多个传感器,其包括(但不限于)振动传感器(例如地震仪)、全球定位***(GPS)、加速度计或用于确定方向的陀螺仪、温度计、湿度传感器等。附加传感器可以甚至在没有话语或手势的情况下也用于确定可能的用户意图,例如,检测跌倒的用户的振动、起居区中的不安全温度或其他紧急情况。
用户在何地以及何时启用功能的“始终侦听”模式、设备和/或其异地功能(例如云计算、逻辑、自然语言处理器或人工智能)可以侦听/接收/记录、处理、记录有用的数据并确定适当的时间来响应和/或提供辅助性详细信息。例如,如果用户选择打开“始终侦听”,则该设备可能能够基于音频输入提供许多有用的服务:
·如果用户口头安排约会(与另一个物理上在场或通过电话),则设备可以将该约会添加到与该用户关联的软件日历中。
·如果在观看电影时用户通过对话询问第二个用户,“那个演员是谁?”,设备可尝试确定正在观看的电影和场景,检查有关电影的信息的数据存储库,并以演员的身份的最佳猜测/估计做出响应。
·如果用户与第二个用户或家庭成员交谈以“提醒他们”即将发生的事件或分配的任务,则设备可以通过在其数字或云笔记中添加有关事件或任务的提醒来做出适当响应,或者添加移动电话提醒该第二个用户。
·如果用户与另一位用户或家庭成员就去哪里吃饭或吃什么的话题进行交谈,则设备可以响应附近餐馆的建议,这些餐馆已经付费做广告、促销等。
·如果用户询问建议的餐厅有多远,则设备可以确定用户的位置(通过设备中的GPS单元,用户个人资料中的地址或其他估算方式(例如,手机信号塔三角测量)),并以用户到餐厅的大致距离做出响应。
·如果用户说餐厅(到设备或另一个用户)太远,则设备可以查询是否有用户想要停留的时间或距离参数。
·如果用户在最后一次时间或距离对话结束后讨论并暂停一段时间,则设备可以在任何提供的参数或从用户的讨论中接收或确定的参数范围内提出替代建议。
·如果用户在用户想要的某种食物之后讨论并暂停一段时间,则设备可以在用户讨论或指令的参数范围内提出建议。
·如果用户在一段时间后讨论并暂停他/她/他们想观看的电影,则该设备可以提供有关放映时间、位置、距离或其组合的信息。
·如果用户通过对话将环境条件描述为不舒服,则设备可以连接到一个或多个恒温器、冷却***、加热***、风扇或其他外部环境控制设备,并将电子命令传输到设备以将设置修改为更理想的水平。同样,如果用户说“这里太亮了”,则设备可能会向电动窗帘发送信号以使其关闭或稍微关闭,或者向调光开关发送信号以将灯光调暗至较低的设置。
·如果用户描述了疾病的症状,则设备可以建议治疗方法,自动更新用户的病历以在将来的医疗预约期间进行咨询,和/或插话,建议立即就医。
·用户可以对***和/或设备进行预编程,以识别特定的“安全”和“紧急发送帮助”代码字或手势,以增强用户的安全性。例如,在进入装备了武装安全***的住宅时,诸如“蓝象”之类的代码字可以用作“所有安全”字/短语(并可以通过语音ID进行验证)。或者,用户可以配置特定的短语或手势来表示“用户受胁迫-发送帮助!”如果入侵者随后强迫用户停用安全***,则说出该短语可导致安全***在警告当局的同时进入错误的撤防状态。当用户试图逃避或躲藏时,第三短语或手势可被用作“紧急”命令立即触发安全***。
音频处理功能可以另外配置为警告用户潜在的伪造或恶意输入。例如,如果用户正在侦听广播中的音频或正在通过网络流式传输的音频,其中包含隐藏消息的频率超过或低于正常人的听力范围(大约20Hz-40kHz)。可以不给设备配置对麦克风录制的音频的操作,而是将设备配置为通过听觉或以其他方式警告用户正在感知到发出不可听见命令的尝试,并且可以提供进入更安全的模式以禁用一种或多种命令类型、暂时禁用设备的音频输入、或暂时禁用由生成音频的任何设备输出的音频。类似地,可以训练该***以识别家庭的许多成员的声音,并确定接收到的口头命令要么来自当前播放的音频娱乐中的录制语音,要么来自未经授权的家庭中的访客向设备发出命令。***可能会要求确认或拒绝对无法确认为源自设备的授权或正常用户的输入进行操作。
类似地,包括摄像头的***可能能够仅基于视频数据或基于音频和视频数据的组合来提供许多有用的功能。
·如果用户无法讲话或不愿意讲话(例如用户聋、沉默、正在吃东西、处于大声环境且不想大声喊叫等),则用户仍然可以享受安全和通过与设备的基于自定义或基于语言的手势通信、个人助理设备的帮助。该***可以被配置为识别微表情(例如微笑、皱眉、喘着粗气、撅嘴、鼻孔张开、眉毛的移动、眼睑的移动、舌头的移动、脸颊的移动等)以及宏观表情(挥手、一个或多个抬起的手指的组合、美国手语或其他手语的传统交流方式等)。可以将微表情和宏观表情与确定的语音量或语音内容信息结合起来,以确定可能的用户情绪或意图。从情绪或意图的这些确定中收集的信息可以用于更新用户个人资料(例如,如果在团队获胜时用户欢呼,记住该用户喜欢运动队,或者如果用户吃完后做鬼脸,则记住该用户不喜欢食物)。
·甚至可以在音频数据不可用或听不清的情况下,还可以训练该***以通过处理视频数据来“阅读嘴唇”或通过微观或宏观表情表达的其他用户意图。语音单词可以转换为查询或命令,并可以通过单独分析视频数据,或通过用视频数据补充可用的音频数据以读取说话者的嘴唇,而由***采取行动。
·如果用户跌倒在地板上和/或发出痛苦或不适的叫声,则***可能会询问用户的健康状况,联系第三方例如家庭成员或朋友或联系紧急服务以向用户提供医疗帮助。如果用户跌倒或受伤后无反应,则***(如果用户事先在***设置范围内允许)可能会覆盖并访问其他视频供稿,以确定用户的状态,和/或将视频供稿转发至第三方或紧急服务。该***可以基于诸如跌倒楼梯或从梯子上跌倒的跌倒特征,而不是仅仅从站立位置跌落或下床,立即升级情况。该***还能够使用视频数据来检测血液、可能的骨折骨头或其他受伤迹象,以确定受伤的可能性或严重程度。
·***可以通过使用摄像头来建立一个位置中的多个物体的位置的模型(或者经由多个摄像头对精确的位置进行三角测量),并且可以使用该信息来辅助用户。例如,如果用户在夜间走动,则***可以确定对象不在用户所在的路径中,而该路径通常不在该位置,并发出声音警告“您将碰到放错位置的椅子!”以帮助用户避免在黑暗中绊脚或绊倒。类似地,***可能自己跟踪用户的位置,并警告用户该用户正在与平常不同的路径上行走,并且可能与墙壁或家具发生碰撞。
·该***还能够通过确定一个或多个物体(例如珠宝、电子产品、绘画、家具等)不在该模型的典型位置中来生成可能已发生盗窃的警告。可能的盗窃的确定还可以基于面部识别和确定是否存在陌生面孔后物体消失,或者基于不存在陌生面孔时在不存在居民家庭的情况下主动生成,即使没有其他物体还没有搬动。
·***可以使用对象识别来确定正在发生危险或不期望的情况。例如,可以确定儿童拿着刀、枪械、其他锋利或***性物体、窒息危险、昂贵且易碎的物品,或儿童不应接触的其他物体。作为响应,可以生成警报并将其发送给孩子的父母或其他看护人。自动检测其他不良或不安全的情况,例如拥有吸毒用具的青少年或运动表明他在握住车钥匙时可能受到酒精影响的成年人,可能会向适当的接收者发出警报,该接收者可以采取行动解决该情况。
·该***可以确定正在进行的用户动作的最终意图,并且如果该动作花费了确定为该动作类型异常的时间长度,则该***提供联系帮助。例如,一个小时后,可能会提示确定要在浴室或洗手池下使用工具工作的人本地的水管工的联系信息。在预定时间段过后,可能会提示在客厅或卧室里拿着锤子、扳手、螺丝起子或其他手动工具的人本地杂工或木匠的联系信息。可向靠近汽车一段时间且未进入汽车并离开的人提示机械师、拖车服务或其他汽车服务公司的联系信息。
·***还可在正在进行的过程中提供帮助。例如,一个人在烹饪食谱时可以跟踪他们在厨房里的活动,这样,如果他们停顿了一段时间,便会自动听到菜谱的下一步提示,而不必查阅食谱或他们正在使用其食谱的网站。食谱的当前步骤可以通过将用户动作的视频识别与用户的搜索历史交叉索引或确定用户先前查阅的菜谱页面来确定。在另一个实施例中,班级的老师或多个孩子的父母可以指示一群学生/孩子进行特定的任务或工艺项目。***可以跟踪每个人的当前动作,并准备好在其表达困惑、沮丧或似乎正在采取与可能输入或预先配置的活动描述不一致的动作的情况下,在帮助下进行干预或通知老师/父母进入***。
·该***可以使用观察到的用户动作来生成提醒、更新购物清单或将项目添加到在线购物车。例如,如果用户倒了一碗谷物,然后找不到牛奶并表示惊讶、悲伤或厌恶,则可以自动将牛奶添加到购物清单中,或者当用户在杂货店中时可以生成自动提醒并将其发送到用户的移动设备,或者消息可能会发送给当前不在家的并且可能会在回程中购买牛奶的另一家庭成员。可以做出类似的确定,即家庭需要购买灯泡(响应于视频确定照明减少和/或无意中听到用户说他们找不到灯泡)、尿布或其他婴儿用品或任何其他可能由家庭定期购买和消耗的物品。
可以给予用户关于如何将设备或***接收的视频数据提供给第三方的更细微的控制。例如,关守模块可以被配置为在允许外部传输之前总是使整个身体、或脸部、或者除脸部之外的身体的任何部位或任何裸露的皮肤模糊。身体的特定部分例如手、脚和/或脸可以保留或隔离以进行传输,以便不传输其他背景信息。诸如房间、家具、视频屏幕、文档或其他对象之类的背景信息可被明确排除或包含在设备外部传输的任何视频中。
控制视频内容的连续传输的实施例在工业/商业场景中可能是有用的,例如,在其中可能发生盗窃或关注安全/责任的情况。在实施始终侦听或观看***的仓库中,可以对数据源(音频、视频或两者)进行连续处理、解密和/或分析,以制定、检索、计算、访问、评估或其组合最合适的对数据的响应,例如通过显示器提供视觉反馈或通过扬声器提供音频反馈,以帮助工人,增强安全性或发现不安全行为,或提醒商店或官方当局有闯入、入店行窃或盗窃。另外,***可以保存关于违规的接收数据以用于训练目的。
可替代地,用于监视违规的接收数据可以进一步用于确定不移动违规,例如非法停车或超过停车计时器的时间限制等。
该***和方法的响应可以是被动的或主动的。例如,被动响应是响应于无意听到的对话,对用户日历进行约会;积极的回应是向餐厅就餐地点或下单的无意听到的对话提供建议。
一些实施例可以包含一个或多个显示器,以提供视频点播或辅助递送,例如,可视的使用方法、广告、促销、优惠券或期望使设备感兴趣或通知用户的类似视频内容。
在一些实施例中,在对话中出现的关于用户的其他数据,例如用户最喜欢的颜色,对主题的好还是不好的意见,或者在对话、辩论或争论中出现的其他评论,可以被处理器识别为而不是可以提供协助的查询或请求。但是,仍然可以将信息存储在数据库中,以在将来提供更好的帮助,例如,根据用户以前的评论,响应于在线购买商品、购买用户喜欢的颜色的商品或建议观看书或电视节目的请求。在一些实施例中,该***可以学习和存储用户的年龄、性别、家庭人口统计学、所拥有的产品以及与用户的品味有关的其他信息中的一个或多个。关于家庭中用户的数据可以匿名化,以防止在数据泄露或其他未经授权访问数据存储的情况下识别和尊重用户的隐私。
通过始终侦听设备从用户那里收集的声音数据以及援助的响应可能不仅限于家庭。例如,在工业或商业应用中,可以解密和分析通过始终侦听设备收集的可听数据。如果一个雇员问另一个,“我们是否有某种物品库存?”,***可能会***对话并以声音回答,“是的,新泽西仓库有123件,纽约仓库有234件”或“不是,但预计将于7月7日发货。”通过建立模型并学习在特定设备位置举行的对话的背景,可以准确地提供对普通问题的响应。
图7以简化形式描绘了“始终侦听”设备的另一实施例。
在一些实施例中,只要预处理器和/或关守模块301被限制为仅具有单方向出站传输能力,则预处理器和/或关守模块301可以与主处理器306和无线I/O通信模块302集成在一起。在该实施例中,主处理器无线发送器/接收器302将语音数据发送到云或其他远程服务器设备303,并依次接收响应,该响应可以通过一个或多个扬声器304以听觉反馈的形式进行中继。在一些实施例中,来自电源305的电力仍可以仅经由集成的关守模块/处理器/通信模块传递到麦克风300,而在其他实施例中,麦克风300可以具有不可切断的直接电力链路。
图8以简化形式描绘了具有“始终侦听”能力的电子设备的替代实施例。
在一些实施例中,第一预处理器和/或关守模块401和第二预处理器和/或关守模块402可以各自被动地“始终侦听”其自身独特的唤醒短语。例如,预处理器和/或关守模块401可以具有唤醒短语是单词“Alex”,而主处理器唤醒词可以是“AlexaTM”(按通常用于Amazon)。
在其他实施例中,唤醒短语可以是特定单词、特定系列单词、手势、面部姿势、身体运动、音调、哨声、声音模式、动作模式、敲击模式,或以上的任何组合。唤醒短语可以被预先配置到设备,或者可以由用户根据用户的喜好来设置。
在一个实例中,如果用户说“Alex”,随后是诸如“允许始终侦听”之类的单个字符串,则***可以通过允许连续侦听和传输语音数据来做出响应。类似地,“Alex”然后是“停止侦听”可中断语音数据的侦听和发送。
在完成“停止侦听”命令之后,***可以返回到被动模式。预处理器和/或关守模块也可以集成或保持独立于第二或主处理器。此外,无线I/O或发送器/接收器可以被集成或保持独立于处理器。
在一些实施例中,第一关守模块401可以控制第二关守模块402或与第二关守模块402通信。例如,如果将关守模块401添加到不完全受信任的现有***中,则用户可能能够使用第一个唤醒短语来控制现有***是否完全能够侦听,并阻止现有***将记录的数据报告给中央服务器。
图9描绘了处理第二不同的唤醒词的改进方法的说明性流程图。
在接收到的唤醒词之后的下一个可听短语被接收(步骤903)并被发送到云或其他远程服务器(步骤904)以进行自然语言处理(NLP),并由远程服务器确定最佳的直接或间接响应于用户的每个口头输入或手势(步骤905)。如果正确的响应是信息、语音、音乐等,则通过设备的扬声器输出;如果正确的响应是动作(例如下载文件,与另一设备的API通信等),则执行该动作(步骤906)。然后,该设备继续再次侦听第一唤醒词或手势(步骤900),处理任何其他口头输入,并将任何后续帮助传递给用户。
相反,如果接收到第二唤醒词(步骤902),则进入“始终侦听”模式(步骤907)。始终侦听周期(步骤908-911)反映了常规的一系列步骤(接收用户输入、传输到云、确定最佳响应并进行响应),但是为恒定的周期或者甚至多个并行周期的恒定序列(即接收第二个用户输入并甚至在服务器基于第一个输入做出响应之前就将其发送),而不是返回对唤醒词、短语或手势等待、休眠。多个异步系列的步骤(步骤908-911)可以同时进行处理,并且可以基于感知到的用户需求实时确定响应的优先级。例如,如果用户说“我想知道最近的墨西哥餐厅在哪里。实际上……我想我要中餐,”***可能已经开始处理确定墨西哥餐厅位置的请求,但是在做出确定之前就收到了第二条陈述。响应于接收到第二条陈述,可以代替墨西哥餐厅而处理和输出中餐厅查询。
可以根据以下中的任何一项或多项来确定响应的优先级:感知到的紧急性指示(例如语气、音量、用于表示重要性或危险的词汇),紧急情况或安全问题,内容和主题相关性,确定用户当前的意图或兴趣,确定用户不再需要帮助,在一组用户中对用户进行排名(例如首先对设备的所有者做出响应,或对成年人比对孩子先做出响应),主题相关性或广告的最高出价者。因此,在通过接收第二个唤醒词而进入“始终侦听”模式之后,***可以成为会话中的被动或主动参与者,插话以查询或提供信息,或者作为对无意听到的响应被动地更新日历或其他数据存储。
图10描绘了用于始终侦听设备的附加特征的程序逻辑的替代流程图。
如在图9中,***监听输入(步骤1000);如果使用第一唤醒短语,则可以遵循正常的单查询过程(步骤903-906),并且如果使用第二唤醒短语,结合使用始终侦听模式的命令,可以触发对输入具有连续响应的始终侦听模式(步骤908-911)。此特征可以防止用户仅通过说出第二个唤醒短语而无需确认他们的意图,以及在不知不觉中让设备在后台侦听和/或执行动作的情况下意外触发始终侦听模式。
另外,始终侦听模式应该一直在侦听用户的指令以结束始终侦听模式(步骤1005),在这种情况下,***可以返回其正常的侦听功能(步骤1000),以便输入单查询周期或多查询、始终侦听周期。
在一些实施例中,***可以侦听附加命令以禁用***功能的一个或多个部分(步骤1002)。涉及的功能可包括禁用设备的麦克风或其他接收器,禁用关守模块(以使数据或电源不受阻碍地通过关守模块传输),禁用多个处理器中的一个处理器或禁用与云或本地设备通信的通信模块。然后,***可以侦听命令(步骤1003)以重新启用禁用的功能,如果接收到该命令(步骤1004),则***将返回其先前的功能。
禁用功能/启用功能周期(步骤1002-1004)可以改为包含在单查询周期(例如,在步骤903和904之间)或多查询始终侦听模式(例如,在步骤908和909之间)的流程中。
例如,在始终侦听模式下,例如,如果用户不信任基础数字个人助理从第一接收机接收数据,但确实信任添加到数字个人助理并由第二接收机输入控制的关守模块,则可以发出命令以关闭多接收器设备使用的一个麦克风或其他接收器,同时保持另一个麦克风或接收器的功能。
与上述实施例相反,将关守模块或芯片集成到向用户提供辅助响应的同一设备中,涉及为多接收器***中的一个麦克风或其他接收器提供控制同一***的其他接收器和子***的输入和输出的手段的上述功能(步骤1002-1004)可以在解耦的设备中实现,该解耦的设备被引入到现有的始终侦听***中,以提供添加解耦的设备之前***中不存在的附加功能,而无需直接修改始终侦听***的设备的软件或硬件。
图11描绘了解耦的关守附件,其可以被附接到现有的侦听设备1150以提供安全的始终侦听功能。
现有的侦听设备1150可以是例如具有内置在电话的操作***中的麦克风和辅助语音搜索的移动电话,或者可以是诸如亚马逊的Echo或谷歌的家庭设备之类的可商购且预先配置的数字助理。
附件1100被配置为***现有设备1150的外部端口,并且可以包括例如先前描述的关守模块201和麦克风200,以及被配置为适合于外部端口的输入/输出耦合链路1105。
在优选实施例中,输入/输出耦合链路1105可以是适合于***设备1150的3.5mm插孔(传统的“耳机”插孔)的电缆。在其他实施例中,输入/输出耦合链路1105可以是使用另一种连接协议或电缆终端类型的电缆,例如(但不限于)USB(通用串行总线,类型A、B、C,“迷你”或“微型”)、HDMI(高清多媒体接口)、VGA、DVI(数字视觉接口)、Firewire或其他形式的数据总线、物理电缆连接类型和/或用于数据传输和接收的关联协议。在其他实施例中,输入/输出耦合链路1105可以包括无线发射机并无线地建立连接,诸如通过蓝牙、WiFi、NFC(近场通信)或其他连接。附件1100可以包括多个输入/输出耦合链接1105,以允许附件与多种不同类型的现有侦听设备1150一起工作。类似地,它可以允许移除和***新的输入/输出耦合链路1105,以经由尚未发明但通过软件更新来建立与无线发射器或电缆连接的外部端口类型或通信协议来与新开发的现有监听设备1150一起工作,所述无线发射器或电缆在其一端具有新的外部链接类型,在另一端具有附件1100的熟悉的外部链接类型。
现有设备1150可以具有一个或多个***API,其允许电子通信直接禁用(例如向个人数字助理应用程序本身发出命令以暂停执行,或终止,或停止侦听或直到发出命令以重新启用等)或间接禁用(例如在操作***级别,关闭设备1150的麦克风或其他接收器或禁用应用程序访问麦克风的权限等)设备1150的侦听功能。类似地,***API可以允许重新启用***或应用程序特征,或者允许修改用于操作设备1150的侦听功能的配置数据或其他规则。
响应于麦克风200感知到的停止侦听的用户命令,关守模块201可以使API命令通过输入/输出耦合链接1105发送,以供设备1150的操作***或设备1150的软件接收,该设备正提供个人数字助理功能,用于根据API进行处理,以终止设备1150的进一步侦听(或使其不可能)。因此,安全性由附件1100强制执行,因为重新启用侦听的API命令不会由设备1150本身的侦听软件发送,而仅由附件1100发送,附件1100仍由链接1105链接,并将发送API命令,以仅当用户与附件1100交互并且直接或隐式请求重新启用设备1150的功能时才重新启用。
用户可能不信任设备1150而拒绝秘密地重新启用自身或拥有无法被其他向该设备1150发送API调用的代理或设备破解的API。因此,如下所述,使用在设备1150中不信任的解耦设备可能是优选的。
图12A、图12B和图12C示出了用于帮助提供安全的始终侦听功能的解耦的隔音帽或其他隔离屏障。
帽1200(其类似于附件1100,至少包括接收器200和关守模块201)可以被固定到独立的始终侦听设备1150,使得帽1200遮盖或干扰设备1150的第二接收器1250。
在一个实施例中(在图12A中示出),帽1200可以覆盖设备1150的外表面的最小部分,如仅遮盖或阻挡第二接收器1250而不会影响装置的其余部分所需的。例如,如图所示,移动电话1150的摄像头1250可以被帽1200覆盖,而不会显著干扰移动电话1150的其他功能。在另一个实施例中(在图12B中示出),帽1200可以是围绕设备1150的大部分的套筒或盖子,同时仍然使设备1150的至少一些表面暴露。例如,如图12B所示,套筒1200装配在移动电话1150的整个顶部上。在第三实施例中(在图12C中示出),帽1200可以是完全封闭设备1150的容器。
在一个优选实施例中,帽1200使设备1150的接收器1250完全隔绝,以免接收至少一种形式的用户输入。隔绝可以采取以下形式:在麦克风周围创建隔音屏障,或在摄像头或其他光学传感器上方创建不透明屏障,在无线接收器上方创建法拉第笼,以防止信号传输等。作为非限制性示例,隔音可以采取以下形式:通过隔音材料直接阻挡,通过消声(产生破坏性地干扰输入声音的波形)或通过较大声的噪声、白噪声或其他随机或伪随机噪声干扰输入声音来不完全阻挡。
帽1200的接收器200可以与被阻挡的接收器1250的类型相同,例如包括一个或多个全向麦克风,同时阻止向麦克风的声音,或者包括摄像头,同时阻止光被摄像头或光学传感器接收。可替代地,接收器200可以是不同类型的,使得帽1200被用于同时阻挡摄像头同时允许用户经由麦克风200和看关守模块201进行口头控制,或者阻挡麦克风同时允许用户经由摄像头200和关守模块201进行手势控制。
帽1200可以具有位于帽1200内的输出***,该输出***对应于被接收器1250阻止感知的输入。因此,输出***可用于将接收器200接收到的声音、视频或其他数据选择性地重新发送到帽200内的接收器1250。
例如,帽1200可能具有三种操作模式:允许接收器1250不接收数据(帽达到的默认状态);允许接收器1250接收所有数据(例如,通过用麦克风200接收音频数据,然后通过帽中的扬声器重新创建接收到的数据);或仅在前面有来自设备1150使用的单独的唤醒词/短语/手势/输入的数据时才将数据传递给接收器1250。如果提供了第二唤醒输入,则数据可以经过一段时间传送通过(例如直到由设备1150执行下一个用户命令,直到经过了一分钟,直到经过了其他预定时间段,等等)或基于另一种标准传送通过(例如,仅通过讨论特定主题的口头输入,仅通过由特定说话者的口头输入,仅通过在人不讲话时的音频数据等),以允许用户更好地控制设备1150可以访问什么数据。
帽1200还可以具有将设备1150的电源线***其中的电源插座,或者可以具有***设备1150以提供电力的其自己的内部电缆(例如,USB电缆)。因此,关守模块201可以使用这些或其他方式(包括但不限于切断电源,致动电源按钮或开关,或与设备的API接合)来使设备断电或重新通电。
帽1200的关守模块201可以具有独立的NLP处理器或其他处理器,该处理器能够提供对用户输入的辅助响应而无需传输到远程服务器203进行分析和信息提供(例如,用于控制房屋中的智能设备,或者用于存储和获取提醒)。关守模块201还可以被配置为向与远程服务器203不同的服务器计算设备发送,用于分析、实现表达为输入的用户意图或更新所存储的数据。例如,如果设备1150被编程为传输到由特定私人卖方操作的服务器,则帽1200可以用于将输入重定向到由替代卖方或用户本人操作的服务器,以保护一些或所有用户输入数据的私密性。
帽1200可以包括附件1100的全部或一些功能,包括链接1105,使得它不仅阻止或向设备1150的接收器提供输入,而且还可以直接向设备1150发送数据。因此,帽1200可以使用设备1150的扬声器或屏幕或与设备1150相关联的扬声器或屏幕(例如,设备1150正在向其投射内容的远程扬声器或屏幕),以通过链接1105传递接收到的信息或通过链接1105播放广告,使得帽1200可能不需要自己的扬声器或屏幕。除了或代替由设备1150提供的广告,帽1200还可用于从远程服务器获取和显示(单独地或经由设备1150)广告或其他内容,播放那些广告。
图13描绘了包括解耦的网络设备的***,其用于提供安全的始终侦听功能,同时有选择地将用户的生成的网络流量的一部分绕道到替代目的地。
始终侦听设备1150可以配置为仅通过网络路径连接到基于云的远程服务器203,该网络路径必须/专有地通过特定的接入点1300,例如(仅作为示例)无线路由器、经栓系提供热点的移动计算设备、无线信号中继器、机顶盒、台式计算机或其他计算设备、网络防火墙、网络切换器/多路复用器/多路分配器或电缆调制解调器、电话调制解调器或卫星或其他调制解调器。
接入点1300可以基于设备1150的用户所接收的一个或多个命令或用于解释用户所接收的输入数据的规则,防止始终侦听设备1150所传输的一些或全部数据的通过到达外部网络和远程设备203,或者将设备1150传输的数据的子集重定向到单独的服务器1350,而不是远程设备203。
例如,用户可以将设备1150配置为仅通过由其中包含关守模块201的移动电话1300提供的热点来连接到互联网。然后,用户可以下载并安装使用关守模块201的移动应用程序,以允许用户向其电话发出语音命令,以禁用或重新启用设备1150的功能,在没有数据通过关守模块201的情况下其无法从外部网络发送或接收数据。
接入点1300可以联系广告服务器1350以检索上下文广告、以用户为目标的广告或其他广告,并将它们提供给设备1150的用户。替代地,接入点1300可以拦截和删除或替换将从远程服务器203或另一服务器传递到设备1150并由设备1150显示的广告。接入点1300也可以用于选择用于诸如文本搜索之类的服务的另一供应商,而不是默认供应商。
接入点1300可以用于对设备1150对用户输入数据的传输实施基于时间的控制。例如,接入点1300可用于在诸如聚会之类的社交事件的持续时间内,而用户正在从事特定的活动或消费特定内容,或者在用户发出命令停止侦听后持续一段预定义或用户定义的时间,防止用户输入数据从每晚的特定时间传输到每天的特定时间。
接入点1300还可用于实现对特定用户输入数据的过滤。例如,接入点1300可以用于过滤出不包括故意用户命令的所有数据,确实包括故意用户命令的所有数据,所有数据代表来自特定用户的输入,代表来自除特定用户以外的人的输入的所有数据,与特定主题有关的所有数据,与特定主题无关的所有数据,特定应用程序(日历应用程序、Web浏览器、文本消息传递应用程序等)将处理的所有数据,除特定应用程序要处理的数据以外的所有数据,等等。
接入点1300的特征也可以被结合到帽1200和/或附件1100中(例如,选择性地或完全地重定向/替换来自计算设备的网络流量,同时还遮盖了计算设备的传感器的帽,或选择性或完全重定向/替换来自计算设备的网络流量的***式附件)。
作为前述解耦设备的结果,可以向用户提供对谁有权访问用户动作和设备1150感知的数据的附加控制,而不必信任设备1150的制造者或在其上执行软件的程序员。
本发明的各个实施例的描述已经呈现用于说明的目的,但不旨在穷尽或限制所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下,许多修改和变化对于本领域的普通技术人员将是明显的。本文所使用的术语被选择来最佳解释实施例的原理、在市场中可找到的技术之上的实践应用或技术改进、或使本领域的普通技术人员中的其他技术人员能够理解本文公开的实施例。
本发明可以是处于任何可能的技术细节集成水平的***、方法和/或计算机程序产品。计算机程序产品可包括计算机可读存储介质(或媒介),在其上具有计算机可读程序指令用于致使处理器实行本发明的各方面。
计算机可读存储介质可以是可以保持和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是,例如,但不限于,电子存储设备、磁存储设备、光存储装设备、电磁存储设备、半导体存储设备或上述的任何合适的组合。计算机可读存储介质的更多具体示例的非穷举列表包括以下:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用盘(DVD)、存储棒、软盘、机械编码设备(诸如其上记录有指令的打孔卡或在槽中的凸起结构),以及上述的任何合适的组合。计算机可读存储介质(如本文所使用)不被解释为暂时性信号本身,诸如无线电波或其他自由传播的电磁波、通过波导或其他传输媒体的电磁波(例如通过光纤电缆的光脉冲)或通过电线传输的电信号。
本文所述的计算机可读程序指令可从计算机可读存储介质被下载到相应的计算/处理设备,或经由网络,例如互联网、局域网、广域网和/或无线网络被下载到外部计算机或外部存储设备。网络可包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。在每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令并且转发计算机可读程序指令用于存储在相应的计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令,指令集架构(ISA)指令,机器指令,机器相关指令,微码,固件指令,状态设置数据,集成电路的配置数据,或以一种或多种编程语言(包括面向对象的编程语言,例如Smalltalk、C++等)和过程编程语言(例如“C”编程语言或类似编程)的任意组合编写的源代码或目标代码语言。计算机可读程序指令可完全在用户的计算机上执行、部分在用户的计算机上执行、作为独立软件包部分在用户的计算机上执行和部分在远程计算机上执行或完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或可(例如,使用互联网服务提供者通过互联网)连接到外部计算机。在一些实施例中,包括(例如)可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息标记电子电路来执行计算机可读程序指令,以便执行本发明的各方面。
在本文中参考根据本发明的实施例的方法、装置(***)和计算机程序产品的流程图说明和/或框图描述本发明的各方面。将理解,流程图说明和框图的每个块以及在流程图说明和/或框图中的块的组合可以通过计算机可读程序指令实现。
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图和/或框图块(或多个块)中指定的功能/行为的方式。这些计算机程序指令还可被存储在可以指示计算机、可编程数据处理装置和/或其他设备以特定方式操作的计算机可读存储介质中,使得在其中存储有指令的计算机可读存储介质包括包含实现在流程图和/或框图块(或多个块)中指定的功能/行为的各方面的指令的制造品。
计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备以致使要在计算机、其他可编程装置或其他设备上执行的一系列操作步骤产生计算机实现的过程,使得在计算机、其他可编程装置或其他设备上执行的指令实现在流程图和/或框图块(或多个块)中指定的功能/行为。
在附图中的流程图和框图图示根据本发明的各实施例的***、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上,在流程图或框图中的每个块可表示指令的模块、片段或部分,所述指令包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些备选实现方式中,在块中指出的功能可以不同于在附图中指出的次序发生。例如,事实上可大体上同时执行相继示出的两个块,或有时可以相反次序执行块,这取决于所涉及的功能。还将指出,框图和/或流程图说明的每个块以及在框图和/或流程图说明中的块的组合可由执行指定功能或行为或者实行专用硬件和计算机指令的组合的专用基于硬件的***实现。
Claims (91)
1.一种具有始终侦听能力的计算设备,其包括:
第一电子传感器,其被配置为从用户接收包括话语或手势的输入;
通信模块,其被配置为向远程服务器发送数据和从远程服务器接收数据;
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;和
非暂时性存储器,其存储指令,所述指令在由处理器执行时导致处理器:
确定第一电子传感器接收到的输入包括第一输入内容;和
响应于确定所述输入包括第一输入内容,自动执行以下至少一项:
在第一输入内容之后发送用户输入的表示;
激活始终接收模式以在第一输入内容之后发送捕获的用户输入流;
禁用所述始终接收模式,以防止传输在第一输入内容之后接收到的用户输入,除非还先于第二输入内容;或者
启用所述关守模块以阻止具有始终侦听能力的计算设备外部的所有数据传输。
2.一种具有始终侦听能力的计算设备,其包括:
第一电子传感器,其配置为记录视频数据;
通信模块,其被配置为向远程服务器发送数据和从远程服务器接收数据;
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;和
非暂时性存储器,其存储指令,所述指令在由处理器执行时导致处理器:
确定第一电子传感器记录的所述视频数据包括第一输入内容;和
响应于确定所述视频数据包括第一输入内容,自动生成并发送消息以供人类用户接收。
3.根据权利要求1或2所述的具有始终侦听能力的计算设备,其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块,并且其中所述第一电子传感器不包括来自所述具有始终侦听能力的计算设备的其他组件的任何输入引线或至其的输出引线。
4.根据权利要求1或2所述的具有始终侦听能力的计算设备,其中所述关守模块包括一个或多个电源输入引线。
5.根据权利要求1或2所述的具有始终侦听能力的计算设备,还包括两个或更多个关守模块,其中所述两个或更多个关守模块中的第一关守模块由所述两个或更多个关守模块中的第二门保持启用或禁用。
6.根据权利要求1或2所述的具有始终侦听能力的计算设备,还包括第二电子传感器,其中所述关守模块响应于所述第一电子传感器接收到第一唤醒输入内容而激活所述第二电子传感器,并且其中处理器响应于由任何电子传感器接收的输入而发送数据,该输入包括与第一唤醒输入内容不同的第二唤醒输入内容。
7.根据权利要求1或2所述的具有始终侦听能力的计算设备,其中所述关守模块被配置为通过防止电源为所述通信模块供电而防止所述通信模块向所述具有始终侦听能力的计算设备的外部发送数据。
8.根据权利要求1所述的具有始终听能力的计算设备,其中所述始终接收模式包括:
通过所述远程服务器分析所传输的数据以确定包括以下至少一种的响应:
激发确定的可能的用户需求;
向所述用户请求其他信息以进行响应;
归档来自所述用户的非识别数据;和
向所述用户提供响应信息。
9.根据权利要求2所述的具有始终侦听能力的计算设备,其中供人类用户接收的所述消息部分地由所述远程服务器分析发送的数据以确定包括以下至少一项的响应来确定:
激发确定的可能的用户需求;
向所述用户请求其他信息以进行响应;和
向所述用户提供响应信息。
10.根据权利要求1或2所述的具有始终侦听能力的计算设备,其中所述非暂时性存储器存储指令,所述指令在由处理器执行时还使所述处理器:
在第一时间间隔内,启用所述通信模块接收数据;
在比第一时间间隔短的第二时间间隔中,禁用所述通信模块接收所有传入的无线数据;和
重新启用所述通信模块以接收传入的无线数据。
11.根据权利要求1或2所述的具有始终侦听能力的计算设备,其包括两个或更多个电子传感器,并且其中所述两个或更多个电子传感器既包括麦克风又包括摄像头。
12.根据权利要求1或2所述的具有始终侦听能力的计算设备,其中所述非暂时性存储器还存储指令,所述指令在由处理器执行时使所述处理器:
确定正在以人类听觉以外的频率范围播放消息;和
提醒人类用户正在播放所述消息。
13.一种用于提供始终侦听辅助响应的计算机实现的方法,包括:
经由第一电子传感器接收第一用户输入,所述第一用户输入包括人类用户的一个或多个话语或手势;
将基于接收到的用户输入的数据通过处理器实现的关守模块传递给通信模块,使得在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;
确定所述用户输入包括第一唤醒短语;和
响应于确定所述用户输入包括第一唤醒短语,自动执行以下至少一项:
在第一唤醒短语之后发送用户输入的表示;
激活始终接收模式以发送在第一唤醒短语之后捕获的用户输入流;
停用所述始终接收模式,以防止传输在第一唤醒短语之后接收到的用户输入,除非也在第二唤醒短语之前;或者
启用所述关守模块以阻止所述通信模块的所有数据传输。
14.一种用于提供始终侦听辅助响应的计算机实现的方法,包括:
通过第一电子传感器记录视频数据;
将基于记录的视频数据的数据通过处理器实现的关守模块传递给通信模块,使得在禁用关守功能时,所述通信模块接收的基于记录的视频数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于记录的视频数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;和
确定第一电子传感器记录的所述视频数据包括第一输入内容;和
响应于确定所述视频数据包括第一输入内容,自动生成并发送消息以供人类用户接收。
15.根据权利要求13或14所述的计算机实现的方法,其中用户输入包括来自多个用户的话语、手势或表情。
16.根据权利要求13所述的计算机实现的方法,其还包括:
在发送在第一唤醒短语之后捕获的用户输入之后,向用户显示以下一项:网页的一部分;事实;计算;营销协助;与主题相关的适用时间的广告;音乐;包括来自第三方的实时通信的数据流,或已执行动作的通知。
17.根据权利要求13或14所述的计算机实现的方法,其中所述设备跟踪对话状态,并通过一个或多个澄清查询来提示用户以确定更合适的信息以满足用户的需求。
18.根据权利要求13或14所述的计算机实现的方法,还包括静默地使得与所述用户相关联的远程数据存储被更新。
19.根据权利要求13或14所述的计算机实现的方法,其中所述关守模块被结合到数字个人助理***中,并且其中所述数字个人助理***的电子传感器被禁用,直到由所述关守模块处理唤醒话语或手势为止,所述唤醒短语不同于预先配置用于激活所述数字个人助理***的第二唤醒短语。
20.根据权利要求19所述的计算机实施的方法,其中通过使配置为接收用户输入的电子传感器断电来禁用所述数字个人助理***。
21.根据权利要求19所述的计算机实现的方法,其中通过所述关守模块禁用所述数字个人助理***,以防止向所述数字个人助理***传输数据。
22.根据权利要求13或14所述的计算机实现的方法,其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块,并且其中所述第一电子传感器不包括来自所述具有始终侦听能力的计算设备的其他组件的任何输入引线或至其的输出引线。
23.根据权利要求13或14所述的计算机实现的方法,其还包括:
响应于第一电子传感器接收到第一唤醒输入,经由所述关守模块激活第二电子传感器,以及
响应于由第二电子传感器接收的输入而发送数据,该输入包括与第一唤醒输入不同的第二唤醒输入。
24.根据权利要求13或14所述的计算机实现的方法,其中所述关守模块被配置为通过防止电源为所述通信模块供电而防止所述通信模块向所述具有始终侦听能力的计算设备的外部发送数据。
25.根据权利要求14所述的计算机实现的方法,其中供人类用户接收的所述消息部分地由所述远程服务器分析发送的数据以确定包括以下至少一项的响应来确定:
激发确定的可能的用户需求;
向所述用户请求其他信息以进行响应;或者
向所述用户提供响应信息。
26.根据权利要求13或14所述的计算机实现的方法,其还包括:
在第一时间间隔内,启用所述通信模块接收数据;
在比第一时间间隔短的第二时间间隔中,禁用所述通信模块接收所有传入的无线数据;和
重新启用所述通信模块以接收传入的无线数据。
27.根据权利要求13或14所述的计算机实现的方法,其中视频数据和音频数据都被记录。
28.根据权利要求13或14所述的计算机实现的方法,其还包括:
确定正在人类听觉之外的频率范围内播放消息;和
提醒人类用户正在播放所述消息。
29.一种用于具有通信模块的计算设备的具有始终侦听能力的解耦附件,其包括:
第一电子传感器,其被配置为记录包括话语或手势的用户输入;
与所述计算设备的数据连接;
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;和
非暂时性存储器,其存储指令,所述指令在由处理器执行时导致处理器:
确定第一电子传感器记录的用户输入包括第一输入内容;和
响应于确定所述用户输入包括第一输入内容,自动生成消息并将消息发送到所述计算设备。
30.根据权利要求29所述的附件,其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块,并且其中所述第一电子传感器不包括来自所述计算设备的所述附件的其他组件的任何输入引线或至其的输出引线。
31.根据权利要求29所述的附件,其中所述关守模块包括一个或多个电源输入引线。
32.根据权利要求29所述的附件,其中到所述计算设备的消息包括用于禁用或重新启用所述计算设备的功能的指令。
33.根据权利要求29所述的附件,其中到所述计算设备的所述数据连接包括电缆。
34.根据权利要求33所述的附件,其中所述电缆被配置为进入所述计算设备的3.5mm插孔。
35.根据权利要求33所述的附件,其中所述电缆被配置为进入所述计算设备的USB(通用串行总线)端口。
36.根据权利要求33所述的附件,其中所述电缆被配置为进入所述计算设备的HDMI(高清多媒体接口)端口。
37.根据权利要求32所述的附件,其中所述消息根据由所述计算设备的操作***提供的API(应用编程接口)格式化。
38.根据权利要求32所述的附件,其中所述消息根据由所述计算设备执行的应用程序提供的API格式化。
39.一种使用具有始终侦听能力的解耦附件来控制具有通信模块的计算设备的方法,包括:
确定由所述附件的第一电子传感器记录的用户输入包括第一输入内容;以及
响应于确定所述用户输入包括第一输入内容,自动生成消息并将消息发送到所述计算设备;和
其中所述附件包括:
与所述计算设备的数据连接;和
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
40.根据权利要求39所述的方法,其中所述第一电子传感器包括一个或多个电源输入引线以及一个或多个数据输出引线至所述关守模块,并且其中所述第一电子传感器不包括来自所述计算设备的所述附件的其他组件的任何输入引线或至其的输出引线。
41.根据权利要求39所述的方法,其中所述关守模块包括一个或多个电源输入引线。
42.根据权利要求39所述的方法,其中到所述计算设备的消息包括用于禁用或重新启用所述计算设备的功能的指令。
43.根据权利要求39所述的方法,其中到所述计算设备的所述数据连接包括电缆。
44.根据权利要求43所述的方法,其中所述电缆被配置为进入所述计算设备的3.5mm插孔。
45.根据权利要求43所述的方法,其中所述电缆被配置为进入所述计算设备的USB(通用串行总线)端口。
46.根据权利要求43所述的方法,其中所述电缆被配置为进入所述计算设备的HDMI(高清多媒体接口)端口。
47.根据权利要求42所述的方法,其中所述消息根据由所述计算设备的操作***提供的API(应用编程接口)格式化。
48.根据权利要求42所述的方法,其中所述消息根据由所述计算设备执行的应用程序提供的API格式化。
49.一种具有始终侦听能力的解耦帽,其被配置为与具有通信模块的计算设备进行物理接合,其包括:
第一电子传感器,其被配置为记录包括话语或手势的用户输入;
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;
其中所述帽干扰所述计算设备的功能;和
其中非暂时性存储器存储指令,所述指令在由处理器执行时导致所述处理器:
确定第一电子传感器记录的用户输入包括第一输入内容;和
改变对所述计算设备的功能的干扰性质。
50.一种具有始终侦听能力的解耦帽,其被配置为与具有通信模块的计算设备进行物理接合,其包括:
第一电子传感器,其被配置为记录包括话语或手势的用户输入;
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;
其中所述帽干扰所述计算设备的功能;和
其中非暂时性存储器存储指令,所述指令在由处理器执行时导致所述处理器:
确定第一电子传感器记录的用户输入包括第一输入内容;和
从不同于第一服务器的第二服务器获取对所述用户输入的响应,计算设备将已经从第一服务器获取数据但是是因为所述计算设备的功能被干扰。
51.根据权利要求49或50所述的帽,其中所述帽通过在所述计算设备周围形成基本隔音的屏障而进行干扰。
52.根据权利要求49或50所述的帽,其中所述帽通过产生声学抵消声音来干扰所述计算设备可感知的声波。
53.根据权利要求49或50所述的帽,其中所述帽通过在第一体积处产生第一声音进行干扰,所述第一声音阻止所述计算设备在小于所述第一体积的第二体积处感知第二声音。
54.根据权利要求49或50所述的帽,其中所述帽通过产生由所述计算设备感知的白噪声进行干扰。
55.根据权利要求49或50所述的帽,其中所述帽通过对光波不透明而进行干扰,否则所述光波将被所述计算设备感知。
56.根据权利要求49或50所述的帽,其中所述帽重新创建所接收的用户输入数据的子集以供所述计算设备感知。
57.根据权利要求49或50所述的帽,其中所述帽是覆盖所述计算设备的大部分表面的套筒。
58.根据权利要求49或50所述的帽,其中所述帽是完全封闭所述计算设备的容器。
59.根据权利要求49或50所述的帽,其中所述帽耦接到所述计算设备以使得能够向所述计算设备提供电力,并且其中所述帽通过拒绝给所述计算设备供电进行干扰。
60.一种通过具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法,所述解耦帽被配置为与计算设备物理接合,所述方法包括:
确定包括话语或手势并且由所述帽的第一电子传感器记录的用户输入包括第一输入内容;和
改变所述帽对所述计算设备的功能的干扰性质;
其中所述帽包括由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
61.一种通过具有始终侦听能力的解耦帽在具有通信模块的计算设备中提供信息安全性的方法,所述解耦帽被配置为与计算设备物理接合,所述方法包括:
确定包括话语或手势并且由所述帽的第一电子传感器记录的用户输入包括第一输入内容;和
从不同于第一服务器的第二服务器获取对所述用户输入的响应,所述计算设备将已经从第一服务器获取数据但是是因为所述计算设备的功能被干扰;
其中所述帽包括由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
62.根据权利要求60或61所述的方法,其中所述帽通过在所述计算设备周围形成基本隔音的屏障而进行干扰。
63.根据权利要求60或61所述的方法,其中所述帽通过产生声学抵消声音来干扰所述计算设备可感知的声波。
64.根据权利要求60或61所述的方法,其中所述帽通过在第一体积处产生第一声音进行干扰,所述第一声音阻止所述计算设备在小于所述第一体积的第二体积处感知第二声音。
65.根据权利要求60或61所述的方法,其中所述帽通过产生由所述计算设备感知的白噪声进行干扰。
66.根据权利要求60或61所述的方法,其中所述帽通过对光波不透明而进行干扰,否则所述光波将被所述计算设备感知。
67.根据权利要求60或61所述的方法,还包括:重新创建由所述第一电子传感器接收的用户输入数据的子集,以供所述计算设备感知。
68.根据权利要求60或61所述的方法,其中所述帽是覆盖所述计算设备的大部分表面的套筒。
69.根据权利要求60或61所述的方法,其中所述帽是完全封闭所述计算设备的容器。
70.根据权利要求60或61所述的方法,其中所述帽耦接到所述计算设备以使得能够向所述计算设备提供电力,并且其中所述帽还通过拒绝给所述计算设备供电进行干扰。
71.与具有通信模块并且在同一计算网络中的第二计算设备解耦的具有始终侦听能力的第一计算设备,其包括:
第一电子传感器,其被配置为记录包括话语或手势的用户输入;
由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件;和
非暂时性存储器,其存储指令,所述指令在由处理器执行时导致所述处理器:
确定第一电子传感器记录的用户输入包括第一输入内容;和
从不同于第二服务器的第一服务器获取对所述用户输入的响应,所述第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信。
72.根据权利要求71所述的第一计算设备,其中所述计算设备是无线路由器。
73.根据权利要求71所述的第一计算设备,其中所述计算设备提供无线热点。
74.根据权利要求71所述的第一计算设备,其中所述计算设备是网络防火墙。
75.根据权利要求71所述的第一计算设备,其中从所述第二计算设备到所述第二服务器的唯一网络路径经过所述第一计算设备。
76.根据权利要求71所述的第一计算设备,其中来自所述第一服务器的响应包括针对所述第一计算设备的用户的一个或多个广告。
77.根据权利要求71所述的第一计算设备,其中所述第一计算设备被配置为基于当前时间选择性地将通信从所述第二计算设备转移到所述第一服务器。
78.根据权利要求71所述的第一计算设备,其中所述第一计算设备被配置为在有限的时间窗内选择性地将通信从所述第二计算设备转移到所述第一服务器。
79.根据权利要求71所述的第一计算设备,其中所述第一计算设备被配置为基于由所述第一计算设备感知的用户输入的主题来选择性地将通信从所述第二计算设备转移到所述第一服务器。
80.根据权利要求71所述的第一计算设备,其中所述第一计算设备被配置为基于所述第二服务器处的应用是用户输入的预期接收者,选择性地将通信从所述第二计算设备转移到所述第一服务器。
81.根据权利要求71所述的第一计算设备,其中所述第一计算设备被配置为基于提供用户输入的用户的身份来选择性地将通信从所述第二计算设备转移到所述第一服务器。
82.一种通过与第二计算设备解耦以及在同一计算网络中的具有始终侦听能力的第一计算设备在具有通信模块的第二计算设备中提供信息安全性的方法,包括:
确定包括话语或手势并且由所述第一计算设备的第一电子传感器记录的用户输入包括第一输入内容;和
从不同于第二服务器的第一服务器获取对所述用户输入的响应,所述第二计算设备将已经从第二服务器获取数据但是是因为第一计算设备阻止了从第二计算设备向第二数据源发送电子通信;
其中第一计算设备包括由处理器实现的关守模块,其中在禁用关守功能时,所述通信模块接收的基于来自第一电子传感器的数据的所有数据均通过所述关守模块,其中在启用关守功能时没有基于来自第一电子传感器的数据的数据通过所述通信模块,其中所述关守模块的所有数据输入通过专用输入引线从第一电子传感器接收,并且其中所述关守模块的所有数据输出通过专用输出引线传输到第一电子传感器以外的组件。
83.根据权利要求82所述的方法,其中所述计算设备提供无线热点。
84.根据权利要求82所述的方法,其中从所述第二计算设备到所述第二服务器的唯一网络路径经过所述第一计算设备。
85.根据权利要求82所述的方法,其中来自所述第一服务器的响应包括针对所述第一计算设备的用户的一个或多个广告。
86.根据权利要求82所述的方法,其中所述第一计算设备被配置为基于当前时间选择性地将通信从所述第二计算设备转移到所述第一服务器。
87.根据权利要求82所述的方法,其中所述第一计算设备被配置为在有限的时间窗内选择性地将通信从所述第二计算设备转移到所述第一服务器。
88.根据权利要求82所述的方法,其中所述第一计算设备被配置为基于第一计算设备感知到的用户输入的主题选择性地将通信从所述第二计算设备转移到所述第一服务器。
89.根据权利要求82所述的方法,其中所述第一计算设备被配置为基于所述第二服务器处的应用是用户输入的预期接收者,选择性地将通信从所述第二计算设备转移到所述第一服务器。
90.根据权利要求82所述的方法,其中所述第一计算设备被配置为基于提供用户输入的用户的身份来选择性地将通信从所述第二计算设备转移到所述第一服务器。
91.一种计算设备,其包括电子传感器、关守模块和存储指令的非暂时性存储器,所述指令在由处理器执行时允许用户经由被所述电子传感器感知的用户输入控制由所述关守模块执行的始终侦听模式。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/812,679 US10002259B1 (en) | 2017-11-14 | 2017-11-14 | Information security/privacy in an always listening assistant device |
US15/812,679 | 2017-11-14 | ||
US16/010,725 US10867623B2 (en) | 2017-11-14 | 2018-06-18 | Secure and private processing of gestures via video input |
US16/010,725 | 2018-06-18 | ||
PCT/US2018/060110 WO2019099302A1 (en) | 2017-11-14 | 2018-11-09 | Information security/privacy via a decoupled security accessory to an always listening assistant device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111819560A true CN111819560A (zh) | 2020-10-23 |
CN111819560B CN111819560B (zh) | 2024-01-09 |
Family
ID=66432383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880086432.5A Active CN111819560B (zh) | 2017-11-14 | 2018-11-09 | 具有关守功能的计算设备、解耦附件及其计算机实现方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10867623B2 (zh) |
EP (1) | EP3710971A4 (zh) |
JP (2) | JP7209006B2 (zh) |
CN (1) | CN111819560B (zh) |
CA (1) | CA3083745A1 (zh) |
WO (1) | WO2019099302A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10999733B2 (en) | 2017-11-14 | 2021-05-04 | Thomas STACHURA | Information security/privacy via a decoupled security accessory to an always listening device |
US10685666B2 (en) * | 2018-04-06 | 2020-06-16 | Intel Corporation | Automatic gain adjustment for improved wake word recognition in audio systems |
US11189275B2 (en) * | 2018-08-02 | 2021-11-30 | Polycom, Inc. | Natural language processing while sound sensor is muted |
US11138334B1 (en) * | 2018-10-17 | 2021-10-05 | Medallia, Inc. | Use of ASR confidence to improve reliability of automatic audio redaction |
US11570016B2 (en) | 2018-12-14 | 2023-01-31 | At&T Intellectual Property I, L.P. | Assistive control of network-connected devices |
JP2022523150A (ja) | 2019-02-07 | 2022-04-21 | スタフラ,トーマス | スマートスピーカ用プライバシデバイス |
US11462220B2 (en) * | 2020-03-04 | 2022-10-04 | Accenture Global Solutions Limited | Infrastructure automation platform to assist in performing actions in response to tasks |
US11438313B2 (en) | 2020-05-07 | 2022-09-06 | Mastercard International Incorporated | Privacy filter for internet-of-things (IOT) devices |
US11361062B1 (en) | 2021-03-02 | 2022-06-14 | Bank Of America Corporation | System and method for leveraging microexpressions of users in multi-factor authentication |
Citations (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175095A (ja) * | 1997-12-11 | 1999-07-02 | Hitachi Medical Corp | 医用診断装置 |
CA2256781A1 (en) * | 1998-09-14 | 2000-03-14 | Northern Telecom Limited | Method and apparatus for automatically dialling a desired telephone number using speech commands |
JP2001520820A (ja) * | 1997-02-03 | 2001-10-30 | エムシーアイ・ワールドコム・インコーポレーテッド | 通信システム構造 |
US20030171928A1 (en) * | 2002-02-04 | 2003-09-11 | Falcon Stephen Russel | Systems and methods for managing interactions from multiple speech-enabled applications |
US20050025124A1 (en) * | 2003-07-29 | 2005-02-03 | Derek Mitsumori | System and method for monitoring communications in a network |
US7069271B1 (en) * | 2000-11-03 | 2006-06-27 | Oracle International Corp. | Methods and apparatus for implementing internet storefronts to provide integrated functions |
CN1808966A (zh) * | 2004-10-01 | 2006-07-26 | 美国博通公司 | 安全数据处理方法及其*** |
US20070143115A1 (en) * | 2002-02-04 | 2007-06-21 | Microsoft Corporation | Systems And Methods For Managing Interactions From Multiple Speech-Enabled Applications |
WO2007121570A1 (en) * | 2006-04-20 | 2007-11-01 | Iq Life, Inc. | Interactive patient monitoring system using speech recognition |
US20100046842A1 (en) * | 2008-08-19 | 2010-02-25 | Conwell William Y | Methods and Systems for Content Processing |
CN102024454A (zh) * | 2009-09-10 | 2011-04-20 | 三菱电机株式会社 | 基于语音输入激活多种功能的***和方法 |
CN102483915A (zh) * | 2009-06-25 | 2012-05-30 | 蓝蚁无线股份有限公司 | 具有包括导引配对和语音触发操作的语音控制功能的电信装置 |
CN102893327A (zh) * | 2010-03-19 | 2013-01-23 | 数字标记公司 | 直觉计算方法和*** |
CN103391354A (zh) * | 2012-05-09 | 2013-11-13 | 富泰华工业(深圳)有限公司 | 信息保密***及信息保密方法 |
CN103517191A (zh) * | 2012-06-18 | 2014-01-15 | 三星电子株式会社 | 面向讲话者的助听功能提供方法和装置 |
US8655307B1 (en) * | 2012-10-26 | 2014-02-18 | Lookout, Inc. | System and method for developing, updating, and using user device behavioral context models to modify user, device, and application state, settings and behavior for enhanced user security |
US20140119531A1 (en) * | 2012-10-30 | 2014-05-01 | Kenneth D. Tuchman | Method for providing support using answer engine and dialog rules |
US20140244273A1 (en) * | 2013-02-27 | 2014-08-28 | Jean Laroche | Voice-controlled communication connections |
WO2014201366A2 (en) * | 2013-06-13 | 2014-12-18 | Motorola Mobility Llc | Smart volume control of device audio output based on received audio input |
US20150221307A1 (en) * | 2013-12-20 | 2015-08-06 | Saurin Shah | Transition from low power always listening mode to high power speech recognition mode |
WO2015148693A1 (en) * | 2014-03-26 | 2015-10-01 | Publicover Mark W | Computerized method and system for providing customized entertainment content |
US20150279366A1 (en) * | 2014-03-28 | 2015-10-01 | Cubic Robotics, Inc. | Voice driven operating system for interfacing with electronic devices: system, method, and architecture |
US20150382047A1 (en) * | 2014-06-30 | 2015-12-31 | Apple Inc. | Intelligent automated assistant for tv user interactions |
US20160077794A1 (en) * | 2014-09-12 | 2016-03-17 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US20160148615A1 (en) * | 2014-11-26 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and electronic device for voice recognition |
US20160381053A1 (en) * | 2015-06-23 | 2016-12-29 | The Boeing Company | Device and a method for detecting and analyzing signals in the ultrasounds frequency spectrum for electronic communications devices |
CN106371384A (zh) * | 2016-09-07 | 2017-02-01 | 深圳市中科智诚科技有限公司 | 一种基于无线通讯技术的智能监控*** |
US20170148444A1 (en) * | 2015-11-24 | 2017-05-25 | Intel IP Corporation | Low resource key phrase detection for wake on voice |
US20170162205A1 (en) * | 2015-12-07 | 2017-06-08 | Semiconductor Components Industries, Llc | Method and apparatus for a low power voice trigger device |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5448646A (en) | 1993-11-01 | 1995-09-05 | Unex Corporation | Headset interface assembly |
US7106843B1 (en) | 1994-04-19 | 2006-09-12 | T-Netix, Inc. | Computer-based method and apparatus for controlling, monitoring, recording and reporting telephone access |
JPH08241098A (ja) * | 1995-03-03 | 1996-09-17 | Hitachi Ltd | メディア認識制御システム |
US6760463B2 (en) | 1995-05-08 | 2004-07-06 | Digimarc Corporation | Watermarking methods and media |
CN1168057C (zh) | 1996-08-14 | 2004-09-22 | 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 | 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的*** |
US6252544B1 (en) | 1998-01-27 | 2001-06-26 | Steven M. Hoffberg | Mobile communication device |
US7760905B2 (en) | 1999-06-29 | 2010-07-20 | Digimarc Corporation | Wireless mobile phone with content processing |
US7010332B1 (en) | 2000-02-21 | 2006-03-07 | Telefonaktiebolaget Lm Ericsson(Publ) | Wireless headset with automatic power control |
US6804396B2 (en) | 2001-03-28 | 2004-10-12 | Honda Giken Kogyo Kabushiki Kaisha | Gesture recognition system |
US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
AU2003217587A1 (en) | 2002-02-15 | 2003-09-09 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7751111B2 (en) | 2005-06-02 | 2010-07-06 | Konica Minolta Holdings, Inc. | Display element |
US8814810B2 (en) | 2005-12-01 | 2014-08-26 | Orthosensor Inc. | Orthopedic method and system for mapping an anatomical pivot point |
US9910497B2 (en) | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US7890778B2 (en) | 2007-01-06 | 2011-02-15 | Apple Inc. | Power-off methods for portable electronic devices |
US7840031B2 (en) | 2007-01-12 | 2010-11-23 | International Business Machines Corporation | Tracking a range of body movement based on 3D captured image streams of a user |
EP2106578B1 (en) | 2007-01-22 | 2016-09-14 | Simon Yoffe | Security switch |
US8522309B2 (en) | 2007-01-22 | 2013-08-27 | Simon Yoffe | Security switch |
US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
CN101604447B (zh) | 2009-07-09 | 2011-06-01 | 上海交通大学 | 无标记人体运动捕捉方法 |
EP2494432B1 (en) | 2009-10-27 | 2019-05-29 | Harmonix Music Systems, Inc. | Gesture-based user interface |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
WO2011131823A1 (en) | 2010-04-23 | 2011-10-27 | Nokia Corporation | An apparatus and a method for causing a change in the state of a headset |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US8723789B1 (en) | 2011-02-11 | 2014-05-13 | Imimtek, Inc. | Two-dimensional method and system enabling three-dimensional user interaction with a device |
US8558759B1 (en) | 2011-07-08 | 2013-10-15 | Google Inc. | Hand gestures to signify what is important |
US20130159939A1 (en) | 2011-10-12 | 2013-06-20 | Qualcomm Incorporated | Authenticated gesture recognition |
WO2013101438A1 (en) | 2011-12-29 | 2013-07-04 | Kopin Corporation | Wireless hands-free computing head mounted video eyewear for local/remote diagnosis and repair |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US20130231930A1 (en) | 2012-03-01 | 2013-09-05 | Adobe Systems Inc. | Method and apparatus for automatically filtering an audio signal |
US9448636B2 (en) | 2012-04-18 | 2016-09-20 | Arb Labs Inc. | Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices |
US9317721B2 (en) | 2012-10-31 | 2016-04-19 | Google Inc. | Privacy aware camera and device status indicator system |
CN113470640B (zh) | 2013-02-07 | 2022-04-26 | 苹果公司 | 数字助理的语音触发器 |
US9361885B2 (en) | 2013-03-12 | 2016-06-07 | Nuance Communications, Inc. | Methods and apparatus for detecting a voice command |
US9472206B2 (en) | 2013-06-17 | 2016-10-18 | Google Technology Holdings LLC | Privacy mode for always-on voice-activated information assistant |
US9697828B1 (en) | 2014-06-20 | 2017-07-04 | Amazon Technologies, Inc. | Keyword detection modeling using contextual and environmental information |
US9357320B2 (en) | 2014-06-24 | 2016-05-31 | Harmon International Industries, Inc. | Headphone listening apparatus |
US9747884B2 (en) | 2014-10-06 | 2017-08-29 | Green Swan, Inc. | Battery-equipped cellular telephone case with internal sound generator and layered sound blockage for privacy |
US9318107B1 (en) | 2014-10-09 | 2016-04-19 | Google Inc. | Hotword detection on multiple devices |
US9489172B2 (en) | 2015-02-26 | 2016-11-08 | Motorola Mobility Llc | Method and apparatus for voice control user interface with discreet operating mode |
US10509476B2 (en) | 2015-07-02 | 2019-12-17 | Verizon Patent And Licensing Inc. | Enhanced device authentication using magnetic declination |
CN106997236B (zh) | 2016-01-25 | 2018-07-13 | 亮风台(上海)信息科技有限公司 | 基于多模态输入进行交互的方法和设备 |
US10911860B2 (en) | 2016-03-23 | 2021-02-02 | Intel Corporation | Automated and body driven headset audio control |
US10313782B2 (en) | 2017-05-04 | 2019-06-04 | Apple Inc. | Automatic speech recognition triggering system |
US20190043466A1 (en) | 2017-08-04 | 2019-02-07 | Cone Of Silence Llc | Active listening privacy device and method |
US10616411B1 (en) | 2017-08-21 | 2020-04-07 | Wells Fargo Bank, N.A. | System and method for intelligent call interception and fraud detecting audio assistant |
US10354648B2 (en) * | 2017-09-07 | 2019-07-16 | Strategic Data Systems | System and method for securing intelligent automated assistant devices |
US11244678B2 (en) | 2017-09-07 | 2022-02-08 | Insight Holding Group, Inc. | System and method for securing electronic devices |
-
2018
- 2018-06-18 US US16/010,725 patent/US10867623B2/en active Active
- 2018-11-09 EP EP18879317.8A patent/EP3710971A4/en active Pending
- 2018-11-09 JP JP2020545224A patent/JP7209006B2/ja active Active
- 2018-11-09 CA CA3083745A patent/CA3083745A1/en active Pending
- 2018-11-09 CN CN201880086432.5A patent/CN111819560B/zh active Active
- 2018-11-09 WO PCT/US2018/060110 patent/WO2019099302A1/en unknown
-
2022
- 2022-10-11 JP JP2022163165A patent/JP7482185B2/ja active Active
Patent Citations (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001520820A (ja) * | 1997-02-03 | 2001-10-30 | エムシーアイ・ワールドコム・インコーポレーテッド | 通信システム構造 |
JPH11175095A (ja) * | 1997-12-11 | 1999-07-02 | Hitachi Medical Corp | 医用診断装置 |
CA2256781A1 (en) * | 1998-09-14 | 2000-03-14 | Northern Telecom Limited | Method and apparatus for automatically dialling a desired telephone number using speech commands |
US7069271B1 (en) * | 2000-11-03 | 2006-06-27 | Oracle International Corp. | Methods and apparatus for implementing internet storefronts to provide integrated functions |
US20070143115A1 (en) * | 2002-02-04 | 2007-06-21 | Microsoft Corporation | Systems And Methods For Managing Interactions From Multiple Speech-Enabled Applications |
US20030171928A1 (en) * | 2002-02-04 | 2003-09-11 | Falcon Stephen Russel | Systems and methods for managing interactions from multiple speech-enabled applications |
US20050025124A1 (en) * | 2003-07-29 | 2005-02-03 | Derek Mitsumori | System and method for monitoring communications in a network |
CN1808966A (zh) * | 2004-10-01 | 2006-07-26 | 美国博通公司 | 安全数据处理方法及其*** |
WO2007121570A1 (en) * | 2006-04-20 | 2007-11-01 | Iq Life, Inc. | Interactive patient monitoring system using speech recognition |
US20100046842A1 (en) * | 2008-08-19 | 2010-02-25 | Conwell William Y | Methods and Systems for Content Processing |
US20110280447A1 (en) * | 2008-08-19 | 2011-11-17 | Digimarc Corp. | Methods and systems for content processing |
US8194986B2 (en) * | 2008-08-19 | 2012-06-05 | Digimarc Corporation | Methods and systems for content processing |
CN102483915A (zh) * | 2009-06-25 | 2012-05-30 | 蓝蚁无线股份有限公司 | 具有包括导引配对和语音触发操作的语音控制功能的电信装置 |
CN102024454A (zh) * | 2009-09-10 | 2011-04-20 | 三菱电机株式会社 | 基于语音输入激活多种功能的***和方法 |
CN102893327A (zh) * | 2010-03-19 | 2013-01-23 | 数字标记公司 | 直觉计算方法和*** |
CN103391354A (zh) * | 2012-05-09 | 2013-11-13 | 富泰华工业(深圳)有限公司 | 信息保密***及信息保密方法 |
CN103517191A (zh) * | 2012-06-18 | 2014-01-15 | 三星电子株式会社 | 面向讲话者的助听功能提供方法和装置 |
US8655307B1 (en) * | 2012-10-26 | 2014-02-18 | Lookout, Inc. | System and method for developing, updating, and using user device behavioral context models to modify user, device, and application state, settings and behavior for enhanced user security |
US20140119531A1 (en) * | 2012-10-30 | 2014-05-01 | Kenneth D. Tuchman | Method for providing support using answer engine and dialog rules |
US20140244273A1 (en) * | 2013-02-27 | 2014-08-28 | Jean Laroche | Voice-controlled communication connections |
WO2014201366A2 (en) * | 2013-06-13 | 2014-12-18 | Motorola Mobility Llc | Smart volume control of device audio output based on received audio input |
US20150221307A1 (en) * | 2013-12-20 | 2015-08-06 | Saurin Shah | Transition from low power always listening mode to high power speech recognition mode |
WO2015148693A1 (en) * | 2014-03-26 | 2015-10-01 | Publicover Mark W | Computerized method and system for providing customized entertainment content |
US20150279366A1 (en) * | 2014-03-28 | 2015-10-01 | Cubic Robotics, Inc. | Voice driven operating system for interfacing with electronic devices: system, method, and architecture |
US20150382047A1 (en) * | 2014-06-30 | 2015-12-31 | Apple Inc. | Intelligent automated assistant for tv user interactions |
US20160077794A1 (en) * | 2014-09-12 | 2016-03-17 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
US20160148615A1 (en) * | 2014-11-26 | 2016-05-26 | Samsung Electronics Co., Ltd. | Method and electronic device for voice recognition |
US20160381053A1 (en) * | 2015-06-23 | 2016-12-29 | The Boeing Company | Device and a method for detecting and analyzing signals in the ultrasounds frequency spectrum for electronic communications devices |
US20170148444A1 (en) * | 2015-11-24 | 2017-05-25 | Intel IP Corporation | Low resource key phrase detection for wake on voice |
US20170162205A1 (en) * | 2015-12-07 | 2017-06-08 | Semiconductor Components Industries, Llc | Method and apparatus for a low power voice trigger device |
CN106371384A (zh) * | 2016-09-07 | 2017-02-01 | 深圳市中科智诚科技有限公司 | 一种基于无线通讯技术的智能监控*** |
Non-Patent Citations (5)
Title |
---|
"Networked Gatekeeping and Networked Framing on Egypt", THE INTERNATIONAL JOURNAL OF PRESS/POLITICS, vol. 18, no. 2, pages 138 - 166 * |
教育网@迪克猪: "Gatekeeper Pattern 把关(守门人)模式", Retrieved from the Internet <URL:https://www.cnblogs.com/zsy/p/5709284.html> * |
朱庆;张衡阳;毛玉泉;肖蕾蕾;: "基于Ad Hoc网络的应急通信***设计与实现", 电子科技, no. 10, pages 55 - 58 * |
林宇, 杨霞, 张光昭: "IP电话***语音终端的设计及实现", 电讯技术, no. 06, pages 42 - 47 * |
袁占亭, 张秋余, 孙为: "基于VoIP的电话终端设备的研究与设计", 微计算机信息, no. 09, pages 87 - 88 * |
Also Published As
Publication number | Publication date |
---|---|
CN111819560B (zh) | 2024-01-09 |
US20190147905A1 (en) | 2019-05-16 |
WO2019099302A1 (en) | 2019-05-23 |
JP7482185B2 (ja) | 2024-05-13 |
EP3710971A1 (en) | 2020-09-23 |
JP2023021965A (ja) | 2023-02-14 |
EP3710971A4 (en) | 2021-10-06 |
CA3083745A1 (en) | 2019-05-23 |
JP7209006B2 (ja) | 2023-01-19 |
US10867623B2 (en) | 2020-12-15 |
JP2021503148A (ja) | 2021-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111819560B (zh) | 具有关守功能的计算设备、解耦附件及其计算机实现方法 | |
US10867054B2 (en) | Information security/privacy via a decoupled security accessory to an always listening assistant device | |
US10872607B2 (en) | Information choice and security via a decoupled router with an always listening assistant device | |
US11838745B2 (en) | Information security/privacy via a decoupled security accessory to an always listening assistant device | |
US10002259B1 (en) | Information security/privacy in an always listening assistant device | |
US11100913B2 (en) | Information security/privacy via a decoupled security cap to an always listening assistant device | |
US11711662B2 (en) | Privacy device for smart speakers | |
JP6475386B2 (ja) | 機器の制御方法、機器、及びプログラム | |
US10455342B2 (en) | Sound event detecting apparatus and operation method thereof | |
Gray | Always on: privacy implications of microphone-enabled devices | |
CN109074035A (zh) | 多功能的每房间自动化*** | |
TW201535156A (zh) | 執行與個人的存在相關聯的動作 | |
US20200234710A1 (en) | Automatic dialogue design | |
US20190147848A1 (en) | Information choice and security via a decoupled security cap to an always listening assistant device | |
US20230214525A1 (en) | Security management of health information using artificial intelligence assistant | |
US20220020387A1 (en) | Interrupt for noise-cancelling audio devices | |
US20230360507A1 (en) | In-home event intercom and notifications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |