JP7250887B2 - IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 - Google Patents
IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 Download PDFInfo
- Publication number
- JP7250887B2 JP7250887B2 JP2021180172A JP2021180172A JP7250887B2 JP 7250887 B2 JP7250887 B2 JP 7250887B2 JP 2021180172 A JP2021180172 A JP 2021180172A JP 2021180172 A JP2021180172 A JP 2021180172A JP 7250887 B2 JP7250887 B2 JP 7250887B2
- Authority
- JP
- Japan
- Prior art keywords
- iot
- notification
- devices
- state
- client device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000009877 rendering Methods 0.000 title claims description 49
- 230000008859 change Effects 0.000 claims description 156
- 238000000034 method Methods 0.000 claims description 77
- 230000004044 response Effects 0.000 claims description 64
- 239000002131 composite material Substances 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 5
- 230000001755 vocal effect Effects 0.000 description 15
- 230000002452 interceptive effect Effects 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 230000003993 interaction Effects 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000005406 washing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013475 authorization Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000002062 proliferating effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/10—Detection; Monitoring
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
- G16Y40/00—IoT characterised by the purpose of the information processing
- G16Y40/30—Control
- G16Y40/35—Management of things, i.e. controlling in accordance with a policy or in order to achieve specified objectives
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
- H04L12/282—Controlling appliance services of a home automation network by calling their functionalities based on user interaction within the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Selective Calling Equipment (AREA)
- Computer And Data Communications (AREA)
- User Interface Of Digital Computer (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Alarm Systems (AREA)
Description
イアントデバイスおよび/または遠隔の自動化アシスタント構成要素)は、口頭の発話を処理し、口頭の発話の処理に基づいて、および、音声入力の自動監視中に口頭の発話を検出したことに基づいて、さらなるアシスタントのアクションを実行する。たとえば、自動化アシスタントは、口頭の発話の音声テキスト変換を実行することにより生成されたテキストに基づいて、および、音声入力の監視中に口頭の発話を検出したことに基づいて推測された値に基づいて、さらなるアシスタントのアクションを生成することができる。推測された値は、クライアントデバイス通知および/またはクライアントデバイス通知が基づいていたIoT状態変化通知に基づくことができる。1つの特定の例として、クライアントデバイス通知が「玄関のドアロックがロック解除されています」であり、監視中に与えられた口頭の発話が「それをロックして」である場合、自動化アシスタントは、「それ」に関して値「玄関のドアロック」を推測し、「玄関のドアロック」の「ロック解除された」状態を「ロックされた」状態に変更させるIoTコマンドを生成し、送信することができる。これらのおよびその他の方法で、ユーザは、上述のように、通常は口頭の発話に必要とされる値が代わりに推測され得るので、クライアントデバイス通知に応じて、より短い口頭の発話を与えることができる。これは、より短い口頭の発話のおかげで、より少ないオーディオデータが送信および/または処理(たとえば、音声からテキストへ)される必要ですむので、アシスタントクライアントデバイスおよび/または遠隔の自動化アシスタント構成要素のリソースを節約することができる。
1061~N クライアントコンピューティングデバイス
1071~N ユーザインターフェース構成要素
114 音声キャプチャ/TTS/STTモジュール
116 TTSモジュール
117 STTモジュール
118 自動化アシスタントクライアント
1181 自動化アシスタントクライアント
118N 自動化アシスタントクライアント
119 クラウドベースの自動化アシスタント構成要素
120 自動化アシスタント
120A 第1の自動化アシスタント
120B 第2の自動化アシスタント
122 自然言語プロセッサ
130 IoT通知エンジン
135 ユーザ情報データベース
140 IoTシステム
1401 IoTシステム
1451~N IoTデバイス
250~262 部屋
300 状態図
370 IoTデータ
400 状態図
500 状態図
610 コンピューティングデバイス
612 バスサブシステム
614 プロセッサ
616 ネットワークインターフェース
620 ユーザインターフェース出力デバイス
622 ユーザインターフェース入力デバイス
624 ストレージサブシステム
625 メモリサブシステム
626 ファイルストレージサブシステム
630 RAM
632 ROM
Claims (18)
- 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第1の第三者システムからの第1のIoT状態通知であって、前記第1のIoT状態通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第1のグループに関連する第1の状態を示し、ユニーク識別子、および前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態を示す第1の状態インジケーションを含む、第1のIoT状態通知と、
第2の第三者システムからの第2のIoT状態通知であって、前記第2のIoT状態通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第2のグループに関連する第2の状態を示し、前記ユニーク識別子またはさらなるユニーク識別子、および前記1つまたは複数のIoTデバイスの第2のグループに関連する前記第2の状態を示す第2の状態インジケーションを含む、第2のIoT状態通知と
を受信するステップと、
前記第1のIoT状態通知と前記第2のIoT状態通知との両方に基づく複合通知を送信すると決定するステップであって、前記複合通知を送信すると決定するステップが、前記第1のIoT状態通知および前記第2のIoT状態通知に基づいて、前記第1の状態および前記第2の状態が同時に起こっているとの判定に基づく、ステップと、
前記ユニーク識別子に少なくとも部分的に基づいて前記自動化アシスタントコンピューティングシステムによって、対応する自動化アシスタントクライアントを各々が有しており、前記1つまたは複数のIoTデバイスの第1のグループと前記1つまたは複数のIoTデバイスの第2のグループとの両方に各々が関連付けられている複数の候補アシスタントクライアントデバイスを特定するステップと、
前記候補アシスタントクライアントデバイスのうちの少なくとも1つを選択するステップと、
前記候補アシスタントクライアントデバイスの前記少なくとも1つにコマンドを送信するステップであって、前記コマンドが、前記複合通知を含み、前記候補アシスタントクライアントデバイスのうちの前記少なくとも1つの前記自動化アシスタントクライアントに、
前記候補アシスタントクライアントデバイスの前記少なくとも1つの少なくとも1つのユーザインターフェース出力デバイスを介して、前記複合通知を自動的にレンダリングさせる、ステップと
を含む、方法。 - 前記複合通知が、プロンプトを含み、前記コマンドが、さらに、前記自動化アシスタントクライアントに前記プロンプトに対する応答を監視させる、請求項1に記載の方法。
- 前記プロンプトが、前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態への変化を提言し、前記方法が、
プロンプトに対する肯定的な応答を受け取ることに応じて、
1つまたは複数のIoTデバイスの前記第1のグループに関連する前記第1の状態への前記変化を引き起こすIoTコマンドを送信するステップをさらに含む、請求項2に記載の方法。 - 前記複合通知が、グラフィカルインターフェースを含み、前記プロンプトが、前記グラフィカルインターフェースの選択可能な要素である、請求項3に記載の方法。
- 前記プロンプトに対する肯定的な応答が、前記グラフィカルインターフェースの前記選択可能な要素の選択である、請求項4に記載の方法。
- 前記第1のIoT状態通知が、第1の時間に受信され、前記第2のIoT状態通知が、前記第1の時間の後の第2の時間に受信され、前記方法が、
前記第1の時間の後および前記第2の時間の前に、前記第1のIoT状態通知に基づくいかなる通知の自動的なレンダリングを引き起こすいかなるコマンドも送信しないと決定するステップをさらに含む、請求項1に記載の方法。 - 1つもしくは複数のIoTデバイスの前記第1のグループは、スマートドアロックを含み、前記第1の状態は、前記スマートドアロックのロック解除状態である、請求項1に記載の方法。
- 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、IoT状態変化通知を受信するステップであって、前記IoT状態変化通知が、少なくとも1つのIoTデバイスに関連する状態の変化の判定に応じて前記自動化アシスタントコンピューティングシステムに送信され、
ユニーク識別子と、
前記少なくとも1つのIoTデバイスのインジケーションと、
前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す状態インジケーションと
を含む、ステップと、
前記ユニーク識別子に各々が関連付けられており、対応する自動化アシスタントクライアントを各々が有している、複数のアシスタントクライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記アシスタントクライアントデバイスのサブセットを選択するステップであって、前記サブセットを選択するステップが、前記少なくとも1つのIoTデバイスの前記インジケーション、および前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す前記状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
前記IoT状態変化通知に応じた対応する通知を自動的にレンダリングさせる対応するコマンドを、前記選択されたサブセットの前記アシスタントクライアントデバイスの各々にのみ送信するステップと
を含む、方法。 - 前記少なくとも1つのIoTデバイスは、スマート呼び鈴である、請求項8に記載の方法。
- 自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、追加的なIoT状態変化通知を受信するステップであって、前記追加的なIoT状態変化通知が、前記少なくとも1つのIoTデバイスとは異種の追加的なIoTデバイスに関連する追加的な状態の追加的な変化の判定に応じて前記自動化アシスタントコンピューティングシステムに送信され、前記追加的なIoT状態変化通知が、
追加的なユニーク識別子と、
前記追加的なIoTデバイスの追加的なインジケーションと、
前記追加的なIoTデバイスに関連する前記追加的な状態の前記追加的な変化を示す追加的な状態インジケーションと
を含む、ステップと、
前記複数のアシスタントクライアントデバイスから前記アシスタントクライアントデバイスの追加的なサブセットを選択するステップであって、前記追加的なサブセットは、前記サブセットとは異なり、前記追加的なサブセットを選択するステップが、前記追加的なIoTデバイスの前記追加的なインジケーション、および前記追加的なIoTデバイスに関連する前記追加的な状態の前記追加的な変化を示す前記追加的な状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
追加的なIoT状態変化通知に応じた対応する追加的な通知を自動的にレンダリングさせる対応する追加的なコマンドを、前記追加的な選択されたサブセットの前記アシスタントクライアントデバイスの各々にのみ送信するステップと
を含む、請求項8に記載の方法。 - 前記サブセットを選択するステップが、前記少なくとも1つのIoTデバイスの前記インジケーション、および前記少なくとも1つのIoTデバイスに関連する前記状態の前記変化を示す前記状態インジケーションのうちの両方に少なくとも部分的に基づく、請求項8に記載の方法。
- 前記サブセットを選択するステップが、さらに、前記複数のアシスタントクライアントデバイスの現在のプロパティに少なくとも部分的に基づく、請求項8に記載の方法。
- 前記サブセットを選択するステップが、さらに、一日のうちの時間、または、週における曜日に少なくとも部分的に基づく、請求項8に記載の方法。
- 前記選択されたサブセットの前記アシスタントクライアントデバイスは、第1のアシスタントクライアントデバイスと、第2のアシスタントクライアントデバイスと、を含み、前記第1のアシスタントクライアントデバイスの前記自動化アシスタントクライアントによって自動的にレンダリングされた前記対応する通知は、前記第2のアシスタントクライアントデバイスの前記自動化アシスタントクライアントによって自動的にレンダリングされた前記対応する通知よりも、より邪魔にならない、請求項8に記載の方法。
- 前記第1のアシスタントクライアントデバイスの現在の状態に基づいて、前記第1のアシスタントクライアントデバイスにおいて、前記第2のアシスタントクライアントデバイスの前記自動化アシスタントクライアントによって自動的にレンダリングされた前記対応する通知よりも、より邪魔にならない前記第1のアシスタントクライアントデバイスの前記自動化アシスタントクライアントによって自動的にレンダリングされた前記対応する通知を、自動的にレンダリングさせると決定するステップ、をさらに含む、請求項14に記載の方法。
- 前記選択されたサブセットの前記アシスタントクライアントデバイスは、第1のアシスタントクライアントデバイスと、第2のアシスタントクライアントデバイスと、を含み、前記第1のアシスタントクライアントデバイスの前記自動化アシスタントクライアントによって自動的にレンダリングされた前記対応する通知は、可聴のみの通知であり、前記第2のアシスタントクライアントデバイスの前記自動化アシスタントクライアントによって自動的にレンダリングされた前記対応する通知は、可聴かつ可視である、請求項8に記載の方法。
- 前記少なくとも1つのIoTデバイスは、スマート家電であり、前記状態における前記変化は、前記スマート家電のエラー状態を示す、請求項8に記載の方法。
- 第1の時間に自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第1の第三者システムからの第1のIoT状態変化通知を受信するステップであって、前記第1のIoT状態変化通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第1のグループに関連する第1の状態への変化を示し、ユニーク識別子、前記1つまたは複数のIoTデバイスの第1のグループのインジケーション、および前記1つまたは複数のIoTデバイスの第1のグループに関連する前記第1の状態を示す第1の状態インジケーションを含む、ステップと、
前記ユニーク識別子に各々が関連付けられており、対応する自動化アシスタントクライアントを各々が有している、複数の候補アシスタントクライアントデバイスを、前記ユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記候補アシスタントクライアントデバイスの第1のサブセットを選択するステップであって、前記第1のサブセットを選択するステップが、1つもしくは複数のIoTデバイスの前記第1のグループの前記インジケーション、および1つもしくは複数のIoTデバイスの前記第1のグループに関連する前記第1の状態を示す前記第1の状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
前記第1のIoT状態変化通知に応じた対応する通知を自動的にレンダリングさせる対応するコマンドを、前記第1のサブセットの前記候補アシスタントクライアントデバイスの各々にのみ送信するステップと、
第2の時間に自動化アシスタントコンピューティングシステムの1つまたは複数のネットワークインターフェースを介して、
第2の第三者システムからの第2のIoT状態変化通知を受信するステップであって、前記第2のIoT状態変化通知が、前記自動化アシスタントコンピューティングシステムに送信され、1つまたは複数のIoTデバイスの第2のグループに関連する第2の状態への変化を示し、前記ユニーク識別子またはさらなるユニーク識別子、前記1つまたは複数のIoTデバイスの第2のグループのインジケーション、および前記1つまたは複数のIoTデバイスの第2のグループに関連する前記第2の状態を示す第2の状態インジケーションを含む、ステップと、
前記複数の候補アシスタントクライアントデバイスを、前記ユニーク識別子または前記さらなるユニーク識別子に基づいて、前記自動化アシスタントコンピューティングシステムによって特定するステップと、
前記候補アシスタントクライアントデバイスの第2のサブセットを選択するステップであって、前記第2のサブセットが、前記第1のサブセットとは異なり、前記第2のサブセットを選択するステップが、1つもしくは複数のIoTデバイスの前記第2のグループの前記インジケーション、および1つもしくは複数のIoTデバイスの前記第2のグループに関連する前記第2の状態を示す前記第2の状態インジケーションのうちの一方または両方に少なくとも部分的に基づく、ステップと、
前記候補アシスタントクライアントデバイスの前記自動化アシスタントクライアントに、
前記第2のIoT状態変化通知に応じた対応する第2の通知を自動的にレンダリングさせる対応する第2のコマンドを、前記第2のサブセットの前記候補アシスタントクライアントデバイスの各々にのみ送信するステップと
を含む、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023044678A JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862643065P | 2018-03-14 | 2018-03-14 | |
US62/643,065 | 2018-03-14 | ||
JP2020548705A JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
PCT/US2019/022055 WO2019178229A1 (en) | 2018-03-14 | 2019-03-13 | Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s) |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Division JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023044678A Division JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022033744A JP2022033744A (ja) | 2022-03-02 |
JP7250887B2 true JP7250887B2 (ja) | 2023-04-03 |
Family
ID=65911298
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Active JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2021180172A Active JP7250887B2 (ja) | 2018-03-14 | 2021-11-04 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
JP2023044678A Pending JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020548705A Active JP6974626B2 (ja) | 2018-03-14 | 2019-03-13 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023044678A Pending JP2023082034A (ja) | 2018-03-14 | 2023-03-20 | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
Country Status (7)
Country | Link |
---|---|
US (3) | US10885917B2 (ja) |
EP (3) | EP3751823B1 (ja) |
JP (3) | JP6974626B2 (ja) |
KR (3) | KR102551715B1 (ja) |
CN (2) | CN118200349A (ja) |
AU (3) | AU2019234822B2 (ja) |
WO (1) | WO2019178229A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6974626B2 (ja) * | 2018-03-14 | 2021-12-01 | グーグル エルエルシーGoogle LLC | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
US10795743B2 (en) * | 2018-05-21 | 2020-10-06 | Salesforce.Com, Inc. | Computing device notification management software |
DK201970509A1 (en) * | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
KR102639230B1 (ko) * | 2019-10-15 | 2024-02-21 | 구글 엘엘씨 | 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어 |
CN111243587A (zh) * | 2020-01-08 | 2020-06-05 | 北京松果电子有限公司 | 语音交互方法、装置、设备及存储介质 |
US11403925B2 (en) * | 2020-04-28 | 2022-08-02 | Ademco Inc. | Systems and methods for broadcasting an audio or visual alert that includes a description of features of an ambient object extracted from an image captured by a camera of a doorbell device |
US11861315B2 (en) | 2021-04-21 | 2024-01-02 | Meta Platforms, Inc. | Continuous learning for natural-language understanding models for assistant systems |
US20220358917A1 (en) * | 2021-04-21 | 2022-11-10 | Meta Platforms, Inc. | Multi-device Mediation for Assistant Systems |
US11523190B1 (en) | 2021-12-17 | 2022-12-06 | Google Llc | Generating notifications that provide context for predicted content interruptions |
KR20230128914A (ko) * | 2022-02-28 | 2023-09-05 | 주식회사 플루이즈 | 로컬서버가 IoT 기기의 상태정보를 전송하는 방법 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014072891A (ja) | 2012-09-28 | 2014-04-21 | Panasonic Corp | 端末制御方法、端末制御システム、及び、サーバ装置 |
WO2014076919A1 (ja) | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
WO2014208057A1 (ja) | 2013-06-24 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報通知方法、情報端末、およびプログラム |
JP2016057770A (ja) | 2014-09-08 | 2016-04-21 | シャープ株式会社 | 通知装置、出力装置、情報通知システム、通知装置の制御方法、および制御プログラム |
JP2017504859A (ja) | 2013-11-14 | 2017-02-09 | クアルコム,インコーポレイテッド | ユーザアクティビティおよび/または近接度の検出に従ってIoT通知を経路指定するための機構 |
JP2017523492A (ja) | 2014-05-30 | 2017-08-17 | アップル インコーポレイテッド | ホームオートメーションのためのインテリジェントアシスタント |
JP2017163172A (ja) | 2013-06-21 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 携帯端末の制御方法及びプログラム |
JP2017220248A (ja) | 2014-05-15 | 2017-12-14 | シャープ株式会社 | ネットワークシステム、サーバ、および情報処理方法 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020077830A1 (en) * | 2000-12-19 | 2002-06-20 | Nokia Corporation | Method for activating context sensitive speech recognition in a terminal |
US8738377B2 (en) | 2010-06-07 | 2014-05-27 | Google Inc. | Predicting and learning carrier phrases for speech input |
US20130143519A1 (en) * | 2010-07-29 | 2013-06-06 | J&M I.P. Holding Company, Llc | Fall-Responsive Emergency Device, System, and Method |
US20130260320A1 (en) * | 2012-03-28 | 2013-10-03 | Randolph G. Townsend | Range and Notification System, and Associated Method |
US8977555B2 (en) * | 2012-12-20 | 2015-03-10 | Amazon Technologies, Inc. | Identification of utterance subjects |
US20140195620A1 (en) * | 2013-01-08 | 2014-07-10 | Ebay Inc. | Notification routing to a user device |
US9853826B2 (en) | 2013-02-25 | 2017-12-26 | Qualcomm Incorporated | Establishing groups of internet of things (IOT) devices and enabling communication among the groups of IOT devices |
KR101904293B1 (ko) * | 2013-03-15 | 2018-10-05 | 애플 인크. | 콘텍스트-민감성 방해 처리 |
US20150006296A1 (en) | 2013-06-26 | 2015-01-01 | Qualcomm Innovation Center, Inc. | NOTIFICATION DISMISSAL IN AN INTERNET OF THINGS (IoT) ENVIRONMENT |
US9584775B2 (en) | 2013-07-18 | 2017-02-28 | BOT Home Automation, Inc. | Wireless entrance communication device |
US8780201B1 (en) | 2013-07-26 | 2014-07-15 | SkyBell Technologies, Inc. | Doorbell communication systems and methods |
US9495860B2 (en) | 2013-12-11 | 2016-11-15 | Echostar Technologies L.L.C. | False alarm identification |
EP4336804A3 (en) * | 2014-02-05 | 2024-06-12 | Apple Inc. | Uniform communication protocols for communication between controllers and accessories |
US10097619B2 (en) * | 2014-06-24 | 2018-10-09 | Google Llc | Cross-device notifications |
WO2016007494A1 (en) | 2014-07-07 | 2016-01-14 | Convida Wireless, Llc | Coordinated grouping for machine type communications group based services |
US9152737B1 (en) * | 2014-11-26 | 2015-10-06 | Sense Labs, Inc. | Providing notifications to a user |
US9712477B2 (en) * | 2015-05-01 | 2017-07-18 | Airwatch Llc | Email notifications |
US10620920B2 (en) * | 2016-05-17 | 2020-04-14 | Google Llc | Automatic graphical user interface generation from notification data |
US9942328B2 (en) | 2016-05-27 | 2018-04-10 | Afero, Inc. | System and method for latched attributes in an internet of things (IOT) system |
US10832665B2 (en) | 2016-05-27 | 2020-11-10 | Centurylink Intellectual Property Llc | Internet of things (IoT) human interface apparatus, system, and method |
US20180025725A1 (en) * | 2016-07-22 | 2018-01-25 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for activating a voice assistant and providing an indicator that the voice assistant has assistance to give |
US20180039478A1 (en) | 2016-08-02 | 2018-02-08 | Google Inc. | Voice interaction services |
US10708313B2 (en) * | 2016-12-30 | 2020-07-07 | Google Llc | Multimodal transmission of packetized data |
WO2018147687A1 (en) * | 2017-02-10 | 2018-08-16 | Samsung Electronics Co., Ltd. | Method and apparatus for managing voice-based interaction in internet of things network system |
US10187870B1 (en) * | 2017-07-21 | 2019-01-22 | Qualcomm Incorporated | Systems and methods for intelligent routing of notifications of incoming voice communication requests |
US10051600B1 (en) * | 2017-12-12 | 2018-08-14 | Amazon Technologies, Inc. | Selective notification delivery based on user presence detections |
US10425780B1 (en) * | 2018-02-22 | 2019-09-24 | Amazon Technologies, Inc. | Outputting notifications using device groups |
JP6974626B2 (ja) * | 2018-03-14 | 2021-12-01 | グーグル エルエルシーGoogle LLC | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 |
US11115630B1 (en) * | 2018-03-28 | 2021-09-07 | Amazon Technologies, Inc. | Custom and automated audio prompts for devices |
US10978064B2 (en) * | 2018-11-30 | 2021-04-13 | International Business Machines Corporation | Contextually relevant spoken device-to-device communication between IoT devices |
-
2019
- 2019-03-13 JP JP2020548705A patent/JP6974626B2/ja active Active
- 2019-03-13 WO PCT/US2019/022055 patent/WO2019178229A1/en unknown
- 2019-03-13 EP EP20188384.0A patent/EP3751823B1/en active Active
- 2019-03-13 KR KR1020227024890A patent/KR102551715B1/ko active IP Right Grant
- 2019-03-13 CN CN202410198179.XA patent/CN118200349A/zh active Pending
- 2019-03-13 KR KR1020237021937A patent/KR20230107384A/ko not_active Application Discontinuation
- 2019-03-13 CN CN201980017955.9A patent/CN111869185B/zh active Active
- 2019-03-13 KR KR1020207029358A patent/KR102424260B1/ko active IP Right Grant
- 2019-03-13 AU AU2019234822A patent/AU2019234822B2/en active Active
- 2019-03-13 EP EP23175890.5A patent/EP4235644A3/en active Pending
- 2019-03-13 EP EP19713655.9A patent/EP3590249B1/en active Active
- 2019-03-13 US US16/609,015 patent/US10885917B2/en active Active
-
2020
- 2020-12-03 US US17/110,732 patent/US11538477B2/en active Active
-
2021
- 2021-01-11 AU AU2021200128A patent/AU2021200128B2/en active Active
- 2021-11-04 JP JP2021180172A patent/JP7250887B2/ja active Active
-
2022
- 2022-04-22 AU AU2022202683A patent/AU2022202683B2/en active Active
- 2022-12-21 US US18/085,867 patent/US20230237996A1/en active Granted
-
2023
- 2023-03-20 JP JP2023044678A patent/JP2023082034A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014072891A (ja) | 2012-09-28 | 2014-04-21 | Panasonic Corp | 端末制御方法、端末制御システム、及び、サーバ装置 |
WO2014076919A1 (ja) | 2012-11-15 | 2014-05-22 | パナソニック株式会社 | 情報提供方法及び情報提供装置 |
JP2017163172A (ja) | 2013-06-21 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 携帯端末の制御方法及びプログラム |
WO2014208057A1 (ja) | 2013-06-24 | 2014-12-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報通知方法、情報端末、およびプログラム |
JP2017504859A (ja) | 2013-11-14 | 2017-02-09 | クアルコム,インコーポレイテッド | ユーザアクティビティおよび/または近接度の検出に従ってIoT通知を経路指定するための機構 |
JP2017220248A (ja) | 2014-05-15 | 2017-12-14 | シャープ株式会社 | ネットワークシステム、サーバ、および情報処理方法 |
JP2017523492A (ja) | 2014-05-30 | 2017-08-17 | アップル インコーポレイテッド | ホームオートメーションのためのインテリジェントアシスタント |
JP2016057770A (ja) | 2014-09-08 | 2016-04-21 | シャープ株式会社 | 通知装置、出力装置、情報通知システム、通知装置の制御方法、および制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20230237996A1 (en) | 2023-07-27 |
EP3590249A1 (en) | 2020-01-08 |
EP3590249B1 (en) | 2020-12-30 |
JP2021509975A (ja) | 2021-04-08 |
KR102424260B1 (ko) | 2022-07-25 |
JP6974626B2 (ja) | 2021-12-01 |
JP2022033744A (ja) | 2022-03-02 |
AU2019234822B2 (en) | 2020-10-22 |
KR20220104078A (ko) | 2022-07-25 |
CN111869185B (zh) | 2024-03-12 |
EP3751823B1 (en) | 2023-06-28 |
AU2019234822A1 (en) | 2020-09-17 |
KR20200131299A (ko) | 2020-11-23 |
AU2022202683B2 (en) | 2023-01-12 |
AU2022202683A1 (en) | 2022-05-19 |
KR20230107384A (ko) | 2023-07-14 |
AU2021200128A1 (en) | 2021-03-18 |
EP4235644A3 (en) | 2023-10-25 |
US20200211546A1 (en) | 2020-07-02 |
EP4235644A2 (en) | 2023-08-30 |
US20210090566A1 (en) | 2021-03-25 |
EP3751823A1 (en) | 2020-12-16 |
CN111869185A (zh) | 2020-10-30 |
CN118200349A (zh) | 2024-06-14 |
US11538477B2 (en) | 2022-12-27 |
WO2019178229A1 (en) | 2019-09-19 |
AU2021200128B2 (en) | 2022-02-03 |
JP2023082034A (ja) | 2023-06-13 |
KR102551715B1 (ko) | 2023-07-04 |
US10885917B2 (en) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7250887B2 (ja) | IoTベースの通知の生成、およびクライアントデバイスの自動化アシスタントクライアントによるIoTベースの通知の自動レンダリングを引き起こすコマンドの提供 | |
KR20220024557A (ko) | 자동화된 어시스턴트에 의한 응답 액션을 트리거하기 위한 핫 명령의 검출 및/또는 등록 | |
KR102621636B1 (ko) | 루틴 실행 중에 클라이언트 디바이스간 자동화 어시스턴트 루틴 전송 | |
KR102581347B1 (ko) | 스마트 장치의 효율적이고 낮은 대기시간 자동 어시스턴트 제어 | |
JP7490822B2 (ja) | 複数のアシスタントデバイスにわたる同時音響イベント検出 | |
KR20230016013A (ko) | 디바이스-특정 신호에 기초하여 어시스턴트 디바이스(들)에 대한 시맨틱 레이블(들) 추론하기 | |
US20220272055A1 (en) | Inferring assistant action(s) based on ambient sensing by assistant device(s) | |
US20240249722A1 (en) | Generating iot-based notification(s) and provisioning of command(s) to cause automatic rendering of the iot-based notification(s) by automated assistant client(s) of client device(s) | |
JP2024102301A (ja) | 複数のアシスタントデバイスにわたる同時音響イベント検出 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7250887 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |