JP2018523144A - 提案される音声ベースのアクションクエリの提供 - Google Patents
提案される音声ベースのアクションクエリの提供 Download PDFInfo
- Publication number
- JP2018523144A JP2018523144A JP2017550867A JP2017550867A JP2018523144A JP 2018523144 A JP2018523144 A JP 2018523144A JP 2017550867 A JP2017550867 A JP 2017550867A JP 2017550867 A JP2017550867 A JP 2017550867A JP 2018523144 A JP2018523144 A JP 2018523144A
- Authority
- JP
- Japan
- Prior art keywords
- query
- voice
- computing device
- action
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 title claims abstract description 454
- 230000004044 response Effects 0.000 claims abstract description 31
- 230000001755 vocal effect Effects 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 60
- 238000013507 mapping Methods 0.000 claims description 17
- 230000000977 initiatory effect Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 3
- 230000002730 additional effect Effects 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000009877 rendering Methods 0.000 description 7
- 235000015220 hamburgers Nutrition 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2452—Query translation
- G06F16/24522—Translation of natural language queries to structured queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3322—Query formulation using system suggestions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3322—Query formulation using system suggestions
- G06F16/3323—Query formulation using system suggestions using document space presentation or visualization, e.g. category, hierarchy or range presentation and selection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3334—Selection or weighting of terms from queries, including natural language queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
120 コンピューティングデバイス
122 音声クエリアプリケーション
123 音声アクションモジュール
124 インターフェースモジュール
125 レンダリング/同期モジュール
127 セマンティックプロセッサモジュール
140 提案される音声ベースのアクションクエリシステム
142 エンティティ決定モジュール
144 アクション決定モジュール
145 提案される音声ベースのアクションクエリ生成モジュール
162 エンティティおよびアクションデータベース
Claims (23)
- マイクロホン、ディスプレイ、およびプロセッサを備えるクライアントデバイスを具備するシステムであって、前記プロセッサが命令を実行して、
特定のユーザ開始のユーザインターフェース入力を受け取ることに応答して、前記マイクロホンを介して口頭入力のために監視することと、
前記特定のユーザ開始のユーザインターフェース入力を受け取ることに関連した、直近にコンピューティングデバイスによって表示されたコンテンツを識別することと、
前記コンテンツの表示を提供することと、
前記コンテンツの前記表示に基づき、かつ少なくとも1つのアクション用語および少なくとも1つのエンティティ用語を含む、提案される音声ベースのアクションクエリを受け取ることであって、前記エンティティ用語が前記コンテンツのエンティティを参照し、前記アクション用語が前記エンティティにマップされ、コンピュータベースのアクションの実行を開始する、ことと、
前記特定のユーザ開始のユーザインターフェース入力を受け取ることに関連した、しきい値時間内に前記マイクロホンを介してユーザから口頭入力を受け取らなかったと決定することと、
前記しきい値時間内に口頭入力を受け取らなかったと決定することに応答して、前記音声ベースのクエリのための提案として、前記提案される音声ベースのアクションクエリを提供することと
を行うことを特徴とするシステム。 - 前記クライアントデバイスと通信するサーバであって、命令を実行して
前記コンテンツの前記表示を、前記クライアントデバイスから受け取ることと、
前記コンテンツ内で参照されるエンティティを、前記コンテンツの前記表示に基づいて決定することと、
1つまたは複数の電子データベース内の前記エンティティにマッピングされたコンピュータベースのアクションを決定することと、
前記提案される音声ベースのアクションクエリを生成することと、
前記クライアントデバイスに前記提案される音声ベースのアクションクエリを提供することとを行うサーバプロセッサを備える、サーバをさらに具備することを特徴とする請求項1に記載のシステム。 - コンピューティングデバイス上で最近見られたコンテンツの表示を受け取るステップと、
前記コンテンツ内で参照されるエンティティを、前記コンテンツの前記表示に基づいて決定するステップと、
1つまたは複数の電子データベース内の前記エンティティにマッピングされたコンピュータベースのアクションを決定するステップと、
前記コンピュータベースのアクションの実行を開始する少なくとも1つのアクション用語を含み、かつ前記エンティティに基づいて選択された少なくとも1つのエンティティ用語を含む提案される音声ベースのアクションクエリを生成するステップと、
音声ベースのクエリ入力表示を受け取るステップであって、前記音声ベースのクエリ入力表示が、前記コンピューティングデバイスを介してユーザの入力の受け取りを示し、前記ユーザの前記入力が前記コンピューティングデバイスのマイクロホンを介して音声ベースのクエリの提供を開始するためのユーザインターフェース入力である、ステップと、
前記音声ベースのクエリ入力表示を受け取ることに応答して、前記提案される音声ベースのアクションクエリを提供するステップであって、前記提案される音声ベースのアクションクエリが、前記音声ベースのクエリのための提案として前記コンピューティングデバイスによって表示されるために提供される、ステップと
を有することを特徴とするコンピュータによって実施される方法。 - 提案される音声ベースのアクションクエリの必要性の表示を決定するステップと、
提案される音声ベースのアクションクエリの前記必要性の前記表示を決定することに基づいて、前記提案として表示のために前記提案される音声ベースのアクションクエリを提供するステップと
をさらに有することを特徴とする請求項3に記載の方法。 - 提案される音声ベースのアクションクエリの前記必要性の前記表示を決定するステップが、
前記音声ベースのクエリの提供を開始するために、前記ユーザの前記入力からしきい値時間内に前記コンピューティングデバイスにおいて前記ユーザから口頭入力を受け取らないことに基づいて、提案される音声ベースのアクションクエリの前記必要性の前記表示を決定するステップを有することを特徴とする請求項4に記載の方法。 - 提案される音声ベースのアクションクエリの前記必要性の前記表示を決定するステップが、
前記音声ベースのクエリの提供を開始するために、前記ユーザの前記入力に続いて、前記コンピューティングデバイスによって少なくともしきい値雑音レベルを検出することに基づいて、提案される音声ベースのアクションクエリの前記必要性の前記表示を決定するステップを有することを特徴とする請求項4に記載の方法。 - 前記コンテンツの前記表示を受け取るステップが、前記コンテンツの用語と前記コンテンツ内の各用語の表示属性とを受け取るステップを有し、
前記コンテンツ内で参照される前記エンティティを決定するステップが、前記用語のうちの少なくとも1つの用語と前記コンテンツ内の該用語の表示属性とに基づいて、前記エンティティを決定するステップを有することを特徴とする請求項3に記載の方法。 - 前記エンティティにマッピングされた前記コンピュータベースのアクションを決定するステップが、前記エンティティのクラスを決定するステップと、前記クラスへの前記コンピュータベースのアクションのマッピングを識別するステップとを有することを特徴とする請求項3に記載の方法。
- 前記提案される音声ベースのアクションクエリを生成するステップが、前記エンティティにマッピングされた汎用記述子を決定するステップと、前記少なくとも1つのエンティティ用語として、前記汎用記述子を使用するステップとを有することを特徴とする請求項3に記載の方法。
- 前記汎用記述子が、前記エンティティにマッピングされる代名詞であることを特徴とする請求項9に記載の方法。
- 前記エンティティの画像を識別するステップと、
前記提案される音声ベースのアクションクエリのための注釈として表示するために前記コンピューティングデバイスに前記エンティティの前記画像を提供するステップと
をさらに有することを特徴とする請求項9に記載の方法。 - 前記コンピューティングデバイスの好ましい言語の表示を受け取るステップをさらに有し、
前記提案される音声ベースのアクションクエリを生成するステップが、前記コンピュータベースのアクションへの前記アクション用語のマッピングに基づいて、かつ前記好ましい言語への前記アクション用語のマッピングに基づいて、前記アクション用語を選択するステップを有することを特徴とする請求項3に記載の方法。 - 前記提案される音声ベースのアクションクエリを生成するステップが、前記好ましい言語に基づいて前記エンティティ用語を選択するステップを有することを特徴とする請求項12に記載の方法。
- アプリケーション情報を受け取るステップであって、前記アプリケーション情報が、前記コンピューティングデバイスにインストールされたアプリケーション、前記コンピューティングデバイスにインストールされた該アプリケーションのバージョンのうちの少なくとも1つを示す、ステップをさらに有し、
前記コンピュータベースのアクションを決定するステップが、前記コンピューティングデバイスにインストールされた前記アプリケーション、前記コンピューティングデバイスにインストールされた該アプリケーションの前記バージョンのうちの少なくとも1つへの前記コンピュータベースのアクションのマッピングに基づいて、前記コンピュータベースのアクションを選択するステップを有することを特徴とする請求項3に記載の方法。 - 前記コンテンツが生成されたアプリケーションの表示を受け取るステップをさらに有し、
前記コンピュータベースのアクションを決定するステップが、前記コンテンツが生成された前記アプリケーションの前記表示に基づいて、前記コンピュータベースのアクションを選択するステップを有することを特徴とする請求項3に記載の方法。 - 前記コンピューティングデバイスにおける前記提案される音声ベースのアクションクエリの選択が、前記コンピューティングデバイスの第1のアプリケーションに前記コンピュータベースのアクションの少なくとも1つの態様を実行させ、前記方法が、
前記少なくとも1つの電子データベース内の前記エンティティにマッピングされた追加のコンピュータベースのアクションを決定するステップと、
前記追加のコンピュータベースのアクションの実行を開始する少なくとも1つの追加のアクション用語を含み、かつ前記少なくとも1つのエンティティ用語を含む追加の提案される音声ベースのアクションクエリを生成するステップと、
音声ベースのクエリの表示を受け取ることに応答して、前記コンピューティングデバイスに前記追加の提案される音声ベースのアクションクエリを提供するステップであって、前記追加の提案される音声ベースのアクションクエリが、前記音声ベースのクエリのための追加の提案として表示のために前記コンピューティングデバイスに提供される、ステップとをさらに有し、
前記コンピューティングデバイスにおける前記提案される音声ベースのアクションクエリの選択が、前記コンピューティングデバイスの第2のアプリケーションに、前記追加のコンピュータベースのアクションの少なくとも1つの態様を実行させることを特徴とする請求項3に記載の方法。 - 前記コンピューティングデバイス上で見られた最近の前記コンテンツが、前記コンピューティングデバイスを介して前記音声ベースのクエリの提供を開始するために、前記コンピューティングデバイスを介して前記ユーザの前記入力に関連して直近で見られたコンテンツであることを特徴とする請求項3に記載の方法。
- 前記コンテンツの前記表示が、前記コンピューティングデバイスを介して前記音声ベースのクエリの前記提供を開始するために、前記コンピューティングデバイスを介して前記ユーザの前記入力に応答して前記コンピューティングデバイスによって提供されることを特徴とする請求項17に記載の方法。
- 前記コンピューティングデバイス上で最近見られた前記コンテンツが、前記コンピューティングデバイスのアプリケーション内で直近に見られたコンテンツであることを特徴とする請求項3に記載の方法。
- 前記コンピューティングデバイスの前記アプリケーション内で直近に見られた前記コンテンツが、前記コンピューティングデバイスによって現在表示されているコンテンツであることを特徴とする請求項19に記載の方法。
- コンピューティングデバイスを介して音声ベースのクエリの提供を開始するために、前記コンピューティングデバイスにおいて、入力を受け取るステップと、
前記入力を受け取ることに関連した、直近に前記コンピューティングデバイスによって表示されたコンテンツを、前記コンピューティングデバイスによって、識別するステップと、
前記コンテンツの表示を提供するステップと、
前記コンテンツの前記表示に基づき、かつ少なくとも1つのアクション用語および少なくとも1つのエンティティ用語を含む提案される音声ベースのアクションクエリを受け取るステップであって、前記エンティティ用語が前記コンテンツのエンティティを参照し、前記アクション用語が前記エンティティにマッピングされるとともにコンピュータベースのアクションの実行を開始する、ステップと、
前記入力を受け取ることに関連した、しきい値時間内にユーザから口頭入力が受け取らなかったと決定することに応答して、前記音声ベースのクエリのための提案として前記提案される音声ベースのアクションクエリを提供するステップと
を有することを特徴とする方法。 - 前記コンテンツの前記表示を用いて、前記コンピューティングデバイスの好ましい言語の表示を提供するステップをさらに有し、
前記提案される音声ベースのアクションクエリが、前記好ましい言語の前記表示を提供することに応答して、前記コンピューティングデバイスの前記好ましい言語で受け取られることを特徴とする請求項21に記載の方法。 - 前記提案される音声ベースのアクションクエリの選択を識別するステップと、
前記提案される音声ベースのアクションクエリの前記選択を識別することに基づいて、前記コンピュータベースのアクションを実行するステップと
をさらに有することを特徴とする請求項21に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562167195P | 2015-05-27 | 2015-05-27 | |
US62/167,195 | 2015-05-27 | ||
US14/808,919 | 2015-07-24 | ||
US14/808,919 US10504509B2 (en) | 2015-05-27 | 2015-07-24 | Providing suggested voice-based action queries |
PCT/US2016/034290 WO2016191540A1 (en) | 2015-05-27 | 2016-05-26 | Providing suggested voice-based action queries |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018212055A Division JP6710740B2 (ja) | 2015-05-27 | 2018-11-12 | 提案される音声ベースのアクションクエリの提供 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018523144A true JP2018523144A (ja) | 2018-08-16 |
JP6437669B2 JP6437669B2 (ja) | 2018-12-12 |
Family
ID=56134594
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017550867A Active JP6437669B2 (ja) | 2015-05-27 | 2016-05-26 | 提案される音声ベースのアクションクエリの提供 |
JP2018212055A Active JP6710740B2 (ja) | 2015-05-27 | 2018-11-12 | 提案される音声ベースのアクションクエリの提供 |
JP2020091323A Active JP6993466B2 (ja) | 2015-05-27 | 2020-05-26 | 提案される音声ベースのアクションクエリの提供 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018212055A Active JP6710740B2 (ja) | 2015-05-27 | 2018-11-12 | 提案される音声ベースのアクションクエリの提供 |
JP2020091323A Active JP6993466B2 (ja) | 2015-05-27 | 2020-05-26 | 提案される音声ベースのアクションクエリの提供 |
Country Status (8)
Country | Link |
---|---|
US (4) | US10504509B2 (ja) |
EP (2) | EP3404654B1 (ja) |
JP (3) | JP6437669B2 (ja) |
KR (3) | KR102369953B1 (ja) |
CN (2) | CN107430626B (ja) |
DE (1) | DE112016000986T5 (ja) |
GB (1) | GB2553936B (ja) |
WO (1) | WO2016191540A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022511518A (ja) * | 2018-12-07 | 2022-01-31 | グーグル エルエルシー | 1つまたは複数のコンピュータアプリケーションから利用可能なアクションを選択し、ユーザに提供するためのシステムおよび方法 |
JP2022185077A (ja) * | 2019-02-12 | 2022-12-13 | グーグル エルエルシー | オンデバイス機能性を使うように車両クライアントデバイスに指令すること |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10504509B2 (en) | 2015-05-27 | 2019-12-10 | Google Llc | Providing suggested voice-based action queries |
US20170024424A1 (en) * | 2015-07-26 | 2017-01-26 | Saad Almohizea | Suggestive search engine |
US10739960B2 (en) * | 2015-09-22 | 2020-08-11 | Samsung Electronics Co., Ltd. | Performing application-specific searches using touchscreen-enabled computing devices |
US11294908B2 (en) * | 2015-11-10 | 2022-04-05 | Oracle International Corporation | Smart search and navigate |
WO2017112786A1 (en) | 2015-12-21 | 2017-06-29 | Google Inc. | Automatic suggestions for message exchange threads |
JP6780001B2 (ja) | 2015-12-21 | 2020-11-04 | グーグル エルエルシー | メッセージング・アプリケーションのための自動提案および他のコンテンツ |
US10387461B2 (en) | 2016-08-16 | 2019-08-20 | Google Llc | Techniques for suggesting electronic messages based on user activity and other context |
US10015124B2 (en) * | 2016-09-20 | 2018-07-03 | Google Llc | Automatic response suggestions based on images received in messaging applications |
US10547574B2 (en) | 2016-09-20 | 2020-01-28 | Google Llc | Suggested responses based on message stickers |
WO2018057536A1 (en) | 2016-09-20 | 2018-03-29 | Google Llc | Bot requesting permission for accessing data |
US10531227B2 (en) * | 2016-10-19 | 2020-01-07 | Google Llc | Time-delimited action suggestion system |
US10416846B2 (en) | 2016-11-12 | 2019-09-17 | Google Llc | Determining graphical element(s) for inclusion in an electronic communication |
US10446144B2 (en) * | 2016-11-21 | 2019-10-15 | Google Llc | Providing prompt in an automated dialog session based on selected content of prior automated dialog session |
US10146768B2 (en) | 2017-01-25 | 2018-12-04 | Google Llc | Automatic suggested responses to images received in messages using language model |
US10860854B2 (en) | 2017-05-16 | 2020-12-08 | Google Llc | Suggested actions for images |
US10404636B2 (en) | 2017-06-15 | 2019-09-03 | Google Llc | Embedded programs and interfaces for chat conversations |
US10348658B2 (en) | 2017-06-15 | 2019-07-09 | Google Llc | Suggested items for use with embedded applications in chat conversations |
US10891526B2 (en) | 2017-12-22 | 2021-01-12 | Google Llc | Functional image archiving |
TWI651714B (zh) * | 2017-12-22 | 2019-02-21 | 隆宸星股份有限公司 | 語音選項選擇系統與方法以及使用其之智慧型機器人 |
KR102661340B1 (ko) | 2018-09-21 | 2024-04-30 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
JP7286772B2 (ja) * | 2018-12-28 | 2023-06-05 | グーグル エルエルシー | 選択されたサジェスチョンによる自動アシスタントへのボイス入力の補足 |
KR20200129346A (ko) * | 2019-05-08 | 2020-11-18 | 삼성전자주식회사 | 디스플레이 장치 및 이의 제어 방법 |
EP3752892A1 (en) | 2019-05-09 | 2020-12-23 | Google LLC | Automated assistant suggestions for third-party vehicle computing devices with restricted architecture |
KR102208387B1 (ko) * | 2020-03-10 | 2021-01-28 | 주식회사 엘솔루 | 음성 대화 재구성 방법 및 장치 |
CN114007117B (zh) * | 2020-07-28 | 2023-03-21 | 华为技术有限公司 | 一种控件显示方法和设备 |
CN112115282A (zh) * | 2020-09-17 | 2020-12-22 | 北京达佳互联信息技术有限公司 | 基于搜索的问答方法、装置、设备及存储介质 |
US11657817B2 (en) | 2020-10-16 | 2023-05-23 | Google Llc | Suggesting an alternative interface when environmental interference is expected to inhibit certain automated assistant interactions |
WO2023244212A1 (en) * | 2022-06-14 | 2023-12-21 | Google Llc | Providing a recommendation for selection of a user interface element of a user interface |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244609A (ja) * | 1999-02-23 | 2000-09-08 | Omron Corp | 話者状況適応型音声対話装置及び発券装置 |
JP2002278591A (ja) * | 2001-03-22 | 2002-09-27 | Sharp Corp | 情報処理装置および情報処理方法、並びに、プログラム記録媒体 |
JP2004258233A (ja) * | 2003-02-25 | 2004-09-16 | Fujitsu Ltd | 適応型音声対話システム及び方法 |
JP2004272363A (ja) * | 2003-03-05 | 2004-09-30 | Canon Inc | 音声入出力装置 |
JP2004334228A (ja) * | 2004-06-07 | 2004-11-25 | Denso Corp | 単語列認識装置 |
JP2007508590A (ja) * | 2003-10-14 | 2007-04-05 | ダイムラークライスラー・アクチェンゲゼルシャフト | 音声対話システム用のユーザ適応対話支援 |
US20120084312A1 (en) * | 2010-10-01 | 2012-04-05 | Google Inc. | Choosing recognized text from a background environment |
JP2012230191A (ja) * | 2011-04-25 | 2012-11-22 | Denso Corp | 音声入力装置 |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002259114A (ja) | 2001-03-05 | 2002-09-13 | Nec Corp | 音声認識コンピュータシステム |
US7167832B2 (en) | 2001-10-15 | 2007-01-23 | At&T Corp. | Method for dialog management |
US20050054381A1 (en) | 2003-09-05 | 2005-03-10 | Samsung Electronics Co., Ltd. | Proactive user interface |
US9224394B2 (en) * | 2009-03-24 | 2015-12-29 | Sirius Xm Connected Vehicle Services Inc | Service oriented speech recognition for in-vehicle automated interaction and in-vehicle user interfaces requiring minimal cognitive driver processing for same |
US7672931B2 (en) * | 2005-06-30 | 2010-03-02 | Microsoft Corporation | Searching for content using voice search queries |
EP1922340B1 (en) * | 2005-08-08 | 2016-12-28 | Arkema Inc. | Polymerization of fluoropolymers using non-fluorinated surfactants |
TWI277948B (en) * | 2005-09-02 | 2007-04-01 | Delta Electronics Inc | Method and system for template inquiry dialogue system |
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US7657493B2 (en) | 2006-09-28 | 2010-02-02 | Microsoft Corporation | Recommendation system that identifies a valuable user action by mining data supplied by a plurality of users to find a correlation that suggests one or more actions for notification |
WO2008126355A1 (ja) * | 2007-03-29 | 2008-10-23 | Panasonic Corporation | キーワード抽出装置 |
US8650030B2 (en) * | 2007-04-02 | 2014-02-11 | Google Inc. | Location based responses to telephone requests |
US9978365B2 (en) * | 2008-10-31 | 2018-05-22 | Nokia Technologies Oy | Method and system for providing a voice interface |
EP2351021B1 (en) * | 2008-11-10 | 2017-09-06 | Google, Inc. | Determining an operating mode based on the orientation of a mobile device |
US20110099507A1 (en) * | 2009-10-28 | 2011-04-28 | Google Inc. | Displaying a collection of interactive elements that trigger actions directed to an item |
US8650210B1 (en) | 2010-02-09 | 2014-02-11 | Google Inc. | Identifying non-search actions based on a search query |
US20110202864A1 (en) | 2010-02-15 | 2011-08-18 | Hirsch Michael B | Apparatus and methods of receiving and acting on user-entered information |
US8234111B2 (en) * | 2010-06-14 | 2012-07-31 | Google Inc. | Speech and noise models for speech recognition |
US8359020B2 (en) * | 2010-08-06 | 2013-01-22 | Google Inc. | Automatically monitoring for voice input based on context |
US8473289B2 (en) * | 2010-08-06 | 2013-06-25 | Google Inc. | Disambiguating input based on context |
US9405848B2 (en) * | 2010-09-15 | 2016-08-02 | Vcvc Iii Llc | Recommending mobile device activities |
US20130066634A1 (en) * | 2011-03-16 | 2013-03-14 | Qualcomm Incorporated | Automated Conversation Assistance |
US9043350B2 (en) * | 2011-09-22 | 2015-05-26 | Microsoft Technology Licensing, Llc | Providing topic based search guidance |
WO2013052866A2 (en) | 2011-10-05 | 2013-04-11 | Google Inc. | Semantic selection and purpose facilitation |
US8930393B1 (en) | 2011-10-05 | 2015-01-06 | Google Inc. | Referent based search suggestions |
KR102022318B1 (ko) | 2012-01-11 | 2019-09-18 | 삼성전자 주식회사 | 음성 인식을 사용하여 사용자 기능을 수행하는 방법 및 장치 |
US20140046891A1 (en) * | 2012-01-25 | 2014-02-13 | Sarah Banas | Sapient or Sentient Artificial Intelligence |
EP2815337A4 (en) | 2012-02-16 | 2015-10-28 | Microsoft Technology Licensing Llc | LOCATION-SENSITIVE APPLICATION SEARCH |
US20130325839A1 (en) * | 2012-03-05 | 2013-12-05 | TeleCommunication Communication Systems, Inc. | Single Search Box Global |
US8719025B2 (en) * | 2012-05-14 | 2014-05-06 | International Business Machines Corporation | Contextual voice query dilation to improve spoken web searching |
US9317709B2 (en) * | 2012-06-26 | 2016-04-19 | Google Inc. | System and method for detecting and integrating with native applications enabled for web-based storage |
US9799328B2 (en) * | 2012-08-03 | 2017-10-24 | Veveo, Inc. | Method for using pauses detected in speech input to assist in interpreting the input during conversational interaction for information retrieval |
US9268462B2 (en) | 2012-08-14 | 2016-02-23 | Google Inc. | External action suggestions in search results |
KR102081925B1 (ko) | 2012-08-29 | 2020-02-26 | 엘지전자 주식회사 | 디스플레이 디바이스 및 스피치 검색 방법 |
US9547647B2 (en) * | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
US8543397B1 (en) * | 2012-10-11 | 2013-09-24 | Google Inc. | Mobile device voice activation |
US9734151B2 (en) * | 2012-10-31 | 2017-08-15 | Tivo Solutions Inc. | Method and system for voice based media search |
KR20140089876A (ko) * | 2013-01-07 | 2014-07-16 | 삼성전자주식회사 | 대화형 인터페이스 장치 및 그의 제어 방법 |
JP6122642B2 (ja) | 2013-01-10 | 2017-04-26 | 株式会社Nttドコモ | 機能実行システム及び発話例出力方法 |
DE112014000709B4 (de) * | 2013-02-07 | 2021-12-30 | Apple Inc. | Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten |
US9361885B2 (en) * | 2013-03-12 | 2016-06-07 | Nuance Communications, Inc. | Methods and apparatus for detecting a voice command |
US20140280289A1 (en) * | 2013-03-12 | 2014-09-18 | Microsoft Corporation | Autosuggestions based on user history |
JP2014203207A (ja) | 2013-04-03 | 2014-10-27 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US9892729B2 (en) * | 2013-05-07 | 2018-02-13 | Qualcomm Incorporated | Method and apparatus for controlling voice activation |
US9483565B2 (en) | 2013-06-27 | 2016-11-01 | Google Inc. | Associating a task with a user based on user selection of a query suggestion |
US8990079B1 (en) * | 2013-12-15 | 2015-03-24 | Zanavox | Automatic calibration of command-detection thresholds |
US8849675B1 (en) | 2013-12-18 | 2014-09-30 | Google Inc. | Suggested query constructor for voice actions |
US9489171B2 (en) * | 2014-03-04 | 2016-11-08 | Microsoft Technology Licensing, Llc | Voice-command suggestions based on user identity |
US9338493B2 (en) * | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9378740B1 (en) * | 2014-09-30 | 2016-06-28 | Amazon Technologies, Inc. | Command suggestions during automatic speech recognition |
US9646611B2 (en) * | 2014-11-06 | 2017-05-09 | Microsoft Technology Licensing, Llc | Context-based actions |
US10504509B2 (en) | 2015-05-27 | 2019-12-10 | Google Llc | Providing suggested voice-based action queries |
-
2015
- 2015-07-24 US US14/808,919 patent/US10504509B2/en active Active
-
2016
- 2016-05-26 KR KR1020197030804A patent/KR102369953B1/ko active IP Right Grant
- 2016-05-26 JP JP2017550867A patent/JP6437669B2/ja active Active
- 2016-05-26 KR KR1020177026523A patent/KR101870934B1/ko active IP Right Grant
- 2016-05-26 WO PCT/US2016/034290 patent/WO2016191540A1/en active Application Filing
- 2016-05-26 EP EP18179479.3A patent/EP3404654B1/en active Active
- 2016-05-26 GB GB1715688.6A patent/GB2553936B/en active Active
- 2016-05-26 EP EP16730101.9A patent/EP3262636B1/en active Active
- 2016-05-26 CN CN201680019315.8A patent/CN107430626B/zh active Active
- 2016-05-26 CN CN201910977782.7A patent/CN110851470B/zh active Active
- 2016-05-26 KR KR1020187017226A patent/KR102036786B1/ko active IP Right Grant
- 2016-05-26 DE DE112016000986.0T patent/DE112016000986T5/de not_active Withdrawn
-
2018
- 2018-11-12 JP JP2018212055A patent/JP6710740B2/ja active Active
-
2019
- 2019-09-27 US US16/586,612 patent/US11238851B2/en active Active
-
2020
- 2020-05-26 JP JP2020091323A patent/JP6993466B2/ja active Active
-
2022
- 2022-01-28 US US17/587,450 patent/US11869489B2/en active Active
-
2024
- 2024-01-08 US US18/406,484 patent/US20240144924A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000244609A (ja) * | 1999-02-23 | 2000-09-08 | Omron Corp | 話者状況適応型音声対話装置及び発券装置 |
JP2002278591A (ja) * | 2001-03-22 | 2002-09-27 | Sharp Corp | 情報処理装置および情報処理方法、並びに、プログラム記録媒体 |
JP2004258233A (ja) * | 2003-02-25 | 2004-09-16 | Fujitsu Ltd | 適応型音声対話システム及び方法 |
JP2004272363A (ja) * | 2003-03-05 | 2004-09-30 | Canon Inc | 音声入出力装置 |
JP2007508590A (ja) * | 2003-10-14 | 2007-04-05 | ダイムラークライスラー・アクチェンゲゼルシャフト | 音声対話システム用のユーザ適応対話支援 |
JP2004334228A (ja) * | 2004-06-07 | 2004-11-25 | Denso Corp | 単語列認識装置 |
US20120084312A1 (en) * | 2010-10-01 | 2012-04-05 | Google Inc. | Choosing recognized text from a background environment |
JP2012230191A (ja) * | 2011-04-25 | 2012-11-22 | Denso Corp | 音声入力装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022511518A (ja) * | 2018-12-07 | 2022-01-31 | グーグル エルエルシー | 1つまたは複数のコンピュータアプリケーションから利用可能なアクションを選択し、ユーザに提供するためのシステムおよび方法 |
JP7134357B2 (ja) | 2018-12-07 | 2022-09-09 | グーグル エルエルシー | 1つまたは複数のコンピュータアプリケーションから利用可能なアクションを選択し、ユーザに提供するためのシステムおよび方法 |
US11831738B2 (en) | 2018-12-07 | 2023-11-28 | Google Llc | System and method for selecting and providing available actions from one or more computer applications to a user |
JP2022185077A (ja) * | 2019-02-12 | 2022-12-13 | グーグル エルエルシー | オンデバイス機能性を使うように車両クライアントデバイスに指令すること |
JP7412499B2 (ja) | 2019-02-12 | 2024-01-12 | グーグル エルエルシー | オンデバイス機能性を使うように車両クライアントデバイスに指令すること |
Also Published As
Publication number | Publication date |
---|---|
KR20170117590A (ko) | 2017-10-23 |
US20240144924A1 (en) | 2024-05-02 |
EP3404654A1 (en) | 2018-11-21 |
US10504509B2 (en) | 2019-12-10 |
US11238851B2 (en) | 2022-02-01 |
KR101870934B1 (ko) | 2018-06-25 |
EP3262636A1 (en) | 2018-01-03 |
US11869489B2 (en) | 2024-01-09 |
GB201715688D0 (en) | 2017-11-15 |
CN107430626B (zh) | 2019-11-08 |
CN110851470A (zh) | 2020-02-28 |
EP3404654B1 (en) | 2020-11-25 |
JP6993466B2 (ja) | 2022-01-13 |
JP6710740B2 (ja) | 2020-06-17 |
US20220157302A1 (en) | 2022-05-19 |
US20160350304A1 (en) | 2016-12-01 |
GB2553936B (en) | 2020-09-23 |
KR102369953B1 (ko) | 2022-03-04 |
US20200027448A1 (en) | 2020-01-23 |
JP2019050019A (ja) | 2019-03-28 |
DE112016000986T5 (de) | 2017-11-16 |
WO2016191540A1 (en) | 2016-12-01 |
KR20180072845A (ko) | 2018-06-29 |
EP3262636B1 (en) | 2018-08-01 |
GB2553936A (en) | 2018-03-21 |
KR20190121876A (ko) | 2019-10-28 |
JP2020144932A (ja) | 2020-09-10 |
CN110851470B (zh) | 2024-03-01 |
JP6437669B2 (ja) | 2018-12-12 |
CN107430626A (zh) | 2017-12-01 |
KR102036786B1 (ko) | 2019-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6437669B2 (ja) | 提案される音声ベースのアクションクエリの提供 | |
US12046233B2 (en) | Automatically determining language for speech recognition of spoken utterance received via an automated assistant interface | |
EP3507718B1 (en) | Using textual input and user state information to generate reply content to present in response to the textual input | |
CA2970725C (en) | Headless task completion within digital personal assistants | |
US20190318729A1 (en) | Adaptive interface in a voice-based networked system | |
JP7256237B2 (ja) | 局所的なテキスト応答マップを利用する、ユーザの口頭発話への応答のレンダリング | |
EP3926625B1 (en) | Voice to text conversion based on third-party agent content | |
JP6726354B2 (ja) | 訂正済みタームを使用する音響モデルトレーニング | |
KR20150036643A (ko) | 내추럴 동작 입력을 사용한 문맥 관련 쿼리 조정 | |
US11756544B2 (en) | Selectively providing enhanced clarification prompts in automated assistant interactions | |
CN115605871A (zh) | 基于实体或实体类型推荐动作 | |
US20220215179A1 (en) | Rendering content using a content agent and/or stored content parameter(s) | |
US20240029728A1 (en) | System(s) and method(s) to enable modification of an automatically arranged transcription in smart dictation | |
US20230230578A1 (en) | Personalized speech query endpointing based on prior interaction(s) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180717 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6437669 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |