JP7418526B2 - 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード - Google Patents

自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード Download PDF

Info

Publication number
JP7418526B2
JP7418526B2 JP2022168638A JP2022168638A JP7418526B2 JP 7418526 B2 JP7418526 B2 JP 7418526B2 JP 2022168638 A JP2022168638 A JP 2022168638A JP 2022168638 A JP2022168638 A JP 2022168638A JP 7418526 B2 JP7418526 B2 JP 7418526B2
Authority
JP
Japan
Prior art keywords
automated assistant
hotwords
context
default
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022168638A
Other languages
English (en)
Other versions
JP2023021975A (ja
Inventor
ディエゴ・メレンド・カサド
ジャクリン・コンツェルマン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to JP2022168638A priority Critical patent/JP7418526B2/ja
Publication of JP2023021975A publication Critical patent/JP2023021975A/ja
Application granted granted Critical
Publication of JP7418526B2 publication Critical patent/JP7418526B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G10L2015/025—Phonemes, fenemes or fenones being the recognition units
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワードに関する。
人間は、本明細書で「自動アシスタント」と呼ばれる(「チャットボット」、「仮想アシスタント」、「対話型パーソナルアシスタント」、「インテリジェントパーソナルアシスタント」、「パーソナルボイスアシスタント」、「会話エージェント」などとも呼ばれる)対話型ソフトウェアアプリケーションと人間対コンピュータダイアログに従事し得る。たとえば、人間(その人間が自動アシスタントと対話するとき、「ユーザ」と呼ばれることがある)は、テキストに変換され、次いで、処理および/またはタイプされた自由形式自然言語入力に変換される音声発話を含み得る自由形式自然言語入力を使用して、コマンド、クエリ、および/または要求を提供し得る。
多くの場合、自動アシスタントがユーザの要求を解釈してそれに応答し得る前に、自動アシスタントは、最初に、たとえば、しばしば「ホットワード」または「ウェイクワード」と呼ばれる、事前定義された口頭起動フレーズを使用して、「起動」されなければならない。したがって、多くの自動アシスタントは、自動アシスタントがホットワードの限定(または、有限)セットに対してマイクロフォンによってサンプリングされるオーディオデータを常に「聴取している」状態である、本明細書で「限定ホットワード聴取状態」または「デフォルト非アクティブ状態」と呼ばれることになる状態で動作する。ホットワードの限定セット以外のオーディオデータ内でキャプチャされたいずれの発話も無視される。ホットワードの限定セットのうちの1つまたは複数で自動アシスタントが起動されると、自動アシスタントは、自動アシスタントがマイクロフォンによってサンプリングされたオーディオデータの音声対テキスト(「STT」)処理を行って、次に、ユーザの意図を決定する(また、その意図を実現する)ために意味的に処理されるテキスト入力を生成する、本明細書で「音声認識状態」または「一般聴取状態」と呼ばれることになる状態で動作し得る。
自動アシスタントが限定数のホットワードのみを聴取するデフォルト非アクティブ状態で自動アシスタントを動作させることは、様々な利益をもたらす。「聴取される」ホットワードの数を限定することは、電力および/または計算リソースの節約を可能にする。たとえば、オンデバイス機械学習モデルは、1つまたは複数のホットワードがいつ検出されるかを示す出力を生成するようにトレーニングされ得る。そのようなモデルの実装は、最低限の計算リソースおよび/または電力のみを必要とし得る。そのようなトレーニングされたモデルをクライアントデバイス上に局所的に記憶することは、プライバシーに関する利点をやはり提供する。たとえば、大部分のユーザは、自動アシスタントを動作させているコンピューティングデバイスの聞こえる範囲内で彼らが話すことすべてに対してSTT処理が実行されることを望まない。加えて、オンデバイスモデルは、自動アシスタントによって処理されることを意図しないユーザ発話を示すデータが、少なくとも部分的にクラウド上で動作することが多いセマンティックプロセッサに提供されることをやはり防止する。
これらの利益と共に、自動アシスタントを限定ホットワード聴取状態で動作させることは、様々な課題をやはり提示する。不注意による自動アシスタントの起動を回避するために、ホットワードは、一般に、日常の会話において発話されることがあまりないワードまたはフレーズ(たとえば、「ロングテール」ワードまたは「ロングテール」フレーズ)になるように選択される。しかしながら、何らかの活動を実行するために自動アシスタントを起動させる前にロングテールホットワードを発話することをユーザに要求する、厄介であり得る様々なシナリオが存在する。
たとえば、ユーザは、しばしば、タイマーまたはアラームを設定するように自動アシスタントに求める。これらのタイマーおよびアラームが終了および/または停止するとき、ユーザが、次いで、「タイマー停止」というようなことを話すことによってタイマーまたはアラームに対して活動を行い得る前に、ユーザは、最初に、自動アシスタントを起動させる(すなわち、自動アシスタントを音声認識モードに遷移させる)ために何らかのロングテールホットワードを発話しなければならない。ユーザは、しばしば、メディア(たとえば、音楽、ビデオ)を再生するように自動アシスタントに要求するが、メディア再生が始まると、ユーザは、「休止」、「早送り」、「巻戻し」、「先にスキップ」、「次の歌に進む」、など、コマンドを発行する前に、最初に、ホットワードで自動アシスタントをアウェイクさせなければならい。
いくつかの自動アシスタントは、ユーザが、後続のコマンドを実行する前に、ホットワードで自動アシスタントを「再度アウェイクさせる」必要がないように、ユーザがコマンドを発話した後、「聴取継続」モードに対するマニュアルオプションを提供し得る。しかしながら、自動アシスタントを聴取継続モードに手動で遷移させることは、自動アシスタントがさらに多くの発話に対してさらに多くのSTT処理を実行している可能性があり、電力および/または計算リソースを潜在的に浪費していることを意味する。加えて、上述のように、大部分のユーザは、自動アシスタントが明示的に起動されるときのみSTT処理が生じることを好む。
自動アシスタントに対する「動的」および/または「コンテキスト固有の」ホットワードの使用を可能にするための技法について本明細書で説明する。様々な状況(circumstance)下で、本開示の選択された態様で構成される自動アシスタントは、現在の状況(すなわち「コンテキスト(context)」)に関連する特定のコンテキスト固有のホットワードをより知的に聴取することができる。様々な実装形態では、自動アシスタントは、自動アシスタントを起動させるために使用されるデフォルトホットワードに加えて、またはその代わりに、のいずれかで、これらのコンテキスト固有のホットワードを聴取し得る。言い換えれば、様々な実装形態では、本開示の選択された態様で構成される自動アシスタントは、一定の状況の中でそのホットワード語彙を少なくとも一時的に拡張または変更し得る。
様々な実装形態では、動的ホットワードは、自動アシスタントに関与するために使用されるコンピューティングデバイスの特定の状態への遷移など、様々な異なる状況下で選択可能に有効にされ得る。一例として、いくつかの実装形態では、自動アシスタントによってトリガされる、ユーザ要求されたタイマーまたはアラームがコンピューティングデバイスにおいて終了するとき、コンピューティングデバイスの状態が検出され得る。その状態の検出に応答して、自動アシスタントを起動させるために常に利用可能であるデフォルトホットワードに加えて、またはその代わりに、1つまたは複数のタイマー/アラームのコンテキスト固有のホットワードが有効にされ得る。したがって、たとえば、タイマー終了に先立って、自動アシスタントは、自らが常に聴取するデフォルトホットワードのみを聴取することができ、タイマーが終了すると、可聴アラームが出力されると同時に、自動アシスタントは、「タイマー停止」、「タイマー取消し」など、他のホットワードを聴取し得る。これらの他のホットワードが検出されるとき、これらのホットワードは、応答活動、この場合、タイマーの停止を実行するように自動アシスタントをトリガし得る。
別の例として、自動アシスタントは、しばしば、音楽またはビデオなど、メディアを再生するために使用される。自動アシスタントによって(ユーザ要求によって)トリガされるメディアが再生される間、自動アシスタントは、「停止」、「休止」、「再生」、「次」、「最後」、など、追加のコンテキスト固有のホットワードを聴取し得る。より一般的には、様々な実装形態では、自動アシスタントによってトリガされる様々なアプリケーションは、それらのアプリケーションに関連する様々なアプリケーション固有のホットワードを有し得る。それらのアプリケーションがアクティブである(たとえば、まだ完了せず、前景で動作している)間、それらのアプリケーション固有のホットワードが聴取され、検出時に実行され得る。
別の例として、いくつかの実装形態では、自動アシスタントに関与するためにユーザによって使用されるアシスタントデバイスは、ディスプレイを含み得る。自動アシスタントは、話された人間対コンピュータダイアログにおいてユーザに関与することに加えて、人間対コンピュータダイアログに関連するコンテンツまたは他のコンテンツ(たとえば、天気、スケジュール、やることリストなど)をディスプレイ上に表示し得る。いくつかの実装形態では、この表示コンテンツは、コンテンツが表示され続ける間に聴取されることになる動的ホットワードをアクティブ化するために使用され得る。
ホットワードは、自動アシスタントによってまたはその代わりに様々な方法で検出され得る。いくつかの実装形態では、ニューラルネットワーク、隠れマルコフモデルなど、機械学習モデルは、オーディオデータストリーム内の1つまたは複数のホットワードおよび/または音素の順序付けされたまたは順序付けされていないシーケンスを検出するようにトレーニングされ得る。いくつかのそのような実装形態では、各適用可能なホットワード(または、複数のホットワードを含む「ホットフレーズ」)に対して別個の機械学習モデルがトレーニングされ得る。
いくつかの実装形態では、これらの動的ホットワードを検出するようにトレーニングされた機械学習モデルは、必要に応じてダウンロードされ得る。たとえば、タイマーの例では、ユーザがタイマーを設定するとき(また、その終了に先立って)、自動アシスタントは、(最初にデフォルトホットワードの起動を検出せずに)様々なタイマー固有のホットワード(たとえば、「停止」、「タイマー取消し」、など)を検出するようにすでにトレーニングされているニューラルネットワークをローカルデバイスにダウンロードし得る。
追加または代替として、いくつかの実装形態では、ユーザ経験を改善し、レイテンシを低減するために、コンテキスト固有のホットワードの検出時に自動アシスタントによって実行されるべきであることを意味する応答活動が、ユーザが自動アシスタントに関与するデバイスにおいて事前にキャッシュされ得る。そのように、コンテキスト固有のホットワードが検出されるとすぐに、自動アシスタントは即時に活動を行うことができる。これは、自動アシスタントが最初に1つまたは複数のコンピューティングシステム(たとえば、クラウド)に接続して、ユーザの要求を実現する必要があり得る場合とは対照的である。
一例として、ディスプレイを備えたアシスタントデバイスが、現在アクティブなコンテキスト固有のホットワードに対応する1つまたは複数の「カード」を含むと仮定する。カードのうちの1つが「天気今日」と書かれ、このカードの表示がコンテキスト固有のホットワード「天気今日」(または、「今日の天気」、など)をアクティブにさせ、それにより、ユーザが最初に自動アシスタントを起動させずに、「天気今日」と言って今日の天気を得ることを可能にすると仮定する。このカードが表示される(また、より重要なことに、コンテキスト固有のホットワードがアクティブである)ため、リモート天気サービスから今日の天気を要求する応答活動は、(ユーザが具体的にそれを要求せずに)事前に実行可能であり、応答データは局所的にキャッシュされ得る。その結果、ユーザが「天気今日」と言う機会を見出すとき、今日の天気予報を示すデータはすでに取り出され、自動アシスタントは、リモート天気サービスとのリアルタイム通信によって引き起こされるレイテンシを伴わずに、自然言語応答を迅速にアセンブルし得る。
本明細書で説明する技法は、様々な技術的利点をもたらす。一定の状況下で自動アシスタントを起動させるために利用可能な語彙を少なくとも一時的に拡張することは、ユーザにより自動化されたアシスタントとの関与を改善し得る。たとえば、それは、タイマーを停止すること、音楽を休止することなど、何らかのコンテキスト的に関連する活動を自動アシスタントに実行させる前に最初に自動アシスタントを起動させなければならないことを伴うユーザのフラストレーションを低減し得る。いくつかの既存のアシスタントデバイスは、ユーザが、最初に自動アシスタントを起動させなければならないことを伴わずに、デバイスの表面のアクティブ部分(たとえば、容量性タッチパッドまたはディスプレイ)上を単にタップすることを可能にすることによって、メディア再生を休止することまたはタイマーを停止することを容易にする。しかしながら、身体障害を有するユーザおよび/またはさもなければ(たとえば、料理中、運転中など)忙しいユーザは、デバイスを容易にタッチすることができない場合がある。したがって、本明細書で説明する技法は、それらのユーザが、最初に自動アシスタントを起動させずに、より容易にかつ迅速に自動アシスタントにタイマーの停止などのいくらかの応答活動を実行させることができる。
加えて、本明細書で説明するように、いくつかの実装形態では、自動アシスタントは、コンテキスト固有のホットワードに応答するコンテンツを積極的にダウンロードし得る。たとえば、自動アシスタントがホットワードを有する1つまたは複数のカードが表示される特定のコンテンツ(たとえば、天気、交通、スケジュールなど)に遷移するとき、これらのホットワードに応答する情報がプリエンプティブに(preemptively)ダウンロードされ、メモリ内にキャッシュされ得る。その結果、1つまたは複数のホットワードが発話されるとき、自動アシスタントは、自動アシスタントが応答情報を得るために最初に1つまたは複数のネットワークを介して1つまたは複数の遠隔リソースに接触する必要がある場合よりも迅速に応答情報を提供することができる。これは、アシスタントデバイスが、データネットワークが利用可能なゾーンの中/外に移動することができる車両内にあるときにも有益であり得る。たとえば、車両がデータカバレージゾーン内にある間、一定のコンテキスト固有のホットワードに応答してコンテンツをプリエンプティブにダウンロードおよびキャッシュすることによって、データカバレージゾーンの外部に進む間にユーザがそれを要求する場合、そのデータはその時利用可能である。
さらに別の例として、本明細書で説明する技法は、ユーザが包括的な音声対テキスト(「STT」)処理を必要とせずに、応答活動をトリガすることを可能にし得る。たとえば、一定のコンテキスト起動モデル(contextual invocation model)がアクティブ化され、コンテキスト固有のホットワードを検出するとき、STT処理を使用してユーザの発話がテキストに変換されることを必要とせずに、これらのモデルの出力に基づいて、応答活動がトリガされ得る。これは、クライアントデバイス上の計算リソースを節約することができ、かつ/またはユーザの発話のSTTおよび/または意味的処理を行うためにクラウドインフラストラクチャとの往復通信を回避することができ、これはネットワークリソースを節約する。また、往復送信を回避することは、レイテンシを改善し、少なくともいくつかのデータのクラウドインフラストラクチャへの送信を回避し得、これは、ユーザのプライバシーの観点から有利かつ/または望ましいことがある。
いくつかの実装形態では、1つまたは複数のプロセッサによって実行される方法であって、少なくとも部分的にコンピューティングデバイス上で自動アシスタントを動作させるステップと、1つまたは複数のデフォルトホットワードに対してマイクロフォンによってキャプチャされたオーディオデータを監視するステップであって、デフォルトホットワードのうちの1つまたは複数の検出が、自動アシスタントの限定ホットワード聴取状態から音声認識状態への遷移をトリガする、監視するステップと、コンピューティングデバイスの所与の状態への遷移を検出するステップと、検出するステップに応答して、1つまたは複数のデフォルトホットワードに加えて、1つまたは複数のコンテキスト固有のホットワードに対してマイクロフォンによってキャプチャされたオーディオデータを監視するステップであって、コンテキスト固有のホットワードのうちの1つまたは複数の検出が、デフォルトホットワードのうちの1つまたは複数の検出または自動アシスタントの音声認識状態への遷移を必要とせずに、所与の状態に関連する応答活動を実行するように自動アシスタントをトリガする、監視するステップとを含む方法が提供される。
本明細書で開示する技術のこれらのおよび他の実装形態は、以下の特徴のうちの1つまたは複数を随意に含み得る。
様々な実装形態では、所与の状態は、自動アシスタントによって設定されたタイマーの終了を含んでよく、1つまたは複数のコンテキスト固有のホットワードの検出は、タイマーを取り消すように自動アシスタントをトリガする。様々な実装形態では、所与の状態は、自動アシスタントを介してトリガされたメディア再生を含んでよく、1つまたは複数のコンテキスト固有のホットワードの検出は、自動アシスタントにメディア再生を変更させ得る。様々な実装形態では、メディア再生の変更は、休止、再生、早送り、巻戻し、または音量変更のうちの1つまたは複数を含み得る。
様々な実装形態では、検出するステップは、コンテンツがコンピューティングデバイスのディスプレイ上にレンダリングされていると決定するステップを含み得る。様々な実装形態では、この方法は、ディスプレイ上にレンダリングされたコンテンツに基づいて、1つまたは複数のコンテキスト固有のホットワードを識別するステップをさらに含み得る。様々な実装形態では、ディスプレイ上にレンダリングされたコンテンツに基づいて、1つまたは複数のコンテキスト固有のホットワードを識別するステップは、ディスプレイ上にレンダリングされたコンテンツに基づいて、1つまたは複数の音素を決定するステップを含み得る。様々な実装形態では、1つまたは複数の識別された音素は、1つまたは複数の音素を受け入れ、1つまたは複数の他の音素を拒否するように、トレーニングされた機械学習モデルを調整するために使用され得る。
加えて、いくつかの実装形態は、1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサを含み、ここで、1つまたは複数のプロセッサは、関連するメモリ内に記憶された命令を実行するように動作可能であり、ここで、命令は、前述の方法のうちのいずれかを実行させるように構成される。いくつかの実装形態は、前述の方法のうちのいずれかを実行するために1つまたは複数のプロセッサによって実行可能なコンピュータ命令を記憶した、1つまたは複数の非一時的コンピュータ可読記憶媒体をやはり含む。
前述の概念および本明細書でさらに詳細に説明する追加の概念のすべての組合せは、本明細書で開示する主題の部分であることが企図されることを諒解されたい。たとえば、本開示の最後に出現する特許請求される主題のすべての組合せは、本明細書で開示する主題の部分であることが企図される。
本明細書で開示する実装形態が実装され得る一例示的な環境のブロック図である。 様々な実装形態による、本開示の選択された態様で構成された自動アシスタントによって実装され得る状態機械の一例を示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 開示する技法が採用され得る追加の例示的なシナリオを示す図である。 本明細書で開示する実装形態による一例示的な方法を示す流れ図である。 コンピューティングデバイスの一例示的なアーキテクチャを示す図である。
次に図1を参照すると、本明細書で開示する技法が実装され得る一例示的な環境を示す。この例示的な環境は、1つまたは複数のクライアントコンピューティングデバイス106を含む。各クライアントデバイス106は、本明細書で自動アシスタントの「クライアント部分」と呼ばれることもある自動アシスタントクライアント108のそれぞれのインスタンスを実行し得る。本明細書で一括して自動アシスタントの「サーバ部分」と呼ばれることもある、1つまたは複数のクラウドベースの自動アシスタント構成要素119は、概して114に示す、1つまたは複数のローカルエリアおよび/または広域ネットワーク(たとえば、インターネット)を介してクライアントデバイス106に通信可能に結合された1つまたは複数のコンピューティングシステム(一括して、「クラウド」コンピューティングシステムと呼ばれる)上で実装され得る。
様々な実装形態では、自動アシスタントクライアント108のインスタンスは、1つまたは複数のクラウドベースの自動アシスタント構成要素119とのその対話によって、ユーザの観点から、それを用いてユーザが人間対コンピュータダイアログに従事し得る自動アシスタント120の論理インスタンスのように見えるものを形成し得る。そのような自動アシスタント120の1つのインスタンスが、図1において、破線で示されている。したがって、クライアントデバイス106上で実行している自動アシスタントクライアント108に関与する各ユーザは、事実上、自動アシスタント120のその独自の論理インスタンスに関与することを理解されたい。簡単かつ簡潔にするために、特定のユーザに「サービス」するとして本明細書で使用されるような「自動アシスタント」という用語は、ユーザおよび1つまたは複数のクラウドベースの自動アシスタント構成要素119(それらは複数の自動アシスタントクライアント108の間で共有され得る)が動作させるクライアントデバイス106上で実行する自動アシスタントクライアント108の組合せを指すことになる。いくつかの実装形態では、自動アシスタント120は、ユーザが自動アシスタント120のその特定のインスタンスによって実際に「サービスされて」いるかどうかにかかわらず、任意のユーザからの要求に応答し得ることをやはり理解されたい。
1つまたは複数のクライアントデバイス106は、たとえば、デスクトップコンピューティングデバイス、ラップトップコンピューティングデバイス、タブレットコンピューティングデバイス、モバイルフォンコンピューティングデバイス、ユーザの車両のコンピューティングデバイス(たとえば、車載通信システム、車載エンターテイメントシステム、車載ナビゲーションシステム)、スタンドアロン対話型スピーカ(それは場合によっては、視覚センサーを含み得る)、スマートテレビジョン(または、自動アシスタント機能を備えたネットワーク接続されたドングルを備えた標準テレビジョン)などのスマートアプライアンス、および/またはコンピューティングデバイスを含むユーザのウェアラブル装置(たとえば、コンピューティングデバイスを有するユーザのウォッチ、コンピューティングデバイスを有するユーザの眼鏡、仮想現実コンピューティングデバイスまたは拡張現実コンピューティングデバイス)のうちの1つまたは複数を含み得る。追加および/または代替のクライアントコンピューティングデバイスが提供されてよい。スタンドアロン対話型スピーカ(または、「スマートスピーカ」)など、いくつかのクライアントデバイス106は、主にユーザと自動アシスタント120との間のダイアログを円滑にするように設計されたアシスタントデバイスの形をとってよい。いくつかのそのようなアシスタントデバイスは、タッチスクリーンディスプレイであってよく、またはそうでなくてもよい、接続されたディスプレイを備えたスタンドアロン対話型スピーカの形をとってよい。
いくつかの実装形態では、クライアントデバイス106は、1つまたは複数の視野を有する1つまたは複数の視覚センサー107を備え得るが、これは要求されない。視覚センサー107は、デジタルカメラ、受動型赤外線(「PIR」)センサー、立体カメラ、RGBdカメラ、など、様々な形をとってよい。1つまたは複数の視覚センサー107は、クライアントデバイス106が展開される環境の画像フレーム(静止画像またはビデオ)をキャプチャするために、たとえば、画像キャプチャモジュール111によって使用され得る。これらの画像フレームは、次いで、画像フレーム内に包含されたユーザ提供視覚キューを検出するために、たとえば、視覚キューモジュール1121によって、分析され得る。これらの視覚キューは、手のジェスチャ、特定の基準点への視線、顔の表情、ユーザによる事前定義された動きなどを含み得るが、これらに限定されない。これらの検出された視覚キューは、自動アシスタント120を起動させる、かつ/または自動アシスタント120に様々な活動を行わせるなど、様々な目的で使用され得る。
本明細書でより詳細に説明するように、自動アシスタント120は、1つまたは複数のクライアントデバイス106のユーザインターフェース入力デバイスおよびユーザインターフェース出力デバイスを介して1つまたは複数のユーザとの人間対コンピュータダイアログセッションに従事する。いくつかの実装形態では、自動アシスタント120は、クライアントデバイス106のうちの1つの1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって提供されたユーザインターフェース入力に応答して、ユーザとの人間対コンピュータダイアログセッションに従事し得る。それらの実装形態のうちのいくつかにおいて、ユーザインターフェース入力は、明示的に自動アシスタント120を対象とする。たとえば、ユーザは、「OK、アシスタント」または「ねぇ、アシスタント」など、事前決定された起動フレーズを言葉で提供し(たとえば、タイプし、話し)て、自動アシスタント120にタイプされたテキストの積極的な聴取または監視を開始させることができる。追加または代替として、いくつかの実装形態では、自動アシスタント120は、単独で、または口頭起動フレーズと組み合わせて、1つまたは複数の検出された視覚キューに基づいて起動され得る。
いくつかの実装形態では、自動アシスタント120は、ユーザインターフェース入力が明示的に自動アシスタント120を対象としないときですら、そのユーザインターフェース入力に応答して、人間対コンピュータダイアログセッションに従事し得る。たとえば、自動アシスタント120は、ユーザインターフェース入力のコンテンツを調査し、ユーザインターフェース入力内に一定の用語が存在することに応答して、かつ/または他のキューに基づいて、ダイアログセッションに従事することができる。多くの実装形態では、自動アシスタント120は、音声認識を利用してユーザからの発話をテキストに変換し、それに応じて、たとえば、検索結果、一般情報を提供することによって、かつ/または1つまたは複数の応答行動(たとえば、メディアを再生すること、ゲームを開始すること、食料を注文することなど)を取ることによって、テキストに応答し得る。いくつかの実装形態では、自動アシスタント120は、追加または代替として、発話をテキストに変換せずに、発話に応答し得る。たとえば、自動アシスタント120は、ボイス入力を、埋込みに、(ボイス入力内に存在する1つまたは複数のエンティティを示す)エンティティ表現に、かつ/または他の「非テキスト」表現に、変換し、そのような非テキスト表現に対して動作し得る。したがって、ボイス入力から変換されたテキストに基づいて動作するとして本明細書で説明する実装形態は、追加および/または代替として、直接的にボイス入力に対して、かつ/またはボイス入力の他の非テキスト表現に対して動作し得る。
クライアントコンピューティングデバイス106およびクラウドベースの自動アシスタント構成要素119を動作させるコンピューティングデバイスは各々、データおよびソフトウェアアプリケーションを記憶するための1つまたは複数のメモリ、データにアクセスし、アプリケーションを実行するための1つまたは複数のプロセッサ、およびネットワークを介した通信を円滑にする他の構成要素を含み得る。クライアントコンピューティングデバイス106によってかつ/または自動アシスタント120によって実行される動作は、複数のコンピュータシステムにわたって分散されてよい。自動アシスタント120は、たとえば、ネットワークを通して互いに結合された1つまたは複数の位置において1つまたは複数のコンピュータ上で実行するコンピュータプログラムとして実装され得る。
上述のように、様々な実装形態では、クライアントコンピューティングデバイス106は、自動アシスタントクライアント108、または自動アシスタント120の「クライアント部分」を動作させることができる。様々な実装形態では、自動アシスタントクライアント108は、音声キャプチャモジュール110、前述の画像キャプチャモジュール111、視覚キューモジュール1121、および/または起動モジュール113を含み得る。他の実装形態では、音声キャプチャモジュール110、画像キャプチャモジュール111、視覚キューモジュール112、および/または起動モジュール113の1つまたは複数の態様は、たとえば、1つまたは複数のクラウドベースの自動アシスタント構成要素119によって、自動アシスタントクライアント108とは別個に実装され得る。たとえば、図1では、画像データ内の視覚キューを検出し得るクラウドベースの視覚キューモジュール1122も存在する。
様々な実装形態では、ハードウェアおよびソフトウェアの何らかの組合せを使用して実装され得る音声キャプチャモジュール110は、マイクロフォン109または他の圧力センサーなどのハードウェアとインターフェースして、ユーザの発話のオーディオ記録をキャプチャし得る。様々な目的に応じて、このオーディオ記録に対して、様々なタイプの処理が実行され得る。いくつかの実装形態では、ハードウェアまたはソフトウェアの何らかの組合せを使用して実装され得る画像キャプチャモジュール111は、カメラ107とインターフェースして、視覚センサー107の視野に対応する1つまたは複数の画像フレーム(たとえば、デジタル写真)をキャプチャするように構成され得る。
様々な実装形態では、視覚キューモジュール1121(および/またはクラウドベースの視覚キューモジュール1122)は、ハードウェアまたはソフトウェアの何らかの組合せを使用して実装され得、画像キャプチャモジュール111によって提供される1つまたは複数の画像フレームを分析して、1つまたは複数の画像フレーム内でかつ/または1つまたは複数の画像フレームにわたってキャプチャされた1つまたは複数の視覚キューを検出するように構成され得る。視覚キューモジュール1121は、視覚キューを検出するために様々な技法を採用し得る。たとえば、視覚キューモジュール1122は、画像フレーム内で検出されたユーザ提供視覚キューを示す出力を生成するようにトレーニングされた1つまたは複数の人工知能(または、機械学習)モデルを使用し得る。
音声キャプチャモジュール110は、前に述べたように、たとえば、マイクロフォン109を介して、ユーザの音声をキャプチャするように構成され得る。追加または代替として、いくつかの実装形態では、音声キャプチャモジュール110は、たとえば、音声対テキスト(「STT」)処理技法を使用して、そのキャプチャされたオーディオをテキストおよび/または他の表現もしくは埋込みに変換するようにさらに構成され得る。追加または代替として、いくつかの実装形態では、音声キャプチャモジュール110は、たとえば、1つまたは複数のボイス合成装置を使用して、テキストをコンピュータ合成音声に変換するように構成され得る。しかしながら、場合によっては、クライアントデバイス106は計算リソース(たとえば、処理サイクル、メモリ、バッテリーなど)の点で比較的制約され得るため、クライアントデバイス106に対して局所的な音声キャプチャモジュール110は、有限数の異なる話されたフレーズ、具体的には、自動アシスタント120を起動させるフレーズをテキスト(または、低次元埋込み(lower dimensionality embeddings)など、他の形態)に変換するように構成され得る。他の音声入力は、クラウドベースのテキスト対音声(「TTS」)モジュール116および/またはクラウドベースのSTTモジュール117を含み得るクラウドベースの自動アシスタント構成要素119に送信されてよい。
様々な実装形態では、起動モジュール113は、たとえば、音声キャプチャモジュール110および/または視覚キューモジュール1121(それは、いくつかの実装形態では、単一のモジュール内で画像キャプチャモジュール111と組み合わされてよい)によって提供される出力に基づいて、自動アシスタント120を起動させるかどうかを決定するように構成され得る。たとえば、起動モジュール113は、ユーザの発話が自動アシスタント120との人間対コンピュータダイアログセッションを開始すべき起動フレーズとして適格かどうかを決定し得る。いくつかの実装形態では、起動モジュール113は、単独で、または視覚キューモジュール1121によって検出された1つまたは複数の視覚キューと連携して、オーディオ記録、またはオーディオ記録から抽出された特徴のベクトル(たとえば、埋込み)など、ユーザの発話を示すデータを分析し得る。いくつかの実装形態では、音声発話に応答して、自動アシスタント120を起動させるかどうかを決定するために起動モジュール113によって採用されるしきい値は、特定の視覚キューがやはり検出されるとき、減じられてよい。その結果、ユーザが適切な起動フレーズ「OK、アシスタント」とは異なるが、多少それと音声学的に同様の音声発話を提供するときですら、視覚キュー(たとえば、話し手による手の振り、話し手が視覚センサー107をまっすぐ凝視する、など)と併せて検出されるとき、その発話は、それでもなお、適切な起動として受け入れられることが可能である。
いくつかの実装形態では、発話および/または視覚キューが起動として適格かどうかを決定するために、たとえば、オンデバイスモデルデータベース114内に記憶された1つまたは複数のオンデバイス起動モデルが起動モジュール113によって使用され得る。そのようなオンデバイス起動モデルは、起動フレーズ/ジェスチャの変種を検出するようにトレーニングされ得る。たとえば、いくつかの実装形態では、オンデバイス起動モデル(たとえば、1つまたは複数のニューラルネットワーク)は、各々がユーザからの発話のオーディオ記録(または、抽出された特徴ベクトル)、ならびに1つまたは複数の画像フレームおよび/または検出された、発話と同時にキャプチャされた視覚キューを示すデータを含むトレーニング例を使用してトレーニングされ得る。
図1では、オンデバイスモデルデータベース114は、1つまたは複数のオンデバイス起動モデル1141～114Nを記憶し得る。いくつかの実装形態では、デフォルトオンデバイス起動モデル1141は、オーディオ記録またはそれを示す他のデータ内で、前に述べたフレーズ(たとえば、「OK、アシスタント」、「ねぇ、アシスタント」、など)など、1つまたは複数のデフォルト起動フレーズを検出するようにトレーニングされ得る。いくつかのそのような実装形態では、これらのモデルは、常に、音声キャプチャモジュール110によってキャプチャされたいずれのオーディオ記録も(少なくとも続く起動に対する何らかの時間期間にわたって)以下で説明するような自動アシスタント120の他の構成要素(たとえば、クライアントデバイス106上のまたは1つまたは複数のクラウドベースの自動アシスタント構成要素119による)を使用して処理され得る一般聴取状態に自動アシスタント120を遷移させるために利用可能かつ有効であり得る。
加えて、いくつかの実装形態では、オンデバイスモデルデータベース114は、1つまたは複数の追加の「コンテキスト起動モデル」1142～114Nを少なくとも一時的に記憶し得る。これらのコンテキスト起動モデル1142～114Nは、特定のコンテキストにおいて起動モジュール113によって使用され得る、かつ/または起動モジュール113にとって利用可能であり得る。コンテキスト起動モデル1142～114Nは、たとえば、オーディオ記録またはそれを示す他のデータ内で、1つまたは複数のコンテキスト固有のホットワードを検出するようにトレーニングされ得る。いくつかの実装形態では、コンテキスト起動モデル1142～114Nは、たとえば、以下でより詳細に説明することになるような、クラウドベースの自動アシスタント構成要素119の部分を形成する動的ホットワードエンジン128から、必要に応じて、選択的にダウンロードされ得る。
様々な実装形態では、起動モジュール113がコンテキスト起動モデル1142～114Nを使用して様々な動的ホットワードを検出するとき、起動モジュール113は、自動アシスタント120を前に説明した一般聴取状態に遷移させることができる。追加または代替として、起動モジュール113は、自動アシスタント120を一般聴取状態に遷移させるか否かにかかわらず、1つまたは複数のコンテキスト固有の応答活動が実行されるコンテキスト固有の状態に自動アシスタント120を遷移させることができる。多くの場合、自動アシスタント120のコンテキスト固有の状態への遷移をトリガしたオーディオデータは、クラウドに送信されなくてよい。代わりに、1つまたは複数のコンテキスト固有の応答活動がクライアントデバイス106上で完全に実行されてよく、これは応答時間とクラウドに送信される情報量の両方を低減し得、これは、プライバシーの観点から有益であり得る。
クラウドベースTTSモジュール116は、クラウドの実質的に無制限のリソースを活用して、テキストデータ(たとえば、自動アシスタント120によって形成された自然言語応答)をコンピュータ生成音声出力に変換するように構成され得る。いくつかの実装形態では、TTSモジュール116は、たとえば、1つまたは複数のスピーカを使用して直接的に出力されることになるコンピュータ生成音声出力をクライアントデバイス106に提供し得る。他の実装形態では、自動アシスタント120によって生成されたテキストデータ(たとえば、自然言語応答)は、音声キャプチャモジュール110に提供されてよく、音声キャプチャモジュール110は、次いで、テキストデータを、局所的に出力されるコンピュータ生成音声に変換し得る。
クラウドベースのSTTモジュール117は、クラウドの実質的に無制限のリソースを活用して、音声キャプチャモジュール110によってキャプチャされたオーディオデータをテキストに変換するように構成され得、テキストは、次いで、意図マッチャー(matcher)135に提供され得る。いくつかの実装形態では、クラウドベースのSTTモジュール117は、音声のオーディオ記録を1つまたは複数の音素に変換し、次いで、その1つまたは複数の音素をテキストに変換し得る。追加または代替として、いくつかの実装形態では、STTモジュール117は、状態復号グラフを採用し得る。いくつかの実装形態では、STTモジュール117は、ユーザの発話の複数の候補テキスト解釈を生成し得る。いくつかの実装形態では、STTモジュール117は、同時に検出された視覚キューが存在するかどうかに応じて、特定の候補テキスト解釈を他の候補テキスト解釈よりも高く重付けするかまたはバイアスし得る。
自動アシスタント120(また、具体的には、クラウドベースの自動アシスタント構成要素119)は、意図マッチャー135、前述のTTSモジュール116、前述のSTTモジュール117、および以下でより詳細に説明する他の構成要素を含み得る。いくつかの実装形態では、自動アシスタント120のモジュールのうちの1つまたは複数は、省かれてよく、組み合わされてよく、かつ/または自動アシスタント120とは別個である構成要素内で実装されてよい。いくつかの実装形態では、プライバシーを保護するために、自然言語プロセッサ122、TTSモジュール116、STTモジュール117など、自動アシスタント120の構成要素のうちの1つまたは複数は、少なくとも部分的にクライアントデバイス106上で(たとえば、クラウドを排除するために)実装され得る。
いくつかの実装形態では、自動アシスタント120は、自動アシスタント120との人間対コンピュータダイアログセッション中にクライアントデバイス106のうちの1つのユーザによって生成された様々な入力に応答して、応答コンテンツを生成する。自動アシスタント120は、ダイアログセッションの部分としてユーザに提示するために、(たとえば、ユーザのクライアントデバイスとは別個であるとき、1つまたは複数のネットワークを介して)応答コンテンツを提供し得る。たとえば、自動アシスタント120は、クライアントデバイス106を介して提供された自由形式自然言語入力に応答して、応答コンテンツを生成し得る。本明細書で使用されるように、自由形式入力は、ユーザによって形成され、ユーザによる選択のために提示されたオプションのグループに制約されない入力である。
本明細書で使用するように、「ダイアログセッション」は、ユーザと自動アシスタント120(また、場合によっては、他の人間の参加者)との間の1つまたは複数のメッセージの局所的自己完結型交換を含み得る。自動アシスタント120は、セッション同士の間の時間の経過、セッション同士の間のユーザコンテキスト(たとえば、位置、スケジュールされた会議の前/最中/後、など)の変化、ユーザと自動アシスタントとの間のダイアログ以外のユーザとクライアントデバイスとの間に介在する1つまたは複数の対話の検出(たとえば、ユーザがしばらくの間アプリケーションを切り替える、ユーザがスタンドアロンボイスアクティブ化製品から立ち去り、次いで、後でそれに戻る)、セッション同士の間のクライアントデバイスのロック/スリープ、自動アシスタント120の1つまたは複数のインスタンスとインターフェースするために使用されるクライアントデバイスの変更、など、様々な信号に基づいて、ユーザとの複数のダイアログセッションを区別し得る。
意図マッチャー135は、ユーザによって提供された入力(たとえば、音声発話、視覚キュー、など)に基づいて、かつ/またはセンサー信号、オンライン信号(たとえば、ウェブサービスから取得されたデータ)など、他の信号、などに基づいて、ユーザの意図を決定するように構成され得る。いくつかの実装形態では、意図マッチャー135は、自然言語プロセッサ122、および前述のクラウドベースの視覚キューモジュール1122を含み得る。様々な実装形態では、クラウドベースの視覚キューモジュール1122は自由に使えるリソースをより多く有し得るということを除いて、クラウドベースの視覚キューモジュール1122は、視覚キューモジュール1121と同様に動作し得る。具体的には、クラウドベースの視覚キューモジュール1122は、ユーザの意図を決定するために、単独でまたは他の信号と組み合わせて、意図マッチャー135によって使用され得る視覚キューを検出し得る。
自然言語プロセッサ122は、クライアントデバイス106を介してユーザによって生成された自然言語入力を処理するように構成可能であり、自動アシスタント120の1つまたは複数の他の構成要素によって使用するための注釈付き出力(たとえば、テキスト形式の)を生成し得る。たとえば、自然言語プロセッサ122は、クライアントデバイス106の1つまたは複数のユーザインターフェース入力デバイスを介してユーザによって生成された自由形式自然言語入力を処理し得る。生成される注釈付き出力は、自然言語入力の1つまたは複数の注釈、および自然言語入力の用語のうちの1つまたは複数(たとえば、すべて)を含む。
いくつかの実装形態では、自然言語プロセッサ122は、自然言語入力内の様々なタイプの文法的な情報を識別して注釈付けするように構成される。たとえば、自然言語プロセッサ122は、個々のワードを形態素に分離すること、および/または形態素を、たとえば、そのクラスで注釈付けすることを行うことができる形態学的モジュールを含み得る。自然言語プロセッサ122は、用語をその文法的な役割で注釈付けするように構成された音声タガーの一部分を含んでもよい。たとえば、音声タガーのその部分は、各用語を「名詞」、「動詞」、「形容詞」、「代名詞」など、音声のその部分でタグ付けし得る。また、たとえば、いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、自然言語入力内の用語同士の間の構文関係を決定するように構成された依存パーサ(図示せず)を含み得る。たとえば、依存パーサは、どの用語が他の用語を修正するか、文の主語および動詞、など(たとえば、パースツリー)を決定することができ、そのような依存性に注釈付けすることができる。
いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、人々に対する参照(たとえば、文学の登場人物、著名人、公人、などを含む)、組織、位置(現実および仮想)、など、1つまたは複数のセグメント内のエンティティ参照に注釈付けするように構成されたエンティティタガー(図示せず)を含み得る。いくつかの実装形態では、エンティティに関するデータは、知識グラフ(図示せず)など、1つまたは複数のデータベース内に記憶され得る。いくつかの実装形態では、知識グラフは、既知のエンティティ(また場合によっては、エンティティ属性)を表すノード、ならびにそれらのノードを接続し、エンティティ同士の間の関係を表すエッジを含み得る。たとえば、「バナナ」ノードは、(たとえば、子として)「果物」ノードに接続されてよく、「果物」ノードは、次に、(たとえば、子として)「生産品」および/または「食べ物」ノードに接続されてよい。別の例として、「Hypothetical Cafe」と呼ばれるレストランは、その住所、出される料理のタイプ、営業時間、連絡情報、などの属性をやはり含むノードによって表されてよい。「Hypothetical Cafe」ノードは、いくつかの実装形態では、「レストラン」ノード、「事業」ノード、レストランが位置する町および/または州を表すノード、など、エッジ(たとえば、子対親関係を表す)によって1つまたは複数の他のノードに接続され得る。
自然言語プロセッサ122のエンティティタガーは、(たとえば、人々などのエンティティクラスに対するすべての参照の識別を可能にするために)高いレベルの粒度および/または(たとえば、特定の人物などの特定のエンティティに対するすべての参照の識別を可能にするために)より低いレベルの粒度で、エンティティに対する参照に注釈付けし得る。エンティティタガーは、特定のエンティティを解決する(resolve)ために自然言語入力のコンテンツに依存し得、かつ/または特定のエンティティを解決するために知識グラフまたは他のエンティティデータベースと随意に通信し得る。
いくつかの実装形態では、自然言語プロセッサ122は、追加および/または代替として、1つまたは複数のコンテキストキュー(contextual cues)に基づいて、同じエンティティに対する参照をグループ化、または「クラスタ化」するように構成された共参照レゾルバ(coreference resolver)(図示せず)を含み得る。たとえば、共参照レゾルバを利用して、自然言語入力「私たちが最後にHypothetical Cafeで食事をしたとき、あそこがとても気に入りました」の中の「Hypothetical Cafe」に対する「あそこ」という用語を解決することができる。
いくつかの実装形態では、自然言語プロセッサ122の1つまたは複数の構成要素は、自然言語プロセッサ122の1つまたは複数の他の構成要素からの注釈に依存し得る。たとえば、いくつかの実装形態では、指名されたエンティティタガーは、特定のエンティティに対するすべての言及に注釈付けする際に共参照レゾルバおよび/または依存パーサからの注釈に依存し得る。また、たとえば、いくつかの実装形態では、共参照レゾルバは、同じエンティティに対する参照をクラスタ化する際に依存パーサからの注釈に依存し得る。いくつかの実装形態では、特定の自然言語入力を処理する際、自然言語プロセッサ122の1つまたは複数の構成要素は、関係する前の入力および/または特定の自然言語入力外の他の関係するデータを使用して、1つまたは複数の注釈を決定し得る。
意図マッチャー135は、様々な技法を使用して、たとえば、自然言語プロセッサ122からの出力(それは自然言語入力の注釈および用語を含み得る)に基づいて、かつ/または視覚キューモジュール(たとえば、1121および/または1122)からの出力に基づいて、ユーザの意図を決定し得る。いくつかの実装形態では、意図マッチャー135は、たとえば、文法同士の間の、視覚キュー同士の間の、かつ応答活動(または、より一般的に、意図)同士の間の複数のマッピングを含む、1つまたは複数のデータベース(図示せず)に対するアクセスを有し得る。多くの場合、これらの文法は、経時的に選択および/または学習されてよく、ユーザの最も一般的な意図を表し得る。たとえば、1つ文法、「<アーティスト>を再生」は、その<アーティスト>による音楽をユーザが動作させるクライアントデバイス106上で再生させる応答活動を起動させる意図にマッピングされ得る。別の文法、「[天気|予報]今日」は、「今日の天気はどう?」および「今日の予報は何?」などのユーザクエリにマッチ可能であり得る。
文法に加えて、またはその代わりに、いくつかの実装形態では、意図マッチャー135は、単独でまたは1つまたは複数の文法および/または視覚キューと組み合わせて、1つまたは複数のトレーニングされた機械学習モデルを採用し得る。これらのトレーニングされた機械学習モデルは、1つまたは複数のデータベース内に記憶されてもよく、たとえば、ユーザの発話および/または何らかの検出されたユーザ提供視覚キューを示すデータを低減された次元空間内に埋め込み、次いで、たとえば、ユークリッド距離、コサイン類似度、などの技法を使用して、どの他の埋込み(また、したがって、意図)が最も近接するかを決定することによって、意図を識別するようにトレーニングされ得る。
「<アーティスト>を再生する」の例示的な文法において見られるように、一部の文法は、スロット値(または、パラメータ)で満たされ得るスロット(たとえば、<アーティスト>)を有する。スロット値は、様々な方法で決定され得る。ユーザはしばしばスロット値を積極的に提供することになる。たとえば、文法「私に<トッピング>ピザを注文して」の場合、ユーザは「私にソーセージピザを注文して」というフレーズを話す可能性が高い場合があり、その場合、スロット<トッピング>は自動的に満たされる。追加または代替として、ユーザがスロット値を積極的に提供せずに、ユーザがスロット値で満たされることになるスロットを含む文法を起動させる場合、自動アシスタント120は、それらのスロット値をユーザから求めることができる(たとえば、「あなたのピザに何のタイプのクラストを希望しますか?」)。いくつかの実装形態では、スロットは、視覚キューモジュール1121～1122によって検出された視覚キューに基づいて、スロット値で満たすことができる。たとえば、ユーザは、クライアントデバイス106の視覚センサー107に3本の指を立てながら「私にこれだけの猫用ボウルを注文して」のようなことを発話し得る。または、ユーザは、特定の映画用のDVDケースを維持しながら「私にこのような映画をもっと見つけて」のようなことを発話し得る。
いくつかの実装形態では、自動アシスタント120は、ユーザと1つまたは複数の第三者コンピューティングサービス130(または、「第三者エージェント」もしくは「エージェント」)との間の媒介としてサービスし得る。これらの第三者コンピューティングサービス130は、入力を受信して、応答出力を提供する独立したソフトウェアプロセスであってよい。いくつかの第三者コンピューティングサービスは、たとえば、クラウドベースの自動アシスタント構成要素119を動作させるコンピューティングシステムとは別個のコンピューティングシステム上で動作してよく、またはしなくてもよい第三者アプリケーションの形をとってよい。意図マッチャー135によって識別され得る1つの種類のユーザ意図は、第三者コンピューティングサービス130に関与することである。たとえば、自動アシスタント120は、スマートデバイスを制御するためのサービスに対するアプリケーションプログラミングインターフェース(「API」)に対するアクセスを提供し得る。ユーザは、自動アシスタント120を起動させ、「暖房をつけたい」などのコマンドを提供し得る。意図マッチャー135は、このコマンドを文法にマッピングすることができ、これは、第三者サービスに関与し、それにより、ユーザの暖房をオンに切替えさせるように自動アシスタント120をトリガする。第三者サービス130は、暖房をオンにするためのコマンドを実現する(または「解決する」)ために満たされる必要があるスロットの最低限リストを自動アシスタント120に提供し得る。この例では、スロットは、暖房が設定されることになる温度、および暖房がオンにされる持続時間を含み得る。自動アシスタント120は、スロットに対するパラメータを求める自然言語出力を生成し、ユーザに(クライアントデバイス106)を介して提供し得る。
実現モジュール124は、意図マッチャー135によって出力された予測/推定された意図、ならびに(ユーザによって積極的に提供されるにせよ、ユーザから求められるにせよ)関連するスロット値を受信し、その意図を実現する(または、解決する)ように構成され得る。様々な実装形態では、ユーザの意図の実現(または「解決」)は、たとえば、実現モジュール124によって、様々な実現情報(「応答情報」または「解決情報」とも呼ばれる)を生成/取得させ得る。以下で説明することになるように、実現情報は、いくつかの実装形態では、実現情報に基づいて自然言語出力を生成し得る自然言語生成器(いくつかの図では「NLG」)126に提供され得る。
意図は様々な方法で実現され(または「解決され」)得るため、実現(または「解決」)情報は、様々な形をとってよい。ユーザが「「The Shining」の屋外ショットはどこで撮影されたの?」など、単なる情報を要求すると仮定する。ユーザの意図は、たとえば、意図マッチャー135によって、検索クエリであると決定され得る。意図および検索クエリのコンテンツは、図1に示すように、応答情報に関する文書および/または他のデータソース(たとえば、知識グラフ、など)の集成を検索するように構成された1つまたは複数の検索モジュール150と通信中であり得る実現モジュール124に提供され得る。実現モジュール124は、検索クエリを示すデータ(たとえば、クエリのテキスト、低減された次元埋込み、など)を検索モジュール150に提供し得る。検索モジュール150は、GPS座標など、応答情報、または「Timberline Lodge、Mt.Hood、Oregon」など、他のより明示的な情報を提供し得る。この応答情報は、実現モジュール124によって生成される実現情報の部分を形成し得る。
追加または代替として、実現モジュール124は、たとえば、意図マッチャー135から、ユーザの意図、およびユーザによって提供された、または他の手段(たとえば、ユーザのGPS座標、ユーザ選好、など)を使用して決定された、任意のスロット値を受信し、応答活動をトリガするように構成され得る。応答活動は、たとえば、物品/サービスを注文すること、タイマーを開始すること、リマインダーを設定すること、電話呼出しを開始すること、メディアを再生すること、メッセージを送信すること、などを含み得る。いくつかのそのような実装形態では、実現情報は、実現に関連するスロット値、確認応答(それは場合によっては、事前決定された応答から選択され得る)、などを含み得る。
自然言語生成器126は、様々なソースから取得されたデータに基づいて、自然言語出力(たとえば、人間の音声を真似るように設計されたワード/フレーズ)を生成および/または選択するように構成され得る。いくつかの実装形態では、自然言語生成器126は、意図の実現に関連する実現情報を入力として受信し、その実現情報に基づいて、自然言語出力を生成するように構成され得る。追加または代替として、自然言語生成器126は、自然言語生成器126がユーザに対する自然言語出力を構成するために使用し得る、第三者アプリケーション(たとえば、要求されたスロット)など、他のソースから情報を受信し得る。
図2は、様々な実装形態による、本開示の選択された態様で構成された自動アシスタント(たとえば、120)および/またはアシスタントデバイス(たとえば、106)によって実装され得る一例示的な状態機械を概略的に示す。左上にあるのは、ユーザが関与していないときに自動アシスタント120が常駐し得る「デフォルト非アクティブ状態」である。デフォルト非アクティブ状態で、1つまたは複数のクライアントデバイス(106)の1つまたは複数のマイクロフォンがアクティブ化され得、本明細書で説明する技法を使用して、そのマイクロフォンがキャプチャするオーディオデータが分析され得る。自動アシスタント120は、検出に応答して、「OK、アシスタント」または「ねぇ、アシスタント」など、1つまたは複数のデフォルト起動ワード(図2での「DIW」、本明細書では「ホットワード」とも呼ばれる)のデフォルト起動モデル1141に基づいて、たとえば、起動モジュール113および/または視覚キューモジュール112によって「一般聴取状態」に遷移し得る。デフォルトホットワード以外の発話(たとえば、周囲の会話、など)は無視されてよく、処理されなくてよい。
一般聴取状態で、自動アシスタント120は、デフォルト起動ワードの後で発話されたオーディオデータをキャプチャし、「一般処理」状態に遷移し得る。一般処理状態で、自動アシスタント120は、STT処理、自然言語処理、意図マッチング、実現、などを含めて、図1に関して前に説明したようにオーディオ入力を示すデータを処理し得る。処理が完了すると、自動アシスタント120を遷移させてデフォルト非アクティブ状態に戻すことができる。デフォルト起動ワードの検出後に何のオーディオ入力も受信されない場合、たとえば、自動アシスタントによる処理が意図されない後の発話がキャプチャまたは処理されないように、タイムアウト(「図2でのTO」)は、自動アシスタント120を一般聴取状態からデフォルト非アクティブ状態に遷移させて戻すことができる。
前に述べたように、本明細書で説明する技法は、一般聴取状態、または自動アシスタント120が様々な活動を実行する他のコンテキスト固有の状態など、様々な異なる状態に自動アシスタント120を遷移させるためにアクティブ化および検出され得るコンテキスト固有のホットワードを円滑にする。いくつかの実装形態では、一定のコンテキストでは、自動アシスタント120をデフォルト非アクティブ状態から一般聴取状態に遷移させるために発話され得る起動ワードの語彙が少なくとも一時的に(たとえば、限定された時間量にわたって、コンテキストがもはや適用可能でなくなるまで、など)拡張され得る。
たとえば、図2において、第1のコンテキスト固有の信号CS1は、自動アシスタント120をデフォルト非アクティブ状態から第1のコンテキスト固有の聴取状態「CSLS1」に遷移させることができる。CSLS1では、自動アシスタント120は、デフォルト起動ワード(「DIW」)と第1のコンテキスト固有のホットワード(「C1ホットワード」)の両方を聴取し得る。どちらも検出される場合、自動アシスタント120は、上で説明したように一般聴取状態に遷移し得る。したがって、第1のコンテキスト固有の聴取状態では、自動アシスタント120を一般聴取状態に遷移させることになるホットワードの語彙はデフォルト起動ワードと第1のコンテキスト固有のホットワードの両方を含むように拡張される。また、いくつかの実装形態では、自動アシスタント120がアクティブ化されたホットワードを検出せずに第1のコンテキスト固有の聴取状態にある間に十分な時間量が経過した場合、タイムアウト(「TO」)は自動アシスタント120を遷移させてデフォルト非アクティブ状態に戻すことができる。
追加または代替として、いくつかの実装形態では、一定のコンテキストでは、自動アシスタント120は、たとえば、ホットワードの拡張された語彙を使用して、一般聴取状態に、または1つまたは複数のコンテキスト固有の活動が実行され得るコンテキスト固有の状態に、のいずれかに遷移可能であり得る。たとえば、図2では、自動アシスタント120は、第2のコンテキスト信号(「CS2」)に応答して、デフォルト非アクティブ状態から第2のコンテキスト固有の聴取状態「CSLS2」に遷移し得る。この第2のコンテキスト固有の聴取状態では、自動アシスタント120は、たとえば、1つまたは複数のデフォルト起動ワード、および/または、場合によっては、自動アシスタント120を一般聴取状態に遷移させるために使用可能である語彙を効果的に拡張する1つまたは複数の第2のコンテキスト固有のホットワード(「C2ホットワードA」)を検出することによって、一般聴取状態に遷移し得る。
追加または代替として、自動アシスタント120は、第2のコンテキスト固有の状態(「CSLS2」)から、たとえば、1つまたは複数の追加の第2のコンテキスト固有のホットワード(「C2ホットワードB」)に応答して、1つまたは複数の第2のコンテキスト固有の応答活動(「第2のコンテキスト固有の応答活動」)が実行される1つまたは複数の状態に遷移し得る。例示的な応答活動は以下で説明されることになる。いくつかの実装形態では、特定の第2のコンテキスト固有のホットワードは、特定の第2のコンテキスト固有の応答活動にマッピングされ得るが、これは要求されない。簡単にするために図2には示されていないが、いくつかの実装形態では、これらの1つまたは複数の第2のコンテキスト固有の応答活動を実行した後、自動アシスタント120は遷移してデフォルト非アクティブ状態に戻ることができる。
いくつかの実装形態では、一定のコンテキストでは、自動アシスタント120は、デフォルトホットワードをもはや聴取しなくてよい。代わりに、自動アシスタント120は、コンテキスト固有のホットワードのみを聴取し、応答活動を実行し得る。たとえば、図2において、自動アシスタント120は、第Mのコンテキスト信号(「CSM」)に応答して、デフォルト非アクティブ状態から第Mのコンテキスト固有の聴取状態(Mは正の整数である)「CSLSM」に遷移し得る。この状態では、自動アシスタント120は、第Mのコンテキスト固有のホットワード(「CMホットワード」)を聴取し得る。1つまたは複数の第Mのコンテキスト固有のホットワードを検出することに応答して、自動アシスタント120は、1つまたは複数の第Mのコンテキスト固有の応答活動(「第Mのコンテキスト固有の応答活動」)を実行し得る。
様々な実装形態では、自動アシスタント120は、様々な方法でコンテキスト固有のホットワードをアクティブ化し得る。たとえば、図1と図2の両方を参照すると、いくつかの実装形態では、固有のコンテキストに遷移するとすぐに、自動アシスタント120は、たとえば、動的ホットワードエンジン128から、その特定のコンテキストにおいてアクティブ化されることになるホットワードを検出するように事前にトレーニングされた、ニューラルネットワーク、隠れマルコフモデル、など1つまたは複数のコンテキスト固有の機械学習モデルまたは分類器(たとえば、1142、1143、…、114N)をダウンロードし得る。たとえば、特定のコンテキストでは、自動アシスタント120をデフォルト非アクティブ状態から一般聴取状態に遷移させる語彙が「やあ(howdy)」というワードを含むように拡張されると仮定する。様々な実装形態では、自動アシスタント120は、たとえば、動的ホットワードエンジン128から、ワード「やあ」が検出されたかどうかを示す出力を生成するようにトレーニングされた分類器を取得し得る。様々な実装形態では、この分類器は、バイナリであり得る(たとえば、ホットワードが検出された場合「1」を出力し、さもなければ、「0」を出力する)か、または確率を生成し得る。確率が何らかの信頼しきい値を満たす場合、ホットワードが検出され得る。
追加または代替として、いくつかの実装形態では、1つまたは複数のオンデバイスモデル114は、1つまたは複数の事前決定された音素に対して1つの出力を生成し、他の音素に対して別の出力を生成するように、オンザフライで調整可能である動的ホットワード分類器/機械学習モデル(たとえば、ニューラルネットワーク、隠れマルコフモデル、など)の形をとってよい。ホットワード「やあ」がアクティブ化されることになると仮定する。様々な実装形態では、動的ホットワード分類器は、たとえば、1つまたは複数のパラメータを変更すること、および/またはオーディオデータと共に、またはそれと共に埋め込まれた固有の入力を提供することによって、音素「ハウ(how)」および「ディ(dee)」を「聴取」するように調整され得る。それらの音素がオーディオ入力内で検出されると、動的ホットワード分類器は、一般聴取状態へ遷移すること、何らかのコンテキスト固有の応答活動を実行すること、など、応答活動を行うように自動アシスタント120をトリガする出力を生成し得る。他の音素は、無視または廃棄される出力を生成し得る。追加または代替として、出力は、アクティブ化された音素のみに応答して、動的ホットワード分類器によって生成されてよく、他の音素は出力をまったく生成しなくてよい。
図3Aおよび図3Bは、本明細書で説明する実装形態に従って、クライアントコンピューティングデバイス306のマイクロフォンおよびスピーカ(スタンドアロン対話型スピーカとして示されているが、これは限定的であることを意味しない)を介してユーザ101と自動アシスタントのインスタンス(図3A～図3Bに示さず)との間の人間対コンピュータダイアログセッションがどのように生じ得るかの一例を示す。自動アシスタント120の1つまたは複数の態様は、コンピューティングデバイス306上でおよび/またはコンピューティングデバイス306とネットワーク通信している1つまたは複数のコンピューティングデバイス上で実装され得る。
図3Aでは、ユーザ101(「Dave」)は、ユーザ101と自動アシスタント120との間の人間対コンピュータダイアログセッションにおいて「ねぇ、アシスタント、タイマーを5分に設定」という自然言語入力を提供する。自動アシスタント120は「OK。タイマーは…今開始」と答え、5分のタイマーを開始する。いくつかの実装形態では、タイマーが設定されていること(また、まだ終了していないこと)は、自動アシスタントをタイマーに関するコンテキスト固有の状態に遷移させるコンテキスト信号(たとえば、図2での「CS2」)として十分であり得る。この状態では、ユーザ101は、1つまたは複数のデフォルト起動ワードで自動アシスタント120を依然として起動させることができる。しかしながら、ユーザ101は、このとき、たとえば、「タイマー停止」、「タイマー取消し」、または単に「停止」など、1つまたは複数の拡張されたコンテキスト固有のホットワードを発話することによって、たとえば、タイマーの停止、のコンテキスト固有の応答活動をやはりトリガすることが可能であり得る。
追加または代替として、いくつかの実装形態では、タイマーが秒読みしている間、自動アシスタント120は、デフォルト非アクティブ状態に留まってよく、したがって、デフォルトホットワードにのみ応答し得る。しかしながら、図3Bに示されるようにタイマーが終了する(「ピー!!! ピー!!! ピー!!!」)と、自動アシスタント120はコンテキスト固有の状態に遷移することができ、ここで、ユーザ101は、最初に自動アシスタント120をデフォルト非アクティブ状態から一般聴取状態に遷移させずに、(たとえば、コンテキスト固有の応答活動として)タイマーを停止するための1つまたは複数のコンテキスト固有のホットワードを発話し得る。たとえば、図3Bでは、ユーザ101は、最初に自動アシスタント120を一般聴取状態に起動させずに、「タイマー停止」というフレーズを発話する。それでもなお、自動アシスタント120はタイマーを停止する。
図4A～図4Bは、本明細書で説明する技法が実装され得る別の例を示す。この場合も、ユーザ101は、少なくとも部分的にクライアントデバイス306上で動作される自動アシスタント120に関与する。図4Aでは、ユーザ101は、「ねぇ、アシスタント、「We Wish You a Merry Christmas」を再生」と発話する。応答して、自動アシスタント120は、クライアントデバイス306上でその歌の再生を開始し、音楽再生コンテキストに遷移する(少なくともその歌が再生されている間)。言い換えれば、音楽の再生は、自動アシスタント120を音楽再生コンテキストに遷移させるコンテキスト信号(図2での「CS」)を構成する。
音楽再生コンテキストでは、ユーザ101は、たとえば、音楽再生を制御するために、音楽再生コンテキストへの遷移時にアクティブ化された1つまたは複数のコンテキスト固有のホットワードを発話することが可能であり得る。たとえば、図4Bに示すように、ユーザ101は、最初に自動アシスタント120を起動させずに、「30秒早送り」のようなことを発話し得る。それでもなお、自動アシスタント120は、応答して30秒先にスキップし得る。そのようなコンテキストではアクティブ化され得る他のホットワードは、「停止」、「休止」、「<時間増分>巻戻し」、「音量を上げる/下げる」、などを含むが、これらに限定されない。
図5A～図5Bは、たとえば、図4A～図4Bと同様の方法で、本明細書で説明する技法が採用され得る別の例示的なシナリオを示す。今回、ユーザ101は、第2のクライアントデバイス506B(フォブまたは別のアシスタント対応デバイスを備えた、スマートテレビジョンまたは「ダム(dumb)」テレビジョンの形をとる)上で映画再生を制御するために、本開示の選択された態様で構成された第1のクライアントデバイス506A(スタンドアロン対話型スピーカの形をとる)に関与する。図5Aでは、ユーザ101は、「ねぇ、アシスタント、「Citizen Kane」を再生」と言う。自動アシスタント120は、要求された映画の再生を第2のクライアントデバイス506B上で開始することによって応答する。
図5Bでは、ユーザ101は、最初に自動アシスタント120を起動せずに、「監督は誰?」と聞く。それでもなお、自動アシスタント120は、自動アシスタント120に応答活動を実行させるために、「監督」を含む様々なコンテキスト固有のホットワードがアクティブである映画再生状態であり得る。この例では、自動アシスタント120は、たとえば、第1のクライアントデバイス506Aからのオーディオ入力によって、「1941年、Orson Welles監督、「Citizen Kane」」と応答する。図5Bでは、ユーザ101は、次いで、この場合も自動アシスタント120を最初に起動させずに、「休止」と言い、自動アシスタント120は、再生を休止する。そのようなコンテキストでアクティブであり得る他のホットワードは、「<時間期間>早送り」、「最初から」、「巻戻し」、などを含むが、これらに限定されない。
いくつかの実装形態では、ユーザ101がビデオ再生(または、他の実装形態では、オーディオ再生)を消耗する間に、コンテキストは変更され、アクティブ化されたコンテキスト固有のホットワードに対する変更に対応する変更を引き起こすことがある。たとえば、ユーザ101が映画の代わりにゲームショーを見ていると仮定する。ゲームショーの異なる段階の間、ユーザ101が一緒に楽しむことができるように、たとえば、ゲームショーのコンテンツに基づいて、異なるホットワードがアクティブ化され得る。ゲームショーの間、出場者に、歴史上の出来事、科学的な事実、などに関する質問が提示されると仮定する。いくつかの実装形態では、自動アシスタント120は、その裏で、ウェブ検索を実行して、その質問に対して最も確実な回答を決定することができ、次いで、その解答に関する1つまたは複数のホットワードをアクティブ化し得る。ユーザ101が、自動アシスタント120を起動すらせずに、それらのホットワードのうちの1つまたは複数を発話した場合、自動アシスタント120は、フィードバックを提供し得る(たとえば、「正解です」、「違います」、「見つけることができませんでした、何が起きたのか調べてみましょう」など)。
図6は、コンテキストに基づいて動的にアクティブ化される別の例示的なホットワードを示す。図6では、ユーザ101は、マイクロフォン(図示せず)、スピーカ611、およびディスプレイ613を含む、スタンドアロンアシスタントデバイスの形をとるクライアントデバイス606に関与する。様々な実装形態では、ディスプレイ613は、自動アシスタント120との関与を円滑にする、かつ/または拡張するグラフィカル要素(たとえば、カード)をレンダリングするタッチスクリーンディスプレイであってよく、またはそうでなくてもよい。たとえば、図6では、ディスプレイ613は、一連の選択可能なカード「天気」、「株式」、「スポーツ」、「交通」、「スケジュール」、および「買い物リスト」をレンダリングする。これらは限定的であることを意味せず、いくつかは、たとえば、追加されてよく、または図6に示されていない他の物を選択して、省かれてもよい。その上、いくつかの実装形態では、カードは、たとえば、ユーザ自身によって、または他の信号(たとえば、検索履歴、自動アシスタント120との前の関与、など)に基づいて、特定のユーザに対してカスタマイズされ得る。
様々な実装形態では、ユーザは、たとえば、ディスプレイ613上のそのカードをタッチすることによって、かつ/または、たとえば、カードの一部分としてレンダリングされる1つまたは複数のホットワードを発話することによって、所与のカードを選択し得る。たとえば、図6では、ユーザ101は、最初に自動アシスタント120を起動させずに、「天気予報はどう?"」というフレーズを発話し得る。自動アシスタント120は、「最高気温25℃で天気になります」と応答する。「天気」という表題のカードはすでにディスプレイ613上にレンダリングされているため、ホットワード「天気」は、すでにアクティブ化されている場合があり、ユーザ101が「天気」というワードを含むフレーズを発話して自動アシスタント120に(天気予報を報告する)コンテキスト固有のタスクを実行させることを可能にする。
いくつかの実装形態では、自動アシスタント120は、特定のコンテキストに遷移する前またその時、応答コンテンツをプリエンプティブにダウンロードおよびキャッシュし得る。たとえば、図6では、自動アシスタント120は、(たとえば、人間の介入なしに)様々なリモートおよび/またはローカルソースから、天気、株式、スポーツ、トラフィック、スケジュール(それらはユーザ101にとって個人的であるソースからデータを取得することを含み得る)、および買い物リストに関する一般的なクエリに対する応答コンテンツを、たとえば、ディスプレイ613上にカードをレンダリングするのと同時に、積極的にダウンロードし得る。このプリエンプティブなダウンロード方法は、自動アシスタント120がカードのうちの1つまたは複数に対応する1つまたは複数の動的ホットワードを含む、ユーザ101からの発話にさらに迅速に応答することを可能にし得る。これは、クライアントデバイスが移動中の自動車内で運ばれている場合など、データ接続性が失われる可能性があるシナリオにおいて特に有利であり得る。
図6の事例のように、自動アシスタント120のコンテキストがディスプレイ上にレンダリングされたコンテンツに依存する、いくつかの実装形態では、任意の数の新しいワードまたはフレーズを聴取するように自動アシスタント120を迅速に適用することが必要であり得る。それは、必ずしも、すべての潜在的なワード/フレーズに対して利用可能な事前にトレーニングされたモデルが存在する場合とは限らないことがある。その上、いくつかの事前にトレーニングされたモデルが動的ホットワードインデックス129において利用可能である場合ですら、クライアントデバイス106は、クライアントデバイス106がそれを介して自らが特定のコンテキストで必要とするモデルをダウンロードし得るデータ接続性に欠くことがある。したがって、様々な実装形態では、1つまたは複数の事前決定された音素に対して1つの出力を生成し、他の音素に対して別の出力を生成するために、オンザフライで調整可能な前述の動的ホットワード分類器/機械学習モデル(たとえば、ニューラルネットワーク)が、自動アシスタント120の起動をトリガするようにアクティブ化され得る。
図6に示すように、限定された数のカードのコンテンツを動的に聴取することに加えて、またはその代わりに、そのような動的ホットワード分類器/機械学習モデルは、広範囲の潜在的なホットワードを聴取するために使用され得る。たとえば、ユーザ101が(たとえば、ピザを注文するために)特定のウェブページまたは第三者アプリにナビゲートするために、図6ではクライアントデバイス606を動作させると仮定する。または、代替として、ユーザ101は、自らの電話(図示せず)または別のクライアントデバイスをウェブサイトにナビゲートし得る。いずれの場合も、表示されたウェブページのコンテンツを分析して、ウェブページが表示されている間にアクティブ化されるべき様々なホットワードを決定することができる。これらのホットワードは、HTMLタグ(たとえば、ヘッドライン、リンクテキスト、など)、ページ上のワード/用語の頻度、などから、様々な方法で選択され得る。動的ホットワード分類器/機械学習モデルは、これらの選択されたワードから音素を聴取するために動的に調整され得、他の音素を無視することができる。このように、任意の数の変化するコンテキストにおいてホットワードを動的にアクティブ化することが可能である。追加または代替として、いくつかの実装形態では、VoiceXMLなどの技術は、特定の文法をオンザフライで動的にアクティブ化するために採用され得る。
本明細書で説明する実装形態は、コンテキスト固有のホットワードに応答して、自動アシスタント120に様々な活動(たとえば、情報の探索、メディア再生の制御、タイマーの停止、など)を行わせることに焦点を当てているが、これは限定的であることを意味しない。本明細書で説明する技法は、他の使用事例に拡張され得る。たとえば、本明細書で説明する技法は、ユーザが、たとえば、検索ウェブページ上で書式フィールド内に書き込むことを望むときに適用可能であり得る。いくつかの実装形態では、検索バーまたは他の同様のテキスト入力要素がウェブページ内に存在するとき、1つまたは複数の追加のコンテキスト固有のホットワードがアクティブ化され得る。たとえば、ユーザが検索バーを有するウェブページにアシスタント対応デバイスをナビゲートするとき、たとえば、ユーザが「<所望の話題>を検索」と単に言い得、ユーザが自動アシスタント120を最初に起動させる必要なしに、「を検索」に続くユーザの発話が検索バーに自動的に書き換えられ得るように、「を検索」と言うホットワードがアクティブ化され得る。
別のカテゴリの使用事例として、ユーザが、たとえば、物品またはサービスを注文するために、1つまたは複数の第三者アプリケーション130と対話するために自動アシスタント120に関連し得ることを思い起こされたい。いくつかの実装形態では、第三者アプリケーション130は、自動アシスタント120が第三者アプリケーション130に接続されるときはいつでもアクティブ化されるその独自のコンテキスト固有のホットワードを有し得る。これらのコンテキスト固有のホットワードは、自動アシスタント120に一般聴取状態に遷移させることができ、かつ/または第三者アプリケーション130に固有の1つまたは複数のコンテキスト固有の活動を起動させることができる。
一例として、ユーザが、第三者相乗りサービスを利用するために自動アシスタント120に関与する(たとえば、「OK、アシスタント、私に空港までの車を予約して」)と仮定する。自動アシスタント120が、相乗りサービスを円滑にする第三者アプリケーション130に関与するとき、第三者アプリケーション130は、前述の動的ホットワード分類器/機械学習モデルが「聴取」すべき1つまたは複数のホットワードを識別し得る。追加または代替として、第三者アプリケーション130は、1つまたは複数の事前にトレーニングされたモデルを自動アシスタント120に提供し得る。自動アシスタント120は、相乗りサービスアプリケーションとの取引がアクティブである間に、たとえば、車両が到着するまで、または車両が要求された場所でユーザを降ろすまで、少なくとも一時的にこれらのモデルをアクティブ化し得る。したがって、たとえば、ユーザが車の到着を待機する間、ユーザは最初に自動アシスタント120を起動させずに、「私の車がここに着くまでどのくらいかかる?」または「到着予定時刻は?」のようなことを発話し得る。自動アシスタント120は、ユーザの要求に応答するために、第三者アプリケーション130に関連付けられ得る、1つまたは複数のコンテキスト固有の応答活動を起動させることができる。
様々な実装形態では、コンピューティングデバイスの特定のコンテキストへの遷移は、1つまたは複数のコンテキスト固有のホットワードに加えて、またはその代わりに、1つまたは複数のコンテキスト固有のジェスチャをアクティブ化し得る。たとえば、ディスプレイ613上で閲覧されているウェブページが1つまたは複数の示された手のジェスチャを含むと仮定する。様々な実装形態では、たとえば、図1での画像キャプチャモジュール111によってキャプチャされた視覚データ内でこれらのジェスチャを検出するようにトレーニングされた機械学習モデルがダウンロードおよび/またはアクティブ化され得る。アクティブ化の後、少なくとも一定の時間にわたって、ユーザは、ジェスチャのうちの1つまたは複数を行うことができることがある。たとえば、起動モジュール113によるそれらのジェスチャの検出は、自動アシスタント120の一般聴取状態への遷移をトリガすること、および/または自動アシスタント120に何らかのコンテキスト固有の応答活動を実行させることができる。
本明細書で説明する特定のコンテキストおよび/またはコンテキスト信号例に加えて、またはその代わりに、本明細書で説明する技法と共に、他のコンテキストおよび/またはコンテキスト信号が採用されてよい。いくつかの実装形態では、コンテキストは、時間期間または時間間隔を含んでよく、コンテキスト信号は、その時間間隔への時間の遷移を含み得る。たとえば、いくつかの実装形態では、特定のコンテキストは、ユーザが一般に床につくときなど、夜のある特定の時点にアクティブになり得る。ユーザは、1つまたは複数のデフォルトホットワードを発話せずに、「おやすみ」または「寝る」などのコマンドを与えることができる。これらのコマンドは、この時間間隔(たとえば、就寝時間)中にアクティブ化されるホットワードを含み得る。いくつかのそのような実装形態では、これらの一時的に固有のコンテキストコマンドは、たとえば、複数のスマート器具(たとえば、スマート照明)の電源を切ること、サーモスタッドを特定の温度に設定すること、1つまたは複数のファンをオン/オフにすること、セキュリティシステムおよび/または1つもしくは複数のカメラをアクティブ化すること、など、1つまたは複数のルーチンをトリガし得る。
別の例として、いくつかの実装形態では、デバイス自体の上のハードウェアは、1つまたは複数のコンテキスト固有のホットワードをアクティブ化するように操作可能であり得る。たとえば、ユーザがアシスタント対応スマートウォッチの留め金またはスナップに関与するとき、それは、関与に先立って利用可能であってよく、またはそうでなくてもよい、1つまたは複数のデフォルトホットワードに加えて、またはその代わりに、1つまたは複数のカスタムホットワードをアクティブ化させるハードウェア信号(たとえば、回路の閉路、磁気信号、など)をトリガし得る。別の例として、スマート眼鏡をかけたユーザは、1つまたは複数の動的ホットワードをアクティブ化させるハードウェア信号をトリガし得る。さらに別の例として、車両ベースのアシスタントデバイスは、車両がオンにされる、乗客が座席に座る(たとえば、重さセンサーによって検出される)、車両が特定の速度または速度範囲で動作する、マッピングアプリケーションが動作するまたは使用中である(たとえば、運転手が交通渋滞にあった場合、運転手が、デフォルトホットワードを使用せずに、「別のルートを見つけて」と言うことができる)、など、車両からの信号に基づいて、追加または代替のホットワードがアクティブ化される状態に遷移し得る。
図7は、本明細書で開示する実装形態による一例示的な方法700を示す流れ図である。便宜上、流れ図の動作は、それらの動作を実行するシステムを参照して説明される。このシステムは、自動アシスタント120の1つまたは複数の構成要素など、様々なコンピュータシステムの様々な構成要素を含み得る。その上、方法700の動作は、特定の順序で示されているが、これは限定的であることを意味しない。1つまたは複数の動作は、再順序付けされてよく、省かれてよく、または追加されてもよい。
ブロック702において、システムは、少なくとも部分的にコンピューティングデバイス(たとえば、クライアントデバイス106、306、506、606)上で自動アシスタント120を動作させることができる。たとえば、上述のように、多くの場合、自動アシスタント120は、部分的にクライアントデバイス106上で、かつ部分的にクラウド(たとえば、クラウドベースの自動アシスタント構成要素119)上で、実装され得る。ブロック704において、システムは、1つまたは複数のデフォルトホットワードに対してマイクロフォン(たとえば、109)によってキャプチャされたオーディオデータを監視し得る。たとえば、1つまたは複数の現在アクティブな起動モデル114にわたって、出力を生成するための入力としてオーディオデータ(または、埋込みなど、それを示す他のデータ)が適用され得る。この出力は、デフォルトホットワードのうちの1つまたは複数の検出を示し得る(ブロック706)。ブロック708において、システムは、自動アシスタント120を限定ホットワード聴取状態(たとえば、図2でのデフォルト非アクティブ状態)から音声認識状態(たとえば、図2での一般聴取状態)に遷移させることができる。
いくつかの実装形態では、ブロック704～708の動作と平行して(または、それらと連続して)、システムは、ブロック710において、クライアントデバイスの状態を監視し得る。たとえば、システムは、タイマーの設定/終了、メディア再生の開始、自動アシスタント120と第三者アプリケーション130との間の対話、時刻、検出されたユーザの存在、など、1つまたは複数のコンテキスト信号を監視し得る。
ブロック712において、システムがコンテキスト信号を検出した場合、ブロック714において、システムは、コンピューティングデバイスを所与の状態に遷移させることができる。たとえば、システムは、タイマーが切れる(または、設定される)、音楽再生、コンテンツがディスプレイ上にレンダリングされる、など、コンテキスト信号を検出し得る。ブロック714の遷移の後、ブロック716において、システムは、ブロック704において監視された1つまたは複数のデフォルトホットワードに加えて、またはそれらの代わりに、1つまたは複数のコンテキスト固有のホットワードに対してマイクロフォンによってキャプチャされたオーディオデータを監視し得る。
前に述べたように、一部のコンテキストでは、いくつかのホットワードは、自動アシスタント120を一般聴取状態に遷移させることができ、他のホットワードは、自動アシスタント120にコンテキスト固有の応答活動(たとえば、タイマーの停止、メディア再生の休止、など)を実行させることができる。したがって、ブロック718において、システムが第1の1つまたは複数のコンテキストホットワード(たとえば、自動アシスタント120にコンテキスト固有のタスクを実行させることを意図するホットワード)を検出した場合、ブロック720において、システムは、1つまたは複数のコンテキスト固有の応答活動を実行することができるか、または自動アシスタント120に1つまたは複数のコンテキスト固有の応答活動を実行させることができる。他方で、第1の1つまたは複数のコンテキストホットワードはブロック718において検出されないが、第2の1つまたは複数のコンテキストホットワード(たとえば、概して自動アシスタント120を単に起動させることを意図するホットワード)がブロック722において検出された場合、方法700は、自動アシスタント120が一般聴取状態にあるブロック706に戻る。
いくつかの実装形態では、1つまたは複数のタイムアウトは、何のコンテキスト固有の活動も要求されていない場合、自動アシスタント120が安定またはデフォルトに戻ることを確実にするように採用され得る。たとえば、第1または第2のコンテキスト固有のホットワードが、それぞれ、ブロック718および722において検出されない場合、ブロック724において、タイムアウト(たとえば、10秒、30秒、1分、など)が終了したかどうかについて決定することができる。ブロック724における答えがyesである場合、方法700は、ブロック704に遷移して戻ることができ、この時点で、自動アシスタント120はデフォルト非アクティブ状態に遷移する。しかしながら、ブロック724における答えがnoである場合、いくつかの実装形態では、方法700は、ブロック716に戻り得、この時点で、システムはコンテキスト固有のホットワードを監視し得る。
図8は、本明細書で説明する技法の1つまたは複数の態様を実行するために随意に利用され得る一例示的なコンピューティングデバイス810のブロック図である。いくつかの実装形態では、クライアントコンピューティングデバイス、ユーザ制御リソースエンジン134、および/または他の構成要素のうちの1つまたは複数は、例示的なコンピューティングデバイス810の1つまたは複数の構成要素を備え得る。
コンピューティングデバイス810は、一般に、バスサブシステム812を介していくつかの周辺機器と通信する少なくとも1つのプロセッサ814を含む。これらの周辺デバイスは、たとえば、メモリサブシステム825およびファイル記憶サブシステム826、ユーザインターフェース出力デバイス820、ユーザインターフェース入力デバイス822、ならびにネットワークインターフェースサブシステム816を含む、記憶サブシステム824を含み得る。入力デバイスおよび出力デバイスは、ユーザがコンピューティングデバイス810と対話することを可能にする。ネットワークインターフェースサブシステム816は、外部ネットワークに対するインターフェースを提供し、他のコンピューティングデバイス内の対応するインターフェースデバイスに結合される。
ユーザインターフェース入力デバイス822は、キーボード、マウス、トラックボール、タッチパッド、またはグラフィックスタブレットなどのポインティングデバイス、スキャナ、ディスプレイ内に組み込まれたタッチスクリーン、ボイス認識システムなどのオーディオ入力デバイス、マイクロフォン、および/または他のタイプの入力デバイスを含み得る。概して、「入力デバイス」という用語の使用は、情報をコンピューティングデバイス810内にまたは通信ネットワーク上に入力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図する。
ユーザインターフェース出力デバイス820は、ディスプレイサブシステム、プリンター、ファックス機、またはオーディオ出力デバイスなどの非視覚ディスプレイを含み得る。ディスプレイサブシステムは、陰極線管(CRT)、液晶ディスプレイ(LCD)などのフラットパネルデバイス、投影デバイス、または可視画像を作成するための何らかの他の機構を含み得る。ディスプレイサブシステムは、オーディオ出力デバイスを介してなど、非視覚ディスプレイを提供することもできる。概して、「出力デバイス」という用語の使用は、情報をコンピューティングデバイス810からユーザに、または別の機械もしくはコンピューティングデバイスに出力するためのすべての可能なタイプのデバイスおよび方法を含むことを意図する。
記憶サブシステム824は、本明細書で説明するモジュールのうちのいくつかまたはすべての機能性を提供するプログラミング構成およびデータ構成を記憶する。たとえば、記憶サブシステム824は、図7の方法の選択された態様を実行するための、ならびに図1に示した様々な構成要素を実装するための論理を含み得る。
これらのソフトウェアモジュールは、概して、単独でまたは他のプロセッサと組み合わせて、プロセッサ814によって実行される。記憶サブシステム824内で使用されるメモリ825は、プログラム実行中に命令およびデータを記憶するためのメインランダムアクセスメモリ(RAM)830、および固定命令が記憶される読取り専用メモリ(ROM)832を含めて、いくつかのメモリを含み得る。ファイル記憶サブシステム826は、プログラムファイルおよびデータファイルに対して永続記憶装置を提供することができ、ハードディスクドライブ、関連するリムーバブルメディアと併せてフロッピーディスクドライブ、CD-ROMドライブ、光ドライブ、またはリムーバブルメディアカートリッジを含み得る。いくつかの実装形態の機能性を実装するモジュールは、記憶サブシステム824内、またはプロセッサ814によってアクセス可能な他の機械内にファイル記憶サブシステム826によって記憶され得る。
バスサブシステム812は、コンピューティングデバイス810の様々な構成要素およびサブシステムに意図されるように互いと通信させるための機構を提供する。バスサブシステム812は、単一のバスとして概略的に示されているが、バスサブシステムの代替実装形態は、複数のバスを使用し得る。
コンピューティングデバイス810は、ワークステーション、サーバ、コンピューティングクラスタ、ブレードサーバ、サーバファーム、または任意の他のデータ処理システムまたはコンピューティングデバイスを含めて、様々なタイプのものであってよい。コンピュータおよびネットワークの常に変化する性質により、図8に示すコンピューティングデバイス810の記述は、いくつかの実装形態を示すための特定の一例としてのみ意図される。図8に示すコンピューティングデバイスよりも多数または少数の構成要素を有するコンピューティングデバイス810の多くの他の構成が可能である。
本明細書で論じたいくつかの実装形態がユーザに関する個人情報(たとえば、他の電子通信から抽出されたユーザデータ、ユーザのソーシャルネットワークに関する情報、ユーザの位置、ユーザの時間、ユーザの生体情報、ならびに、ユーザの活動および人口統計情報、ユーザ同士の間の関係、など)を収集または使用することができる状況(situation)において、情報が収集されるかどうか、個人情報が記憶されるかどうか、個人情報が使用されるかどうか、およびユーザに関する情報がどのように収集され、記憶され、また使用されるかを制御するための1つまたは複数の機会がユーザに提供される。すなわち、本明細書で論じたシステムおよび方法は、そうするための明示的な認可を関連するユーザから受信した時点でのみ、ユーザ個人情報を収集、記憶、および/または使用する。
たとえば、プログラムまたは特徴が、ユーザ、またはそのプログラムもしくは特徴に関連する他のユーザに関するユーザ情報を収集するかどうかに対する制御がその特定のユーザに提供される。その個人情報が収集されることになる各ユーザには、そのユーザに関連する情報収集に対する制御を可能にするための、情報が収集されるかどうか、および情報のどの部分が収集されるべきかに関する許可または認可を提供するための、1つまたは複数のオプションが提示される。たとえば、通信ネットワークを介して1つまたは複数のそのような制御オプションがユーザに提供され得る。加えて、一定のデータは、個人的に識別可能な情報が除去されるように、そのデータが記憶されるか使用される前に1つまたは複数の方法で扱われ得る。一例として、ユーザの識別情報は、個人的に識別可能な情報を決定することができないように扱われ得る。別の例として、ユーザの特定の位置を決定することができないように、ユーザの地理的位置はより大きな領域に一般化され得る。
いくつかの実装形態について本明細書で説明し示したが、本明細書で説明した、機能を実行するため、および/または結果および/または利点のうちの1つまたは複数を取得するために、様々な他の手段および/または構造が利用されてよく、そのような変種および/または修正の各々は、本明細書で説明した実装形態の範囲内と見なされる。より一般的に、本明細書で説明したすべてのパラメータ、寸法、材料、および構成は、例示的であること、かつ実際のパラメータ、寸法、材料、および/または構成は、この/これらの教示が使用される特定の1つまたは複数の応用例に依存することになること、を意味する。当業者は、習慣的な実験を単に使用して、本明細書で説明した特定の実装形態に対する多くの均等物を認識し、それを確認することができるであろう。したがって、前述の実装形態は、単なる例として提示され、添付の特許請求の範囲およびその均等物の範囲内で、実装形態は、具体的に説明され特許請求される以外で実践され得ることを理解されたい。本開示の実装形態は、本明細書で説明した、個々の特徴、システム、物品、材料、キット、および/または方法を対象とする。加えて、2つ以上のそのような特徴、システム、物品、材料、キット、および/または方法のいずれの組合せも、そのような特徴、システム、物品、材料、キット、および/または方法が相互に矛盾しない場合、本開示の範囲内に含まれる。
101 ユーザ
106 クライアントコンピューティングデバイス、クライアントデバイス
107 視覚センサー、カメラ
108 自動アシスタントクライアント
109 マイクロフォン
110 音声キャプチャモジュール
111 画像キャプチャモジュール
112 視覚キューモジュール
1121 視覚キューモジュール
1122 クラウドベースの視覚キューモジュール、視覚キューモジュール
113 起動モジュール
114 オンデバイスモデルデータベース、オンデバイス起動モデル
1141 デフォルトオンデバイス起動モデル、デフォルト起動モデル
1142～114N コンテキスト起動モデル、コンテキスト固有の機械学習モデルまたは分類器
116 クラウドベースのテキスト対音声(「TTS」)モジュール、TSSモジュール
117 クラウドベースのSTTモジュール、STTモジュール
119 クラウドベースの自動アシスタント構成要素
120 自動アシスタント
122 自然言語プロセッサ
124 実現モジュール
126 自然言語生成器
128 動的ホットワードエンジン
129 動的ホットワードインデックス
130 第三者コンピューティングサービス、第三者サービス、第三者アプリケーション
134 ユーザ制御リソースエンジン
135 意図マッチャー
150 検索モジュール
306 クライアントコンピューティングデバイス、コンピューティングデバイス、クライアントデバイス
506A 第1のクライアントデバイス
506B 第2のクライアントデバイス
606 クライアントデバイス
611 スピーカ
613 ディスプレイ
700 方法
810 コンピューティングデバイス
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェースサブシステム
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 記憶サブシステム
825 メモリサブシステム、メモリ
826 ファイル記憶サブシステム
830 メインランダムアクセスメモリ(RAM)
832 読取り専用メモリ(ROM)

Claims (16)

1つまたは複数のプロセッサを用いて実行される方法であって、
少なくとも部分的にコンピューティングデバイス上で自動アシスタントを動作させるステップと、
1つまたは複数のデフォルトホットワードに対して、マイクロフォンによってキャプチャされたオーディオデータを監視するステップであって、前記デフォルトホットワードの1つまたは複数の検出が、前記自動アシスタントの限定ホットワード聴取状態から音声認識状態への遷移をトリガする、ステップと、
前記コンピューティングデバイスの所与の状態への遷移を検出するステップであって、前記所与の状態は、タイマーの終了が可聴アラームをトリガした状態である、ステップと、
前記コンピューティングデバイスの前記所与の状態への前記遷移を検出したことに応答して、前記1つまたは複数のデフォルトホットワードに加えて、1つまたは複数のコンテキスト固有のホットワードに対して、前記マイクロフォンによりキャプチャされた前記オーディオデータを監視するステップであって、前記コンテキスト固有のホットワードの1つまたは複数の検出が、前記デフォルトホットワードのうちの1つまたは複数の検出または前記自動アシスタントの前記音声認識状態への遷移を必要とせずに、前記可聴アラームを止めるために前記自動アシスタントをトリガする、ステップと
を含む、方法。
自由形式の自然言語クエリが前記自動アシスタントに向けて発せられたことに応答して前記タイマーを設定するステップをさらに含む、請求項1に記載の方法。
前記自動アシスタントが前記音声認識状態にある間に前記設定するステップが行われる、請求項2に記載の方法。
前記監視するステップに基づいて、前記デフォルトホットワードの1つまたは複数を検出するステップと、
前記デフォルトホットワードの前記1つまたは複数を検出したことに基づいて、前記自動アシスタントを限定ホットワード聴取状態から前記音声認識状態へ遷移させるステップと
をさらに含む、請求項3に記載の方法。
1つまたは複数のプロセッサを用いて実行される方法であって、
少なくとも部分的に1つまたは複数のデバイスにおいて自動アシスタントを動作させるステップと、
1つまたは複数のデフォルトホットワードに対して、マイクロフォンによってキャプチャされたオーディオデータを監視するステップであって、前記デフォルトホットワードの1つまたは複数の検出が、前記自動アシスタントの限定ホットワード聴取状態から音声認識状態への遷移をトリガする、ステップと、
メディアコンテンツが前記デバイスの1つまたは複数においてレンダリングされている間に、前記1つまたは複数のデフォルトホットワードに加えて、1つまたは複数のコンテキスト固有のホットワードに対して、前記マイクロフォンによりキャプチャされた前記オーディオデータを監視するステップと、
前記コンテキスト固有のホットワードの1つまたは複数を検出したことに基づいて、前記自動アシスタントをコンテキスト固有の聴取状態に遷移させるステップと、
前記コンテキスト固有の聴取状態にある間に、前記デフォルトホットワードのうちの1つまたは複数の検出または前記自動アシスタントの前記音声認識状態への遷移を必要とせずに、前記メディアコンテンツに関する情報を含む自然言語出力を提供するステップと
を含む、方法。
前記メディアコンテンツがビデオを含む、請求項5に記載の方法。
前記コンテキスト固有のホットワードの1つまたは複数が、１つまたは複数のエンティティタイプを識別し、前記自然言語出力が前記エンティティタイプに対する値を識別する、請求項5に記載の方法。
前記メディアコンテンツがゲームショーを含む、請求項5に記載の方法。
前記コンテキスト固有のホットワードの1つまたは複数を、前記ゲームショーの間に提示された質問に対する応答に一致させるステップをさらに含む、請求項8に記載の方法。
前記自然言語出力が、前記コンテキスト固有のホットワードに対するフィードバックを含む、請求項9に記載の方法。
前記自動アシスタントに、前記メディアコンテンツの再生を開始させるステップをさらに含む、請求項5に記載の方法。
前記自動アシスタントに、前記メディアコンテンツの進行中の再生を制御させるステップをさらに含む、請求項5に記載の方法。
アシスタントコンピューティングデバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに動作可能なように結合されたマイクロフォンと、
前記1つまたは複数のプロセッサに動作可能なように結合された非一時的なメモリと
を備え、前記メモリは命令を記録し、前記命令は、前記プロセッサの1つまたは複数による前記命令の実行に応答して、前記1つまたは複数のプロセッサに自動アシスタントを実行させ、前記自動アシスタントは、
1つまたは複数のデフォルトホットワードに対して、マイクロフォンによってキャプチャされたオーディオデータを監視することであって、前記デフォルトホットワードの1つまたは複数の検出が、前記自動アシスタントの限定ホットワード聴取状態から音声認識状態への遷移をトリガする、監視することと、
コンピューティングデバイスの所与の状態への遷移を検出することであって、前記所与の状態は、タイマーの終了が可聴アラームをトリガした状態である、検出することと、
前記コンピューティングデバイスの前記所与の状態への前記遷移を検出したことに応答して、前記1つまたは複数のデフォルトホットワードに加えて、1つまたは複数のコンテキスト固有のホットワードに対して、前記マイクロフォンによりキャプチャされた前記オーディオデータを監視することであって、前記コンテキスト固有のホットワードの1つまたは複数の検出が、前記デフォルトホットワードのうちの1つまたは複数の検出または前記自動アシスタントの前記音声認識状態への遷移を必要とせずに、前記可聴アラームを止めるために自動アシスタントをトリガする、監視することと
を行うためのものである、アシスタントコンピューティングデバイス。
自由形式の自然言語クエリが前記自動アシスタントに向けて発せられたことに応答して前記タイマーを設定するための命令をさらに備える、請求項13に記載のアシスタントコンピューティングデバイス。
前記設定するための命令が、前記自動アシスタントが前記音声認識状態にある間に前記タイマーを設定するための命令を含む、請求項14に記載のアシスタントコンピューティングデバイス。
前記デフォルトホットワードの1つまたは複数を検出し、
前記デフォルトホットワードの前記1つまたは複数を検出したことに基づいて、前記自動アシスタントを限定ホットワード聴取状態から前記音声認識状態へ遷移させる
ための命令をさらに備える、請求項15に記載のアシスタントコンピューティングデバイス。
JP2022168638A 2018-08-21 2022-10-20 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード Active JP7418526B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022168638A JP7418526B2 (ja) 2018-08-21 2022-10-20 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020569051A JP7322076B2 (ja) 2018-08-21 2018-08-21 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード
PCT/US2018/047280 WO2020040744A1 (en) 2018-08-21 2018-08-21 Dynamic and/or context-specific hot words to invoke automated assistant
JP2022168638A JP7418526B2 (ja) 2018-08-21 2022-10-20 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020569051A Division JP7322076B2 (ja) 2018-08-21 2018-08-21 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード

Publications (2)

Publication Number Publication Date
JP2023021975A JP2023021975A (ja) 2023-02-14
JP7418526B2 true JP7418526B2 (ja) 2024-01-19

Family

ID=63668007

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020569051A Active JP7322076B2 (ja) 2018-08-21 2018-08-21 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード
JP2022168638A Active JP7418526B2 (ja) 2018-08-21 2022-10-20 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020569051A Active JP7322076B2 (ja) 2018-08-21 2018-08-21 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード

Country Status (6)

Country Link
US (2) US11423890B2 (ja)
EP (1) EP3642833B1 (ja)
JP (2) JP7322076B2 (ja)
KR (1) KR102523982B1 (ja)
CN (1) CN112272846A (ja)
WO (1) WO2020040744A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217453B2 (en) * 2016-10-14 2019-02-26 Soundhound, Inc. Virtual assistant configured by selection of wake-up phrase
KR102523982B1 (ko) 2018-08-21 2023-04-20 구글 엘엘씨 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
JP7055721B2 (ja) * 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
US11798552B2 (en) * 2018-10-05 2023-10-24 Honda Motor Co., Ltd. Agent device, agent control method, and program
KR102225001B1 (ko) * 2019-05-21 2021-03-08 엘지전자 주식회사 음성 인식 방법 및 음성 인식 장치
US11705114B1 (en) * 2019-08-08 2023-07-18 State Farm Mutual Automobile Insurance Company Systems and methods for parsing multiple intents in natural language speech
US11393477B2 (en) * 2019-09-24 2022-07-19 Amazon Technologies, Inc. Multi-assistant natural language input processing to determine a voice model for synthesized speech
US11120790B2 (en) 2019-09-24 2021-09-14 Amazon Technologies, Inc. Multi-assistant natural language input processing
KR20220024557A (ko) * 2019-10-15 2022-03-03 구글 엘엘씨 자동화된 어시스턴트에 의한 응답 액션을 트리거하기 위한 핫 명령의 검출 및/또는 등록
US11790173B2 (en) 2020-10-22 2023-10-17 Google Llc Recommending action(s) based on entity or entity type
US11557278B2 (en) * 2020-12-10 2023-01-17 Google Llc Speaker dependent follow up actions and warm words
US11557293B2 (en) 2021-05-17 2023-01-17 Google Llc Contextual suppression of assistant command(s)
CA3228869A1 (en) * 2021-08-31 2023-03-09 Christopher Landry Dynamic labeling of and generating indications of real-time communication sessions
US11922938B1 (en) 2021-11-22 2024-03-05 Amazon Technologies, Inc. Access to multiple virtual assistants
KR102643796B1 (ko) * 2022-01-11 2024-03-06 한국과학기술연구원 사용자 명령에 기초한 캐릭터 행동 생성 시스템 및 방법과 이를 위한 컴퓨터 프로그램
US20230281205A1 (en) * 2022-03-01 2023-09-07 Google Llc Contextually Relevant Suggestions

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249688A (ja) 2000-03-06 2001-09-14 Kddi Corp 電話自動受付装置
JP2016526205A (ja) 2013-05-07 2016-09-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 音声アクティブ化を制御するための方法および装置
JP2016536648A (ja) 2013-09-17 2016-11-24 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置
US20170242653A1 (en) 2016-02-22 2017-08-24 Sonos, Inc. Voice Control of a Media Playback System
JP2017525168A (ja) 2014-06-30 2017-08-31 アップル インコーポレイテッド リアルタイムのデジタルアシスタントの知識更新
US20180182390A1 (en) 2016-12-27 2018-06-28 Google Inc. Contextual hotwords

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665639B2 (en) 1996-12-06 2003-12-16 Sensory, Inc. Speech recognition in consumer electronic products
SE9902229L (sv) 1999-06-07 2001-02-05 Ericsson Telefon Ab L M Apparatus and method of controlling a voice controlled operation
JP2002251235A (ja) 2001-02-23 2002-09-06 Fujitsu Ltd 利用者インタフェースシステム
JP4247002B2 (ja) 2003-01-22 2009-04-02 富士通株式会社 マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
US8140325B2 (en) * 2007-01-04 2012-03-20 International Business Machines Corporation Systems and methods for intelligent control of microphones for speech recognition applications
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
NZ581850A (en) * 2009-08-27 2011-12-22 Eyemagnet Ltd Informational content scheduling system and method
US8437455B2 (en) * 2010-01-12 2013-05-07 American Express Travel Related Services Company, Inc. System, method and computer program product for globally portable interactive voice response (IVR) systems
US8768707B2 (en) 2011-09-27 2014-07-01 Sensory Incorporated Background speech recognition assistant using speaker verification
US9721563B2 (en) * 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9536528B2 (en) 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
AU2013328923A1 (en) * 2012-10-12 2015-04-16 Hallmark Cards, Incorporated Context-based interactive plush toy
US9734151B2 (en) 2012-10-31 2017-08-15 Tivo Solutions Inc. Method and system for voice based media search
US9361885B2 (en) 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US11393461B2 (en) * 2013-03-12 2022-07-19 Cerence Operating Company Methods and apparatus for detecting a voice command
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
US9548047B2 (en) 2013-07-31 2017-01-17 Google Technology Holdings LLC Method and apparatus for evaluating trigger phrase enrollment
US10054327B2 (en) 2013-08-21 2018-08-21 Honeywell International Inc. Devices and methods for interacting with an HVAC controller
MY179900A (en) 2013-08-29 2020-11-19 Panasonic Ip Corp America Speech recognition method and speech recognition apparatus
US9373321B2 (en) 2013-12-02 2016-06-21 Cypress Semiconductor Corporation Generation of wake-up words
US8719039B1 (en) 2013-12-05 2014-05-06 Google Inc. Promoting voice actions to hotwords
US9804820B2 (en) 2013-12-16 2017-10-31 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US9082407B1 (en) * 2014-04-15 2015-07-14 Google Inc. Systems and methods for providing prompts for voice commands
WO2015196063A1 (en) * 2014-06-19 2015-12-23 Robert Bosch Gmbh System and method for speech-enabled personalized operation of devices and services in multiple operating environments
US9338493B2 (en) * 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9263042B1 (en) 2014-07-25 2016-02-16 Google Inc. Providing pre-computed hotword models
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
JP6514475B2 (ja) 2014-10-03 2019-05-15 株式会社Ｎｔｔドコモ 対話装置および対話方法
US9318107B1 (en) 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
EP3067884B1 (en) * 2015-03-13 2019-05-08 Samsung Electronics Co., Ltd. Speech recognition system and speech recognition method thereof
US10097973B2 (en) * 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
CN105204743A (zh) * 2015-09-28 2015-12-30 百度在线网络技术（北京）有限公司 用于语音和视频通讯的交互控制方法及装置
US9542941B1 (en) 2015-10-01 2017-01-10 Lenovo (Singapore) Pte. Ltd. Situationally suspending wakeup word to enable voice command input
US9792907B2 (en) 2015-11-24 2017-10-17 Intel IP Corporation Low resource key phrase detection for wake on voice
JP2017144521A (ja) 2016-02-18 2017-08-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9691384B1 (en) * 2016-08-19 2017-06-27 Google Inc. Voice action biasing system
US10217453B2 (en) 2016-10-14 2019-02-26 Soundhound, Inc. Virtual assistant configured by selection of wake-up phrase
US11003417B2 (en) * 2016-12-15 2021-05-11 Samsung Electronics Co., Ltd. Speech recognition method and apparatus with activation word based on operating environment of the apparatus
KR20180084392A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10469755B2 (en) 2017-05-16 2019-11-05 Google Llc Storing metadata related to captured images
US10950228B1 (en) * 2017-06-28 2021-03-16 Amazon Technologies, Inc. Interactive voice controlled entertainment
US10546583B2 (en) * 2017-08-30 2020-01-28 Amazon Technologies, Inc. Context-based device arbitration
US10586534B1 (en) * 2017-09-27 2020-03-10 Amazon Technologies, Inc. Voice-controlled device control using acoustic echo cancellation statistics
US10636421B2 (en) * 2017-12-27 2020-04-28 Soundhound, Inc. Parse prefix-detection in a human-machine interface
EP3692522A4 (en) * 2017-12-31 2020-11-11 Midea Group Co., Ltd. METHOD AND SYSTEM FOR THE CONTROL OF HOME ASSISTANT DEVICES
TWI677709B (zh) * 2018-01-09 2019-11-21 瑞軒科技股份有限公司 顯示裝置組件
US11164572B2 (en) * 2018-05-01 2021-11-02 Dell Products, L.P. Intelligent assistance across voice services
US20200047687A1 (en) * 2018-08-10 2020-02-13 SF Motors Inc. Exterior speech interface for vehicle
US10929098B2 (en) * 2018-08-17 2021-02-23 The Toronto-Dominion Bank Methods and systems for conducting a session over audible and visual interfaces
KR102523982B1 (ko) 2018-08-21 2023-04-20 구글 엘엘씨 자동화된 어시스턴트를 호출하기 위한 다이내믹 및/또는 컨텍스트-특정 핫 워드
JP6848947B2 (ja) * 2018-09-27 2021-03-24 横河電機株式会社 システム、方法、プログラムおよび記録媒体
US11355098B1 (en) * 2018-12-13 2022-06-07 Amazon Technologies, Inc. Centralized feedback service for performance of virtual assistant
DK180649B1 (en) * 2019-05-31 2021-11-11 Apple Inc Voice assistant discoverability through on-device targeting and personalization
US11308962B2 (en) * 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249688A (ja) 2000-03-06 2001-09-14 Kddi Corp 電話自動受付装置
JP2016526205A (ja) 2013-05-07 2016-09-01 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 音声アクティブ化を制御するための方法および装置
JP2016536648A (ja) 2013-09-17 2016-11-24 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置
JP2017525168A (ja) 2014-06-30 2017-08-31 アップル インコーポレイテッド リアルタイムのデジタルアシスタントの知識更新
US20170242653A1 (en) 2016-02-22 2017-08-24 Sonos, Inc. Voice Control of a Media Playback System
US20180182390A1 (en) 2016-12-27 2018-06-28 Google Inc. Contextual hotwords

Also Published As

Publication number Publication date
US20220335941A1 (en) 2022-10-20
KR102523982B1 (ko) 2023-04-20
JP7322076B2 (ja) 2023-08-07
KR20210008521A (ko) 2021-01-22
JP2023021975A (ja) 2023-02-14
WO2020040744A1 (en) 2020-02-27
EP3642833B1 (en) 2023-04-12
EP3642833A1 (en) 2020-04-29
US20200342866A1 (en) 2020-10-29
US11423890B2 (en) 2022-08-23
JP2021533398A (ja) 2021-12-02
CN112272846A (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
JP7418526B2 (ja) 自動アシスタントを起動させるための動的および／またはコンテキスト固有のホットワード
JP7354301B2 (ja) 自動アシスタントによって応答アクションをトリガするためのホットコマンドの検出および／または登録
US11810557B2 (en) Dynamic and/or context-specific hot words to invoke automated assistant
EP3895161B1 (en) Utilizing pre-event and post-event input streams to engage an automated assistant
US11347801B2 (en) Multi-modal interaction between users, automated assistants, and other computing services
JP2023017791A (ja) アシスタントデバイスのディスプレイにレンダリングするコンテンツの選択
US20240055003A1 (en) Automated assistant interaction prediction using fusion of visual and audio input
US20230215422A1 (en) Multimodal intent understanding for automated assistant

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240109

R150 Certificate of patent or registration of utility model

Ref document number: 7418526

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150