JP2016536648A - ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置 - Google Patents

ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置 Download PDF

Info

Publication number
JP2016536648A
JP2016536648A JP2016542030A JP2016542030A JP2016536648A JP 2016536648 A JP2016536648 A JP 2016536648A JP 2016542030 A JP2016542030 A JP 2016542030A JP 2016542030 A JP2016542030 A JP 2016542030A JP 2016536648 A JP2016536648 A JP 2016536648A
Authority
JP
Japan
Prior art keywords
mobile device
context
threshold
input sound
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016542030A
Other languages
English (en)
Other versions
JP2016536648A5 (ja
JP6538060B2 (ja
Inventor
リ、ミンスブ
キム、テス
ホワン、キュ・ウォン
ジン、ミンホ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016536648A publication Critical patent/JP2016536648A/ja
Publication of JP2016536648A5 publication Critical patent/JP2016536648A5/ja
Application granted granted Critical
Publication of JP6538060B2 publication Critical patent/JP6538060B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/20Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)

Abstract

モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための方法が開示される。本方法は、音センサーによって入力音ストリームを受信することと、モバイルデバイスのコンテキストを決定することとを含む。本方法は、入力音ストリームに基づいてコンテキストを決定し得る。コンテキストを決定するために、本方法はまた、モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、モバイルデバイスのコンテキストを示すデータを取得し得る。本方法では、ボイスアシスタント機能をアクティブにするためのしきい値が、コンテキストに基づいて調整される。本方法は、調整されたしきい値に基づいて入力音ストリームからターゲットキーワードを検出する。ターゲットキーワードが検出される場合、本方法はボイスアシスタント機能をアクティブにする。【選択図】図6

Description

優先権の主張
関連出願の相互参照
本出願は、その内容全体が参照により本明細書に明確に組み込まれる、2013年9月17日に出願された、同一出願人が所有する米国非仮特許出願第14/029,131号の優先権を主張する。
本開示は、一般に、モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための方法に関する。より詳細には、本開示は、モバイルデバイスにおいてターゲットキーワードを検出するためのしきい値を調整することに関する。
[0003]近年、スマートフォンおよびタブレットコンピュータなど、モバイルデバイスの使用が普及してきた。そのようなモバイルデバイスは、概して、ワイヤレスネットワークを介して音声およびデータ通信を可能にする。一般に、これらのデバイスは、ユーザ利便性を向上させるように設計された様々な機能を与える追加の特徴またはアプリケーションを含む。
[0004]そのようなアプリケーションまたは特徴のうち、ボイスアシスタントアプリケーションは、モバイルデバイスが、ボイスコマンドに応答して様々な機能または他のアプリケーションを動作させるためのユーザからのボイスコマンドを受信することを可能にする。たとえば、ボイスアシスタントアプリケーションは、ユーザが、モバイルデバイスを手で物理的に操作することなしに、所望の電話番号に電話をかけるか、オーディオファイルを再生するか、写真を撮るか、インターネットを検索するか、または気象情報を取得するために、ボイスコマンドを話すことを可能にし得る。したがって、ユーザは、ユーザがモバイルデバイスを物理的に操作することを望まないことがあるかまたはそうすることができない、様々な状況において、モバイルデバイスの様々な動作を制御するためにボイスコマンドを使用することを選択し得る。
[0005]従来のボイスアシスタントアプリケーションは、しばしば、ユーザによる(たとえば、手による)物理的入力に応答してアクティブにされる。しかしながら、ボイスアシスタントアプリケーションを使用する目的のうちの1つは、物理的入力なしにモバイルデバイスを操作することであり得るので、ユーザは、ボイスアシスタントアプリケーションを物理的にアクティブにすることが不都合または困難であると思うことがあり得る。したがって、いくつかのモバイルデバイスは、ユーザがボイスコマンドを話すことによってボイスアシスタントアプリケーションをアクティブにすることを可能にする。
[0006]しかしながら、そのようなモバイルデバイスは、しばしば、デバイスによってキャプチャされた様々な入力音に応答して間違ってアクティブにされるか、または適切なボイスコマンドに応答してアクティブにされることに失敗する。たとえば、モバイルデバイスは、別の人の発話を適切なボイスコマンドとして間違って認識し、ボイスアシスタントアプリケーションをアクティブにすることがある。一方、モバイルデバイスが騒々しい環境にあるとき、モバイルデバイスは、背景雑音により適切なボイスコマンドを認識せず、したがって、ボイスアシスタントアプリケーションをアクティブにすることに失敗することがある。
[0007]本開示は、デバイスのコンテキストに従って調整され得るしきい値に基づいて入力音ストリーム中でターゲットキーワードを検出することによってボイスアシスタント機能をアクティブにするための方法およびデバイスを提供する。
[0008]本開示の一態様によれば、モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための方法が開示される。本方法は、音センサーによって入力音ストリームを受信することと、モバイルデバイスのコンテキストを決定することとを含む。本方法では、ボイスアシスタント機能をアクティブにするためのしきい値が、コンテキストに基づいて調整される。本方法は、調整されたしきい値に基づいて入力音ストリームからターゲットキーワードを検出する。ターゲットキーワードが検出された場合、本方法はボイスアシスタント機能をアクティブにする。本開示では、本方法に関係する装置、デバイス、手段の組合せ、およびコンピュータ可読媒体についても説明する。
[0009]本開示の別の態様によれば、ボイスアシスタント機能をアクティブにするためのモバイルデバイスは、音センサーと、しきい値調整ユニットと、ボイスアクティベーションユニットとを含む。音センサーは、入力音ストリームを受信するように構成される。しきい値調整ユニットは、モバイルデバイスのコンテキストを決定することによって、ボイスアシスタント機能をアクティブにするためのしきい値を調整するように構成される。ボイスアクティベーションユニットは、調整されたしきい値に基づいて入力音ストリームからターゲットキーワードが検出された場合、ボイスアシスタント機能をアクティブにするように構成される。
[0010]本開示の発明的態様の実施形態は、以下の発明を実施するための形態を参照し、添付の図面とともに読めば理解されよう。
本開示の一実施形態による、モバイルデバイスのコンテキストが車両の中にあると決定されたときの、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイスを示す図。 本開示の一実施形態による、モバイルデバイスのコンテキストが、ユーザが起きている可能性が高い朝にあると決定された場合の、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイスを示す図。 本開示の一実施形態による、モバイルデバイスのコンテキストが、ユーザが眠っている可能性が高い夜にあると決定された場合の、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイスを示す図。 本開示の一実施形態による、モバイルデバイスのコンテキストがバッグの中にあると決定されたときの、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイスを示す図。 本開示の一実施形態による、テキストメッセージを受信するというコンテキストにおける、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイスを示す図。 本開示の一実施形態による、モバイルデバイスのコンテキストに基づいて、ターゲットキーワードを検出するためのしきい値を調整することによって入力音ストリームからターゲットキーワードを検出するように構成されたモバイルデバイスのブロック図。 本開示の一実施形態による、モバイルデバイスのコンテキストを決定する際に使用する音ストリームとセンサーデータとを出力するように構成されたモバイルデバイス中のセンサーユニットのブロック図。 本開示の一実施形態による、モバイルデバイスのコンテキストを推論することによって、ボイスアシスタント機能をアクティブにするための検出しきい値を決定するように構成されたモバイルデバイス中のしきい値調整ユニットのブロック図。 本開示の一実施形態による、モバイルデバイスにおいて実行される、モバイルデバイスのコンテキストを推論することによって、ボイスアシスタント機能をアクティブにするための検出しきい値を決定するための方法のフローチャート。 本開示の一実施形態による、モバイルデバイスにおいて実行される、調整された検出しきい値を生成し、指定された時間期間の後に検出しきい値を予め定められた検出しきい値にリセットするための方法のフローチャート。 本開示の一実施形態による、調整された検出しきい値に基づいて入力音ストリーム中のターゲットキーワードを検出することによってボイスアシスタント機能をアクティブにするように構成されたモバイルデバイス中のボイスアクティベーションユニットのブロック図。 本開示の一実施形態による、モバイルデバイスにおいて実行される、調整された検出しきい値に基づいて入力音ストリーム中のターゲットキーワードを検出することによってボイスアシスタント機能をアクティブにするための方法のフローチャート。 本開示の一実施形態による、モバイルデバイスのコンテキストに従って調整された検出しきい値に基づいて入力音ストリーム中のターゲットキーワードを検出するための方法および装置、ワイヤレス通信システム中のモバイルデバイスのブロック図。
[0024]次に、添付の図面にそれの例が示されている、様々な実施形態を詳細に参照する。以下の詳細な説明では、本主題の完全な理解を与えるために多数の具体的な詳細を記載する。ただし、本主題はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。他の事例では、様々な実施形態の態様を不必要に不明瞭にしないように、よく知られている方法、プロシージャ、システム、および構成要素については詳細に説明していない。
[0025]図1に、本開示の一実施形態による、モバイルデバイス110のコンテキストが車両130の中にあると決定されたときの、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイス110を示す。この図示の実施形態では、モバイルデバイス110のユーザ120は車両130を運転しており、モバイルデバイス110は車両130の助手席に配置される。図1のモバイルデバイス110は、入力音中のユーザの音声を認識するための音声認識機能を装備したスマートフォンであり得る。
[0026]モバイルデバイス110中のボイスアシスタント機能がアクティブにされたとき、モバイルデバイス110は、音声認識機能を使用してユーザ120からの様々な言葉による要求、命令、コマンドなどに応答することができる。たとえば、ユーザ120は、ボイスアシスタント機能がアクティブにされているとき、「スーザンに電話」などの命令を話し得る。応答して、モバイルデバイス110は、命令を認識し、認識された名前に関連する電話番号を使用してスーザンに電話をかける。モバイルデバイス110中のボイスアシスタント機能は、モバイルデバイス110のボタンまたはタッチスクリーンを介した入力に応答してアクティブにされ得る。
[0027]いくつかの実施形態では、モバイルデバイス110は、ターゲットキーワードがユーザ120からの入力音中で検出されたときにボイスアシスタント機能をアクティブにするための予め定められたターゲットキーワードを記憶する。本明細書で使用する「ターゲットキーワード」という用語は、モバイルデバイス110中の機能またはアプリケーションをアクティブにするために使用され得る1つまたは複数の単語または音のデジタル表現またはアナログ表現を指す。たとえば、「ヘイ、ボイスアシスタント」または「ボイスアシスタント開始」などの予め定められたキーワードが、ボイスアシスタント機能をアクティブにするためのターゲットキーワードとしてモバイルデバイス110に記憶され得る。ユーザ120から入力音が受信されたとき、モバイルデバイス110は、受信された入力音に対して音声認識機能を実行することによって入力音中でターゲットキーワードを検出し得る。
[0028]モバイルデバイス110は、所望の信頼性レベルを保証するために、検出しきい値に基づいてターゲットキーワードを検出するように構成され得る。一実施形態では、モバイルデバイス110は、入力音とターゲットキーワードとの間の類似度(またはキーワード一致(matching)スコア)を計算し、類似度を検出しきい値と比較する。類似度を計算する際に、ターゲットキーワードのためのプリセット音モデルが使用され得る。入力音とターゲットキーワード(または音モデル)との間の類似度が検出しきい値を超える場合、モバイルデバイス110は、入力音中でターゲットキーワードを検出し、ボイスアシスタント機能をアクティブにする。一方、類似度が検出しきい値を超えない場合、モバイルデバイス110は、ターゲットキーワードが入力音中で検出されないと決定する。
[0029]検出しきい値は、入力音中でターゲットキーワードを検出する際の精度に影響を及ぼす。たとえば、検出しきい値が高すぎる場合、モバイルデバイス110は、ターゲットキーワードを含む入力音からターゲットキーワードを検出しないことがある。そのような場合、モバイルデバイス110は、入力音中のターゲットキーワードを「ミス(miss)」し、ターゲットキーワードについてのミス率の増加をもたらすことがある。一方、検出しきい値が低すぎる場合、モバイルデバイス110は、ターゲットキーワードを含まない入力音中でターゲットキーワードを間違って検出することがある。そのような場合、モバイルデバイスは、ボイスアシスタント機能を間違ってアクティブにし(すなわち、「誤アクティベーション」)、ボイスアシスタント機能についての誤アクティベーション率の増加を生じることがある。
[0030]いくつかの実施形態では、検出しきい値は、最初に、予め定められた値(たとえば、デフォルト値)にセットされ、次いで、モバイルデバイス110のコンテキストの変化に基づいて調整される。図1を参照すると、モバイルデバイス110は、音センサー、全地球測位システム(GPS)、および加速度計などの様々なセンサーからのコンテキストデータに基づいてコンテキストを決定するように構成される。たとえば、モバイルデバイス110の音センサーは、エンジン音および交通騒音を含む、環境交通騒音を入力音としてキャプチャ(取得)し得る。さらに、GPSおよび加速度計は、モバイルデバイス110のロケーション、速度、および/または加速度を監視し得る。センサーからのコンテキストデータに基づいて、モバイルデバイス110は、モバイルデバイス110のコンテキストを車両の中にあるとして識別し得る。
[0031]モバイルデバイス110のコンテキストが車両の中にあると決定されたとき、図1中のモバイルデバイス110のユーザ120は、モバイルデバイス110を手で物理的に操作するよりもボイスアシスタント機能を使用する可能性が高いと仮定され得る。したがって、モバイルデバイス110は、通常または未確認のコンテキストのために予め決定されたデフォルト検出しきい値よりも低い値に検出しきい値を調整し得る。低減された検出しきい値は、ユーザがモバイルデバイス110を手で操作しなければならない可能性を低減するように、ターゲットキーワードを検出する可能性を増加させる(たとえば、ミス率の減少)。
[0032]ボイスアシスタント機能を使用する可能性は、いくつかの他のコンテキストにおいても高いと仮定され得る。図2に、本開示の一実施形態による、モバイルデバイス110のコンテキストが、ユーザ210が起きている可能性が高い朝にあると決定された場合の、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイス110を示す。モバイルデバイス110は、ユーザ210の近くに配置され、たとえば、図2に示されているようにベッド220の近くのテーブル230の上に置かれる。
[0033]この例では、ユーザ210は、朝に起きたが、まだベッド220に座っている。この場合、モバイルデバイス110中の照明センサーが、モバイルデバイス110の明るい環境を示すコンテキストデータを生成し得る。さらに、モバイルデバイス110中のクロックユニットも現在時間(たとえば、午前7時00分)をコンテキストデータとして与え得る。いくつかの実施形態では、現在時間は、ユーザ210によってモバイルデバイス110においてセットされた、その人が典型的にいつ起きるかを示す時間と比較され得る。さらに、モバイルデバイス110中の音センサーも、コンテキストデータとして与えられる入力音として、小さい強度を有する静かな環境音をキャプチャする。さらに、モバイルデバイス110中のGPSユニットが、モバイルデバイス110はユーザ210の自宅にあると決定し得、これもコンテキストデータとして使用される。
[0034]上記で生成されたコンテキストデータに基づいて、モバイルデバイス110は、モバイルデバイス110のコンテキストを、ユーザ210が起きている可能性が高い朝にあると決定し得る。この場合、モバイルデバイス110のユーザ210がモバイルデバイス110を手で物理的に操作するよりもボイスアシスタント機能を使用する可能性が高いと仮定され得る。たとえば、ユーザ210は、ベッド220に座ったまま、モバイルデバイス110中のボイスアシスタント機能を使用してその日の天気またはスケジュールを調べることを望み得る。したがって、モバイルデバイス110は、検出しきい値をデフォルト検出しきい値よりも低い値に調整し得、ターゲットキーワードを検出する可能性を増加させること(たとえば、ミス率の減少)をもたらす。
[0035]対照的に、ボイスアシスタント機能を使用する可能性は低いと仮定され得る。図3に、本開示の一実施形態による、モバイルデバイス110のコンテキストが、ユーザ310が眠っている可能性が高い夜にある(すなわち、睡眠中コンテキスト)と決定された場合の、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイス110を示す。図3では、モバイルデバイス110は、ユーザ310の近くに配置され、たとえば、ベッド320の近くのテーブル330の上に置かれる。
[0036]図3の例では、ユーザ310は夜にベッド320で眠っている。この場合、モバイルデバイス110中の照明センサーが、モバイルデバイス110の暗い環境を検出し、暗い環境を示すコンテキストデータを与え得る。さらに、モバイルデバイス110中のクロックユニットも現在時間(たとえば、午前3時00分)をコンテキストデータとして与え得る。いくつかの実施形態では、現在時間は、ユーザ310によってモバイルデバイス110においてセットされた、その人が典型的にいつ眠り、いつ起きるかを示す時間範囲と比較され得る。さらに、モバイルデバイス110中の音センサーも、小さい強度を有する静かな環境音を入力音としてキャプチャし、それをコンテキストデータとして与え得る。さらに、モバイルデバイス110のロケーションが、モバイルデバイス110中のGPSユニットによって決定され、コンテキストデータ(たとえば、ユーザ310の自宅にある)として使用され得る。
[0037]上記で生成されたコンテキストデータに基づいて、モバイルデバイス110は、モバイルデバイス110のコンテキストを、ユーザ310が眠っている可能性が高い夜にあると決定し得る。この場合、モバイルデバイス110のユーザ310は、ユーザ310が昼間に起きているときよりもボイスアシスタント機能を使用する可能性が低いと仮定され得る。したがって、モバイルデバイス110は検出しきい値をデフォルト検出しきい値よりも高い値に調整し得る。増加した検出しきい値は、ボイスアシスタント機能を間違ってアクティブにする可能性を低減すること(たとえば、誤アクティベーション率の減少)をもたらす。
[0038]ボイスアシスタント機能を使用する可能性は、いくつかの他のコンテキストにおいても低いと仮定され得る。図4に、本開示の一実施形態による、モバイルデバイス110のコンテキストがバッグ410の中にあると決定されたときの、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイス110を示す。図示の例では、モバイルデバイス110は(点線円によって示されるように)バッグ410に入れられているが、モバイルデバイス110は、衣類のポケット、ポーチなど、他の種類のコンテナ(container)内に入れられ得る。
[0039]図4の例では、モバイルデバイス110のコンテキストを示すコンテキストデータを生成するために様々なセンサーが使用される。たとえば、モバイルデバイス110中の照明センサーが、バッグ410内のモバイルデバイス110の暗い環境を検出し、暗い環境を示すコンテキストデータを生成し得る。さらに、センサーの近くに位置する物体を検知するように構成された、モバイルデバイス110中の近接度センサーが、モバイルデバイス110の近くに物体が存在することを示すコンテキストデータを生成するために使用され得る。この例では、近接度センサーは近い物体、たとえば、バッグ410の内面の存在を検出し得る。さらに、モバイルデバイス110の音センサーは、モバイルデバイス110と取り囲むバッグ410の内面との間の摩擦によって生じ得るスカーピング音またはタッピング音を入力音としてキャプチャし得る。キャプチャされた入力音も、モバイルデバイス110のコンテキストを決定する際にコンテキストデータとして使用される。
[0040]上記で生成されたコンテキストデータに基づいて、モバイルデバイス110は、コンテキストをバッグ410などのコンテナの中にあると決定し得る。このコンテキストでは、図4中のモバイルデバイス110のユーザは、モバイルデバイス110がそのようなコンテナ(たとえば、バッグ410)の外に配置されるときよりも、ボイスアシスタント機能を使用する可能性が低いと仮定され得る。したがって、モバイルデバイス110は検出しきい値をデフォルト検出しきい値よりも高い値に調整し得る。増加した検出しきい値は、ボイスアシスタント機能を間違ってアクティブにする可能性を低減すること(たとえば、誤アクティベーション率の減少)をもたらす。
[0041]いくつかの実施形態では、モバイルデバイス110は、モバイルデバイス110の動作ステータスがアイドル状態からアクティブ状態に変化した場合にコンテキストを検出し得る。図5に、本開示の一実施形態による、テキストメッセージを受信するというコンテキストにおける、ボイスアシスタント機能をアクティブにするための検出しきい値を調整するように構成されたモバイルデバイス110を示す。最初に、モバイルデバイス110は、アプリケーションプロセッサが、モバイルデバイス110のための電力を節約するために非アクティブ状態にあり得る、アイドル状態にあり得る。モバイルデバイス110がアイドル状態中に外部ネットワークからテキストメッセージを受信したとき、アプリケーションプロセッサは、メッセージアプリケーションを実行し、モバイルデバイス110のディスプレイスクリーン510上に送信者の通知(すなわち、「ジョン・ドウ」)とテキストメッセージ(すなわち、「こんにちは、今話せますか?」)とを出力するためにアクティブにされ得る。モバイルデバイス110の動作ステータスは、モバイルデバイス110が電子メールメッセージ、マルチメディアメッセージ、プッシュ通知などを受信したときにもアイドル状態からアクティブ状態に変化し得る。さらに、モバイルデバイス110はまた、アラームイベント(たとえば、タイマーアラーム)に応答してアイドル状態からアクティブ状態に変化し得る。
[0042]モバイルデバイス110またはアプリケーションプロセッサの動作ステータスがアイドル状態からアクティブ状態に変化したとき、モバイルデバイス110のユーザは、操作を実行するためにボイスアシスタント機能を使用する可能性が高い。図5の例では、ユーザは、ボイスアシスタント機能を通してテキストメッセージの送信者に電話をかけるためにモバイルデバイス110を使用し得る。したがって、ボイスアシスタント機能を使用する可能性は、モバイルデバイス110がアイドル状態にあるときよりも高いと仮定され得る。したがって、モバイルデバイス110がアイドル状態からアクティブ状態への動作ステータス変化を検出したとき、モバイルデバイス110は、検出しきい値をデフォルト検出しきい値よりも低くなるように調整する。低減された検出しきい値は、ターゲットキーワードを検出する可能性を増加させる(たとえば、ミス率の減少)。
[0043]図6に、本開示の一実施形態による、モバイルデバイス110のコンテキストに基づいて、ターゲットキーワードを検出するためのしきい値を調整することによって入力音ストリームからターゲットキーワードを検出するように構成されたモバイルデバイス110のブロック図を示す。本明細書で使用する「音ストリーム」という用語は、一連の1つまたは複数の音信号または音データを指す。図6に示されているように、モバイルデバイス110は、センサーユニット610と、I/O(入出力)ユニット620と、記憶ユニット630と、通信ユニット640と、プロセッサ650とを含み得る。モバイルデバイス110は、セルラーフォン、スマートフォン、ラップトップコンピュータ、タブレットパーソナルコンピュータ、ゲームデバイス、マルチメディアプレーヤなど、音キャプチャおよび処理能力を備えた任意の好適なデバイスであり得る。
[0044]プロセッサ650は、デジタル信号プロセッサ(DSP)680と、ボイスアシスタントユニット688と、クロックユニット690と、スケジュールユニット692とを含み得、モバイルデバイス110を管理し動作させるためのアプリケーションプロセッサまたは中央処理ユニット(CPU)であり得る。クロックユニット690は、クロック機能、タイマー機能などを実装する。たとえば、クロックユニット690は、I/Oユニット620のディスプレイユニットおよび/またはスピーカーユニットを介して、モバイルデバイス110のユーザに現在時間を出力するか、またはセットされた時間に到達したときにユーザに通知し得る(たとえば、タイマーアラーム)。さらに、スケジュールユニット692は、ユーザによって入力されたスケジュール(たとえば、アポイントメント、イベントなど)を記憶および管理する。スケジュールユニット692は、記憶されたスケジュールの時間を把握し、I/Oユニット620を介して関連する通知をユーザに与え得る。
[0045]DSP680は、音声検出器682と、しきい値調整ユニット684と、ボイスアクティベーションユニット686とを含み得る。一実施形態では、DSP680は、音ストリームを処理する際の電力消費を低減するために低電力プロセッサである。この構成では、しきい値調整ユニット684は、モバイルデバイス110のコンテキストに基づいて検出しきい値を調整するように構成される。ボイスアクティベーションユニット686は、調整された検出しきい値に基づいて音ストリーム中でターゲットキーワードが検出されたとき、ボイスアシスタントユニット688をアクティブにするように構成される。
[0046]センサーユニット610は音センサー660とコンテキストセンサー670とを含み得る。音センサー660は、入力音ストリームを受信し、それをDSP680中の音声検出器682およびしきい値調整ユニット684に与えるように構成される。いくつかの実施形態では、音センサー660は、受信された入力音ストリームの強度がしきい値音強度よりも大きいとき、DSP680中の音声検出器682およびしきい値調整ユニット684をアクティブにする。アクティベーション時に、また、音センサー660から音声検出器682およびしきい値調整ユニット684に入力音ストリームが与えられる。
[0047]センサーユニット610中のコンテキストセンサー670は、モバイルデバイス110のコンテキストを示すセンサーデータを生成するための様々なセンサーを含み得る。センサーデータは、次いで、しきい値調整ユニット684に与えられる。一実施形態では、コンテキストセンサー670はまた、センサーデータが与えられる前にしきい値調整ユニット684をアクティブにし得る。音センサー660およびコンテキストセンサー670について、以下で図7を参照しながらより詳細に説明する。通信ユニット640、クロックユニット690、およびスケジュールユニット692は、以下で図8を参照しながらより詳細に説明するように、アイドル状態からアクティブ状態へのプロセッサ650の動作ステータスの変化を示す通知をしきい値調整ユニット684に与えるように構成され得る。
[0048]しきい値調整ユニット684は、コンテキストデータと総称されることがある、受信された入力音ストリーム、センサーデータ、および/または1つまたは複数の通知に基づいてモバイルデバイス110のコンテキストを決定するように構成される。モバイルデバイス110のコンテキストを決定した後に、しきい値調整ユニット684は、決定されたコンテキストに従って検出しきい値を調整する。たとえば、モバイルデバイス110のコンテキストが、ボイスアシスタントユニット688が使用される可能性が高い(たとえば、図1、図2、および図5に関して上記で説明したようなコンテキストにある)ことを示す場合、しきい値調整ユニット684は、検出しきい値を低く、たとえば、デフォルト検出しきい値よりも低くなるように調整する。一方、モバイルデバイス110のコンテキストが、ボイスアシスタントユニット688が使用される可能性が低い(たとえば、図3および図4に関して上記で説明したようなコンテキストにある)ことを示す場合、しきい値調整ユニット684は、検出しきい値を高く、たとえば、デフォルト検出しきい値よりも高くなるように調整する。
[0049]いくつかの実施形態では、検出しきい値は、異なるコンテキストのためにあらかじめ決定され、モバイルデバイス110の記憶ユニット630に記憶され得る。たとえば、コンテキストおよび関連する検出しきい値はルックアップテーブルまたはデータベース構造として記憶され得る。ルックアップテーブルの場合、しきい値調整ユニット684は、関連する検出しきい値を取得するために、決定されたコンテキストをインデックスとして使用してテーブルにアクセスし得る。しきい値調整ユニット684は、次いで、取得された検出しきい値を調整された検出しきい値としてボイスアクティベーションユニット686に与える。モバイルデバイス110中の記憶ユニット630は、RAM(ランダムアクセスメモリ)、ROM(読取り専用メモリ)、EEPROM(登録商標)(電気消去可能プログラマブル読取り専用メモリ)、フラッシュメモリ、またはSSD(ソリッドステートドライブ)など、任意の好適なストレージデバイスまたはメモリデバイスを使用して実装され得る。
[0050]ターゲットキーワードを検出する際に使用するために、記憶ユニット630はターゲットキーワードをも記憶し得る。一実施形態では、ターゲットキーワードは、単音(phone)、音素(phoneme)、またはそれらのサブ単位など、複数の基本音単位に分割され得、ターゲットキーワードを表す複数の部分が基本音単位に基づいて生成され得る。ターゲットキーワードの各部分は、次いで、隠れマルコフモデル(HMM)、セミマルコフモデル(SMM)、またはそれらの組合せなど、マルコフ連鎖モデルの下で状態に関連付けられる。この場合、記憶ユニット630は、状態の各々から、それ自体を含む次の状態への遷移情報を含む、ターゲットキーワードの複数の部分に関連する複数の状態に関する状態情報を記憶し得る。
[0051]DSP680中の音声検出器682は、アクティブにされたとき、音センサー660から入力音ストリームを受信する。一実施形態では、音声検出器682は、受信された入力音ストリームから複数の音特徴を抽出し、ガウス混合モデル(GMM:Gaussian mixture model)ベースの分類器、人工ニューラルネットワーク、HMM、グラフィカルモデル、およびサポートベクターマシン(SVM)など、任意の好適な音分類方法を使用することによって、抽出された音特徴が人間音声などの関心のある(of interest)音を示すかどうかを決定する。受信された入力音ストリームが関心のある音であると決定された場合、音声検出器682はボイスアクティベーションユニット686をアクティブにし、受信された入力音ストリームがボイスアクティベーションユニット686に与えられる。いくつかの他の実施形態では、音声検出器682はDSP680において省略され得る。この場合、受信された入力音ストリームの強度がしきい値強度よりも大きいとき、音センサー660がボイスアクティベーションユニット686をアクティブにし、受信された入力音ストリームをボイスアクティベーションユニット686に直接与える。
[0052]上記で説明したように、ボイスアクティベーションユニット686は、しきい値調整ユニット684および音声検出器682から調整された検出しきい値および入力音ストリームを与えられる。調整された検出しきい値および入力音ストリームを受信すると、ボイスアクティベーションユニット686は、検出しきい値に基づいて入力音ストリームからターゲットキーワードを検出する。入力音ストリームが受信されるにつれて、ボイスアクティベーションユニット686は入力音ストリームから複数の音特徴を連続的に抽出し得る。さらに、ボイスアクティベーションユニット686は、複数の抽出された音特徴の各々を処理し、記憶ユニット630から、ターゲットキーワードについての複数の状態と遷移情報とを含む状態情報を取得し得る。処理された音特徴ごとに、GMM、ニューラルネットワーク、およびSVMなど、任意の好適な確率モデルを使用することによって状態の各々について観測スコアが決定され得る。
[0053]遷移情報から、ボイスアクティベーションユニット686は、状態の各々から、ターゲットキーワードについて可能である複数の状態シーケンス中の次の状態への遷移スコアを取得し得る。観測スコアを決定し、遷移スコアを取得した後に、ボイスアクティベーションユニット686は可能な状態シーケンスについてのスコアを決定する。一実施形態では、決定されたスコアのうちの最大スコアが、処理された音特徴のためのキーワードスコアとして使用され得る。処理された音特徴のためのキーワードスコアが(しきい値キーワードスコアと呼ばれることもある)検出しきい値よりも大きい場合、ボイスアクティベーションユニット686は入力音ストリームをターゲットキーワードとして検出する。ターゲットキーワードを検出すると、ボイスアクティベーションユニット686は、ターゲットキーワードに関連する、ボイスアシスタントユニット688をオンにするためのアクティベーション信号を生成し、送信する。
[0054]ボイスアシスタントユニット688は、ボイスアクティベーションユニット686からのアクティベーション信号に応答してアクティブにされる。アクティブにされると、ボイスアシスタントユニット688は、I/Oユニット620のディスプレイユニット上におよび/またはスピーカーユニットを通して、「ご用件は何でしょう?」などのメッセージを出力し得る。応答して、ユーザは、モバイルデバイス110の様々な関連する機能をアクティブにするためのボイスコマンドを話し得る。たとえば、インターネット検索のためのボイスコマンドが受信されたとき、ボイスアシスタントユニット688はボイスコマンドを検索コマンドとして認識し、外部ネットワーク694を通して通信ユニット640を介してウェブ検索を実行し得る。図示の実施形態は、ターゲットキーワードを検出したことに応答してボイスアシスタントユニット688をアクティブにするが、図示の実施形態は、関連するターゲットキーワードを検出したことに応答して他のアプリケーションまたは機能をもアクティブにし得る。
[0055]図7に、本開示の一実施形態による、モバイルデバイス110のコンテキストを決定する際に使用する音ストリームとセンサーデータとを出力するように構成されたセンサーユニット610のより詳細なブロック図を示す。音センサー660は入力音ストリームを受信し、入力音ストリームは、次いで、DSP680中の音声検出器682に与えられる。受信された入力音ストリームは、コンテキストデータとしてDSP680中のしきい値調整ユニット684にも与えられる。音センサー660は、1つまたは複数のマイクロフォン、または入力音ストリームを受信し、キャプチャし、検知し、および/または検出するために使用され得る他のタイプの音センサーを含み得る。さらに、音センサー660は、そのような機能を実行するための任意の好適なソフトウェアおよび/またはハードウェアを採用し得る。一実施形態では、音センサー660は、デューティサイクルに従って入力音ストリームを周期的に受信するように構成され得る。
[0056]図7に示されているように、コンテキストセンサー670は、ロケーションセンサー710と、加速度計720と、近接度センサー730と、照明センサー740とを含み得る。GPSデバイスによって実装され得るロケーションセンサー710は、ロケーション、方向、モバイルデバイス110が移動している速度など、モバイルデバイス110に関連するセンサーデータを生成するように構成される。加速度計720は、モバイルデバイス110の加速度、向きなどを示すセンサーデータを生成する。
[0057]近接度センサー730は、たとえば、磁気、光、または容量性(capacitive)技術を使用して、モバイルデバイス110の近くに位置する物体を検出するように構成される。図7には1つの近接度センサー730が示されているが、コンテキストセンサー670は、モバイルデバイス110の複数のロケーションにおいて(たとえば、モバイルデバイス110の前面、背面、右側、および左側において)物体を検出するために、任意の好適な数の近接度センサーを含み得る。照明センサー740は、モバイルデバイス110の周囲の照明条件、すなわち、輝度を検知するように構成された光検出器である。ロケーションセンサー710、加速度計720、近接度センサー730、および照明センサー740によって生成されたセンサーデータは、しきい値調整ユニット684に与えられ、モバイルデバイス110のコンテキストを決定する際にコンテキストデータとして使用される。
[0058]図8に、本開示の一実施形態による、モバイルデバイス110のコンテキストを決定することによって、ボイスアシスタントユニット688をアクティブにするための検出しきい値を調整するように構成されたしきい値調整ユニット684のブロック図を示す。しきい値調整ユニット684はコンテキスト推論ユニット810としきい値決定ユニット820とを含み得る。コンテキスト推論ユニット810はモバイルデバイス110のコンテキストを決定し、しきい値決定ユニット820は、モバイルデバイス110のコンテキストに基づいて検出しきい値を調整する。調整された検出しきい値は、次いで、入力音ストリームからターゲットキーワードを検出する際に使用するためにボイスアクティベーションユニット686に与えられる。
[0059]モバイルデバイス110のコンテキストを決定するために、コンテキスト推論ユニット810は、音センサー660から入力音ストリームを受信し、コンテキストセンサー670からセンサーデータを受信する。コンテキスト推論ユニット810はまた、クロックユニット690、スケジュールユニット692、および通信ユニット640から1つまたは複数の通知を受信するように構成される。さらに、クロックユニット690はコンテキスト推論ユニット810に現在時間を与え得る。入力音ストリーム、センサーデータ、通知、および現在時間は、モバイルデバイス110のコンテキストを決定する際にコンテキストデータとしてコンテキスト推論ユニット810によって使用される。
[0060]上記で図6に関して説明したように、コンテキスト推論ユニット810に与えられる通知は、アイドル状態からアクティブ状態へのプロセッサ650の動作ステータスの変化など、モバイルデバイスのステータス情報を示し得る。たとえば、通信ユニット640は、図6中のネットワーク694を介して電子メッセージを受信するとそのような通知を与え得る。電子メッセージは、電子メールメッセージ、テキストメッセージ、マルチメディアメッセージ、プッシュ通知など、ネットワーク694を通して受信されるメッセージまたは通知を含み得る。クロックユニット690は、指定された時間にユーザにアラートするように構成され得る(たとえば、アラーム)。指定された時間に到達したとき、クロックユニット690はプロセッサ650をアクティブにし、プロセッサ650の動作ステータスの変化の通知がコンテキスト推論ユニット810に与えられる。さらに、スケジュールユニット692は、モバイルデバイス110に記憶されたスケジュールまたはイベントの時間を把握し、そのような時間にまたはそのような時間の前の所定の時間にコンテキスト推論ユニット810に通知を与え得る。
[0061]コンテキスト推論ユニット810は、受信されたコンテキストデータを分析し、モバイルデバイス110のコンテキストを決定する。モバイルデバイス110のコンテキストを決定する際に、コンテキスト推論ユニット810は、入力音、センサーデータ、通知、現在時間、またはそれらの任意の組合せからコンテキストを推論し得る。たとえば、モバイルデバイス110のコンテキストは、上記で図1に関して説明したように、入力音ストリームと、モバイルデバイス110のロケーション、速度、および/または加速度を含み得るセンサーデータとに基づいて、車両の中にあると推論され得る。
[0062]いくつかの実施形態では、モバイルデバイス110の様々なコンテキストは、コンテキスト推論ユニット810によって受信され得るコンテキストデータにコンテキストを関連付けるコンテキストデータベースに従ってあらかじめ決定され、記憶され得る。コンテキストデータベース中の所定のコンテキストのうち、コンテキスト推論ユニット810は、受信されたコンテキストデータに対応するコンテキストをモバイルデバイス110の現在コンテキストとして選択し得る。コンテキスト推論ユニット810は、次いで、選択されたコンテキストのためのコンテキストインジケータを生成し、コンテキストインジケータをしきい値決定ユニット820に与える。
[0063]コンテキスト推論ユニット810からコンテキストインジケータを受信すると、しきい値決定ユニット820は、受信されたコンテキストインジケータに基づいて検出しきい値を調整する。いくつかの実施形態では、検出しきい値のための値が、所定のコンテキストのためにプリセットされ、記憶ユニット630に記憶され得る。しきい値決定ユニット820は、コンテキストインジケータによって識別されたコンテキストに関連する検出しきい値を取得するために記憶ユニット630にアクセスし得る。
[0064]一実施形態では、検出しきい値は、コンテキストの各々においてボイスアシスタントユニット688を使用する可能性に基づいてセットされ得る。たとえば、ボイスアシスタントユニット688を使用する可能性が高い(たとえば、図1、図2、および図5に関して上記で説明したようなコンテキストにある)場合、しきい値調整ユニット684は、検出しきい値を(たとえば、通常または未確認のコンテキストのためにあらかじめ決定されたデフォルト検出しきい値よりも低くなるように)減少させ得る。一方、ボイスアシスタントユニット688を使用する可能性が低い(たとえば、図3および図4に関して上記で説明したようなコンテキストにある)場合、しきい値調整ユニット684は、検出しきい値を(たとえば、デフォルト検出しきい値よりも高くなるように)増加させ得る。その結果、検出しきい値は、モバイルデバイス110の決定されたコンテキストにおいてボイスアシスタントユニット688を使用する可能性に関連して調整され得る。調整された検出しきい値は、次いで、ボイスアシスタントユニット688をアクティブにするためにターゲットキーワードを検出する際に使用されるようにボイスアクティベーションユニット686に与えられる。
[0065]図9は、本開示の一実施形態による、モバイルデバイス110のしきい値調整ユニット684において実行される、モバイルデバイス110のコンテキストを推論することによって、ボイスアシスタントユニット688をアクティブにするための検出しきい値を決定するための方法900のフローチャートである。しきい値調整ユニット684中のコンテキスト推論ユニット810が、910において、コンテキストデータを受信する。受信されたコンテキストデータに基づいて、920において、コンテキスト推論ユニット810においてモバイルデバイス110のコンテキストを決定する。コンテキスト推論ユニット810はまた、しきい値決定ユニット820に与えられる、決定されたコンテキストに関連するコンテキストインジケータを生成し得る。
[0066]しきい値決定ユニット820が、930において、コンテキスト推論ユニット810から受信されたコンテキストインジケータによって識別されるモバイルデバイス110のコンテキストに従って検出しきい値を調整する。検出しきい値を調整するために、しきい値決定ユニット820は、モバイルデバイス110のコンテキストに関連する検出しきい値を取得するために記憶ユニット630にアクセスし得る。検出しきい値が調整されると、しきい値決定ユニット820は、940において、調整された検出しきい値をボイスアクティベーションユニット686に与える。調整された検出しきい値は、ボイスアクティベーションユニット686によってターゲットキーワードを検出する際に使用される。
[0067]いくつかの実施形態では、調整された検出しきい値はデフォルト検出しきい値にリセットされ得る。図10は、本開示の一実施形態による、モバイルデバイス110のしきい値調整ユニット684において実行される、調整された検出しきい値を生成し、指定された時間期間の後に検出しきい値を所定の検出しきい値にリセットするための方法1000のフローチャートである。上記で図9に関して説明したのと同じ様式で、コンテキスト推論ユニット810が、910においてコンテキストデータを受信し、920においてモバイルデバイス110のコンテキストを決定する。しきい値決定ユニット820が、930において、コンテキストに基づいて検出しきい値を調整し、940において、調整された検出しきい値をボイスアクティベーションユニット686に与える。
[0068]1010において、たとえば、プロセッサ650中のクロックユニット690を使用することによって、指定された時間期間のためのタイマーをセットする。時間期間はあらかじめ決定され得る。しきい値調整ユニット684は、1020において、タイマーを監視し、指定された時間期間が経過したかどうかを決定する。代替的に、クロックユニット690が、指定された時間期間が経過したかどうかを検出し、時間期間が経過したときにしきい値調整ユニット684に通知し得る。指定された時間期間が経過した場合、しきい値調整ユニット684は、1030において、検出しきい値を予め定められた検出しきい値(たとえば、デフォルト検出しきい値)にリセットする。そうではなく、指定された時間期間が経過していない場合、方法1000は、指定された時間期間が経過したか否かを決定するために1020に戻り得る。
[0069]図11に、本開示の一実施形態による、調整された検出しきい値に基づいて入力音ストリーム中でターゲットキーワードを検出することによってボイスアシスタントユニット688をアクティブにするように構成されたボイスアクティベーションユニット686のブロック図を示す。ボイスアクティベーションユニット686は、特徴抽出器1110と、キーワードスコア計算ユニット1120と、キーワード検出ユニット1130とを含み得る。ボイスアクティベーションユニット686中のキーワード検出ユニット1130が入力音ストリームからターゲットキーワードを検出したとき、キーワード検出ユニット1130は、ボイスアシスタントユニット688をオンにするためのアクティベーション信号を生成する。
[0070]音声検出器682が入力音ストリームを人間音声であると決定したとき、特徴抽出器1110は、入力音ストリームを受信し、入力音ストリームから1つまたは複数の音特徴を抽出する。いくつかの実施形態では、特徴抽出器1110は、入力音ストリームを等しい時間期間の複数の連続フレームにセグメント化する。たとえば、入力音ストリームは、受信され、10msのフレームに連続的にセグメント化され得る。この場合、特徴抽出器1110はフレームの各々から音特徴を抽出する。一実施形態では、特徴抽出器1110は、MFCC(メル周波数ケプストラム係数(Mel-frequency cepstral coefficient))方法などの任意の好適な特徴抽出方法を使用してフレームから音特徴を抽出し得る。たとえば、MFCC方法の場合、セグメント化されたフレームの各々からn次元ベクトルの成分が計算され、ベクトルは音特徴として使用される。
[0071]抽出された音特徴は特徴抽出器1110からキーワードスコア計算ユニット1120に与えられる。各音特徴を受信すると、キーワードスコア計算ユニット1120は音特徴のためのキーワードスコアを決定する。キーワードスコアは、図6に関して上記で説明した様式で決定され得る。決定されたキーワードスコアはキーワード検出ユニット1130に与えられる。
[0072]キーワード検出ユニット1130はキーワードスコア計算ユニット1120からキーワードスコアを受信する。キーワード検出ユニット1130はまた、しきい値調整ユニット684から調整された検出しきい値を受信する。受信されたキーワードスコアは、次いで、調整された検出しきい値と比較される。キーワードスコアが調整されたしきい値スコアを超えるとき、キーワード検出ユニット1130は、ボイスアシスタントユニット688をオンにするためのアクティベーション信号を生成する。そうでない場合、キーワード検出ユニット1130はボイスアシスタントユニット688をアクティブにしない。この場合、キーワード検出ユニット1130は、次の抽出された音特徴のためにキーワードスコア計算ユニット1120によって決定された後続のキーワードスコアを受信し、後続のキーワードスコアが調整された検出しきい値を超えるかどうかを決定し得る。
[0073]図12は、本開示の一実施形態による、ボイスアクティベーションユニット686において実行される、調整された検出しきい値に基づいて入力音ストリーム中でターゲットキーワードを検出することによってボイスアシスタントユニット688をアクティブにするための方法1200のフローチャートである。方法1200は、1210において開始し、1220に進み、ここで、ボイスアクティベーションユニット686中の特徴抽出器1110が音声検出器682から入力音ストリームを受信する。特徴抽出器1110は、1230において、入力音ストリームから音特徴を抽出する。抽出された音特徴は、ボイスアクティベーションユニット686中のキーワードスコア計算ユニット1120に与えられる。
[0074]一実施形態では、入力音ストリームは、複数の音特徴がそれから抽出される複数のフレームに連続的にセグメント化される。この場合、複数の音特徴はキーワードスコア計算ユニット1120に連続的に与えられる。特徴抽出器1110から各音特徴を受信すると、キーワードスコア計算ユニット1120は、1240において、音特徴のためのキーワードスコアを決定する。図6に関して上記で説明したように、キーワードスコアは、マルコフ連鎖モデルなどの任意の好適な音声認識技術を使用して決定され得る。
[0075]図示された方法1200では、キーワード検出ユニット1130が、1250において、しきい値調整ユニット684から調整された検出しきい値を受信する。一実施形態では、調整された検出しきい値は、1250において受信され得、一方で、1220において入力音ストリームが受信される、1230において音特徴が抽出される、または1240においてキーワードスコアが決定される。別の実施形態では、キーワード検出ユニット1130は、1220において特徴抽出器1110が入力音ストリームを受信する前に、または1240においてキーワードスコア計算ユニット1120がキーワードスコアを決定した後に、調整された検出しきい値を受信し得る。
[0076]キーワード検出ユニット1130は、1260において、キーワードスコアが受信された検出しきい値を超えるかどうかを決定する。1260において、キーワードスコアが検出しきい値を超えないと決定された場合、本方法は、特徴抽出器1110によって抽出された次の音特徴を受信するために1270に進み、1240において、次の音特徴のためのキーワードスコアを決定する。一方、1260において、キーワードスコアが検出しきい値を超えると決定された場合、キーワード検出ユニット1130は、1280において、ボイスアシスタントユニット688をオンにするためのアクティベーション信号を生成し、送信する。本方法は、次いで、1290において終了する。
[0077]図13に、本開示の一実施形態による、モバイルデバイス1300のコンテキストに従って調整された検出しきい値に基づいて入力音ストリーム中でターゲットキーワードを検出するための方法および装置、ワイヤレス通信システム中のモバイルデバイス1300のブロック図を示す。モバイルデバイス1300は、セルラーフォン、端末、ハンドセット、携帯情報端末(PDA)、ワイヤレスモデム、コードレスフォンなどであり得る。ワイヤレス通信システムは、符号分割多元接続(CDMA)システム、モバイル通信用グローバルシステム(GSM(登録商標):Global System for Mobile Communications)システム、広帯域CDMA(W−CDMA(登録商標))システム、ロングタームエボリューション(LTE(登録商標):Long Term Evolution)システム、LTEアドバンストシステムなどであり得る。
[0078]モバイルデバイス1300は、受信経路および送信経路を介して双方向通信を行うことが可能であり得る。受信経路上では、基地局によって送信された信号が、アンテナ1312によって受信され、受信機(RCVR)1314に与えられる。受信機1314は、受信信号を調整し、デジタル化し、さらなる処理のために調整およびデジタル化された信号をデジタルセクション1320に与える。送信経路上では、送信機(TMTR)が、デジタルセクション1320から送信されるべきデータを受信し、データを処理し、調整し、被変調信号を生成し、被変調信号はアンテナ1312を介して基地局に送信される。受信機1314および送信機1316は、CDMA、GSM、W−CDMA、LTE、LTEアドバンストなどをサポートするトランシーバの一部である。
[0079]デジタルセクション1320は、たとえば、モデムプロセッサ1322、縮小(reduced)命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)1324、コントローラ/プロセッサ1326、内部メモリ1328、一般化オーディオエンコーダ1332、一般化オーディオデコーダ1334、グラフィックス/ディスプレイプロセッサ1336、および/または外部バスインターフェース(EBI)1338など、様々な処理ユニット、インターフェースユニット、およびメモリユニットを含む。モデムプロセッサ1322は、データ送信および受信のための処理、たとえば、符号化、変調、復調、および復号を実行する。RISC/DSP1324は、ワイヤレスデバイス1300のための一般的処理と専用処理とを実行する。コントローラ/プロセッサ1326は、デジタルセクション1320内の様々な処理ユニットおよびインターフェースユニットの演算を制御する。内部メモリ1328は、デジタルセクション1320内の様々なユニットのためのデータおよび/または命令を記憶する。
[0080]一般化オーディオエンコーダ1332は、オーディオソース1342、マイクロフォン1343などからの入力信号に対して符号化を実行する。一般化オーディオデコーダ1334は、コード化オーディオデータに対して復号を実行し、出力信号をスピーカー/ヘッドセット1344に与える。一般化オーディオエンコーダ1332および一般化オーディオデコーダ1334は、必ずしも、オーディオソース、マイクロフォン1343、およびスピーカー/ヘッドセット1344とのインターフェースのために必要とされるとは限らず、したがって、モバイルデバイス1300中に示されていないことに留意されたい。グラフィックス/ディスプレイプロセッサ1336は、ディスプレイユニット1346に提示されるグラフィックス、ビデオ、画像、およびテキストのための処理を実行する。EBI1338は、デジタルセクション1320とメインメモリ1348との間のデータの転送を可能にする。
[0081]デジタルセクション1320は、1つまたは複数のプロセッサ、DSP、マイクロプロセッサ、RISCなどで実装される。デジタルセクション1320はまた、1つまたは複数の特定用途向け集積回路(ASIC)および/または何らかの他のタイプの集積回路(IC)上に作製される。
[0082]概して、本明細書で説明したいかなるデバイスも、ワイヤレスフォン、セルラーフォン、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ(PC)カード、PDA、外部または内部モデム、ワイヤレスチャネルを介して通信するデバイスなど、様々なタイプのデバイスを示す。デバイスは、アクセス端末(AT)、アクセスユニット、加入者ユニット、移動局、クライアントデバイス、モバイルユニット、モバイルフォン、モバイル、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなど、様々な名前を有し得る。本明細書で説明したいかなるデバイスも、命令とデータとを記憶するためのメモリ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを有し得る。
[0083]本明細書で説明した技法は様々な手段によって実装される。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装される。さらに、本明細書の開示に関して説明した様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、上記では概してそれらの機能に関して説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明した機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
[0084]ハードウェア実装の場合、本技法を実行するために使用される処理ユニットは、1つまたは複数のASIC、DSP、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装される。
[0085]したがって、本明細書の開示に関して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAまたは他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せで実装または実行される。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0086]ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含むことができる。さらに、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)およびblu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0087]本開示についての以上の説明は、いかなる当業者も本開示を作成または使用することができるようにするために提供したものである。本開示への様々な修正は当業者には容易に明らかになり、本明細書で定義した一般原理は、本開示の趣旨または範囲から逸脱することなく他の変形形態に適用される。したがって、本開示は、本明細書で説明した例に限定されるものではなく、本明細書で開示した原理および新規の特徴に合致する最も広い範囲を与えられるべきである。
[0088]例示的な実装形態は、1つまたは複数のスタンドアロンコンピュータシステムの文脈で、本開示の主題の態様を利用することに言及するが、主題は、そのように限定されるのではなく、ネットワークまたは分散コンピューティング環境など、任意のコンピューティング環境に関連して実施され得る。またさらに、本開示の主題の態様は、複数の処理チップまたはデバイスにおいてあるいはそれらにわたって実装され得、同様に、複数のデバイスにわたって記憶が実施され得る。そのようなデバイスは、PCと、ネットワークサーバと、ハンドヘルドデバイスとを含み得る。
[0089]主題について構造的機能および/または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
[0089]主題について構造的機能および/または方法論的行為に特有の言語で説明したが、添付の特許請求の範囲において定義される主題は、必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および行為は、特許請求の範囲を実施することの例示的な形態として開示される。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための方法であって、前記方法は、
音センサーによって入力音ストリームを受信することと、
前記モバイルデバイスのコンテキストを決定することと、
前記コンテキストに基づいて、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整することと、
前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードを検出することと、
前記ターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにすることと、
を備える方法。
[C2]
前記モバイルデバイスの前記コンテキストを決定することは、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別することを備える、C1に記載の方法。
[C3]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
前記データに基づいて前記モバイルデバイスの前記コンテキストを識別することと、
を備える、C1に記載の方法。
[C4]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあると識別することと、
を備える、C1に記載の方法。
[C5]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイス中の照明センサーおよび近接度センサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストをコンテナ内にあると識別することと、
を備える、C1に記載の方法。
[C6]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイスのステータス情報を取得することと、
前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別することと、
を備える、C1に記載の方法。
[C7]
前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイス中のプロセッサの動作ステータスの変化を示す、C6に記載の方法。
[C8]
前記プロセッサの前記動作ステータスは、電子メッセージを受信することに応答して、前記アイドル状態から前記アクティブ状態に変化する、C7に記載の方法。
[C9]
前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して、前記アイドル状態から前記アクティブ状態に変化する、C7に記載の方法。
[C10]
前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットすることをさらに備える、C1に記載の方法。
[C11]
前記しきい値を調整することは、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整することを備える、C1に記載の方法。
[C12]
前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、C11に記載の方法。
[C13]
前記可能性は、前記コンテキストが睡眠中コンテキストを示す場合に低い、C11に記載の方法。
[C14]
前記入力音ストリームから前記ターゲットキーワードを検出することは、
前記入力音ストリームと前記ターゲットキーワードの音モデルとの間の類似度を計算することと、
前記類似度を前記しきい値と比較することと、
前記類似度が前記しきい値を超える場合、前記入力音ストリームから前記ターゲットキーワードを検出することと、
を備える、C1に記載の方法。
[C15]
ボイスアシスタント機能をアクティブにするためのモバイルデバイスであって、
入力音ストリームを受信するように構成された音センサーと、
前記モバイルデバイスのコンテキストを決定することによって、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整するように構成されたしきい値調整ユニットと、
前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにするように構成されたボイスアクティベーションユニットと、
を備える、モバイルデバイス。
[C16]
前記しきい値調整ユニットは、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別するように構成されたコンテキスト推論ユニットを備える、C15に記載のモバイルデバイス。
[C17]
前記しきい値調整ユニットは、前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記データに基づいて前記モバイルデバイスの前記コンテキストを識別するように構成されたコンテキスト決定ユニットを備える、C15に記載のモバイルデバイス。
[C18]
前記しきい値調整ユニットは、前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあると識別するように構成されたコンテキスト決定ユニットを備える、C15に記載のモバイルデバイス。
[C19]
前記しきい値調整ユニットは、前記モバイルデバイス中の照明センサーおよび近接度センサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストをコンテナ内にあると識別するように構成されたコンテキスト決定ユニットを備える、C15に記載のモバイルデバイス。
[C20]
前記しきい値調整ユニットは、前記モバイルデバイスのステータス情報を取得し、前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別するように構成されたコンテキスト決定ユニットを備える、C15に記載のモバイルデバイス。
[C21]
前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイス中のプロセッサの動作ステータスの変化を示す、C20に記載のモバイルデバイス。
[C22]
前記プロセッサの前記動作ステータスは、電子メッセージを受信したことに応答して、前記アイドル状態から前記アクティブ状態に変化する、C21に記載のモバイルデバイス。
[C23]
前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して、前記アイドル状態から前記アクティブ状態に変化する、C21に記載のモバイルデバイス。
[C24]
前記しきい値調整ユニットは、前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットするようにさらに構成された、C15に記載のモバイルデバイス。
[C25]
前記しきい値調整ユニットは、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整するようにさらに構成された、C15に記載のモバイルデバイス。
[C26]
前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、C25に記載のモバイルデバイス。
[C27]
前記可能性は、前記コンテキストが睡眠中コンテキストを示す場合に低い、C25に記載のモバイルデバイス。
[C28]
前記ボイスアクティベーションユニットは、前記入力音ストリームと前記ターゲットキーワードの音モデルとの間の類似度を計算し、前記類似度を前記しきい値と比較し、前記類似度が前記しきい値を超える場合、前記入力音ストリームから前記ターゲットキーワードを検出するようにさらに構成された、C15に記載のモバイルデバイス。
[C29]
ボイスアシスタント機能をアクティブにするためのモバイルデバイスであって、
入力音ストリームを受信するための手段と、
前記モバイルデバイスのコンテキストを決定することによって、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整するための手段と、
前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにするための手段と、
を備える、モバイルデバイス。
[C30]
前記しきい値を調整するための前記手段は、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別するための手段を備える、C29に記載のモバイルデバイス。
[C31]
前記しきい値を調整するための前記手段は、前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記データに基づいて前記モバイルデバイスの前記コンテキストを識別するための手段を備える、C29に記載のモバイルデバイス。
[C32]
前記しきい値を調整するための前記手段は、前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあると識別するための手段を備える、C29に記載のモバイルデバイス。
[C33]
前記しきい値を調整するための前記手段は、前記モバイルデバイスのステータス情報を取得し、前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別するための手段を備える、C29に記載のモバイルデバイス。
[C34]
前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイス中のプロセッサの動作ステータスの変化を示す、C33に記載のモバイルデバイス。
[C35]
前記プロセッサの前記動作ステータスは、電子メッセージを受信したことに応答して前記アイドル状態から前記アクティブ状態に変化する、C34に記載のモバイルデバイス。
[C36]
前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して前記アイドル状態から前記アクティブ状態に変化する、C34に記載のモバイルデバイス。
[C37]
前記しきい値を調整するための前記手段は、前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットするように構成された、C29に記載のモバイルデバイス。
[C38]
前記しきい値を調整するための前記手段は、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整するように構成された、C29に記載のモバイルデバイス。
[C39]
前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、C38に記載のモバイルデバイス。
[C40]
モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための命令を備える非一時的コンピュータ可読記憶媒体であって、前記命令は、前記モバイルデバイスのプロセッサに、
音センサーによって入力音ストリームを受信することと、
前記モバイルデバイスのコンテキストを決定することと、
前記コンテキストに基づいて、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整することと、
前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードを検出することと、
前記ターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにすることと、
のオペレーションを実行させる、非一時的コンピュータ可読記憶媒体。
[C41]
前記モバイルデバイスの前記コンテキストを決定することは、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別することを備える、C40に記載の媒体。
[C42]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
前記データに基づいて前記モバイルデバイスの前記コンテキストを識別することと、
を備える、C40に記載の媒体。
[C43]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあるとして識別することと、
を備える、C40に記載の媒体。
[C44]
前記モバイルデバイスの前記コンテキストを決定することは、
前記モバイルデバイスのステータス情報を取得することと、
前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別することと、
を備える、C40に記載の媒体。
[C45]
前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイスの前記プロセッサの動作ステータスの変化を示す、C44に記載の媒体。
[C46]
前記プロセッサの前記動作ステータスは、電子メッセージを受信したことに応答して前記アイドル状態から前記アクティブ状態に変化する、C45に記載の媒体。
[C47]
前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して前記アイドル状態から前記アクティブ状態に変化する、C45に記載の媒体。
[C48]
前記オペレーションは、前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットすることをさらに備える、C40に記載の媒体。
[C49]
前記しきい値を調整することは、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整することを備える、C40に記載の媒体。
[C50]
前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、C49に記載の媒体。

Claims (50)

  1. モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための方法であって、前記方法は、
    音センサーによって入力音ストリームを受信することと、
    前記モバイルデバイスのコンテキストを決定することと、
    前記コンテキストに基づいて、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整することと、
    前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードを検出することと、
    前記ターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにすることと、
    を備える方法。
  2. 前記モバイルデバイスの前記コンテキストを決定することは、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別することを備える、請求項1に記載の方法。
  3. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
    前記データに基づいて前記モバイルデバイスの前記コンテキストを識別することと、
    を備える、請求項1に記載の方法。
  4. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
    前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあると識別することと、
    を備える、請求項1に記載の方法。
  5. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイス中の照明センサーおよび近接度センサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
    前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストをコンテナ内にあると識別することと、
    を備える、請求項1に記載の方法。
  6. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイスのステータス情報を取得することと、
    前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別することと、
    を備える、請求項1に記載の方法。
  7. 前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイス中のプロセッサの動作ステータスの変化を示す、請求項6に記載の方法。
  8. 前記プロセッサの前記動作ステータスは、電子メッセージを受信することに応答して、前記アイドル状態から前記アクティブ状態に変化する、請求項7に記載の方法。
  9. 前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して、前記アイドル状態から前記アクティブ状態に変化する、請求項7に記載の方法。
  10. 前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットすることをさらに備える、請求項1に記載の方法。
  11. 前記しきい値を調整することは、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整することを備える、請求項1に記載の方法。
  12. 前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、請求項11に記載の方法。
  13. 前記可能性は、前記コンテキストが睡眠中コンテキストを示す場合に低い、請求項11に記載の方法。
  14. 前記入力音ストリームから前記ターゲットキーワードを検出することは、
    前記入力音ストリームと前記ターゲットキーワードの音モデルとの間の類似度を計算することと、
    前記類似度を前記しきい値と比較することと、
    前記類似度が前記しきい値を超える場合、前記入力音ストリームから前記ターゲットキーワードを検出することと、
    を備える、請求項1に記載の方法。
  15. ボイスアシスタント機能をアクティブにするためのモバイルデバイスであって、
    入力音ストリームを受信するように構成された音センサーと、
    前記モバイルデバイスのコンテキストを決定することによって、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整するように構成されたしきい値調整ユニットと、
    前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにするように構成されたボイスアクティベーションユニットと、
    を備える、モバイルデバイス。
  16. 前記しきい値調整ユニットは、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別するように構成されたコンテキスト推論ユニットを備える、請求項15に記載のモバイルデバイス。
  17. 前記しきい値調整ユニットは、前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記データに基づいて前記モバイルデバイスの前記コンテキストを識別するように構成されたコンテキスト決定ユニットを備える、請求項15に記載のモバイルデバイス。
  18. 前記しきい値調整ユニットは、前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあると識別するように構成されたコンテキスト決定ユニットを備える、請求項15に記載のモバイルデバイス。
  19. 前記しきい値調整ユニットは、前記モバイルデバイス中の照明センサーおよび近接度センサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストをコンテナ内にあると識別するように構成されたコンテキスト決定ユニットを備える、請求項15に記載のモバイルデバイス。
  20. 前記しきい値調整ユニットは、前記モバイルデバイスのステータス情報を取得し、前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別するように構成されたコンテキスト決定ユニットを備える、請求項15に記載のモバイルデバイス。
  21. 前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイス中のプロセッサの動作ステータスの変化を示す、請求項20に記載のモバイルデバイス。
  22. 前記プロセッサの前記動作ステータスは、電子メッセージを受信したことに応答して、前記アイドル状態から前記アクティブ状態に変化する、請求項21に記載のモバイルデバイス。
  23. 前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して、前記アイドル状態から前記アクティブ状態に変化する、請求項21に記載のモバイルデバイス。
  24. 前記しきい値調整ユニットは、前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットするようにさらに構成された、請求項15に記載のモバイルデバイス。
  25. 前記しきい値調整ユニットは、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整するようにさらに構成された、請求項15に記載のモバイルデバイス。
  26. 前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、請求項25に記載のモバイルデバイス。
  27. 前記可能性は、前記コンテキストが睡眠中コンテキストを示す場合に低い、請求項25に記載のモバイルデバイス。
  28. 前記ボイスアクティベーションユニットは、前記入力音ストリームと前記ターゲットキーワードの音モデルとの間の類似度を計算し、前記類似度を前記しきい値と比較し、前記類似度が前記しきい値を超える場合、前記入力音ストリームから前記ターゲットキーワードを検出するようにさらに構成された、請求項15に記載のモバイルデバイス。
  29. ボイスアシスタント機能をアクティブにするためのモバイルデバイスであって、
    入力音ストリームを受信するための手段と、
    前記モバイルデバイスのコンテキストを決定することによって、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整するための手段と、
    前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにするための手段と、
    を備える、モバイルデバイス。
  30. 前記しきい値を調整するための前記手段は、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別するための手段を備える、請求項29に記載のモバイルデバイス。
  31. 前記しきい値を調整するための前記手段は、前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記データに基づいて前記モバイルデバイスの前記コンテキストを識別するための手段を備える、請求項29に記載のモバイルデバイス。
  32. 前記しきい値を調整するための前記手段は、前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得し、前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあると識別するための手段を備える、請求項29に記載のモバイルデバイス。
  33. 前記しきい値を調整するための前記手段は、前記モバイルデバイスのステータス情報を取得し、前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別するための手段を備える、請求項29に記載のモバイルデバイス。
  34. 前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイス中のプロセッサの動作ステータスの変化を示す、請求項33に記載のモバイルデバイス。
  35. 前記プロセッサの前記動作ステータスは、電子メッセージを受信したことに応答して前記アイドル状態から前記アクティブ状態に変化する、請求項34に記載のモバイルデバイス。
  36. 前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して前記アイドル状態から前記アクティブ状態に変化する、請求項34に記載のモバイルデバイス。
  37. 前記しきい値を調整するための前記手段は、前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットするように構成された、請求項29に記載のモバイルデバイス。
  38. 前記しきい値を調整するための前記手段は、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整するように構成された、請求項29に記載のモバイルデバイス。
  39. 前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、請求項38に記載のモバイルデバイス。
  40. モバイルデバイスにおいてボイスアシスタント機能をアクティブにするための命令を備える非一時的コンピュータ可読記憶媒体であって、前記命令は、前記モバイルデバイスのプロセッサに、
    音センサーによって入力音ストリームを受信することと、
    前記モバイルデバイスのコンテキストを決定することと、
    前記コンテキストに基づいて、前記ボイスアシスタント機能をアクティブにするためのしきい値を調整することと、
    前記調整されたしきい値に基づいて前記入力音ストリームからターゲットキーワードを検出することと、
    前記ターゲットキーワードが検出された場合、前記ボイスアシスタント機能をアクティブにすることと、
    のオペレーションを実行させる、非一時的コンピュータ可読記憶媒体。
  41. 前記モバイルデバイスの前記コンテキストを決定することは、前記入力音ストリームに基づいて前記モバイルデバイスの前記コンテキストを識別することを備える、請求項40に記載の媒体。
  42. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイス中の加速度センサー、ロケーションセンサー、照明センサー、近接度センサー、クロックユニット、およびカレンダーユニットのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
    前記データに基づいて前記モバイルデバイスの前記コンテキストを識別することと、
    を備える、請求項40に記載の媒体。
  43. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイス中の加速度センサーおよびロケーションセンサーのうちの少なくとも1つから、前記モバイルデバイスの前記コンテキストを示すデータを取得することと、
    前記入力音ストリームと前記データとに基づいて、前記モバイルデバイスの前記コンテキストを車両の中にあるとして識別することと、
    を備える、請求項40に記載の媒体。
  44. 前記モバイルデバイスの前記コンテキストを決定することは、
    前記モバイルデバイスのステータス情報を取得することと、
    前記ステータス情報に基づいて前記モバイルデバイスの前記コンテキストを識別することと、
    を備える、請求項40に記載の媒体。
  45. 前記ステータス情報は、アイドル状態からアクティブ状態への前記モバイルデバイスの前記プロセッサの動作ステータスの変化を示す、請求項44に記載の媒体。
  46. 前記プロセッサの前記動作ステータスは、電子メッセージを受信したことに応答して前記アイドル状態から前記アクティブ状態に変化する、請求項45に記載の媒体。
  47. 前記プロセッサの前記動作ステータスは、前記モバイルデバイスにおけるアラームイベントに応答して前記アイドル状態から前記アクティブ状態に変化する、請求項45に記載の媒体。
  48. 前記オペレーションは、前記しきい値を調整した後に予め定められた時間期間が経過したとき、前記しきい値を予め定められたしきい値にセットすることをさらに備える、請求項40に記載の媒体。
  49. 前記しきい値を調整することは、前記モバイルデバイスの前記コンテキストにおいて前記ボイスアシスタント機能を使用する可能性に基づいて前記しきい値を調整することを備える、請求項40に記載の媒体。
  50. 前記可能性は、前記コンテキストが、前記モバイルデバイスが車両の中にあることを示す場合に高い、請求項49に記載の媒体。
JP2016542030A 2013-09-17 2014-09-08 ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置 Active JP6538060B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/029,131 US9240182B2 (en) 2013-09-17 2013-09-17 Method and apparatus for adjusting detection threshold for activating voice assistant function
US14/029,131 2013-09-17
PCT/US2014/054540 WO2015041882A1 (en) 2013-09-17 2014-09-08 Method and apparatus for adjusting detection threshold for activating voice assistant function

Publications (3)

Publication Number Publication Date
JP2016536648A true JP2016536648A (ja) 2016-11-24
JP2016536648A5 JP2016536648A5 (ja) 2017-09-21
JP6538060B2 JP6538060B2 (ja) 2019-07-03

Family

ID=51703378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016542030A Active JP6538060B2 (ja) 2013-09-17 2014-09-08 ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置

Country Status (7)

Country Link
US (1) US9240182B2 (ja)
EP (2) EP3754652B1 (ja)
JP (1) JP6538060B2 (ja)
KR (1) KR102317608B1 (ja)
CN (1) CN105556595B (ja)
ES (1) ES2817841T3 (ja)
WO (1) WO2015041882A1 (ja)

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109769180A (zh) * 2017-11-10 2019-05-17 恩智浦有限公司 车辆音频呈现控制器
JP2019091472A (ja) * 2014-09-12 2019-06-13 アップル インコーポレイテッドApple Inc. 発語トリガを常時リッスンするための動的閾値
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
JP7418526B2 (ja) 2018-08-21 2024-01-19 グーグル エルエルシー 自動アシスタントを起動させるための動的および/またはコンテキスト固有のホットワード
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
JP7516571B2 (ja) 2020-06-10 2024-07-16 グーグル エルエルシー ホットワードしきい値自動チューニング

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9772815B1 (en) 2013-11-14 2017-09-26 Knowles Electronics, Llc Personalized operation of a mobile device using acoustic and non-acoustic information
US9892729B2 (en) * 2013-05-07 2018-02-13 Qualcomm Incorporated Method and apparatus for controlling voice activation
US20140337031A1 (en) * 2013-05-07 2014-11-13 Qualcomm Incorporated Method and apparatus for detecting a target keyword
US9026176B2 (en) * 2013-05-12 2015-05-05 Shyh-Jye Wang Message-triggered voice command interface in portable electronic devices
CN105659179B (zh) 2013-08-21 2018-07-17 霍尼韦尔国际公司 用于与hvac控制器相交互的设备和方法
US9508345B1 (en) 2013-09-24 2016-11-29 Knowles Electronics, Llc Continuous voice sensing
US9781106B1 (en) 2013-11-20 2017-10-03 Knowles Electronics, Llc Method for modeling user possession of mobile device for user authentication framework
US9953634B1 (en) 2013-12-17 2018-04-24 Knowles Electronics, Llc Passive training for automatic speech recognition
US9741343B1 (en) * 2013-12-19 2017-08-22 Amazon Technologies, Inc. Voice interaction application selection
US9899021B1 (en) * 2013-12-20 2018-02-20 Amazon Technologies, Inc. Stochastic modeling of user interactions with a detection system
US9500739B2 (en) 2014-03-28 2016-11-22 Knowles Electronics, Llc Estimating and tracking multiple attributes of multiple objects from multi-sensor data
US9437188B1 (en) 2014-03-28 2016-09-06 Knowles Electronics, Llc Buffered reprocessing for multi-microphone automatic speech recognition assist
EP3126929B1 (en) * 2014-03-31 2020-11-18 Intel Corporation Location aware power management scheme for always-on- always-listen voice recognition system
US10770075B2 (en) * 2014-04-21 2020-09-08 Qualcomm Incorporated Method and apparatus for activating application by speech input
KR102338899B1 (ko) * 2015-01-02 2021-12-13 삼성전자주식회사 홈 디바이스를 제어하는 방법 및 디바이스
CN104657072B (zh) * 2015-01-15 2018-06-12 小米科技有限责任公司 一种触发执行操作指令的方法和装置
CN106469040B (zh) 2015-08-19 2019-06-21 华为终端有限公司 通信方法、服务器及设备
CN106486127A (zh) * 2015-08-25 2017-03-08 中兴通讯股份有限公司 一种语音识别参数自动调整的方法、装置及移动终端
CN105261368B (zh) * 2015-08-31 2019-05-21 华为技术有限公司 一种语音唤醒方法及装置
DE112015006887B4 (de) * 2015-09-09 2020-10-08 Mitsubishi Electric Corporation Fahrzeug-Spracherkennungsvorrichtung und Fahrzeugausrüstung
US9792907B2 (en) 2015-11-24 2017-10-17 Intel IP Corporation Low resource key phrase detection for wake on voice
US9946862B2 (en) * 2015-12-01 2018-04-17 Qualcomm Incorporated Electronic device generating notification based on context data in response to speech phrase from user
KR102501083B1 (ko) * 2016-02-05 2023-02-17 삼성전자 주식회사 음성 인식 방법 및 이를 사용하는 전자 장치
US9972313B2 (en) * 2016-03-01 2018-05-15 Intel Corporation Intermediate scoring and rejection loopback for improved key phrase detection
US10332516B2 (en) 2016-05-10 2019-06-25 Google Llc Media transfer among media output devices
JP6797938B2 (ja) 2016-05-13 2020-12-09 グーグル エルエルシーGoogle LLC 媒体出力装置間での媒体転送
US10102732B2 (en) 2016-06-28 2018-10-16 Infinite Designs, LLC Danger monitoring system
US10043521B2 (en) 2016-07-01 2018-08-07 Intel IP Corporation User defined key phrase detection by user dependent sequence modeling
US10621992B2 (en) * 2016-07-22 2020-04-14 Lenovo (Singapore) Pte. Ltd. Activating voice assistant based on at least one of user proximity and context
US10291975B2 (en) * 2016-09-06 2019-05-14 Apple Inc. Wireless ear buds
WO2018118744A1 (en) * 2016-12-19 2018-06-28 Knowles Electronics, Llc Methods and systems for reducing false alarms in keyword detection
US10083689B2 (en) * 2016-12-23 2018-09-25 Intel Corporation Linear scoring for low power wake on voice
US10664533B2 (en) 2017-05-24 2020-05-26 Lenovo (Singapore) Pte. Ltd. Systems and methods to determine response cue for digital assistant based on context
US10204624B1 (en) * 2017-08-14 2019-02-12 Lenovo (Singapore) Pte. Ltd. False positive wake word
KR102492727B1 (ko) * 2017-12-04 2023-02-01 삼성전자주식회사 전자장치 및 그 제어방법
US10524046B2 (en) 2017-12-06 2019-12-31 Ademco Inc. Systems and methods for automatic speech recognition
US10948563B2 (en) * 2018-03-27 2021-03-16 Infineon Technologies Ag Radar enabled location based keyword activation for voice assistants
JP2019204025A (ja) * 2018-05-24 2019-11-28 レノボ・シンガポール・プライベート・リミテッド 電子機器、制御方法、及びプログラム
JP2019211599A (ja) * 2018-06-04 2019-12-12 本田技研工業株式会社 音声認識装置、音声認識方法およびプログラム
EP3756087A4 (en) * 2018-06-05 2021-04-21 Samsung Electronics Co., Ltd. PASSIVE WAKE-UP PROCESSES AND SYSTEMS OF A USER INTERACTION DEVICE
CN112243526A (zh) 2018-06-05 2021-01-19 三星电子株式会社 语音辅助设备及其方法
US10714122B2 (en) 2018-06-06 2020-07-14 Intel Corporation Speech classification of audio for wake on voice
TWI683306B (zh) * 2018-08-28 2020-01-21 仁寶電腦工業股份有限公司 多語音助理之控制方法
CN110867182B (zh) * 2018-08-28 2022-04-12 仁宝电脑工业股份有限公司 多语音助理的控制方法
US10650807B2 (en) 2018-09-18 2020-05-12 Intel Corporation Method and system of neural network keyphrase detection
CN109346071A (zh) * 2018-09-26 2019-02-15 出门问问信息科技有限公司 唤醒处理方法、装置及电子设备
US11562135B2 (en) 2018-10-16 2023-01-24 Oracle International Corporation Constructing conclusive answers for autonomous agents
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11232788B2 (en) * 2018-12-10 2022-01-25 Amazon Technologies, Inc. Wakeword detection
US11321536B2 (en) * 2019-02-13 2022-05-03 Oracle International Corporation Chatbot conducting a virtual social dialogue
US11127394B2 (en) 2019-03-29 2021-09-21 Intel Corporation Method and system of high accuracy keyphrase detection for low resource devices
CN110022427A (zh) * 2019-05-22 2019-07-16 乐山师范学院 汽车使用智能辅助***
CN110047487B (zh) * 2019-06-05 2022-03-18 广州小鹏汽车科技有限公司 车载语音设备的唤醒方法、装置、车辆以及机器可读介质
KR20200141860A (ko) * 2019-06-11 2020-12-21 삼성전자주식회사 전자 장치 및 그 제어 방법
CN112104901A (zh) * 2019-06-17 2020-12-18 深圳市同行者科技有限公司 一种车载设备的自销售方法及***
CN110797051A (zh) * 2019-10-28 2020-02-14 星络智能科技有限公司 一种唤醒门限设置方法、装置、智能音箱及存储介质
CN110942768A (zh) * 2019-11-20 2020-03-31 Oppo广东移动通信有限公司 设备唤醒的测试方法、装置、移动终端和存储介质
WO2021141330A1 (ko) * 2020-01-06 2021-07-15 삼성전자(주) 전자장치 및 그 제어방법
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
US11721338B2 (en) * 2020-08-26 2023-08-08 International Business Machines Corporation Context-based dynamic tolerance of virtual assistant
KR20220111574A (ko) * 2021-02-02 2022-08-09 삼성전자주식회사 전자 장치 및 그 제어 방법
EP4220628A4 (en) 2021-02-19 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC SERVICE SUPPORT DEVICE FOR ARTIFICIAL INTELLIGENCE (AI) AGENT TALKING WITH USER
CN113470657B (zh) * 2021-05-18 2023-12-01 翱捷科技(深圳)有限公司 一种语音唤醒阈值调整方法及***
US11823707B2 (en) * 2022-01-10 2023-11-21 Synaptics Incorporated Sensitivity mode for an audio spotting system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263093A (ja) * 1995-03-22 1996-10-11 Sharp Corp 音声認識制御装置
JP2004294946A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 携帯型電子機器
JP2010281855A (ja) * 2009-06-02 2010-12-16 Nissan Motor Co Ltd 音声対話装置および音声対話方法
US20120034904A1 (en) * 2010-08-06 2012-02-09 Google Inc. Automatically Monitoring for Voice Input Based on Context
JP2012216057A (ja) * 2011-03-31 2012-11-08 Toshiba Corp 音声処理装置、及び音声処理方法
JP2012242609A (ja) * 2011-05-19 2012-12-10 Mitsubishi Heavy Ind Ltd 音声認識装置、ロボット、及び音声認識方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0856832A1 (fr) 1997-02-03 1998-08-05 Koninklijke Philips Electronics N.V. Procédé de reconnaissance vocale de mots et dispositif dans lequel ledit procédé est mis en application
AU2048001A (en) * 1999-11-23 2001-06-04 Katherine Axia Keough System and method of templating specific human voices
EP1679867A1 (en) * 2005-01-06 2006-07-12 Orange SA Customisation of VoiceXML Application
JP4660299B2 (ja) * 2005-06-29 2011-03-30 三菱電機株式会社 移動体用情報装置
US20070263805A1 (en) 2006-05-01 2007-11-15 Mcdonald Christopher F Method to alert participant on a conference call
US20080147411A1 (en) * 2006-12-19 2008-06-19 International Business Machines Corporation Adaptation of a speech processing system from external input that is not directly related to sounds in an operational acoustic environment
US8417518B2 (en) 2007-02-27 2013-04-09 Nec Corporation Voice recognition system, method, and program
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US20080300025A1 (en) * 2007-05-31 2008-12-04 Motorola, Inc. Method and system to configure audio processing paths for voice recognition
JP4973722B2 (ja) 2009-02-03 2012-07-11 株式会社デンソー 音声認識装置、音声認識方法、及びナビゲーション装置
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120264091A1 (en) * 2009-08-17 2012-10-18 Purdue Research Foundation Method and system for training voice patterns
US8270954B1 (en) 2010-02-02 2012-09-18 Sprint Communications Company L.P. Concierge for portable electronic device
RU2542937C2 (ru) * 2011-09-30 2015-02-27 Эпл Инк. Использование контекстной информации для облегчения обработки команд в виртуальном помощнике
KR101590332B1 (ko) * 2012-01-09 2016-02-18 삼성전자주식회사 영상장치 및 그 제어방법
US9349366B2 (en) * 2012-06-13 2016-05-24 Wearsafe Labs Llc Systems and methods for managing an emergency situation
CN102999161B (zh) * 2012-11-13 2016-03-02 科大讯飞股份有限公司 一种语音唤醒模块的实现方法及应用
CN103065631B (zh) * 2013-01-24 2015-07-29 华为终端有限公司 一种语音识别的方法、装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08263093A (ja) * 1995-03-22 1996-10-11 Sharp Corp 音声認識制御装置
JP2004294946A (ja) * 2003-03-28 2004-10-21 Toshiba Corp 携帯型電子機器
JP2010281855A (ja) * 2009-06-02 2010-12-16 Nissan Motor Co Ltd 音声対話装置および音声対話方法
US20120034904A1 (en) * 2010-08-06 2012-02-09 Google Inc. Automatically Monitoring for Voice Input Based on Context
JP2012216057A (ja) * 2011-03-31 2012-11-08 Toshiba Corp 音声処理装置、及び音声処理方法
JP2012242609A (ja) * 2011-05-19 2012-12-10 Mitsubishi Heavy Ind Ltd 音声認識装置、ロボット、及び音声認識方法

Cited By (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
JP2019091472A (ja) * 2014-09-12 2019-06-13 アップル インコーポレイテッドApple Inc. 発語トリガを常時リッスンするための動的閾値
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
CN109769180A (zh) * 2017-11-10 2019-05-17 恩智浦有限公司 车辆音频呈现控制器
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
JP7418526B2 (ja) 2018-08-21 2024-01-19 グーグル エルエルシー 自動アシスタントを起動させるための動的および/またはコンテキスト固有のホットワード
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
JP7516571B2 (ja) 2020-06-10 2024-07-16 グーグル エルエルシー ホットワードしきい値自動チューニング
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
KR20160055915A (ko) 2016-05-18
KR102317608B1 (ko) 2021-10-25
ES2817841T3 (es) 2021-04-08
US9240182B2 (en) 2016-01-19
JP6538060B2 (ja) 2019-07-03
EP3754652B1 (en) 2023-09-06
CN105556595A (zh) 2016-05-04
WO2015041882A1 (en) 2015-03-26
EP3047482A1 (en) 2016-07-27
EP3754652A1 (en) 2020-12-23
EP3754652C0 (en) 2023-09-06
CN105556595B (zh) 2019-11-01
US20150081296A1 (en) 2015-03-19
EP3047482B1 (en) 2020-06-10

Similar Documents

Publication Publication Date Title
JP6538060B2 (ja) ボイスアシスタント機能をアクティブにするための検出しきい値を調整するための方法および装置
JP6301451B2 (ja) 音声アクティブ化を制御するための方法および装置
JP6585300B2 (ja) ユーザからの音声フレーズに応答してのコンテキストデータに基づいた電子デバイスによる通知の生成
EP3134896B1 (en) Method and apparatus for activating application by speech input
EP2829087B1 (en) Controlling applications in a mobile device based on the environmental context
EP2994911B1 (en) Adaptive audio frame processing for keyword detection
WO2016160123A1 (en) Controlling electronic device based on direction of speech
JP2018508868A (ja) コンテキストベースのアクセス検証
US20230395077A1 (en) Device finder using voice authentication

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190605

R150 Certificate of patent or registration of utility model

Ref document number: 6538060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250