JP6906584B2 - デバイスをウェイクアップするための方法及び装置 - Google Patents

デバイスをウェイクアップするための方法及び装置 Download PDF

Info

Publication number
JP6906584B2
JP6906584B2 JP2019196478A JP2019196478A JP6906584B2 JP 6906584 B2 JP6906584 B2 JP 6906584B2 JP 2019196478 A JP2019196478 A JP 2019196478A JP 2019196478 A JP2019196478 A JP 2019196478A JP 6906584 B2 JP6906584 B2 JP 6906584B2
Authority
JP
Japan
Prior art keywords
response
response text
self
wake word
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019196478A
Other languages
English (en)
Other versions
JP2020149038A (ja
Inventor
ダンダン タン
ダンダン タン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド
Publication of JP2020149038A publication Critical patent/JP2020149038A/ja
Application granted granted Critical
Publication of JP6906584B2 publication Critical patent/JP6906584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • G10L15/05Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/027Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

本願の実施形態は、コンピューター技術の分野に関し、特には、デバイスをウェイクアップするための方法及び装置に関する。
人工知能技術の発展に伴い、スマート音声デバイス(例えば、スマートサウンドボックス、スマートホン、スマートテレビ等)が益々多くのユーザーに使用されるようになっている。ユーザーは、音声でスマート端末デバイスとインタラクティブすることによって、スマート音声デバイスをウェイクアップすることができる。
従来のウェイクアップする方案では、通常、スマート音声デバイスの固有のウェイクワードを用いてウェイクアップしている。
本願の実施形態は、デバイスをウェイクアップするための方法及び装置を提供する。
本願の第一態様によれば、デバイスをウェイクアップするための方法であって、デバイスを取り巻く環境の音声信号を収集するステップと、前記音声信号が自己定義ウェイクワードを含むことを判定したことに応答し、ユーザーによって予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定するステップと、前記応答ポリシーに基づき、ターゲット応答テキストを決定するステップと、前記ターゲット応答テキストの応答音声を生成し、前記応答音声を再生するステップとを備えることを特徴とする方法を提供する。
幾つかの実施例において、前記応答ポリシーに基づき、ターゲット応答テキストを決定するステップは、現在のネットワークの接続状態が正常であることに応答し、クラウドサーバーに前記自己定義ウェイクワードを送信するステップと、前記クラウドサーバーから受信した応答テキストをターゲット応答テキストとして決定するステップとを備える。
幾つかの実施例において、前記応答ポリシーに基づき、ターゲット応答テキストを決定するステップは、現在のネットワークの接続状態が異常であることに応答し、予め設定された応答テキスト集合から前記自己定義ウェイクワードにマッチするターゲット応答テキストを決定し、又は、応答テキスト履歴集合からターゲット応答テキストを決定するステップを備える。
幾つかの実施例において、応答テキスト履歴集合からターゲット応答テキストを決定するステップは、前記応答テキスト履歴集合が空であると決定されたことに応答し、予め設定された応答テキストをターゲット応答テキストとして決定するステップを備える。
幾つかの実施例において、ユーザーによって送信された、自己定義ウェイクワードを含むウェイクワード設定要求を受信するステップと、前記自己定義ウェイクワードをデバイスの自己定義ウェイクワードとして設定するステップとを更に備える。
幾つかの実施例において、前記ウェイクワード設定要求は、応答テキストを更に含み、前記応答ポリシーに基づいてターゲット応答テキストを決定するステップは、前記ウェイクワード設定要求の中の応答テキストをターゲット応答テキストとして決定するステップを含む。
第二態様によれば、デバイスをウェイクアップするための装置であって、デバイスを取り巻く環境の音声信号を収集するように構成されている音声信号収集ユニットと、前記音声信号が自己定義ウェイクワードを含むことを判定したことに応答し、ユーザーが予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定するように構成されている応答ポリシー決定ユニットと、前記応答ポリシーに基づき、ターゲット応答テキストを決定するように構成されている応答テキスト決定ユニットと、前記ターゲット応答テキストの応答音声を生成し、前記応答音声を再生するように構成されている応答音声再生ユニットとを備えることを特徴とする装置を提供する。
幾つかの実施例において、応答テキスト決定ユニットは、現在のネットワークの接続状態が正常であることに応答し、クラウドサーバーに前記自己定義ウェイクワードを送信し、前記クラウドサーバーから受信した応答テキストをターゲット応答テキストとして決定するように更に構成されている。
幾つかの実施例において、応答テキスト決定ユニットは、現在のネットワークの接続状態が異常であることに応答し、予め設定された応答テキスト集合から前記自己定義ウェイクワードにマッチするターゲット応答テキストを決定し、又は、応答テキスト履歴集合からターゲット応答テキストを決定するように更に構成されている。
幾つかの実施例において、応答テキスト決定ユニットは、前記応答テキスト履歴集合が空であると決定されたことに応答し、予め設定された応答テキストをターゲット応答テキストとして決定するように更に構成されている。
幾つかの実施例において、ユーザーが送った、自己定義ウェイクワードを含むウェイクワード設定要求を受信し、前記自己定義ウェイクワードをデバイスの自己定義ウェイクワードとして設定するように構成されている自己定義ウェイクワード設定ユニットを更に備える。
幾つかの実施例において、ウェイクワード設定要求は、応答テキストを更に含み、前記応答テキスト決定ユニットは、前記ウェイクワード設定要求の中の応答テキストをターゲット応答テキストとして決定するように更に構成されている。
第三態様によれば、一つ又は複数のプロセッサと、一つ又は複数のプログラムを記憶している記憶装置とを備え、前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行されると、前記一つ又は複数のプロセッサに、第一態様の何れか1つに記載の方法を実行させることを特徴とする端末デバイスを提供する。
第四態様によれば、コンピュータープログラムを記憶しているコンピューター可読メディアであって、前記コンピュータープログラムがプロセッサによって実行されると、第一態様の何れか1つに記載の方法を前記プロセッサに実行させることを特徴とするコンピューター可読メディアを提供する。
本願の前記実施形態によるデバイスをウェイクアップするための方法及び装置は、まず、デバイスを取り巻く環境の音声信号を収集することができる。その後、前記音声信号が自己定義ウェイクワードを含むことを判定したと、ユーザーが予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定する。応答ポリシーに基づき、ターゲット応答テキストを決定する。最後に、ターゲットテキストの応答音声を生成し、応答音声を再生する。本実施形態の方法では、ユーザーにより自己定義ウェイクワードを設定し、ユーザーにより前記自己定義ウェイクワードの応答音声を設定することができるので、ユーザーとデバイスとのインタラクティブ方式を豊かにすることができる。
以下の図面による非限定的な実施形態についての詳細な説明を読み、参照することにより、本願の他の特徴、目的及び利点がより明らかになる。
本願の一実施形態が適用可能な例示システムアーキテクチャ図である。 本願のデバイスをウェイクアップするための方法にかかる一実施形態のフローチャート図である。 本願のデバイスをウェイクアップするための方法にかかる1つの応用場面の模式図である。 本願のデバイスをウェイクアップするための方法にかかるターゲット応答テキストを決定する一実施形態のフローチャート図である。 本願のデバイスをウェイクアップするための装置にかかる一実施形態の構造模式図である。 本願の実施形態にかかる端末デバイスを実現するためのコンピューターシステムの構造模式図である。
以下、図面及び実施形態を参照しながら、本願を更に詳しく説明する。ここで記載された具体的な実施形態は、関連発明を解釈するために用いられ、本発明を限定しないことが理解されたい。なお、説明の便宜上、図面は、発明と関係する部分しか示されていない。
なお、矛盾しない限り、本願の実施形態及び実施形態の特徴は、組合わせても良い。以下、図面を参照しながら、実施形態を用いて本願を説明する。
図1は、本願が用いられることが可能なデバイスをウェイクアップするための方法又はデバイスをウェイクアップするための装置の実施形態の例示的なシステムアーキテクチャ100を示している。
図1に示すように、システムアーキテクチャ100は、端末デバイス101、102、103、ネットワーク104及びサーバー105を含んでも良い。ネットワーク104は、端末デバイス101、102、103とサーバー105の間において通信リンクのメディアを提供するために用いられる。ネットワーク104は、有線、無線通信リンク又は光ファイバーケーブル等のような様々な接続タイプを含んでも良い。
ユーザーは、情報等を受信又は送信するように、端末デバイス101、102、103を使ってネットワーク104によりサーバー105とインタラクティブを行うことができる。端末デバイス102、103には、オーディオ処理タイプアプリケーション、オーディオ再生タイプアプリケーション等のような様々な通信クライアントのアプリケーションをインストールすることができる。
端末デバイス101、102、103は、ハードウェアであっても良く、ソフトウェアであっても良い。端末デバイス102、103がハードウェアである場合、マイクロホン又はスピーカーを有する様々な電子デバイスであっても良く、スマートサウンドボックス、スマートホン、スマートテレビ、タブレットコンピューター、ラップトップポータブルコンピューター及びデスクトップコンピューター等を含むが、これらに限定されない。端末デバイス101、102、103がソフトウェアである場合、上述した列挙した電子デバイスにインストールすることができる。複数のソフトウェア又はソフトウェアモジュール(例えば、分布式サービスを提供するために用いられる)として実現しても良く、単独のソフトウェア又はソフトウェアモジュールとして実現しても良い。ここでは、具体的に限定されない。
サーバー105は、様々なサービスを提供するためのサーバーであっても良く、例えば、端末デバイス101、102、103により収集された音声信号に対して処理を行うバックエンドサーバーである。バックエンドサーバーは、受信された音声信号等のデータに対して分析等の処理を行い、処理結果(例えば、ターゲット応答テキスト)を端末デバイス101、102、103にフィートバックすることができる。
なお、サーバー105は、ハードウェアであっても良く、ソフトウェアであっても良い。サーバー105がハードウェアである場合、複数のサーバーからなる分布式サーバーグループとして実現しても良く、単独のサーバーとして実現しても良い。サーバー105がソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール(例えば、分布式サービスを提供するために用いられる)として実現しても良く、単独のソフトウェア又はソフトウェアモジュールとして実現しても良い。ここでは、具体的に限定されない。
なお、本願の実施形態によるデバイスをウェイクアップするための方法は、一般的に端末デバイス101、102、103により実行され、相応するように、デバイスをウェイクアップするための装置は、一般的に端末デバイス101、102、103に設置されている。
図1における端末デバイス、ネットワーク及びサーバーの数は、例示するものに過ぎないことが理解されたい。実際の必要に応じて任意の数の端末デバイス、ネットワーク及びサーバーを有しても良い。
図2は、本願のデバイスをウェイクアップするための方法による一実施形態のフロー200を示している。本実施形態のデバイスをウェイクアップするための方法は、ステップ201、ステップ202、ステップ203及びステップ204を備える。
ステップ201においては、デバイスを取り巻く環境の音声信号を収集する。
本実施形態においては、デバイスをウェイクアップするための方法の実行主体(例えば、図1に示す端末デバイス101、102、103)は、デバイスに設置されたマイクロホン又は集音器を用いてデバイスを取り巻く環境の音声信号を収集することができる。その後、収集された音声信号を分析することができる。
ステップ202においては、音声信号が自己定義ウェイクワードを含むことを判定したことに応答し、ユーザーが予め設定された、自己定義ウェイクワードに対応する応答ポリシーを決定する。
実行主体は、音声信号に対して音声識別を行うことによって、前記音声信号が自己定義ウェイクワードを含むか否かを判断することができる。前記音声信号が自己定義ウェイクワードを含む場合、実行主体は、ユーザーが予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定することができる。本実施形態においては、応答ポリシーは、自己定義応答ポリシー、デフォルト応答ポリシー及び自動応答ポリシーを含んでも良い。なお、自己定義応答ポリシーは、ユーザーが予め設定した、自己定義ウェイクワードに対応する自己定義応答テキストを含み、デフォルト応答ポリシーは、デバイスのデフォルトの応答テキストを含み、自動応答ポリシーは、実行主体又は実行主体に接続されるクラウドサーバーが自己定義ウェイクワードのために自動的にマッチングする応答テキストであっても良い。
ステップ203においては、応答ポリシーに基づいてターゲット応答テキストを決定する。
実行主体は、応答ポリシーを決定した後、ターゲット応答テキストを決定することができる。具体的には、実行主体は、応答ポリシーに含まれる応答テキストをターゲット応答テキストとすることができる。例えば、実行主体は、応答ポリシーを自己定義応答ポリシーとして決定するすると、自己定義応答ポリシーに含まれる自己定義応答テキストをターゲット応答テキストとして決定することができる。
本実施形態の幾つかの選択可能な実現方法においては、同一のウェイクワードが複数のターゲット応答テキストに対応しても良い。
本実現方法においては、応答ポリシーが自動応答ポリシーである場合、同一の自己定義ウェイクワードに対して異なる応答テキストをマッチングする可能性がある。例えば、自己定義ウェイクワードである「小さい兎」に対し、その対応する応答テキストは、「歯を綺麗に磨きましたか」、「私達は、また会いました」等を含んでも良い。
ステップ204においては、ターゲット応答テキストの応答音声を生成し、応答音声を再生する。
実行主体は、ターゲット応答テキストを決定した後、ターゲット応答テキストの応答音声を生成することができる。具体的には、実行主体は、TTS(Text To Speech、テキストから音声に)技術を用いて応答音声を生成することができる。応答音声が生成された後、実行主体は、ユーザーの自己定義ウェイクワードに応答するように、前記応答音声を再生することで、デバイスをウェイクアップすることができる。応答音声を再生するために、実行主体の中には、スピーカー等の音声再生装置を取り付ける又は接続することができる。
本実施形態の幾つかの選択可能な実現方法においては、前記方法は、図2に示されていない次のステップを含んでも良い。即ち、前記方法は、ユーザーが送った、自己定義ウェイクワードを含むウェイクワード設定要求を受信するステップと、自己定義ウェイクワードをデバイスの自己定義ウェイクワードとして設定するステップとを含んでも良い。
本実現方法においては、実行主体は、ユーザーが送ったウェイクワード設定要求を受信することができる。前記ウェイクワード設定要求は、音声形式であっても良く、テキスト形式であっても良い。例えば、ユーザーは、「私は、杜さん杜さんをウェイクワードと設定したい」と直接に実行主体に言うことができる。実行主体は、前記音声に対して音声識別を行い、識別が成功すると、「杜さん杜さん」を自己定義ウェイクワードとすることができる。
本実施形態の幾つかの選択可能な実現方法においては、前記自己定義ウェイクワードは、複数を含んでも良い。
本実現方法においては、ユーザーは、1つのデバイスのために複数の自己定義ウェイクワードを設定するように、複数のウェイクワード設定要求を複数回送り、それぞれのウェイクワード設定要求が1つの自己定義ウェイクワードを含むことができる。
本実施形態の幾つかの選択可能な実現方法においては、前記ウェイクワード設定要求は、応答テキストを更に含む。実行主体は、ターゲット応答テキストを決定する際、直接にウェイクワード設定要求の中の応答テキストをターゲット応答テキストとすることができる。
本実現方法においては、ユーザーは、自己定義応答テキストを設定することができる。前記自己定義応答テキストは、自己定義ウェイクワードと共に実行主体に送ることができる。実行主体は、分析した後、自己定義応答テキストを自己定義ウェイクワードの応答テキストとすることができる。
図3は、本実施形態のデバイスをウェイクアップするための方法による1つの応用場面の模式図である。図3の応用場面においては、デバイスは、スマートサウンドボックスである。ユーザーは、スマートサウンドボックスの自己定義ウェイクワード及び自己定義ウェイクワードに対応する自己定義応答テキストを予め設定した。なお、自己定義ウェイクワードは、「衆裏に他を尋ぬること千百度」であり、自己定義応答テキストは、「驀然として回首すれば、那の人却って、燈火闌珊たる処に在り」である。ユーザーは、前記自己定義ウェイクワードである「衆裏に他を尋ぬること千百度」を言い出すと、スマートサウンドボックスは、応答音声である「驀然として回首すれば、那の人却って、燈火闌珊たる処に在り」を再生する。
デバイスをウェイクアップする従来の方法においては、通常、ユーザーは、システムの設定されたウェイクワードを用いてデバイスをウェイクアップすることができる。これらのシステムの設定されたウェイクワードは、メインウェイクワードと称されても良い。これらのデバイスは、ユーザーが自己定義ウェイクワードを設定することもサポートする。しかしながら、自己定義ウェイクワードのウェイクアップ率が一般的にメインウェイクワードのウェイクアップ率より低い。なぜならば、メインウェイクワードでウェイクアップすることは、大量のデータによりトレーニングされたウェイクアップモデルを用いて行うが、自己定義ウェイクワードでウェイクアップすることは、データによりトレーニングする必要がない。もし、メインウェイクワードの代わりに、自己定義ウェイクワードを用いれば、ウェイクアップする効果が低く、ユーザーは、常に「ウェイクアップできない」又は「ウェイクアップし間違い」に直面する可能性があるので、ユーザーにマイナスのユーザー体験を与えてしまう。
本願の前記実施形態によるデバイスをウェイクアップするための方法においては、まず、デバイスを取り巻く環境の音声信号を収集する。その後、前記音声信号が自己定義ウェイクワードを含むことを判定したと、ユーザーによって予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定する。応答ポリシーに基づき、ターゲット応答テキストを決定する。最後に、ターゲット応答テキストの応答音声を生成し、応答音声を再生する。本実施形態の方法においては、ユーザーにより自己定義ウェイクワードを設定し、ユーザーにより前記自己定義ウェイクワードの応答音声を設定することができるので、ユーザーとデバイスとのインタラクティブ方式を豊かにし、ユーザーのウェイクアップする経験を高めることができる。
図4は、本願のデバイスをウェイクアップするための方法によるさらなる一実施形態のフロー400を示している。図4に示すように、本実施形態のデバイスをウェイクアップするための方法は、ステップ401、ステップ4021、ステップ4022、ステップ403、ステップ404、ステップ405及びステップ406によりターゲット応答テキストを決定することができる。
ステップ401においては、現在のネットワークの接続状態が正常か否かを判断する。
本実施形態においては、実行主体は、まず、現在のネットワークの接続状態が正常か否かを判断することができる。正常であれば、ステップ4021〜ステップ4022を実行し、正常でなければ、ステップ403又はステップ404を実行する。実行主体は、クラウドサーバーに要求を送ることによって、現在のネットワークの接続状態が正常か否かを判断することができることを理解されたい。所定の時間内にクラウドサーバーの応答を受信したら、現在のネットワークの接続状態が正常であると見なされる。所定の時間内にクラウドサーバーの応答を受信していなかったら、現在のネットワークの接続状態が異常であると見なされる。
ステップ4021においては、クラウドサーバーに自己定義ウェイクワードを送る。
現在のネットワークの接続状態が正常である場合、実行主体は、クラウドサーバーに自己定義ウェイクワードを送ることによって、クラウドサーバーが詞語データベース又は現在のネットワークの人気ワードに基づいて応答テキストを決定する。
ステップ4022においては、クラウドサーバーから受信した応答テキストをターゲット応答テキストとして決定する。
実行主体は、クラウドサーバーから応答テキストを受信し、その後、受信した応答テキストをターゲット応答テキストとすることができる。
ステップ403においては、予め設定された応答テキスト集合から自己定義ウェイクワードにマッチするターゲット応答テキストを決定する。
本実施形態においては、現在のネットワークの接続状態が異常である場合、実行主体は、予め設定された応答テキスト集合から自己定義ウェイクワードにマッチするターゲット応答テキストを決定することができる。ここでは、予め設定された応答テキスト集合は、詞語集合、掛け言葉集合、ネットワーク人気ワード集合等を含んでも良い。例えば、予め設定された応答テキスト集合が掛け言葉集合であり、自己定義ウェイクワードが「胡麻の花は、咲く」である場合、対応する応答テキストは、「下の方からだんだんと咲いてゆく」であっても良い。
ステップ404においては、応答テキスト履歴集合が空か否かを判断する。
実行主体は、応答テキスト履歴集合からターゲット応答テキストを決定することもできる。実行主体は、まず、応答テキスト履歴集合が空である否かを判断する。空であれば、ステップ405を実行し、空でなければ、ステップ406を実行する。
ステップ405においては、予め設定された応答テキストをターゲット応答テキストとして決定する。
応答テキスト履歴集合が空である場合、実行主体は、予め設定された応答テキストをターゲット応答テキストとして決定する。ここでは、予め設定された応答テキストは、デバイスのデフォルトの応答テキストであっても良い。
ステップ406においては、応答テキスト履歴集合からターゲット応答テキストを決定する。
応答テキスト履歴集合が空でない場合、実行主体は、応答テキスト履歴集合からターゲット応答テキストを決定する。具体的には、実行主体は、応答テキスト履歴集合から任意の1つの応答テキスト履歴をターゲット応答テキストとして選出することができる。
本願の前記実施形態によるデバイスをウェイクアップするための方法においては、様々な方式でターゲット応答テキストを決定することができるので、ユーザーのウェイクアップする体験を高めることができる。
図5は、前記各図に示す方法の実現として、本願によるデバイスをウェイクアップするための装置の一実施形態を示している。当該装置の実施形態は、図2に示す方法の実施形態に対応し、当該装置は、具体的に様々な電子デバイスの中に応用することができる。
図5に示すように、本実施形態のデバイスをウェイクアップするための装置500は、音声信号収集ユニット501、応答ポリシー決定ユニット502、応答テキスト決定ユニット503及び応答音声再生ユニット504を備える。
音声信号収集ユニット501は、デバイスを取り巻く環境の音声信号を収集するように構成されている。
応答ポリシー決定ユニット502は、音声信号が自己定義ウェイクワードを含むと判定されたことに応答し、ユーザーが予め設定された、自己定義ウェイクワードに対応する応答ポリシーを決定するように構成されている。
応答テキスト決定ユニット503は、応答ポリシーに基づき、ターゲット応答テキストを決定するように構成されている。
応答音声再生ユニット504は、ターゲット応答テキストの応答音声を生成し、応答音声を再生するように構成されている。
本実施形態の幾つかの選択可能な実現方法においては、応答テキスト決定ユニット503は、現在のネットワークの接続状態が正常であることに応答し、クラウドサーバーに前記自己定義ウェイクワードを送り、クラウドサーバーから受信した応答テキストをターゲット応答テキストとして決定するように更に構成されている。
本実施形態の幾つかの選択可能な実現方法においては、応答テキスト決定ユニット503は、現在のネットワークの接続状態が異常であることに応答し、予め設定された応答テキスト集合から自己定義ウェイクワードにマッチするターゲット応答テキストを決定し、又は、応答テキスト履歴集合からターゲット応答テキストを決定するように構成されている。
本実施形態の幾つかの選択可能な実現方法においては、応答テキスト決定ユニット503は、応答テキスト履歴集合が空であると決定されたことに応答し、予め設定された応答テキストをターゲット応答テキストとして決定する。
本実施形態の幾つかの選択可能な実現方法においては、装置500は、図5に示されていない自己定義ウェイクワード設定ユニットを更に備え、ユーザーから送った、自己定義ウェイクワードを含むウェイクワード設定要求を受信し、自己定義ウェイクワードをデバイスの自己定義ウェイクワードとするように構成されている。
本実施形態の幾つかの選択可能な実現方法においては、ウェイクワード設定要求は、応答テキストを更に備える。応答テキスト決定ユニット503は、ウェイクワード設定要求の中の応答テキストをターゲット応答テキストとして決定するように更に構成されている。
デバイスをウェイクアップするための装置500におけるユニット501〜ユニット504は、それぞれ図2に示される方法の各ステップに対応することが理解されたい。故に、上述した文書においてデバイスをウェイクアップするための方法に関する操作及び特徴は、装置500及びその中に含まれるユニットにも同様に適用し、ここでは、繰り返して説明しない。
図6は、本願の実施形態を実現するために用いられる電子デバイス(例えば、図1の端末デバイス)600の構造模式図を示している。本願の実施形態における端末デバイスは、携帯電話、ノートパソコン、デジタル放送受信機、PDA(パーソナルデジタルアシスタンス)、PAD(タブレットコンピューター)、PMP(携帯型マルチメディアプレイヤー)、車載端末(例えば、車載ナービケーション端末)等のような携帯端末及びデジタルTV、デスクトップコンピューター等のような固定端末を含むが、これらに限定されない。図6に示す端末デバイスは、1つの例示に過ぎず、本願の実施形態の機能及び適用範囲を制限しない。
図6に示すように、電子デバイス600は、リードオンリーメモリ(ROM、Read Only Memory)602に記憶されているプログラム又は記憶装置608からランダムアクセスメモリ(RAM、Random Access Memory)603にローディングされたプログラムに基づいて様々な適切な動作及び処理を実行することが可能な処理装置(例えば、CPU、グラフィックプロセッサ等)601を含む。RAM603の中には、電子デバイス600を操作するために必要な様々プログラム及びデータを更に記憶している。処理装置601、ROM602及びRAM603は、バス604により互いに接続する。入力/出力(I/O)インターフェイス605もバス604に接続されている。
タッチパネルディスプレイ、タッチパッド、キーボード、マウス、カメラ、マイクロホン、加速度計、 ジャイロ等を含む入力装置606、液晶ディスプレイ(LCD、Liquid Crystal Display)、スピーカー、発振器等を含む出力装置607、磁気テープ、ハードディスク等を含む記憶装置608及び通信装置609は、I/Oインターフェイス605に接続されても良い。通信装置609は、電子デバイス600が他のデバイスと無線又は有線通信を行うことを許可することで、データのやり取りを行う。図6は、様々な装置の電子デバイス600を示しているが、示された全ての装置を実施する又は有する必要がないことを理解されたい。その代わりに、もっと多い又はもっと少ない装置を実施し又は有しても良い。図6に示されている各ブロックは、1つの装置を表しても良く、必要に応じて複数の装置を表しても良い。
特に、本願の実施形態により、上述した内容においてフローチャート図を参照して記載したプロセスは、コンピューターのソフトウェアのプログラムとして実現することができる。例えば、本明細書に開示する実施形態は、コンピューターのプログラムの製品を含み、当該コンピューターのプログラムの製品は、コンピューター可読メディアにインストールされている、フローチャート図に示す方法を実行するためのプログラムコードを含むコンピューターのプログラムを備える。このような実施形態においては、当該コンピューターのプログラムは、通信装置609によりネットワークからダウンロード及びインストールし、又は、記憶装置608からインストールされ、又は、ROM602からインストールされる。当該コンピューターのプログラムが処理装置601に実行されると、本願の方法に限定される上述した機能を実行する。なお、本願の実施形態に記載の前記コンピューター可読メディアは、コンピューター可読信号メディア又はコンピューター可読記憶メディア又は上述した2つの任意の組み合わせであっても良い。コンピューター可読記憶メディアは、電気、磁気、光、電磁気、赤外線、半導体のシステム、装置、デバイス又は前記したものの任意の組み合わせであっても良いが、これらに限定しない。コンピューター可読記憶メディアのより具体的な例としては、1つ又は複数のリード線を有する、電気的に接続するボータブルコンピューターディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、書き込み・消去可能なリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、コンパクトディスクリードオンリーメモリ(CD−ROM)、光記憶装置、磁気記憶装置又は上述したものの任意の適切な組み合わせが挙げられる。本願の実施形態においては、コンピューター可読記憶メディアは、プログラムを含む又は記憶する任意の有形メディアであっても良く、当該プログラムは、命令実行システム、装置又はデバイスに用いられ、又は、組合わせて用いられても良い。本願の実施形態においては、コンピューター可読信号メディアは、ベースバンドの中にある又は搬送波の一部として伝播するデータ信号に、コンピューター可読プログラムコードが積載されている。このような伝播するデータ信号は、様々な形を用いることができ、電磁気信号、光信号又は上述したもの任意の適切な組み合わせを含むが、これらに限定されない。コンピューター可読信号メディアは、コンピューター可読記憶メディア以外の如何なるコンピューター可読メディアであっても良く、当該コンピューター可読メディアは、命令実行システム、装置又はデバイスに用いられ、又は、その組み合わせに用いられるためのプログラムを送信、伝播又は伝送することができる。コンピューター可読メディアに含まれるプログラムコードは、如何なる適切なメディアを用いて伝送しても良く、電線、光ケーブル、RF(無線周波数)等又は上述したものの任意の適切な組み合わせを含むが、これらに限定されない。
前記コンピューター可読メディアは、前記電子デバイスに含まれても良く、当該電子デバイスに設置されずに単独で存在しても良い。前記コンピューター可読メディアは、1つ又は複数のプログラムを積載しており、前記1つ又は複数のプログラムが当該電子デバイスに実行される際、当該電子デバイスに次のようにさせる:デバイスを取り巻く環境の音声信号を収集し、音声信号が自己定義ウェイクワードを含むと判定されたことに応答し、ユーザーによって予め設定された、自己定義ウェイクワードに対応する応答ポリシーを決定し、応答ポリシーに基づき、ターゲット応答テキストを決定し、ターゲット応答テキストの応答音声を生成し、応答音声を再生する。
1つ又は複数のプログラム設計言語又はその組み合わせで本願の実施形態の操作を実行するコンピューターのプログラムコードをプログラミングすることができ、前記プログラム設計言語は、Java 、Smalltalk、 C++のようなオブジェクト向けのプログラム設計言語を含み、「C」言語又は類似するプログラム設計言語のような通常の過程式プログラム設計言語も含む。プログラムコードは、完全にユーザーのコンピューターにより実行されても良く、部分的にユーザーのコンピューターにより実行されても良く、一つの独立したパッケージソフトとして実行されても良く、一部がユーザーのコンピューターにより実行され、一部が遠隔コンピューターにより実行されても良く、完全に遠隔コンピューター又はサーバーにより実行されても良い。遠隔コンピューターにより実行される場合、遠隔コンピューターは、ローカルエリヤネットワーク(LAN)又はワイドエリヤネットワーク(WAN)を含む任意の種類のネットワークによりユーザーのコンピューター又は外部コンピューター(例えば、インターネットサービスプロバイダを用いてインターネットにより接続する)に接続されることができる。
図面におけるフローチャート図及びブロック図は、本願のそれぞれの実施形態によるシステム、方法及びコンピュータープログラム製品の実現可能な体系アーキテクチャ、機能及び操作を示している。ここでは、フローチャート図及びブロック図における各ブロックは、1つのモジュール、プログラムセグメント又はコードの一部を表すことができ、当該モジュール、プログラムセグメント又はコードの一部は、定められたロジック機能を実現するための1つ又は複数の実行可能な命令を含む。幾つかの代替できる実現としては、ブロックの中に示されている機能は、図面に示されている順番と違う順番で行われても良い。例えば、2つの連続して示されているブロックは、実は、ほぼ並行して行われても良く、逆の順序で行われる場合もあり、これは、係る機能によって決められることに注意すべきである。ブロック図及び/又はフローチャート図におけるそれぞれのブロック、及び、ブロック図及び/又はフローチャート図におけるブロックの組み合わせは、定めされた機能又は操作を実行するための専用のハードウェアを元にするシステムにより実行しても良く、又は、専用のハードウェアとコンピューター命令の組み合わせにより実行しても良いことにも注意すべきである。
記載の本願の実施形態に係るユニットは、ソフトウェアの形で実現しても良く、ハードウェアの形で実現しても良い。上記ユニットは、プロセッサの中に設置されても良く、例えば、音声信号収集ユニット、応答ポリシー決定ユニット、応答テキスト決定ユニット及び応答音声再生ユニットを含むプロセッサであるというように記載しても良い。なお、これらのユニットの名称は、当該ユニット自身を限定しない場合があり、例えば、音声信号収集ユニットは、「デバイスを取り巻く環境の音声信号を収集するユニット」と記載されても良い。
上述した記載は、本願の比較的好ましい実施形態及び応用される技術原理に対する説明に過ぎない。当業者は、本願に係る発明の範囲が上述した技術特徴の特定の組み合わせからなる技術案に限らず、上述した発明の精神から逸脱しないかぎり、上述した技術特徴又は均等な特徴から行われる任意の組み合わせによる他の技術案も含まれていることに理解すべきである。例えば、上述した特徴と本願の実施形態に開示されている特徴と類似する機能を有する技術特徴(しかし、これに限定されない)に対して置換えることで形成した技術案も含まれている。

Claims (14)

  1. デバイスをウェイクアップするための方法であって、
    デバイスを取り巻く環境の音声信号を収集するステップと、
    前記音声信号が自己定義ウェイクワードを含むと判定されたことに応答し、ユーザーによって予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定するステップと、
    前記応答ポリシーに基づき、ターゲット応答テキストを決定するステップと、
    前記ターゲット応答テキストの応答音声を生成し、前記応答音声を再生するステップと
    を備えることを特徴とする方法。
  2. 前記応答ポリシーに基づき、ターゲット応答テキストを決定するステップは、
    現在のネットワークの接続状態が正常であることに応答し、クラウドサーバーに前記自己定義ウェイクワードを送信するステップと、
    前記クラウドサーバーから受信した応答テキストをターゲット応答テキストとして決定するステップとを備えることを特徴とする請求項1に記載の方法。
  3. 前記応答ポリシーに基づき、ターゲット応答テキストを決定するステップは、
    現在のネットワークの接続状態が異常であることに応答し、予め設定された応答テキスト集合から前記自己定義ウェイクワードにマッチするターゲット応答テキストを決定し、又は、応答テキスト履歴集合からターゲット応答テキストを決定するステップを備えることを特徴とする請求項2に記載の方法。
  4. 応答テキスト履歴集合からターゲット応答テキストを決定するステップは、前記応答テキスト履歴集合が空であると決定されたことに応答し、予め設定された応答テキストをターゲット応答テキストとして決定するステップを備えることを特徴とする請求項3に記載の方法。
  5. ユーザーによって送信された、自己定義ウェイクワードを含むウェイクワード設定要求を受信するステップと、
    前記自己定義ウェイクワードをデバイスの自己定義ウェイクワードとして設定するステップとを更に備えることを特徴とする請求項1〜4の何れか1項に記載の方法。
  6. 前記ウェイクワード設定要求は、応答テキストを更に含み、
    前記応答ポリシーに基づいてターゲット応答テキストを決定するステップは、前記ウェイクワード設定要求の中の応答テキストをターゲット応答テキストとして決定するステップを含むことを特徴とする請求項5に記載の方法。
  7. デバイスをウェイクアップするための装置であって、
    デバイスを取り巻く環境の音声信号を収集するように構成されている音声信号収集ユニットと、
    前記音声信号が自己定義ウェイクワードを含むと判定されたことに応答し、ユーザーによって予め設定された、前記自己定義ウェイクワードに対応する応答ポリシーを決定するように構成されている応答ポリシー決定ユニットと、
    前記応答ポリシーに基づき、ターゲット応答テキストを決定するように構成されている応答テキスト決定ユニットと、
    前記ターゲット応答テキストの応答音声を生成し、前記応答音声を再生するように構成されている応答音声再生ユニットと
    を備えることを特徴とする装置。
  8. 前記応答テキスト決定ユニットは、現在のネットワークの接続状態が正常であることに応答し、クラウドサーバーに前記自己定義ウェイクワードを送信し、前記クラウドサーバーから受信した応答テキストをターゲット応答テキストとして決定するように更に構成されていることを特徴とする請求項8に記載の装置。
  9. 前記応答テキスト決定ユニットは、現在のネットワークの接続状態が異常であることに応答し、予め設定された応答テキスト集合から前記自己定義ウェイクワードにマッチするターゲット応答テキストを決定し、又は、応答テキスト履歴集合からターゲット応答テキストを決定するように更に構成されていることを特徴とする請求項8に記載の装置。
  10. 前記応答テキスト決定ユニットは、前記応答テキスト履歴集合が空であると決定されたことに応答し、予め設定された応答テキストをターゲット応答テキストとして決定するように更に構成されていることを特徴とする請求項9に記載の装置。
  11. ユーザーが送った、自己定義ウェイクワードを含むウェイクワード設定要求を受信し、前記自己定義ウェイクワードをデバイスの自己定義ウェイクワードとして設定するように構成されている自己定義ウェイクワード設定ユニットを更に備えることを特徴とする請求項7〜10の何れか1項に記載の装置。
  12. 前記ウェイクワード設定要求は、応答テキストを更に含み、
    前記応答テキスト決定ユニットは、前記ウェイクワード設定要求の中の応答テキストをターゲット応答テキストとして決定するように更に構成されていることを特徴とする請求項11に記載の装置。
  13. 一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶している記憶装置とを備え、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサにより実行されると、前記一つ又は複数のプロセッサに、請求項1〜6の何れか1項に記載の方法を実現させることを特徴とする端末デバイス。
  14. コンピュータープログラムを記憶しているコンピューター可読メディアであって、
    前記コンピュータープログラムがプロセッサによって実行されると、請求項1〜6の何れか1項に記載の方法を前記プロセッサに実現させることを特徴とするコンピューター可読メディア。
JP2019196478A 2019-03-11 2019-10-29 デバイスをウェイクアップするための方法及び装置 Active JP6906584B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910180685.5A CN109887505A (zh) 2019-03-11 2019-03-11 用于唤醒设备的方法和装置
CN201910180685.5 2019-03-11

Publications (2)

Publication Number Publication Date
JP2020149038A JP2020149038A (ja) 2020-09-17
JP6906584B2 true JP6906584B2 (ja) 2021-07-21

Family

ID=66931778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019196478A Active JP6906584B2 (ja) 2019-03-11 2019-10-29 デバイスをウェイクアップするための方法及び装置

Country Status (3)

Country Link
US (1) US11270690B2 (ja)
JP (1) JP6906584B2 (ja)
CN (1) CN109887505A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9922646B1 (en) * 2012-09-21 2018-03-20 Amazon Technologies, Inc. Identifying a location of a voice-input device
US11295741B2 (en) 2019-12-05 2022-04-05 Soundhound, Inc. Dynamic wakewords for speech-enabled devices
US11482222B2 (en) * 2020-03-12 2022-10-25 Motorola Solutions, Inc. Dynamically assigning wake words
CN113409805B (zh) * 2020-11-02 2024-06-07 腾讯科技(深圳)有限公司 人机交互方法、装置、存储介质及终端设备
CN112420051A (zh) * 2020-11-18 2021-02-26 青岛海尔科技有限公司 设备的确定方法、装置及存储介质
CN113593549A (zh) * 2021-06-29 2021-11-02 青岛海尔科技有限公司 确定语音设备的唤醒率的方法及装置
CN115376524B (zh) * 2022-07-15 2023-08-04 荣耀终端有限公司 一种语音唤醒方法、电子设备及芯片***

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7555570B2 (en) * 2006-02-17 2009-06-30 Avocent Huntsville Corporation Device and method for configuring a target device
CN101377924A (zh) * 2007-08-31 2009-03-04 鹏智科技(深圳)有限公司 可会话的类生物装置及其会话方法
CN101393738A (zh) * 2007-09-21 2009-03-25 鹏智科技(深圳)有限公司 可会话的类生物装置及其会话方法
US8406162B2 (en) * 2008-05-16 2013-03-26 La Crosse Technology, Ltd. Method and apparatus of transmitting, receiving, displaying and playing weather data
CN101436404A (zh) * 2007-11-16 2009-05-20 鹏智科技(深圳)有限公司 可会话的类生物装置及其会话方法
JP2014106523A (ja) 2012-11-30 2014-06-09 Aisin Aw Co Ltd 音声入力対応装置及び音声入力対応プログラム
US9697828B1 (en) * 2014-06-20 2017-07-04 Amazon Technologies, Inc. Keyword detection modeling using contextual and environmental information
US9263042B1 (en) * 2014-07-25 2016-02-16 Google Inc. Providing pre-computed hotword models
US9335966B2 (en) * 2014-09-11 2016-05-10 Nuance Communications, Inc. Methods and apparatus for unsupervised wakeup
US9354687B2 (en) * 2014-09-11 2016-05-31 Nuance Communications, Inc. Methods and apparatus for unsupervised wakeup with time-correlated acoustic events
CN105575395A (zh) * 2014-10-14 2016-05-11 中兴通讯股份有限公司 语音唤醒方法及装置、终端及其处理方法
WO2016103809A1 (ja) 2014-12-25 2016-06-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN107104994B (zh) * 2016-02-22 2021-07-20 华硕电脑股份有限公司 语音识别方法、电子装置及语音识别***
CN107203265B (zh) * 2017-05-17 2021-01-22 广东美的制冷设备有限公司 信息交互方法和装置
CN107134279B (zh) * 2017-06-30 2020-06-19 百度在线网络技术(北京)有限公司 一种语音唤醒方法、装置、终端和存储介质
US10504511B2 (en) * 2017-07-24 2019-12-10 Midea Group Co., Ltd. Customizable wake-up voice commands
CN107358954A (zh) * 2017-08-29 2017-11-17 成都启英泰伦科技有限公司 一种实时更换唤醒词的设备及方法
CN107704275B (zh) * 2017-09-04 2021-07-23 百度在线网络技术(北京)有限公司 智能设备唤醒方法、装置、服务器及智能设备
CN109358751A (zh) 2018-10-23 2019-02-19 北京猎户星空科技有限公司 一种机器人的唤醒控制方法、装置及设备
CN109448714A (zh) * 2018-11-28 2019-03-08 紫勋智能科技(北京)有限公司 语音唤醒装置、机器人及语音唤醒的方法
CN109378000B (zh) * 2018-12-19 2022-06-07 科大讯飞股份有限公司 语音唤醒方法、装置、***、设备、服务器及存储介质

Also Published As

Publication number Publication date
US20200294491A1 (en) 2020-09-17
CN109887505A (zh) 2019-06-14
US11270690B2 (en) 2022-03-08
JP2020149038A (ja) 2020-09-17

Similar Documents

Publication Publication Date Title
JP6906584B2 (ja) デバイスをウェイクアップするための方法及び装置
RU2689203C2 (ru) Гибкая схема для настройки языковой модели
KR20180115628A (ko) 복수의 지능형 개인 비서 서비스를 위한 관리 계층
US20170046124A1 (en) Responding to Human Spoken Audio Based on User Input
US9348554B2 (en) Managing playback of supplemental information
JP6971292B2 (ja) 段落と映像を整列させるための方法、装置、サーバー、コンピュータ可読記憶媒体およびコンピュータプログラム
CN107209668A (zh) 反应型代理开发环境
WO2021114979A1 (zh) 视频页面显示方法、装置、电子设备和计算机可读介质
WO2023051293A1 (zh) 一种音频处理方法、装置、电子设备和存储介质
CN109582274B (zh) 音量调节方法、装置、电子设备及计算机可读存储介质
WO2020224294A1 (zh) 用于处理信息的***、方法和装置
WO2023211369A2 (zh) 语音识别模型的生成方法、识别方法、装置、介质及设备
WO2021068493A1 (zh) 用于处理信息的方法和装置
CN113672748A (zh) 多媒体信息播放方法及装置
US20240103802A1 (en) Method, apparatus, device and medium for multimedia processing
CN108829370B (zh) 有声资源播放方法、装置、计算机设备及存储介质
WO2024037480A1 (zh) 交互方法、装置、电子设备和存储介质
WO2023061229A1 (zh) 视频生成方法及设备
CN111460211A (zh) 音频信息播放方法、装置和电子设备
WO2023134558A1 (zh) 交互方法、装置、电子设备、存储介质和程序产品
CN112017685B (zh) 语音生成方法、装置、设备和计算机可读介质
CN113709506A (zh) 基于云手机的多媒体播放方法、装置、介质及程序产品
CN110366002B (zh) 视频文件合成方法、***、介质和电子设备
JP2023514863A (ja) 情報を交換するための方法及び装置
CN109375892B (zh) 用于播放音频的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210629

R150 Certificate of patent or registration of utility model

Ref document number: 6906584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150