JP2020514794A - 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること - Google Patents
適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること Download PDFInfo
- Publication number
- JP2020514794A JP2020514794A JP2019535827A JP2019535827A JP2020514794A JP 2020514794 A JP2020514794 A JP 2020514794A JP 2019535827 A JP2019535827 A JP 2019535827A JP 2019535827 A JP2019535827 A JP 2019535827A JP 2020514794 A JP2020514794 A JP 2020514794A
- Authority
- JP
- Japan
- Prior art keywords
- input
- agent
- user
- party
- additional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009471 action Effects 0.000 claims abstract description 198
- 230000004044 response Effects 0.000 claims description 189
- 238000000034 method Methods 0.000 claims description 66
- 230000003993 interaction Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 1
- 239000003795 chemical substances by application Substances 0.000 description 404
- 238000012545 processing Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 13
- 230000009466 transformation Effects 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 239000000463 material Substances 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/02—Reservations, e.g. for tickets, services or events
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/562—Brokering proxy services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Mathematical Physics (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Machine Translation (AREA)
- Telephonic Communication Services (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
トに関するチケットの価格、それぞれのエージェントに関するユーザによる格付け)をユーザに提示することが可能である。その上、それらのその他の状況のうちのいくつかにおいては、(特定された値を伴って、意図されているアクションを達成することができる複数の3Pエージェントのうちの)どの3Pエージェントが、選択肢としてユーザへ提示するために実際に選択されるかは、ユーザによって指定されていない、それらの3Pエージェントに固有の値に基づくことが可能である。たとえば、価格パラメータに関する値がユーザによって指定されていない場合には、それが利用されることが可能である。また、たとえば、3Pエージェントに関するユーザおよび/またはその他のユーザの格付けが利用されることが可能である。
110 自動アシスタント
112 入力処理エンジン
120 3Pエージェントエンジン
122 パラメータモジュール
124 エージェント選択モジュール
126 ダイアログモジュール
128 呼び出しモジュール
130 ローカルコンテンツエンジン
135 出力エンジン
140A〜N サードパーティー(3P)エージェント
152 3Pエージェントデータベース
154 ローカルコンテンツモデル
406 音声対応クライアントデバイス
480A 話された入力
480B さらなる話された入力
480C さらなる話された入力
480D 話された入力
480E 話された入力
482A プロンプト
482B 応答出力
482C プロンプト
482D 応答出力
482E 応答出力
580A 話された入力
580B 話された入力
580C 話された入力
582A プロンプト
582B 出力
582C プロンプト
582D 出力
606 デバイス
680A〜F 話された入力
682A〜E 応答出力
706 クライアントデバイス
740 ディスプレイスクリーン
780A 話された入力
780B 話されたまたはタイプされた入力
782A プロンプト
782B プロンプト
782C プロンプト
788 返答インターフェース要素
789 音声返答インターフェース要素
810 コンピューティングデバイス
812 バスサブシステム
814 プロセッサ
816 ネットワークインターフェース
820 ユーザインターフェース出力デバイス
822 ユーザインターフェース入力デバイス
824 ストレージサブシステム
825 メモリサブシステム
826 ファイルストレージサブシステム
830 メインランダムアクセスメモリ(RAM)
832 読み取り専用メモリ(ROM)
Claims (22)
ユーザと自動アシスタントとの間における動的なダイアログの一部として自動アシスタントに向けられている前記ユーザの自然言語入力を受け取るステップであって、前記自然言語入力が自由形式であり、ユーザインターフェース入力デバイスを介して前記ユーザによって提供されるユーザインターフェース入力に基づく、ステップと、
前記自然言語入力が、意図されているアクションを示していると特定したことに基づいて前記意図されているアクションを選択するステップであって、前記意図されているアクションが、複数のサービスセクタにわたる、前記自動アシスタントを介して利用可能である潜在的な意図されているアクションのグループから選択される、ステップと、
前記意図されているアクションに関連付けて格納されている少なくとも1つの必須パラメータが前記自然言語入力において指定されていないと特定するステップと、
前記少なくとも1つの必須パラメータが指定されていないと特定したことに応答して、前記少なくとも1つの必須パラメータに基づくプロンプトを生成するステップと、
前記動的なダイアログの一部として、および前記自然言語入力への返答として前記プロンプトを提供するステップであって、前記プロンプトが、ユーザインターフェース出力デバイスを介して前記ユーザへ提示するために提供される、ステップと、
前記プロンプトに応答して前記動的なダイアログの一部として前記ユーザによって提供される追加の自然言語入力を受け取るステップであって、前記追加の自然言語入力が自由形式である、ステップと、
前記追加の自然言語入力に基づいて前記必須パラメータに関する値を特定するステップと、
前記自然言語入力によって示されている前記意図されているアクションをそれぞれ実行することができるサードパーティーエージェントのグループから特定のサードパーティーエージェントを選択するステップと、
前記必須パラメータに関する前記値を含むサードパーティー呼び出し要求を伝送するステップであって、1つまたは複数のネットワークインターフェースを介して前記特定のサードパーティーエージェントに対して行われ、サードパーティーエージェントの前記グループのその他のいずれのサードパーティーエージェントへのその他のいずれのサードパーティー呼び出し要求の伝送も伴わずに発生する、ステップと、
前記サードパーティー呼び出し要求を前記伝送したことに応答して前記サードパーティーエージェントから応答コンテンツを受け取るステップであって、前記ネットワークインターフェースのうちの1つまたは複数を介する、ステップと、
前記応答コンテンツに基づく出力を、前記動的なダイアログの一部として前記ユーザへ提示するために提供するステップとを含む方法。
前記さらなる入力に基づくコンテンツを、前記ネットワークインターフェースのうちの1つまたは複数を介して前記サードパーティーエージェントへ伝送するステップと
をさらに含む、請求項1に記載の方法。
前記音声入力をテキストへ変換するステップを含み、
前記コンテンツが前記テキストの少なくともいくらかを含む、請求項2に記載の方法。
前記さらなる応答コンテンツに基づくさらなる出力を、前記動的なダイアログの一部として前記ユーザへ提示するために提供するステップと
をさらに含む、請求項3に記載の方法。
前記さらなる入力が、前記サードパーティーエージェントとの対話をやめたいという要望を示しているかどうかを特定するステップと、
前記さらなる入力が、前記サードパーティーエージェントとの対話をやめたいという要望を示していないと特定したことに応答して、
前記さらなる入力に基づくコンテンツを、前記ネットワークインターフェースのうちの1つまたは複数を介して前記サードパーティーエージェントへ伝送するステップと
をさらに含む、請求項1から4のいずれか一項に記載の方法。
前記さらなる入力が、別のサードパーティーエージェントと対話したいという要望を示していると特定するステップと、
前記さらなる入力が、別のサードパーティーエージェントと対話したいという要望を示していると特定したことに応答して、
前記必須パラメータに関する前記値を含む追加のサードパーティー呼び出し要求を、サードパーティーエージェントの前記グループの代替サードパーティーエージェントへ伝送するステップと
をさらに含む、請求項1から4のいずれか一項に記載の方法。
前記追加のパラメータに関する前記追加の値を前記追加のサードパーティー呼び出し要求内に含めるステップと
をさらに含む、請求項6に記載の方法。
前記追加のパラメータに関する前記追加の値を前記サードパーティー呼び出し要求内に含めるステップと
をさらに含む、請求項1から7のいずれか一項に記載の方法。
前記必須パラメータおよび前記追加のパラメータに関して、前記サードパーティーエージェントに関して、定義されている対応する値に前記値および前記追加の値が一致していることに基づいて前記特定のサードパーティーエージェントを選択するステップを含む、請求項8に記載の方法。
前記必須パラメータおよび前記追加のパラメータに関して、追加のサードパーティーエージェントに関して、定義されている対応する値に前記値および前記追加の値が一致していないことに基づいて前記選択から前記追加のサードパーティーエージェントを削除するステップであって、前記追加のサードパーティーエージェントが、サードパーティーエージェントの前記グループのものである、ステップをさらに含む、請求項9に記載の方法。
ユーザと、前記プロセッサのうちの1つまたは複数によって実施される自動アシスタントとの間における動的なダイアログの一部として、
前記動的なダイアログの一部として前記自動アシスタントに向けられているユーザの自然言語入力を受け取るステップであって、前記自然言語入力が自由形式であり、ユーザインターフェース入力デバイスを介して前記ユーザによって提供されるユーザインターフェース入力に基づく、ステップと、
前記自然言語入力が、意図されているアクションを示していると特定したことに基づいて前記意図されているアクションを選択するステップであって、前記意図されているアクションが、複数のサービスセクタにわたる潜在的な意図されているアクションのグループから選択される、ステップと、
前記自然言語入力によって示されている前記意図されているアクションをそれぞれ実行することができる、かつ前記意図されているアクションをそれぞれ実行することができるサードパーティーエージェントのグループを識別するステップと、
前記自然言語入力において指定されていない、前記意図されているアクションに関連付けて格納されているパラメータに基づくプロンプトを生成するステップであって、前記プロンプトが、前記グループの前記サードパーティーエージェントのうちのいずれも明示的に識別しない、ステップと、
前記動的なダイアログの一部として、および前記自然言語入力への返答として前記プロンプトを提供するステップであって、前記プロンプトが、ユーザインターフェース出力デバイスを介して前記ユーザへ提示するために提供される、ステップと、
前記プロンプトに応答して前記動的なダイアログの一部として前記ユーザによって提供される追加の自然言語入力を受け取るステップであって、前記追加の自然言語入力が自由形式である、ステップと、
前記追加の自然言語入力に基づいて前記パラメータに関する値を特定するステップと、
サードパーティーエージェントの前記グループからサードパーティーエージェントを削除してサブグループを形成するステップであって、前記サードパーティーエージェントに関する前記パラメータに関して定義されている対応する値に前記値が一致していないことに基づく、ステップと、
前記サブグループから特定のサードパーティーエージェントを選択するステップと、
前記パラメータに関する前記値を含むサードパーティー呼び出し要求を伝送するステップであって、1つまたは複数のネットワークインターフェースを介して前記選択された特定のサードパーティーエージェントのみに対して行われる、ステップとを含む方法。
前記応答コンテンツに基づく出力を、前記動的なダイアログの一部として前記ユーザへ提示するために提供するステップと
をさらに含む、請求項12に記載の方法。
前記さらなる入力に基づくコンテンツを、前記ネットワークインターフェースのうちの1つまたは複数を介して前記サードパーティーエージェントへ伝送するステップと
をさらに含む、請求項13に記載の方法。
前記音声入力をテキストへ変換するステップを含み、
前記コンテンツが前記テキストの少なくともいくらかを含む、請求項14に記載の方法。
前記さらなる入力が、別のサードパーティーエージェントと対話したいという要望を示していると特定するステップと、
前記さらなる入力が、別のサードパーティーエージェントと対話したいという要望を示していると特定したことに応答して、
前記必須パラメータに関する前記値を含む追加のサードパーティー呼び出し要求を、サードパーティーエージェントの前記グループの代替サードパーティーエージェントへ伝送するステップと
をさらに含む、請求項13から15のいずれか一項に記載の方法。
ユーザのクライアントデバイスによって伝送される第1の自然言語入力を、1つまたは複数のネットワークインターフェースを介して受け取るステップであって、前記第1の自然言語入力が自由形式であり、前記クライアントデバイスによって実施される自動アシスタントインターフェースに向けられている、ステップと、
前記第1の自然言語入力が、第1のサービスセクタに向けられている第1の意図されているアクションを示していると特定するステップと、
前記ネットワークインターフェースのうちの1つまたは複数を介して、前記クライアントデバイスの前記自動アシスタントインターフェースを介して前記ユーザと対話して、前記第1の意図されているアクションに関連付けて格納されているすべての第1の必須パラメータに関する値を解決するステップと、
前記第1の自然言語入力によって示されている前記意図されているアクションをそれぞれ実行することができるサードパーティーエージェントのグループから特定のサードパーティーエージェントを選択するステップと、
前記第1の必須パラメータに関する前記値を解決した後に、
前記第1の必須パラメータに関する前記解決された値に基づいて前記サードパーティーエージェントを呼び出すステップと、
前記自動アシスタントインターフェースを介して発生して前記サードパーティーエージェントによって操作される、前記クライアントデバイスと前記サードパーティーエージェントとの間における対話を容易にするステップとを含む方法。
前記第2の自由形式の自然言語入力が、第2のサービスセクタに向けられている第2の意図されているアクションを示していると特定するステップであって、前記第2のサービスセクタが、前記第1のサービスセクタとは異なる、ステップと、
前記ネットワークインターフェースのうちの1つまたは複数を介して、前記クライアントデバイスの前記自動アシスタントインターフェースを介して前記ユーザと対話して、前記第2の意図されているアクションに関連付けて格納されているすべての第2の必須パラメータに関する第2の値を解決するステップと、
前記自然言語入力によって示されている前記第2の意図されているアクションをそれぞれ実行することができる追加のサードパーティーエージェントのグループから追加の特定のサードパーティーエージェントを選択するステップであって、追加のサードパーティーエージェントの前記グループが、サードパーティーエージェントの前記グループとは異なる、ステップと、
前記第2の必須パラメータに関する前記第2の値を解決した後に、
前記第2の必須パラメータに関する前記解決された第2の値に基づいて前記追加のサードパーティーエージェントを呼び出すステップと、
前記自動アシスタントインターフェースを介して発生して前記追加のサードパーティーエージェントによって操作される、前記クライアントデバイスと前記追加のサードパーティーエージェントとの間における対話を容易にするステップとをさらに含む、請求項17に記載の方法。
クライアントデバイスを介してユーザによって提供される最初の音声入力を受け取るステップと、
音声/テキスト変換を実行して、前記最初の音声入力を最初のテキストへ変換するステップと、
意図されているアクションを前記最初のテキストに基づいて特定するステップと、
前記意図されているアクションにとって必須であるとして格納されている必須パラメータを識別するステップと、
前記最初のテキストが前記必須パラメータに関するいずれかの値の指定を欠いていると特定するステップと、
前記最初のテキストが前記必須パラメータに関するいずれかの値の指定を欠いていると特定したことに応答して、
前記必須パラメータに基づいて自然言語プロンプトを生成するステップと、
前記最初の音声入力への返答として前記自然言語プロンプトを提供するステップであって、前記プロンプトが、前記クライアントデバイスのユーザインターフェース出力デバイスを介して前記ユーザへ提示するために提供される、ステップと、
前記自然言語プロンプトを提供したことに応答して前記ユーザによって提供される追加の自然言語入力を受け取るステップと、
前記追加の自然言語入力に基づいて前記パラメータに関する値を特定するステップと、
前記意図されているアクションを実行することができるサードパーティーエージェントのグループの特定のサードパーティーエージェントを選択するステップと、
前記必須パラメータに関する前記値を含むサードパーティー呼び出し要求を伝送するステップであって、1つまたは複数のネットワークインターフェースを介して前記特定のサードパーティーエージェントに対して行われる、ステップと、
前記意図されているアクションおよび前記値を伝送したことに応答して前記サードパーティーエージェントから応答コンテンツを受け取るステップであって、前記ネットワークインターフェースのうちの1つまたは複数を介する、ステップと、
前記応答コンテンツに基づく出力を、前記ユーザへ提示するために提供するステップと、
前記出力を提供したことに応答して前記ユーザによって提供されるさらなる追加の自然言語入力を受け取るステップと、
追加の音声/テキスト変換を実行して、前記さらなる追加の自然言語入力をさらなるテキストへ変換するステップと、
前記さらなるテキストを前記特定のサードパーティーエージェントへ伝送するステップとを含む方法。
クライアントデバイスによって伝送される入力を、1つまたは複数のネットワークインターフェースを介して受け取るステップであって、前記入力が、自由形式の自然言語ユーザ入力である、ステップと、
意図されているアクションを前記入力に基づいて特定するステップと、
前記意図されているアクションにとって必須であるとして格納されている必須パラメータを識別するステップと、
前記入力が前記必須パラメータに関するいずれかの値の指定を欠いていると特定するステップと、
前記最初のテキストが前記必須パラメータに関するいずれかの値の指定を欠いていると特定したことに応答して、
前記意図されているアクションにとって任意選択であるとして格納されている任意選択のパラメータについての入力を懇請しない、前記必須パラメータに基づくプロンプトを生成するステップと、
前記入力への返答として前記自然言語プロンプトを前記クライアントデバイスへ伝送するステップと、
前記プロンプトに応答して前記クライアントデバイスによって伝送される追加の入力を、前記ネットワークインターフェースのうちの1つまたは複数を介して受け取るステップであって、前記追加の入力が、自由形式の自然言語ユーザ入力である、ステップと、
前記追加の自然言語入力に基づいて前記パラメータに関する値を特定するステップと、
前記追加の自然言語入力に基づいて前記任意選択のパラメータに関する追加の値を特定するステップと、
前記値および前記追加の値の両方に基づいて、前記意図されているアクションを実行することができる特定のサードパーティーエージェントを選択するステップと、
前記値および前記追加の値の両方を含むサードパーティー呼び出し要求を伝送するステップであって、前記ネットワークインターフェースのうちの1つまたは複数を介して前記特定のサードパーティーエージェントに対して行われる、ステップとを含む方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021011873A JP6963700B2 (ja) | 2016-12-30 | 2021-01-28 | 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/394,872 US10224031B2 (en) | 2016-12-30 | 2016-12-30 | Generating and transmitting invocation request to appropriate third-party agent |
US15/394,872 | 2016-12-30 | ||
PCT/US2017/053832 WO2018125345A1 (en) | 2016-12-30 | 2017-09-27 | Generating and transmitting invocation request to appropriate third-party agent |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021011873A Division JP6963700B2 (ja) | 2016-12-30 | 2021-01-28 | 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020514794A true JP2020514794A (ja) | 2020-05-21 |
JP6839288B2 JP6839288B2 (ja) | 2021-03-03 |
Family
ID=60083475
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019535827A Active JP6839288B2 (ja) | 2016-12-30 | 2017-09-27 | 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること |
JP2021011873A Active JP6963700B2 (ja) | 2016-12-30 | 2021-01-28 | 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021011873A Active JP6963700B2 (ja) | 2016-12-30 | 2021-01-28 | 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること |
Country Status (10)
Country | Link |
---|---|
US (5) | US10224031B2 (ja) |
EP (1) | EP3485393A1 (ja) |
JP (2) | JP6839288B2 (ja) |
KR (2) | KR102475719B1 (ja) |
CN (2) | CN115643307A (ja) |
DE (1) | DE202017105915U1 (ja) |
GB (1) | GB2558348A (ja) |
IE (1) | IE20170203A1 (ja) |
SG (1) | SG10201708062SA (ja) |
WO (1) | WO2018125345A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7486680B1 (ja) | 2021-11-30 | 2024-05-17 | グーグル エルエルシー | 副次的なデジタルアシスタントに提供するクエリ内容の選択的マスキング |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9811314B2 (en) | 2016-02-22 | 2017-11-07 | Sonos, Inc. | Metadata exchange involving a networked playback system and a networked microphone system |
US10095470B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Audio response playback |
US10097919B2 (en) | 2016-02-22 | 2018-10-09 | Sonos, Inc. | Music service selection |
US9947316B2 (en) | 2016-02-22 | 2018-04-17 | Sonos, Inc. | Voice control of a media playback system |
US9965247B2 (en) | 2016-02-22 | 2018-05-08 | Sonos, Inc. | Voice controlled media playback system based on user profile |
US10264030B2 (en) | 2016-02-22 | 2019-04-16 | Sonos, Inc. | Networked microphone device control |
US9978390B2 (en) | 2016-06-09 | 2018-05-22 | Sonos, Inc. | Dynamic player selection for audio signal processing |
US10134399B2 (en) | 2016-07-15 | 2018-11-20 | Sonos, Inc. | Contextualization of voice inputs |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US9942678B1 (en) | 2016-09-27 | 2018-04-10 | Sonos, Inc. | Audio playback settings for voice interaction |
US10181323B2 (en) | 2016-10-19 | 2019-01-15 | Sonos, Inc. | Arbitration-based voice recognition |
US10224031B2 (en) * | 2016-12-30 | 2019-03-05 | Google Llc | Generating and transmitting invocation request to appropriate third-party agent |
US11276395B1 (en) * | 2017-03-10 | 2022-03-15 | Amazon Technologies, Inc. | Voice-based parameter assignment for voice-capturing devices |
US10748531B2 (en) * | 2017-04-13 | 2020-08-18 | Harman International Industries, Incorporated | Management layer for multiple intelligent personal assistant services |
US10475449B2 (en) | 2017-08-07 | 2019-11-12 | Sonos, Inc. | Wake-word detection suppression |
US10048930B1 (en) | 2017-09-08 | 2018-08-14 | Sonos, Inc. | Dynamic computation of system response volume |
US11004444B2 (en) * | 2017-09-08 | 2021-05-11 | Amazon Technologies, Inc. | Systems and methods for enhancing user experience by communicating transient errors |
US10446165B2 (en) | 2017-09-27 | 2019-10-15 | Sonos, Inc. | Robust short-time fourier transform acoustic echo cancellation during audio playback |
US10482868B2 (en) | 2017-09-28 | 2019-11-19 | Sonos, Inc. | Multi-channel acoustic echo cancellation |
US10621981B2 (en) | 2017-09-28 | 2020-04-14 | Sonos, Inc. | Tone interference cancellation |
US10466962B2 (en) | 2017-09-29 | 2019-11-05 | Sonos, Inc. | Media playback system with voice assistance |
CN107704450B (zh) * | 2017-10-13 | 2020-12-04 | 威盛电子股份有限公司 | 自然语言识别设备以及自然语言识别方法 |
WO2019152722A1 (en) | 2018-01-31 | 2019-08-08 | Sonos, Inc. | Device designation of playback and network microphone device arrangements |
US10714084B2 (en) * | 2018-02-09 | 2020-07-14 | Accenture Global Solutions Limited | Artificial intelligence based service implementation |
KR102596436B1 (ko) * | 2018-02-20 | 2023-11-01 | 삼성전자주식회사 | 사용자 발화를 처리하는 시스템 및 그 시스템의 제어 방법 |
US11175880B2 (en) | 2018-05-10 | 2021-11-16 | Sonos, Inc. | Systems and methods for voice-assisted media content selection |
US10959029B2 (en) | 2018-05-25 | 2021-03-23 | Sonos, Inc. | Determining and adapting to changes in microphone performance of playback devices |
US10681460B2 (en) | 2018-06-28 | 2020-06-09 | Sonos, Inc. | Systems and methods for associating playback devices with voice assistant services |
EP3631614A1 (en) * | 2018-08-21 | 2020-04-08 | Google LLC | Automated assistant invocation of second interactive module using supplemental data provided by first interactive module |
US11815936B2 (en) | 2018-08-22 | 2023-11-14 | Microstrategy Incorporated | Providing contextually-relevant database content based on calendar data |
US11714955B2 (en) | 2018-08-22 | 2023-08-01 | Microstrategy Incorporated | Dynamic document annotations |
CN113168336B (zh) * | 2018-08-27 | 2024-07-19 | 谷歌有限责任公司 | 基于实验参数适配功能电话的客户端应用 |
US10461710B1 (en) | 2018-08-28 | 2019-10-29 | Sonos, Inc. | Media playback system with maximum volume setting |
US11076035B2 (en) | 2018-08-28 | 2021-07-27 | Sonos, Inc. | Do not disturb feature for audio notifications |
US10587430B1 (en) | 2018-09-14 | 2020-03-10 | Sonos, Inc. | Networked devices, systems, and methods for associating playback devices based on sound codes |
JP6887409B2 (ja) * | 2018-09-19 | 2021-06-16 | Kddi株式会社 | 情報提供システム及び情報提供方法 |
US11024331B2 (en) | 2018-09-21 | 2021-06-01 | Sonos, Inc. | Voice detection optimization using sound metadata |
US11100923B2 (en) | 2018-09-28 | 2021-08-24 | Sonos, Inc. | Systems and methods for selective wake word detection using neural network models |
US11899519B2 (en) | 2018-10-23 | 2024-02-13 | Sonos, Inc. | Multiple stage network microphone device with reduced power consumption and processing load |
EP3654249A1 (en) | 2018-11-15 | 2020-05-20 | Snips | Dilated convolutions and gating for efficient keyword spotting |
US10839167B2 (en) * | 2018-12-04 | 2020-11-17 | Verizon Patent And Licensing Inc. | Systems and methods for dynamically expanding natural language processing agent capacity |
US11183183B2 (en) | 2018-12-07 | 2021-11-23 | Sonos, Inc. | Systems and methods of operating media playback systems having multiple voice assistant services |
US11132989B2 (en) | 2018-12-13 | 2021-09-28 | Sonos, Inc. | Networked microphone devices, systems, and methods of localized arbitration |
US10602268B1 (en) | 2018-12-20 | 2020-03-24 | Sonos, Inc. | Optimization of network microphone devices using noise classification |
US10395648B1 (en) * | 2019-02-06 | 2019-08-27 | Capital One Services, Llc | Analysis of a topic in a communication relative to a characteristic of the communication |
US11682390B2 (en) * | 2019-02-06 | 2023-06-20 | Microstrategy Incorporated | Interactive interface for analytics |
US11315556B2 (en) | 2019-02-08 | 2022-04-26 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification |
US10867604B2 (en) | 2019-02-08 | 2020-12-15 | Sonos, Inc. | Devices, systems, and methods for distributed voice processing |
JP2020144275A (ja) * | 2019-03-07 | 2020-09-10 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7280074B2 (ja) * | 2019-03-19 | 2023-05-23 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
US11120794B2 (en) | 2019-05-03 | 2021-09-14 | Sonos, Inc. | Voice assistant persistence across multiple network microphone devices |
US11301479B2 (en) | 2019-05-30 | 2022-04-12 | International Business Machines Corporation | Service provider selection for queries sent to a digital assistant |
US20200388280A1 (en) | 2019-06-05 | 2020-12-10 | Google Llc | Action validation for digital assistant-based applications |
EP4270172A3 (en) * | 2019-06-05 | 2024-01-10 | Google LLC | Action validation for digital assistant-based applications |
US11361756B2 (en) | 2019-06-12 | 2022-06-14 | Sonos, Inc. | Conditional wake word eventing based on environment |
US11200894B2 (en) | 2019-06-12 | 2021-12-14 | Sonos, Inc. | Network microphone device with command keyword eventing |
US10586540B1 (en) | 2019-06-12 | 2020-03-10 | Sonos, Inc. | Network microphone device with command keyword conditioning |
US10629191B1 (en) * | 2019-06-16 | 2020-04-21 | Linc Global, Inc. | Methods and systems for deploying and managing scalable multi-service virtual assistant platform |
JP2021004950A (ja) * | 2019-06-25 | 2021-01-14 | 株式会社デンソーテン | 情報処理装置、情報処理システムおよび情報処理方法 |
US11138975B2 (en) | 2019-07-31 | 2021-10-05 | Sonos, Inc. | Locally distributed keyword detection |
US10871943B1 (en) | 2019-07-31 | 2020-12-22 | Sonos, Inc. | Noise classification for event detection |
KR20210016815A (ko) | 2019-08-05 | 2021-02-17 | 삼성전자주식회사 | 복수의 지능형 에이전트를 관리하는 전자 장치 및 그의 동작 방법 |
US11086991B2 (en) * | 2019-08-07 | 2021-08-10 | Advanced New Technologies Co., Ltd. | Method and system for active risk control based on intelligent interaction |
US11189286B2 (en) | 2019-10-22 | 2021-11-30 | Sonos, Inc. | VAS toggle based on device orientation |
CN110851723B (zh) * | 2019-11-14 | 2022-09-23 | 学利网络科技(上海)有限公司 | 一种基于大规模知识点标注结果的英语习题推荐方法 |
US11200900B2 (en) * | 2019-12-20 | 2021-12-14 | Sonos, Inc. | Offline voice control |
US11562740B2 (en) | 2020-01-07 | 2023-01-24 | Sonos, Inc. | Voice verification for media playback |
US11308958B2 (en) | 2020-02-07 | 2022-04-19 | Sonos, Inc. | Localized wakeword verification |
US11010129B1 (en) * | 2020-05-08 | 2021-05-18 | International Business Machines Corporation | Augmented reality user interface |
US11482224B2 (en) | 2020-05-20 | 2022-10-25 | Sonos, Inc. | Command keywords with input detection windowing |
US11308962B2 (en) | 2020-05-20 | 2022-04-19 | Sonos, Inc. | Input detection windowing |
US11893984B1 (en) * | 2020-06-22 | 2024-02-06 | Amazon Technologies, Inc. | Speech processing system |
US11698771B2 (en) | 2020-08-25 | 2023-07-11 | Sonos, Inc. | Vocal guidance engines for playback devices |
US11978437B1 (en) * | 2020-09-22 | 2024-05-07 | Amazon Technologies, Inc. | Natural language processing |
US11984123B2 (en) | 2020-11-12 | 2024-05-14 | Sonos, Inc. | Network device interaction by range |
US11984124B2 (en) * | 2020-11-13 | 2024-05-14 | Apple Inc. | Speculative task flow execution |
US11790107B1 (en) | 2022-11-03 | 2023-10-17 | Vignet Incorporated | Data sharing platform for researchers conducting clinical trials |
US12007870B1 (en) | 2022-11-03 | 2024-06-11 | Vignet Incorporated | Monitoring and adjusting data collection from remote participants for health research |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013517566A (ja) * | 2010-01-18 | 2013-05-16 | アップル インコーポレイテッド | インテリジェント自動アシスタント |
JP2015528140A (ja) * | 2012-05-15 | 2015-09-24 | アップル インコーポレイテッド | サードパーティサービスをデジタルアシスタントと統合するシステム及び方法 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9009046B1 (en) * | 2005-09-27 | 2015-04-14 | At&T Intellectual Property Ii, L.P. | System and method for disambiguating multiple intents in a natural language dialog system |
US20080107256A1 (en) | 2006-11-08 | 2008-05-08 | International Business Machines Corporation | Virtual contact center |
US8943394B2 (en) * | 2008-11-19 | 2015-01-27 | Robert Bosch Gmbh | System and method for interacting with live agents in an automated call center |
US10276170B2 (en) * | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
US9787725B2 (en) | 2011-01-21 | 2017-10-10 | Qualcomm Incorporated | User input back channel for wireless displays |
CA2747153A1 (en) | 2011-07-19 | 2013-01-19 | Suleman Kaheer | Natural language processing dialog system for obtaining goods, services or information |
CN103186522B (zh) | 2011-12-29 | 2018-01-26 | 富泰华工业(深圳)有限公司 | 电子设备及其自然语言分析方法 |
KR101980173B1 (ko) * | 2012-03-16 | 2019-05-20 | 삼성전자주식회사 | 서드 파티 테스크 공급자들의 서비스 제공을 대행하는 협력적 퍼스널 어시스턴트 시스템 및 그에 따른 방법 |
US9223537B2 (en) * | 2012-04-18 | 2015-12-29 | Next It Corporation | Conversation user interface |
US20150088523A1 (en) * | 2012-09-10 | 2015-03-26 | Google Inc. | Systems and Methods for Designing Voice Applications |
CN105074700A (zh) * | 2013-03-01 | 2015-11-18 | 奎克西公司 | 产生含有到应用程序的状态链接的搜索结果 |
US9218819B1 (en) * | 2013-03-01 | 2015-12-22 | Google Inc. | Customizing actions based on contextual data and voice-based inputs |
US9875494B2 (en) | 2013-04-16 | 2018-01-23 | Sri International | Using intents to analyze and personalize a user's dialog experience with a virtual personal assistant |
CN105247511A (zh) | 2013-06-07 | 2016-01-13 | 苹果公司 | 智能自动化助理 |
US8849675B1 (en) * | 2013-12-18 | 2014-09-30 | Google Inc. | Suggested query constructor for voice actions |
US9830044B2 (en) * | 2013-12-31 | 2017-11-28 | Next It Corporation | Virtual assistant team customization |
US9418663B2 (en) * | 2014-07-31 | 2016-08-16 | Google Inc. | Conversational agent with a particular spoken style of speech |
US9837081B2 (en) * | 2014-12-30 | 2017-12-05 | Microsoft Technology Licensing, Llc | Discovering capabilities of third-party voice-enabled resources |
US20160274864A1 (en) * | 2015-03-20 | 2016-09-22 | Google Inc. | Systems and methods for enabling user voice interaction with a host computing device |
US9647968B2 (en) * | 2015-03-25 | 2017-05-09 | Pypestream Inc | Systems and methods for invoking chatbots in a channel based communication system |
US9578173B2 (en) * | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
US20170286133A1 (en) | 2016-03-29 | 2017-10-05 | Microsoft Technology Licensing, Llc | One Step Task Completion |
US10224031B2 (en) * | 2016-12-30 | 2019-03-05 | Google Llc | Generating and transmitting invocation request to appropriate third-party agent |
-
2016
- 2016-12-30 US US15/394,872 patent/US10224031B2/en active Active
-
2017
- 2017-09-25 CN CN202211213830.3A patent/CN115643307A/zh active Pending
- 2017-09-25 CN CN201710872445.2A patent/CN108270843A/zh active Pending
- 2017-09-27 JP JP2019535827A patent/JP6839288B2/ja active Active
- 2017-09-27 WO PCT/US2017/053832 patent/WO2018125345A1/en unknown
- 2017-09-27 IE IE20170203A patent/IE20170203A1/en unknown
- 2017-09-27 EP EP17784122.8A patent/EP3485393A1/en not_active Withdrawn
- 2017-09-27 KR KR1020227022889A patent/KR102475719B1/ko active IP Right Grant
- 2017-09-27 KR KR1020197022111A patent/KR102418511B1/ko active IP Right Grant
- 2017-09-28 GB GB1715691.0A patent/GB2558348A/en not_active Withdrawn
- 2017-09-28 DE DE202017105915.4U patent/DE202017105915U1/de active Active
- 2017-09-29 SG SG10201708062SA patent/SG10201708062SA/en unknown
-
2019
- 2019-01-10 US US16/244,780 patent/US10714086B2/en active Active
-
2020
- 2020-05-19 US US16/877,799 patent/US10937427B2/en active Active
-
2021
- 2021-01-15 US US17/150,139 patent/US11562742B2/en active Active
- 2021-01-28 JP JP2021011873A patent/JP6963700B2/ja active Active
-
2023
- 2023-01-23 US US18/100,446 patent/US20230162735A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013517566A (ja) * | 2010-01-18 | 2013-05-16 | アップル インコーポレイテッド | インテリジェント自動アシスタント |
JP2015528140A (ja) * | 2012-05-15 | 2015-09-24 | アップル インコーポレイテッド | サードパーティサービスをデジタルアシスタントと統合するシステム及び方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7486680B1 (ja) | 2021-11-30 | 2024-05-17 | グーグル エルエルシー | 副次的なデジタルアシスタントに提供するクエリ内容の選択的マスキング |
Also Published As
Publication number | Publication date |
---|---|
GB2558348A (en) | 2018-07-11 |
JP6839288B2 (ja) | 2021-03-03 |
CN108270843A (zh) | 2018-07-10 |
US20200279564A1 (en) | 2020-09-03 |
US10224031B2 (en) | 2019-03-05 |
KR102475719B1 (ko) | 2022-12-08 |
US20230162735A1 (en) | 2023-05-25 |
GB201715691D0 (en) | 2017-11-15 |
KR20220100729A (ko) | 2022-07-15 |
US10714086B2 (en) | 2020-07-14 |
CN115643307A (zh) | 2023-01-24 |
WO2018125345A1 (en) | 2018-07-05 |
US11562742B2 (en) | 2023-01-24 |
EP3485393A1 (en) | 2019-05-22 |
US20180190274A1 (en) | 2018-07-05 |
US10937427B2 (en) | 2021-03-02 |
US20210134294A1 (en) | 2021-05-06 |
KR102418511B1 (ko) | 2022-07-07 |
IE20170203A1 (en) | 2018-07-11 |
JP2021099813A (ja) | 2021-07-01 |
DE202017105915U1 (de) | 2018-01-10 |
SG10201708062SA (en) | 2018-07-30 |
KR20190097267A (ko) | 2019-08-20 |
US20190147878A1 (en) | 2019-05-16 |
JP6963700B2 (ja) | 2021-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6963700B2 (ja) | 適切なサードパーティーエージェントへの呼び出し要求を生成および伝送すること | |
EP3594814B1 (en) | Automated assistant invocation of appropriate agent | |
US11727220B2 (en) | Transitioning between prior dialog contexts with automated assistants | |
US11626115B2 (en) | Voice to text conversion based on third-party agent content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201005 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210212 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6839288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |