JP7013172B2 - 音声合成辞書配信装置、音声合成配信システムおよびプログラム - Google Patents
音声合成辞書配信装置、音声合成配信システムおよびプログラム Download PDFInfo
- Publication number
- JP7013172B2 JP7013172B2 JP2017164343A JP2017164343A JP7013172B2 JP 7013172 B2 JP7013172 B2 JP 7013172B2 JP 2017164343 A JP2017164343 A JP 2017164343A JP 2017164343 A JP2017164343 A JP 2017164343A JP 7013172 B2 JP7013172 B2 JP 7013172B2
- Authority
- JP
- Japan
- Prior art keywords
- dictionary
- speaker
- voice
- identification information
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 141
- 238000003786 synthesis reaction Methods 0.000 title claims description 140
- 238000004891 communication Methods 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 34
- 238000012545 processing Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/033—Voice editing, e.g. manipulating the voice of the synthesiser
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Description
図1は、第一の実施形態に係る音声合成辞書配信システムを表すブロック図である。音声合成辞書配信システムは、辞書配信サーバ100と端末110がネットワーク120を介して接続される。
(非特許文献1)K. Tokuda“Speech Synthesis based on Hidden Markov Models,”in Proceedings of the IEEE, vol.101, no.5, pp.1234-1252, 2013.
(非特許文献2)K. Shichiri et al. “Eigenvoices for HMM-based speech synthesis,”in Proceedings ofICSLP-2002.
(非特許文献3)M. Tachibana et al. “A technique for controlling voice quality of synthetic speech using multiple regression HSMM,”in Proceedings of INTERSPEECH 2006.
(非特許文献4)Y. Ohtani et al. “Voice quality control using perceptual expressions for statistical parametric speech synthesis based on cluster adaptive training,”in Proceedings of INTERSPEECH 2016.
図8は、第二の実施形態における辞書配信サーバ100のブロック図である。第一の実施形態と同じモジュールは同一番号を付与している。本実施形態では、第1の実施形態の通信状態測定部106が話者重要度計算部800に置き換わる。話者重要度計算部800は、端末110が要求した話者と付帯情報から話者の重要度を計算する。
図11は、第三の実施形態に係る辞書配信サーバ100のブロック図である。第一の実施形態と同じモジュールは同一番号を付与している。本実施形態では、第一の実施形態の通信状態測定部106が話者再現度計算部1100に置き換わる。話者再現度計算部1100は、端末が要求した話者の第2辞書を用いて、パラメータから生成した合成音が元の肉声にどれだけ近いかを算出する。
図15は、本実施形態に係る音声合成システムを表すブロック図である。第1の実施形態と同じモジュールは同一番号を付与している。本実施形態では、端末110側にあった合成部115が音声合成サーバ1500側に移動し、条件判定部104が辞書構成部1501に置き換わる。辞書構成部1501は、例えば音声合成サーバ1500のサーバ負荷や話者の重要度に応じて第1辞書と第2辞書のメモリ上への配置や使用を動的に切り替える。音声合成部1502は、第1辞書または第2辞書を使用して合成した音声を送受信部107を通して端末に配信する。本実施形態において端末110には、音声合成部1502がなく、送受信部112が受信した音声を出力部116で再生する。
101…話者DB
102…第1辞書作成部
103…第2辞書作成部
104…条件判定部
105…音声合成辞書DB
106…通信状態測定部
107…送受信部
110…端末
111…入力部
112…送受信部
113…辞書管理部
114…音声合成辞書DB
115…合成部
116…出力部
120…ネットワーク
201…辞書配信サーバ100の音声合成辞書DB105に記憶されるデータテーブル
202…話者ID欄
203…第1辞書ファイル名欄
204…第2辞書で用いる話者パラメータ欄
301…端末110の音声合成辞書DB114に記憶されるデータテーブル
302…話者ID欄
303…第1辞書ファイル名欄
304…第2辞書で用いる話者パラメータ欄
800…話者重要度計算部
1001…話者重要度テーブル
1002…話者ID欄
1003…ユーザ欄
1100…話者再現度計算部
1401…話者再現度テーブル
1402…話者ID欄
1403…話者再現度欄
1500…音声合成サーバ
1501…辞書構成部
1502…音声合成部
1801…話者リクエスト頻度テーブル
1802…話者ID欄
1803…リクエスト頻度欄
Claims (9)
- 音声合成を行うための辞書を端末に配信する音声合成辞書配信装置であって、 話者の
識別情報と前記話者の音響モデルとを関連付けて保存する第1辞書と、複数話者の音声デ
ータを利用し作成された汎用的な音響モデルを持つ第2辞書とを記憶すると共に、話者の
識別情報と前記第2辞書に用いるための話者のパラメータとを関連付けて記憶する音声合
成辞書データベースと、前記第1辞書と前記第2辞書のどちらを使用するか判定する条件
判定部と、端末が送信した話者の識別情報を受信し、受信した前記話者の識別情報および
前記条件判定部の判定結果に基づき、辞書またはおよびパラメータを配信する送受信部と
、を備える音声合成辞書配信装置。 - 複数話者の音声データを利用し作成された汎用的な音響モデルを持つ第2辞書が記憶され
た端末に、音声合成を行うための辞書を配信する音声合成辞書配信装置であって、 話
者の識別情報と前記話者の音響モデルとを関連付けて保存する第1辞書を記憶すると共に
、話者の識別情報と前記第2辞書に用いるための話者のパラメータとを関連付けて保存す
る音声合成辞書データベースと、前記第1辞書と前記第2辞書のどちらを使用するか判定
する条件判定部と、端末が送信した話者の識別情報を受信し、受信した前記話者の識別情
報および前記条件判定部の判定結果に基づき、前記第1辞書またはおよびパラメータを配
信する送受信部と、を備える音声合成辞書配信装置。 - 前記音声合成辞書配信装置は、ネットワークの通信状態を測定する通信状態測定部を備え
、前記条件判定部は、前記通信状態測定部の測定結果に基づいて、使用する辞書を判定す
る、請求項1または請求項2に記載の音声合成辞書配信装置。 - 前記音声合成配信装置は、話者の重要度を算出する話者重要度計算部を備え、前記条件判
定部は、前記話者重要度計算部の算出結果に基づいて、使用する辞書を判定する、請求項
1ないし請求項3いずれかに記載の音声合成辞書配信装置。 - 前記音声合成配信装置は、辞書に基づいて合成された音響特徴量と話者の肉声から抽出し
た音響特徴量とを比較し、再現度を算出する話者再現度計算部を備え、前記条件判定部は
、前記再現度計算部の算出結果に基づいて、使用する辞書を判定する、請求項1ないし請
求項4のいずれかに記載の音声合成辞書配信装置。 - 合成音声を端末に配信する音声合成辞書配信装置であって、 話者の識別情報と前記話者
の音響モデルとを関連付けて保存する第1辞書と、複数話者の音声データを利用し作成さ
れた汎用的な音響モデルを持つ第2辞書とを記憶すると共に、話者の識別情報と前記第2
辞書に用いるための話者のパラメータとを関連付けて記憶する音声合成辞書データベース
と、端末が送信した話者の識別情報を受信する送受信部と、前記音声合成辞書データベー
スを参照し、メモリにロードする辞書またはおよびパラメータを選択する辞書構成部と、
前記辞書構成部で選択された辞書を利用して音声を合成する音声合成部と、を備え、前記
送受信部はさらに、前記音声合成部で合成した音声を端末に配信する音声合成辞書配信装
置。 - 音声合成を行うための辞書を端末に配信する音声合成辞書配信装置で実行されるプログラ
ムであって、 話者の識別情報と前記話者の音響モデルとを関連付けて保存する第1辞書
と、複数話者の音声データを利用し作成された汎用的な音響モデルを持つ第2辞書とを記
憶すると共に、話者の識別情報と前記第2辞書に用いるための話者のパラメータとを関連
付けて記憶する記憶機能と、前記記憶機能によって記憶された辞書を参照し、使用する辞
書を判定する条件判定機能と、端末が送信した話者の識別情報を受信し、受信した前記話
者の識別情報および前記条件判定部の判定結果に基づき、辞書またはおよびパラメータを
配信する送受信機能と、を備えることをコンピュータに実現させる、音声合成辞書配信プ
ログラム。 - 複数話者の音声データを利用し作成された汎用的な音響モデルを持つ第2辞書が記憶され
た端末に、音声合成を行うための辞書を配信する音声合成辞書配信装置で実行されるプロ
グラムであって、 話者の識別情報と前記話者の音響モデルとを関連付けて保存する第1
辞書を記憶すると共に、話者の識別情報と前記第2辞書に用いるための話者のパラメータ
とを関連付けて記憶する記憶機能と、前記記憶機能によって記憶された辞書を参照し、使
用する辞書を判定する条件判定機能と、端末が送信した話者の識別情報を受信し、受信し
た前記話者の識別情報および前記条件判定部の判定結果に基づき、辞書またはおよびパラ
メータを配信する送受信機能と、を備えることをコンピュータに実現させる、音声合成辞
書配信プログラム。 - 合成音声を端末に配信する音声合成装置で実行されるプログラムであって、 話者の識別
情報と前記話者の音響モデルとを関連付けて保存する第1辞書と、複数話者の音声データ
を利用し作成された汎用的な音響モデルを持つ第2辞書とを記憶すると共に、話者の識別
情報と前記第2辞書に用いるための話者のパラメータとを関連付けて記憶する記憶機能と
、端末が送信した話者の識別情報を受信する送受信機能と、前記記憶機能によって記憶さ
れた辞書を参照し、メモリにロードするまたはおよびパラメータを選択する辞書構成機能
と、前記辞書構成機能で選択された辞書を利用して音声を合成する音声合成機能と、を備
え、前記送受信機能はさらに、前記音声合成機能で合成した音声を端末に配信することを
コンピュータに実現させる、音声合成プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164343A JP7013172B2 (ja) | 2017-08-29 | 2017-08-29 | 音声合成辞書配信装置、音声合成配信システムおよびプログラム |
US16/058,229 US10872597B2 (en) | 2017-08-29 | 2018-08-08 | Speech synthesis dictionary delivery device, speech synthesis system, and program storage medium |
CN201810971707.5A CN109427325B (zh) | 2017-08-29 | 2018-08-24 | 语音合成字典分发装置、语音合成***以及程序存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017164343A JP7013172B2 (ja) | 2017-08-29 | 2017-08-29 | 音声合成辞書配信装置、音声合成配信システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019040166A JP2019040166A (ja) | 2019-03-14 |
JP7013172B2 true JP7013172B2 (ja) | 2022-01-31 |
Family
ID=65435461
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017164343A Active JP7013172B2 (ja) | 2017-08-29 | 2017-08-29 | 音声合成辞書配信装置、音声合成配信システムおよびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10872597B2 (ja) |
JP (1) | JP7013172B2 (ja) |
CN (1) | CN109427325B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3690875B1 (en) | 2018-04-12 | 2024-03-20 | Spotify AB | Training and testing utterance-based frameworks |
CN110060656B (zh) * | 2019-05-05 | 2021-12-10 | 标贝(北京)科技有限公司 | 模型管理和语音合成方法、装置和***及存储介质 |
CN110379407B (zh) * | 2019-07-22 | 2021-10-19 | 出门问问(苏州)信息科技有限公司 | 自适应语音合成方法、装置、可读存储介质及计算设备 |
US11373633B2 (en) * | 2019-09-27 | 2022-06-28 | Amazon Technologies, Inc. | Text-to-speech processing using input voice characteristic data |
JP2022061363A (ja) * | 2020-10-06 | 2022-04-18 | シャープ株式会社 | 音声メッセージ付画像の生成制御装置および生成方法 |
US20220189455A1 (en) * | 2020-12-14 | 2022-06-16 | Speech Morphing Systems, Inc | Method and system for synthesizing cross-lingual speech |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003029774A (ja) | 2001-07-19 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 音声波形辞書配信システム、音声波形辞書作成装置、及び音声合成端末装置 |
JP2013072903A (ja) | 2011-09-26 | 2013-04-22 | Toshiba Corp | 合成辞書作成装置および合成辞書作成方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5033087A (en) * | 1989-03-14 | 1991-07-16 | International Business Machines Corp. | Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system |
US6847931B2 (en) * | 2002-01-29 | 2005-01-25 | Lessac Technology, Inc. | Expressive parsing in computerized conversion of text to speech |
JP2003058180A (ja) * | 2001-06-08 | 2003-02-28 | Matsushita Electric Ind Co Ltd | 合成音販売システムおよび音素の著作権認定システム |
KR100486733B1 (ko) * | 2003-02-24 | 2005-05-03 | 삼성전자주식회사 | 음소 결합정보를 이용한 연속 음성인식방법 및 장치 |
ATE381755T1 (de) * | 2003-06-02 | 2008-01-15 | Ibm | Sprach-antwortsystem, sprach-antwortverfahren, sprach-server, sprach-datei- verarbeitungsverfahren, programm und aufzeichnungsmedium |
WO2006104988A1 (en) * | 2005-03-28 | 2006-10-05 | Lessac Technologies, Inc. | Hybrid speech synthesizer, method and use |
US8180630B2 (en) * | 2008-06-06 | 2012-05-15 | Zi Corporation Of Canada, Inc. | Systems and methods for an automated personalized dictionary generator for portable devices |
KR100998566B1 (ko) * | 2008-08-11 | 2010-12-07 | 엘지전자 주식회사 | 음성인식을 이용한 언어 번역 방법 및 장치 |
JP5334178B2 (ja) * | 2009-01-21 | 2013-11-06 | クラリオン株式会社 | 音声認識装置およびデータ更新方法 |
US9922641B1 (en) * | 2012-10-01 | 2018-03-20 | Google Llc | Cross-lingual speaker adaptation for multi-lingual speech synthesis |
US9977779B2 (en) * | 2013-03-14 | 2018-05-22 | Apple Inc. | Automatic supplementation of word correction dictionaries |
KR20140120560A (ko) * | 2013-04-03 | 2014-10-14 | 삼성전자주식회사 | 통역 장치 제어 방법, 통역 서버의 제어 방법, 통역 시스템의 제어 방법 및 사용자 단말 |
JP6266372B2 (ja) * | 2014-02-10 | 2018-01-24 | 株式会社東芝 | 音声合成辞書生成装置、音声合成辞書生成方法およびプログラム |
JP6392012B2 (ja) * | 2014-07-14 | 2018-09-19 | 株式会社東芝 | 音声合成辞書作成装置、音声合成装置、音声合成辞書作成方法及び音声合成辞書作成プログラム |
JP6052814B2 (ja) * | 2014-09-24 | 2016-12-27 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 音声認識モデルの構築方法、音声認識方法、コンピュータ・システム、音声認識装置、プログラムおよび記録媒体 |
US10255907B2 (en) * | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
JP6523893B2 (ja) | 2015-09-16 | 2019-06-05 | 株式会社東芝 | 学習装置、音声合成装置、学習方法、音声合成方法、学習プログラム及び音声合成プログラム |
-
2017
- 2017-08-29 JP JP2017164343A patent/JP7013172B2/ja active Active
-
2018
- 2018-08-08 US US16/058,229 patent/US10872597B2/en active Active
- 2018-08-24 CN CN201810971707.5A patent/CN109427325B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003029774A (ja) | 2001-07-19 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 音声波形辞書配信システム、音声波形辞書作成装置、及び音声合成端末装置 |
JP2013072903A (ja) | 2011-09-26 | 2013-04-22 | Toshiba Corp | 合成辞書作成装置および合成辞書作成方法 |
Also Published As
Publication number | Publication date |
---|---|
US10872597B2 (en) | 2020-12-22 |
CN109427325A (zh) | 2019-03-05 |
CN109427325B (zh) | 2022-11-18 |
JP2019040166A (ja) | 2019-03-14 |
US20190066656A1 (en) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7013172B2 (ja) | 音声合成辞書配信装置、音声合成配信システムおよびプログラム | |
WO2019101083A1 (zh) | 一种语音数据处理方法、语音交互设备及存储介质 | |
JP7121461B2 (ja) | コンピュータシステム、音声認識方法及びプログラム | |
JP4369132B2 (ja) | 話者音声のバックグランド学習 | |
US20170140755A1 (en) | Interaction assistant | |
JP7283496B2 (ja) | 情報処理方法、情報処理装置およびプログラム | |
US20090254349A1 (en) | Speech synthesizer | |
US11646026B2 (en) | Information processing system, and information processing method | |
JP2015180966A (ja) | 音声処理システム | |
WO2004047076A1 (ja) | 標準モデル作成装置及び標準モデル作成方法 | |
US10224030B1 (en) | Dynamic gazetteers for personalized entity recognition | |
JP2020067658A (ja) | 音声を認識する装置及び方法、音声認識モデルをトレーニングする装置及び方法 | |
JP7347217B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
US11756571B2 (en) | Apparatus that identifies a scene type and method for identifying a scene type | |
JP2015148701A (ja) | ロボット制御装置、ロボット制御方法及びロボット制御プログラム | |
CN114528812A (zh) | 一种语音识别方法、***、计算设备及存储介质 | |
JP2014109998A (ja) | 対話装置及びコンピュータ対話方法 | |
JP2018138987A (ja) | 情報処理装置および情報処理方法 | |
CN111916065B (zh) | 用于处理语音的方法和装置 | |
KR102623459B1 (ko) | 사용자의 보컬 평가에 기반한 오디션 이벤트 서비스 제공 방법, 장치 및 시스템 | |
WO2023210340A1 (ja) | 学習装置および学習方法 | |
US11514920B2 (en) | Method and system for determining speaker-user of voice-controllable device | |
US12020690B1 (en) | Adaptive targeting for proactive voice notifications | |
CN113220913B (zh) | 多媒体文件处理方法、装置和交互*** | |
KR102479899B1 (ko) | 음성 합성 서비스를 제공하는 서버, 단말 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210625 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7013172 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |