JP6696878B2 - 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法 - Google Patents
音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法 Download PDFInfo
- Publication number
- JP6696878B2 JP6696878B2 JP2016203690A JP2016203690A JP6696878B2 JP 6696878 B2 JP6696878 B2 JP 6696878B2 JP 2016203690 A JP2016203690 A JP 2016203690A JP 2016203690 A JP2016203690 A JP 2016203690A JP 6696878 B2 JP6696878 B2 JP 6696878B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- voice recognition
- keyword
- subtitle
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 4
- 239000000725 suspension Substances 0.000 claims description 2
- 241000251468 Actinopterygii Species 0.000 description 35
- 230000005236 sound signal Effects 0.000 description 24
- 238000000926 separation method Methods 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000004807 localization Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 239000000470 constituent Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 241001600434 Plectroglyphidodon lacrymatus Species 0.000 description 2
- 241001504426 Zosterops japonicus Species 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、(1)によれば、読み飛ばしがあったとしても、話者がスムーズに話を続けることができる。
また、(2)によれば、話者による動作指示に基づいて所望のシナリオの字幕を再生、一時停止、停止等することができる。
また、(1)、(4)、(5)および(6)によれば、話者の所望するシナリオ、または章から字幕を再生することができる。
また、(3)によれば、外部からの指示を字幕の表示を妨げることなく表示することが
できる。
図1は、本実施形態に係る音声処理装置1の構成を示すブロック図である。
図1に示すように、音声処理装置1は、HMD(ヘッドマウントディスプレイ)10と、ヘッドセット20を備える。
HMD10は、音声信号取得部101、音源分離部102、特徴量算出部103、モデル記憶部104、キーワード記憶部105、音声認識部106、シナリオ記憶部107、字幕生成部108、表示部109、操作部110、およびセンサー111を備える。
ヘッドセット20は、収音部201、受信部202、および再生部203を備える。
図2は、本実施形態に係るシナリオ記憶部107が記憶する原稿ファイルの例を示す図である。図2に示す例の原稿ファイルは、学会等で発表されるときに使用する原稿ファイルの例である。図2に示しように、シナリオ記憶部107は、テキストを項目毎に記憶する。項目は、例えば、「はじめに」、「課題」、「本文」、「応用例」、および「まとめ」である。なお、図2に示した項目の名称は一例であり、これに限らず、例えば第1段落、第2段落、・・・、または1枚目、2枚目、・・・、あるいは1章、2章、・・・等であってもよい。
このような場合、字幕生成部108は、シナリオ記憶部107が記憶する複数の原稿ファイルのタイトルを表示部109に表示する。利用者は、操作部110を操作して表示されたタイトルの中から発表に使用する原稿ファイルを選択する。または、利用者は、表示されたタイトルの中から発表に使用する原稿のタイトル等を読み上げる。音声認識部106は、取得した音声信号に発表する原稿のタイトル等のキーワードが含まれている場合、対応する原稿ファイルを選択する動作指示を字幕生成部108へ出力する。
図3は、本実施形態に係る音声処理装置1の外観の一例を示す図である。図3に示すように、音声処理装置1は、眼鏡型のHMD10とヘッドセット20を含む。HMD10は、左右に表示部109R及び109L、鼻あて121R及び121L、ブリッジ122、テンプル123Rおよび123Lを備えている。左のテンプル123Lは、音声信号取得部101、音源分離部102、特徴量算出部103、モデル記憶部104、キーワード記憶部105、音声認識部106、シナリオ記憶部107、および字幕生成部108を備える。また、右のテンプル123Rは、操作部110とセンサー111を備える。また、ヘッドセット20は、利用者の口元に配置される収音部201と利用者の耳元に配置される再生部203を備えている。なお、図3に示した構成は一例であり、外観、各部が取り付けられている位置や形状は、これに限られない。
図4は、本実施形態に係る表示部109が表示する情報の一例を示す図である。図4において、g1は、表示部109が表示する画像の一例である。g11は、字幕データの一例である。g12は、前述した操作画像の一例であり、プレゼン停止のボタン画像である。g13は、操作画像の一例であり、メインメニューを表示するボタン画像である。g14は、外部装置が送信した指示情報をテキストとして表示部109に表示した例である。
図5は、本実施形態に係る読み飛ばしが発生した場合の表示例を示す図である。図5に示す例において、原稿ファイルのテキストは、「出生魚の名前は、日本において、子供の魚から・・・」であり、「出生魚の名前は」ph1を第一音節、「日本において」ph2を第二音節、「子供の魚から」ph3を第三音節とする。
利用者が、第一音節の「出生魚の名前は」ph1を読んだ後、第二音節の「日本において」ph2を読み飛ばしてph3の「子供」を読んだ場合、字幕生成部108は、g101とg111に示すように、利用者が読み飛ばした第二音節の「日本において」ph2の表示色を黒色に変化させて知覚できないようにする。なお、図5では、説明のために、読み終わった箇所と、読み飛ばされた箇所を、グレーで示し、読み終わってない箇所を黒色で表している。
図6は、本実施形態に係る音声信号による動作指示の処理のフローチャートである。
(ステップS3)字幕生成部108は、音声認識部106が出力した動作指示に応じて、講演をスタートしたと判定する。例えば、字幕生成部108は、シナリオ記憶部107が複数のテキストファイルを記憶する場合、タイトルのリストを表示部109に表示する。字幕生成部108は、処理後、ステップS8の処理に進む。
(ステップS5)字幕生成部108は、音声認識部106が出力した動作指示に応じて、講演原稿をXXに設定する。字幕生成部108は、処理後、ステップS8の処理に進む。
(ステップS7)字幕生成部108は、音声認識部106が出力した動作指示に応じて、講演原稿をXXの項目YYを開始項目に設定する。なお、字幕生成部108は、講演原稿XXに項目YYがない場合、その項目がないことを表示部109に表示する。字幕生成部108は、処理後、ステップS8の処理に進む。
(ステップS8)音声処理装置1は、発表中の処理を行い、以上の音声信号による動作指示の処理を、発表の終了を示すキーワードまたは発話「以上で発表を終了します。」が認識されるまで繰り返す。
図7は、本実施形態に係る発表中の処理のフローチャートである。
また、本実施形態によれば、利用者が操作部110を操作し、またはジェスチャーによる操作を行うことで、音声処理装置1に対して操作指示を行うことができる。
第1実施形態では、音声処理装置1が、HMD10の全ての構成要素、ヘッドセット20の全ての構成要素を備える例を説明したが、構成要素の一部は、ネットワークを介してサーバー等が備えていてもよい。
図8に示すように音声処理装置1Aは、HMD10A、ヘッドセット20、および音声認識装置30を備える。HMD10Aと音声認識装置30は、ネットワーク50を介して接続される。ネットワーク50は、電話通信回線、インターネット回線、無線回線、有線回線等のネットワークである。
音声認識装置30は、音源分離部102、特徴量算出部103、モデル記憶部104、キーワード記憶部105、音声認識部106、受信部301、および送信部302を備える。
送信部112は、音声信号取得部101が出力する周波数領域の音響信号を、ネットワーク50を介して、音声認識装置30へ送信する。
受信部113は、音声認識装置30がネットワーク50を介して送信したテキストデータまたは動作指示を受信し、受信したテキストデータまたは動作指示を字幕生成部108に出力する。
音声認識部106は、認識した結果にキーワードが含まれていると判定した場合、そのキーワードに対応する動作指示を送信部302に出力する。音声認識部106は、認識した結果にキーワードが含まれていないと判定した場合、生成したテキストデータを、例えば節毎に送信部302へ出力する。
送信部302は、音声認識部106が出力したテキストデータまたは動作指示を、ネットワーク50を介してHMD10Aへ送信する。
Claims (6)
- シナリオをテキスト情報として記憶するシナリオ記憶部と、
話者が発話する音声を収音する収音部と、
前記収音部が収音した前記音声に対して音声認識する音声認識部と、
前記シナリオ記憶部から前記テキスト情報を読み出して字幕を生成し、前記音声認識部が音声認識した結果に基づいて、前記字幕の文字列のうち、話者が既に発話した部分の表示を知覚できないように変化させ、前記音声認識部での音声認識した結果に基づいて、前記字幕のうち前記話者による読み飛ばしが発生したか否かを検出し、前記字幕のうち前記話者による読み飛ばしがあった場合に、該当する箇所までの部分の表示を知覚できないように変化させる字幕生成部と、
を備え、
前記シナリオは、予め複数の項目で構成されており、
動作指示を行うキーワードを、動作指示に対応付けて記憶する記憶部、を備え、
前記音声認識部は、
前記記憶部が記憶する前記キーワードを探索して、認識した結果に前記キーワードが含まれているか否かを判別し、認識した結果に前記キーワードが含まれていると判別した場合に前記キーワードに対応付けられている前記動作指示を前記字幕生成部に出力し、
前記字幕生成部は、
前記音声認識部が出力する前記キーワードに対応付けられている前記動作指示に応じて、前記テキスト情報における前記動作指示により指定された前記項目の字幕を表示させ、前記テキスト情報における前記キーワードに対応する前記項目が無い場合に、前記項目が無いことを示す情報を表示させる、
音声処理装置。 - 前記音声認識部は、音声認識した音声から動作指示を取得し、
前記字幕生成部は、前記動作指示に基づいて字幕の再生、一時停止、および終了のうち少なくとも1つを行う、請求項1に記載の音声処理装置。 - 外部からの指示情報を取得する受信部、を備え、
前記字幕生成部は、前記受信部が取得した前記指示情報を、前記字幕を表示する領域外に表示する、請求項1または請求項2に記載の音声処理装置。 - シナリオをテキスト情報として記憶するシナリオ記憶部と、
動作指示を行うキーワードを、動作指示に対応付けて記憶する記憶部と、
話者が発話する音声を収音する収音部と、
前記収音部が収音した前記音声に対して音声認識する音声認識部と、
前記テキスト情報を表示する表示部と、
前記シナリオ記憶部から前記テキスト情報を読み出して字幕を生成し、前記音声認識部が音声認識した結果に基づいて、字幕の文字列のうち、話者が既に発話した部分の表示を知覚できないように変化させて前記表示部に表示し、前記音声認識部での音声認識した結果に基づいて、前記字幕のうち前記話者による読み飛ばしが発生したか否かを検出し、前記字幕のうち前記話者による読み飛ばしがあった場合に、該当する箇所までの部分の表示を知覚できないように変化させて前記表示部に表示する字幕生成部と、
を備え、
前記シナリオは、予め複数の項目で構成されており、
前記音声認識部は、
前記記憶部が記憶する前記キーワードを探索して、認識した結果に前記キーワードが含まれているか否かを判別し、認識した結果に前記キーワードが含まれていると判別した場合に前記キーワードに対応付けられている前記動作指示を前記字幕生成部に出力し、
前記字幕生成部は、
前記音声認識部が出力する前記キーワードに対応付けられている前記動作指示に応じて、前記テキスト情報における前記動作指示により指定された前記項目の字幕を表示させ、前記テキスト情報における前記キーワードに対応する前記項目が無い場合に、前記項目が無いことを示す情報を表示させる、
ウェアラブル端末。 - シナリオをテキスト情報として記憶するシナリオ記憶部と、
動作指示を行うキーワードを、動作指示に対応付けて記憶する記憶部と、
話者が発話する音声を収音する収音部と、
前記収音部が収音した前記音声に対して音声認識する音声認識部と、
前記テキスト情報を表示する表示部と、
前記シナリオ記憶部から前記テキスト情報を読み出して字幕を生成し、前記音声認識部が音声認識した結果に基づいて、字幕の文字列のうち、話者が既に発話した部分の表示を知覚できないように変化させて前記表示部に表示し、前記音声認識部での音声認識した結果に基づいて、前記字幕のうち前記話者による読み飛ばしが発生したか否かを検出し、前記字幕のうち前記話者による読み飛ばしがあった場合に、該当する箇所までの部分の表示を知覚できないように変化させて前記表示部に表示する字幕生成部と、
を備え、
前記シナリオは、予め複数の項目で構成されており、
前記音声認識部は、
前記記憶部が記憶する前記キーワードを探索して、認識した結果に前記キーワードが含まれているか否かを判別し、認識した結果に前記キーワードが含まれていると判別した場合に前記キーワードに対応付けられている前記動作指示を前記字幕生成部に出力し、
前記字幕生成部は、
前記音声認識部が出力する前記キーワードに対応付けられている前記動作指示に応じて、前記テキスト情報における前記動作指示により指定された前記項目の字幕を表示させ、前記テキスト情報における前記キーワードに対応する前記項目が無い場合に、前記項目が無いことを示す情報を表示させる、
携帯端末。 - 予め複数の項目で構成されているシナリオをテキスト情報として記憶するシナリオ記憶部と、動作指示を行うキーワードを、動作指示に対応付けて記憶する記憶部とを有する音声処理装置における音声処理方法であって、
収音部が、話者が発話する音声を収音する収音手順と、
音声認識部が、前記収音手順によって収音された前記音声に対して音声認識し、
前記記憶部が記憶する前記キーワードを探索して、認識した結果に前記キーワードが含まれているか否かを判別し、認識した結果に前記キーワードが含まれていると判別した場合に前記キーワードに対応付けられている前記動作指示を字幕生成部に出力し、音声認識手順と、
前記字幕生成部が、前記シナリオ記憶部から前記テキスト情報を読み出して字幕を生成し、前記音声認識手順によって音声認識した結果に基づいて、前記字幕の文字列のうち、話者が既に発話した部分の表示を知覚できないように変化させ、前記音声認識手順によって音声認識した結果に基づいて、前記字幕のうち前記話者による読み飛ばしが発生したか否かを検出し、前記字幕のうち前記話者による読み飛ばしがあった場合に、該当する箇所までの部分の表示を知覚できないように変化させ、記音声認識部が出力する前記キーワードに対応付けられている前記動作指示に応じて、前記テキスト情報における前記動作指示により指定された前記項目の字幕を表示させ、前記テキスト情報における前記キーワードに対応する前記項目が無い場合に、前記項目が無いことを示す情報を表示させる字幕生成手順と、
を含む音声処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203690A JP6696878B2 (ja) | 2016-10-17 | 2016-10-17 | 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法 |
US15/645,010 US20180108356A1 (en) | 2016-10-17 | 2017-07-10 | Voice processing apparatus, wearable apparatus, mobile terminal, and voice processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203690A JP6696878B2 (ja) | 2016-10-17 | 2016-10-17 | 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018067050A JP2018067050A (ja) | 2018-04-26 |
JP6696878B2 true JP6696878B2 (ja) | 2020-05-20 |
Family
ID=61902330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016203690A Active JP6696878B2 (ja) | 2016-10-17 | 2016-10-17 | 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20180108356A1 (ja) |
JP (1) | JP6696878B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109257659A (zh) * | 2018-11-16 | 2019-01-22 | 北京微播视界科技有限公司 | 字幕添加方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6272461B1 (en) * | 1999-03-22 | 2001-08-07 | Siemens Information And Communication Networks, Inc. | Method and apparatus for an enhanced presentation aid |
JP4710331B2 (ja) * | 2005-01-27 | 2011-06-29 | ソニー株式会社 | プレゼンテーション用アプリケーションをリモートコントロールするための装置,方法,プログラム及び記録媒体 |
JP2009271814A (ja) * | 2008-05-09 | 2009-11-19 | Seiko Epson Corp | 表示装置、および、表示装置における表示方法 |
JP2011253225A (ja) * | 2010-05-31 | 2011-12-15 | Konica Minolta Business Technologies Inc | プレゼンテーション支援システム、プレゼンテーション支援方法、およびコンピュータプログラム。 |
AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
US9031493B2 (en) * | 2011-11-18 | 2015-05-12 | Google Inc. | Custom narration of electronic books |
WO2013123583A1 (en) * | 2012-02-22 | 2013-08-29 | Quillsoft Ltd. | System and method for enhancing comprehension and readability of text |
US10431116B2 (en) * | 2015-12-10 | 2019-10-01 | International Business Machines Corporation | Orator effectiveness through real-time feedback system with automatic detection of human behavioral and emotional states of orator and audience |
-
2016
- 2016-10-17 JP JP2016203690A patent/JP6696878B2/ja active Active
-
2017
- 2017-07-10 US US15/645,010 patent/US20180108356A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180108356A1 (en) | 2018-04-19 |
JP2018067050A (ja) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463825B2 (ja) | 多重話者音声認識修正システム | |
KR101826714B1 (ko) | 말하기 학습 기능을 구비한 외국어 학습 시스템 및 외국어 학습 방법 | |
US9899028B2 (en) | Information processing device, information processing system, information processing method, and information processing program | |
JP5750380B2 (ja) | 音声翻訳装置、音声翻訳方法および音声翻訳プログラム | |
JP6172417B1 (ja) | 語学学習システム及び語学学習プログラム | |
US20180288109A1 (en) | Conference support system, conference support method, program for conference support apparatus, and program for terminal | |
US8553855B2 (en) | Conference support apparatus and conference support method | |
JP2015041101A (ja) | スマートメガネを用いた外国語学習システム及びその方法 | |
JP6696878B2 (ja) | 音声処理装置、ウェアラブル端末、携帯端末、および音声処理方法 | |
WO2020079918A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2016157678A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6172770B2 (ja) | 要約筆記支援システム、情報配信装置、要約筆記支援方法、及びプログラム | |
JP2021117371A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP6889597B2 (ja) | ロボット | |
JP2023007405A (ja) | 音声変換装置、音声変換方法、プログラム、および記録媒体 | |
JP2016186646A (ja) | 音声翻訳装置、音声翻訳方法および音声翻訳プログラム | |
JP2015187738A (ja) | 音声翻訳装置、音声翻訳方法および音声翻訳プログラム | |
JP2016009133A (ja) | 言語リハビリテーション支援装置及びその制御方法 | |
WO2021255831A1 (ja) | 送信装置、コミュニケーション方法、及びプログラム | |
JP5242856B1 (ja) | 音楽再生プログラム及び音楽再生システム | |
JP7182997B2 (ja) | 絵本表示システム | |
KR20170090956A (ko) | 청각 장애인을 위한 알림 시스템 | |
JP6169526B2 (ja) | 特定音声抑圧装置、特定音声抑圧方法及びプログラム | |
KR20230018641A (ko) | 음성 처리 장치를 포함하는 다중 그룹 수업 시스템 | |
JP2022106109A (ja) | 音声認識装置、音声処理装置および方法、音声処理プログラム、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200326 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200414 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6696878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |