JP6635211B1 - エコーキャンセラおよびip電話機 - Google Patents

エコーキャンセラおよびip電話機 Download PDF

Info

Publication number
JP6635211B1
JP6635211B1 JP2019049257A JP2019049257A JP6635211B1 JP 6635211 B1 JP6635211 B1 JP 6635211B1 JP 2019049257 A JP2019049257 A JP 2019049257A JP 2019049257 A JP2019049257 A JP 2019049257A JP 6635211 B1 JP6635211 B1 JP 6635211B1
Authority
JP
Japan
Prior art keywords
echo canceller
voice
echo
line echo
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019049257A
Other languages
English (en)
Other versions
JP2020155793A (ja
Inventor
佳宏 馬場
佳宏 馬場
翔太 本島
翔太 本島
Original Assignee
株式会社ナカヨ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ナカヨ filed Critical 株式会社ナカヨ
Priority to JP2019049257A priority Critical patent/JP6635211B1/ja
Application granted granted Critical
Publication of JP6635211B1 publication Critical patent/JP6635211B1/ja
Publication of JP2020155793A publication Critical patent/JP2020155793A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

【課題】回線エコーキャンセラが本来のエコーキャンセルしたい音声以外の音声(無音や保留音など)でのエコーキャンセルのための学習を阻止し、通話品質の劣化を阻止し得る技術を提供することを目的とする。【解決手段】回線エコーを検出し、当該回線エコーをキャンセルする機能を有する回線エコーキャンセラを備えたエコーキャンセラにおいて、通話相手のマイクからの入力音、及び/又は保留音を検出する音声検出手段を設け、音声検出手段が、無音、及び/又は保留音を検出した場合、回線エコーキャンセラにおけるエコーキャンセル学習を停止するエコーキャンセラおよびエコーキャンセラを備えたIP電話機。【選択図】図1

Description

本発明は、エコーキャンセラおよびIP電話機に関し、特に回線エコーを除去する機能を有するエコーキャンセラおよび回線エコーを除去する機能を有するエコーキャンセラを備えたIP電話機に関する。
音響エコーをキャンセルする技術として、特開平10−41860号公報(特許文献1)がある。この公報には、「音響エコーが重畳されたアナログ入力送話信号から擬似エコー信号を差し引いて送話信号を出力するアナログ減算器と、該アナログ減算器の出力をディジタル変換する第1のA/D変換器と、通話相手からのアナログ入力受話信号をディジタル変換する第2のA/D変換器と、該第1のA/D変換器と第2のA/D変換器のディジタル出力から残留エコーのインパルスレスポンスを推定しタップ係数を算出するタップ係数算出器と、前記アナログ入力受話信号をシフトレジスタで遅延させて得られる複数のタップ出力を前記タップ係数算出器から得られるタップ係数によって重み付けした後加算した重み付け合成出力を前記擬似エコーとして前記アナログ減算器に入力する擬似エコー発生器とが備えられたことを特徴とするエコーキャンセラ」という記載がある。
また、IP電話機は、音声の「遅延」や「ゆらぎ」により、回線エコーが発生することは知られている。
特開平10−41860号公報
従来は、電話機に備える回線エコーは、2本の線路で送受を行う2線式回線と送受各々に別の線路を用いる4線式回線の接続部、つまり、2線−4線変換部分(ハイブリットトランス)で発生する。つまり、この回線は、ドアホンとの線路の回線にも利用させており、2線式回線と4線式回線の接続部の2線−4線変換部分(ハイブリットトランス)には、ハイブリッドコイルが用いられる。したがって、2線式回線と4線式回線の接続点におけるインピーダンス不整合により受話信号(音声信号)の一部が送話路へ漏れ込む。この漏れによる反射がエコーと呼ばれ、通話者は遅延を伴った自分のエコーを聞きながら話すことになり、話しづらく通話がスムーズに進まなくなる。
特に、IP電話機の場合は、音声をパケット化した音声データにて通信するものであり、アナログ電話機に比べると、遅延が大きい。またIP回線を利用したVPN接続時は、さらに、遅延が大きくなり、通話がスムーズに行えないという問題があった。
係るエコーの問題に対し、従来は、例えば、特許文献1のようにエコーサプレッサが用いられてきた。しかし、エコーサプレッサは、スイッチ動作によりエコーを抑圧しているため、通話相手(話し相手)の音声の一部が途切れたり、エコーが漏れたりする場合があり、通話品質の面で劣化は避けられない。そこで、これらの欠点を原理的に解決するため、近年ではエコーキャンセラが用いられている。
しかし、エコーキャンセラを用いた場合、通話相手側の環境や、操作により回線エコーキャンセラが、本来のキャンセルしたい音声に対して学習すべきところ、キャンセルしたい音声以外の音、例えば、無音や保留音などの状態でエコーキャンセルのための学習動作をすることがあり、この場合、エコーキャンセラから残留エコーが発生し、通話品質の劣化が避けられないという新たな課題があった。そのための新たな解決策が必要となる。
特許文献1では、回線エコーキャンセラにおける上述した課題については何ら考慮されていない。そのため、「インパルス応答時間の長い音響エコーをキャンセルするための演算処理量の多い擬似エコーを生成する回路規模を小さくし処理時間を短縮して低消費電力化を図る」という効果に留まる。
そこで、本発明では、本来のエコーキャンセルしたい音声以外の音(無音や保留音など)でのエコーキャンセル学習を阻止し、通話品質の劣化を阻止し得る技術を提供することを目的とする。
上記課題を解決するために、代表的な本発明のエコーキャンセラおよびIP電話機の一つは、
通話相手(話し相手)がマイクからの入力音を無音状態、及び保留音状態とした場合、回線エコーキャンセラにおけるエコーキャンセラ学習を停止する手段を設けたものである。
本発明によれば、回線エコーキャンセラとして、本来のキャンセルしたい音声に対して、エコーキャンセラ学習し、それ以外の音声に対しては、エコーキャンセラ学習を停止させることでエコーキャンセラの特性を最大限に引き出すことができ、残留エコーを小さくすることができる。
本発明のIP電話機におけるエコーキャンセラの構成例(実施例1)を示すブロック図。 本発明のIP電話機におけるエコーキャンセラの他構成例(実施例2)を示すブロック図。 本発明のIP電話機におけるエコーキャンセラの他構成例(実施例3)を示すブロック図。
以下、実施例について図面を参照して説明する。
図1は、本発明のIP電話機におけるエコーキャンセラの構成例を示すブロック図である。
エコーキャンセラを動作させるにあたり、通話相手(話し相手)がマイクからの入力音をミュートしたり、マイクの穴をふさぐなどの行為を行うと、その間、受信系伝送路(以下、受話路と称する)における受話信号は、「無音」状態、つまり、マイクから入力される音は無音になる。この場合、エコーキャンセラは、受話信号がスピーカからマイクに戻る、戻り音声(回線エコー)に対してエコーキャンセラ学習を実行する。この「無音」状態のとき、エコーキャンセラに無音の数値0(フィルタ係数)が入力されると、エコーキャンセルのための学習をしているエコーキャンセラにおける適応フィルタが誤ったエコーキャンセルのための学習をすることになる。すると、エコーキャンセラの適応フィルタにより除去できなかった残留エコーが出力され、この残留エコーが受話路に漏れ、その結果として、エコーキャンセラ1020の特性が悪くなるという課題があった。
本発明は、係る課題に鑑み、エコーキャンセラ1020の回線エコーキャンセル回路1620において、回線エコーをキャンセルする際、受話路から「無音」の数値が入力された場合には、回線エコーキャンセル回路1620におけるエコーキャンセルのための学習を停止するものである。以下、IP電話機を例にして説明する。
IP電話機1は、マイク11、A/D変換器12、D/A変換器19、スピーカ21、通信部14、エコーキャンセラ1020を有する。IP電話機1は、その他に、図示していないが、IP電話機1を構成するIP電話処理部、主制御部、インターフェース部などを含み、これらは周知なので詳細説明は省略する。
A/D変換器12は、送信系伝送路(以下、送話路と称する)の発話信号、つまり、マイク11からのマイク入力信号であるアナログ音声信号をディジタル音声信号に変換し、エコーキャンセラ1020に出力する。
D/A変換器19は、受話路の受話信号、つまり、音声通信系のIP回線網から通信部14を介して受信した受信信号であるディジタル音声信号をアナログ音声信号に変換し、スピーカ21に出力する。
マイク11、A/D変換器12、エコーキャンセラ1020の演算処理部13、通信部14は、送信系伝送路、つまり、送話路を構成する。そして、マイク11の発話信号(マイク入力信号)は、A/D変換器12、エコーキャンセラ1020の演算処理部13、通信部14を介して音声通信系(IP回線網)に送信される。
通信部14、エコーキャンセラ1020の演算処理部20、D/A変換器19は、受信系伝送路、つまり、受話路を構成する。そして、通信部14にて受信した受話信号(通信相手先のマイク入力信号)は、通信部14、エコーキャンセラ1020の演算処理部20、D/A変換器19を介してスピーカ21に出力される。
エコーキャンセラ1020は、エコーキャンセラ処理を行う機能を有し、マイク11からの音響エコーをキャンセルする音響エコーキャンセル回路1315、通信先において発生した受話路における回線エコーをキャンセルする回線エコーキャンセル回路1620、受話路の音声を検出し、例えば、通話相手から音声が検出できない無音状態を検出した場合、回線エコーキャンセル回路1620における学習を停止するように制御する音声検出・制御回路1718を有する。
音響エコーとは、スピーカ21からの出力信号がマイク11に戻ることが原因で起こる現象である。回線エコーとは、マイク11からのマイク入力信号が通話相手のスピーカ、マイクを経由して戻るエコーであり、このエコーは、音声の「遅延」や「ゆらぎ」などが原因で起きる現象である。
音響エコーキャンセル回路1315は、音響エコーキャンセラ部15、演算処理部13を含む。
音響エコーキャンセラ部15は、例えば、周知の適応フィルタからなり、演算処理部13からの出力信号(マイク入力信号a)と演算処理部20からの出力信号(受信音声信号)をもとに音響エコーをキャンセルするための音響エコーに相当する信号a’(推定音響エコー成分)を生成し、推定音響エコー成分を演算処理部13に出力する。
演算処理部13は、減算器からなり、A/D変換器12からのディジタル音声信号(音響エコー成分を含むマイク入力信号a)と音響エコーキャンセラ部15からの音響エコーに相当する信号a’(推定音響エコー成分)を減算処理(マイク入力信号a−音響エコーに相当する信号a)して、マイク入力信号aから音響エコー成分を除去し、マイク11からのマイク入力信号を通信部14および音響エコーキャンセラ部15、回線エコーキャンセラ部16に出力する。
回線エコーキャンセル回路1620は、回線エコーキャンセラ部16、演算処理部20を含む。
回線エコーキャンセラ部16は、エコーキャンセルするための学習を行う機能を有し、例えば、周知の適応フィルタからなり、演算処理部13の出力音声信号(マイク入力音声信号)とレベル判定部17の出力信号(レベル判定結果)をもとに回線エコーをキャンセルするための回線エコーに相当する信号b’(推定回線エコー成分)を生成し、推定回線エコー成分を演算処理部20に出力する。
適応フィルタのフィルタ係数は、経路の伝達を表し、伝達関数と呼ばれ、H(n)などと関数として表現される。
演算処理部20は、減算器からなり、通信部14を介して受信した通話相手からのディジタル音声信号(回線エコー成分を含む受信信号bと回線エコーキャンセラ部16からの回線エコーに相当する信号b’(推定エコー成分))を減算処理(ディジタル音声信号b−回線エコーに相当する信号b’)して、受信信号bから回線エコー成分を除去し、つまり、エコーキャンセラ処理を行って受信信号をD/A変換器19および音響エコーキャンセラ部15に出力する。
音声検出・制御回路1718は、通話相手のマイクから入力される音声を検出し、検出した音声のレベルを判定するレベル判定部17を有する。レベル判定部17は、通信部14の受話路における受話信号(回線エコーを含む音声信号)を検出し、そのレベルを判定し、つまり、受話路における受話信号(音声信号)のレベルが予め設定された所定のレベル以下にあるか否かを判定し、その結果を回線エコーキャンセラ部16に出力する。
ここで、受話路における受話信号(音声信号)のレベルが所定のレベル以下の場合、レベル判定部17は、「無音」状態と判定する。
このとき、回線エコーキャンセラ部16は、レベル判定部17の判定結果を受け、「無音」状態の場合には、回線エコーキャンセラ部16におけるエコーキャンセルのための学習を停止する。その他の場合は、通常通りの回線エコーキャンセラ学習を実行する。
以上述べた実施例によれば、エコーキャンセラとして、本来のキャンセルしたい音声に対して学習し、換言すれば、キャンセルしたい音声でない音声(無音状態)に対してエコーキャンセルのための学習をしないようにすることにより、エコーキャンセラの特性を最大限に引き出すことができ、回線エコーキャンセラ1620から出力される残留エコーの低減を図ることができる。
図2は、本発明のIP電話機におけるエコーキャンセラの他構成例を示すブロック図である。
本実施例は、通話中に相手(通話先相手)が、保留状態とした場合における以下の課題を是正するものである。
通話中に相手(通話先相手)が、保留状態とした場合、IP電話機1は、通話先から保留音を受信することになる。
このとき、実施例1と同様にエコーキャンセラ1020は、話者のマイク音声がスピーカ21を経てマイク11に戻る、戻り音声(エコー)をキャンセルするキャンセラ処理を行う。このとき、エコーキャンセラ1020の回線エコーキャンセラ部16に無音の数値0(フィルタ係数)が入力されると、上述したようにエコーキャンセルのための学習している回線エコーキャンセラ部16の適応フィルタが間違ったエコーキャンセルのための学習をする。このため、エコーキャンセラ1020(回線エコーキャンセラ部16)の特性が悪くなる。
係る課題を是正するため、本実施例では、音声検出・制御回路1718にレベル判定部17とは別に、通話相手の保留音発生部(図示せず)からの保留音、例えば、音楽を検出する保留音(音楽)検出部1’を設け、保留音(音楽)検出部1’で保留音(音楽)を検出した場合、回線エコーキャンセラ部16におけるエコーキャンセルのための学習を停止するものである。
これにより、通話中に相手が、保留状態とした場合でも、実施例1と同様な効果を期待することができる。
図3は、本発明のIP電話機におけるエコーキャンセラの他構成例を示すブロック図である。
本実施例は、通話中に話者からの入力音声が小さい場合における以下の課題を是正するものである。
通話中にマイク11から入力される話者の入力音声、つまり、通話相手のIP電話機を経由して戻る音声が小さい場合、パラメータとなる音声データの変動が少ないため、エコーキャンセルのための学習に時間を要する。その是正方法として、入力音声が一定以上の音量になるように制御する手段を設けたり、あるいは、自動利得制御回路(AGC)などを用いて自動調整することが考えられる。
しかし、これらの方法では、音声の抑揚部分まで補正してしまう問題が発生する。このため、エコーキャンセラ1020の回線エコーキャンセル回路1620におけるエコーキャンセルのための学習に対しては、エコーキャンセルのための学習が遅れることにより、エコーリターンが聞こえてしまう新たな課題があった。
係る課題を是正するため、本実施例では、受話路が無音状態、及び/又は通話中に話者からの入力音声が小さい場合、それらの時間を計測し、判定する時間判定部18を含む時間計測・判定回路1800を設けたものである。
時間判定部18は、通信部14の受話路における受話信号(音声信号)、つまり、通話中に話者からの音声が予め設定した所定値よりも小さい音声の時間を判定し、その結果を回線エコーキャンセラ部16に出力する。
このとき、利用するIP電話機1の話者が一人で特定できるならば、回線エコーキャンセラ部16は、最後に通話した時の音声信号(音声データ)を内蔵したメモリ(図示せず)などに保持しておく。
このことにより、通話中に話者からの音声が規定値よりも小さい場合、回線エコーキャンセラ部16の過去のフィルタ係数(フィルタを計算するためには、フィルタ係数分だけの過去の入力値を保存)から学習をスタートさせることでエコーキャンセルのための学習を早く収束することができ、残留エコーの低減を図ることができる。なお、フィルタ係数(タップ数)は、N個ある場合は、h[N]で表され、ある入力に対する出力の予想を示している。
なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
11 マイク
12 A/D変換器
13 演算処理部
14 通信部
15 音響エコーキャンセラ部
16 回線エコーキャンセラ部
17 レベル判定部
17’ 保留音(音楽)検出部
18 時間判定部
19 D/A変換部
20 演算処理部
21 スピーカ
1020 エコーキャンセラ
1315 音響エコーキャンセル回路
1620 回線エコーキャンセル回路
1718 音声検出回路
1800 時間計測・判定回路

Claims (4)

  1. 回線エコーを検出し、当該回線エコーをキャンセルする機能を有する回線エコーキャンセラを備えたエコーキャンセラにおいて、
    前記回線エコーキャンセラの受話路側における通話相手からの音声、及び保留音を検出する音声検出手段を設け、
    前記音声検出手段は、
    前記回線エコーキャンセラの受話路における受話信号を検出するレベル判定部と、通話相手の保留音発生部からの保留音を検出する保留音検出部を含み、
    前記レベル判定部が通話相手からの音声が無音を検出した場合、前記回線エコーキャンセラにおけるエコーキャンセルのための学習を停止し、かつ、前記保留音検出部が、通話相手からの保留音を検出した場合、前記回線エコーキャンセラにおけるエコーキャンセルのための学習を停止することを特徴とするエコーキャンセラ。
  2. 請求項1に記載されたエコーキャンセラにおいて、
    前記回線エコーキャンセラは、回線エコーキャンセラ部と演算処理部を有し、
    前記音声検出手段は、通話相手からの音声のレベルを判定するレベル判定部を有し、
    前記回線エコーキャンセラ部は、
    前記演算処理部のマイク入力音声信号と前記レベル判定部の出力信号をもとに回線エコーをキャンセルするための回線エコーに相当する信号を生成し、当該回線エコーに相当する信号を前記演算処理部に出力し、
    前記レベル判定部は、
    前記受話路における通話相手からの音声を検出するとともに、当該通話相手からの音声のレベルを判定し、その結果を回線エコーキャンセラ部に出力し、
    前記演算処理部は、
    前記通話相手音声の回線エコー成分を含む受信信号と前記回線エコーキャンセラ部からの回線エコーに相当する信号を減算処理して、前記受信信号から回線エコー成分を除去する
    ことを特徴とするエコーキャンセラ。
  3. 回線エコーを検出し、当該回線エコーをキャンセルする機能を有する回線エコーキャンセラを備え、
    前記回線エコーキャンセラの受話路側における通話相手からの音声、及び/又は保留音を検出する音声検出手段を設け、
    前記音声検出手段が、通話相手からの音声が無音、及び/又は保留音を検出した場合、前記回線エコーキャンセラにおけるエコーキャンセルのための学習を停止するエコーキャンセラにおいて、
    さらに、通話相手からの通話時間を計測し、判定する時間判定部を含む時間計測・判定手段を有し、
    前記時間判定部は、
    前記受話路における通話相手からの音声が無音状態、及び/又は予め設定された所定値よりも小さい音声の通話時間を判定し、その結果を回線エコーキャンセラ部に出力し、
    利用するIP電話機の話者が特定できるとき、最後に通話した時の通話相手からの音声データを前記回線エコーキャンセラ部に内蔵したメモリに保持しておき、通話中に通話相手からの音声が規定値よりも小さい場合、前記回線エコーキャンセラ部の過去のフィルタ係数からエコーキャンセルのための学習をスタートさせる
    ことを特徴とするエコーキャンセラ。
  4. 請求項1〜3の何れか一項に記載されたエコーキャンセラを内蔵したIP電話機。
JP2019049257A 2019-03-18 2019-03-18 エコーキャンセラおよびip電話機 Expired - Fee Related JP6635211B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019049257A JP6635211B1 (ja) 2019-03-18 2019-03-18 エコーキャンセラおよびip電話機

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019049257A JP6635211B1 (ja) 2019-03-18 2019-03-18 エコーキャンセラおよびip電話機

Publications (2)

Publication Number Publication Date
JP6635211B1 true JP6635211B1 (ja) 2020-01-22
JP2020155793A JP2020155793A (ja) 2020-09-24

Family

ID=69166787

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049257A Expired - Fee Related JP6635211B1 (ja) 2019-03-18 2019-03-18 エコーキャンセラおよびip電話機

Country Status (1)

Country Link
JP (1) JP6635211B1 (ja)

Also Published As

Publication number Publication date
JP2020155793A (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US7856097B2 (en) Echo canceling apparatus, telephone set using the same, and echo canceling method
US8229147B2 (en) Hearing assistance devices with echo cancellation
JP5061853B2 (ja) エコーキャンセラ及びエコーキャンセルプログラム
JP4457639B2 (ja) エコーキャンセラ
US8160241B2 (en) Communication terminal device with echo canceller and its echo canceling method
US20010006511A1 (en) Process for coordinated echo- and/or noise reduction
JP4544040B2 (ja) エコーキャンセル装置およびそれを用いた電話機、並びにエコーキャンセル方法
JP2005142756A (ja) エコーキャンセラ
JP6635211B1 (ja) エコーキャンセラおよびip電話機
JP4317222B2 (ja) ネットワークにおける通信リンクの送話品質の測定
US8737601B2 (en) Echo canceller
EP2095362B1 (en) Telephone device to cancel background noise at the speaker
KR102172608B1 (ko) 동시통화에 강인한 심층학습 기반 음향반향 제거 장치 및 그 방법
JP5510288B2 (ja) 適応フィルタ次数制御装置及びプログラム、並びに、エコーキャンセラ
JP2006148375A (ja) エコー除去方法、エコーキャンセラ及び電話中継装置
US7734036B1 (en) Dynamic attenuation method and apparatus for optimizing voice quality using echo cancellers
JP4576847B2 (ja) エコーキャンセラ制御装置及び音声通信装置
JP2008311747A (ja) 残留エコー抑圧制御装置、方法及びプログラム
JP3754241B2 (ja) 通話装置
JPH0342918A (ja) 防側音回路
JP2004080647A (ja) エコーキャンセラー及び通話音声処理装置
JPH07303061A (ja) エコーキャンセラおよびエコーパス推定方法
JP3403891B2 (ja) 反響消去装置
JP2007243829A (ja) 残留エコー抑圧制御装置及び方法、およびエコーキャンセラ
JP2005159941A (ja) エコーキャンセル制御装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190318

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191202

R150 Certificate of patent or registration of utility model

Ref document number: 6635211

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees