JP7453733B2 - マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム - Google Patents
マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム Download PDFInfo
- Publication number
- JP7453733B2 JP7453733B2 JP2023001000A JP2023001000A JP7453733B2 JP 7453733 B2 JP7453733 B2 JP 7453733B2 JP 2023001000 A JP2023001000 A JP 2023001000A JP 2023001000 A JP2023001000 A JP 2023001000A JP 7453733 B2 JP7453733 B2 JP 7453733B2
- Authority
- JP
- Japan
- Prior art keywords
- individual
- eigenvalues
- clusters
- speaker diarization
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 101
- 239000011159 matrix material Substances 0.000 claims description 108
- 238000000605 extraction Methods 0.000 claims description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
Description
(付記1) コンピュータシステムが実行する話者ダイアライゼーション方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記話者ダイアライゼーション方法は、
前記少なくとも1つのプロセッサにより、複数の電子機器から各電子機器で録音された音声ファイルを受信する段階、
前記少なくとも1つのプロセッサにより、前記各電子機器の前記音声ファイルに対して計算された埋め込み行列に基づいて候補クラスタ数を推定する段階、
前記少なくとも1つのプロセッサにより、前記各電子機器の候補クラスタ数を利用して最終クラスタ数を決定する段階、および
前記少なくとも1つのプロセッサにより、前記最終クラスタ数を利用して話者ダイアライゼーションクラスタリングを実行する段階
を含む、話者ダイアライゼーション方法。
(付記2) 前記受信する段階は、
前記各電子機器の前記音声ファイルに対してエンドポイント検出(EPD)を実行する段階、および
前記各電子機器のEPD結果を統合してEPDユニオンを生成する段階
を含む、付記1に記載の話者ダイアライゼーション方法。
(付記3) 前記推定する段階は、
前記各電子機器の前記音声ファイルのEPD結果から埋め込み抽出をすることで類似度行列を計算する段階、および
前記各電子機器の前記類似度行列を利用して前記候補クラスタ数と前記類似度行列の信頼度値を計算する段階
を含む、付記1に記載の話者ダイアライゼーション方法。
(付記4) 前記候補クラスタ数と前記類似度行列の信頼度値を計算する段階は、
前記類似度行列に対して固有値分解を実行して固有値を抽出する段階、および
前記抽出された固有値を整列した後、隣接する固有値の差に基づいて前記候補クラスタ数と前記類似度行列の信頼度値を計算する段階
を含む、付記3に記載の話者ダイアライゼーション方法。
(付記5) 前記候補クラスタ数と前記類似度行列の信頼度値を計算する段階は、
前記類似度行列に対して固有値分解を実行して固有値を抽出する段階、
前記抽出された固有値を整列した後、隣接する固有値の差を基準として選択された固有値の個数を前記候補クラスタ数として決定する段階、および
前記候補クラスタ数の決定過程で選択されずに残った固有値を利用して前記信頼度値を計算する段階
を含む、付記3に記載の話者ダイアライゼーション方法。
(付記6) 前記残った固有値を利用して前記信頼度値を計算する段階は、
前記残った固有値のうちで最も大きい固有値を前記類似度行列の信頼度値として決定すること
を特徴とする、付記5に記載の話者ダイアライゼーション方法。
(付記7) 前記残った固有値を利用して前記信頼度値を計算する段階は、
前記残った固有値の平均を計算した平均値を前記類似度行列の信頼度値として決定すること
を特徴とする、付記5に記載の話者ダイアライゼーション方法。
(付記8) 前記推定する段階は、
前記音声ファイルのEPD結果に対して学習された加重値に基づいて前記類似度行列に対する加重和を適用する段階
をさらに含む、付記3に記載の話者ダイアライゼーション方法。
(付記9) 前記決定する段階は、
前記信頼度値が最も大きい類似度行列で推定された候補クラスタ数を前記最終クラスタ数として決定すること
を特徴とする、付記3に記載の話者ダイアライゼーション方法。
(付記10) 前記実行する段階は、
前記各電子機器の前記音声ファイルのEPD結果から埋め込み抽出をすることで類似度行列を計算する段階、および
前記各電子機器の類似度行列を平均し、平均類似度行列と前記最終クラスタ数に基づいて前記話者ダイアライゼーションクラスタリングを実行する段階
を含む、付記1に記載の話者ダイアライゼーション方法。
(付記11) 付記1~10のうちのいずれか一つに記載の話者ダイアライゼーション方法を前記コンピュータシステムに実行させる、コンピュータプログラム。
(付記12) 付記1~10のうちのいずれか一つに記載の話者ダイアライゼーション方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
(付記13) コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
複数の電子機器から各電子機器で録音された音声ファイルを受信する過程、
前記各電子機器の前記音声ファイルに対して計算された埋め込み行列に基づいて候補クラスタ数を推定する過程、
前記各電子機器の候補クラスタ数を利用して最終クラスタ数を決定する過程、および
前記最終クラスタ数を利用して話者ダイアライゼーションクラスタリングを実行する過程
を処理する、コンピュータシステム。
(付記14) 前記受信する過程は、
前記各電子機器の前記音声ファイルに対してEPDを実行する過程、および
前記各電子機器のEPD結果を統合してEPDユニオンを生成する過程
を含む、付記13に記載のコンピュータシステム。
(付記15) 前記推定する過程は、
前記各電子機器の前記音声ファイルのEPD結果から埋め込み抽出をすることで類似度行列を計算する過程、および
前記各電子機器の前記類似度行列を利用して前記候補クラスタ数と前記類似度行列の信頼度値を計算する過程
を含む、付記13に記載のコンピュータシステム。
(付記16) 前記候補クラスタ数と前記類似度行列の信頼度値を計算する過程は、
前記類似度行列に対して固有値分解を実行して固有値を抽出する過程、
前記抽出された固有値を整列した後、隣接する固有値の差を基準として選択された固有値の個数を前記候補クラスタ数として決定する過程、および
前記候補クラスタ数の決定過程で選択されずに残った固有値を利用して前記信頼度値を計算する過程
を含む、付記15に記載のコンピュータシステム。
(付記17) 前記残った固有値を利用して前記信頼度値を計算する過程は、
前記残った固有値のうちで最も大きい固有値を前記類似度行列の信頼度値として決定すること
を特徴とする、付記16に記載のコンピュータシステム。
(付記18) 前記推定する過程は、
前記音声ファイルのEPD結果に対して学習された加重値に基づいて前記類似度行列に対する加重和を適用する過程
をさらに含む、付記15に記載のコンピュータシステム。
(付記19) 前記決定する過程は、
前記信頼度値が最も大きい類似度行列で推定された候補クラスタ数を前記最終クラスタ数として決定すること
を特徴とする、付記15に記載のコンピュータシステム。
(付記20) 前記実行する過程は、
前記各電子機器の前記音声ファイルのEPD結果から埋め込み抽出をすることで類似度行列を計算する過程、および
前記各電子機器の類似度行列を平均し、平均類似度行列と前記最終クラスタ数に基づいて前記話者ダイアライゼーションクラスタリングを実行する過程
を含む、付記13に記載のコンピュータシステム。
310:音声統合部
320:クラスタ決定部
330:クラスタリング実行部
Claims (14)
- コンピュータシステムが実行する話者ダイアライゼーション方法であって、
前記コンピュータシステムは、メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサを含み、
前記話者ダイアライゼーション方法は、
前記少なくとも1つのプロセッサにより、複数の電子機器から各電子機器で録音された個別音声ファイルを受信する段階、
前記各電子機器の前記個別音声ファイルに対してエンドポイント検出(EPD)を実行する段階、
前記各電子機器の個別EPD結果を統合してEPDユニオンを生成する段階、
前記少なくとも1つのプロセッサにより、前記各電子機器の前記個別音声ファイルに対して計算された個別埋め込み行列に基づいて候補クラスタ数を推定する段階であって、前記個別EPD結果を利用して埋め込み抽出をすることで前記各電子機器の個別埋め込み行列を計算する段階、および前記各電子機器の前記個別埋め込み行列を利用して前記候補クラスタ数と前記個別埋め込み行列の信頼度値を計算する段階を含む、推定する段階、
前記少なくとも1つのプロセッサにより、前記信頼度値に基づいて前記各電子機器の前記候補クラスタ数を利用して最終クラスタ数を決定する段階、および
前記少なくとも1つのプロセッサにより、前記EPDユニオンを利用して埋め込み抽出をすることで計算される前記各電子機器の個別類似度行列を平均した平均類似度行列と前記最終クラスタ数に基づいて話者ダイアライゼーションクラスタリングを実行する段階
を含む、話者ダイアライゼーション方法。 - 前記候補クラスタ数と前記個別埋め込み行列の前記信頼度値を計算する段階は、
前記個別埋め込み行列に対して固有値分解を実行して固有値を抽出する段階、および
前記抽出された固有値を整列した後、隣接する固有値の差に基づいて前記候補クラスタ数と前記個別埋め込み行列の前記信頼度値を計算する段階
を含む、請求項1に記載の話者ダイアライゼーション方法。 - 前記候補クラスタ数と前記個別埋め込み行列の前記信頼度値を計算する段階は、
前記個別埋め込み行列に対して固有値分解を実行して固有値を抽出する段階、
前記抽出された固有値を整列した後、隣接する固有値の差を基準として選択された固有値の個数を前記候補クラスタ数として決定する段階、および
前記候補クラスタ数の決定過程で選択されずに残った固有値を利用して前記信頼度値を計算する段階
を含む、請求項1に記載の話者ダイアライゼーション方法。 - 前記残った固有値を利用して前記信頼度値を計算する段階は、
前記残った固有値のうちで最も大きい固有値を前記個別埋め込み行列の前記信頼度値として決定すること
を特徴とする、請求項3に記載の話者ダイアライゼーション方法。 - 前記残った固有値を利用して前記信頼度値を計算する段階は、
前記残った固有値の平均を計算した平均値を前記個別埋め込み行列の前記信頼度値として決定すること
を特徴とする、請求項3に記載の話者ダイアライゼーション方法。 - 前記推定する段階は、
前記個別EPD結果に対して学習された加重値に基づいて前記個別埋め込み行列に対する加重和を適用する段階
をさらに含む、請求項1~5のうちのいずれか一項に記載の話者ダイアライゼーション方法。 - 前記決定する段階は、
前記信頼度値が最も大きい埋め込み行列で推定された候補クラスタ数を前記最終クラスタ数として決定すること
を特徴とする、請求項1~6のうちのいずれか一項に記載の話者ダイアライゼーション方法。 - 請求項1~7のうちのいずれか一項に記載の話者ダイアライゼーション方法を前記コンピュータシステムに実行させる、コンピュータプログラム。
- 請求項1~7のうちのいずれか一項に記載の話者ダイアライゼーション方法をコンピュータに実行させるためのプログラムが記録されている、非一時的なコンピュータ読み取り可能な記録媒体。
- コンピュータシステムであって、
メモリに含まれるコンピュータ読み取り可能な命令を実行するように構成された少なくとも1つのプロセッサ
を含み、
前記少なくとも1つのプロセッサは、
複数の電子機器から各電子機器で録音された個別音声ファイルを受信する過程、
前記各電子機器の前記個別音声ファイルに対してエンドポイント検出(EPD)を実行する過程、
前記各電子機器の個別EPD結果を統合してEPDユニオンを生成する過程、
前記各電子機器の前記個別音声ファイルに対して計算された個別埋め込み行列に基づいて候補クラスタ数を推定する過程であって、前記個別EPD結果を利用して埋め込み抽出をすることで前記各電子機器の個別埋め込み行列を計算する過程、および前記各電子機器の前記個別埋め込み行列を利用して前記候補クラスタ数と前記個別埋め込み行列の信頼度値を計算する過程を含む、推定する過程、
前記信頼度値に基づいて前記各電子機器の前記候補クラスタ数を利用して最終クラスタ数を決定する過程、および
前記EPDユニオンを利用して埋め込み抽出をすることで計算される前記各電子機器の個別類似度行列を平均した平均類似度行列と前記最終クラスタ数に基づいて話者ダイアライゼーションクラスタリングを実行する過程
を処理する、コンピュータシステム。 - 前記候補クラスタ数と前記個別埋め込み行列の前記信頼度値を計算する過程は、
前記個別埋め込み行列に対して固有値分解を実行して固有値を抽出する過程、
前記抽出された固有値を整列した後、隣接する固有値の差を基準として選択された固有値の個数を前記候補クラスタ数として決定する過程、および
前記候補クラスタ数の決定過程で選択されずに残った固有値を利用して前記信頼度値を計算する過程
を含む、請求項10に記載のコンピュータシステム。 - 前記残った固有値を利用して前記信頼度値を計算する過程は、
前記残った固有値のうちで最も大きい固有値を前記個別埋め込み行列の前記信頼度値として決定すること
を特徴とする、請求項11に記載のコンピュータシステム。 - 前記推定する過程は、
前記個別EPD結果に対して学習された加重値に基づいて前記個別埋め込み行列に対する加重和を適用する過程
をさらに含む、請求項10~12のうちのいずれか一項に記載のコンピュータシステム。 - 前記決定する過程は、
前記信頼度値が最も大きい埋め込み行列で推定された候補クラスタ数を前記最終クラスタ数として決定すること
を特徴とする、請求項10~13のうちのいずれか一項に記載のコンピュータシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0066240 | 2020-06-02 | ||
KR1020200066240A KR102396136B1 (ko) | 2020-06-02 | 2020-06-02 | 멀티디바이스 기반 화자분할 성능 향상을 위한 방법 및 시스템 |
JP2020204340A JP2021189424A (ja) | 2020-06-02 | 2020-12-09 | マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020204340A Division JP2021189424A (ja) | 2020-06-02 | 2020-12-09 | マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023026657A JP2023026657A (ja) | 2023-02-24 |
JP7453733B2 true JP7453733B2 (ja) | 2024-03-21 |
Family
ID=78849629
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020204340A Pending JP2021189424A (ja) | 2020-06-02 | 2020-12-09 | マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム |
JP2023001000A Active JP7453733B2 (ja) | 2020-06-02 | 2023-01-06 | マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020204340A Pending JP2021189424A (ja) | 2020-06-02 | 2020-12-09 | マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP2021189424A (ja) |
KR (1) | KR102396136B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102560019B1 (ko) * | 2021-01-15 | 2023-07-27 | 네이버 주식회사 | 화자 식별과 결합된 화자 분리 방법, 시스템, 및 컴퓨터 프로그램 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011059500A (ja) | 2009-09-11 | 2011-03-24 | Yahoo Japan Corp | 話者クラスタリング装置および話者クラスタリング方法 |
JP2013012059A (ja) | 2011-06-29 | 2013-01-17 | Mizuho Information & Research Institute Inc | 資料表示システム、資料表示方法及び資料表示プログラム |
JP2018063313A (ja) | 2016-10-12 | 2018-04-19 | 日本電信電話株式会社 | 話者数推定装置、話者数推定方法、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5418223B2 (ja) * | 2007-03-26 | 2014-02-19 | 日本電気株式会社 | 音声分類装置、音声分類方法、および音声分類用プログラム |
JP5486565B2 (ja) * | 2011-08-05 | 2014-05-07 | 日本電信電話株式会社 | 話者クラスタリング方法、話者クラスタリング装置、プログラム |
KR102441063B1 (ko) * | 2017-06-07 | 2022-09-06 | 현대자동차주식회사 | 끝점 검출 장치, 그를 포함한 시스템 및 그 방법 |
KR102100204B1 (ko) | 2017-10-31 | 2020-04-13 | 삼성에스디에스 주식회사 | 기계 학습 기반의 분류 방법 및 그 장치 |
-
2020
- 2020-06-02 KR KR1020200066240A patent/KR102396136B1/ko active IP Right Grant
- 2020-12-09 JP JP2020204340A patent/JP2021189424A/ja active Pending
-
2023
- 2023-01-06 JP JP2023001000A patent/JP7453733B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011059500A (ja) | 2009-09-11 | 2011-03-24 | Yahoo Japan Corp | 話者クラスタリング装置および話者クラスタリング方法 |
JP2013012059A (ja) | 2011-06-29 | 2013-01-17 | Mizuho Information & Research Institute Inc | 資料表示システム、資料表示方法及び資料表示プログラム |
JP2018063313A (ja) | 2016-10-12 | 2018-04-19 | 日本電信電話株式会社 | 話者数推定装置、話者数推定方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023026657A (ja) | 2023-02-24 |
KR102396136B1 (ko) | 2022-05-11 |
JP2021189424A (ja) | 2021-12-13 |
KR20210149336A (ko) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7152514B2 (ja) | 声紋識別方法、モデルトレーニング方法、サーバ、及びコンピュータプログラム | |
JP7348445B2 (ja) | 話者識別を結合した話者ダイアライゼーション方法、システム、およびコンピュータプログラム | |
US11430449B2 (en) | Voice-controlled management of user profiles | |
US11727939B2 (en) | Voice-controlled management of user profiles | |
CN111916061B (zh) | 语音端点检测方法、装置、可读存储介质及电子设备 | |
US11126827B2 (en) | Method and system for image identification | |
US11545154B2 (en) | Method and apparatus with registration for speaker recognition | |
US11379724B1 (en) | System and method for domain specific neural network pruning | |
JP7453733B2 (ja) | マルチデバイスによる話者ダイアライゼーション性能の向上のための方法およびシステム | |
CN113628612A (zh) | 语音识别方法、装置、电子设备及计算机可读存储介质 | |
CN110717067A (zh) | 视频中音频聚类的处理方法和装置 | |
KR20200020107A (ko) | 기계학습을 이용한 획 기반 수기 서명 인증 방법 및 시스템 | |
JP7273078B2 (ja) | 話者埋め込みに基づく音声活動検出を利用した話者ダイアライゼーション方法、システム、およびコンピュータプログラム | |
CN114495903A (zh) | 一种语言类别识别方法、装置、电子设备和存储介质 | |
JP7314221B2 (ja) | 音源を検出するための電子装置およびその作動方法 | |
CN117333926B (zh) | 一种图片聚合方法、装置、电子设备及可读存储介质 | |
US10930280B2 (en) | Device for providing toolkit for agent developer | |
KR20240096049A (ko) | 화자 분할 방법 및 시스템 | |
CN115588176A (zh) | 图像预测模型的训练方法及装置、存储介质及电子设备 | |
KR20200027086A (ko) | 유사 댓글의 연속 입력을 차단하기 위한 방법 및 시스템 | |
CN116975823A (zh) | 数据处理方法、装置、计算机设备、存储介质及产品 | |
CN114841285A (zh) | 数据聚类方法及装置、电子设备、存储介质 | |
CN116386645A (zh) | 说话对象的识别方法及装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230106 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20230817 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240306 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7453733 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |