JP7011067B2 - 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 - Google Patents
膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 Download PDFInfo
- Publication number
- JP7011067B2 JP7011067B2 JP2020534826A JP2020534826A JP7011067B2 JP 7011067 B2 JP7011067 B2 JP 7011067B2 JP 2020534826 A JP2020534826 A JP 2020534826A JP 2020534826 A JP2020534826 A JP 2020534826A JP 7011067 B2 JP7011067 B2 JP 7011067B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- tissue
- membrane
- cell
- pixel regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
- G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Description
I 定義
[0026]別段に定義されない限り、本明細書において使用される技術的及び科学的用語は、当業者により共通に理解されるのと同じ意味を有する。例えば、Lackie、DICTIONARY OF CELL AND MOLECULAR BIOLOGY(細胞及び分子生物学辞典)、Elsevier(第4編 2007年);Sambrookら、MOLECULAR CLONING, A LABORATORY MANUAL(分子クローニング、実験マニュアル)、Cold Springs Harbor Press(Cold Springs Harbor、N.Y. 1989年)を確認されたい。
・個別の細胞又は組織のタイプ又は状態に特有のものである、
・個別の病理学的症状又は状態に特有のものである、あるいは、
・病理学的症状の重症度、病理学的症状の進行もしくは後退の見込み、及び/又は、病理学的症状が個別の治療に応答することになるということの見込みを指し示す、
分子又は分子の群であり得る。
[0032]細胞検出:画像内で個別の細胞の場所を識別するためのコンピュータの自動化されたプロセス。
[0038]マーカ:バイオマーカが、周辺の組織と、及び/又は、他のバイオマーカと差異化されることを可能とする、染料、色素、又はタグ。用語「バイオマーカ」は、個別の細胞タイプ、実例として免疫細胞の存在などの組織特徴、及び、より詳細には、医学的症状を指し示す組織特徴の意味で理解され得る。バイオマーカは、組織特徴においての個別の分子、実例としてタンパク質の存在により識別可能であり得る。
[0040]プロセッサ:例として、プログラマブルマイクロプロセッサ、コンピュータ、システム・オン・チップ、又は、複数個のもの、又は、前述のものの組合せを含む、データを処理するためのすべての種類の装置、デバイス、及び機械を包含する。装置は、特殊目的論理回路網、例えば、FPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)を含み得る。装置は、さらには、ハードウェアに加えて、当該のコンピュータプログラムに対する実行環境を創出するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想機械、又は、それらのうちの1つもしくは複数の組合せを組成するコードを含み得る。
[0042]試料:本明細書において使用される際、用語「試料」は、バイオマーカの存在又は非存在についてテストされる可能性がある、対象又は標的から取得される任意の材料を指すものとする。
[0046]組織試料:本明細書において使用される際、用語「組織試料」は、細胞の間の、試料が取得された被験体の中にそれらの細胞が実在した際の横断的空間的関係性を保存する細胞の試料を指すものとする。「組織試料」は、一次組織試料(すなわち、被験体により生み出された細胞及び組織)及び異種移植片(すなわち、被験体内へと移植された外来性の細胞の試料)の両方を包含するものとする。
[0048]ユーザインターフェイスデバイス:ユーザとの対話を可能なものにするディスプレイを含み、本明細書において説明される主題事項の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えばLCD(液晶ディスプレイ)、LED(発光ダイオード)ディスプレイ、又はOLED(有機発光ダイオード)ディスプレイと、キーボード及びポインティングデバイス、例えばマウス又はトラックボールとを有するコンピュータ上で実現され得るものであり、それらのキーボード及びポインティングデバイスにより、ユーザは、コンピュータに入力を提供することができる。一部の実現形態において、タッチスクリーンが、情報を表示し、ユーザから入力を受信するために使用され得る。他の種類のデバイスが、同じようにしてユーザとの対話を可能なものにするために使用され得るものであり、例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック、例えば視覚フィードバック、聴覚フィードバック、又は触覚フィードバックの形であり得るものであり、ユーザからの入力は、音響、発話、又は触覚入力を含む任意の形式で受信され得る。加えて、コンピュータは、ユーザにより使用されるデバイスにドキュメントを送出し、そのデバイスからドキュメントを受信することにより、例えば、ユーザのクライアントデバイス上のウェブブラウザに、ウェブブラウザから受信される要求に応答してウェブページを送出することにより、ユーザと対話することができる。本明細書において説明される主題事項の実施形態は、例えばデータサーバとしてのバックエンド構成要素を含む、又は、ミドルウェア構成要素、例えばアプリケーションサーバを含む、あるいは、フロントエンド構成要素、例えば、それを通してユーザが、本明細書において説明される主題事項の実現形態と対話することができる、グラフィカルユーザインターフェイスデバイスもしくはウェブブラウザを有するクライアントコンピュータを、又は、1つもしくは複数の、そのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組合せを含む、コンピューティングシステムの形で実現され得る。システムの構成要素は、任意の形式又は媒体のデジタルデータ通信、例えば通信ネットワークにより相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)及びワイドエリアネットワーク(「WAN」)、インターネットワーク(例えば、インターネット)、並びにピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)を含む。
II 細胞の検出システム
[0049]図1を参照すると、細胞の検出システム10が、本開示の例示的な実施形態によって提供される。細胞の検出システム10は、染色された組織画像内で細胞の存在を自動的に検出するように、及び、詳細には、組織画像内で細胞を自動的に検出し分類するように適合させられ得る。細胞の検出システム10は、一般的には、画像分析システム100と、画像獲得システム120とを含む。
(2)スライドステージが、いくつかの合成画像「ストリップ」を捕捉するために、獲得の間、単一の軸において動く、ラインベースのスキャニング。画像ストリップは、次いで、より大きい合成画像を形成するために、互いとマッチングされ得る。
III 細胞分類エンジン及び作業フロー
[0068]図2を参照すると、その図2は、画像分析システム100の部分を形成する細胞分類エンジン114を例解する。図3は、細胞分類エンジン114により、特定の膜染色パターンに基づいて実現される作業フロー300を例解する。膜染色又は組織画像内で、異なるタイプの細胞の膜は、異なるパターンを伴って染色され得る。膜染色パターンは、細胞を分類するための情報の有用な源として役立ち得る。この目的のために、細胞分類エンジン114は、複数の区別可能なパターンにより染色された細胞の間で区別する助けとなり、例えば、本例解的な実施形態との相関において説明される、これらのパターンのうちの2つは、楕円形パターン及び点状パターンと称される。
・近隣領域Rの中に収まる膜ブロブ対象830、930の平均サイズ。膜ブロブ対象830からなる楕円形パターン内のブロブサイズは、点状パターン内のブロブ対象930より大きいということが予想される。
・近隣領域Rの中に収まるブロブ対象830の数。点状パターン内のブロブ対象930より少ない、楕円形パターン内のブロブ対象830が存するということが予想される。
・ブロブ対象830、930の画素の(膜染料画像に関して計算される)平均強度値。点状パターンの中のブロブ対象930の画素強度は、楕円形パターンの中のブロブ対象830の画素強度より強いということが予想される。点状パターンは通常、濃い茶色小点を内包し、一方で楕円形パターンは、わずかな茶色染色領域を内包し得る。
・核840、940の周囲の染料の分布。この特徴を計算するために、近隣Rが、例えば、各々が10度の角度の中にある36個の円錐形領域に分けられ得る。次に、何らかのブロブ対象830、930を内包する円錐形領域の数が、計数され、核840、940の周囲の染料分布を説明するための特徴として使用される。楕円形パターンに対して、ブロブ対象830を内包する円錐形領域の数は、点状パターンの中のその数より大きいということが予想される。
[0087]本明細書において開示される実施形態によれば、画像分析システムは、分類された細胞の出力されたクラスラベルを記憶するための記憶機構をさらに備える。
Claims (11)
- 組織画像内で細胞を分類するための方法であって、
前記組織画像に1つ又は複数の前処理操作を適用して、膜マスク画像を生成するステップと、
前記膜マスク画像において、
前記組織画像のうちの類似する画素強度値に対応する近接する画素領域のセットを識別すること、
前記近接する画素領域のセットが連結されており、それにより特定の膜パターンをまとめて描くと決定すること、及び
前記近接する画素領域のセットを別の近接する画素領域のセットから区別すること
によって、画像オブジェクトを検出するステップと、
前記膜マスク画像内の前記画像オブジェクトを特性付ける少なくとも1つの画像特徴を抽出するステップであって、前記少なくとも1つの画像特徴は、前記画像オブジェクトのサイズ又は前記画像オブジェクトに対応する画素強度値を識別する、ステップと、
前記少なくとも1つの画像特徴に基づいて、前記画像オブジェクトを細胞のタイプに関連付けられるものとして分類するステップと、
前記細胞のタイプを識別するクラスラベルを出力するステップと
を含む、方法。 - 前記画像オブジェクトの出力されたクラスラベルを記憶するステップをさらに含む、請求項1に記載の方法。
- 前記少なくとも1つの画像特徴は、前記画像オブジェクトに対応する統計値を内包する、請求項2に記載の方法。
- 前記1つ又は複数の前処理操作を適用することは、前記組織画像にカラーデコンボリューション操作を適用して、前記組織画像から少なくとも2つの別個の画像を生成することを含み、前記少なくとも2つの別個の画像の各々は区別可能なカラーチャネルに対応する、請求項1から3のいずれか一項に記載の方法。
- 前記少なくとも2つの別個の画像は、膜染色された組織画像、及び、対比染色された画像を含み、前記膜染色された組織画像は前記膜マスク画像を生成するために使用される、請求項4に記載の方法。
- 前記1つ又は複数の前処理操作を適用することは、Gaussian差分フィルタを、フィルタリングされた画像を生成するために、前記膜染色された組織画像に適用するステップを含む、請求項5に記載の方法。
- 前記1つ又は複数の前処理操作を適用することは、前記膜マスク画像を生成するために、前記フィルタリングされた画像にOtsuしきい値操作を適用するステップを含む、請求項6に記載の方法。
- 前記画像オブジェクトを分類するステップは、前記画像オブジェクトのサイズ又は前記画像オブジェクトに対応する画素強度値を計算するステップを含む、請求項1に記載の方法。
- 前記近接する画素領域のセットを別の近接する画素領域のセットから区別することは、楕円形膜染色パターンと、点状膜染色パターンとの間で判別するステップを含む、請求項1に記載の方法。
- 組織画像内で細胞を分類するための画像分析システム(100)であって、
前記組織画像に1つ又は複数の前処理操作を適用して、膜マスク画像を生成するための、しきい値処理モジュール(260)と、
前記膜マスク画像において、
前記組織画像のうちの類似する画素強度値に対応する近接する画素領域のセットを識別すること、
前記近接する画素領域のセットが連結されており、それにより特定の膜パターンをまとめて描くと決定すること、及び
前記近接する画素領域のセットを別の近接する画素領域のセットから区別すること
によって、画像オブジェクトを検出するための、連結成分ラベリングモジュール(280)と
を含む、細胞分類エンジン(114)を備え、
前記細胞分類エンジン(114)は、
前記膜マスク画像内の前記画像オブジェクトを特性付ける少なくとも1つの画像特徴を抽出し、前記少なくとも1つの画像特徴は、前記画像オブジェクトのサイズ又は前記画像オブジェクトに対応する画素強度値を識別し、
前記抽出された画像特徴に基づいて、前記画像オブジェクトを細胞のタイプに関連付けられるものとして分類し、
前記細胞のタイプを識別するクラスラベルを出力する、画像分析システム(100)。 - 1つ又は複数のプロセッサにより実行されるとき、前記1つ又は複数のプロセッサに、請求項1から9のいずれか一項に記載の方法を遂行させる命令を含む非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762609719P | 2017-12-22 | 2017-12-22 | |
US62/609,719 | 2017-12-22 | ||
PCT/EP2018/085286 WO2019121555A1 (en) | 2017-12-22 | 2018-12-17 | System and method for classifying cells in tissue images based on membrane features |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021507419A JP2021507419A (ja) | 2021-02-22 |
JP7011067B2 true JP7011067B2 (ja) | 2022-01-26 |
Family
ID=64870469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020534826A Active JP7011067B2 (ja) | 2017-12-22 | 2018-12-17 | 膜特徴に基づいて組織画像内で細胞を分類するためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11302107B2 (ja) |
EP (1) | EP3729329A1 (ja) |
JP (1) | JP7011067B2 (ja) |
CN (1) | CN111492368B (ja) |
WO (1) | WO2019121555A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325103B (zh) * | 2020-01-21 | 2020-11-03 | 华南师范大学 | 一种细胞标注***和方法 |
CN112051250B (zh) * | 2020-09-09 | 2021-11-23 | 南京诺源医疗器械有限公司 | 一种医学荧光成像影像补光调节***及调节方法 |
CN116665210B (zh) * | 2023-07-28 | 2023-10-17 | 珠海横琴圣澳云智科技有限公司 | 基于多通道信息融合的细胞分类方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015508639A (ja) | 2012-02-01 | 2015-03-23 | ベンタナ メディカル システムズ, インコーポレイテッド | 組織試料中で遺伝子を検出するための系 |
WO2017037180A1 (en) | 2015-09-02 | 2017-03-09 | Ventana Medical Systems, Inc. | Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2485602C (en) * | 2002-05-14 | 2013-10-01 | Amersham Biosciences Niagara, Inc. | System and methods for rapid and automated screening of cells |
US7299088B1 (en) * | 2002-06-02 | 2007-11-20 | Nitish V Thakor | Apparatus and methods for brain rhythm analysis |
US7907769B2 (en) * | 2004-05-13 | 2011-03-15 | The Charles Stark Draper Laboratory, Inc. | Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation |
US7761240B2 (en) * | 2004-08-11 | 2010-07-20 | Aureon Laboratories, Inc. | Systems and methods for automated diagnosis and grading of tissue images |
US8060348B2 (en) * | 2006-08-07 | 2011-11-15 | General Electric Company | Systems for analyzing tissue samples |
US8131476B2 (en) * | 2006-08-07 | 2012-03-06 | General Electric Company | System and method for co-registering multi-channel images of a tissue micro array |
WO2009137866A1 (en) * | 2008-05-16 | 2009-11-19 | Swinburne University Of Technology | Method and system for automated cell function classification |
US8488863B2 (en) * | 2008-11-06 | 2013-07-16 | Los Alamos National Security, Llc | Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials |
EP2488992B1 (en) * | 2009-10-13 | 2024-05-29 | The Charles Stark Draper Laboratory, Inc. | Mathematical image analysis based cell reprogramming with applications for epigenetic and non-epigenetic base induced pluripotent stem cell derivation |
US8831327B2 (en) * | 2011-08-30 | 2014-09-09 | General Electric Company | Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN) |
US8838565B2 (en) * | 2011-11-17 | 2014-09-16 | CereScan Corporation | Neuroimaging database systems and methods |
US9135694B2 (en) * | 2012-12-04 | 2015-09-15 | General Electric Company | Systems and methods for using an immunostaining mask to selectively refine ISH analysis results |
EP2973397B1 (en) * | 2013-03-15 | 2017-08-02 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
-
2018
- 2018-12-17 CN CN201880082661.XA patent/CN111492368B/zh active Active
- 2018-12-17 JP JP2020534826A patent/JP7011067B2/ja active Active
- 2018-12-17 EP EP18825972.5A patent/EP3729329A1/en active Pending
- 2018-12-17 WO PCT/EP2018/085286 patent/WO2019121555A1/en unknown
-
2020
- 2020-06-09 US US16/896,592 patent/US11302107B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015508639A (ja) | 2012-02-01 | 2015-03-23 | ベンタナ メディカル システムズ, インコーポレイテッド | 組織試料中で遺伝子を検出するための系 |
WO2017037180A1 (en) | 2015-09-02 | 2017-03-09 | Ventana Medical Systems, Inc. | Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining |
Non-Patent Citations (2)
Title |
---|
Humayun Irshad, 外3名,"Methods for Nuclei Detection, Segmentation, and Classification in Digital Histopathology: A review-Current Status and Future Potential",IEEE Reviews in Biomedical Engineering,IEEE,2014年,第7巻,p.97-114 |
島田祐輝, 外2名,"局所特徴を用いた細胞画像認識",電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2012年02月02日,第111巻, 第431号,p.231-236 |
Also Published As
Publication number | Publication date |
---|---|
CN111492368B (zh) | 2024-03-05 |
US20200302153A1 (en) | 2020-09-24 |
WO2019121555A1 (en) | 2019-06-27 |
EP3729329A1 (en) | 2020-10-28 |
US11302107B2 (en) | 2022-04-12 |
JP2021507419A (ja) | 2021-02-22 |
CN111492368A (zh) | 2020-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11682192B2 (en) | Deep-learning systems and methods for joint cell and region classification in biological images | |
US11922681B2 (en) | Systems and methods for identifying cell clusters within images of stained biological samples | |
JP7080976B2 (ja) | 関心の細胞タイプに対する選択的染料セグメンテーション画像を生成するためのシステムおよび方法 | |
JP7092503B2 (ja) | 共発現解析のためのシステム及び方法 | |
US11972859B2 (en) | Computational pathology approach for retrospective analysis of tissue-based companion diagnostic driven clinical trial studies | |
JP2021506013A (ja) | 腫瘍空間異質性およびインターマーカ異質性の計算方法 | |
JP7011035B2 (ja) | 染色された標本画像内で細胞を検出するための自動化された方法およびシステム | |
JP2022504871A (ja) | 改善された核検出およびセグメンテーションを可能にする画像強化 | |
JP2021506003A (ja) | デジタル病理学分析結果の格納および読み出し方法 | |
US11302107B2 (en) | System and method for classifying cells in tissue images based on membrane features | |
WO2023107844A1 (en) | Label-free virtual immunohistochemical staining of tissue using deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7011067 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |