JP2018169390A - 染色体異常判定装置 - Google Patents
染色体異常判定装置 Download PDFInfo
- Publication number
- JP2018169390A JP2018169390A JP2018050623A JP2018050623A JP2018169390A JP 2018169390 A JP2018169390 A JP 2018169390A JP 2018050623 A JP2018050623 A JP 2018050623A JP 2018050623 A JP2018050623 A JP 2018050623A JP 2018169390 A JP2018169390 A JP 2018169390A
- Authority
- JP
- Japan
- Prior art keywords
- chromosome
- abnormality determination
- feature information
- image
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
Abstract
Description
染色体は、遺伝情報を保有する細胞核内の生体物質であり、ヒトの細胞核1個に対して常染色体44本と性染色体2本を合わせた計46本が存在する。常染色体は22種類、それぞれ各2本の染色体で構成され、常染色体は1番から22番の番号で区別される。性染色体は、X、Yで区別され、女性はXを2本有し、男性はX、Yを1本ずつ持つ。
光学顕微鏡画像により染色体の異常を視覚的に診断する際には、一般的には次のように判定を行っている。すなわち、染色体の領域の相対的長さ、染色体領域における短腕と長腕との長さの比、染色体領域におけるバンドの並び方すなわちバンドパターンといった染色体画像の画像特徴量から、染色体の種類の同定及び染色体の数的異常、遺伝情報の欠損、重複、転座等の染色体の異常を判定している。
また、染色体の検査を自動的に行う装置等においては、判定精度が高ければ高いほど好ましく、判定精度の向上により、染色体の検査装置の使い勝手の向上や汎用性の拡大にもつながる。
そこで、この発明は、上記従来の課題に着目してなされたものであり、染色による染色体の色彩情報を利用して染色体の検査を行うことの可能な染色体異常判定装置を提供することを目的としている。
なお、以下の詳細な説明では、本発明の実施形態の完全な理解を提供するように多くの特定の具体的な構成について記載されている。しかしながら、このような特定の具体的な構成に限定されることなく他の実施態様が実施できることは明らかである。また、以下の実施形態は、特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の第一実施形態に係る染色体異常判定装置の一例を示す構成図である。
染色体異常判定装置1は、顕微鏡2と、顕微鏡2用の電動ステージ3と、イメージング分光器4と、画像メモリ5と、スペクトル解析装置6と、画像解析装置7と、判定処理装置10と、データベース作成装置(データベース作成部)11と、染色体データ記憶装置12と、表示装置13と、を備える。画像メモリ5、スペクトル解析装置6、画像解析装置7、判定処理装置10、データベース作成装置11、染色体データ記憶装置12、及び表示装置13は、例えば、入力装置、表示装置、記憶装置を備えた一台のパーソナルコンピュータで構成される。
例えば、図2に示す1本の染色体において、測定点Xにおける透過率のスペクトルは、図3に示すような波形を示す。なお、図3において、横軸は波長(nm)、縦軸は透過率である。
イメージング分光器4で撮像されたスペクトルキューブデータは、画像メモリ5に格納される。
スペクトル解析装置6は、画像メモリ5に格納されたスペクトルキューブデータに対してスペクトル解析を行ってスペクトル特徴量画像を抽出し、このスペクトル特徴量画像の画像データを出力する。スペクトル解析装置6から出力されたスペクトル特徴量画像の画像データは、画像メモリ5に格納される。
また、スペクトル特徴量画像として、図4(a)に示すように、スペクトルキューブデータのうち、例えば、R(赤色、G(緑色)、B(青色)に対応する3つの波長における、各測定点での染色体からの透過強度情報から得られるカラー画像を、抽出するようにしてもよい。
一方、スペクトルキューブデータからスペクトル特徴量画像として得られる単波長画像は波長によって透過率が異なり、透過率が小さいほど単波長画像において染色体は濃く表示され、透過率が大きいほど染色体は薄く表示される。
図6に示すように、類似度が低いほど透過率は小さくなっている。そのため、類似度が低いほどスペクトルキューブデータから得られる単波長画像において染色体は濃く表示されることがわかる。また、図5から、何れの類似度の場合も550nm程度の波長のときに透過率が最も小さくなり、単波長画像において染色体は濃く表示されることがわかる。
つまり、単波長画像において染色体やバンドを明確に表示するためには、図6に示すように、染色体の濃淡(つまり類似度)と染色体を透過した光量(透過率)とが、類似度全域にわたって透過率が大きすぎず、また小さすぎず、ある程度の大きさを有し、且つ、類似度の変化に対する透過率の変化幅がある程度の幅を有し比較的一定であることが好ましいことがわかる。
なお、単波長画像を取得するための解析用の波長は、予め求めて所定の記憶領域に記憶しておき、スペクトル解析を行う際に、記憶しておいた解析用の波長を読み出してこれを用いるようにしてもよく、また、スペクトル解析を行う前に、良好な単波長画像を得ることのできる波長を検出するようにしてもよい。また、ここでは、波長650nmにおける単波長画像を取得しこれに基づきスペクトル解析を行う場合について説明したが、例えば、スペクトルキューブデータのうち、波長650nmを含むその前後の波長域におけるスペクトルキューブデータを用いてスペクトル解析を行うようにしてもよい。
染色体データ記憶装置12には、複数の染色体に関する、スペクトル特徴量画像の画像データ及び画像解析による特徴量を含む特徴情報と正常又は異常の判定結果とが対応付けられたデータベースが格納される。
図8に示す判定処理装置10は、モデル学習により染色体異常判定を行うものであり、異常判定処理部21と、異常判定パラメータ決定部22と、異常判定結果表示処理部23と、を備える。
異常判定パラメータ決定部22は、異常判定処理部21でのモデル学習に用いる異常判定パラメータを決定し、決定した異常判定パラメータを異常判定処理部21に通知する。この異常判定パラメータとする特徴量等の種類や数は、検査実施者が手動で決定してもよく、または、各種情報に基づき自動的に決定するようにしてもよい。
異常判定処理部21は、異常判定パラメータ決定部22により決定された異常判定パラメータに基づいてニューラルネットワーク、サポートベクターマシン等の機械学習で用いられる手法の一つ又は複数を用いて教師有り学習を行い、異常判定処理の分類器を構築する。
異常判定結果表示処理部23は、異常判定処理部21での異常判定結果を表示装置13に表示する。
モデル学習時には、判定処理装置10の異常判定パラメータ決定部22は、染色体データ記憶装置12に格納されたデータベースを読み出し(ステップS1)、異常判定パラメータを設定する(ステップS2)。異常判定処理部21は、設定された異常判定パラメータに基づき、ニューラルネットワーク及びサポートベクターマシン等の教師有り学習を行って、異常判定処理のモデルを構築し(ステップS3 特許請求の範囲に記載の異常判定処理構築部に対応)、所定の記憶領域に格納する。
異常判定処理時には、まず、検査実施者は、染色体が見られる***中期の細胞が搭載されたスライドガラスを用意し、電動ステージ3上に載置する。これにより、電動ステージ3上のスライド上の判定対象の染色体が顕微鏡2で拡大され、イメージング分光器4によって分光されてスペクトルキューブデータとして、画像メモリ5に格納される(ステップS11 特許請求の範囲のデータ取得部に対応)。
異常判定結果表示処理部23は、異常判定処理部21での異常判定結果を表示装置13に表示し(ステップS15)、さらにデータベース作成装置11により、異常判定に用いたスペクトル特徴量画像の画像データ及び画像解析による特徴量と異常判定結果とを対応付けて染色体データ記憶装置12のデータベースに格納する(ステップS16)。
ここで、スペクトルキューブデータから得られる染色体の画像は、図7に示すように波長によって異なり、図7(a)に示す波長550nmの場合、また図7(c)に示す波長805nmの場合には、バンドを識別することができないが、図7(b)に示す波長650nmの場合には、バンドを識別することができる。
つまり、染色体異常判定装置1では、予め設定した、コントラストの高い良好な単波長画像を得ることの可能な波長についてその単波長画像を形成するようにしている。そのため、得られた単波長画像すなわちスペクトル特徴量画像はコントラストが比較的高い画像となり、染色体及びバンドを容易に識別することができる。
この第二実施形態は、図1に示す第一実施形態における染色体異常判定装置1において、画像解析装置7を省いたものであり、判定処理装置10の構成が異なる。また、第二実施形態における染色体異常判定装置1は、スペクトル解析装置6で抽出したスペクトル特徴量画像の画像データが直接判定処理装置10に入力される。
なお、第一実施形態と同一部については同一符号を付与し、その詳細な説明は省略する。
判定処理装置10は、異常判定処理部21aと、異常判定結果表示処理部23と、を備える。
第二実施形態における染色体データ記憶装置12には、染色体異常と判定されたときのスペクトルキューブデータから抽出されたスペクトル特徴量画像の画像データが特徴情報として異常サンプルデータベース12aに格納される。同様に、染色体が正常と判定されたときのスペクトルキューブデータから抽出されたスペクトル特徴量画像の画像データが特徴情報として正常サンプルデータベース12bに格納される。データベース作成装置11は、異常判定処理部21aでの判定結果に基づいて、特徴情報(つまりスペクトル特徴量画像の画像データ)を異常サンプルデータベース12a、又は正常サンプルデータベース12bに格納する。
ニューラルネットワークモデル構築時には、判定処理装置10の異常判定処理部21aは、染色体データ記憶装置12に格納された異常サンプルデータベース12a及び正常サンプルデータベース12bを読み出し(ステップS21)、異常サンプルデータベース12a及び正常サンプルデータベース12bに格納された異常時及び正常時の特徴情報に対して、個別に機械学習を行い、ニューラルネットワークモデルを構築する(ステップS22)。そして、構築したニューラルネットワークモデルを所定の記憶領域に格納する。
異常判定処理時には、まず、検査実施者は、染色体が見られる***中期の細胞が搭載されたスライドガラスを用意し、電動ステージ3上に載置する。これにより、電動ステージ3上のスライド上の判定対象の染色体が顕微鏡2で拡大され、イメージング分光器4によって分光されてスペクトルキューブデータとして、画像メモリ5に格納される(ステップS31)。
異常判定結果表示処理部23は、異常判定処理部21aでの異常判定結果を表示装置13に表示し(ステップS34)、さらにデータベース作成装置11により、異常判定に用いた、スペクトル特徴量画像の画像データを異常判定による判定結果と対応付けて染色体データ記憶装置12のデータベースに格納する(ステップS35)。
このように、第二実施形態における染色体異常判定装置1は、スペクトルキューブデータから取得したスペクトル特徴量画像に対し、ニューラルネットワークモデルを用いて異常判定を行うため、二次元画像のみでは得ることのできない特徴情報を利用して異常判定を行うことができる。そのため、第二実施形態における染色体異常判定装置1も、より多くの染色体の画像に対して染色体異常を自動判定することができ、使い勝手を向上させた染色体異常判定装置1を実現することができる。
この第三実施形態は、図1に示す第一実施形態における染色体異常判定装置1において、画像解析装置7を省いたものであり、判定処理装置10の構成が異なる。
図14は、第三実施形態における判定処理装置10の一例を示す機能ブロック図である。
第三実施形態における判定処理装置10には、スペクトル解析装置6でのスペクトル解析により抽出されたスペクトル特徴量画像の画像データを直接入力される。
第三実施形態における判定処理装置10は、異常判定処理部21cと、異常判定結果表示処理部23とを備える。
第三実施形態における染色体データ記憶装置12には、スペクトル特徴量画像と、正常又は異常の判定結果とが対応付けられて、データベース作成装置11を介して染色体データ記憶装置12に格納される。
このように、スペクトル解析により得たスペクトル特徴量画像の画像データに対しニューラルネットワークモデルを用いて異常判定を行うため、二次元画像のみでは得ることのできない特徴情報を利用して異常判定を行うことができる。そのため、この場合も、より多くの染色体の画像に対して染色体異常を自動判定することができ、染色体異常判定装置1の使い勝手を向上させることができる。
すなわち、染色体異常判定装置1aは、図1に示す染色体異常判定装置1において、イメージング分光器4に代えて、モノクロカメラ14と、モノクロカメラ14に設けられた特定波長のみを透過する特性を有するフィルタ15とを備える。このような構成とすることによって、染色体の反射光又は透過光から特定波長のみを抽出した画像データを取得することができる。
なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。
2 顕微鏡
4 イメージング分光器
5 画像メモリ
6 スペクトル解析装置
7 画像解析装置
10 判定処理装置
11 データベース作成装置
12 染色体データ記憶装置
13 表示装置
14 モノクロカメラ
15 フィルタ
Claims (8)
- 異常な染色体及び正常な染色体のうちの少なくとも一方から取得されたスペクトルキューブデータに含まれる前記染色体の特徴を表す特徴情報を用いて構築された異常判定処理を実行する異常判定処理部と、
判定対象の染色体の前記スペクトルキューブデータを取得するデータ取得部と、
を有し、
前記スペクトルキューブデータは染色された染色体を透過又は反射した光の前記染色体上の各点における分光スペクトルであって、
前記異常判定処理部は、
前記データ取得部により取得された前記判定対象の染色体の前記スペクトルキューブデータに含まれる前記特徴情報を入力し、当該特徴情報を用いて前記判定対象の染色体に対する前記異常判定処理を実行することを特徴とする染色体異常判定装置。 - 前記異常判定処理部は、
前記異常判定処理として、前記判定対象の染色体の前記スペクトルキューブデータに含まれる前記特徴情報と、異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報とを照合する処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。 - 前記異常判定処理部は、
前記異常判定処理として、前記異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報と当該特徴情報を有する染色体が正常であるか否かを表す情報とに基づき決定される異常判定パラメータを用いてモデル学習を行うことにより構築された処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。 - 前記異常判定処理部は、
前記異常判定処理として、異常な染色体の前記スペクトルキューブデータに含まれる前記特徴情報を複数含む特徴情報群と、正常な染色体の前記スペクトルキューブデータに含まれる前記特徴情報を複数含む特徴情報群とに対して個別に機械学習を行うことで構築されたニューラルネットワークモデルを用いた処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。 - 前記異常判定処理部は、
異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報と当該特徴情報を有する染色体が正常であるか否かを表す情報とに対して機械学習を行うことで構築されたニューラルネットワークモデルを用いた処理を実行することを特徴とする請求項1に記載の染色体異常判定装置。 - 前記スペクトルキューブデータのうちの、前記染色された染色体の濃淡と当該染色された染色体を透過又は反射した光量との特性に応じて予め選択された波長を含む波長域におけるデータを用いて前記特徴情報を抽出する特徴情報抽出部を備えることを特徴とする請求項1から請求項5のいずれか一項に記載の染色体異常判定装置。
- 異常な染色体及び正常な染色体のうちの少なくとも一方の前記スペクトルキューブデータに含まれる前記特徴情報と当該特徴情報を有する染色体が異常であるか否かを表す情報とが格納されるデータベースと、
前記異常判定処理部に入力された前記特徴情報と当該特徴情報に対する前記異常判定処理部での判定結果とを前記データベースに格納するデータベース作成部を備えることを特徴とする請求項1から請求項6のいずれか一項に記載の染色体異常判定装置。 - 前記データベースに格納された前記特徴情報及び前記判定結果に基づいて前記異常判定処理を構築する異常判定処理構築部を備えることを特徴とする請求項7に記載の染色体異常判定装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017064975 | 2017-03-29 | ||
JP2017064975 | 2017-03-29 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018169390A true JP2018169390A (ja) | 2018-11-01 |
JP2018169390A5 JP2018169390A5 (ja) | 2019-04-11 |
JP6669796B2 JP6669796B2 (ja) | 2020-03-18 |
Family
ID=64020100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018050623A Active JP6669796B2 (ja) | 2017-03-29 | 2018-03-19 | 染色体異常判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6669796B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020009402A (ja) * | 2018-07-06 | 2020-01-16 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 自動染色体分類のための方法及びシステム |
WO2020054080A1 (ja) * | 2018-09-12 | 2020-03-19 | Jfeテクノリサーチ株式会社 | 染色体異常判定装置、染色体異常判定システム、測定装置及び解析装置 |
JP2021531812A (ja) * | 2019-02-21 | 2021-11-25 | 中國醫藥大學附設醫院China Medical University Hospital | 染色体異常のテストモデル、そのテストシステム及び染色体異常のテスト方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03123860A (ja) * | 1989-10-06 | 1991-05-27 | Sumitomo Metal Ind Ltd | 染色体検査装置 |
JPH11500832A (ja) * | 1995-12-12 | 1999-01-19 | スペクトラル ダイアグノスティック リミテッド | 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法 |
US20110058177A1 (en) * | 2008-02-27 | 2011-03-10 | Rudolf Kessler | Marker-free chromosome screening |
JP2016507059A (ja) * | 2013-02-06 | 2016-03-07 | アレンティック マイクロサイエンス インコーポレイテッド | サンプルを代表する光を検出すること及び利用すること |
JP2016070698A (ja) * | 2014-09-26 | 2016-05-09 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
-
2018
- 2018-03-19 JP JP2018050623A patent/JP6669796B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03123860A (ja) * | 1989-10-06 | 1991-05-27 | Sumitomo Metal Ind Ltd | 染色体検査装置 |
JPH11500832A (ja) * | 1995-12-12 | 1999-01-19 | スペクトラル ダイアグノスティック リミテッド | 生物学研究、医療診断および治療用の分光生物撮像法、蛍光交配方法および細胞分類方法 |
US20110058177A1 (en) * | 2008-02-27 | 2011-03-10 | Rudolf Kessler | Marker-free chromosome screening |
JP2016507059A (ja) * | 2013-02-06 | 2016-03-07 | アレンティック マイクロサイエンス インコーポレイテッド | サンプルを代表する光を検出すること及び利用すること |
JP2016070698A (ja) * | 2014-09-26 | 2016-05-09 | 富士フイルム株式会社 | 有核赤血球の選別方法 |
Non-Patent Citations (1)
Title |
---|
"19 染色体", 遺伝子, vol. 第8版, JPN7019003085, 19 January 2006 (2006-01-19), JP, pages 492 - 511, ISSN: 0004213223 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020009402A (ja) * | 2018-07-06 | 2020-01-16 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | 自動染色体分類のための方法及びシステム |
WO2020054080A1 (ja) * | 2018-09-12 | 2020-03-19 | Jfeテクノリサーチ株式会社 | 染色体異常判定装置、染色体異常判定システム、測定装置及び解析装置 |
JP2020039312A (ja) * | 2018-09-12 | 2020-03-19 | Jfeテクノリサーチ株式会社 | 染色体異常判定システム、測定装置及び解析装置 |
JP2021531812A (ja) * | 2019-02-21 | 2021-11-25 | 中國醫藥大學附設醫院China Medical University Hospital | 染色体異常のテストモデル、そのテストシステム及び染色体異常のテスト方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6669796B2 (ja) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10395368B2 (en) | Methods and systems for assessing histological stains | |
CN105021529B (zh) | 融合光谱和图像信息的作物病虫害识别和区分方法 | |
US9002077B2 (en) | Visualization of stained samples | |
DE60316113T2 (de) | Verfahren für quantitative video-mikroskopie und vorrichtung und computerprogramm zur durchführung des verfahrens | |
US8649580B2 (en) | Image processing method, image processing apparatus, and computer-readable recording medium storing image processing program | |
Li et al. | AOTF based molecular hyperspectral imaging system and its applications on nerve morphometry | |
JP5185151B2 (ja) | 顕微鏡観察システム | |
CN108885681A (zh) | 用于评估细胞形态的方法和*** | |
CN106572736A (zh) | 用于定制毛发染色的方法与装置 | |
JP2006526783A (ja) | 色分解および組織試料内の対象となる領域の検出 | |
CN102177435A (zh) | 组织病理学诊断支持***、组织病理学诊断支持程序以及组织病理学诊断支持方法 | |
JP6669796B2 (ja) | 染色体異常判定装置 | |
JP6392476B1 (ja) | 生体組織解析装置および生体組織解析プログラム | |
US20090110273A1 (en) | Image Processing Device and Image Processing Program | |
CN108352062A (zh) | 用于组织识别的方法和设备 | |
JP5137481B2 (ja) | 画像処理装置、画像処理プログラム、および画像処理方法 | |
EP2927684B1 (en) | Image measuring device and image measuring method | |
Pohling et al. | Multiplex coherent anti-Stokes Raman scattering microspectroscopy of brain tissue with higher ranking data classification for biomedical imaging | |
Jasinska et al. | An alternative instrumental method for fabric pilling evaluation based on computer image analysis | |
PP et al. | Automated quality assessment of cocoons using a smart camera based system | |
Septiana et al. | Elastic and collagen fibers discriminant analysis using H&E stained hyperspectral images | |
RU2462195C2 (ru) | Способ исследования и диагностики состояния биологического объекта или его части | |
Li et al. | Methyl green and nitrotetrazolium blue chloride co-expression in colon tissue: A hyperspectral microscopic imaging analysis | |
JP2008304205A (ja) | 分光特性推定装置および分光特性推定プログラム | |
JP6637132B1 (ja) | 染色体異常判定システム、測定装置及び解析装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190610 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190830 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190830 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6669796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |