JP7188514B2 - 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム - Google Patents
診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP7188514B2 JP7188514B2 JP2021134459A JP2021134459A JP7188514B2 JP 7188514 B2 JP7188514 B2 JP 7188514B2 JP 2021134459 A JP2021134459 A JP 2021134459A JP 2021134459 A JP2021134459 A JP 2021134459A JP 7188514 B2 JP7188514 B2 JP 7188514B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dermoscopy
- correction
- support device
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Color Image Communication Systems (AREA)
Description
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
図1は、本実施形態に係る診断支援装置1の構成を示すブロック図である。図1に示すように、本実施形態に係る診断支援装置1には、ダーモスコープ付撮影装置20が接続されている。
図2に示すように第1実施形態の処理部12は、色補正処理手段121を含む。色補正処理手段121は、色補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、補正変換ターゲットを肌色に設定して、色補正処理を行う。このとき、色補正処理手段121は、中央部を前記撮影画像の中心円とし、中心円を除いた測定領域内で各RGBについて対応画素のLpノルムを求め、eR、eG及びeBのL2ノルムが1となるように係数kで正規化し、ecに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、RGBのゲイン係数を各画素に乗算し、元画像の色補正処理を行う。
以下、図3のフローチャートを参照しながら第1実施形態に係る処理部12(色補正処理手段121)の色補正処理動作について詳細に説明する。
第1実施形態に係る診断支援装置1によれば、処理部12(色補正処理手段121)が、補正対象のダーモスコピー画像に対して色合いを補正(色補正)する際に、色情報計測領域を疾患領域である確率が高い、中央部を除く周辺部に設定し、補正ターゲットを肌色に設定することで、自然で、かつロバストな補正を行うことができる。また、肌色仮説が成り立たない全体的に血液色の場合に、補正時にリミッターを設定することにより不自然な補正を抑制することができる。したがって、撮影光源やメラニン濃度の個人差の影響を取り除いて画像分類のための前処理や画像を提示することが可能になり、特に、画像を複数並べて提示したときに疾患領域の違いを俯瞰的に把握することを容易にし、その結果、精度の高い診断支援を行うことができる。なお、画像は1画像ずつ表示させて見比べるようにしてもよい(以下同じ。)
次に、第2実施形態について説明する。図5に示すように、第2実施形態の処理部12は、輝度補正処理手段122を含む。輝度補正処理手段122は、輝度補正を行うために、撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないようにRGBそれぞれに同一の前記補正ゲイン値を乗算して補正ゲインを得る。
以下、図6のフローチャートを参照しながら第2実施形態に係る処理部12(輝度補正処理手段122)の色補正処理動作について詳細に説明する。
上記した第2実施形態に係る診断支援装置1によれば、補正対象のダーモスコピー画像に対して輝度補正を行う際に、処理部12(輝度補正処理手段122)が、輝度計測領域を疾患領域の確率が高い中央部を除いた周辺部に設定し、その領域に対して輝度ヒストグラムを生成し、そのヒストグラムピーク値に基づき補正ゲイン値を算出し、色相を変えないように、R,G,Bそれぞれに同一の補正ゲイン値を乗算することにより、自然でかつロバストな輝度補正を行うことができる。なお、輝度ヒストグラムを作成する際に、肌色に近いもののみに限定することにより、診断精度が一層向上する。
次に、第3実施形態について説明する。第3実施形態は、第1実施形態の色補正処理(正規化)及び/又は第2実施形態の輝度補正処理(正規化)を行ったダーモスコピー画像をニューラルネットワークから構成される識別器に入力し、機械学習の結果を用いて、未知の調査対象の疾患を推論するものである。その際、ダーモスコピー画像の肌色部の色及び/又は輝度を正規化後、正規化のターゲット値を減算してからニューラルネットワークに入力する。
以下、図14から図18のフローチャートを参照しながら第3実施形態に係る処理部12a、アンサンブル識別器14aの動作について詳細に説明する。
以下、図16から図18のフローチャートを参照しながら、本発明の第3実施形態に係る診断装置100Aの動作について詳細に説明する。なお、以下の動作は、コンピュータに実行させる学習処理プログラムとして構成することができる。
Machine)学習を行ない、機械学習識別器生成処理を終了する(ステップS26)。
上記した第3実施形態に係る診断支援装置1によれば、ダーモスコピー画像の肌色部(非疾患領域)の色・輝度を正規化し、その正規化値を前処理として減算することにより、疾患の可能性がある中央部の肌色部(非疾患領域)に対する変化を強調するような前処理が行うことができる。換言すると、中央部と肌色部(非疾患領域)との効果的なエッジ抽出を行うことができる。
[請求項1]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像処理を行うステップ(A)を備え、
前記ステップ(A)において、画像補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定することを特徴とする方法。
[請求項2]
前記ステップ(A)において、画像補正として色補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、補正変換ターゲットを設定して色補正処理を行うことを特徴とする請求項1に記載の方法。
[請求項3]
前記補正変換ターゲットは、色合いを特定の肌色を想定して設定されることを特徴とする請求項2に記載の方法。
[請求項4]
前記ステップ(A)において、
前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で色空間の各画素について対応画素のLpノルムを求め、eR、eG及びeBのL2ノルムが1となるように係数kで正規化し、ecに3^(1/2)を乗算のうえ逆数にして色ゲインの設定を行い、各画素のゲイン係数を各画素に乗算し、元画像の色補正処理を行うことを特徴とする請求項1から3のいずれか1項に記載の方法。
[請求項5]
前記前記ステップ(A)において、前記測定領域において全面が血液色であるような色仮説が成り立たない場合には、補正変換時に色補正ゲインにリミッターを設定することを特徴とする請求項1から4のいずれか1項に記載の方法。
[請求項6]
前記前記ステップ(A)において、画像補正として輝度補正を行う際、前記撮影画像のうち疾患の確率が高い被検領域を除いた周辺領域を測定領域に設定するとともに、前記測定領域に対して輝度ヒストグラムを生成し、前記輝度ヒストグラムのピーク値を基に補正ゲイン値を算出して、色相を変えないように色空間の各画素の少なくとも2つに同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項1に記載の方法。
[請求項7]
前記ステップ(A)において、 前記被検領域を前記撮影画像の中心円とし、
前記中心円を除いた前記測定領域内で輝度値ごとに画素数をカウントして前記輝度ヒストグラムを作成し、隣接輝度値との加算平均を取って輝度方向の前記輝度ヒストグラムの平滑化を行い、高輝度側の前記輝度ヒストグラムの前記ピーク値を求め、輝度補正のターゲット値を設定して補正前の前記ピーク値が前記ターゲット値となるように前記補正ゲインを設定し、求められた前記補正ゲイン値を各画素それぞれに乗算して輝度補正を行うことを特徴とする請求項1又は6に記載の方法。
[請求項8]
前記ステップ(A)において、前記輝度ヒストグラムを高輝度側から積算して輝度の上端値を求め、前記上端値を超えないように前記補正ゲインをクリップし、前記補正ゲイン値を最終的なものとすることを特徴とする請求項6又は7に記載の方法。
[請求項9]
前記色空間が、RGB色空間、YUV色空間及びHSV色空間を含み、RGB色空間の場合には画素R,G,Bについて、YUV色空間の場合には画素Y,U,Vについて、HSV色空間の場合には画素S,Vについて、同一の前記補正ゲイン値を乗算して補正ゲインを得ることを特徴とする請求項6から8のいずれか1項に記載の方法。
[請求項10]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ(A)と、
前記撮影画像の画像補正後の画素値からターゲット画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)と、を備えることを特徴とする方法。
[請求項11]
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
前記撮影画像の画像補正を行うステップ(A)と、
前記撮影画像の画像補正後の画素値から前記撮影画像の平均画素値を減算し、診断されるべき対象に係る未知の前記撮影画像に基づいて疾患であるか否かを識別する識別器への入力画像を得るステップ(B)と、を備えることを特徴とする方法。
[請求項12]
さらに、前記入力画像を前記識別器のニューラルネットワークに入力し、前記入力画像が既知の画像である場合には学習を、前記入力画像が未知の画像である場合には学習結果を踏まえて推論を行うステップ(C)を備えることを特徴とする請求項2、10又は11に記載の方法。
[請求項13]
撮影画像から病変を診断するための診断支援装置であって、
前記撮影画像の画像処理を行う処理部を備え、
前記処理部が、画像補正を行う際、前記撮影画像のうち疾患の確率が高い中央部を除いた周辺部を測定領域に設定することを特徴とする診断支援装置。
[請求項14]
コンピュータに請求項1から12のいずれか1項に記載の画像処理方法を実行させるプログラム。
Claims (12)
- 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置における画像処理方法であって、
前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部について肌色をベースとした色合いを測定し、前記色合いに基づいて所定の色空間のパラメータにおける各色成分のゲイン係数を設定する設定ステップと、
前記設定ステップにて設定されたゲイン係数を前記ダーモスコピー画像の各画素値に乗算する第1の乗算ステップと、
を含むことを特徴とする画像処理方法。 - 前記第1の乗算ステップにて乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算ステップと、
前記減算ステップにて減算したダーモスコピー画像を識別器に入力する入力ステップと、
を含むことを特徴とする請求項1に記載の画像処理方法。 - 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置における画像処理方法であって、
前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部の輝度ヒストグラムのピーク値に基づいて補正ゲイン値を取得する取得ステップと、
前記取得ステップにて取得された補正ゲイン値を前記ダーモスコピー画像の各画素値に乗算する第2の乗算ステップと、
を含むことを特徴とする画像処理方法。 - 前記第2の乗算ステップにより乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算ステップと、
前記減算ステップにて減算したダーモスコピー画像を識別器に入力する入力ステップと、
を含むことを特徴とする請求項3に記載の画像処理方法。 - 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置であって、
前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部について肌色をベースとした色合いを測定し、前記色合いに基づいて所定の色空間のパラメータにおける各色成分のゲイン係数を設定する設定手段と、
前記設定手段によって設定されたゲイン係数を前記ダーモスコピー画像の各画素値に乗算する第1の乗算手段と、
を備えることを特徴とする診断支援装置。 - 前記第1の乗算手段によって乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算手段と、
前記減算手段によって減算したダーモスコピー画像を識別器に入力する入力手段と、
を備えることを特徴とする請求項5に記載の診断支援装置。 - 対象を撮影したダーモスコピー画像に基づいて行われる病変の診断を支援するための診断支援装置であって、
前記ダーモスコピー画像のうち疾患の確率が高い被検領域の周辺部の輝度ヒストグラムのピーク値に基づいて補正ゲイン値を取得する取得手段と、
前記取得手段によって取得された補正ゲイン値を前記ダーモスコピー画像の各画素値に乗算する第2の乗算手段と、
を備えることを特徴とする診断支援装置。 - 前記第2の乗算手段によって乗算された前記ダーモスコピー画像の各画素値から正規化のターゲット値を減算する減算手段と、
前記減算手段によって減算したダーモスコピー画像を識別器に入力する入力手段と、
を備えることを特徴とする請求項7に記載の診断支援装置。 - 前記疾患の識別名称と、皮膚画像を関連付けて登録する皮膚画像登録手段を更に備え、
前記識別器は、前記入力されたダーモスコピー画像と前記皮膚画像とに基づいて、前記対象が疾患であるか否かを識別する、
ことを特徴とする請求項5乃至8の何れかに記載の診断支援装置。 - 前記識別器は、前記減算されたダーモスコピー画像から得られる特徴量ベクトルに基づいて、前記対象が疾患であるか否かを識別する、
ことを特徴とする請求項9に記載の診断支援装置。 - 前記識別器は、ニューラルネットワークである、
ことを特徴とする請求項10に記載の診断支援装置。 - コンピュータに請求項1乃至4の何れかに記載の画像処理方法を実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016171595 | 2016-09-02 | ||
JP2016171595 | 2016-09-02 | ||
JP2018110086A JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018110086A Division JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021191423A JP2021191423A (ja) | 2021-12-16 |
JP7188514B2 true JP7188514B2 (ja) | 2022-12-13 |
Family
ID=61624508
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017081594A Active JP6361776B2 (ja) | 2016-09-02 | 2017-04-17 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2018110086A Pending JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2021134459A Active JP7188514B2 (ja) | 2016-09-02 | 2021-08-20 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017081594A Active JP6361776B2 (ja) | 2016-09-02 | 2017-04-17 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
JP2018110086A Pending JP2018171462A (ja) | 2016-09-02 | 2018-06-08 | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6361776B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7135504B2 (ja) * | 2018-07-02 | 2022-09-13 | カシオ計算機株式会社 | 画像識別装置、画像識別方法及びプログラム |
JP7218118B2 (ja) * | 2018-07-31 | 2023-02-06 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11615609B2 (en) | 2019-07-01 | 2023-03-28 | Axell Corporation | Learning apparatus, inferring apparatus, learning method, program, and inferring method |
JP7005040B2 (ja) * | 2019-07-01 | 2022-01-21 | 株式会社アクセル | 学習装置、推論装置、学習方法、プログラムおよび推論方法 |
US11769221B2 (en) | 2020-03-12 | 2023-09-26 | Axell Corporation | Learning apparatus, inferring apparatus, computer program, computer system, inferring method, and learning method |
CN115943420A (zh) * | 2020-08-26 | 2023-04-07 | 佳能株式会社 | 图像处理装置、图像处理方法、训练装置、训练方法、以及程序 |
KR20220042558A (ko) * | 2020-09-28 | 2022-04-05 | 주식회사 딥바이오 | 병리 이미지 분석 결과 출력 방법 및 이를 수행하는 컴퓨팅 시스템 |
WO2023058157A1 (ja) * | 2021-10-06 | 2023-04-13 | メディテック株式会社 | 治療支援装置、システム、及び方法 |
WO2023106442A1 (ko) * | 2021-12-08 | 2023-06-15 | (주)파인헬스케어 | 상처 진단 및 관리를 위한 의료기기 및 의료기기의 동작 방법 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321793A (ja) | 2003-04-29 | 2004-11-18 | Inforward Inc | 皮膚画像のコンピュータ解析のための方法およびシステム |
JP2005192944A (ja) | 2004-01-09 | 2005-07-21 | Keio Gijuku | 色素沈着部位の遠隔診療システム |
JP2006050014A (ja) | 2004-07-30 | 2006-02-16 | Casio Comput Co Ltd | 撮像装置、明るさ補正方法及びプログラム |
JP2006084425A (ja) | 2004-09-17 | 2006-03-30 | Tokyo Institute Of Technology | マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法 |
JP2007318256A (ja) | 2006-05-23 | 2007-12-06 | Sony Corp | 画像補正回路、画像補正方法および画像表示装置 |
JP2012205855A (ja) | 2011-03-30 | 2012-10-25 | Kao Corp | 体表評価方法および体表評価装置 |
JP2013171423A (ja) | 2012-02-21 | 2013-09-02 | Ricoh Co Ltd | 画像処理装置 |
JP2013255594A (ja) | 2012-06-11 | 2013-12-26 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2016087275A (ja) | 2014-11-07 | 2016-05-23 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
JP2016123420A (ja) | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07124126A (ja) * | 1993-11-05 | 1995-05-16 | Ken Ishihara | 医療用生体情報検出装置、診断装置および治療装置 |
US10362984B2 (en) * | 2015-01-27 | 2019-07-30 | Healthy.Io Ltd | Measuring and monitoring skin feature colors, form and size |
JP6108011B2 (ja) * | 2016-06-13 | 2017-04-05 | 富士ゼロックス株式会社 | 中継装置及びfax送受信プログラム |
-
2017
- 2017-04-17 JP JP2017081594A patent/JP6361776B2/ja active Active
-
2018
- 2018-06-08 JP JP2018110086A patent/JP2018171462A/ja active Pending
-
2021
- 2021-08-20 JP JP2021134459A patent/JP7188514B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004321793A (ja) | 2003-04-29 | 2004-11-18 | Inforward Inc | 皮膚画像のコンピュータ解析のための方法およびシステム |
JP2005192944A (ja) | 2004-01-09 | 2005-07-21 | Keio Gijuku | 色素沈着部位の遠隔診療システム |
JP2006050014A (ja) | 2004-07-30 | 2006-02-16 | Casio Comput Co Ltd | 撮像装置、明るさ補正方法及びプログラム |
JP2006084425A (ja) | 2004-09-17 | 2006-03-30 | Tokyo Institute Of Technology | マルチスペクトル画像処理方法及びマルチスペクトル皮膚画像による診断方法 |
JP2007318256A (ja) | 2006-05-23 | 2007-12-06 | Sony Corp | 画像補正回路、画像補正方法および画像表示装置 |
JP2012205855A (ja) | 2011-03-30 | 2012-10-25 | Kao Corp | 体表評価方法および体表評価装置 |
JP2013171423A (ja) | 2012-02-21 | 2013-09-02 | Ricoh Co Ltd | 画像処理装置 |
JP2013255594A (ja) | 2012-06-11 | 2013-12-26 | Canon Inc | 画像処理装置及び画像処理方法 |
JP2016087275A (ja) | 2014-11-07 | 2016-05-23 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
JP2016123420A (ja) | 2014-12-26 | 2016-07-11 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2018171462A (ja) | 2018-11-08 |
JP6361776B2 (ja) | 2018-07-25 |
JP2018038789A (ja) | 2018-03-15 |
JP2021191423A (ja) | 2021-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7188514B2 (ja) | 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム | |
CN107788948B (zh) | 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 | |
US11452455B2 (en) | Skin reflectance and oiliness measurement | |
US20200356820A1 (en) | Speckle contrast analysis using machine learning for visualizing flow | |
JP5722414B1 (ja) | 骨粗鬆症診断支援装置 | |
JP6545658B2 (ja) | ビリルビンレベルを推定すること | |
WO2013187206A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US9092878B2 (en) | Method and system for processing an image | |
JP5165732B2 (ja) | マルチスペクトル画像処理方法、画像処理装置、及び画像処理システム | |
JP2010287948A (ja) | 画像処理装置および方法、並びにプログラム | |
JP4599520B2 (ja) | マルチスペクトル画像処理方法 | |
CN111932532A (zh) | 胶囊内窥镜无参考图像评价方法、电子设备及介质 | |
JP7087390B2 (ja) | 診断支援装置、画像処理方法及びプログラム | |
EP3023936B1 (en) | Diagnostic apparatus and image processing method in the same apparatus | |
JP6319370B2 (ja) | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム | |
KR20200080797A (ko) | 하지정맥류 이미지 프로세싱 시스템 | |
JP2024098259A (ja) | 臓器評価システム及び臓器評価方法 | |
JP2024098258A (ja) | 臓器評価システム及び臓器評価方法 | |
Nagpal et al. | Enhancement of retinal images through modified anisotropic diffusion | |
JP2024052215A (ja) | 高血圧症評価システム及び高血圧症評価方法 | |
JP2023543706A (ja) | 暗視野x線画像データ情報の処理 | |
JP2009258771A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210916 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221026 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7188514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |