JP7404857B2 - 画像判定装置、画像判定方法及びプログラム - Google Patents
画像判定装置、画像判定方法及びプログラム Download PDFInfo
- Publication number
- JP7404857B2 JP7404857B2 JP2019231092A JP2019231092A JP7404857B2 JP 7404857 B2 JP7404857 B2 JP 7404857B2 JP 2019231092 A JP2019231092 A JP 2019231092A JP 2019231092 A JP2019231092 A JP 2019231092A JP 7404857 B2 JP7404857 B2 JP 7404857B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- extracted
- medical
- determination
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 62
- 230000011218 segmentation Effects 0.000 claims description 98
- 238000012545 processing Methods 0.000 claims description 76
- 210000003127 knee Anatomy 0.000 claims description 42
- 210000003484 anatomy Anatomy 0.000 claims description 35
- 238000003745 diagnosis Methods 0.000 claims description 30
- 238000000605 extraction Methods 0.000 claims description 26
- 238000013527 convolutional neural network Methods 0.000 claims description 25
- 238000010801 machine learning Methods 0.000 claims description 20
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 13
- 210000004417 patella Anatomy 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000002601 radiography Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 32
- 238000013528 artificial neural network Methods 0.000 description 26
- 238000012549 training Methods 0.000 description 21
- 238000013135 deep learning Methods 0.000 description 20
- 230000002950 deficient Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000005855 radiation Effects 0.000 description 9
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 241000270295 Serpentes Species 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010073306 Exposure to radiation Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
- A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
この場合に、適正に撮影されたか否かの判断を後の診断時等に行ったのでは、撮影画像が不良である場合に、後日改めて撮影を行わなければならず、被験者である患者に負担を掛けてしまう。
例えば、特許文献1には、放射線画像の照射野内で当該照射野の境界に接する部分領域の画像データから所定の特徴量を抽出し、所定の学習アルゴリズムによる特徴量に関する学習結果に基づいて、特定部位の一部が放射線画像から欠落しているか否かを判定する技術が開示されている。
また例えば、特許文献2には、医用画像を解析して解剖学的な構造物を複数抽出し、抽出した構造物の抽出結果に基づいて医用画像の撮影時におけるポジショニングの複数の評価項目を評価し、各評価項目別に点数化する技術が開示されている。
また適用分野は異なるが、例えば、特許文献3には、タイヤ画像に畳み込みニューラルネットワークを適用することによって、タイヤの品種やタイヤ状態を判別する技術が開示されている。
この点、医用画像が診断に適さない写損と判断されるべきケースは対象部位の欠落や欠損の場合に限定されない。
また、特定部位の一部が放射線画像から欠落しているか否かの判断に機械学習を取り入れているが、特徴量の抽出に機械学習を用いるものではない。
このため、解析パラメーターが個別のケースに限定されてしまい、様々な部位やパターンにロバストに対応することはできない。
このため、教師データが多く用意できる場合には深層学習の効果を発揮して適切に特徴量を抽出し、精度の高い判定結果を得ることができるが、教師データが少ない場合は深層学習での特徴抽出を適切に行うことができず、判定精度が低下してしまう。
医用画像分野において、人体の個別の部位の関心領域(画像が診断に適したものか否かを判断する基準となる部分、「解剖学的な構造物」)の教師データを多く収集することは難しいことが予測され、少ない教師データに基づいても精度の高い判定結果を得ることのできる構成が望まれる。
被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段と、
前記医用画像に含まれる解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段と、
前記抽出画像に基づいて、特徴量を算出する特徴量抽出手段と、
前記特徴量に基づいて、前記医用画像のポジショニングの良否または医用画像の診断を行うことに対する適否を判定する判定手段と、
を備え、
前記医用画像は膝側面の画像である、
ことを特徴とする。
また請求項11記載の発明は、画像判定装置において、
患者の診断対象部位を含む部位を放射線撮影して得られる医用画像の画像データを取得する画像取得手段と、
前記医用画像から解剖学的な構造物を抽出して抽出画像を生成するセグメンテーション手段と、
前記抽出画像に対して画像変換を行い、変換画像を生成する画像変換手段と、
機械学習の結果を用いて、抽出画像及び/又は変換画像から前記解剖学的な構造物の特徴量を算出する特徴量抽出手段と、
前記特徴量に関する機械学習の結果を用いて、前記特徴量に基づいて、前記医用画像が診断に適した位置関係で撮影されているか否かを自動的に判定する判定手段であって、前記判定手段の判定結果は、前記特徴量を3つ以上のクラスに分類した結果であり、各クラスは、前記医用画像の位置関係の適切さの異なるレベルと関連付けられている、判定手段と、
を備え、
前記解剖学的な構造物は、膝の正面画像における膝蓋骨及び関節腔であり、特徴量が膝蓋骨の位置及び関節腔の形状である場合、を含んでいる、
ことを特徴とする。
診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得工程と、
前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション工程と、
前記抽出画像と前記医用画像の撮影時におけるポジショニングの良否に関するクラスとを対応付けて教師データとする教師データ準備工程と、
前記教師データ準備工程において用意された複数の前記教師データについて、畳み込みニューラルネットワークで学習し、前記畳み込みニューラルネットワークのパラメーターを設定するパラメーター設定工程と、
被験者の診断対象領域を含む部位を放射線撮影する実撮影により取得された前記医用画像の画像データを判定対象とし、
前記セグメンテーション工程において、前記実撮影において取得された前記医用画像から抽出画像を領域抽出して、当該画像データを前記パラメーター設定工程において設定されたパラメーターを有する前記畳み込みニューラルネットワークに入力し、前記判定対象の前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを判定する判定工程と、
を含み、
前記医用画像は膝側面の画像である、
ことを特徴とする。
コンピューターを、
被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段、
前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段、
前記抽出画像に基づいて、特徴量を算出する特徴量抽出手段、
前記特徴量に基づいて、前記医用画像のポジショニングの良否または医用画像の診断を行うことに対する適否を判定する判定手段、
として機能させるものであり、
前記医用画像は膝側面の画像である、
ことを特徴とする。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
本実施形態において画像処理装置1は、被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得して、当該医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かの判定を行う画像判定装置として機能するものである。
こうした医用画像の撮影では、撮影を行う操作者は、被曝防止のために撮影室とは別の部屋(前室等)から撮影指示を行うようになっている。このため、撮影直前に撮影対象である部位の状況(例えば位置や向き等)を直接確認することが困難である。また、同様の理由から撮影時に介護人が付き添うことができない。このため、撮影対象となる人が適切な姿勢を維持することができなかったり、撮影までの間に動いてしまうことにより、診断対象となる部位が正常に撮影されない場合がある。また、体格等の個人差により、同じように撮影しても写り方が大きく異なる場合もある。
特に、膝側面に代表される四肢の撮影では、放射線(X線)の入射角度や患者の対象部位の傾かせ方等によって写り方が大きく異なる。このため、撮影時のポジショニングが難しく、写損(撮影失敗)と判断されて再撮影となる割合が高くなる。
再撮影が必要とされる場合、被験者である患者に後日再来を求めるのは負担となる。このため、再撮影が必要か否かは、できるだけ撮影後すぐに確認できることが好ましい。
図2(b)は、上記の基準で見た場合に正常と判断される膝側面の画像の例であり、図2(c)は、上記の基準で見た場合に写損と判断される膝側面の画像の例である。
しかし、撮影画像が再撮影が必要となる写損であるか否かの判断は画像上明確とはいえず、判断が難しい。
そこで本実施形態の画像処理装置1は、撮影された画像が診断に適した正しいポジショニングで撮影されたものであるか否か(すなわち、写損にあたらないか否か)を機械学習の手法を導入することで、高精度に行うことを可能にする。
制御部11のCPUは、操作部13の操作に応じて、記憶部12(例えば記憶部12内のプログラムを記憶する図示しない記憶領域)に記憶されているシステムプログラムや、各種処理プログラムを読み出してRAMの作業領域に展開し、展開されたプログラムに従って、後述する画像判定処理等の画像処理を始めとする各種処理を実行し、画像処理装置1各部の動作を集中制御する。また、CPUは、バス16を介して他の構成部から信号やデータを受け取ったり、制御信号や命令を送ったりする。
制御部11のこれらの機能は、制御部11のCPUと記憶部12に記憶されたプログラムとの協働によって実現される。
なお、これら各機能の詳細については、後述する。
記憶部12は、制御部11において各種画像処理等を実行するためのプログラムを始めとする各種プログラムや、プログラムによる処理の実行に必要なパラメーター、或いは処理結果等のデータを記憶する。記憶部12に記憶されている各種プログラムは、コンピューターにより読取可能なプログラムコードの形態で格納され、制御部11は、当該プログラムコードに従った動作を逐次実行する。
本実施形態では、医用画像についてポジショニングを判定するためのプログラムが記憶部12に格納されており、制御部11は当該プログラムにしたがってポジショニング判定処理を含む画像判定処理を行う。
また、本実施形態の記憶部12には、機械学習において参照される各種の教師データ(例えば図6におけるセグメンテーション用の教師データ群12a、図8におけるクラス分類用の教師データ群12b参照)等が記憶されている。
表示部14は、制御部11から入力される表示信号の指示に従って、画面上に各種の画像や関連情報等のデータ等(例えば図9に示すポジショニング判定処理の結果表示画面14a、図10に示すセグメンテーション表示画面14b)の各種表示を行う。
図示を省略するが、本実施形態の画像処理装置1には、図示しない各種の通信ネットワーク等を介してHIS(Hospital Information System;病院情報システム)やRIS(Radiology Information System;放射線科情報システム)、PACS(Picture Archiving and Communication System)等が接続されている。
通信部15は、外部装置との間で各種データを送受信可能となっており、例えば外部の撮影装置で撮影された画像データ(医用画像の放射線画像データ)等は、この通信部15を介して画像処理装置1に入力される。入力された画像データ等は、適宜記憶部12等に保存される。
本実施形態において、この画像データは、放射線画像撮影装置等で撮影された後に、例えば明度やコントラストの調整といった初期補正がなされて記憶部12に保存されたものである。なお、制御部11に入力される画像データは特に限定されない。各種補正等の処理が施されていないデータであってもよいし、グリッド補正やゲイン補正など各種補正処理、階調処理やダイナミックレンジ圧縮処理、エッジ強調等のエンハンスメント処理を行ったものでもよい。また適宜間引く等の縮小処理や回転処理等の各種補間処理や、幾何学変換を行った画像データであってもよい。またプレ曝射(本画像取得前に行われる低い線量での曝射)によって取得された画像データでもよい。さらに、画像データは連写された静止画像の中の1枚等であってもよいし、静止画像のデータに限定されず動画像データから切り出されたものであってもよい。
判定対象の画像データが読み込まれると、制御部11のCPUは、当該画像データに基づく医用画像を画像の関連情報や操作メニュー等とともに表示部14に表示させる(ステップS2)。なお、表示部14に表示させることは必須ではない。
本実施形態において、このCPU(制御部11)によるポジショニング判定処理は、機械学習を用いたものが採用される。
図4に示すように、本実施形態では、ポジショニング判定処理としてまずセグメンテーション処理(ステップS11)を行い、次いで、セグメンテーション処理(ステップS11)の結果を踏まえてクラス分類処理(ステップS12)を行う。
ここで領域抽出の対象となる「解剖学的な構造物」は、ポジショニングの良否判断の対象となる医用画像によって異なり、例えば、医用画像が膝側面の画像である場合には、膝側面の画像に現れる内側顆α・外側顆β、又は内側顆αと外側顆βとのずれ部分(図2(a)においてずれ量dで示されるずれ部分の幅)等が「解剖学的な構造物」とされる。
なお、本実施形態では、内側顆αと外側顆βとのずれ部分を、ポジショニングの良否判断を行う際の基準となる(すなわち、領域抽出の対象となる)「解剖学的な構造物」とする場合を例として説明する。
なお、いかなる部分を領域抽出の対象となる「解剖学的な構造物」とするかは、画像の種類、撮影対象等に応じて適宜設定される。
例えば大津の二値化法等のアルゴリズムを用いたセグメンテーション処理では、画素値に所定の閾値を設けて、閾値を超える領域と超えない領域とに画像を分割する。
しかし二値化法では、画像のコントラストによって精度が大きく左右され、また放射線撮影を行った際の管電圧や被写体厚が違う等、各種条件の異なる画像が入力された場合に適切にセグメンテーションを行うことができない場合がある。
この点、例えば動的輪郭(snakes)を使用してイメージのセグメント化を行うSnakes法、領域の内部、外部をLevel set関数によって表現するLevel set法、深層学習(Deep Learning)に基づく方法等を用いることで二値化法よりも高精度のセグメンテーション処理を行うことが可能である。
なお、画像データに対するセグメンテーション処理には、個別の物体を区別するInstance-aware Segmentationと、同一クラスの物体であれば個を区別しないSemantic Segmentation(セマンティックセグメンテーション)があるが、いずれを用いても構わない。
以下の実施形態では、一例として、画素単位で各画素の意義を予測し解析するセマンティックセグメンテーションの手法を採用する場合について説明する。セマンティックセグメンテーションでは、画像内の全ピクセルをピクセルごと(1画素ごと)に分類することで、領域分割、領域抽出を行う。
画像のセグメンテーション(セマンティックセグメンテーション)処理に特化したニューラルネットワーク(以下において単に「ネットワーク」ともいう)としては、Seg-Net、U-Net等がある。いずれもCNN(Convolutional Neural Network、畳み込みニューラルネットワーク)を用いたものであり、エンコーダーとデコーダー両方の仕組みをもち、画像をピクセル単位で意味のある集合に分割していくセグメンテーション処理を行う。
なお、画像のセグメンテーション処理に適用されるニューラルネットワークは、Seg-Net、U-Netに限定されず、各種のネットワークを適宜適用することが可能である。
セグメンテーション処理に深層学習に基づく手法を用いる場合には、予め深層学習を行って、処理に用いるニューラルネットワークを構築しておく。
図6に示すように、教師データ群12aは、訓練入力画像(訓練用の入力画像のデータ)と当該画像から正しく内側顆α・外側顆βのずれ部分等の「解剖学的な構造物」を領域抽出した正解データ(セグメンテーション結果としての正解画像のデータ)とのセットからなる。
教師データ群12aとして多くの教師データが用意されるほど深層学習の効果が高まり構築されるニューラルネットワークの精度が向上する。また、教師データ群12aを構成する教師データ(各教師データの訓練入力画像)は、撮影時の放射線量、放射線の入射角度、被験者の性別、年齢、体格等、各種の異なる条件下で取得された画像データであることが好ましい。各種条件下で撮影された画像を広く用いることによって、各種の入力画像に対応可能な、よりロバスト性に優れたニューラルネットワークを構築することが期待できる。
画像変換処理の一例としてはトリミングがある。この場合には、セグメンテーション処理を行う前に、関心領域(例えば、内側顆α・外側顆βを含む膝関節周辺)をもとの画像からトリミングし、トリミング後の画像(変換画像)に対してセグメンテーション処理を行う。トリミングの手法については特に限定されず、手動で関心領域を設定してもよいし、自動で関心領域を設定して切り出してもよい。
具体的には、まず、もとの訓練入力画像又は画像変換処理を行った場合には変換後の訓練入力画像に、セグメンテーション用のニューラルネットワークを適用し、画素の少なくとも一部を1又は複数のセマンティックな予測と関連付けることによって、画像に対して、セマンティックセグメンテーションを実行する。これにより画像から所望の領域を分割する、領域抽出が行われ(ステップS24)、抽出画像(セグメンテーション画像)が生成される。
さらに、制御部11はテスト用に用意された入力画像データと正解データとのセット等を用いて、入力画像から正しい正解データ(「解剖学的な構造物」を領域抽出したセグメンテーション画像のデータ)を得ることができるかどうかのテストを行い、学習後のセグメンテーションニューラルネットワークのセグメンテーション精度を確認する(ステップS27)。
なお、精度が足りないような場合には、ネットワークの構成を変えたり(例えば畳み込み層の数を変更(増減)する、適用するネットワークの種類を変更する等)、パラメーターを修正したり、教師データを増やしてさらに学習を行う等により適宜対応する。
なお、ステップS23やステップS28に示した画像変換処理は必須ではなく、この処理を省略してもよい。
図7は、クラス分類処理の内容を説明するための説明図である。
図7に示すように、判定対象画像(又はここからトリミング等することで生成された変換画像)からセグメンテーション処理を行うことによって領域抽出されたセグメンテーション画像にクラス分類用の畳み込みニューラルネットワークを適用する。
なお、クラス分類用の畳み込みニューラルネットワークもセグメンテーション用のニューラルネットワークと同様に深層学習(Deep Learning)によって構築されるものである。すなわち、予め深層学習を行うことによって、クラス分類処理に用いるニューラルネットワークを構築しておく。
そして、図示は省略するが、クラス分類用の畳み込みニューラルネットワークについても、図5に示したセグメンテーション用のニューラルネットワークと同様に、深層学習が終了しているか否かを制御部11が判断し、深層学習が十分に終了していない場合には、教師データを複数用意してさらに学習を行わせる。これら複数の教師データ(教師データ群12b)は、例えば記憶部12に記憶される。
図8に示すように、クラス分類用の教師データ群12bは、「解剖学的な構造物」が領域抽出されたセグメンテーション画像(抽出画像)と、各セグメンテーション画像の正しいクラス分類とが対応付けられたものである。
クラス分類用の教師データ群12bとしてより多くのデータが用意されるほど深層学習の効果が高まり構築されるニューラルネットワークの精度が向上する。また、教師データ群12bには、各種条件下で撮影された画像に基づくデータを広く含めることによって、各種のセグメンテーション画像が入力された際にも適切なクラスに分類することが可能な、よりロバスト性に優れたニューラルネットワークを構築することが期待できる。
特徴抽出部は、畳み込み層とプーリング層とを備え、セグメンテーション処理で領域抽出された画像(図7においてセグメンテーション画像)から特徴量を抽出する。特徴量の抽出は畳み込み層においてカーネル(フィルター)を掛けて畳み込み操作を行うことで行われる。すなわち、畳み込み層では、元の画像(ここではセグメンテーション画像)にフィルターを掛けることで当該画像の特徴点を凝縮する。またプーリング層では特徴の空間サイズを縮小する。特徴抽出部を構成する畳み込み層及びプーリング層の層構成(すなわち、畳み込み層とプーリング層とを何層繰り返すか等)は特に限定されず、適宜調整される。
分類部では、特徴抽出部において抽出された特徴量に基づいてセグメンテーション画像を2以上のクラスに分類する。
出力層のユニット数は、分類するクラスの数を表しており、本実施形態のように膝側面の画像を分類する場合は膝側面画像の写損レベルの水準数(すなわち、完全に写損と認定され再撮影が必須となるレベルから、多少のずれはあるが再撮影せずに診断に用いることも可能である軽微な写損レベル、又は写損に該当しないレベルまでの段階数)に等しい。例えば本実施形態のようにクラスA、クラスB、クラスCの3クラスに分類する場合には、出力層のユニット数は3つとなる。
なお本実施形態では、3クラスに分類する例を示しているが、分類するクラス数は2つ以上であればよく、例えば2クラスでもよいし、4クラスや5クラス、又はそれ以上に分類するもの等であってもよい。
パラメーターは、学習を繰り返すことで適宜更新され、クラス分類用の畳み込みニューラルネットワークは、学習により更新されたパラメーターにより構築される。
例えば図7では、クラス分類の対象である判定対象画像のセグメンテーション画像について、クラス分類用の畳み込みニューラルネットワークを適用した結果、クラスAである確率が5%、クラスBである確率が10%、クラスCである確率が85%とのクラス分類結果が示された場合を例示している。
例えば、クラスAに分類された場合には診断画像として使用することができる程度の軽微なレベルであり、クラスB、クラスCの順に写損レベルがひどくなり、クラスCでは再撮影が必要とされるレベルであるような場合、図7に示したクラス分類結果が出力された場合には、再撮影が必要な写損である確率が85%であることから制御部11は、「判定結果が判定対象画像を不良とするものである」と判断する。
なお、いずれのクラスに分類される確率が何%である場合に、判定結果が判定対象画像を不良とするものであると判断するか、制御部11の判断の基準・閾値は、適宜設定可能である。例えば80%を超える確率(クラススコア)が示されたクラスがある場合には当該画像はそのクラスに属する画像であると判断してもよい。
図9は、ポジショニング判定処理の結果表示画面の一例を示す図である。
結果表示画面14aの表示内容やレイアウト等は特に限定されないが、図9ではクラス分類の判定結果が確率(クラススコア)で表示される例を示している。
図10は、セグメンテーション表示画面の一例を示す図である。
セグメンテーション表示画面14bにおいてセグメンテーション画像をどのように表示させるかは特に限定されないが、図10では、判定対象画像にセグメンテーション画像(図中斜線網掛けで示した部分)を重畳させて表示する場合を例示している。
セグメンテーション画像のみを表示させてもよいが、判定対象画像にセグメンテーション画像を重畳させることで、より分かりやすく見やすい画像とすることができる。
確認を求める手法は特に限定されないが、例えば表示部14に、OKボタン(画像の正常確認ボタン)やNGボタン(画像の不良確認ボタン)、又はその両方を表示させて、いずれかのボタンを操作するようにユーザーに促すメッセージを表示させる。
他方、ユーザーによりいずれかのボタンが操作された場合(ステップS6;YES)には、制御部11はさらに、ユーザーにより入力操作が判定対象画像を有効(“OK”)とするものであるか否かを判断し(ステップS7)、“OK”との判断が入力された場合(“OK”との判断を示す操作信号が入力された場合、ステップS7;YES)には、OKフラグをONとして(当該画像にフラグ“OK”を設定して、ステップS8)、処理を終了する。
また、“NG”との判断(判定対象画像を写損とする判断)が入力された場合(“NG”との判断を示す操作信号が入力された場合、ステップS7;NO)には、NGフラグをONとして(当該画像にフラグ“NG”を設定して、ステップS9)、処理を終了する。
また、“OK”との判断は積極的に示されなくてもよい。例えば、NGボタンのみが用意され、所定時間当該NGボタンの入力操作が行われない場合には、“OK”と判断されたものとみなして、次の判定対象画像に対するポジショニング判定や、次の撮影処理等、他の処理に移行してもよい。
このように、ポジショニングの適否を判定する前に、その判定対象となる部分を抽出(セグメンテーション)することにより、ポジショニング判定を効率的に行うことができる。
また、このようにクラス分類処理の前にセグメンテーションを行い、セグメンテーション画像から、機械学習(深層学習;Deep Learning)により特徴抽出及びクラス分類を行うことで、個別のケースに限定されずに適用することができ、また教師データが少ない場合でも効果的に、高い判別精度でポジショニングの適否を判定することができる。
そして、ポジショニング判定を機械学習を用いて自動的に行うことにより、目視しただけでは判断しづらいポジショニング判定(適切なポジショニングで撮影された、診断に適した医用画像であるか否かの判定)を高精度に行うことができる。
また機械学習を用いることにより、各種の条件で撮影された画像にもロバストに対応することが可能である。
このため、高精度のセグメンテーションを行うことができ、ポジショニングの判定対象を的確に切り出すことが可能である。
これにより、セグメンテーション処理をより迅速・適切に行うことができる。
このため、ユーザーがニューラルネットワークによる判定処理の確からしさを容易に確認することができる。
このため、ユーザーが判定対象画像の適否を判断しやすく、ニューラルネットワークによる判定処理の確からしさを容易に確認することができる。
このため、少なくとも判定対象の医用画像が、再撮影が必要な写損であるか否かの分類結果を得ることができる。
また、本実施形態のように3クラス以上に分類した場合には、単なる画像の適否のみでなく、適否のレベル(程度)を示すことができる。
膝側面の撮影では、放射線の入射角度や患者の対象部位の傾かせ方等によって写り方が大きく異なる。また、関節や骨が複雑に存在する部位であり、撮影された医用画像が写損にあたるか否かの判断が難しい。
この点、このような部位を撮影した画像でも、機械学習を用いたポジショニング判定を行うことで適切に写損であるか否かの判定を行うことができる。
これにより、撮影方向や角度等様々な条件下で撮影された画像についても適切にポジショニング判定を行うことができる。
例えば、図11(a)、図11(b)、図11(c)及び図12(a)、図12(b)では、ポジショニングの判定対象となる医用画像が膝正面の画像である場合を例示している。
膝正面の画像についてポジショニングの判定を行う場合、膝蓋骨(図11(a)において膝蓋骨b)の位置や関節腔(図11(a)において関節腔c)の現れ方が重要である。
すなわち、膝蓋骨bが膝の真ん中に出ており、関節腔cがつぶれることなく明確に現れている場合に適切なポジショニングで撮影された画像であると判断される。
このため、判定対象が膝正面の画像の場合には、膝蓋骨b及び関節腔cを、画像が写損にあたるか否かを判定する際のポイント(基準)となる部分である「解剖学的な構造物」とする。
例えば図11(b)は、膝蓋骨bのセグメンテーション画像の例であり、図11(c)は、関節腔cのセグメンテーション画像の例である。
例えば図12(a)は、適切なポジショニングで撮影されたと判断される画像の例である。これに対して図12(b)は、膝蓋骨bが膝の正面からずれて周囲の骨の背後からはみ出して見えており、関節腔cの一部がつぶれてしまっており、不適切なポジショニングで撮影されたものと判断される画像の例である。この場合には、写損として再撮影が必要となる。
各画像については、それぞれ各部位に特化した「解剖学的な構造物」(当該画像が写損にあたるか否かを判定する際のポイント(基準)となる部分)が設定され、それぞれについてセグメンテーション処理及びクラス分類処理を行う。
これにより、各部位の画像について適切なポジショニング判定を行うことができる。
画像処理装置1は、医用画像が診断に適したものであるかを判定する際の基準となる部分(解剖学的な構造物)をセグメンテーション処理によって領域抽出し、抽出された抽出画像(セグメンテーション画像)について機械学習の手法を用いてクラス分類することで画像の良否・適否を判定するものであればよく、ポジショニングの適否以外の事項を考慮して画像判定を行うものでもよい。
例えば特徴抽出部においてはフィルターの数だけ特徴マップが出力されるが、この特徴マップ1つに対して1つのクラスを対応させて分類するGlobal Average Poolingを用いてもよい。この手法では分類部において全結合層を用いずにクラス分類が行われる。
11 制御部
12 記憶部
12a,b 教師データ群
13 操作部
14 表示部
14a 結果表示画面
14b セグメンテーション表示画面
Claims (13)
- 被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段と、
前記医用画像に含まれる解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段と、
前記抽出画像に基づいて、特徴量を算出する特徴量抽出手段と、
前記特徴量に基づいて、前記医用画像のポジショニングの良否または医用画像の診断を行うことに対する適否を判定する判定手段と、
を備え、
前記医用画像は膝側面の画像である、
ことを特徴とする画像判定装置。 - 被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段と、
前記医用画像を画像変換して変換画像を生成する画像変換手段と、
前記変換画像に含まれる解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段と、
前記抽出画像に基づいて、特徴量を算出する特徴量抽出手段と、
前記特徴量に基づいて、前記医用画像のポジショニングの良否または医用画像の診断を行うことに対する適否を判定する判定手段と、
を備え、
前記医用画像は膝側面の画像である、
ことを特徴とする画像判定装置。 - 前記セグメンテーション手段は、機械学習を用いて前記抽出画像を生成するものであることを特徴とする請求項1又は請求項2に記載の画像判定装置。
- 前記画像取得手段により取得された前記画像データに画像処理を施して処理画像を生成する画像処理手段を備え、
前記セグメンテーション手段は、前記処理画像を用いて前記抽出画像を生成することを特徴とする請求項1から請求項3のいずれか一項に記載の画像判定装置。 - 前記判定手段の判定結果を表示する結果表示手段を備えることを特徴とする請求項1から請求項4のいずれか一項に記載の画像判定装置。
- 前記抽出画像を表示する画像表示手段を備えることを特徴とする請求項1から請求項5のいずれか一項に記載の画像判定装置。
- 前記判定手段の判定結果は、2クラス以上に分類された分類結果であることを特徴とする請求項1から請求項6のいずれか一項に記載の画像判定装置。
- 前記解剖学的な構造物は膝側面の画像に現れる内側顆、外側顆、又は内側顆と外側顆とのずれ部分であることを特徴とする請求項1から請求項7のいずれか一項に記載の画像判定装置。
- 前記解剖学的な構造物は画像が再撮影になるか否かを判断する際のポイントとなる部分である請求項1から請求項8のいずれか一項に記載の画像判定装置。
- 被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段と、
前記医用画像を画像変換して変換画像を生成する画像変換手段と、
前記変換画像に基づいて、特徴量を算出する特徴量抽出手段と、
前記特徴量に基づいて、前記医用画像のポジショニングの良否または医用画像の診断を行うことに対する適否を判定する判定手段と、
を備え、
前記医用画像は膝側面の画像である、
ことを特徴とする画像判定装置。 - 患者の診断対象部位を含む部位を放射線撮影して得られる医用画像の画像データを取得する画像取得手段と、
前記医用画像から解剖学的な構造物を抽出して抽出画像を生成するセグメンテーション手段と、
前記抽出画像に対して画像変換を行い、変換画像を生成する画像変換手段と、
機械学習の結果を用いて、抽出画像及び/又は変換画像から前記解剖学的な構造物の特徴量を算出する特徴量抽出手段と、
前記特徴量に関する機械学習の結果を用いて、前記特徴量に基づいて、前記医用画像が診断に適した位置関係で撮影されているか否かを自動的に判定する判定手段であって、前記判定手段の判定結果は、前記特徴量を3つ以上のクラスに分類した結果であり、各クラスは、前記医用画像の位置関係の適切さの異なるレベルと関連付けられている、判定手段と、
を備え、
前記解剖学的な構造物は、膝の正面画像における膝蓋骨及び関節腔であり、特徴量が膝蓋骨の位置及び関節腔の形状である場合、を含んでいる、
ことを特徴とする画像判定装置。 - 診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得工程と、
前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション工程と、
前記抽出画像と前記医用画像の撮影時におけるポジショニングの良否に関するクラスとを対応付けて教師データとする教師データ準備工程と、
前記教師データ準備工程において用意された複数の前記教師データについて、畳み込みニューラルネットワークで学習し、前記畳み込みニューラルネットワークのパラメーターを設定するパラメーター設定工程と、
被験者の診断対象領域を含む部位を放射線撮影する実撮影により取得された前記医用画像の画像データを判定対象とし、
前記セグメンテーション工程において、前記実撮影において取得された前記医用画像から抽出画像を領域抽出して、当該画像データを前記パラメーター設定工程において設定されたパラメーターを有する前記畳み込みニューラルネットワークに入力し、前記判定対象の前記医用画像が診断を行うのに適したポジショニングで撮影されたものであるか否かを判定する判定工程と、
を含み、
前記医用画像は膝側面の画像である、
ことを特徴とする画像判定方法。 - コンピューターを、
被験者の診断対象領域を含む部位を放射線撮影した医用画像の画像データを取得する画像取得手段、
前記医用画像から解剖学的な構造物を領域抽出した抽出画像を生成するセグメンテーション手段、
前記抽出画像に基づいて、特徴量を算出する特徴量抽出手段、
前記特徴量に基づいて、前記医用画像のポジショニングの良否または医用画像の診断を行うことに対する適否を判定する判定手段、
として機能させるものであり、
前記医用画像は膝側面の画像である、
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231092A JP7404857B2 (ja) | 2019-12-23 | 2019-12-23 | 画像判定装置、画像判定方法及びプログラム |
US17/127,066 US11803970B2 (en) | 2019-12-23 | 2020-12-18 | Image judgment device, image judgment method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019231092A JP7404857B2 (ja) | 2019-12-23 | 2019-12-23 | 画像判定装置、画像判定方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021097864A JP2021097864A (ja) | 2021-07-01 |
JP2021097864A5 JP2021097864A5 (ja) | 2022-02-21 |
JP7404857B2 true JP7404857B2 (ja) | 2023-12-26 |
Family
ID=76439313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019231092A Active JP7404857B2 (ja) | 2019-12-23 | 2019-12-23 | 画像判定装置、画像判定方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11803970B2 (ja) |
JP (1) | JP7404857B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4230143A1 (en) * | 2022-02-22 | 2023-08-23 | Shimadzu Corporation | X-ray imaging apparatus and imaging position correction method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007105264A (ja) | 2005-10-14 | 2007-04-26 | Fujifilm Corp | 医用画像判定装置、医用画像判定方法およびそのプログラム |
JP2019093137A (ja) | 2017-11-22 | 2019-06-20 | ゼネラル・エレクトリック・カンパニイ | 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法 |
US20190287241A1 (en) | 2016-07-19 | 2019-09-19 | Volpara Health Technologies Limited | System and apparatus for clinical decision optimisation |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001079823A2 (en) * | 2000-04-17 | 2001-10-25 | Leroy Dean Chapman | Diffraction enhanced x-ray imaging of articular cartilage |
JP4624841B2 (ja) * | 2005-04-13 | 2011-02-02 | オリンパスメディカルシステムズ株式会社 | 画像処理装置および当該画像処理装置における画像処理方法 |
JP5145169B2 (ja) * | 2008-08-27 | 2013-02-13 | 富士フイルム株式会社 | 医用画像の撮影支援装置及びプログラム |
JP5145170B2 (ja) | 2008-08-27 | 2013-02-13 | 富士フイルム株式会社 | 医用画像の評価装置 |
JP5488229B2 (ja) | 2010-06-11 | 2014-05-14 | コニカミノルタ株式会社 | ポジショニング判定装置、画像処理装置、及び、プログラム |
US9646229B2 (en) * | 2012-09-28 | 2017-05-09 | Siemens Medical Solutions Usa, Inc. | Method and system for bone segmentation and landmark detection for joint replacement surgery |
US20170365047A1 (en) * | 2016-06-15 | 2017-12-21 | General Electric Company | Artifact management in imaging |
US10074038B2 (en) * | 2016-11-23 | 2018-09-11 | General Electric Company | Deep learning medical systems and methods for image reconstruction and quality evaluation |
JP7132701B2 (ja) | 2017-08-10 | 2022-09-07 | 株式会社ブリヂストン | タイヤ画像の認識方法及びタイヤ画像の認識装置 |
US10521705B2 (en) * | 2017-11-14 | 2019-12-31 | Adobe Inc. | Automatically selecting images using multicontext aware ratings |
US11170545B2 (en) * | 2018-01-24 | 2021-11-09 | New York University | Systems and methods for diagnostic oriented image quality assessment |
US10910099B2 (en) * | 2018-02-20 | 2021-02-02 | Siemens Healthcare Gmbh | Segmentation, landmark detection and view classification using multi-task learning |
US11227384B2 (en) * | 2019-02-11 | 2022-01-18 | International Business Machines Corporation | Methods and systems for determining a diagnostically unacceptable medical image |
-
2019
- 2019-12-23 JP JP2019231092A patent/JP7404857B2/ja active Active
-
2020
- 2020-12-18 US US17/127,066 patent/US11803970B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007105264A (ja) | 2005-10-14 | 2007-04-26 | Fujifilm Corp | 医用画像判定装置、医用画像判定方法およびそのプログラム |
US20190287241A1 (en) | 2016-07-19 | 2019-09-19 | Volpara Health Technologies Limited | System and apparatus for clinical decision optimisation |
JP2019093137A (ja) | 2017-11-22 | 2019-06-20 | ゼネラル・エレクトリック・カンパニイ | 放射線学的所見のためのポイントオブケア警報を送達するためのシステムおよび方法 |
Non-Patent Citations (1)
Title |
---|
安田 優、佐藤久弥、大澤三和、高橋寛治、野田主税、崔 昌五、助崎文雄、中澤靖夫,膝関節側面撮影における再撮影率減少を目的とした補助具の提案,日本放射線技術学会雑誌,2013年10月,69巻10号,pp. 1140-1145 |
Also Published As
Publication number | Publication date |
---|---|
US20210192731A1 (en) | 2021-06-24 |
US11803970B2 (en) | 2023-10-31 |
JP2021097864A (ja) | 2021-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4911029B2 (ja) | 異常陰影候補検出方法、異常陰影候補検出装置 | |
JP6958202B2 (ja) | 動態画像処理装置及びプログラム | |
KR102062539B1 (ko) | 딥러닝 기반의 요추 질환 보조 진단 방법 | |
JP7027046B2 (ja) | 医用画像撮像装置及び方法 | |
JP6221770B2 (ja) | 画像処理装置、およびプログラム | |
JP2011125568A (ja) | 画像処理装置、画像処理方法、プログラム及び画像処理システム | |
JP4938427B2 (ja) | 脳出血部位体積計算装置 | |
JP6429958B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN110876627B (zh) | X射线摄影装置和x射线图像处理方法 | |
JP6967983B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7404857B2 (ja) | 画像判定装置、画像判定方法及びプログラム | |
WO2014136415A1 (ja) | 体動検出装置および方法 | |
US11475568B2 (en) | Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus | |
JP6598422B2 (ja) | 医用情報処理装置、システム及びプログラム | |
WO2021049478A1 (ja) | 検像装置、コンソール及び放射線撮影システム | |
Lee et al. | Retinal atlas statistics from color fundus images | |
JP7349870B2 (ja) | 医用画像処理装置、断層撮影装置、医用画像処理方法及びプログラム | |
CN109350059A (zh) | 用于肘部自动对准的组合的转向引擎和界标引擎 | |
JP2019208832A (ja) | 歯科分析システムおよび歯科分析x線システム | |
JP6145874B2 (ja) | 放射線画像処理装置および方法 | |
KR20230050253A (ko) | 흉막 삼출의 검출 방법 및 이를 위한 장치 | |
WO2015029399A1 (ja) | 画像領域指定装置および方法、並びに放射線画像処理装置および方法 | |
JP6824641B2 (ja) | X線ct装置 | |
JP7135759B2 (ja) | 画像処理装置及びプログラム | |
JP2022035719A (ja) | 写損判断支援装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231127 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7404857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |