JP7497145B2 - 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム - Google Patents

機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム Download PDF

Info

Publication number
JP7497145B2
JP7497145B2 JP2019158927A JP2019158927A JP7497145B2 JP 7497145 B2 JP7497145 B2 JP 7497145B2 JP 2019158927 A JP2019158927 A JP 2019158927A JP 2019158927 A JP2019158927 A JP 2019158927A JP 7497145 B2 JP7497145 B2 JP 7497145B2
Authority
JP
Japan
Prior art keywords
image
machine learning
data
input image
learning device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019158927A
Other languages
English (en)
Other versions
JP2021036969A (ja
Inventor
剛 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019158927A priority Critical patent/JP7497145B2/ja
Priority to PCT/JP2020/028193 priority patent/WO2021039211A1/ja
Publication of JP2021036969A publication Critical patent/JP2021036969A/ja
Priority to US17/675,071 priority patent/US11823441B2/en
Application granted granted Critical
Publication of JP7497145B2 publication Critical patent/JP7497145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747Organisation of the process, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、機械学習装置、機械学習方法及びプログラムに関し、特に、学習時に適切に教師データの拡張を行うことができる機械学習技術、情報処理装置、放射線撮影システムに関するものである。
近年、機械学習を利用して画像上で物体認識を行い、対象物の位置を検出する技術が普及している。特に、畳み込みニューラルネットワーク(以後、「CNN」と呼称する)を用いて教師あり学習を行う構成は、大量の教師データを必要とするものの、その性能の高さから多くの分野への展開を見せている状況にある。
応用分野の一つとして、医用画像における領域抽出処理が挙げられる。医用の放射線撮影装置においては、診断に必要な関心領域(以後、「照射野領域」と呼称する)以外への放射線の影響を抑えるため、コリメータを用いて照射野絞りを行って、照射野領域以外への放射線照射を防ぐのが一般的である。照射野領域に対して画像処理を施すために、画像中の照射野領域を正確に抽出する技術が重要視されており、例えば特許文献1には、機械学習を利用した各種の技術が提案されている。
ここで、機械学習を用いた画像処理は、教師データの質と量がその性能に直結する特徴を持つため、大量の教師データを学習に使用することが望ましい。しかしながら、医用画像など入手性が必ずしも高くないものにおいては、十分な教師データを確保できないことも多い。
そのため、所有している教師データに対し、人工的に変形を加えることで画像のバリエーションを増やすデータ拡張技術が提案されている。例えば、特許文献2では、画像を回転することでデータ拡張を行う技術が提案されている。
特開平04-261649号公報 特開2017-185007号公報
しかしながら、特許文献2の技術では、画像を複数角度で回転させてデータ拡張を行うものであるが、単純に画像を回転させた場合、回転後の画像には、画像情報(画像信号)が欠損した領域が含まれる場合がある。画像情報が欠損した領域には、ゼロなどの任意の値を代入することが一般的である。
上述の医用の放射線撮影装置のケースを考えると、照射野領域以外の領域は、コリメータによって放射線が遮蔽されているため、画像情報が少ないか、ほとんどゼロとなる特徴を持つ。つまり、照射野領域を認識する場合、入力画像に由来する画像情報が少ないこと、そのものが学習すべき特徴の一つであるため、データ拡張によって画像情報を一律にゼロなどの任意の値とするような領域を新たに作ってしまうと、学習を行えなくなり、データ拡張によって逆に精度が低下してしまう場合が生じ得る。
本発明は、上記の課題を鑑みてなされたものであり、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術の提供を目的とする。
本発明の一態様に係る機械学習装置は、入力画像から領域を抽出する機械学習装置であって、
前記入力画像に対する推論処理により前記領域を出力する推論手段と、
教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張手段と、を備え、
前記拡張手段は、
前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し
前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
前記変換画像に含まれる前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする。
本発明の他の態様に係る機械学習方法は、入力画像に対する推論処理により領域を出力する推論手段を有し、前記入力画像から領域を抽出する機械学習装置における機械学習方法であって、
教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張工程を有し、
前記拡張工程では、
前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し
前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
前記変換画像に含まれる前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする。
本発明によれば、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術を提供することができる。
(a)は、実施形態に係る機械学習装置を含んだ放射線撮影システムの基本的な構成の例を示すブロック図、(b)は、学習部の構成の例を示すブロック図。 (a)は、学習部の処理の流れを示したフローチャート、(b)は、学習部の学習の概念を模式的に示した図。 データ拡張部の処理の流れを示したフローチャート。 データ拡張処理における画像例を模式的に示した図 データ拡張処理における画像例を模式的に示した図。 推論部における推論の概念を示した模式図。
以下、添付図面を参照して、本発明の実施形態について説明する。まず、図1を用いて、本発明の実施形態に係る機械学習装置の構成例について説明する。図1(a)は、実施形態に係る機械学習装置を含んだ放射線撮影システムの基本的な構成の例を示すブロック図である。また、図1(b)は、学習部の構成の例を示すブロック図である。
放射線撮影システム100は、放射線を発生させる放射線発生装置101と、被写体102を配置する寝台103と、放射線を検出し、被写体102を通過した放射線に応じた画像データを出力する放射線検出装置104と、放射線発生装置101の放射線発生タイミングと放射線発生条件を制御する制御装置105と、各種デジタルデータを収集するデータ収集装置106と、ユーザーの指示に従って画像処理や機器全体の制御を行う情報処理装置107とを備える。尚、放射線撮影システム100の構成を放射線撮影装置ということもある。
情報処理装置107は、学習部109と推論部110とを含む機械学習装置108と、CPU112と、メモリ113と、操作パネル114と、記憶装置115と、表示装置116と、診断用画像処理装置117を備えており、これらはCPUバス111を介して電気的に接続されている。
メモリ113には、CPU112での処理に必要な各種のデータなどが記憶されるとともに、メモリ113はCPU112の作業用ワークメモリを含む。また、CPU112は、メモリ113を用いて、操作パネル114に入力されるユーザーの指示に従い、装置全体の動作制御などを行うように構成されている。
本発明の実施形態において放射線とは、一般的に用いられるX線に限らず、放射性崩壊によって放出される粒子(光子を含む)の作るビームであるα線、β線、及びγ線などの他、同程度以上のエネルギーを有するビーム(例えば、粒子線や宇宙線など)も含まれる。
放射線撮影システム100は、操作パネル114を介したユーザーの指示に従って、被写体102の撮影シーケンスを開始する。放射線発生装置101から所定の条件の放射線が発生し、被写体102を通過した放射線が放射線検出装置104に照射される。ここで、制御装置105は、電圧、電流、及び照射時間などの放射線発生条件に基づいて放射線発生装置101を制御し、所定の条件で放射線発生装置101から放射線を発生させる。
放射線検出装置104は、被写体102を通過した放射線を検出し、検出した放射線を電気信号に変換し、放射線に応じた画像データとして出力する。放射線検出装置104から出力された画像データは、データ収集装置106によりデジタルの画像データとして収集される。データ収集装置106は放射線検出装置104から収集した画像データを情報処理装置107に転送する。情報処理装置107において、画像データはCPU112の制御によりCPUバス111を介してメモリ113に転送される。
放射線撮影システム100において、機械学習装置108は、メモリ113に格納された画像データに対して領域抽出処理を行い、入力画像から領域を抽出する。ここで、入力画像は、放射線撮影システム100を用いて撮影された画像であり、領域は、放射線撮影システム100により放射線が照射された照射野領域である。機械学習装置108は、領域抽出処理として、例えば、放射線撮影された画像中の照射野領域を抽出する照射野認識処理を行うことが可能である。ここで、照射野認識処理は、後述するようにコリメータ領域と照射野領域とを分類する処理である。以下の説明では、機械学習装置108が、領域抽出処理として、照射野認識処理を行う場合の例について説明する。
機械学習装置108は、機械学習を利用した領域抽出処理を行うように構成されており、機械学習装置108は学習部109と推論部110とを有する。また、学習部109は、図1(b)に示すように、機能構成として、データ拡張部120、推論部121、パラメータ更新部122、終了判定部123を有する。ここで、推論部121は学習途中の推論部であり、学習が終了すると学習終了済の推論部として推論部110が機械学習装置108内に設定される。
機械学習装置108の処理としては、例えば、畳み込みニューラルネットワーク(CNN)を用いた教師あり学習に基づいて入力画像から領域を抽出する。機械学習装置108は、領域抽出処理を行うにあたり、予め用意した複数の教師データを用い、学習部109は教師あり学習を行ってCNNのパラメータを決定する。領域抽出処理を行う際に、推論部110は、学習部109により決定されたパラメータを有したCNNを適用して領域抽出処理を行い、領域抽出結果をメモリ113に転送する。
領域抽出結果と、画像データは診断用画像処理装置117に転送され、診断用画像処理装置117は、画像データに対して、階調処理や強調処理、ノイズ低減処理などの診断用画像処理を適用し、診断に適した画像作成を行う。その結果は記憶装置115へ保存され、表示装置116へ表示される。
次に、図2を用いて、機械学習装置108における学習部109の処理について、畳み込みニューラルネットワーク(CNN)を用いた場合を例として説明する。図2(a)は、学習部109の処理の流れを示したフローチャートであり、図2(b)は、学習部109の学習の概念を模式的に示した図である。
学習は、教師データに基づいて行われる。教師データは、入力画像201と、入力画像201に対応し、抽出領域を示す正解データ205との組により構成される。正解データ205としては、例えば、入力画像における所定領域(抽出領域)を任意の値でラベリングしたラベリング画像を用いることが可能である。また、正解データ205としては、例えば、入力画像における抽出領域を座標で示した座標データを用いることが可能である。あるいは、正解データ205としては、例えば、入力画像における抽出領域の境界を直線または曲線で特定したデータを用いることが可能である。照射野認識処理においては、例えば正解データ205として、入力画像201における照射野領域を1、コリメータ領域を0とした2値のラベリング画像を用いることが可能である。
ステップS201において、データ拡張部120は教師データに対してデータ拡張処理を適用する。このデータ拡張処理の詳細については後述する。
ステップS202において、推論部121は入力画像201に対して、学習途中の畳み込みニューラルネットワーク(CNN)202のパラメータによる推論処理を行い、推論結果204を出力する。推論部121は入力画像に対する推論処理により領域を出力する。ここで、CNN202は、多数の処理ユニット203が任意に接続された構造を有する。処理ユニット203のとしては、例えば、畳み込み演算や、正規化処理、あるいは、ReLUやSigmoid等の活性化関数による処理が含まれ、それぞれの処理内容を記述するためのパラメータ群を有する。これらは例えば、畳み込み演算→正規化→活性化関数等のように順番に処理を行う組が3~数百程度の層状に接続され、さまざまな構造を取ることができる。
ステップS203において、パラメータ更新部122は、推論結果204と正解データ205から、損失関数を算出する。損失関数は例えば二乗誤差や、交差エントロピー誤差など、任意の関数を用いることができる。
ステップS204において、パラメータ更新部122は、ステップS203で算出した損失関数を起点とした誤差逆伝搬を行い、学習途中の畳み込みニューラルネットワーク(CNN)202のパラメータ群を更新する。
ステップS205において、終了判定部123は学習の終了判定を行い、学習を継続する場合(S205-No)、処理をステップS201に戻し、ステップS201~S204の処理が同様に実行される。入力画像201と正解データ205を変えながら処理を繰り返すことで、損失関数が低下するようにCNN202のパラメータ更新が繰り返され、機械学習装置108の精度を高めることができる。十分に学習が進み、終了判定部123が学習終了と判定した場合(S205-Yes)、処理を終了する。学習終了の判断は、例えば、過学習が起こらずに推論結果の精度が一定値以上になる、または損失関数が一定値以下になるなど、問題に応じて設定した判断基準に基づいて行うことが可能である。なお、ステップS201~S205の処理は計算コストが高いため、学習部109の構成として、GPUなどの並列演算性能の高い演算ユニットを用いることも可能である。
次に、図3A、図3B及び図3Cを用いて、データ拡張部120の処理について説明する。図3Aは、データ拡張部120の処理の流れを示したフローチャート、図3B及び図3Cは、データ拡張処理における画像例を模式的に示した図である。データ拡張部120は、教師データに基づいて推論部121の学習を行う学習時に教師データを構成する入力画像の数を増やしてデータ拡張を行う。データ拡張部120は、入力画像が有する画像情報が欠損した領域が含まれないようにデータ拡張を行う。
データ拡張部120は、教師データに対して、アフィン変換処理と、切り出し処理と、信号量調整処理のうち少なくとも1つ以上の拡張処理によりデータ拡張を行い、データ拡張部120は、入力画像と正解データとに対して同じ拡張処理を行う。データ拡張部120は、ステップS301(アフィン変換処理)、S302(切り出し処理)、S303(信号量調整処理)を行うことによって教師データを拡張し、これにより機械学習装置108の学習における汎化性能を向上させることが可能になる。
ステップS301において、データ拡張部120は教師データに対してアフィン変換処理を適用し、画像の回転、反転、拡大、縮小等を行う。アフィン変換は、例えば、図2(b)の入力画像201と正解データ205で同等のものが適用される。以下、正解データ205として、入力画像201と同じサイズのラベリング画像の例を示すが、正解データ205が入力画像201と異なるサイズのラベリング画像であったり、所望領域の境界を示す直線や曲線の式であったりした場合であっても、正解データに対して、入力画像に施されるデータ拡張と同等の意味を持つ拡張処理を行うものとする。
入力画像の座標系を(x,y)、変換画像の座標系を(X',Y')、アフィン変換処理の変換パラメータをa,b,c,d,e,fとしたとき、アフィン変換処理は以下の[数1]式で表すことができる。変換パラメータa~fは、教師データごとに任意の値を選択することが可能であるが、変換パラメータの取り得る値の範囲は後述するルールによって制限される。
Figure 0007497145000001
例えば、入力画像をθ回転し、x軸方向にα倍、y軸方向にβ倍に拡大する場合は、a=αcosθ,b=-αsinθ,c=βsinθ,d=βcosθ,d=e=0と設定すればよい。
ステップS302において、データ拡張部120は変換画像に対して切り出し処理を行い、切り出し画像を出力する。データ拡張部120は切り出し画像のサイズ(幅及び高さ)を、CNN202の入力・出力サイズに合わせて選択する。
いま、図3BのB1に示すように、被写体302、コリメータ領域303、照射野領域304を含んだ入力画像301についてデータ拡張を行う場合の例を考える。
図3BのB2は、元の入力画像301に対して、ステップS301~S302の処理を適用した場合の画像の例を模式的に示す図である。ここでは、データ拡張部120は入力画像301をステップS301の処理に従ってアフィン変換し、変換画像306を生成する。変換画像306を生成した後に、データ拡張部120はステップS302の処理に従って、変換画像306に対して切り出し処理を行い、切り出し画像307を生成している。
アフィン変換において回転処理が含まれる場合、変換画像306には入力画像301に由来する画像情報が欠損した無効な領域が含まれた欠損領域305が生成されることとなる。
ここで、ステップS301の拡大率や回転角度、ステップS302の切り出し位置や切り出し画像のサイズによっては、図3BのB2のように、切り出し画像307内に、欠損領域305の一部が含まれる場合がある。
コリメータ領域303は、照射野絞りによって放射線が遮蔽された領域であることから、入力画像301の外周を囲うように存在し、照射野領域304との境界で急激に画像情報(画像信号)が小さくなる特徴を有する。
一方、欠損領域305は、変換画像306の外周を囲うように存在し、かつ画像情報が欠落した領域であり、コリメータ領域303に近い特徴を有する。しかしながら、コリメータ領域303には、被写体302および照射野領域304由来の散乱線が含まれているのに対して、欠損領域305にはそのような物理現象の影響が含まれない。このため、欠損領域305はコリメータ領域303と似ているが明らかに異なる特徴を持つこととなる。なお、コリメータ領域303の信号は、複雑な物理現象によってもたらされたものであるため、欠損領域305に人工的に再現することは困難である。
照射野認識処理は、コリメータ領域303と照射野領域304とを分類する処理である。データ拡張によって、学習に用いる切り出し画像307に欠損領域305が含まれると、機械学習装置108が本来学習したい対象であるコリメータ領域303の特徴以外の情報を学習することとなり、データ拡張によって逆に精度が低下してしまう場合が生じ得る。従って、切り出し画像307内に、欠損領域305が含まれることを防ぐため、ステップS301のアフィン変換における変換パラメータと、ステップS302の切り出し処理において切り出し画像307を切り出す位置は、図3BのB3のように、切り出し画像307内に欠損領域305が含まれないように選択される必要がある。
次に、切り出し画像307内に欠損領域305が含まれないための変換パラメータの制限について、図3Cを用いて説明する。
図3Cに示すように、ステップS301のアフィン変換における変換パラメータをa=αcosθ,b=-αsinθ,c=βsinθ,d=βcosθ,d=e=0とし、入力画像301をx方向に拡大率α倍、y方向に拡大率β倍に拡大し、回転角度としてθ回転する場合の例を考える。入力画像301の画像幅をWin、高さをHin、切り出し画像307の画像幅をWtrim、高さをHtrimとすると、データ拡張部120の処理によって、画像幅が(αWincosθ+βHinsinθ)、画像高さが(αWinsinθ+βHincosθ)であって、欠損領域305を含んだ変換画像306が生成される。
ステップS302において、データ拡張部120は切り出し画像307内に欠損領域305が含まれないようにするために、変換画像306内において切り出し可能領域317を設定し、切り出し画像307を取得する範囲を制限する。
データ拡張部120は、教師データを構成する入力画像をアフィン変換した変換画像306の一部を切り出した切り出し画像307の生成によりデータ拡張を行い、切り出し画像307に、画像情報が欠損した領域(欠損領域305)が含まれないように、切り出し画像307を取得する範囲を制限する。データ拡張部120は、変換画像306において切り出し可能領域317(図3C)を設定し、切り出し画像307を取得する範囲を制限する。
データ拡張部120は、アフィン変換における入力画像301の回転角度θに応じて切り出し可能領域317を設定することが可能である。また、データ拡張部120は、アフィン変換における入力画像301の回転角度に応じて入力画像301の拡大率を示すパラメータ(拡大率α、β)を設定することが可能である。ここで、データ拡張部120は、アフィン変換により入力画像301の一部が欠落しないように回転角度θ、及び入力画像301の拡大率を示すパラメータ(拡大率α、β)を設定する
切り出し画像307は、頂点309、310、311、312、313、314、315、316に囲まれた切り出し可能領域317内に含まれるように制限される。画像左上端に座標の原点318を設定したとき、各頂点の座標(x,y)は、以下の式で表される。すなわち、頂点309の座標は[数2]式、頂点310の座標は[数3]式、頂点311の座標[数4]式、頂点312の座標は[数5]式で表される。また、頂点313の座標は[数6]式、頂点314の座標は[数7]式、頂点315の座標は[数8]式、頂点316の座標は[数9]式で表される。
Figure 0007497145000002
Figure 0007497145000003
Figure 0007497145000004
Figure 0007497145000005
Figure 0007497145000006
Figure 0007497145000007
Figure 0007497145000008
Figure 0007497145000009
ここで、入力画像の画像幅Win、入力画像の画像高さHinと、拡大率α、βと、回転角度θと、切り出し画像307の画像幅Wtrim、切り出し画像307の画像高さHtrimは、頂点309~頂点316の全てが変換画像306内に含まれる範囲で変換パラメータをランダムに設定することが可能である。
なお、変換パラメータの設定において、拡大率α、βを大きくしすぎる場合、または、切り出し画像307の画像幅Wtrimと切り出し画像307の画像高さHtrimを、入力画像の画像幅Winと入力画像の画像高さHinに比べて小さくしすぎる場合には、コリメータ領域303が切り出し画像307内に含まれにくくなってしまい、有効なデータ拡張を行うことができなくなる可能性がある。このため、データ拡張部120は、拡大率α、βを、例えば、0.8~1.2程度に設定し、切り出し画像307の画像幅WtrimおよびHtrimと、WinおよびHinの長さの関係を、例えば、1:2程度の比率となるように変換パラメータを設定することが可能である。
また、回転角度θが例えば0°~45°であるときを考えると、回転角度θが大きいほど、変換画像306内の欠損領域305は大きくなるため、拡大率α、βを大きく設定した方が切り出し可能な範囲は広くなる。このように、回転角度θによって発生する欠損領域305の大きさに合わせて、変換パラメータの拡大率α、βを連動して変化させるようにしてもよい。
ステップS303において、データ拡張部120は切り出し画像307に対して信号量調整処理を行い、調整画像を出力する。データ拡張部120は、信号量調整処理として、切り出し画像307に対して任意の係数による乗算と任意の係数による加算とを行う。信号量調整処理において、切り出し画像307をItrim、調整画像をIout、係数γ、δを任意の係数とすると、切り出し画像307(Itrim)と調整画像(Iout)との関係は、以下の[数10]式で表すことができる。
Figure 0007497145000010
ここで、係数γとしては、例えば0.1~10程度の任意の係数を設定し、切り出し画像Itrimに乗算して信号を一律に増減させてもよいし、ガウシアンフィルタなどの2次元フィルタを設定し、切り出し画像Itrimに適用することも可能である。係数δについても、一律の値を加減算してもよいし、画素ごとに任意のランダムなノイズを加算することも可能である。ノイズを付加する場合は、放射線検出装置104の物理特性に従ったノイズを加算することも可能である。
なお、図3Aのフローチャートでは、ステップS301~S303と順番に処理していく場合の例を示したが、各ステップはこの順番に処理を行う必要はなく、一部の処理のみを行ってもよいし、処理の順番を任意に並び替えてもよい。また、データ拡張により画像情報が欠損した領域が新たに発生しない範囲であれば、その他の任意のデータ拡張手法を用いてもよい。
例えば、ステップS301のアフィン変換処理を行わない場合、データ拡張部120は切り出し画像307内に欠損領域305が含まれないようにするために、入力画像内において切り出し可能領域317を設定し、切り出し画像307を取得する範囲を制限することも可能である。
すなわち、データ拡張部120は、教師データを構成する入力画像301の一部を切り出した切り出し画像307の生成によりデータ拡張を行い、切り出し画像307に、画像情報が欠損した領域(欠損領域305)が含まれないように、切り出し画像307を取得する範囲を制限する。データ拡張部120は、入力画像301において切り出し可能領域317(図3C)を設定し、切り出し画像307を取得する範囲を制限する。
次に、図4を用いて、機械学習装置108における推論部110の処理について、畳み込みニューラルネットワーク(CNN)を用いた場合を例として説明する。図4は、推論部110の推論の概念を模式的に示した図である。
推論部110は、学習部109により学習済の推論部であり、学習に基づいて取得された学習済みパラメータに基づいて、推論処理を行うことが可能である。推論部110は、学習部109によって得られた学習済みパラメータ群を持つ学習済みの畳み込みニューラルネットワーク(CNN)402を有する。推論部110は、推論部110に入力される入力画像401に対して、学習済みCNN402による推論処理を適用し、推論結果403を出力する。
なお、機械学習装置108における学習は、例えばユーザーの使用環境に導入する以前に学習を行い、事前に学習済みCNN402のパラメータ群を得ておくことが望ましいが、ユーザーの使用環境に導入した後に、使用状況に合わせて機械学習装置108を更新できる構成とすることも可能である。その場合は、ユーザーの使用環境において取得した画像と、照射野領域のデータセットの組を教師データとして記憶装置115に保存すればよい。
機械学習装置108の学習部109は、記憶装置115に保存されたデータセットの組を新たな教師データとして使用して、追加の学習を行い、学習済みCNN402のパラメータ群を更新することが可能である。そして、追加の学習済の推論部110は、ユーザーの使用環境において、放射線撮影システム100を用いて撮影された画像と、画像に対応する照射野領域のデータとの組を教師データとして追加された学習の結果と、事前に行われた学習の結果とに基づいて推論処理を行うことが可能である。
追加の学習を行うタイミングは、例えば記憶装置115にデータセットが一定数以上蓄積された場合や、照射野認識結果をユーザーによって修正されたデータセットが一定数以上蓄積された場合など、学習部109は追加の学習を実行するタイミングを選択することが可能である。また、追加で学習を行う際のCNNのパラメータ群の初期値としては、追加で学習を行う前に使用していた学習済みCNN402のパラメータ群を設定し、転移学習を行うことも可能である。
なお、記憶装置115と機械学習装置108は、情報処理装置107上に搭載する構成に限らず、ネットワークを介して接続されたクラウドサーバー上に記憶装置115と機械学習装置108を設けてもよい。その場合は、複数の放射線撮影システム100によって得られたデータセットをクラウドサーバー上に収集・保存し、機械学習装置108は、クラウドサーバー上に収集・保存されたデータセットを用いて追加の学習を行うことも可能である。
以上説明したように本実施形態によれば、学習に用いる教師データに対して適切なデータ拡張を行うことで、より精度の高い領域の抽出が可能な機械学習技術を提供することができる。
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:放射線撮影システム、101:放射線発生装置、102:被写体、
103:寝台、104:放射線検出装置、105:制御装置、
106:データ収集装置、107:情報処理装置、108:機械学習装置、
109:学習部、110:推論部、111:CPUバス、112:CPU、
113:メモリ、114:操作パネル、115:記憶装置、
116:表示装置、117:診断用画像処理装置、120:データ拡張部、
121:推論部、122:パラメータ更新部、123:終了判定部

Claims (22)

  1. 入力画像から領域を抽出する機械学習装置であって、
    前記入力画像に対する推論処理により前記領域を出力する推論手段と、
    教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張手段と、を備え、
    前記拡張手段は、
    前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し
    前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
    前記変換画像に含まれる前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする機械学習装置。
  2. 前記教師データは、前記入力画像と、前記入力画像に対応し抽出領域を示す正解データとの組により構成されることを特徴とする請求項1に記載の機械学習装置。
  3. 前記拡張手段は、前記教師データに対して、アフィン変換処理と、切り出し処理と、信号量調整処理のうち少なくとも1つ以上の拡張処理により前記データ拡張を行い、
    前記拡張手段は、前記入力画像と前記正解データとに対して同じ拡張処理を行うことを特徴とする請求項2に記載の機械学習装置。
  4. 前記拡張手段は、前記教師データを構成する前記入力画像の一部を切り出した切り出し画像の生成により前記データ拡張を行い、
    前記切り出し画像に、前記画像情報が欠損した領域が含まれないように、前記切り出し画像を取得する範囲を制限することを特徴とする請求項3に記載の機械学習装置。
  5. 前記拡張手段は、前記入力画像において切り出し可能領域を設定し、前記切り出し画像を取得する範囲を制限することを特徴とする請求項4に記載の機械学習装置。
  6. 前記拡張手段は、前記教師データを構成する前記入力画像をアフィン変換した変換画像の一部を切り出した切り出し画像の生成により前記データ拡張を行い、
    前記切り出し画像に、前記画像情報が欠損した領域が含まれないように、前記切り出し画像を取得する範囲を制限することを特徴とする請求項3に記載の機械学習装置。
  7. 前記拡張手段は、前記変換画像において切り出し可能領域を設定し、前記切り出し画像を取得する範囲を制限することを特徴とする請求項6に記載の機械学習装置。
  8. 前記拡張手段は、前記アフィン変換における前記入力画像の回転角度に応じて前記切り出し可能領域を設定する請求項7に記載の機械学習装置。
  9. 前記拡張手段は、前記アフィン変換における前記入力画像の回転角度に応じて前記入力画像の拡大率を示すパラメータを設定することを特徴とする請求項6乃至8のいずれか1項に記載の機械学習装置。
  10. 前記拡張手段は、前記アフィン変換により前記入力画像の一部が欠落しないように前記回転角度、及び前記入力画像の拡大率を示すパラメータを設定することを特徴とする請求項9に記載の機械学習装置。
  11. 前記拡張手段は、前記信号量調整処理として、前記切り出し画像に対して任意の係数による乗算と任意の係数による加算とを行うことを特徴とする請求項4乃至10のいずれか1項に記載の機械学習装置。
  12. 前記正解データは、前記入力画像における抽出領域を任意の値でラベリングしたラベリング画像であることを特徴とする請求項2乃至11のうちいずれか1項に記載の機械学習装置。
  13. 前記正解データは、前記入力画像における抽出領域を座標で示した座標データであることを特徴とする請求項2乃至11のうちいずれか1項に記載の機械学習装置。
  14. 前記正解データは、前記入力画像における抽出領域の境界を直線または曲線で特定したデータであることを特徴とする請求項2乃至11のうちいずれか1項に記載の機械学習装置。
  15. 前記推論手段は、前記学習に基づいて取得された学習済みパラメータに基づいて、前記推論処理を行うことを特徴とする請求項1乃至14のいずれか1項に記載の機械学習装置。
  16. 前記機械学習装置は、畳み込みニューラルネットワークを用いた教師あり学習に基づいて前記入力画像から前記領域を抽出することを特徴とする請求項1乃至15のいずれか1項に記載の機械学習装置。
  17. 前記入力画像は、放射線撮影システムを用いて撮影された画像であり、
    前記領域は、前記放射線撮影システムにより放射線が照射された照射野領域であることを特徴とする請求項1乃至16のいずれか1項に記載の機械学習装置。
  18. 前記推論手段は、ユーザーの使用環境において、前記放射線撮影システムを用いて撮影された画像と、前記画像に対応する照射野領域のデータとの組を教師データとして追加された学習の結果と、事前に行われた学習の結果とに基づいて前記推論処理を行うことを特徴とする請求項17に記載の機械学習装置。
  19. 入力画像に対する推論処理により領域を出力する推論手段を有し、前記入力画像から領域を抽出する機械学習装置における機械学習方法であって、
    教師データに基づいて前記推論手段の学習を行う学習時に、回転処理を用いることにより前記教師データを構成する前記入力画像の数を増やしてデータ拡張を行う拡張工程を有し、
    前記拡張工程では、
    前記回転処理における前記入力画像の回転角度に応じて前記入力画像を拡大することにより変換画像を生成し
    前記変換画像に対して切り出し処理を行うことにより切り出し画像を生成し、
    前記変換画像に含まれる前記入力画像に由来する画像情報が欠損した無効な領域が、前記切り出し画像に含まれないように前記データ拡張を行うことを特徴とする機械学習方法。
  20. コンピュータに、請求項19に記載の機械学習方法の工程を実行させるプログラム。
  21. 請求項1に記載の機械学習装置を用いて学習することにより得たパラメータを用いて入力画像から領域を抽出する処理を行う推論部を備える情報処理装置。
  22. 請求項21に記載の情報処理装置と、
    前記情報処理装置と通信可能に接続された、放射線を検出する放射線検出装置と、
    を備える放射線撮影システム。
JP2019158927A 2019-08-30 2019-08-30 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム Active JP7497145B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019158927A JP7497145B2 (ja) 2019-08-30 2019-08-30 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム
PCT/JP2020/028193 WO2021039211A1 (ja) 2019-08-30 2020-07-21 機械学習装置、機械学習方法及びプログラム
US17/675,071 US11823441B2 (en) 2019-08-30 2022-02-18 Machine learning apparatus, machine learning method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019158927A JP7497145B2 (ja) 2019-08-30 2019-08-30 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム

Publications (2)

Publication Number Publication Date
JP2021036969A JP2021036969A (ja) 2021-03-11
JP7497145B2 true JP7497145B2 (ja) 2024-06-10

Family

ID=74684475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019158927A Active JP7497145B2 (ja) 2019-08-30 2019-08-30 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム

Country Status (3)

Country Link
US (1) US11823441B2 (ja)
JP (1) JP7497145B2 (ja)
WO (1) WO2021039211A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7497145B2 (ja) * 2019-08-30 2024-06-10 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180107928A1 (en) 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
US20180190377A1 (en) 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
US20190065884A1 (en) 2017-08-22 2019-02-28 Boe Technology Group Co., Ltd. Training method and device of neural network for medical image processing, and medical image processing method and device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04261649A (ja) * 1990-08-20 1992-09-17 Fuji Photo Film Co Ltd 放射線画像解析方法および装置
JP6214226B2 (ja) 2013-06-06 2017-10-18 キヤノン株式会社 画像処理装置、断層撮影装置、画像処理方法およびプログラム
JP6570330B2 (ja) 2015-06-12 2019-09-04 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
JP6491545B2 (ja) 2015-06-12 2019-03-27 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、プログラム、および記憶媒体
JP2017185007A (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線撮影装置、放射線画像の対象物検出プログラムおよび放射線画像における対象物検出方法
SG11202003232VA (en) * 2017-10-09 2020-05-28 Univ Leland Stanford Junior Contrast dose reduction for medical imaging using deep learning
US10346728B2 (en) * 2017-10-26 2019-07-09 Hitachi, Ltd. Nodule detection with false positive reduction
US10872409B2 (en) * 2018-02-07 2020-12-22 Analogic Corporation Visual augmentation of regions within images
FR3082645B1 (fr) * 2018-06-13 2023-01-13 Idemia Identity & Security France Procede d'apprentissage de parametres d'un reseau de neurones a convolution
CN109086691B (zh) * 2018-07-16 2020-02-21 阿里巴巴集团控股有限公司 一种三维脸部活体检测方法、脸部认证识别方法及装置
JP7115114B2 (ja) * 2018-07-27 2022-08-09 コニカミノルタ株式会社 X線画像物体認識システム
JP7134017B2 (ja) 2018-08-14 2022-09-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11321610B2 (en) * 2018-08-22 2022-05-03 Verizon Patent And Licensing Inc. Rehearsal network for generalized learning
KR102372200B1 (ko) * 2019-04-16 2022-03-10 서울여자대학교 산학협력단 의료영상의 병변 정보 증강 패치에 하나 이상의 증강 방식을 적용한 학습데이터 기반의 병변 분류 방법 및 장치
US11327497B2 (en) * 2019-06-21 2022-05-10 Volkswagen Ag Autonomous transportation vehicle image augmentation
KR102641117B1 (ko) * 2019-08-26 2024-02-27 삼성전자주식회사 영상을 증강하는 방법 및 장치
JP7497145B2 (ja) * 2019-08-30 2024-06-10 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム
US11461537B2 (en) * 2019-11-13 2022-10-04 Salesforce, Inc. Systems and methods of data augmentation for pre-trained embeddings
US12038320B2 (en) * 2020-12-22 2024-07-16 Nec Corporation Distributed intelligent SNAP informatics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180107928A1 (en) 2016-10-14 2018-04-19 Kla-Tencor Corporation Diagnostic systems and methods for deep learning models configured for semiconductor applications
US20180190377A1 (en) 2016-12-30 2018-07-05 Dirk Schneemann, LLC Modeling and learning character traits and medical condition based on 3d facial features
US20190065884A1 (en) 2017-08-22 2019-02-28 Boe Technology Group Co., Ltd. Training method and device of neural network for medical image processing, and medical image processing method and device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DO et al.,Knee Bone Tumor Segmentation from radiographs using Seg-Unet with Dice Loss,ResearchGate,2019年02月25日,[online], [2023年09月27日検索], <URL: https://www.researchgate.net/publication/331318041_Knee_Bone_Tumor_Segmentation_from_radiographs_using_Seg-Unet_with_Dice_Loss>
JANG et al.,Estimating Compressive Strength of Concrete Using Deep Convolutional Neural Networks with Digital Microscope Images,ResearchGate,2019年05月08日,[online], [2023年09月27日検索], <URL: https://www.researchgate.net/publication/331730377_Estimating_Compressive_Strength_of_Concrete_Using_Deep_Convolutional_Neural_Networks_with_Digital_Microscope_Images>
Keras ImageDataGenerator with center crop for rotation and translation shift,stack overflow,2019年05月22日,[online], [2023年09月27日検索], <https://stackoverflow.com/questions/56254393/keras-imagedatagenerator-with-center-crop-for-rotation-and-translation-shift>,<https://web.archive.org/web/20190523093603/https://stackoverflow.com/questions/56254393/keras-imagedatagenerator-with-center-crop-for-rotation-and-translation-shift>

Also Published As

Publication number Publication date
WO2021039211A1 (ja) 2021-03-04
US20220172461A1 (en) 2022-06-02
JP2021036969A (ja) 2021-03-11
US11823441B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
US11120582B2 (en) Unified dual-domain network for medical image formation, recovery, and analysis
US10984565B2 (en) Image processing method using convolutional neural network, image processing device and storage medium
CN109509235B (zh) Ct图像的重建方法、装置、设备及存储介质
CN107516330B (zh) 模型生成方法、图像处理方法及医学成像设备
Ng et al. Solving constrained total-variation image restoration and reconstruction problems via alternating direction methods
CN107595312B (zh) 模型生成方法、图像处理方法及医学成像设备
JP7134017B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10366480B2 (en) Super-resolution systems and methods
Gao et al. Bayesian image super-resolution with deep modeling of image statistics
US20220164927A1 (en) Method and system of statistical image restoration for low-dose ct image using deep learning
JP7497145B2 (ja) 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
González et al. Non-parametric PSF estimation from celestial transit solar images using blind deconvolution
WO2023119922A1 (ja) 画像生成装置、方法及びプログラム並びに学習装置及び学習データ
CN115239836A (zh) 一种基于端到端神经网络的极端稀疏视角ct重建方法
CN112017113B (zh) 图像处理方法及装置、模型训练方法及装置、设备及介质
CN108364273B (zh) 一种空间域下的多聚焦图像融合的方法
CN111369425A (zh) 图像处理方法、装置、电子设备和计算机可读介质
JP2016167736A (ja) 画像変換装置、画像変換方法及び画像変換プログラム
JP7277536B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7523628B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7520802B2 (ja) 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
US20230237628A1 (en) Modeling continuous kernels to generate an enhanced digital image from a burst of digital images
WO2023070495A9 (zh) 图像处理方法、电子设备和非瞬态计算机可读介质
JP2023088665A (ja) 学習装置、医用情報処理装置、学習データの生成方法、学習方法、およびプログラム

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240430

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240529

R150 Certificate of patent or registration of utility model

Ref document number: 7497145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150