JP7167241B1 - 学習済みモデル生成方法、処理装置、および記憶媒体 - Google Patents
学習済みモデル生成方法、処理装置、および記憶媒体 Download PDFInfo
- Publication number
- JP7167241B1 JP7167241B1 JP2021076887A JP2021076887A JP7167241B1 JP 7167241 B1 JP7167241 B1 JP 7167241B1 JP 2021076887 A JP2021076887 A JP 2021076887A JP 2021076887 A JP2021076887 A JP 2021076887A JP 7167241 B1 JP7167241 B1 JP 7167241B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- weight
- patient
- learning
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013528 artificial neural network Methods 0.000 claims abstract description 29
- 230000036544 posture Effects 0.000 claims description 53
- 238000012549 training Methods 0.000 claims description 24
- 238000012790 confirmation Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 48
- 206010011985 Decubitus ulcer Diseases 0.000 description 15
- 238000007689 inspection Methods 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 230000037396 body weight Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 101000760620 Homo sapiens Cell adhesion molecule 1 Proteins 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 108090000237 interleukin-24 Proteins 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4869—Determining body composition
- A61B5/4872—Body fat
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/70—Means for positioning the patient in relation to the detecting, measuring or recording means
- A61B5/704—Tables
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4078—Fan-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4064—Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
- A61B6/4085—Cone-beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/542—Control of apparatus or devices for radiation diagnosis involving control of exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Pulmonology (AREA)
- Fuzzy Systems (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
Abstract
Description
ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより、前記学習済みモデルを生成する、学習済みモデル生成方法である。
医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行させる、記憶媒体である。
前記学習済みモデルは、
ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより生成される、学習済みモデル。
ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより、前記学習済みモデルを生成する、学習済みモデル生成装置である。
ネットワークシステム10は、複数のモダリティQ1~Qaを含んでいる。複数のモダリティQ1~Qaの各々は、患者の診断や治療などを行うモダリティである。
図2に示すように、X線CT装置1は、ガントリ(gantry)2、テーブル(table)4、カメラ(camera)6、及び操作コンソール(console)8を備えている。
ガントリ2は、患者40が移動可能な空間であるボア21を画定する内壁を有している。
コリメータ24は、X線検出器25に対してX線入射側に配置されており、散乱X線を除去する。
アパーチャ駆動装置29はアパーチャ23を駆動しその開口を変形させる。
回転部駆動装置30は回転部27を回転駆動する。
処理部84は、生成部841、推論部842、確認部843、および再構成部844を有している。
推論部842は、入力画像を学習済みモデルに入力し、患者の体重を推論する。
確認部843は、推論された体重を更新するか否かをオペレータに確認する。
再構成部844は、スキャンにより得られた投影データに基づいてCT画像を再構成する。
(a2)入力画像を学習済みモデルに入力し、患者の体重を推論すること(推論部842)
(a3)体重を更新するか否かをオペレータに確認すること(確認部843)
(a4)投影データに基づいてCT画像を再構成すること(再構成部844)
ステップST1では、学習フェーズで使用される複数の学習用画像を用意する。図6に、学習用画像C1~Cnを概略的に示す。各学習用画像Ci(1≦i≦n)は、テーブルに仰臥位の姿勢で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像C1~Cnは、ヘッドファースト(head first)の状態で仰臥位の姿勢をとる人間の画像と、フィートファースト(feet first)の状態で仰臥位の姿勢をとる人間の画像が含まれている。
学習用画像および正解データを用意した後、ステップST2に進む。
ステップST11では、オペレータが撮影対象者である患者40をスキャンルーム100に案内し、図2に示すように、患者40を仰臥位の姿勢でテーブル4に寝かせる。
患者40をテーブル4に寝かせた後、ステップST12に進む。
生成部841(図4参照)は、カメラ6によって得られたカメラ画像に対して所定の画像処理を実行することにより、体重の推論に使用される入力画像を生成する。所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。図8に、生成された入力画像61の概略図を示す。
尚、学習フェーズ(図6参照)ではフィートファーストの学習用画像は180°回転させているので、推論フェーズにおいて、フィートファーストの入力画像が生成される場合は、入力画像を180°回転させる必要がある。本形態では、患者40の方向は、フィートファーストではなく、ヘッドファーストであるので、推論部842は、入力画像を180°回転させる必要はないと判定する。したがって、推論部842は、入力画像61を180°回転させずに学習済みモデル91aに入力する。
体重の更新(または更新のキャンセル)が終了したら、ステップST15に進む。
スカウトスキャンが実行されると、再構成部844(図4参照)は、スカウトスキャンにより得られた投影データに基づいて、スカウト画像を再構成する。オペレータはスカウト画像に基づいてスキャン範囲を設定する。そして、ステップST16に進み、患者40の診断に使用される種々のCT画像を取得するための診断スキャンが実行される。再構成部844は、診断スキャンにより得られた投影データに基づいて、診断用のCT画像を再構成する。診断スキャンが終了したら、ステップST17に進む。
X線CT装置はDICOMファイルFS1~FSaおよびFD1~FDbを作成する。
第1の形態では体重を推論したが、第2の形態では、身長を推論し、推論した身長とBMIとから体重を計算する方法について説明する。
処理部84は、生成部940、推論部941、計算部942、確認部943、および再構成部944を有している。
推論部941は、入力画像を学習済みモデルに入力し、患者の身長を推論する。
計算部942は、BMIと推論された身長とに基づいて、患者の体重を計算する。
確認部943は、計算された体重を更新するか否かをオペレータに確認する。
再構成部944は、スキャンにより得られた投影データに基づいてCT画像を再構成する。
(b2)入力画像を学習済みモデルに入力し、患者の身長を推論すること(推論部941)
(b3)BMIと推論された身長とに基づいて、患者の体重を計算すること(計算部942)
(b4)体重を更新するか否かをオペレータに確認すること(確認部943)
(b5)投影データに基づいてCT画像を再構成すること(再構成部944)
学習用画像および正解データを用意した後、ステップST2に進む。
具体的には、図14に示すように、コンピュータを用いて、ニューラルネットワーク(NN)92に、学習用画像CI1~CInおよび正解データGI1~GInを用いた学習を実行させる。これによって、ニューラルネットワーク(NN)92が、学習用画像CI1~CInおよび正解データGI1~GInを用いた学習を実行する。その結果、学習済みモデル92aを生成することができる。
ステップST21では、オペレータが患者40をスキャンルームへと案内し、患者40をテーブル4に寝かせる。また、カメラ6は、スキャンルーム内のカメラ画像を取得する。
ステップST30が実行される一方でステップST22が実行される。
推論部941は、入力画像62を学習済みモデル92aに入力する。学習済みモデル92aは入力画像62に含まれている患者40の身長を推論して出力する。したがって、患者40の身長を推論することができる。患者40の身長を推論したら、ステップST222に進む。
BMI=体重÷(身長2) ・・・(1)
このようにして、体重の更新処理のフローが終了する。
このようにして、図15に示すフローが終了する。
第1および第2の形態では、患者40の姿勢が仰臥位であることが前提になっている。しかし、患者40が受ける検査によっては、患者40の姿勢を仰臥位とは別の姿勢(例えば、右側臥位)にしなければならないこともある。そこで、第3の形態では、患者40が受ける検査によって、患者40の姿勢が異なる場合であっても、十分な精度で患者40の体重を推論することができる方法について説明する。
(1)仰臥位
(2)伏臥位
(3)左側臥位
(4)右側臥位
第3の形態では、上記の姿勢(1)~(4)のそれぞれについて、学習フェーズで使用される複数の学習用画像および正解データを用意する。図19は、上記の姿勢(1)~(4)に対して用意された学習用画像および正解データの説明図である。各姿勢に対して用意された学習用画像および正解データは、以下の通りである。
仰臥位に対応した学習用画像として、n1枚の学習用画像CA1~CAn1が用意される。各学習用画像CAi(1≦i≦n1)は、テーブルに仰臥位に寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CA1~CAn1は、ヘッドファーストの状態で仰臥位の姿勢をとる人間の画像と、フィートファーストの状態で仰臥位の姿勢をとる人間の画像が含まれている。
伏臥位に対応した学習用画像として、n2枚の学習用画像CB1~CBn2が用意される。各学習用画像CBi(1≦i≦n2)は、テーブルに伏臥位の状態で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CB1~CBn1は、ヘッドファーストの状態で伏臥位の姿勢をとる人間の画像と、フィートファーストの状態で伏臥位の姿勢をとる人間の画像が含まれている。
左側臥位に対応した学習用画像として、n3枚の学習用画像CC1~CCn3が用意される。各学習用画像CCi(1≦i≦n3)は、テーブルに左側臥位の姿勢で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CC1~CCn3は、ヘッドファーストの状態で左側臥位の姿勢をとる人間の画像と、フィートファーストの状態で左側臥位の姿勢をとる人間の画像が含まれている。
右側臥位に対応した学習用画像として、n4枚の学習用画像CD1~CDn4が用意される。各学習用画像CDi(1≦i≦n4)は、テーブルに右側臥位の姿勢で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CD1~CDn4は、ヘッドファーストの状態で右側臥位の姿勢をとる人間の画像と、フィートファーストの状態で右側臥位の姿勢をとる人間の画像が含まれている。
ステップST2では、コンピュータを用いて、ニューラルネットワーク(NN)93に、上記の姿勢(1)~(4)における学習用画像および正解データ(図19参照)を用いた学習を実行させる。これによって、ニューラルネットワーク(NN)93が、上記の姿勢(1)~(4)における学習用画像および正解データを用いた学習を実行する。この結果、学習済みモデル93aを生成することができる。
患者40をテーブル4に寝かせた後、ステップST12に進む。
生成部841は、カメラ6によって得られたカメラ画像に対して所定の画像処理を実行することにより、体重の推論に使用される入力画像を生成する。所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。図21に、生成された入力画像64の概略図を示す。
尚、学習フェーズ(図19参照)ではフィートファーストの学習用画像は180°回転させているので、推論フェーズにおいて、フィートファーストの入力画像が生成される場合は、入力画像を180°回転させる必要がある。本形態では、患者40の方向は、フィートファーストであるので、推論部842は、入力画像64を180°回転し、1180°回転させた後の入力画像641を、学習済みモデル93aに入力する。学習済みモデル93aは入力画像641の患者40の体重を推論して出力する。体重を推論した後、ステップST13に進む。
第3の形態では、ニューラルネットワーク93が、姿勢(1)~(4)の学習用画像および正解データを用いた学習を実行することで、学習済みモデルを生成する例を示した。第4の形態では、姿勢ごとに学習済みモデルを生成する例について説明する。
図23は、第4の形態における処理部84の主な機能ブロックを示す図である。
第4の形態の処理部84は、主な機能ブロックとして、生成部841、選択部8411、推論部8421、確認部843、および再構成部844を有している。これらの機能ブロックのうち、生成部841、確認部843、および再構成部844については、第1の形態と同じであるので説明は省略し、選択部8411および推論部8421について説明する。
推論部8421は、選択部8411で選択された学習済みモデルに、生成部841で生成された入力画像を入力して、患者の体重を推論する。
(c2)複数の学習済みモデルの中から、患者の体重を推論するために使用される学習済みモデルを選択すること(選択部8411)
(c3)入力画像を、選択された学習済みモデルに入力し、患者の体重を推論すること(推論部8421)
(c4)体重を更新するか否かをオペレータに確認すること(確認部843)
(c5)投影データに基づいてCT画像を再構成する(再構成部844)
尚、第4の形態でも、第3の形態と同様に、患者の姿勢として、図19に示す姿勢(1)~(4)を考えている。したがって、第4の形態でも、図19に示す学習用画像および正解データを用意する。
図19に示す学習用画像および正解データを用意したら、ステップST2に進む。
ステップST2では、コンピュータを用いて、ニューラルネットワーク(NN)941~944に、それぞれ、上記の姿勢(1)~(4)における学習用画像および正解データ(図19参照)を用いた学習を実行させる。これによって、ニューラルネットワーク(NN)941~944が、それぞれ、上記の姿勢(1)~(4)における学習用画像および正解データ(図19参照)を用いた学習を実行する。その結果、上記の4つの姿勢に対応した学習済みモデル941a~944aを生成することができる。
ステップST51では、オペレータが患者40をスキャンルームへと案内し、患者40をテーブル4に寝かせる。
患者40をテーブル4に寝かせた後、ステップST52に進む。
学習済みモデル944aを選択した後、ステップST53に進む。
2 ガントリ
4 テーブル
6 カメラ
8 操作コンソール
10 ネットワークシステム
11 PACS
12 通信網
20 表示パネル
21 ボア
22 X線管
23 アパーチャ
24 コリメータ
25 X線検出器
26 データ収集部
27 回転部
28 高電圧電源
29 アパーチャ駆動装置
30 回転部駆動装置
31 GT制御部
40 患者
41 クレードル
42 クレードル支持台
43 駆動装置
61、62、64、611、612、641 入力画像
70 患者情報
71 ウインドウ
81 入力部
82 表示部
83 記憶部
84 処理部
85 コンソール制御部
90 記憶媒体
91a、92a、93a、944a 学習済みモデル
91、92、93 ニューラルネットワーク
100 スキャンルーム
101 天井
200 操作ルーム
841、940 生成部
842、941、8421 推論部
843、943 確認部
844、944 構成部
942 計算部
8411 選択部
Claims (16)
- 医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行する処理装置であって、
撮影時の前記撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の体重を推論するために使用される学習済みモデルを選択する選択部と
前記カメラ画像に基づいて入力画像を生成する生成部と、
前記入力画像を、選択された前記学習済みモデルに入力することにより、前記撮影対象者の体重を推論する推論部と
を含む、処理装置。 - 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、を用いた学習を実行することにより生成されている、請求項1に記載の処理装置。 - 前記複数の学習用画像が、ヘッドファーストの状態でテーブルに寝ている人間の画像と、フィートファーストの状態でテーブルに寝ている人間の画像とを含む、請求項2に記載の処理装置。
- 前記複数の姿勢が、仰臥位、伏臥位、左側臥位、および右側臥位のうちの少なくとも2つの姿勢を含む、請求項1~3のうちのいずれか一項に記載の処理装置。
- 推論された体重を更新するか否かをオペレータに確認するための確認部を有する、請求項1~4のうちのいずれか一項に記載の処理装置。
- 医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行する処理装置であって、
撮影時の前記撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の身長を推論するために使用される学習済みモデルを選択する選択部と、
前記カメラ画像に基づいて入力画像を生成する生成部と、
前記入力画像を、選択された学習済みモデルに入力することにより、前記撮影対象者の身長を推論する推論部と、
前記撮影対象者のBMIと、前記推論された身長とに基づいて、前記撮影対象者の体重を計算する計算部と
を含む、処理装置。 - 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の身長を表す、複数の正解データ、
を用いた学習を実行することにより生成されている、請求項6に記載の処理装置。 - 前記撮影対象者をスカウトスキャンすることにより得られたスカウト画像を再構成する再構成部を含み、
前記計算部が、前記スカウト画像に基づいて、前記BMIを計算する、請求項6又は7に記載の処理装置。 - 1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
撮影時の撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の体重を推論するために使用される学習済みモデルを選択させること、
前記撮影対象者のカメラ画像に基づいて入力画像を生成させること、
前記入力画像を、選択された前記学習済みモデルに入力することにより、前記撮影対象者の体重を推論させること
を含む処理を実行させる、記憶媒体。 - 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより生成されている、請求項9に記載の記憶媒体。 - 前記複数の学習用画像が、ヘッドファーストの状態でテーブルに寝ている人間の画像と、フィートファーストの状態でテーブルに寝ている人間の画像とを含む、請求項10に記載の記憶媒体。
- 前記複数の姿勢が、仰臥位、伏臥位、左側臥位、および右側臥位のうちの少なくとも2つの姿勢を含む、請求項9~11のうちのいずれか一項に記載の記憶媒体。
- 1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
撮影時の前記撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の身長を推論するために使用される学習済みモデルを選択させること、
前記カメラ画像に基づいて入力画像を生成させること、
前記入力画像を、選択された学習済みモデルに入力することにより、前記撮影対象者の身長を推論させること、および
前記撮影対象者のBMIと、前記推論された身長とに基づいて、前記撮影対象者の体重を計算させること、
を含む処理を実行させる、記憶媒体。 - 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の身長を表す、複数の正解データ、
を用いた学習を実行することにより生成されている、請求項13に記載の記憶媒体。 - 前記複数の学習用画像が、ヘッドファーストの状態でテーブルに寝ている人間の画像と、フィートファーストの状態でテーブルに寝ている人間の画像とを含む、請求項14に記載の記憶媒体。
- 前記1つ以上の命令は、前記1つ以上のプロセッサに、
前記撮影対象者をスカウトスキャンすることにより得られたスカウト画像を再構成させること、および
前記スカウト画像に基づいて前記BMIを計算させること、
を含む処理を実行させる、請求項13~15のうちのいずれか一項に記載の記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021076887A JP7167241B1 (ja) | 2021-04-28 | 2021-04-28 | 学習済みモデル生成方法、処理装置、および記憶媒体 |
CN202210319612.1A CN115245344A (zh) | 2021-04-28 | 2022-03-29 | 学习模型生成方法、处理设备和存储介质 |
US17/731,368 US20220346710A1 (en) | 2021-04-28 | 2022-04-28 | Learned model generating method, processing device, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021076887A JP7167241B1 (ja) | 2021-04-28 | 2021-04-28 | 学習済みモデル生成方法、処理装置、および記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7167241B1 true JP7167241B1 (ja) | 2022-11-08 |
JP2022172418A JP2022172418A (ja) | 2022-11-16 |
Family
ID=83698361
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021076887A Active JP7167241B1 (ja) | 2021-04-28 | 2021-04-28 | 学習済みモデル生成方法、処理装置、および記憶媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220346710A1 (ja) |
JP (1) | JP7167241B1 (ja) |
CN (1) | CN115245344A (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231816A (ja) * | 2011-04-28 | 2012-11-29 | Ge Medical Systems Global Technology Co Llc | 造影パラメータ決定方法、x線ct装置およびインジェクタ |
US20190357844A1 (en) * | 2018-05-23 | 2019-11-28 | Siemens Healthcare Gmbh | Method and apparatus for determining a patient weight and/or a body mass index |
JP2020522285A (ja) * | 2018-04-20 | 2020-07-30 | ボディグラム、インコーポレイテッド | 全身測定値抽出のためのシステムおよび方法 |
US20200271507A1 (en) * | 2019-02-25 | 2020-08-27 | Siemens Healthcare Gmbh | Patient Weight Estimation from Surface Data using a Patient Model |
US20200297237A1 (en) * | 2019-03-22 | 2020-09-24 | Siemens Healthcare Gmbh | Multi-Task Progressive Networks for Patient Modeling for Medical Scans |
CN112017231A (zh) * | 2020-08-27 | 2020-12-01 | 中国平安财产保险股份有限公司 | 基于单目摄像头的人体体重识别方法、装置及存储介质 |
-
2021
- 2021-04-28 JP JP2021076887A patent/JP7167241B1/ja active Active
-
2022
- 2022-03-29 CN CN202210319612.1A patent/CN115245344A/zh active Pending
- 2022-04-28 US US17/731,368 patent/US20220346710A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231816A (ja) * | 2011-04-28 | 2012-11-29 | Ge Medical Systems Global Technology Co Llc | 造影パラメータ決定方法、x線ct装置およびインジェクタ |
JP2020522285A (ja) * | 2018-04-20 | 2020-07-30 | ボディグラム、インコーポレイテッド | 全身測定値抽出のためのシステムおよび方法 |
US20190357844A1 (en) * | 2018-05-23 | 2019-11-28 | Siemens Healthcare Gmbh | Method and apparatus for determining a patient weight and/or a body mass index |
US20200271507A1 (en) * | 2019-02-25 | 2020-08-27 | Siemens Healthcare Gmbh | Patient Weight Estimation from Surface Data using a Patient Model |
US20200297237A1 (en) * | 2019-03-22 | 2020-09-24 | Siemens Healthcare Gmbh | Multi-Task Progressive Networks for Patient Modeling for Medical Scans |
CN112017231A (zh) * | 2020-08-27 | 2020-12-01 | 中国平安财产保险股份有限公司 | 基于单目摄像头的人体体重识别方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2022172418A (ja) | 2022-11-16 |
CN115245344A (zh) | 2022-10-28 |
US20220346710A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4786246B2 (ja) | 画像処理装置及び画像処理システム | |
US20180190379A1 (en) | Method and apparatus for setting imaging environment by using signals transmitted by plurality of clients | |
JP4942024B2 (ja) | 医用画像撮影方法及び医用画像撮影装置 | |
US8934687B2 (en) | Image processing device, method and program including processing of tomographic images | |
JP2004329926A (ja) | 検査経過および/または治療経過の監視方法ならびに医療システム | |
US20030139944A1 (en) | System and method for the processing of patient data | |
JP2021039742A (ja) | ワークフロー管理のための方法およびシステム | |
Bommu | Advancements in Healthcare Information Technology: A Comprehensive Review | |
US10765321B2 (en) | Image-assisted diagnostic evaluation | |
JP2020058777A (ja) | 医用画像取得装置を動作させるための方法、画像取得装置、コンピュータプログラムおよび電子的に読取可能なデータ媒体 | |
JP2006102353A (ja) | 関節動作解析装置、関節動作解析方法及び関節動作解析プログラム | |
CN110459298A (zh) | 用于求出结果值的方法和设备、诊断站和成像*** | |
WO2008038559A1 (fr) | Procédé de sélection d'un dessin anatomique, dispositif de sélection d'un dessin anatomique, et système de réseau médical | |
JP2023504026A (ja) | 医用イメージング・システムにおける自動式プロトコル指定 | |
JP7167241B1 (ja) | 学習済みモデル生成方法、処理装置、および記憶媒体 | |
JP5363962B2 (ja) | 診断支援システム、診断支援プログラムおよび診断支援方法 | |
JP2010264234A (ja) | 医療情報の利用促進システムおよび方法 | |
JP2021058569A (ja) | 画像処理装置及びプログラム | |
JP7144129B2 (ja) | 医用画像診断装置及び医用情報管理装置 | |
JP6959612B2 (ja) | 診断画像システム | |
JP2016209267A (ja) | 医用画像処理装置及びプログラム | |
CN111919264A (zh) | 用于使成像***和边缘计算***同步的***和方法 | |
US20200082931A1 (en) | Diagnostic support apparatus | |
JP6956514B2 (ja) | X線ct装置及び医用情報管理装置 | |
US11672494B2 (en) | Imaged-range defining apparatus, medical apparatus, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210526 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210528 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220928 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7167241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |