JP7167241B1 - 学習済みモデル生成方法、処理装置、および記憶媒体 - Google Patents

学習済みモデル生成方法、処理装置、および記憶媒体 Download PDF

Info

Publication number
JP7167241B1
JP7167241B1 JP2021076887A JP2021076887A JP7167241B1 JP 7167241 B1 JP7167241 B1 JP 7167241B1 JP 2021076887 A JP2021076887 A JP 2021076887A JP 2021076887 A JP2021076887 A JP 2021076887A JP 7167241 B1 JP7167241 B1 JP 7167241B1
Authority
JP
Japan
Prior art keywords
image
weight
patient
learning
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021076887A
Other languages
English (en)
Other versions
JP2022172418A (ja
Inventor
章太郎 渕辺
陽太郎 石原
Original Assignee
ジーイー・プレシジョン・ヘルスケア・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジーイー・プレシジョン・ヘルスケア・エルエルシー filed Critical ジーイー・プレシジョン・ヘルスケア・エルエルシー
Priority to JP2021076887A priority Critical patent/JP7167241B1/ja
Priority to CN202210319612.1A priority patent/CN115245344A/zh
Priority to US17/731,368 priority patent/US20220346710A1/en
Application granted granted Critical
Publication of JP7167241B1 publication Critical patent/JP7167241B1/ja
Publication of JP2022172418A publication Critical patent/JP2022172418A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4869Determining body composition
    • A61B5/4872Body fat
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0037Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/70Means for positioning the patient in relation to the detecting, measuring or recording means
    • A61B5/704Tables
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4078Fan-beams
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/40Arrangements for generating radiation specially adapted for radiation diagnosis
    • A61B6/4064Arrangements for generating radiation specially adapted for radiation diagnosis specially adapted for producing a particular type of beam
    • A61B6/4085Cone-beams
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/542Control of apparatus or devices for radiation diagnosis involving control of exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Pulmonology (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)

Abstract

【課題】患者の体重情報を容易に取得することができる技術を提供する。【解決手段】X線CT装置のテーブルに寝ている患者のカメラ画像に基づいて、患者の体重を推論する処理部であって、カメラ画像に基づいて入力画像を生成する生成部と、入力画像を学習済みモデル91aに入力することにより、患者の体重を推論する推論部とを含み、学習済みモデル91aは、ニューラルネットワーク91が、(1)複数のカメラ画像に基づいて生成された複数の学習用画像C1~Cn、および(2)複数の学習用画像C1~Cnに対応する複数の正解データG1~Gnであって、複数の正解データG1~Gnの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データG1~Gn、を用いた学習を実行することにより生成されている。【選択図】図6

Description

本発明は、体重を推論するための学習済みモデルを生成する方法、テーブルに寝ている撮影対象者の体重を求める処理を実行する処理装置、体重を求める処理をプロセッサに実行させるための命令が格納された記憶媒体に関する。
患者の体内の画像を非侵襲的に撮影する医用装置として、X線CT装置が知られている。X線CT装置は、撮影部位を短時間で撮影することができるので、病院等の医療施設に普及している。
一方、CT装置はX線を用いて患者の検査を行うので、CT装置の普及に伴って、検査時の患者の被ばくに関する関心が高まっている。このため、X線による患者の被ばく線量を極力低減するなどの観点から、患者の被ばく線量を管理することが重要となっている。そこで、線量を管理する技術が開発されている。例えば、特許文献1には、線量管理システムが開示されている。
特開2015-173889号公報
近年、厚生労働省ガイドラインに基づき線量管理の厳格化が進んでおり、このガイドラインには、診断参考レベル(Diagnostic Reference Level :DRL)に基づいて、線量管理をするように記載されている。診断参考レベルのガイドラインを参考に線量管理をする必要がある。また、患者によって体格も異なっているので、患者ごとに線量管理をする上では、CT検査時に患者が受ける被ばく線量だけでなく、患者の体重情報も管理することが重要となる。したがって、医療機関は、各患者の体重情報を取得し、RIS(放射線科情報システム)に記録している。
医療機関では、患者の体重情報を取得するために、例えば、CT検査の前に患者の体重を体重計で計測することが行われている。患者の体重を計測したら、計測した体重がRISに記録される。しかし、CT検査のたびに必ずしも患者の体重を体重計で計測することができるわけではない。そのため、RISに記録されている体重情報が古いものになってしまう恐れがあるが、このような古い体重情報で線量を管理することは望ましいことではない。また、患者が車椅子やストレッチャーを利用している場合、体重を計測すること自体が容易なことではないという問題もある。
したがって、患者の体重情報を容易に取得することができる技術が望まれている。
本発明の第1の観点は、医用装置のテーブルに寝ている撮影対象者の入力画像が入力されることにより前記撮影対象者の体重を出力する学習済みモデルを生成する学習済みモデル生成方法であって、
ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより、前記学習済みモデルを生成する、学習済みモデル生成方法である。
本発明の第2の観点は、医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行する処理装置である。
本発明の第3の観点は、1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行させる、記憶媒体である。
本発明の第4の観点は、テーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行する医用装置である。
本発明の第5の観点は、医用装置のテーブルに寝ている撮影対象者の入力画像が入力されることにより前記撮影対象者の体重を出力する学習済みモデルであって、
前記学習済みモデルは、
ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより生成される、学習済みモデル。
本発明の第6の観点は、医用装置のテーブルに寝ている撮影対象者の入力画像が入力されることにより前記撮影対象者の体重を出力する学習済みモデルを生成する学習済みモデル生成装置であって、
ニューラルネットワークが、
(1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
(2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
を用いた学習を実行することにより、前記学習済みモデルを生成する、学習済みモデル生成装置である。
人間の体格と体重はある程度の相関がある。したがって、人間が映ったカメラ画像に基づいて学習用画像を生成し、学習用画像に、正解データとして人間の体重をラベリングしておき、ニューラルネットワークが、学習用画像と正解データとを用いた学習を実行することにより、体重を推論することができる学習済みモデルを生成することができる。また、医用装置には、CT装置、MRI装置などのように、患者をテーブルに寝かせてスキャンを行う医用装置がある。したがって、テーブルに寝た患者のカメラ画像を取得するためのカメラを用意しておけば、患者を含むカメラ画像を取得することができるので、この取得したカメラ画像に基づいて、学習済みモデルに入力する入力画像を生成し、この入力画像を学習済みモデルに入力することにより、患者の体重を推論することができる。
したがって、検査のたびに患者の体重を計測しなくても、患者の体重が推論されるので、検査時における患者の体重を管理することができる。
また、BMIと身長が分かれば、体重を計算することができる。そこで、体重ではなく身長を推論し、推論した身長とBMIに基づいて体重を計算することにより、体重情報を取得することもできる。
病院のネットワークシステムの説明図である。病院のネットワークシステムの説明図である。 X線CT装置の概略図である。 ガントリ2、テーブル4、および操作コンソール8の説明図である。 処理部84の主な機能ブロックを示す図である。 学習フェーズのフローチャートを示す図である。 学習フェーズの説明図である。 検査フローを示す図である。 生成された入力画像61の概略図を示す図である。 推論フェーズの説明図である。 入力画像611を示す図である。 体重を更新するか否かをオペレータに確認する方法の説明図である。 PACS11に送信される各種データの一例の説明図である。 第2の形態における処理部84の主な機能ブロックを示す図である。 学習用画像CI1~CInを概略的に示す図である。 第2の形態における検査フローを示す図である。 入力画像62の概略図を示す図である。 患者40の身長を推論する推論フェーズの説明図である。 体重と身長を更新するか否かを確認する方法の説明図である。 姿勢(1)~(4)に対して用意された学習用画像および正解データの説明図である。 ステップST2の説明図である。 入力画像64の概略図を示す図である。 患者40の体重を推論する推論フェーズの説明図である。 第4の形態における処理部84の主な機能ブロックを示す図である。 ステップST2の説明図である。 第4の形態における患者40の検査フローを示す図である。 体重を推論する推論フェーズの説明図である。
以下、発明を実施するための形態について説明するが、本発明は、以下の形態に限定されることはない。
図1は、病院のネットワークシステムの説明図である。
ネットワークシステム10は、複数のモダリティQ1~Qaを含んでいる。複数のモダリティQ1~Qaの各々は、患者の診断や治療などを行うモダリティである。
各モダリティは、医用装置と操作コンソールとを有する医用システムである。医用装置は患者からデータを収集する装置であり、操作コンソールは、医用装置に接続されており、医用装置の操作に使用されるものである。医用装置は、患者からデータを収集する装置であり、医用装置としては、例えば、単純X線撮影装置、X線CT装置、PET-CT装置、MRI装置、MRI-PET装置、マンモグイラフィ装置など、様々な装置を使用することができる。尚、図1では、システム10は複数のモダリティを含んでいるが、複数のモダリティの代わりに、1つのモダリティを含んでいてもよい。
また、システム10は、PACS(Picture Archiving and Communication Systems)11を有している。PACS11は、各モダリティで得られた画像などのデータを通信網12を介して受信し、受信したデータを保管する。また、PACS11は、必要に応じて、通信網12を介して保管したデータを転送する。
更に、システム10は、複数のワークステーションW1~Wbを有している。これらのワークステーションW1~Wbには、例えば、病院情報システム(HIS)、放射線科情報システム(RIS)、臨床情報システム(CIS)、心血管情報システ ム(CVIS)、図書館情報システム(LIS)、電子カルテ(EMR)システム、および/又は他の画像及び情報管理システム等で使用されるワークステーション、読影医の検像作業に使用されるワークステーションが含まれている。
ネットワークシステム10は上記のように構成されている。次に、モダリティの一例であるX線CT装置の構成の一例について説明する。
図2は、X線CT装置の概略図である。
図2に示すように、X線CT装置1は、ガントリ(gantry)2、テーブル(table)4、カメラ(camera)6、及び操作コンソール(console)8を備えている。
スキャンルーム100には、ガントリ2及びテーブル4が設置されている。ガントリ2は表示パネル20を有している。オペレータは、表示パネル20から、ガントリ2およびテーブル4を操作するための操作信号を入力することができる。スキャンルーム100の天井101にはカメラ6が設置されている。操作ルーム200には、操作コンソール8が設置されている。
カメラ6の撮影視野は、テーブル4およびその周囲を含むように設定されている。したがって、撮影対象である患者40がテーブル4に寝ると、カメラ6によって、患者40を含むカメラ画像を取得することができる。
次に、ガントリ2、テーブル4、および操作コンソール8について、図3を参照しながら説明する。
図3は、ガントリ2、テーブル4、および操作コンソール8の説明図である。
ガントリ2は、患者40が移動可能な空間であるボア21を画定する内壁を有している。
また、ガントリ2は、X線管22、アパーチャ(aperture)23、コリメータ24、X線検出器25、データ収集部(data acquisition system)26、回転部27、高電圧電源28、アパーチャ駆動装置29、回転部駆動装置30、GT(Gantry Table)制御部31などを有している。
X線管22、アパーチャ23、コリメータ24、X線検出器25、およびデータ収集部26は、回転部27に搭載されている。
X線管22は患者40にX線を照射する。X線検出器25は、X線管22から照射されたX線を検出する。X線検出器25は、ボア21に対してX線管22とは反対側に設けられている。
アパーチャ23は、X線管22とボア21との間に配置されている。アパーチャ23は、X線管22のX線焦点からX線検出器25に向けて放射されるX線をファンビーム(fan beam)やコーンビーム(cone beam)に成形する。
X線検出器25は、患者40を透過したX線を検出する。
コリメータ24は、X線検出器25に対してX線入射側に配置されており、散乱X線を除去する。
高電圧電源28は、X線管22に高電圧及び電流を供給する。
アパーチャ駆動装置29はアパーチャ23を駆動しその開口を変形させる。
回転部駆動装置30は回転部27を回転駆動する。
テーブル4は、クレードル(cradle)41、クレードル支持台42、および駆動装置43を有している。クレードル41は撮影対象者である患者40を支持するものである。クレードル支持台42は、クレードル41をy方向およびz方向に移動可能に支持するものである。駆動装置43は、クレードル41およびクレードル支持台42を駆動するものである。尚、ここでは、クレードル41の長手方向をz方向、テーブル4の高さ方向をy方向、z方向およびy方向に垂直な水平方向をx方向とする。
GT制御部31は、ガントリ2内の各装置・各部、およびテーブル4の駆動装置43等を制御する。
操作コンソール8は、入力部81、表示部82、記憶部83、処理部84、コンソール制御部85などを有している。
入力部81は、オペレータからの指示や情報の入力を受け付けたり、各種の操作を行うためのキーボード(keyboard)およびポインティングデバイス(pointing device)などを含んでいる。表示部82は、スキャン条件を設定するための設定画面、カメラ画像、CT画像などを表示するものであり、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどである。
記憶部83は、プロセッサで各種処理を実行させるためのプログラムが記憶されている。また、記憶部83は、各種データや各種ファイルなども記憶する。記憶部83は、HDD(Hard Disk Drive:ハードディスクドライブ)、SSD(Solid State Drive:ソリッドステートドライブ)、DRAM(Dynamic Random Access Memory)、およびROM(Read Only Memory)等を有している。また、記憶部83は、CD(Compact Disk)やDVD(Digital Versatile Disk)などの可搬性の記憶媒体90を含んでいてもよい。
処理部84は、ガントリ2により取得された患者40のデータ(data)に基づいて画像再構成処理を行ったり、その他の各種の演算を行う。処理部84は一つ以上のプロセッサを有しており、一つ以上のプロセッサが、記憶部83に記憶されているプログラムに記述されている各種処理を実行する。
図4は、処理部84の主な機能ブロックを示す図である。
処理部84は、生成部841、推論部842、確認部843、および再構成部844を有している。
生成部841は、カメラ画像に基づいて、学習済みモデルに入力される入力画像を生成する。
推論部842は、入力画像を学習済みモデルに入力し、患者の体重を推論する。
確認部843は、推論された体重を更新するか否かをオペレータに確認する。
再構成部844は、スキャンにより得られた投影データに基づいてCT画像を再構成する。
尚、生成部841、推論部842、確認部843、および再構成部844の詳細については、後述する検査フロー(図7参照)の各ステップの中で説明する。
記憶部83には、上記の機能を実行するためのプログラムが記憶されている。処理部84は、プログラムを実行することにより、上記の機能を実現する。記憶部83には、1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作(a1)-(a4)を実行させる。
(a1)カメラ画像に基づいて、学習済みモデルに入力される入力画像を生成すること(生成部841)
(a2)入力画像を学習済みモデルに入力し、患者の体重を推論すること(推論部842)
(a3)体重を更新するか否かをオペレータに確認すること(確認部843)
(a4)投影データに基づいてCT画像を再構成すること(再構成部844)
コンソール8の処理部84は、記憶部83に格納されているプログラムを読み出し、上記の動作(a1)-(a4)を実行することができる。
コンソール制御部85は、入力部81からの入力に基づいて、表示部82を制御したり、処理部84を制御する。
X線CT装置1は上記のように構成されている。
図3には、モダリティの例としてCT装置が示されているが、病院内には、MRI装置、PET装置など、CT装置以外の医用装置も設置されている。
近年、CT検査など、X線を使用する検査を実行する場合、患者の被ばく線量を厳格に管理することが要求されている。医療機関では、患者の体重情報を取得するために、例えば、CT検査の前に患者の体重を体重計で計測することが行われている。患者の体重を計測したら、計測した体重がRISに記録される。しかし、CT検査のたびに必ずしも患者の体重を体重計で計測することができるわけではない。そのため、RISに記録されている体重情報が古いものになってしまう恐れがあるが、このような古い体重情報で線量を管理することは望ましいことではない。また、患者が車椅子やストレッチャーを利用している場合、体重を計測すること自体が容易なことではないという問題もある。そこで、本形態では、この問題に対処するために、DL(深層学習)を利用して患者の体重を推論することができる学習済みモデルを生成している。
以下に、学習済みモデルの生成するための学習フェーズについて、図5および図6を参照しながら説明する。
図5は学習フェーズのフローチャートを示す図、図6は学習フェーズの説明図である。
ステップST1では、学習フェーズで使用される複数の学習用画像を用意する。図6に、学習用画像C1~Cnを概略的に示す。各学習用画像Ci(1≦i≦n)は、テーブルに仰臥位の姿勢で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像C1~Cnは、ヘッドファースト(head first)の状態で仰臥位の姿勢をとる人間の画像と、フィートファースト(feet first)の状態で仰臥位の姿勢をとる人間の画像が含まれている。
尚、カメラ画像に対して実行される所定の画像処理としては、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。また、学習用画像C1~Cnには、上記のように、ヘッドファーストの状態で仰臥位の姿勢をとる人間の画像と、フィートファーストの状態で仰臥位の姿勢をとる人間の画像が含まれている。しかし、フィートファーストの人間の頭尾方向は、ヘッドファーストの人間の頭尾方向とは反対である。そこで、第1の形態では、人間の頭尾方向を一致させるために、所定の画像処理は、画像を180°回転させる処理も含んでいる。図6を参照すると、学習用画像C1はヘッドファーストであるが、学習用画像Cnはフィートファーストである。そこで、学習用画像Cnの人間の頭尾方向が、学習用画像C1の人間の頭尾方向に一致するように、学習用画像Cnを180°回転させている。このようにして、学習用画像C1~Cnは、人間の頭尾方向が一致するように設定されている。
また、複数の正解データG1~Gnも用意する。各正解データGi(1≦i≦n)は、複数の学習用画像C1~Cnのうちの対応する学習用画像Ciに含まれる人間の体重を表すデータである。各正解データGiは、複数の学習用画像C1~Cnのうちの対応する学習用画像Ciにラベリングされている。
学習用画像および正解データを用意した後、ステップST2に進む。
ステップST2では、コンピュータ(学習済みモデル生成装置)を用いて、図6に示すように、ニューラルネットワーク(NN)91に、学習用画像C1~Cnおよび正解データG1~Gnを用いた学習を実行させる。これによって、ニューラルネットワーク(NN)91が、学習用画像C1~Cnおよび正解データG1~Gnを用いた学習を実行する。その結果、学習済みモデル91aを生成することができる。
このようにして生成された学習済みモデル91aは、記憶部(例えば、CT装置の記憶部、又はCT装置に接続されている外部装置の記憶部)に記憶される。
上記の学習フェーズにより得られた学習済みモデル91aは、患者40の検査時に患者40の体重を推論するために使用される。以下に、患者40の検査フローについて説明する。
図7は、検査フローを示す図である。
ステップST11では、オペレータが撮影対象者である患者40をスキャンルーム100に案内し、図2に示すように、患者40を仰臥位の姿勢でテーブル4に寝かせる。
カメラ6は、スキャンルーム内部のカメラ画像を取得し、このカメラ画像をコンソール8に出力する。コンソール8は、カメラ6から受け取ったカメラ画像に対して、必要に応じて所定のデータ処理を行い、ガントリ2の表示パネル20に出力する。表示パネル20は、カメラ6が撮影しているスキャンルーム内のカメラ画像を表示することができる。
患者40をテーブル4に寝かせた後、ステップST12に進む。
ステップST12では、学習済みモデル91aを用いて患者40の体重を推論する。以下、患者40の体重を推論する方法について具体的に説明する。
先ず、推論の前処理として、学習済みモデル91aに入力する入力画像を生成する。
生成部841(図4参照)は、カメラ6によって得られたカメラ画像に対して所定の画像処理を実行することにより、体重の推論に使用される入力画像を生成する。所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。図8に、生成された入力画像61の概略図を示す。
尚、患者40がテーブル4に寝る場合、患者40はテーブル4上で姿勢を調整しながらテーブル4に乗り、撮影用の姿勢である仰臥位の姿勢になる。したがって、入力画像61を生成する場合、この入力画像61の生成に使用されるカメラ画像に映っている患者40の姿勢が仰臥位であるか否かを判断する必要がある。患者40の姿勢が仰臥位であるか否かは、所定の画像処理技術を用いて判断することができる。
入力画像61を生成した後、推論部842(図4参照)が、入力画像61に基づいて、患者40の体重を推論する。図9は、推論フェーズの説明図である。
推論部842は、入力画像61を学習済みモデル91aに入力する。
尚、学習フェーズ(図6参照)ではフィートファーストの学習用画像は180°回転させているので、推論フェーズにおいて、フィートファーストの入力画像が生成される場合は、入力画像を180°回転させる必要がある。本形態では、患者40の方向は、フィートファーストではなく、ヘッドファーストであるので、推論部842は、入力画像を180°回転させる必要はないと判定する。したがって、推論部842は、入力画像61を180°回転させずに学習済みモデル91aに入力する。
一方、患者40の方向がフィートファーストの場合、図10に示すような入力画像611が得られる。この場合は、入力画像611を180°回転させた後の入力画像612を、学習済みモデル91aに入力する。このように、患者40の方向に基づいて、入力画像を180°回転させるか否かを判断することにより、推論フェーズにおける患者40の頭尾方向を学習フェーズにおける人間の頭尾方向に一致させることができるので、推論精度を向上させることができる。
尚、入力画像を180°回転させるか否かを判断する場合、患者40の方向がヘッドファーストなのかフィートファーストなのかを特定する必要がある。この特定方法としては、例えば、RISの情報に基づいて実行することができる。RISには、検査時の患者40の方向が含まれているので、生成部841は、RISから、患者の方向を特定することができる。したがって、生成部841は、患者40の方向に基づいて、入力画像を180°回転させるか否かを判断することができる。
学習済みモデル91aに入力画像61が入力されると、学習済みモデル91aは入力画像61の患者40の体重を推論して出力する。体重を推論した後、ステップST13に進む。
ステップST13では、確認部843(図4参照)が、ステップST12で推論された体重を更新するか否かをオペレータに確認する。図11は、体重を更新するか否かをオペレータに確認する方法の説明図である。
確認部843は、表示部82(図3参照)に、患者情報70を表示させるとともにウインドウ71も表示させる。ウインドウ71は、ステップST12で推論された体重を更新するか否かをオペレータに確認させるためのウインドウである。このウインドウ71が表示されたら、ステップST14に進む。
ステップST14では、オペレータが、体重を更新するか否かを判断する。オペレータは、体重を更新しない場合はウインドウ71のNoボタンをクリックし、一方、体重を更新する場合は、ウインドウ71のYesボタンをクリックする。Noボタンがクリックされると、確認部843は、患者40の体重は更新されないと判断し、過去の体重がそのまま保存される。一方、Yesボタンがクリックされると、確認部843は患者40の体重が更新されると判断する。患者40の体重が更新された場合、RISは更新後の体重を患者40の体重として管理する。
体重の更新(または更新のキャンセル)が終了したら、ステップST15に進む。
ステップST15では、患者40をボア21内に移動させスカウトスキャンを実行する。
スカウトスキャンが実行されると、再構成部844(図4参照)は、スカウトスキャンにより得られた投影データに基づいて、スカウト画像を再構成する。オペレータはスカウト画像に基づいてスキャン範囲を設定する。そして、ステップST16に進み、患者40の診断に使用される種々のCT画像を取得するための診断スキャンが実行される。再構成部844は、診断スキャンにより得られた投影データに基づいて、診断用のCT画像を再構成する。診断スキャンが終了したら、ステップST17に進む。
ステップST17では、オペレータは、検査終了操作を行う。検査終了操作が行われると、PACS11(図1参照)に送信されるべき各種データが生成される。
図12は、PACS11に送信される各種データの一例の説明図である。
X線CT装置はDICOMファイルFS1~FSaおよびFD1~FDbを作成する。
DICOMファイルFS1~FSaはスカウトスキャンで取得されたスカウト画像を格納し、DICOMファイルFD1~FDbは診断スキャンで取得されたCT画像を格納する。
DICOMファイルFS1~FSaには、スカウト画像のピクセルデータと、付帯情報とが格納されている。尚、DICOMファイルFS1~FSaには、互いに異なるスライスのスカウト画像のピクセルデータが格納されている。
また、DICOMファイルFS1~FSaには、付帯情報のデータエレメントとして、検査リストに記述された患者情報、スカウトスキャンの撮影条件を示す撮影条件情報などが格納される。患者情報には、更新された体重などが含まれる。更に、DICOMファイルFS1~FSaには、付帯情報のデータエレメントとして、入力画像61(図9参照)およびプロトコルデータなども格納される。
一方、DICOMファイルFD1~FDbには、診断スキャンで得られたCT画像のピクセルデータと、付帯情報とが格納されている。尚、DICOMファイルFD1~FDbには、互いに異なるスライスのCT画像のピクセルデータが格納されている。
また、DICOMファイルFD1~FDbには、付帯情報として、診断スキャンにおける撮影条件を示す撮影条件情報、線量情報、検査リストに記述された患者情報などが格納される。患者情報には、更新された体重などが含まれる。また、DICOMファイルFD1~FDbには、DICOMファイルFS1~FSaと同様に、付帯情報として、入力画像61およびプロトコルデータも格納される。
X線CT装置1(図2参照)は、上記の構造のDICOMファイルFS1~FSaおよびFD1~FDbをPACS11(図1参照)に送信する。
また、オペレータは、患者40に検査が終了したことを伝えて、患者40をテーブル4から降ろす。このようにして、患者40の検査が終了する。
本形態では、テーブル4に寝ている患者40のカメラ画像に基づいて入力画像61を生成し、この入力画像61を学習済みモデル91aに入力することにより、患者40の体重を推論する。したがって、体重計などの患者40の体重を計測する計測器を使用しなくても、患者40の検査時の体重情報を得ることができるので、患者40の線量情報を患者40の検査時の体重と対応付けて管理することが可能となる。また、患者40がテーブル4に寝ている間に取得されたカメラ画像に基づいて体重を推論するので、技師や看護師などの病院のスタッフが体重計で患者40の体重を計測する作業が不要となるので、スタッフの作業を軽減することもできる。
第1の形態では、患者40が仰臥位の姿勢で検査を受ける例について説明されている。しかし、本発明は、患者40が仰臥位とは別の姿勢で検査を受ける場合にも適用することができる。例えば、患者40が右側臥位の姿勢で検査を受けることを想定している場合は、ニューラルネットワークに右側臥位の姿勢の学習用画像を学習させて、右側臥位用の学習済みモデルを用意し、この学習済みモデルを使用して、右側臥位の姿勢の患者40の体重を推定することができる。
第1の形態では、オペレータに体重を更新するか否かを確認させている(ステップST13)。しかし、この確認ステップを省略し、推論した体重を自動的に更新してもよい。
尚、第1の形態では、システム10がPACS11を含んでいるが、PACS11の代わりに、患者データや患者画像を管理する別の管理システムを使用してもよい。
(第2の形態)
第1の形態では体重を推論したが、第2の形態では、身長を推論し、推論した身長とBMIとから体重を計算する方法について説明する。
図13は、第2の形態における処理部84の主な機能ブロックを示す図である。
処理部84は、生成部940、推論部941、計算部942、確認部943、および再構成部944を有している。
生成部940は、カメラ画像に基づいて、学習済みモデルに入力される入力画像を生成する。
推論部941は、入力画像を学習済みモデルに入力し、患者の身長を推論する。
計算部942は、BMIと推論された身長とに基づいて、患者の体重を計算する。
確認部943は、計算された体重を更新するか否かをオペレータに確認する。
再構成部944は、スキャンにより得られた投影データに基づいてCT画像を再構成する。
また、記憶部83には、1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作(b1)-(b5)を実行させる。
(b1)カメラ画像に基づいて、学習済みモデルに入力される入力画像を生成すること(生成部940)
(b2)入力画像を学習済みモデルに入力し、患者の身長を推論すること(推論部941)
(b3)BMIと推論された身長とに基づいて、患者の体重を計算すること(計算部942)
(b4)体重を更新するか否かをオペレータに確認すること(確認部943)
(b5)投影データに基づいてCT画像を再構成すること(再構成部944)
コンソール8の処理部84は、記憶部83に格納されているプログラムを読み出し、上記の動作(b1)-(b5)を実行することができる。
先ず、第2の形態における学習フェーズについて説明する。尚、第2の形態における学習フェーズも、第1の形態と同様に、図5に示すフローを参照しながら説明する。
ステップST1では、学習フェーズで使用される複数の学習用画像を用意する。図14に、学習用画像CI1~CInを概略的に示す。各学習用画像CIi(1≦i<n)は、テーブルに仰臥位で寝ている人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。第2の形態では、第1の形態のステップST1で使用した学習用画像C1~Cn(図6参照)を、学習用画像CI1~CInとして使用することができる。
また、複数の正解データGI1~GInも用意する。各正解データGIi(1≦i≦n)は、複数の学習用画像CI1~CInのうちの対応する学習用画像CIiに含まれる人間の身長を表すデータである。各正解データGIiは、複数の学習用画像CI1~CInのうちの対応する学習用画像GIiにラベリングされている。
学習用画像および正解データを用意した後、ステップST2に進む。
ステップST2では、学習済みモデルを生成する。
具体的には、図14に示すように、コンピュータを用いて、ニューラルネットワーク(NN)92に、学習用画像CI1~CInおよび正解データGI1~GInを用いた学習を実行させる。これによって、ニューラルネットワーク(NN)92が、学習用画像CI1~CInおよび正解データGI1~GInを用いた学習を実行する。その結果、学習済みモデル92aを生成することができる。
このようにして生成された学習済みモデル92aは、記憶部(例えば、CT装置の記憶部、又はCT装置に接続されている外部装置の記憶部)に記憶される。
上記の学習フェーズにより得られた学習済みモデル92aは、患者40の検査時に患者40の身長を推論するために使用される。以下に、患者40の検査フローについて説明する。
図15は、第2の形態における検査フローを示す図である。
ステップST21では、オペレータが患者40をスキャンルームへと案内し、患者40をテーブル4に寝かせる。また、カメラ6は、スキャンルーム内のカメラ画像を取得する。
患者40をテーブル4に寝かせた後、ステップST30およびステップST22に進む。
ステップST30では、スキャン条件を設定し、スカウトスキャンを実行する。スカウトスキャンが実行されると、再構成部944(図13参照)は、スカウトスキャンにより得られた投影データに基づいて、スカウト画像を再構成する。
ステップST30が実行される一方でステップST22が実行される。
ステップST22では、患者40の体重を求める、以下に、患者40の体重を求める方法について説明する。尚、ステップST22は、ステップST221、ST222、ST223を有しているので、以下、各ステップST221、ST222、ST223について順に説明する。
ステップST221では、先ず、生成部940(図13参照)が、患者40の身長を推論するために学習済みモデルに入力される入力画像を生成する。第2の形態では、第1の形態と同様に、患者40の姿勢は仰臥位である。したがって、生成部940は、仰臥位でテーブル4に寝ている患者40のカメラ画像に対して所定の画像処理を実行することにより、身長の推論に使用される入力画像を生成する。図16に、生成された入力画像62の概略図を示す。
次に、推論部941(図13参照)が、入力画像62に基づいて、患者40の身長を推論する。
図17は、患者40の身長を推論する推論フェーズの説明図である。
推論部941は、入力画像62を学習済みモデル92aに入力する。学習済みモデル92aは入力画像62に含まれている患者40の身長を推論して出力する。したがって、患者40の身長を推論することができる。患者40の身長を推論したら、ステップST222に進む。
ステップST222では、計算部942(図13参照)が患者40のBMI(Body Mass Index)を計算する。BMIはCT画像に基づいて、既知の方法で計算することができる。BMIの計算方法としては、例えば、Menke J., “Comparison of Different Body Size Parameters for Individual Dose Adaptation in Body CT of Adults.” Radiology 2005; 236:565-571に記載されている方法を使用することができる。第2の形態では、ステップST30において、CT画像であるスカウト画像が取得されるので、計算部942は、ステップST30においてスカウト画像が取得されたら、スカウト画像に基づいてBMIを計算することができる。
次に、ステップST223では、計算部942が、ステップST222で計算したBMIと、ステップST221で推論した身長とに基づいて、患者40の体重を計算する。BMI、身長、および体重の間には、以下の関係式(1)が成り立つ。
BMI=体重÷(身長) ・・・(1)
上記のように、BMIおよび身長は既知であるので、上記の式(1)から、体重を計算することができる。体重を計算した後、ステップST23に進む。
ステップST23では、確認部943が、ステップST22で計算した体重を更新するか否かをオペレータに確認する。第2の形態では、オペレータに体重を確認させるために、第1の形態と同様に、表示部82に、ウインドウ71(図11参照)を表示させる。
ステップST24では、オペレータが、体重を更新するか否かを判断する。オペレータは、体重を更新しない場合はウインドウ71のNoボタンをクリックし、一方、体重を更新する場合は、ウインドウ71のYesボタンをクリックする。Noボタンがクリックされると、確認部843は、患者40の体重は更新されないと判断し、過去の体重がそのまま保存される。一方、Yesボタンがクリックされると、確認部843は患者40の体重が更新されると判断する。患者40の体重が更新された場合、RISは更新後の体重を患者40の体重として管理する。
尚、ステップST23において、図18に示すように、体重だけでなく、身長も更新するか否かを確認するようにしてもよい。オペレータは、身長を更新する場合Yesボタンをクリックし、身長を更新しない場合Noボタンをクリックする。したがって、体重と身長との両方の患者情報を管理することが可能となる。
このようにして、体重の更新処理のフローが終了する。
また、体重を更新する一方で、ステップST31およびST32が実行される。ステップST31およびST32は、第1の形態のステップST16およびST17と同じであるので説明は省略する。
このようにして、図15に示すフローが終了する。
第2の形態では、体重の代わりに身長を推論し、推論した身長に基づいて、体重を計算している。このように、身長を推論し、BMIの式から体重を計算してもよい。
(第3の形態)
第1および第2の形態では、患者40の姿勢が仰臥位であることが前提になっている。しかし、患者40が受ける検査によっては、患者40の姿勢を仰臥位とは別の姿勢(例えば、右側臥位)にしなければならないこともある。そこで、第3の形態では、患者40が受ける検査によって、患者40の姿勢が異なる場合であっても、十分な精度で患者40の体重を推論することができる方法について説明する。
尚、第3の形態における処理部84は、第1の形態と同様に、図4に示す機能ブロックを参照しながら説明することにする。
第3の形態では、撮影時の患者の姿勢として以下の4つの姿勢(1)~(4)を考えることにするが、姿勢(1)~(4)とは別の姿勢を含むようにしてもよい。
(1)仰臥位
(2)伏臥位
(3)左側臥位
(4)右側臥位
以下、第3の形態における学習フェーズについて説明する。尚、第3の形態における学習フェーズも、第1の形態と同様に、図5に示すフローを参照しながら説明する。
ステップST1では、学習フェーズで使用する学習用画像および正解データを用意する。
第3の形態では、上記の姿勢(1)~(4)のそれぞれについて、学習フェーズで使用される複数の学習用画像および正解データを用意する。図19は、上記の姿勢(1)~(4)に対して用意された学習用画像および正解データの説明図である。各姿勢に対して用意された学習用画像および正解データは、以下の通りである。
[(1)姿勢:仰臥位について]
仰臥位に対応した学習用画像として、n枚の学習用画像CA1~CAnが用意される。各学習用画像CAi(1≦i≦n)は、テーブルに仰臥位に寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CA1~CAnは、ヘッドファーストの状態で仰臥位の姿勢をとる人間の画像と、フィートファーストの状態で仰臥位の姿勢をとる人間の画像が含まれている。
カメラ画像に対して実行される所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。また、上記のように、学習用画像CA1~CAnは、ヘッドファーストの状態で仰臥位の姿勢をとる人間の画像と、フィートファーストの状態で仰臥位の姿勢をとる人間の画像が含まれている。そこで、人間の頭尾方向を一致させるために、所定の画像処理は、学習用画像を180°回転させる処理も含んでいる。例えば、学習用画像CA1はヘッドファーストであるが、学習用画像CAnはフィートファーストである。そこで、学習用画像CAnの人間の頭尾方向が、学習用画像CA1の人間の頭尾方向に一致するように、学習用画像CAnを180°回転させている。このようにして、学習用画像CA1~CAnは、人間の頭尾方向が一致するように設定されている。
また、正解データGA1~GAnも用意する。各正解データGAi(1≦i≦n)は、複数の学習用画像CA1~CAnのうちの対応する学習用画像CAiに含まれる人間の体重を表すデータである。各正解データGAiは、複数の学習用画像CA1~CAnのうちの対応する学習用画像にラベリングされている。
[(2)姿勢:伏臥位について]
伏臥位に対応した学習用画像として、n枚の学習用画像CB1~CBnが用意される。各学習用画像CBi(1≦i≦n)は、テーブルに伏臥位の状態で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CB1~CBnは、ヘッドファーストの状態で伏臥位の姿勢をとる人間の画像と、フィートファーストの状態で伏臥位の姿勢をとる人間の画像が含まれている。
カメラ画像に対して実行される所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。また、上記のように、学習用画像CB1~CBnは、ヘッドファーストの状態で伏臥位の姿勢をとる人間の画像と、フィートファーストの状態で伏臥位の姿勢をとる人間の画像が含まれている。そこで、人間の頭尾方向を一致させるために、所定の画像処理は、学習用画像を180°回転させる処理も含んでいる。例えば、学習用画像CB1はヘッドファーストであるが、学習用画像CBnはフィートファーストであるので、学習用画像CBnの人間の頭尾方向が、学習用画像CB1の人間の頭尾方向に一致するように、学習用画像CBnを180°回転させている。
また、正解データGB1~GBnも用意する。各正解データGBi(1≦i≦n)は、複数の学習用画像CB1~CBnのうちの対応する学習用画像CBiに含まれる人間の体重を表すデータである。各正解データGBiは、複数の学習用画像CB1~CBnのうちの対応する学習用画像にラベリングされている。
[(3)姿勢:左側臥位について]
左側臥位に対応した学習用画像として、n枚の学習用画像CC1~CCnが用意される。各学習用画像CCi(1≦i≦n)は、テーブルに左側臥位の姿勢で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CC1~CCnは、ヘッドファーストの状態で左側臥位の姿勢をとる人間の画像と、フィートファーストの状態で左側臥位の姿勢をとる人間の画像が含まれている。
カメラ画像に対して実行される所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。また、上記のように、学習用画像CC1~CCnは、ヘッドファーストの状態で左側臥位の姿勢をとる人間の画像と、フィートファーストの状態で左側臥位の姿勢をとる人間の画像が含まれている。そこで、人間の頭尾方向を一致させるために、所定の画像処理は、学習用画像を180°回転させる処理も含んでいる。例えば、学習用画像CC1はヘッドファーストであるが、学習用画像CCnはフィートファーストであるので、学習用画像CCnの人間の頭尾方向が、学習用画像CC1の人間の頭尾方向に一致するように、学習用画像CCnを180°回転させている。
また、正解データGC1~GCnも用意する。各正解データGCi(1≦i≦n)は、複数の学習用画像CC1~CCnのうちの対応する学習用画像CCiに含まれる人間の体重を表すデータである。各正解データGCiは、複数の学習用画像CC1~CCnのうちの対応する学習用画像にラベリングされている。
[(4)姿勢:右側臥位について]
右側臥位に対応した学習用画像として、n枚の学習用画像CD1~CDnが用意される。各学習用画像CDi(1≦i≦n)は、テーブルに右側臥位の姿勢で寝かせた人間を、テーブルの上からカメラで撮影することによりカメラ画像を取得し、このカメラ画像に対して所定の画像処理を実行することにより用意することができる。学習用画像CD1~CDnは、ヘッドファーストの状態で右側臥位の姿勢をとる人間の画像と、フィートファーストの状態で右側臥位の姿勢をとる人間の画像が含まれている。
カメラ画像に対して実行される所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。また、上記のように、学習用画像CD1~CDnは、ヘッドファーストの状態で右側臥位の姿勢をとる人間の画像と、フィートファーストの状態で右側臥位の姿勢をとる人間の画像が含まれている。そこで、人間の頭尾方向を一致させるために、所定の画像処理は、画像を180°回転させる処理も含んでいる。例えば、学習用画像CD1はヘッドファーストであるが、学習用画像CDnはフィートファーストであるので、学習用画像CDnの人間の頭尾方向が、学習用画像CD1の人間の頭尾方向に一致するように、学習用画像CDnを180°回転させている。
また、正解データGD1~GDnも用意する。各正解データGDi(1≦i≦n)は、複数の学習用画像CD1~CDnのうちの対応する学習用画像CDiに含まれる人間の体重を表すデータである。各正解データGDiは、複数の学習用画像CD1~CDnのうちの対応する学習用画像にラベリングされている。
上記の学習用画像および正解データを用意したら、ステップST2に進む。
図20はステップST2の説明図である。
ステップST2では、コンピュータを用いて、ニューラルネットワーク(NN)93に、上記の姿勢(1)~(4)における学習用画像および正解データ(図19参照)を用いた学習を実行させる。これによって、ニューラルネットワーク(NN)93が、上記の姿勢(1)~(4)における学習用画像および正解データを用いた学習を実行する。この結果、学習済みモデル93aを生成することができる。
このようにして生成された学習済みモデル93aは、記憶部(例えば、CT装置の記憶部、又はCT装置に接続されている外部装置の記憶部)に記憶される。
上記の学習フェーズにより得られた学習済みモデル93aは、患者40の検査時に患者40の体重を推論するために使用される。以下に、患者の姿勢が右側臥位である場合を例にして、患者40の検査フローを説明する。尚、第3の形態における患者40の検査フローについても、第1の形態と同様に、図7に示すフローを参照しながら説明する。
ステップST11では、オペレータが患者40をスキャンルームへと案内し、患者40をテーブル4に寝かせる。ガントリ2の表示パネル20には、患者40のカメラ画像が表示される。
患者40をテーブル4に寝かせた後、ステップST12に進む。
ステップST12では、学習済みモデル93aを用いて患者40の体重を推論する。以下、患者40の体重を推論する方法について具体的に説明する。
先ず、学習済みモデル93aに入力する入力画像を生成する。
生成部841は、カメラ6によって得られたカメラ画像に対して所定の画像処理を実行することにより、体重の推論に使用される入力画像を生成する。所定の画像処理は、例えば、画像を切り出しする処理、標準化処理、正規化処理などがある。図21に、生成された入力画像64の概略図を示す。
入力画像64を生成した後、推論部842(図4参照)が、入力画像64に基づいて、患者40の体重を推論する。図22は、患者40の体重を推論する推論フェーズの説明図である。
推論部842は、入力画像を学習済みモデル93aに入力する。
尚、学習フェーズ(図19参照)ではフィートファーストの学習用画像は180°回転させているので、推論フェーズにおいて、フィートファーストの入力画像が生成される場合は、入力画像を180°回転させる必要がある。本形態では、患者40の方向は、フィートファーストであるので、推論部842は、入力画像64を180°回転し、1180°回転させた後の入力画像641を、学習済みモデル93aに入力する。学習済みモデル93aは入力画像641の患者40の体重を推論して出力する。体重を推論した後、ステップST13に進む。
ステップST13では、確認部843が、ステップST12で推論された体重を更新するか否かをオペレータに確認し(図11参照)、ステップST14では、オペレータが、体重を更新するか否かを判断し、ステップST15に進む。
ステップST15では、患者40をボア21内に移動させスカウトスキャンを実行する。スカウトスキャンが実行されると、再構成部844は、スカウトスキャンにより得られた投影データに基づいて、スカウト画像を再構成する。オペレータはスカウト画像に基づいてスキャン範囲を設定する。そして、ステップST16に進み、患者40の診断に使用される種々のCT画像を取得するための診断スキャンが実行される。診断スキャンが終了したら、ステップST17に進み、検査終了操作を行い、患者40の検査が終了する。
第3の形態では、患者の姿勢として、姿勢(1)~(4)を考えて、各姿勢に対応した学習用画像および正解データを用意し、学習済みモデル93aを生成している(図20参照)。したがって、検査ごとに患者40の姿勢が異なる場合であっても、患者40の体重を推論することができる。
第3の形態では、4つの姿勢に対応した学習用画像および正解データを用いて学習済みモデル93aを生成している。しかし、上記の4つの姿勢のうちの一部の姿勢(例えば、仰臥位および左側臥位)に対応した学習用画像および正解データを用いて学習済みモデルを生成してもよい。
尚、第3の形態では、正解データとして体重を使用して学習済みモデルを生成している。しかし、体重の代わりに、身長を正解データとして、身長を推論する学習済みモデルを生成してもよい。この学習済みモデルを使用すると、検査ごとに患者40の姿勢が異なる場合であっても、患者40の身長を推論することができるので、上記の式(1)から、患者40の体重を計算することができる。
(第4の形態)
第3の形態では、ニューラルネットワーク93が、姿勢(1)~(4)の学習用画像および正解データを用いた学習を実行することで、学習済みモデルを生成する例を示した。第4の形態では、姿勢ごとに学習済みモデルを生成する例について説明する。
第4の形態では、処理部84は、以下の機能ブロックを有している。
図23は、第4の形態における処理部84の主な機能ブロックを示す図である。
第4の形態の処理部84は、主な機能ブロックとして、生成部841、選択部8411、推論部8421、確認部843、および再構成部844を有している。これらの機能ブロックのうち、生成部841、確認部843、および再構成部844については、第1の形態と同じであるので説明は省略し、選択部8411および推論部8421について説明する。
選択部8411は、複数の学習済みモデルの中から、患者の体重を推論するために使用される学習済みモデルを選択する。
推論部8421は、選択部8411で選択された学習済みモデルに、生成部841で生成された入力画像を入力して、患者の体重を推論する。
また、記憶部83には、1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納されている。この一つ以上の命令は、1つ以上のプロセッサに、以下の動作(c1)-(c5)を実行させる。
(c1)カメラ画像に基づいて、学習済みモデルに入力される入力画像を生成すること(生成部841)
(c2)複数の学習済みモデルの中から、患者の体重を推論するために使用される学習済みモデルを選択すること(選択部8411)
(c3)入力画像を、選択された学習済みモデルに入力し、患者の体重を推論すること(推論部8421)
(c4)体重を更新するか否かをオペレータに確認すること(確認部843)
(c5)投影データに基づいてCT画像を再構成する(再構成部844)
コンソール8の処理部84は、記憶部83に格納されているプログラムを読み出し、上記の動作(c1)-(c5)を実行することができる。
以下、第4の形態における学習フェーズについて説明する。尚、第4の形態における学習フェーズも、第3の形態と同様に、図5に示すフローを参照しながら説明する。
ステップST1では、学習フェーズで使用する学習用画像および正解データを用意する。
尚、第4の形態でも、第3の形態と同様に、患者の姿勢として、図19に示す姿勢(1)~(4)を考えている。したがって、第4の形態でも、図19に示す学習用画像および正解データを用意する。
図19に示す学習用画像および正解データを用意したら、ステップST2に進む。
図24はステップST2の説明図である。
ステップST2では、コンピュータを用いて、ニューラルネットワーク(NN)941~944に、それぞれ、上記の姿勢(1)~(4)における学習用画像および正解データ(図19参照)を用いた学習を実行させる。これによって、ニューラルネットワーク(NN)941~944が、それぞれ、上記の姿勢(1)~(4)における学習用画像および正解データ(図19参照)を用いた学習を実行する。その結果、上記の4つの姿勢に対応した学習済みモデル941a~944aを生成することができる。
このようにして生成された学習済みモデル941a~944aは、記憶部(例えば、CT装置の記憶部、又はCT装置に接続されている外部装置の記憶部)に記憶される。
上記の学習フェーズにより得られた学習済みモデル941a~944aは、患者40の検査時に患者40の体重を推論するために使用される。以下に、患者40の検査フローについて説明する。
図25は、第4の形態における患者40の検査フローを示す図である。
ステップST51では、オペレータが患者40をスキャンルームへと案内し、患者40をテーブル4に寝かせる。
患者40をテーブル4に寝かせた後、ステップST52に進む。
ステップST52では、選択部8411(図23参照)が、学習済みモデル941a~944aの中から、患者40の体重を推論するために使用する学習済みモデルを選択する。
ここでは、患者40の姿勢が右側臥位であるとする。したがって、選択部8411は、学習済みモデル941a~944aの中から、右側臥位に対応する学習済みモデル944a(図24参照)を選択する。
尚、学習済みモデル941a~944aの中から、学習済みモデル944aを選択するためには、患者の姿勢が右側臥位であることを特定する必要がある。この特定方法としては、例えば、RISの情報に基づいて実行することができる。RISには、検査時の患者40の姿勢が含まれているので、選択部8411は、RISから、患者の方向および患者の姿勢を特定することができる。したがって、選択部8411は、学習済みモデル941a~944aの中から、学習済みモデル944aを選択することができる。
学習済みモデル944aを選択した後、ステップST53に進む。
ステップST53では、学習済みモデルを用いて患者40の体重を推論する。以下、患者40の体重を推論する方法について具体的に説明する。
先ず、学習済みモデル944aに入力する入力画像を生成する。生成部841は、カメラ6によって得られたカメラ画像に対して所定の画像処理を実行することにより、体重の推論に使用される入力画像を生成する。尚、第4の形態では、第3の形態と同様に、患者40の姿勢が右伏臥位であるので、生成部841は、右側臥位でテーブル4に寝ている患者40のカメラ画像に基づいて、学習済みモデル944aに入力する入力画像64(図21参照)を生成する。
入力画像64を生成した後、推論部842(図23参照)が、入力画像64に基づいて、患者40の体重を推論する。図26は、体重を推論する推論フェーズの説明図である。
推論部842は、入力画像64を180°回転させた後の入力画像641を、ステップST52で選択された学習済みモデル944aに入力して患者40の体重を推論する。患者40の体重を推論したら、ステップST54に進む。ステップST54~ST58は第1の形態におけるステップST13~ST17と同じであるので、説明は省略する。
このように、患者の姿勢ごとに学習済みモデルを用意し、検査時の患者の方向および患者の姿勢に対応した学習済みモデルを選択するようにしてもよい。
尚、第4の形態では、正解データとして体重を使用して学習済みモデルを生成している。しかし、体重の代わりに、身長を正解データとし、姿勢ごとに、身長を推論する学習済みモデルを生成してもよい。この場合、患者40の姿勢に対応する学習済みモデルを選択することにより、検査ごとに患者40の姿勢が異なる場合であっても、患者40の身長を推論することができるので、上記の式(1)から、患者40の体重を計算することができる。
尚、第1~第4の形態では、ニューラルネットワークが、人間の全身が映った学習用画像を用いた学習を実行することにより、学習済みモデルが生成されている。しかし、人間の体の一部のみを含む学習用画像を用いた学習を実行することにより学習済みモデルを生成してもよいし、人間の体の一部のみを含む学習用画像と人間の全身を含む学習用画像とを用いた学習を実行することにより学習済みモデルを生成してもよい。
第1~第4の形態では、X線CT装置で撮影される患者40の体重を管理する方法について説明したが、本発明は、X線CT装置以外の装置(例えば、MRI装置)で撮影される患者の体重を管理する場合にも適用することができる。
第1~第4の形態では、推論はCT装置によって実行されている。しかし、CT装置がネットワークを通じてアクセス可能な外部コンピュータで推論を実行してもよい。
尚、第1~第4の形態では、DL(深層学習)により学習済みモデルを作成し、この学習済みモデルを用いて患者の体重又は身長を推論したが、DL以外の他の機械学習を用いて患者の体重又は身長を推論してもよい。更に、統計学的手法でカメラ画像を解析し、患者の体重又は身長を求めてもよい。
1 CT装置
2 ガントリ
4 テーブル
6 カメラ
8 操作コンソール
10 ネットワークシステム
11 PACS
12 通信網
20 表示パネル
21 ボア
22 X線管
23 アパーチャ
24 コリメータ
25 X線検出器
26 データ収集部
27 回転部
28 高電圧電源
29 アパーチャ駆動装置
30 回転部駆動装置
31 GT制御部
40 患者
41 クレードル
42 クレードル支持台
43 駆動装置
61、62、64、611、612、641 入力画像
70 患者情報
71 ウインドウ
81 入力部
82 表示部
83 記憶部
84 処理部
85 コンソール制御部
90 記憶媒体
91a、92a、93a、944a 学習済みモデル
91、92、93 ニューラルネットワーク
100 スキャンルーム
101 天井
200 操作ルーム
841、940 生成部
842、941、8421 推論部
843、943 確認部
844、944 構成部
942 計算部
8411 選択部

Claims (16)

  1. 医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行する処理装置であって、
    撮影時の前記撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の体重を推論するために使用される学習済みモデルを選択する選択部と
    前記カメラ画像に基づいて入力画像を生成する生成部と、
    前記入力画像を、選択された前記学習済みモデルに入力することにより、前記撮影対象者の体重を推論する推論部と
    を含む、処理装置。
  2. 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
    (1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
    (2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、を用いた学習を実行することにより生成されている、請求項1に記載の処理装置。
  3. 前記複数の学習用画像が、ヘッドファーストの状態でテーブルに寝ている人間の画像と、フィートファーストの状態でテーブルに寝ている人間の画像とを含む、請求項2に記載の処理装置。
  4. 前記複数の姿勢が、仰臥位、伏臥位、左側臥位、および右側臥位のうちの少なくとも2つの姿勢を含む、請求項1~3のうちのいずれか一項に記載の処理装置
  5. 推論された体重を更新するか否かをオペレータに確認するための確認部を有する、請求項1~4のうちのいずれか一項に記載の処理装置。
  6. 医用装置のテーブルに寝ている撮影対象者のカメラ画像に基づいて、前記撮影対象者の体重を求める処理を実行する処理装置であって、
    撮影時の前記撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の身長を推論するために使用される学習済みモデルを選択する選択部と、
    前記カメラ画像に基づいて入力画像を生成する生成部と、
    前記入力画像を、選択された学習済みモデルに入力することにより、前記撮影対象者の身長を推論する推論部と、
    前記撮影対象者のBMIと、前記推論された身長とに基づいて、前記撮影対象者の体重を計算する計算部と
    を含む、処理装置。
  7. 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
    (1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
    (2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の身長を表す、複数の正解データ、
    を用いた学習を実行することにより生成されている、請求項6に記載の処理装置。
  8. 前記撮影対象者をスカウトスキャンすることにより得られたスカウト画像を再構成する再構成部を含み、
    前記計算部が、前記スカウト画像に基づいて、前記BMIを計算する、請求項6又は7に記載の処理装置。
  9. 1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
    撮影時の撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の体重を推論するために使用される学習済みモデルを選択させること、
    前記撮影対象者のカメラ画像に基づいて入力画像を生成させること、
    前記入力画像を、選択された前記学習済みモデルに入力することにより、前記撮影対象者の体重を推論させること
    を含む処理を実行させる、記憶媒体。
  10. 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
    (1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
    (2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の体重を表す、複数の正解データ、
    を用いた学習を実行することにより生成されている、請求項9に記載の記憶媒体。
  11. 前記複数の学習用画像が、ヘッドファーストの状態でテーブルに寝ている人間の画像と、フィートファーストの状態でテーブルに寝ている人間の画像とを含む、請求項10に記載の記憶媒体。
  12. 前記複数の姿勢が、仰臥位、伏臥位、左側臥位、および右側臥位のうちの少なくとも2つの姿勢を含む、請求項9~11のうちのいずれか一項に記載の記憶媒体。
  13. 1つ以上のプロセッサによる実行が可能な1つ以上の命令が格納された、1つ以上の非一時的でコンピュータ読取可能な記録媒体であって、前記1つ以上の命令は、前記1つ以上のプロセッサに、
    撮影時の前記撮影対象者の姿勢として考えられる複数の姿勢に対応する複数の学習済みモデルの中から、前記撮影対象者の身長を推論するために使用される学習済みモデルを選択させること、
    前記カメラ画像に基づいて入力画像を生成させること、
    前記入力画像を、選択された学習済みモデルに入力することにより、前記撮影対象者の身長を推論させること、および
    前記撮影対象者のBMIと、前記推論された身長とに基づいて、前記撮影対象者の体重を計算させること、
    を含む処理を実行させる、記憶媒体。
  14. 前記複数の学習済みモデルの各々は、ニューラルネットワークが、
    (1)医用装置のテーブルに寝ている人間の複数のカメラ画像に基づいて生成された複数の学習用画像、および
    (2)前記複数の学習用画像に対応する複数の正解データであって、前記複数の正解データの各々が、対応する学習用画像に含まれる人間の身長を表す、複数の正解データ、
    を用いた学習を実行することにより生成されている、請求項13に記載の記憶媒体。
  15. 前記複数の学習用画像が、ヘッドファーストの状態でテーブルに寝ている人間の画像と、フィートファーストの状態でテーブルに寝ている人間の画像とを含む、請求項14に記載の記憶媒体。
  16. 前記1つ以上の命令は、前記1つ以上のプロセッサに、
    前記撮影対象者をスカウトスキャンすることにより得られたスカウト画像を再構成させること、および
    前記スカウト画像に基づいて前記BMIを計算させること、
    を含む処理を実行させる、請求項13~15のうちのいずれか一項に記載の記憶媒体。
JP2021076887A 2021-04-28 2021-04-28 学習済みモデル生成方法、処理装置、および記憶媒体 Active JP7167241B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021076887A JP7167241B1 (ja) 2021-04-28 2021-04-28 学習済みモデル生成方法、処理装置、および記憶媒体
CN202210319612.1A CN115245344A (zh) 2021-04-28 2022-03-29 学习模型生成方法、处理设备和存储介质
US17/731,368 US20220346710A1 (en) 2021-04-28 2022-04-28 Learned model generating method, processing device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021076887A JP7167241B1 (ja) 2021-04-28 2021-04-28 学習済みモデル生成方法、処理装置、および記憶媒体

Publications (2)

Publication Number Publication Date
JP7167241B1 true JP7167241B1 (ja) 2022-11-08
JP2022172418A JP2022172418A (ja) 2022-11-16

Family

ID=83698361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021076887A Active JP7167241B1 (ja) 2021-04-28 2021-04-28 学習済みモデル生成方法、処理装置、および記憶媒体

Country Status (3)

Country Link
US (1) US20220346710A1 (ja)
JP (1) JP7167241B1 (ja)
CN (1) CN115245344A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231816A (ja) * 2011-04-28 2012-11-29 Ge Medical Systems Global Technology Co Llc 造影パラメータ決定方法、x線ct装置およびインジェクタ
US20190357844A1 (en) * 2018-05-23 2019-11-28 Siemens Healthcare Gmbh Method and apparatus for determining a patient weight and/or a body mass index
JP2020522285A (ja) * 2018-04-20 2020-07-30 ボディグラム、インコーポレイテッド 全身測定値抽出のためのシステムおよび方法
US20200271507A1 (en) * 2019-02-25 2020-08-27 Siemens Healthcare Gmbh Patient Weight Estimation from Surface Data using a Patient Model
US20200297237A1 (en) * 2019-03-22 2020-09-24 Siemens Healthcare Gmbh Multi-Task Progressive Networks for Patient Modeling for Medical Scans
CN112017231A (zh) * 2020-08-27 2020-12-01 中国平安财产保险股份有限公司 基于单目摄像头的人体体重识别方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231816A (ja) * 2011-04-28 2012-11-29 Ge Medical Systems Global Technology Co Llc 造影パラメータ決定方法、x線ct装置およびインジェクタ
JP2020522285A (ja) * 2018-04-20 2020-07-30 ボディグラム、インコーポレイテッド 全身測定値抽出のためのシステムおよび方法
US20190357844A1 (en) * 2018-05-23 2019-11-28 Siemens Healthcare Gmbh Method and apparatus for determining a patient weight and/or a body mass index
US20200271507A1 (en) * 2019-02-25 2020-08-27 Siemens Healthcare Gmbh Patient Weight Estimation from Surface Data using a Patient Model
US20200297237A1 (en) * 2019-03-22 2020-09-24 Siemens Healthcare Gmbh Multi-Task Progressive Networks for Patient Modeling for Medical Scans
CN112017231A (zh) * 2020-08-27 2020-12-01 中国平安财产保险股份有限公司 基于单目摄像头的人体体重识别方法、装置及存储介质

Also Published As

Publication number Publication date
JP2022172418A (ja) 2022-11-16
CN115245344A (zh) 2022-10-28
US20220346710A1 (en) 2022-11-03

Similar Documents

Publication Publication Date Title
JP4786246B2 (ja) 画像処理装置及び画像処理システム
US20180190379A1 (en) Method and apparatus for setting imaging environment by using signals transmitted by plurality of clients
JP4942024B2 (ja) 医用画像撮影方法及び医用画像撮影装置
US8934687B2 (en) Image processing device, method and program including processing of tomographic images
JP2004329926A (ja) 検査経過および/または治療経過の監視方法ならびに医療システム
US20030139944A1 (en) System and method for the processing of patient data
JP2021039742A (ja) ワークフロー管理のための方法およびシステム
Bommu Advancements in Healthcare Information Technology: A Comprehensive Review
US10765321B2 (en) Image-assisted diagnostic evaluation
JP2020058777A (ja) 医用画像取得装置を動作させるための方法、画像取得装置、コンピュータプログラムおよび電子的に読取可能なデータ媒体
JP2006102353A (ja) 関節動作解析装置、関節動作解析方法及び関節動作解析プログラム
CN110459298A (zh) 用于求出结果值的方法和设备、诊断站和成像***
WO2008038559A1 (fr) Procédé de sélection d'un dessin anatomique, dispositif de sélection d'un dessin anatomique, et système de réseau médical
JP2023504026A (ja) 医用イメージング・システムにおける自動式プロトコル指定
JP7167241B1 (ja) 学習済みモデル生成方法、処理装置、および記憶媒体
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2010264234A (ja) 医療情報の利用促進システムおよび方法
JP2021058569A (ja) 画像処理装置及びプログラム
JP7144129B2 (ja) 医用画像診断装置及び医用情報管理装置
JP6959612B2 (ja) 診断画像システム
JP2016209267A (ja) 医用画像処理装置及びプログラム
CN111919264A (zh) 用于使成像***和边缘计算***同步的***和方法
US20200082931A1 (en) Diagnostic support apparatus
JP6956514B2 (ja) X線ct装置及び医用情報管理装置
US11672494B2 (en) Imaged-range defining apparatus, medical apparatus, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210526

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7167241

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150