JP2020101860A - 医用画像処理装置、システム及びプログラム - Google Patents
医用画像処理装置、システム及びプログラム Download PDFInfo
- Publication number
- JP2020101860A JP2020101860A JP2018237696A JP2018237696A JP2020101860A JP 2020101860 A JP2020101860 A JP 2020101860A JP 2018237696 A JP2018237696 A JP 2018237696A JP 2018237696 A JP2018237696 A JP 2018237696A JP 2020101860 A JP2020101860 A JP 2020101860A
- Authority
- JP
- Japan
- Prior art keywords
- model
- learned
- data
- medical image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
ある目的の処理のために一度作成された学習済みモデルは、基本的に異なる目的の処理のために利用することは難しい。例えば、脳腫瘍を検出するための学習済みモデルは、脳の医用画像の中から腫瘍を検出することに特化している。よって、肝腫瘍など別の部位から腫瘍を検出することに当該学習済みモデルを利用したとしても、肝臓の医用画像に対する処理能力は低いと考えられる。
第1の実施形態に係る医用画像処理装置は、学習済みモデルにより実行される処理内容を細分化し、ある処理内容に特化した学習済みモデルへ変更する。
第1の実施形態に係る医用画像処理装置について図1のブロック図を参照して説明する。
第1の実施形態に係る医用画像処理装置10は、処理回路11と、データ格納部12と、通信インタフェース13とを含む。処理回路11は、モデル取得機能111と、処理分割機能113と、学習機能115と、表示制御機能117とを含む。
なお、処理内容の細分化方法は、ユーザがどのような処理に細分化するかを医用画像処理装置10に入力する方法を想定する。なお、細分化方法は、外部から処理内容の細分化例を得たり、または過去に医用画像処理装置10で実行された処理内容の細分化例を得たりして、当該細分化例をルックアップテーブルとしてデータ格納部12に格納しておく。処理分割機能113により処理回路11は、当該ルックアップテーブルを参照する方法でもよい。
表示制御機能117により処理回路11は、学習済みモデル、学習済みモデルの細分化情報などをディスプレイに表示させる。
データ格納部12は、例えば、学習済みモデルを再学習させるための、入力データおよび正解データ(出力データ)となる学習用データ、細分化情報を格納する。入力データとしては、例えば生データ、サイノグラムデータ、ボリュームデータ、画像データが挙げられる。正解データとしては、例えばサイノグラムデータ、ボリュームデータ、画像データ、判定スコア(病変スコアなど)、分析結果が挙げられる。学習用データは、入力データと正解データとの組の場合もあるし、前処理データと正解データとの組の場合もある。データ格納部12はさらに、入力されるデータに対し前処理を行う学習済みモデルである前処理モデルを格納してもよい。前処理モデルを用いることで、入力データから前処理データを生成することができる。
学習済みモデルは、入力データと出力データとの組である学習用データに基づいて、モデル学習プログラムに従い、例えば多層ネットワークなどのモデルを機械学習することで生成される。機械学習のアルゴリズムとしては、ニューラルネットワーク、ディープラーニング、Random Forest等を想定するが、サポートベクタマシン、カーネル回帰など他の機械学習アルゴリズムを用いてもよい。なお、学習済みモデルは、複数の関数が合成されたパラメータ付き合成関数ともいえる。パラメータ付き合成関数は、複数の調整可能な関数およびパラメータの組合せにより定義される。学習済みモデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよい。
ここでは、第2ステップ、すなわち肺を肺葉ごとに分割したデータを入力データ25とし、肺の腫瘍がセグメンテーションされたデータを出力データ22とする学習用データに基づいて、再学習済みモデル24を再学習させる(図2B中、(d))。入力データ25は、入力データ23の場合と同様に取得されればよい。例えば、入力データ25として、予め肺葉ごとに分割されたデータが用いられてもよいし、肺がセグメンテーションされたデータが入力され、肺葉ごとに分割されたデータを出力する学習済みモデルの出力が用いられてもよい。
すなわち、第1の実施形態によれば、より汎用性の高い学習済みモデルを生成でき、ユーザビリティを向上させることができる。
第2の実施形態では、所望の処理を1つの学習済みモデルで実現するのではなく、複数の汎用的な学習済みモデルを組み合わせることで所望の処理を実現する。
第2の実施形態に係る医用画像処理装置10は、第1の実施形態に係る医用画像処理装置10に加え、処理回路11にモデル選択機能119をさらに含む。また、データ格納部12および処理回路11の処理分割機能113の構成が第1の実施形態と異なる。
モデル選択機能119により処理回路11は、付帯情報に基づき、目的処理を達成するための学習済みモデルの組合せを選択する。
目的処理40として、「X線CT装置により取得した生データから肺結節をセグメンテーションする」場合を想定する。以下、X線CT装置により取得した生データをCT生データという。
図5の例では、図4に示す目的処理40「X線CT装置により取得した生データから肺結節をセグメンテーションする」について、2つの細分化候補51,53が生成される場合を示す。細分化候補51は「画像再構成処理→肺のセグメンテーション→肺葉のセグメンテーション→腫瘍のセグメンテーション」で示される順序の学習済みモデル511の組合せであり、細分化候補53は「肺のセグメンテーション→TDC取得処理→TDCに基づく腫瘍のセグメンテーション」で示される順序の学習済みモデル531の組合せである場合を想定する。
第3の実施形態では、学習済みモデルの組合せを支援するGUI(Graphical User Interface)を提供する医用画像処理装置を示す。
図6は、ユーザによる学習済みモデルの組合せを支援するGUIであり、表示制御機能117により処理回路11が、例えばコンソール装置またはワークステーションのディスプレイへの当該GUIの表示を制御する。
コネクタ660を用意することで、ユーザが視覚的かつ容易に学習済みモデル間のデータの入出力関係を合わせることができる。
図7は、作業領域60に学習済みモデル601を1つ配置した状態を示す。表示制御機能117により処理回路11は、候補領域70をGUI上に表示する。候補領域70には、モデル候補701と必要コネクタ703とが対応付けられて表示される。
モデル候補701は、作業領域60に配置されたモデルに対し組合せ可能なモデルを示す。モデル候補は、例えば処理分割機能113により処理回路11が、細分化情報に基づいて、配置された学習済みモデル601に接続されたモデルを抽出すればよい。
必要コネクタ703は、作業領域60に配置されたモデルに対してモデル候補701を接続する際に必要となるコネクタを示す。必要コネクタは、例えば表示制御機能117により処理回路11が、付帯情報を参照して、作業領域60に配置されたモデルの出力と、組合せ可能なモデルの入力とに関する情報から、入出力関係が一致していなければ、入出力関係が一致するような変換、つまりコネクタを選択して表示させればよい。なお、コネクタが必要ない場合には、「なし」と記載されるか、空欄とすればよい。
図8は、ユーザがモデルの組合せに用いたいと考えるモデルについて、ユーザが検索ウィンドウ80に文字を入力する例である。「は」と入力すると、「は」から始まる学習済みモデル601およびルールモデル640の候補が候補欄81に表示される。なお、コネクタ660に名称を付与しておけば、学習済みモデル601およびルールモデル640と併せて、コネクタ660も検索対象に設定されてもよい。続けてユーザが検索ウィンドウ80に「はい」と入力すると、候補欄81に表示されるモデルが、「はい」から始まる学習済みモデル601およびルールモデル640に限定される。このような学習済みモデル601として、例えば、肺のセグメンテーションのモデルが表示される。
次に、第4の実施形態として、クラウドを利用してモデルの購入および販売を行う例について説明する。
第4の実施形態に係る医用画像診断装置を含む医用画像診断システムについて図10を参照して説明する。
図11は、図7と同様に作業領域60と候補領域72とを示すGUIの一例である。
3 クラウドサーバ
5 ネットワーク
10 医用画像処理装置
11 処理回路
12 データ格納部
13 通信インタフェース
20 学習済みモデル
21,23,25 入力データ
22 出力データ
24,26 再学習済みモデル
40 目的処理
41,43,45,511,531,601 学習済みモデル
51,53 細分化候補
52,54,513,533 付帯情報
60 作業領域
62 AIモデルリスト
64 ルールベースリスト
66 コネクタリスト
68 カーソル
70,72 候補領域
80 検索ウィンドウ
111 モデル取得機能
113 処理分割機能
115 学習機能
117 表示制御機能
119 モデル選択機能
640 ルールモデル
660 コネクタ
701 モデル候補
703 必要コネクタ
705 所有フラグ
721 未所持モデル
723 購入ボタン
6011 説明ブロック
6013 入力端子
6015 出力端子
Claims (10)
- 入力データおよび出力データを用いて学習した第1学習済みモデルを取得する取得部と、
前処理が施された前処理データと前記出力データとを用いて、前記第1学習済みモデルを再学習させ、前記第1学習済みモデルから前記前処理に対応する処理が除かれた第2学習済みモデルを生成する学習部と、
を具備する医用画像処理装置。 - 選択部をさらに具備し、
前記第2学習済みモデルは、前記第2学習済みモデルの処理内容および入出力に関する付帯情報が付帯され、
前記選択部は、前記付帯情報に基づき、目的処理を達成するための第2学習済みモデルの組合せを選択する、請求項1に記載の医用画像処理装置。 - 複数の第2学習済みモデルに関する第1リストと、前記第1リストから選択された第2学習済みモデルを含む学習済みモデルの組合せ作業を行う作業領域と、を表示するGUI(Graphical User Interface)を制御する表示制御部をさらに具備する、請求項2に記載の医用画像処理装置。
- 前記第1リストは、前記複数の第2学習済みモデルを処理内容のカテゴリごとにソートして表示される、請求項3に記載の医用画像処理装置。
- 前記表示制御部は、前記第1リストから第2学習済みモデルが選択され、当該第2学習済みモデルが前記作業領域に配置された場合、配置された第2学習済みモデルと組合せ可能な学習済みモデルの候補を表示する、請求項3または請求項4に記載の医用画像処理装置。
- 前記表示制御部は、ルールベースで設計された処理モデルであるルールモデルに関する第2リストを前記GUIに表示する、請求項3から請求項5のいずれか1項に記載の医用画像処理装置。
- 前記第2学習済みモデルおよび前記ルールモデルはアイコンとして表示され、
前記アイコンは、前記第2学習済みモデルの処理内容を記載したブロックと、前記ブロックの一端に接続され、入力データを表現した記号と、前記ブロックの他端に接続され、出力データを表現した記号とを含む、請求項6に記載の医用画像処理装置。 - 前記表示制御部は、前記第2学習済みモデル間、前記ルールモデル間、および前記第2学習済みモデルと前記ルールモデルとの間の入出力関係を整合させるデータ変換を示すコネクタに関する第3リストを前記GUIに表示する、請求項6または請求項7に記載の医用画像処理装置。
- 1以上の医用画像処理装置とサーバとを含む医用画像処理システムであって、
前記サーバは、
入力データおよび出力データを用いて学習した第1学習済みモデルを取得する取得部と、
前処理が施された前処理データと前記出力データとを用いて、前記第1学習済みモデルを再学習させ、前記第1学習済みモデルから前記前処理に対応する処理が除かれた第2学習済みモデルを生成する学習部と、
前記入力データ、前記出力データ、前記前処理データおよび前記第2学習済みモデルを含む複数の学習済みモデルを格納する格納部と、
を具備し、
前記1以上の医用画像処理装置はそれぞれ、
前記複数の学習済みモデルに関する第1リストと、前記第1リストから選択された学習済みモデルの組合せ作業を行う作業領域と、を表示するGUI(Graphical User Interface)を制御する表示制御部を具備する、医用画像処理システム。 - コンピュータに、
入力データおよび出力データを用いて学習した第1学習済みモデルを取得する取得機能と、
前処理が施された前処理データと前記出力データとを用いて、前記第1学習済みモデルを再学習させ、前記第1学習済みモデルから前記前処理に対応する処理が除かれた第2学習済みモデルを生成する学習機能と、を実現させる医用画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018237696A JP7163168B2 (ja) | 2018-12-19 | 2018-12-19 | 医用画像処理装置、システム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018237696A JP7163168B2 (ja) | 2018-12-19 | 2018-12-19 | 医用画像処理装置、システム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020101860A true JP2020101860A (ja) | 2020-07-02 |
JP7163168B2 JP7163168B2 (ja) | 2022-10-31 |
Family
ID=71141238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018237696A Active JP7163168B2 (ja) | 2018-12-19 | 2018-12-19 | 医用画像処理装置、システム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7163168B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022009932A1 (ja) * | 2020-07-08 | 2022-01-13 | 株式会社ヒューマノーム研究所 | 情報処理システム |
JP7224589B1 (ja) | 2022-03-18 | 2023-02-20 | AI inside株式会社 | プログラム、情報処理装置、情報処理システム、情報処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09147099A (ja) * | 1995-11-24 | 1997-06-06 | Hitachi Ltd | ディジタル画像の階調変換処理システム |
JP2017519282A (ja) * | 2014-05-12 | 2017-07-13 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 分散モデル学習 |
WO2018024555A1 (en) * | 2016-08-02 | 2018-02-08 | Koninklijke Philips N.V. | Robust pulmonary lobe segmentation |
-
2018
- 2018-12-19 JP JP2018237696A patent/JP7163168B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09147099A (ja) * | 1995-11-24 | 1997-06-06 | Hitachi Ltd | ディジタル画像の階調変換処理システム |
JP2017519282A (ja) * | 2014-05-12 | 2017-07-13 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 分散モデル学習 |
WO2018024555A1 (en) * | 2016-08-02 | 2018-02-08 | Koninklijke Philips N.V. | Robust pulmonary lobe segmentation |
JP2019522299A (ja) * | 2016-08-02 | 2019-08-08 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | ロバスト肺葉セグメンテーション |
Non-Patent Citations (1)
Title |
---|
鈴木 藍雅 外3名: "2段階転移学習を用いた深層畳み込みニューラルネットによるびまん性肺疾患の識別と特徴表現の解析", 情報処理学会 研究報告 数理モデル化と問題解決(MPS) 2018−MPS−117 [ONLINE], JPN6022039156, 22 February 2018 (2018-02-22), JP, pages 1 - 6, ISSN: 0004876542 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022009932A1 (ja) * | 2020-07-08 | 2022-01-13 | 株式会社ヒューマノーム研究所 | 情報処理システム |
JP2022015114A (ja) * | 2020-07-08 | 2022-01-21 | 株式会社ヒューマノーム研究所 | 情報処理システム |
JP7224589B1 (ja) | 2022-03-18 | 2023-02-20 | AI inside株式会社 | プログラム、情報処理装置、情報処理システム、情報処理方法 |
WO2023176175A1 (ja) * | 2022-03-18 | 2023-09-21 | AI inside株式会社 | プログラム、情報処理装置、情報処理システム、情報処理方法 |
JP2023137542A (ja) * | 2022-03-18 | 2023-09-29 | AI inside株式会社 | プログラム、情報処理装置、情報処理システム、情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7163168B2 (ja) | 2022-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10249092B2 (en) | System and method for rendering complex data in a virtual reality or augmented reality environment | |
US20100293505A1 (en) | Anatomy-related image-context-dependent applications for efficient diagnosis | |
JP6824845B2 (ja) | 画像処理システム、装置、方法およびプログラム | |
US10188361B2 (en) | System for synthetic display of multi-modality data | |
US11229377B2 (en) | System and method for next-generation MRI spine evaluation | |
JP6646395B2 (ja) | 情報処理装置及びその方法、情報処理システム、コンピュータプログラム | |
EP2810217B1 (en) | Graph cuts-based interactive segmentation of teeth in 3-d ct volumetric data | |
CN105447070A (zh) | 医学影像阅片方法及*** | |
JP2020018705A (ja) | 医用画像処理装置、画像生成方法、及び画像生成プログラム | |
JP2020101860A (ja) | 医用画像処理装置、システム及びプログラム | |
Moreira et al. | 3D markup of radiological images in ePAD, a web-based image annotation tool | |
JP3989896B2 (ja) | 医用画像処理装置、関心領域抽出方法、ならびに、プログラム | |
Hadler et al. | Introduction of Lazy Luna an automatic software-driven multilevel comparison of ventricular function quantification in cardiovascular magnetic resonance imaging | |
US20220108540A1 (en) | Devices, systems and methods for generating and providing image information | |
JP2018108125A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP2006075216A (ja) | 医用画像処理システム、医用画像処理プログラムおよび医用画像処理方法 | |
US20230334663A1 (en) | Development of medical imaging ai analysis algorithms leveraging image segmentation | |
JP5602142B2 (ja) | 医療レポートのための患者固有の解剖学的スケッチのための物および方法 | |
JP7321671B2 (ja) | 情報処理装置、情報処理方法、情報処理システムおよびプログラム | |
JP6327966B2 (ja) | 医用画像表示装置、表示制御装置および表示制御方法、プログラム | |
JP2017189394A (ja) | 情報処理装置および情報処理システム | |
Heller et al. | A web-based platform for distributed annotation of computerized tomography scans | |
RU2750278C2 (ru) | Способ и аппарат для модификации контура, содержащего последовательность точек, размещенных на изображении | |
JP2012003465A (ja) | シェーマ描画装置、シェーマ描画システムおよびシェーマ描画プログラム | |
JP2020058847A (ja) | 医用画像表示装置、医用画像表示方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210921 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220908 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7163168 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |