JP2020058590A - 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム - Google Patents

医用画像処理装置、医用画像処理システム及び医用画像処理プログラム Download PDF

Info

Publication number
JP2020058590A
JP2020058590A JP2018191547A JP2018191547A JP2020058590A JP 2020058590 A JP2020058590 A JP 2020058590A JP 2018191547 A JP2018191547 A JP 2018191547A JP 2018191547 A JP2018191547 A JP 2018191547A JP 2020058590 A JP2020058590 A JP 2020058590A
Authority
JP
Japan
Prior art keywords
data
medical image
learned model
analysis
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018191547A
Other languages
English (en)
Other versions
JP7187244B2 (ja
Inventor
匠真 五十嵐
Takuma Igarashi
匠真 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018191547A priority Critical patent/JP7187244B2/ja
Priority to US16/598,540 priority patent/US11257211B2/en
Publication of JP2020058590A publication Critical patent/JP2020058590A/ja
Application granted granted Critical
Publication of JP7187244B2 publication Critical patent/JP7187244B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221—Determining signal validity, reliability or quality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Fuzzy Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】学習用データの抽出にかかる手間を軽減すること。【解決手段】実施形態に係る医用画像処理装置は、解析部と、抽出部とを備える。解析部は、収集済みの複数の医用画像データに対して画像解析を行う。抽出部は、前記解析部の解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、前記学習済みモデルの教師データの候補として前記収集済みの複数の医用画像データから抽出する。【選択図】図１

Description

本発明の実施形態は、医用画像処理装置、医用画像処理システム及び医用画像処理プログラムに関する。
従来、医用画像診断装置によって収集された医用画像データと、医用画像データから得られた教師データとを学習用データとして用いた学習済みモデルが生成されている。かかる学習済みモデルの生成には、例えば、複数の医用画像データの中から適切な学習用データが抽出されて用いられる。
特開２０１５−１９４９２７号公報 特開２００９−１１３７１７号公報
本発明が解決しようとする課題は、学習用データの抽出にかかる手間を軽減することである。
実施形態に係る医用画像処理装置は、解析部と、抽出部とを備える。解析部は、収集済みの複数の医用画像データに対して画像解析を行う。抽出部は、前記解析部の解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、前記学習済みモデルの教師データの候補として前記収集済みの複数の医用画像データから抽出する。
図１は、本実施形態に係る医用画像処理システムの構成の一例を示す図である。 図２は、本実施形態に係るＡＩサービスサーバによって行われる学習時及び運用時の処理を示す図である。 図３は、本実施形態に係る医用画像処理装置による処理の一例を説明するための図である。 図４は、本実施形態に係る制御機能によって表示される表示情報の一例を示す図である。 図５は、本実施形態に係る医用画像処理装置による処理の手順を示すフローチャートである。
以下、図面を参照しながら、医用画像処理装置、医用画像処理システム及び医用画像処理プログラムの実施形態について詳細に説明する。なお、本願に係る医用画像処理装置、医用画像処理システム及び医用画像処理プログラムは、以下に示す実施形態によって限定されるものではない。
（実施形態）
図１は、本実施形態に係る医用画像処理システム１００の構成の一例を示す図である。図１に示すように、本実施形態に係る医用画像処理システム１００は、例えば、ＶＮＡ（Vendor Neutral Archive）１１０と、ＡＩ（Artificial Intelligence）サービスサーバ１２０と、医用画像処理装置１３０とを含む。ここで、各システム及び各装置は、ネットワーク２００を介して通信可能に接続されている。
ＶＮＡ１１０は、種々の診療情報を一括して管理する。具体的には、ＶＮＡ１１０は、病院内の診療科ごとのシステムや、独自規格のデータなどを管理する。例えば、ＶＮＡ１１０は、放射線科で採用されるＰＡＣＳ（Picture Archiving and Communication Systems）におけるＤＩＣＯＭ（Digital Imaging and Communications in Medicine）フォーマットの医用画像データや、ＪＰＥＧ（Joint Photographic Experts Group）フォーマット、Ｔｉｆｆ（Tagged Image File Format）フォーマット及びＡｎａｌｙｚｅフォーマットなどのＮｏｎ−ＤＩＣＯＭフォーマットの医用画像データを受信して、受信した医用画像データを自装置の記憶回路に保存して管理する。
ここで、ＶＮＡ１１０は、２次元の医用画像データ及び３次元の医用画像データ（ボリュームデータ）を自装置の記憶回路に保存して管理する。また、ＶＮＡ１１０は、例えば、検査レポートなどのベンダー独自規格のデータを自装置の記憶回路に保存して管理することもできる。例えば、ＶＮＡ１１０は、サーバやワークステーション等のコンピュータ機器によって実現される。
ＡＩサービスサーバ１２０は、機械学習や、深層学習用のアルゴリズムのＡＰＩ（Application Programming Interface）を提供するサーバ装置である。具体的には、ＡＩサービスサーバ１２０は、ネットワーク２００を介して入力データと入力データに基づく教師データとを含む学習用データを受信し、受信した学習用データを用いた機械学習により、学習済みモデルを生成する。そして、ＡＩサービスサーバ１２０は、生成した学習済みモデルに対して入力データを学習済みモデルに基づく出力データを出力する。
ここで、本実施形態に係るＡＩサービスサーバ１２０は、任意の画像処理のアルゴリズムのＡＰＩを提供する。以下、頭部のＴ１強調画像（Ｔ１Ｗ）から脳を解剖学的領域或いは機能学的領域にセグメンテーションするためのアルゴリズムを構築する場合を一例に挙げて、ＡＩサービスサーバ１２０における処理を説明する。図２は、本実施形態に係るＡＩサービスサーバ１２０によって行われる学習時及び運用時の処理を示す図である。
例えば、図２の上側に示すように、学習時には、ＡＩサービスサーバ１２０が、被検体から収集された頭部のＴ１強調画像（原画像）と、当該原画像を対象として実施されたセグメンテーション結果（教師データ）との関係を学習することによって、被検体の原画像に基づいてセグメンテーション結果を出力する学習済みモデルを生成する。なお、教師データは、例えば、医師が原画像に含まれる脳に対して実施した解剖学的或いは機能学的なセグメンテーションの結果などである。
すなわち、本実施形態に係るＡＩサービスサーバ１２０は、原画像と、当該原画像を解析して得られた画像特徴量と、当該原画像に対するセグメンテーションによって区分された領域の画像特徴量との関係を学習することで、原画像に基づいてセグメンテーション結果を出力する学習済みモデルを生成する。
ここで、画像特徴量は、画像の特徴を定量的に示す数値である。例えば、画像特徴量は、原画像を用いテクスチャ解析等を行うことによって得られる解析値である。この画像特徴量は、原画像及び教師データが送信されるごとに導出され、原画像及び教師データと対応付けて、ＡＩサービスサーバ１２０におけるＤＢに蓄積される。
ＡＩサービスサーバ１２０は、ＤＢを参照して、複数の学習用データ（原画像、教師データ及び画像特徴量）を取得する。そして、ＡＩサービスサーバ１２０は、取得した原画像、教師データ及び画像特徴量を、自装置における機械学習エンジンに入力することによって、機械学習を行う。
ここで、機械学習エンジンは、例えば、入力された原画像の画像特徴量と、セグメンテーションされた領域における画像特徴量とを比較することで、セグメンテーションに最適なパラメータを決定する。例えば、機械学習エンジンは、ディープラーニング（Deep Learning）や、ニューラルネットワーク（Neural Network）、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bayes）等の各種のアルゴリズムを用いて、最適なパラメータを決定する。
このような機械学習の結果として、ＡＩサービスサーバ１２０は、原画像に基づいてセグメンテーション結果を出力する学習済みモデルを生成する。そして、ＡＩサービスサーバ１２０は、生成した学習済みモデルを自装置の記憶回路に記憶させる。なお、このとき、ＡＩサービスサーバ１２０は、以前に作成した学習済みモデルが既に記憶回路に記憶されていた場合には、新しく作成した学習済みモデルで、記憶されている学習済みモデルを置き換える。
一方、例えば、図２の下側に示すように、運用時には、ＡＩサービスサーバ１２０が、被検体の頭部から収集したＴ１強調画像（原画像）を受け付け、受け付けたＴ１強調画像を学習済みモデルに入力することで、セグメンテーション結果（出力情報）を出力する。
具体的には、ＡＩサービスサーバ１２０は、ネットワーク２００上の他装置から送信されたセグメンテーションの処理対象の原画像を受信する。そして、ＡＩサービスサーバ１２０は、取得した原画像に対してテクスチャ解析などの解析処理を実行して、画像特徴量を導出する。
その後、ＡＩサービスサーバ１２０は、学習済みモデルに対して、原画像と画像特徴量を入力することで、原画像の脳に含まれる解剖学的領域或いは機能学的領域のセグメンテーション結果を推測する。そして、ＡＩサービスサーバ１２０は、原画像を送信した他装置に対して、推測結果を送信する。
図１に戻って、医用画像処理装置１３０は、ＶＮＡ１１０から医用画像データを取得し、取得した医用画像データを用いて各種の画像処理を行う。また、例えば、医用画像処理装置１３０は、医用画像データの処理結果を学習用データとしてＡＩサービスサーバ１２０に送信する。また、例えば、医用画像処理装置１３０は、医用画像データをＡＩサービスサーバ１２０に送信することで、学習済みモデルの出力情報を取得する。例えば、医用画像処理装置１３０は、サーバやワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
図１に示すように、医用画像処理装置１３０は、通信インターフェース１３１と、記憶回路１３２と、入力インターフェース１３３と、ディスプレイ１３４と、処理回路１３５とを有する。
通信インターフェース１３１は、処理回路１３５に接続されており、医用画像処理装置１３０と各システムとの間で行われる通信を制御する。具体的には、通信インターフェース１３１は、各システムから各種の情報を受信し、受信した情報を処理回路１３５に出力する。例えば、通信インターフェース１３１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。
記憶回路１３２は、処理回路１３５に接続されており、各種のデータを記憶する。例えば、記憶回路１３２は、ＶＮＡ１１０から受信した医用画像データや、ＡＩサービスサーバ１２０から取得した出力情報などを記憶する。また、記憶回路１３２は、処理回路１３５が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路１３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。
入力インターフェース１３３は、処理回路１３５に接続されており、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インターフェース１３３は、操作者から受け付けた入力操作を電気信号へ変換して処理回路１３５に出力する。例えば、入力インターフェース１３３は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インターフェース１３３は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース１３３の例に含まれる。ここで、入力インターフェース１３３は、受付部の一例である。
ディスプレイ１３４は、処理回路１３５に接続されており、各種の情報及び画像を表示する。具体的には、ディスプレイ１３４は、処理回路１３５から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ１３４は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。
処理回路１３５は、入力インターフェース１３３を介して操作者から受け付けた入力操作に応じて、医用画像処理装置１３０の動作を制御する。例えば、処理回路１３５は、プロセッサによって実現される。
以上、本実施形態に係る医用画像処理システム１００の構成について説明した。例えば、本実施形態に係る医用画像処理システム１００は、病院や医院等の医療機関に配置されたＶＮＡ１１０及び医用画像処理装置１３０と、外部ネットワーク上に配置されたＡＩサービスサーバ１２０によって構成される。このような構成のもと、医用画像処理システム１００は、学習用データの抽出にかかる手間を軽減することを可能にする。
上述したように、ＡＩサービスサーバ１２０は、学習用データを受け付けて、画像処理に関するアルゴリズムのＡＰＩを提供する。ここで、より精度の高い（或いは、より汎用性の高い）アルゴリズムを構築するためには、多数の学習用データを収集して、ＡＩサービスサーバ１２０においてさらに機械学習を実施させることが求められる。
しかしながら、画像処理に関するアルゴリズムを構築する場合には、目的のアルゴリズムごとに適切な医用画像データがあり、多数の医用画像データの中から目的のアルゴリズムのための適切な医用画像データを抽出することは容易ではない。例えば、頭部のＴ１強調画像を対象とした脳のセグメンテーションのアルゴリズムについて、より精度の高い（或いは、より汎用性の高い）ものにする場合、部位及び画像種が「頭部」及び「Ｔ１強調画像」であり、アルゴリズムの制約（例えば、画質や画像に含まれる詳細な部位など）を満たす医用画像データを多数の医用画像データの中から抽出することとなり、この抽出には、手間と時間を要することが多い。
そこで、本実施形態では、医用画像処理システム１００における医用画像処理装置１３０が、ＶＮＡ１１０において管理された多数の医用画像データから学習用データを抽出する際に、収集済みの複数の医用画像データに対して画像解析を行い、解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、学習済みモデルの教師データの候補として抽出することで、学習用データの抽出にかかる手間を軽減する。このような医用画像処理装置１３０によれば、ヘッダーに種々の情報を含むＤＩＣＯＭフォーマットの医用画像データだけではなく、Ｔｉｆｆフォーマットや、ＪＰＥＧフォーマットなどのＮｏｎ−ＤＩＣＯＭフォーマットの医用画像データの中からも適切な学習用データを容易に抽出することができる。
以下、本実施形態に係る医用画像処理装置１３０の詳細について説明する。図１に示すように、医用画像処理装置１３０の処理回路１３５は、制御機能１３５ａ、解析機能１３５ｂ、抽出機能１３５ｃ、取得機能１３５ｄ、及び、決定機能１３５ｅを実行する。ここで、制御機能１３５ａは、制御部の一例である。また、解析機能１３５ｂは、解析部の一例である。また、抽出機能１３５ｃは、抽出部の一例である。また、取得機能１３５ｄは、取得部の一例である。また、決定機能１３５ｅは、決定部の一例である。
制御機能１３５ａは、入力インターフェース１３３を介して入力された各種要求に応じた処理を実行するように制御する。例えば、制御機能１３５ａは、通信インターフェース１３１を介した医用画像データ等の送受信、記憶回路１３２への情報の格納、ディスプレイ１３４への情報（例えば、表示画像や、解析結果）の表示などを制御する。
例えば、制御機能１３５ａは、ＶＮＡ１１０から複数の医用画像データを取得して、記憶回路１３２に格納する。また、例えば、制御機能１３５ａは、ＶＮＡ１１０から取得した複数の医用画像データから学習用データを抽出する際の種々の条件を選択するためのＧＵＩや、各機能による処理結果をディスプレイ１３４に表示させるように制御する。なお、制御機能１３５ａによって表示される表示内容の詳細については、後述する。
ここで、制御機能１３５ａによって取得される医用画像データは、目的のアルゴリズムに応じて、２次元の医用画像データと、或いは、３次元の医用画像データとなる。例えば、対象となる学習済みモデルのアルゴリズムの処理対象が、ボリュームデータの場合、制御機能１３５ａは、ＶＮＡ１１０から３次元の医用画像データを取得する。一方、対象となる学習済みモデルのアルゴリズムの処理対象が、２次元の医用画像データの場合、制御機能１３５ａは、ＶＮＡ１１０から２次元の医用画像データを取得する、或いは、ＶＮＡ１１０に格納されたボリュームデータから２次元の医用画像データ（例えば、ボリュームデータの１スライスなど）を抽出して取得する。
なお、処理対象が２次元の医用画像データであるか、或いは、３次元の医用画像データであるかは、例えば、操作者によって指定される場合でもよく、或いは、対象となる学習済みモデルのアルゴリズムに応じて、制御機能１３５ａが決定する場合でもよい。操作者によって指定される場合、例えば、制御機能１３５ａは、２次元或いは３次元を選択するためのＧＵＩをディスプレイ１３４に表示させ、入力インターフェース１３３を介して、操作者による指定操作を受け付ける。また、対象となる学習済みモデルのアルゴリズムに応じて制御機能１３５ａが決定する場合、例えば、記憶回路１３２が、アルゴリズムと処理対象となるデータ情報（２次元であるか、或いは、３次元であるか）とを対応付けた対応情報を予め記憶しておく。制御機能１３５ａは、記憶回路１３２の対応情報を参照して、対象となる学習済みモデルのアルゴリズムに対応するデータ情報に基づいて、２次元であるか、或いは、３次元であるかを決定する。
解析機能１３５ｂは、収集済みの複数の医用画像データに対して画像解析を行う。具体的には、解析機能１３５ｂは、収集済みの複数の医用画像データに対して、画像の種別を特定するための学習済みモデル又は画像処理を用いた解析を行う。例えば、解析機能１３５ｂは、ＶＮＡ１１０から取得され、記憶回路１３２に記憶された複数の医用画像データに対して、部位を特定するための画像解析と、画像種を特定するための画像解析とを行う。また、解析機能１３５ｂは、学習用データにおける原画像として適切か否かを判定するための解析を行う。そして、解析機能１３５ｂは、各医用画像データに対して解析結果を付与して、記憶回路１３２に格納する。
例えば、解析機能１３５ｂは、解剖学的指標（アナトミカルランドマーク）などに基づく解析を実行することで、各医用画像データに含まれる部位を特定する。一例を挙げると、解析機能１３５ｂは、各医用画像データから解剖学的指標を抽出し、抽出した解剖学的指標と部位ごとの解剖学的指標とを比較することで、各医用画像データに含まれる部位（例えば、頭部、胸部、腹部、下肢など）を特定する。
そして、解析機能１３５ｂは、学習済みモデル又は画像処理を用いた解析により、画像種を特定する。以下、脳を撮像した「Ｔ１強調画像（Ｔ１Ｗ）」、「Ｔ２強調画像（Ｔ２Ｗ）」、「ＣＴ（Computed Tomography）画像」、「ＦＬＡＩＲ（FLuid-Attenuated Inversion Recovery）画像」及び「ＤＷＩ（Diffusion Weighted Image）画像」から各画像種を特定するための解析を一例に挙げて説明する。
例えば、学習済みモデルを利用する場合、各画像種において特徴的な信号値を示す部位の情報を用いた学習済みモデルが予め構築される。例えば、「Ｔ１強調画像：ＣＳＦ（cerebrospinal fluid：脳脊髄液）が低信号」、「Ｔ２強調画像：ＣＳＦが高信号」、「ＦＬＡＩＲ画像：Ｔ２ＷでＣＳＦで低信号」、「ＤＷＩ画像：他の画像と比較してノイズが多い」、「ＣＴ画像：頭蓋が高信号」という特徴を用いて、信号値と画像種とを学習用データとした学習済みモデルが生成される。なお、学習済みモデルは、ＡＩサービスサーバ１２０に構築されてもよく、或いは、医用画像処理装置１３０に構築されてもよい。例えば、解析機能１３５ｂは、部位を頭部と特定した各医用画像データを上記した学習済みモデルに入力することで、各医用画像データの画像種を特定する。
また、画像処理を利用する場合、解析機能１３５ｂは、既存のアルゴリズムを用いて上記した画像種を分類することができる。一例を挙げると、解析機能１３５ｂは、Voxel Based Morphometry（ＶＢＭ）を応用して、「Ｔ１強調画像」、「Ｔ２強調画像」、「ＦＬＡＩＲ画像」を分類することできる。例えば、解析機能１３５ｂは、各医用画像データについて、解剖学的標準化を行い、クラスター分析と事前確率画像を用いて、灰白質と、白質と、ＣＳＦ（脳脊髄液）とを分割する。そして解析機能１３５ｂは、分割した灰白質と、白質と、ＣＳＦ（脳脊髄液）における信号値の分布に基づいて、「Ｔ１強調画像」、「Ｔ２強調画像」、「ＦＬＡＩＲ画像」を特定する。
また、解析機能１３５ｂは、各医用画像データに対して輪郭抽出を行い、頭部領域の外側（頭蓋）に高信号領域があるか否かによって「ＣＴ画像」を特定する。また、例えば、解析機能１３５ｂは、各医用画像データのＳ／Ｎ（signal-to-noise ratio）を算出して、算出したＳ／Ｎと所定の閾値とを比較して、閾値を下回る医用画像データを「ＤＷＩ画像」と特定する。
上述したように、解析機能１３５ｂが各医用画像データに対する解析処理を行うと、抽出機能１３５ｃが、解析結果に基づいて、学習用データの候補を抽出する。具体的には、抽出機能１３５ｃは、解析機能１３５ｂの解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、学習済みモデルの教師データの候補として収集済みの複数の医用画像データから抽出する。
例えば、抽出機能１３５ｃは、まず、対象となる学習済みモデルの学習用データとして利用された教師データの原画像を参照して、抽出対象となる医用画像データの部位及び画像種を取得し、取得した部位及び画像種の医用画像データを抽出する。一例を挙げると、抽出機能１３５ｃは、「部位：頭部（脳）」及び「画像種：Ｔ１Ｗ」を取得する。そして、抽出機能１３５ｃは、解析機能１３５ｂによる解析結果を参照して、取得した部位及び画像種と同じ「頭部のＴ１Ｗ」を、記憶回路１３２によって記憶された複数の医用画像データから抽出する。
さらに、抽出機能１３５ｃは、抽出した医用画像データの中から学習用データとして適切な医用画像データをさらに抽出する。例えば、抽出機能１３５ｃは、教師データと共通の画像種の複数の医用画像データを抽出し、画質、教師データの原画像との類似度、及び、学習済みモデルに用いるための制約のうち少なくとも１つに基づいて、抽出した複数の医用画像データの中から教師データと共通の属性を有する医用画像データを抽出する。
ここで、学習用データとして適切な医用画像データをさらに抽出する際に、学習済みモデルのアルゴリズムをより精度の高いものにするか、或いは、学習済みモデルのアルゴリズムをより汎用性の高いものにするかによって、抽出対象を変えることができる。すなわち、抽出機能１３５ｃは、学習済みモデルのアルゴリズムをより精度の高いものにするか、或いは、学習済みモデルのアルゴリズムをより汎用性の高いものにするかによって、抽出の判定を切り替えることができる。
学習済みモデルのアルゴリズムをより精度の高いものにするか、或いは、学習済みモデルのアルゴリズムをより汎用性の高いものにするかは、操作者によって任意に設定することができる。ここで、操作者は、以下で説明する各抽出処理を任意に選択することで、学習済みモデルのアルゴリズムをより精度の高いものにするか、或いは、学習済みモデルのアルゴリズムをより汎用性の高いものにするかを選択することができる。かかる場合には、例えば、制御機能１３５ａが以下で説明する各抽出処理に関するＧＵＩをディスプレイ１３４に表示させ、操作者が入力インターフェース１３３を介して、どの抽出処理をどのような閾値判定によって実行させるかを選択する。
まず、学習済みモデルのアルゴリズムをより精度の高いものにする場合の抽出処理について説明する。かかる場合には、例えば、抽出機能１３５ｃは、部位及び画像種に基づいて抽出した医用画像データのＳ／Ｎをそれぞれ算出し、算出したＳ／Ｎが所定の閾値に達していない医用画像データを対象外とする。すなわち、抽出機能１３５ｃは、部位及び画像種に基づいて抽出した医用画像データのうち、所定の画質を有する医用画像データのみを抽出する。なお、Ｓ／Ｎに対して設定される閾値は、対象となる学習済みモデルごとにそれぞれ設定されてもよく、代表的な値が設定される場合でもよい。
また、例えば、抽出機能１３５ｃは、部位及び画像種に基づいて抽出した医用画像データと、教師データの原画像との類似度を算出して、類似度が所定の値に達している医用画像データを抽出する。一例を挙げると、抽出機能１３５ｃは、抽出した医用画像データの信号値と教師データの原画像の信号値との相互情報量（ＭＩ：Mutual Information）を算出し、算出した相互情報量が所定の閾値に達していない場合に、抽出した医用画像データを対象外とする。
また、例えば、抽出機能１３５ｃは、学習済みモデルに用いるための制約として、断面が適切か、スライスピッチが適切か、アーチファクトが大きすぎないか、医用画像データにターゲットの領域が全て含まれているか、医用画像データに腫瘍が含まれているかなどを用いて、学習用データとして適切な医用画像データをさらに抽出する。
一例を挙げると、脳のセグメンテーションのアルゴリズムについては、抽出機能１３５ｃは、「サジタル断面が適切」、「スライスピッチが所定のピッチ以下が適切」、「アーチファクトが大きすぎないものが適切」、「医用画像データにターゲットの領域が全て含まれているものが適切」、「腫瘍が含まれていないものが適切」とする判断基準に基づいて、抽出した医用画像データの中から学習用データとして適切な医用画像データをさらに抽出する。
また、学習済みモデルのアルゴリズムをより汎用性の高いものにする場合の抽出処理では、例えば、部位及び画像種に基づいて抽出した医用画像データと教師データの原画像との類似度により医用画像データを抽出する際の閾値が、アルゴリズムの精度を高める場合と比較して、低く設定される。抽出機能１３５ｃは、設定された閾値に基づいて、学習用データとして適切な医用画像データを抽出する。
また、例えば、抽出機能１３５ｃは、学習済みモデルのアルゴリズムをより汎用性の高いものにする場合の抽出処理では、撮像された断面の制約を用いずに医用画像データを抽出する。すなわち、抽出機能１３５ｃは、サジタル断面、アキシャル断面、コロナル断面のいずれの場合も適切な医用画像データとして抽出する。
なお、上述した抽出の例は、あくまでも一例であり、抽出機能１３５ｃは、操作者による設定に応じて、その他種々の条件、及び、種々の組み合わせによって、学習用データとして適切な医用画像データを抽出することができる。
取得機能１３５ｄは、教師データと共通の属性を有する医用画像データを入力データとして学習済みモデルに入力することで出力データを取得する。具体的には、取得機能１３５ｄは、抽出機能１３５ｃによって抽出された学習用データとして適切な医用画像データを学習済みモデルの入力データとしてＡＩサービスサーバ１２０に送信する。ＡＩサービスサーバ１２０は、取得機能１３５ｄから受信した入力データを学習済みモデルに入力することで得られた出力データを取得機能１３５ｄに送信する。取得機能１３５ｄは、ＡＩサービスサーバ１２０から受信した出力データを一次教師データとして記憶回路１３２に格納する。
決定機能１３５ｅは、入力データと出力データとを学習済みモデルの学習用データとして決定する。具体的には、決定機能１３５ｅは、一次教師データに対して操作者が修正処理を施した処理後の医用画像データを教師データとし、当該教師データと教師データの原画像（ＡＩサービスサーバ１２０に送信された医用画像データ）とを学習用データとして決定する。そして、決定機能１３５ｅは、決定した学習用データをＡＩサービスサーバ１２０に送信することで、決定した学習用データを用いた機械学習をＡＩサービスサーバ１２０に実行させる。
ここで、一次教師データに対する操作者の修正処理は、例えば、ディスプレイ１３４に表示された表示情報に基づいて実行される。すなわち、制御機能１３５ａが、一次教師データに関する情報をディスプレイ１３４に表示させる。例えば、制御機能１３５ａは、抽出機能１３５ｃによる抽出処理に基づくスコア、医用画像データの収集日時、取得機能１３５ｄによる一次教師データの取得状況、及び、学習済みモデルの生成に用いられた教師データと一次教師データとの比較結果のうち少なくとも１つを当該一次教師データとともにディスプレイ１３４にて表示させるように制御する。
入力インターフェース１３３、表示情報に対する操作を操作者から受け付ける。すなわち、操作者は、ディスプレイ１３４にて表示された種々の表示情報に基づいて、一次教師データを学習用データとして用いるか否か、学習用データとして用いる場合に修正を行うか否かなどを判断して、学習用データとして用いる一次教師データを決定し、決定した一次教師データを学習用データとするための操作を実行する。決定機能１３５ｅは、操作者による操作に基づいて、学習用データを決定し、決定した学習用データをＡＩサービスサーバ１２０に送信する。
上述したように、本実施形態に係る医用画像処理装置１３０は、ＶＮＡ１１０にて管理された医用画像データを解析して、学習用データの候補となる医用画像データを抽出し、抽出した医用画像データを学習済みモデルに適用することで、一次教師データを取得する。そして、医用画像処理装置１３０は、一次教師データを操作者に提示して、操作者によって教師データとして適切であると判定された医用画像データを教師データと決定する。さらに、医用画像処理装置１３０は、決定した教師データと当該教師データの原画像とをＡＩサービスサーバ１２０に送信する。
以下、図３を用いて、医用画像処理装置１３０の処理の一例を説明する。図３は、本実施形態に係る医用画像処理装置１３０による処理の一例を説明するための図である。ここで、図３においては、医用画像処理装置１３０が、頭部のＴ１Ｗを用いた脳のセグメンテーションの学習済みモデルのアルゴリズムに適切な学習用データをＶＮＡ１１０に保存されたＮｏｎ−ＤＩＣＯＭ画像から抽出する場合の例を示す。
図３に示すように、医用画像処理装置１３０においては、抽出機能１３５ｃが、（１）教師データの原画像を参照して、原画像と同じ画像種の画像を抽出する。かかる場合には、例えば、解析機能１３５ｂが、ＶＮＡ１１０に保存されたＴｉｆｆフォーマットやａｎａｌｙｚｅフォーマットなどのＮｏｎ−ＤＩＣＯＭ画像に対して部位や画像種を特定するための解析処理を実行する。そして、抽出機能１３５ｃは、解析機能１３５ｂの解析結果に基づいて、Ｎｏｎ−ＤＩＣＯＭ画像の中からＭＲＩ装置によって頭部が撮像されたＴ１Ｗを抽出する。
その後、抽出機能１３５ｃは、（１）において抽出した頭部のＴ１Ｗの中から、（２）教師データの原画像として適切な医用画像データを抽出する。すなわち、抽出機能１３５ｃは、解析機能１３５ｂによって解析された画質や、類似度、学習済みモデルにおける制約などに基づいて、教師データの原画像として適切な医用画像データを抽出する。ここで、抽出機能１３５ｃは、操作者によって選択された条件を満たす医用画像データを、教師データの原画像として適切な医用画像データとして抽出する。
そして、取得機能１３５ｄは、抽出機能１３５ｃによって抽出された教師データの原画像として適切な医用画像データを、ＡＩサービスサーバ１２０に送信することで、（３）抽出した原画像に対して学習済みモデルを適用させ、一次教師データを取得する。すなわち、取得機能１３５ｄは、教師データの原画像として適切な頭部のＴ１Ｗを、脳のセグメンテーションの学習済みモデルに適用させることで、セグメンテーション結果（ＡＩ搭載アルゴリズムの出力結果）を取得する。
ここで、取得機能１３５ｄは、ＡＩサービスサーバ１２０に送信する医用画像データに対して画像処理を施すことができる。例えば、頭部のＴ１Ｗを用いた脳のセグメンテーションの学習済みモデルの場合、送信する頭部のＴ１Ｗに含まれる脳が通常の形状と著しく異なる場合に出力がエラーとなる場合がある。例えば、脳の大きさは、年齢とともに萎縮するため、抽出したＴ１Ｗのままでは出力がエラーとなる場合がある。そこで、取得機能１３５ｄは、ＡＩサービスサーバ１２０に対して頭部のＴ１Ｗを送信する前に当該Ｔ１Ｗに対して画像の縮尺を調整する前処理を行って、脳の大きさを一律に揃えた後に、ＡＩサービスサーバ１２０に送信することも可能である。
そして、制御機能１３５ａは、（４）学習済みモデルへの適用結果を提示して、操作者から修正を受け付ける。すなわち、制御機能１３５ａは、取得機能１３５ｄによって取得された一次教師データをディスプレイ１３４にて表示させることで、操作者による修正を受け付ける。ここで、制御機能１３５ａは、ＡＩサービスサーバ１２０によるセグメンテーション結果とともに、解析機能１３５ｂによる解析結果を操作者に提示させることができる。
図４は、本実施形態に係る制御機能１３５ａによって表示される表示情報の一例を示す図である。例えば、制御機能１３５ａは、図４に示すように、「一次教師データ」に対して、「スコア」、「日時」、「エラー有無」及び「検定結果」を対応付けた表示情報をディスプレイ１３４にて表示させる。
ここで、「一次教師データ」は、ＡＩサービスサーバ１２０による実施された脳のセグメンテーションの結果を示す。また、「スコア」は、解析機能１３５ｂによる解析結果に対してスコアを付与した結果を示す。例えば、「スコア」は、学習用データとして適切な医用画像データであるか否かを判定する際に、条件を満たした項目の数に応じて加算される。一例挙げると、「スコア」は、学習済みモデルのアルゴリズムをより精度の高いものにするための条件、及び、学習済みモデルのアルゴリズムをより汎用性の高いものにするための条件でそれぞれ算出されることとなる。
また、「日時」は、一次教師データの原画像が収集された日時を示す。また、「検定結果」は、ＡＩサービスサーバ１２０によって機械学習に用いられた学習用データの教師データ（セグメンテーション結果）と、一次教師データとを比較した際の検定結果を示す。「検定結果」としては、例えば、機械学習に用いられた教師データにおいてセグメンテーションされた領域の体積値や面積値の平均値及びＳＤ（Standard Deviation）を算出して、一次教師データにおけるセグメンテーション結果の体積値や面積値が２ＳＤ以内となっているか否かが示される。また、「検定結果」としては、例えば、セグメンテーションされた各領域間でのコントラストの値が示される。
なお、上述した「スコア」や、「検定結果」は、例えば、解析機能１３５ｂによって算出され、制御機能１３５ａによってディスプレイ１３４に表示される。また、制御機能１３５ａは、図４に示すように、「スコア」、「日時」、「エラー有無」及び「検定結果」について、昇順・降順で任意に並びかえることができるＧＵＩを表示させることができる。
操作者は、図４に示すような表示情報が参照して、学習用データとして採用する医用画像データを決定する。具体的には、操作者は、まず、「スコア」、「日時」、「エラー有無」及び「検定結果」に基づいて、採用する一次教師データを決定する。そして、操作者は、採用した一次教師データ（セグメンテーション結果）を参照して、分類された各部位（例えば、灰白質、白質、ＣＳＦなど）の領域について、修正が必要か否かを判定する。そして、操作者は、修正が必要であると判定した場合に、入力インターフェース１３３を介して当該領域を修正し、教師データを生成する。
その後、操作者は、修正後の教師データと当該教師データの原画像を学習用データとして決定する決定操作を実行する。決定機能１３５ｅは、操作者によって実行された決定操作に応じて、対応する修正後の教師データと当該教師データの原画像をＡＩサービスサーバ１２０に送信する、
上述したように、医用画像処理装置１３０は、学習用データの候補となる医用画像データを抽出し、抽出した医用画像データを学習済みモデルに適用することで、一次教師データを取得し、一次教師データに対する操作者の操作に応じて教師データを決定する。そして、医用画像処理装置１３０は、決定した教師データをＡＩサービスサーバ１２０に送信することで、学習済みモデルを更新させる。
ここで、医用画像処理装置１３０は、適切な医用画像データを抽出する際の条件ごとや、一次教師データに対して操作を実行した操作者ごとの学習済みモデルを更新させることもできる。かかる場合には、決定機能１３５ｅは、ＡＩサービスサーバ１２０に学習用データを送信する際に、条件又は操作者が識別可能となるように識別子を付して送信することで、ＡＩサービスサーバ１２０に条件ごと、或いは、操作者ごとに学習済みモデルを更新させる。この場合、ＡＩサービスサーバ１２０は、条件ごと、或いは、操作者ごとに学習済みモデルを管理することとなる。
以上、医用画像処理装置１３０の処理回路１３５が有する各処理機能について説明した。ここで、処理回路１３５がプロセッサによって実現される場合には、処理回路１３５が有する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１３２に記憶されている。そして、処理回路１３５は、記憶回路１３２から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１３５は、図１の処理回路１３５に示された各機能を有することとなる。なお、図１では、単一のプロセッサによって各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１３５が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、図１に示す例では、単一の記憶回路１３２が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路が個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
次に、医用画像処理装置１３０による処理の手順を説明する。図５は、本実施形態に係る医用画像処理装置１３０による処理の手順を示すフローチャートである。ここで、図５におけるステップＳ１０１〜ステップＳ１０４は、処理回路１３５が記憶回路１３２から解析機能１３５ｂ及び抽出機能１３５ｃに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図５におけるステップＳ１０５は、処理回路１３５が記憶回路１３２から取得機能１３５ｄに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図５におけるステップＳ１０６は、処理回路１３５が記憶回路１３２から制御機能１３５ａに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図５におけるステップＳ１０７〜ステップＳ１１０は、処理回路１３５が記憶回路１３２から決定機能１３５ｅに対応するプログラムを呼び出して実行することにより、実現されるステップである。
図５に示すように、医用画像処理装置１３０においては、処理回路１３５が、まず、学習用データの抽出処理が開始されたか否かを判定する（ステップＳ１０１）。ここで、抽出処理が開始されると（ステップＳ１０１、肯定）、処理回路１３５は、教師データに用いられている医用画像データの原画像を参照して（ステップＳ１０２）、ＶＮＡ１１０に登録されている医用画像データを解析して原画像と同じ画像種の医用画像データを抽出する（ステップＳ１０３）。なお、抽出処理が開始されるまで、処理回路１３５は待機状態である（ステップＳ１０１、否定）。
そして、処理回路１３５は、解析結果に基づいて、抽出した医用画像データから原画像として適切なものをさらに抽出する（ステップＳ１０４）。その後、処理回路１３５は、抽出した医用画像データを学習済みデータに適用して（ステップ１０５）、出力結果をユーザに提示して（ステップＳ１０６）、修正を受け付けたか否かを判定する（ステップＳ１０７）。
ここで、修正を受け付けた場合（ステップＳ１０７、肯定）、処理回路１３５は、修正結果を反映して（ステップＳ１０８）、登録操作を受け付けたか否かを判定する（ステップＳ１０９）。なお、修正を受け付けていない場合（ステップＳ１０７、否定）、処理回路１３５は、登録操作を受け付けたか否かを判定する（ステップＳ１０９）。
そして、登録操作を受け付けた場合（ステップＳ１０９、肯定）、処理回路１３５は、学習用データをＡＩサービスサーバ１２０に送信して、学習済みモデルを更新させて保存させる（ステップＳ１１０）。一方、登録操作を受け付けていない場合（ステップＳ１０９、否定）、処理回路１３５は、処理を終了する。
上述したように、本実施形態によれば、解析機能１３５ｂは、収集済みの複数の医用画像データに対して画像解析を行う。抽出機能１３５ｃは、解析機能１３５ｂの解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、学習済みモデルの教師データの候補として収集済みの複数の医用画像データから抽出する。したがって、本実施形態に係る医用画像処理装置１３０は、画像情報に基づいて、学習済みモデルの教師データの候補を抽出することができ、多数の医用画像データの中から学習用データを抽出する手間を軽減することを可能にする。
また、本実施形態によれば、解析機能１３５ｂは、収集済みの複数の医用画像データに対して、画像の種別を特定するための学習済みモデル又は画像処理を用いた解析を行う。抽出機能１３５ｃは、解析機能１３５ｂによる解析結果に基づいて教師データと共通の画像種の複数の医用画像データを抽出し、画質、教師データの原画像との類似度、及び、学習済みモデルに用いるための制約のうち少なくとも１つに基づいて、抽出した複数の医用画像データの中から教師データと共通の属性を有する医用画像データを抽出する。したがって、本実施形態に係る医用画像処理装置１３０は、対象の学習済みモデルに適切な学習用データを容易に抽出することを可能にする。
また、本実施形態によれば、取得機能１３５ｄは、教師データと共通の属性を有する医用画像データを入力データとして学習済みモデルに入力することで出力データを取得する。決定機能１３５ｅは、入力データと出力データとを学習済みモデルの学習用データとして決定する。したがって、本実施形態に係る医用画像処理装置１３０は、学習済みモデルの教師データの抽出にかかる手間を軽減することを可能にする。
また、本実施形態によれば、制御機能１３５ａは、出力データをディスプレイ１３４に表示させるように制御する。入力インターフェース１３３は、ディスプレイ１３４にて表示された出力データに対する処理の操作を受け付ける。決定部は、入力データと処理後の出力データとを学習済みモデルの学習用データとして決定する。したがって、本実施形態に係る医用画像処理装置１３０は、より信頼度の高い教師データを容易に抽出することを可能にする。
また、本実施形態によれば、決定機能１３５ｅは、入力データと処理後の出力データとを、学習済みモデルのアルゴリズムを提供するＡＩサービスサーバ１２０に送信することで、学習済みモデルを更新させる。したがって、本実施形態に係る医用画像処理装置１３０は、学習済みモデルの更新を容易に実行することを可能にする。
また、本実施形態によれば、制御機能１３５ａは、抽出機能１３５ｃによる抽出処理に基づくスコア、医用画像データの収集日時、取得機能１３５ｄによる出力データの取得状況、及び、学習済みモデルの生成に用いられた教師データと出力データとの比較結果のうち少なくとも１つを当該出力データとともにディスプレイ１３４にて表示させるように制御する。したがって、本実施形態に係る医用画像処理装置１３０は、対象の学習済みモデルに対して適切な医用画像データを容易に抽出することを可能にする。
また、本実施形態によれば、取得機能１３５ｄは、教師データと共通の属性を有する医用画像データに対して画像変形（例えば、脳の大きさをそろえる処理）を行ったうえで学習済みモデルに入力することで出力データを取得する。したがって、本実施形態に係る医用画像処理装置１３０は、一次教師データの取得におけるエラーを抑制することを可能にする。
（他の実施形態）
なお、上述した実施形態は、医用画像処理装置１３０が有する構成又は機能の一部を変更することで、適宜に変形して実施することも可能である。そこで、以下では、上述した実施形態に係るいくつかの変形例を他の実施形態として説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。
（他の実施形態−１）
例えば、上述した実施形態では、一次教師データの取得においてエラーが生じた場合に、対象外とする例について説明した。しかしながら、実施形態はこれに限定されるものではなく、エラーが生じた場合の結果をフィードバックして、抽出機能１３５ｃの抽出処理に反映させるようにしてもよい。
かかる場合には、例えば、取得機能１３５ｄは、記憶回路１３２に保存された医用画像データのうち、ＡＩサービスサーバ１２０から受信した出力結果においてエラーが通知された医用画像データに対してエラーが通知された旨を対応付けて記憶させる。抽出機能１３５ｃは、取得機能１３５ｄによる出力データの取得においてエラーが生じた医用画像データの属性情報を蓄積し、蓄積した属性情報を有する医用画像データを抽出の対象外とする。例えば、抽出機能１３５ｃは、エラーが通知された旨を対応付けられた医用画像データの画像特徴量を算出して、算出した画像特徴量の情報を記憶回路１３２に蓄積させる。そして、抽出機能１３５ｃは、学習用データとして適切な医用画像データを抽出する際に、蓄積した画像特徴量を有する医用画像データを対象外のデータとする。これにより、医用画像処理装置１３０は、学習用データとしてより適切な医用画像データを自動で抽出することを可能にする。
（他の実施形態−２）
また、例えば、上述した実施形態では、医用画像データをもとに生成された学習済みモデルの学習用データを抽出する場合について説明した。しかしながら、実施系形態はこれに限定されるものではなく、例えば、ＥＣＧ（Electrocardiogram）等の他の被検体情報を用いる場合であってもよい。
（他の実施形態−３）
また、上述した実施形態では、医用画像処理装置１３０が、病院や医院等の医療機関に設置される場合の例を説明したが、実施形態はこれに限られない。例えば、医用画像処理装置１３０は、医療機関とは別の場所に設置され、ネットワーク２００を介して、１つ又は複数の医療機関に設置されたＶＮＡ１１０と通信可能に接続されていてもよい。
この場合には、例えば、医用画像処理装置１３０が、ネットワーク２００を介して、各医用機関に設置されたＶＮＡ１１０から医用画像データを取得して、学習用データを抽出する。
（他の実施形態−４）
また、上述した実施形態では、医用画像処理装置１３０によって抽出した学習用データをＡＩサービスサーバ１２０に送信して学習済みモデルを生成する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、医用画像処理装置１３０によって学習済みモデルが生成される場合であってもよい。
（他の実施形態−５）
また、上述した実施形態では、医用画像処理装置１３０が、制御機能１３５ａ、解析機能１３５ｂ、抽出機能１３５ｃ、取得機能１３５ｄ、決定機能１３５ｅを実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、各機能が、医用画像処理システム１００に含まれる複数の装置によって分散して実行される場合であってもよい。
（他の実施形態−６）
また、上述した各実施形態では、本明細書における制御部、解析部、抽出部、取得部及び決定部を、それぞれ、処理回路１３５の制御機能１３５ａ、解析機能１３５ｂ、抽出機能１３５ｃ、取得機能１３５ｄ、及び、決定機能１３５ｅによって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における制御部、解析部、抽出部、取得部及び決定部は、実施形態で述べた制御機能１３５ａ、解析機能１３５ｂ、抽出機能１３５ｃ、取得機能１３５ｄ、及び、決定機能１３５ｅによって実現する他にも、ハードウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
なお、上述した説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは、記憶回路１４２に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路１４２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラム（医用画像処理プログラム）は、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）−ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ−Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に保存され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
以上説明した少なくとも１つの実施形態によれば、学習用データの抽出にかかる手間を軽減することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１００ 医用画像処理システム
１１０ ＶＮＡ
１２０ ＡＩサービスサーバ
１３０ 医用画像処理装置
１３３ 入力インターフェース
１３５ 処理回路
１３５ａ 制御機能
１３５ｂ 解析機能
１３５ｃ 抽出機能
１３５ｄ 取得機能
１３５ｅ 決定機能

Claims (9)

  1. 収集済みの複数の医用画像データに対して画像解析を行う解析部と、
    前記解析部の解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、前記学習済みモデルの教師データの候補として前記収集済みの複数の医用画像データから抽出する抽出部と、
    を備える、医用画像処理装置。
  2. 前記解析部は、前記収集済みの複数の医用画像データに対して、画像の種別を特定するための学習済みモデル又は画像処理を用いた解析を行い、
    前記抽出部は、前記解析部による解析結果に基づいて前記教師データと共通の画像種の複数の医用画像データを抽出し、画質、前記教師データの原画像との類似度、及び、前記学習済みモデルに用いるための制約のうち少なくとも１つに基づいて、抽出した複数の医用画像データの中から前記教師データと共通の属性を有する医用画像データを抽出する、請求項１に記載の医用画像処理装置。
  3. 前記教師データと共通の属性を有する医用画像データを入力データとして前記学習済みモデルに入力することで出力データを取得する取得部と、
    前記入力データと前記出力データとを前記学習済みモデルの学習用データとして決定する決定部と、
    をさらに備える、請求項１又は２に記載の医用画像処理装置。
  4. 前記出力データを表示部に表示させるように制御する制御部と、
    前記表示部にて表示された前記出力データに対する処理の操作を受け付ける受付部と、
    をさらに備え、
    前記決定部は、前記入力データと前記処理後の出力データとを前記学習済みモデルの学習用データとして決定する、請求項３に記載の医用画像処理装置。
  5. 前記決定部は、前記入力データと前記処理後の出力データとを、前記学習済みモデルのアルゴリズムを提供する提供装置に送信することで、前記学習済みモデルを更新させる、請求項４に記載の医用画像処理装置。
  6. 前記制御部は、前記抽出部による抽出処理に基づくスコア、前記医用画像データの収集日時、前記取得部による出力データの取得状況、及び、前記学習済みモデルの生成に用いられた教師データと前記出力データとの比較結果のうち少なくとも１つを当該出力データとともに表示部にて表示させるように制御する、請求項４又は５に記載の医用画像処理装置。
  7. 前記抽出部は、前記取得部による出力データの取得において誤りが生じた医用画像データの属性情報を蓄積し、蓄積した属性情報を有する医用画像データを抽出の対象外とする、請求項３〜６のいずれか１つに記載の医用画像処理装置。
  8. 収集済みの複数の医用画像データに対して画像解析を行う解析部と、
    前記解析部の解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、前記学習済みモデルの教師データの候補として前記収集済みの複数の医用画像データから抽出する抽出部と、
    を備える、医用画像処理システム。
  9. 収集済みの複数の医用画像データに対して画像解析を行う解析機能と、
    前記解析機能の解析結果に基づいて、学習済みモデルの生成に用いられた教師データと共通の属性を有する医用画像データを、前記学習済みモデルの教師データの候補として前記収集済みの複数の医用画像データから抽出する抽出機能と、
    をコンピュータに実現させるための医用画像処理プログラム。
JP2018191547A 2018-10-10 2018-10-10 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム Active JP7187244B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018191547A JP7187244B2 (ja) 2018-10-10 2018-10-10 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US16/598,540 US11257211B2 (en) 2018-10-10 2019-10-10 Medical image processing apparatus, medical image processing system, and medical image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018191547A JP7187244B2 (ja) 2018-10-10 2018-10-10 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020058590A true JP2020058590A (ja) 2020-04-16
JP7187244B2 JP7187244B2 (ja) 2022-12-12

Family

ID=70159028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018191547A Active JP7187244B2 (ja) 2018-10-10 2018-10-10 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム

Country Status (2)

Country Link
US (1) US11257211B2 (ja)
JP (1) JP7187244B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022065060A1 (ja) * 2020-09-28 2022-03-31 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習済みモデル
JP2022534712A (ja) * 2020-07-28 2022-08-03 平安科技（深▲せん▼）有限公司 画像サンプルの選択方法及び関連装置
WO2023187855A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7049974B2 (ja) * 2018-10-29 2022-04-07 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
DE112019005378T5 (de) * 2018-10-29 2021-07-15 Fujifilm Corporation Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und -Programm
CN112950600B (zh) * 2021-03-10 2024-06-28 武汉联影智融医疗科技有限公司 脑标识提取方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297365A (ja) * 2008-06-16 2009-12-24 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2013192624A (ja) * 2012-03-16 2013-09-30 Hitachi Ltd 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
JP2015194927A (ja) * 2014-03-31 2015-11-05 セコム株式会社 対象識別装置
JP2016067573A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 検出器生成装置、方法およびプログラム並びに画像検出装置
WO2017216980A1 (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006114003A1 (en) * 2005-04-27 2006-11-02 The Governors Of The University Of Alberta A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images
JP5159242B2 (ja) * 2007-10-18 2013-03-06 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、およびそのプログラム
JP2009113717A (ja) 2007-11-08 2009-05-28 Fuji Heavy Ind Ltd 状態推定システム
WO2018001099A1 (zh) * 2016-06-30 2018-01-04 上海联影医疗科技有限公司 一种血管提取方法与***
WO2018222755A1 (en) * 2017-05-30 2018-12-06 Arterys Inc. Automated lesion detection, segmentation, and longitudinal identification
CN110910340A (zh) * 2018-08-28 2020-03-24 奥林巴斯株式会社 注解装置和注解方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009297365A (ja) * 2008-06-16 2009-12-24 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2013192624A (ja) * 2012-03-16 2013-09-30 Hitachi Ltd 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
WO2013140667A1 (ja) * 2012-03-21 2013-09-26 オリンパスメディカルシステムズ株式会社 画像処理装置
JP2015194927A (ja) * 2014-03-31 2015-11-05 セコム株式会社 対象識別装置
JP2016067573A (ja) * 2014-09-30 2016-05-09 富士フイルム株式会社 検出器生成装置、方法およびプログラム並びに画像検出装置
WO2017216980A1 (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022534712A (ja) * 2020-07-28 2022-08-03 平安科技（深▲せん▼）有限公司 画像サンプルの選択方法及び関連装置
JP7288088B2 (ja) 2020-07-28 2023-06-06 平安科技（深▲せん▼）有限公司 画像サンプルの選択方法及び関連装置
US11972601B2 (en) 2020-07-28 2024-04-30 Ping An Technology (Shenzhen) Co., Ltd. Method for selecting image samples and related equipment
WO2022065060A1 (ja) * 2020-09-28 2022-03-31 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習済みモデル
JP7463538B2 (ja) 2020-09-28 2024-04-08 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム、並びに学習済みモデル
WO2023187855A1 (ja) * 2022-03-28 2023-10-05 日本電気株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
JP7187244B2 (ja) 2022-12-12
US11257211B2 (en) 2022-02-22
US20200118265A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
JP7187244B2 (ja) 医用画像処理装置、医用画像処理システム及び医用画像処理プログラム
US11139067B2 (en) Medical image display device, method, and program
US10049451B2 (en) Automated lesion segmentation from MRI images
US10929973B2 (en) Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms
US9053213B2 (en) Interactive optimization of scan databases for statistical testing
US11969265B2 (en) Neural network classification of osteolysis and synovitis near metal implants
US20180108128A1 (en) Method, computer and imaging apparatus for determining an imaging parameter for an imaging procedure
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
US11551351B2 (en) Priority judgement device, method, and program
CN115482936A (zh) 用于评估医学图像数据的方法和设备
US11244754B2 (en) Artificial neural network combining sensory signal classification and image generation
US11328414B2 (en) Priority judgement device, method, and program
US10078726B2 (en) Image processing system and method for detecting an anatomical marker within an image study
US20220108451A1 (en) Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator
JP7350595B2 (ja) 画像処理装置、医用画像診断装置及び画像処理プログラム
US12033366B2 (en) Matching apparatus, matching method, and matching program
US20210272254A1 (en) Image analysis device, analysis function decision method, and analysis function decision program
US20220101983A1 (en) Image diagnosis supporting device and image processing method
US20220076796A1 (en) Medical document creation apparatus, method and program, learning device, method and program, and trained model
JP2023092327A (ja) 情報処理装置及びプログラム
JP2024011742A (ja) 医用画像処理装置、医用画像処理方法、及びプログラム
JP2023134655A (ja) 医療映像分析方法、医療映像分析装置及び医療映像分析システム
WO2024102765A1 (en) Registration based medical image analysis
JP2023168807A (ja) 医用画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R150 Certificate of patent or registration of utility model

Ref document number: 7187244

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150