JP2019010411A - 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム - Google Patents

学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム Download PDF

Info

Publication number
JP2019010411A
JP2019010411A JP2017129453A JP2017129453A JP2019010411A JP 2019010411 A JP2019010411 A JP 2019010411A JP 2017129453 A JP2017129453 A JP 2017129453A JP 2017129453 A JP2017129453 A JP 2017129453A JP 2019010411 A JP2019010411 A JP 2019010411A
Authority
JP
Japan
Prior art keywords
image
comparison
data generation
learning data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017129453A
Other languages
English (en)
Other versions
JP6738305B2 (ja
Inventor
佳児 中村
Yoshiji Nakamura
佳児 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017129453A priority Critical patent/JP6738305B2/ja
Priority to US16/011,157 priority patent/US10860894B2/en
Publication of JP2019010411A publication Critical patent/JP2019010411A/ja
Application granted granted Critical
Publication of JP6738305B2 publication Critical patent/JP6738305B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】本発明は、画像のディープラーニングに必要な大量かつ多様なデータを提供するための学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラムを提供する。
【解決手段】取得した画像の中のいずれか１つを基準画像として設定し、基準画像以外の画像を比較画像として設定する。部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行して、基準画像の解剖学的領域と比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定する。前記正解データとして利用可能と判定された比較画像を正解データとして登録する。
【選択図】図２

Description

本発明は、機械学習に利用する学習データを生成するための支援を行う学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラムに関する。
データの特徴を学習して画像などの認識や分類を行うために機械学習が従来から利用されてきた。近年、様々な学習手法が開発され、かつ、コンピュータの処理能力が向上したことにより処理時間が短縮され、システムが画像データなどの特徴をより深いレベルで学習するディープラーニングを行うことが可能になってきた。ディープラーニングを行うことにより、非常に高い精度で画像などの特徴を認識できるようになり判別性能の向上が期待されている。ディープラーニングには大量かつ多様なデータが必要であり、多くの画像判別のためのデータをインターネットなどから取得している。
一方、医療情報システムの普及に伴い、地域における病気診断の連携と医療情報の共有を目的として、医療機関の相互間でデータ交換が可能な広域電子カルテシステムの実現がされつつある。広域電子カルテシステムの要素技術には、各医療機関に設けられた医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）がある。ＰＡＣＳでは、ＣＲ（Computed Radiography：コンピュータＸ線撮影）、ＣＴ（Computed Tomography：コンピュータ断層撮影装置）およびＭＲＩ（magnetic resonance imaging：磁気共鳴画像撮影装置）、ＰＥＴ（Positron Emission Tomography：陽電子放射断層撮影装置）といった画像撮影装置（モダリティ）から受信した画像データの保管、閲覧、および管理を行っている。また、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格を用いて画像データを管理することにより、様々な種類の画像データの一元管理を可能にしている。
また、１つの疾患の診断ために複数のモダリティで撮影した画像を用いた診断が有効なケースもあり、診断のために２種類以上の画像の比較読影を行うことがある。医用画像管理システムには、比較読影を行うために同じ患者の同じ部位を異なるモダリティで撮影した画像が蓄積されている。正確な比較読影を行うためには、対応する位置を見つける必要があり、特許文献１および特許文献２には、２つの異なるモダリティで撮影した画像および断層画像の位置合せを行う手法が開示されている。
特開２０１１−６７２５３号公報 特開２００９−２１９６５５号公報
医療分野においても、ディープラーニングなどを利用して高い精度で画像などの特徴を認識することが望まれている。ディープラーニングには、目的に沿った大量かつ良質のデータによる学習が不可欠である。医療分野では、学習に必要なデータは医用画像管理システムに保管されている大量のデータに埋もれていると考えられ、ディープラーニングに利用するデータを、これらの医療情報システムに保管されている画像データから取得することが検討されている。しかし、大量のデータの中から正解データを手動で判別するのは合理的ではない。医療用の画像処理は、近年、性能の向上が著しく、撮影された画像の種類によっては正確な結果を得ることが可能になってきている。このような画像処理を利用して、蓄積されている同じ被写体を撮影した画像の中から正解データを見つけることが検討されている。
そこで、本発明では、上述のような問題を解決するために、医療分野においてディープラーニングに必要な大量かつ多様な学習データを自動的に生成する学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラムを提供することを目的とする。
本発明の学習データ生成支援装置は、被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、取得した画像の中の基準画像以外の画像を比較画像として設定する設定手段と、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、部位または疾患に応じて、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、第１の画像処理による基準画像の解剖学的領域と第２の画像処理による比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定する判定手段と、正解データとして利用可能と判定された比較画像を正解データとして登録する登録手段とを備える。
また、本発明の学習データ生成支援の作動方法は、取得手段と、設定手段と、画像処理手段と、判定手段と、登録手段とを備えた学習データ生成支援装置において、取得手段が、被写体の同じ部位を撮影した２以上の異なる画像を取得し、設定手段が、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、取得した画像の中の基準画像以外の画像を比較画像として設定し、画像処理手段が、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、部位または疾患に応じて、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行し、判定手段が、第１の画像処理による基準画像の解剖学的領域と第２の画像処理による比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定し、と登録手段が、正解データとして利用可能と判定された比較画像を正解データとして登録する。
また、本発明の学習データ生成支援プログラムは、コンピュータを、被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、取得した画像の中の基準画像以外の画像を比較画像として設定する設定手段と、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、部位または疾患に応じて、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、第１の画像処理による基準画像の解剖学的領域と第２の画像処理による比較画像の解剖学的領域を用いて、比較画像を正解データとして利用可能か否かを判定する判定手段と正解データとして利用可能と判定された比較画像を正解データとして登録する登録手段として機能させるためのプログラムである。
「解剖学的領域」とは、体の臓器または組織などの解剖学的な構造物の一部または全体を表す領域であり、画像上に現れた特定の形状と大きさを有する領域を指す。解剖学的領域は、周囲の領域と境界が検出可能な領域、または、周囲の領域とは異なる濃淡またはテクスチャを有する領域である。例えば、具体的には、臓器の領域、組織の領域、または、病変領域がある。
また、第１の画像処理および第２の画像処理は、臓器抽出処理および病変検出処理のうち少なくともいずれか１つの処理であってもよい。
また、登録手段は、比較画像と比較画像から得られた解剖学的領域を正解データとして登録してもよい。
また、第１の画像処理の種類は、第２の画像処理と異なる種類の画像処理であっていてもよい。
また、２以上の異なる画像は、２以上の異なる種類の撮影装置を用いて撮影した画像であってもよい。
また、２以上の異なる種類の撮影装置は、ＭＲＩ装置、ＣＴ装置、ＣＲ装置、ＰＥＴ装置、および、超音波撮影装置のうちの２種類以上の撮影装置であってもよい。
また、２以上の異なる画像は、同じ種類の撮影装置を用いて異なる撮影プロトコルで撮影した画像であってもよい。
また、同じ種類の撮影装置が、ＭＲＩ撮影装置であって、異なる撮影プロトコルがＴ１撮影プロトコルおよびＴ２撮影プロトコルであってもよい。
また、２以上の異なる画像は、同じ種類の撮影装置を用いて異なる時刻に撮影した画像であってもよい。
また、２以上の画像のそれぞれの読影レポートの文字列を解析する解析手段をさらに備え、設定手段が、解析手段のよって得られた部位または疾患に応じて、基準画像と比較画像を決定しよい。
また、判定手段が比較画像を正解データとして利用不可と判定した場合は、利用不可の通知を行う通知手段をさらに備えてもよい。
さらに、利用不可の通知がされた比較画像の解剖学的領域を認識可能に表示する修正用画像表示手段と、比較画像の解剖学的領域を修正するための入力を受け付ける修正入力受付手段と、修正入力受付手段で受け付けた入力に従って修正した比較画像の解剖学的領域と比較画像を正解データとして登録する修正登録手段とを備えてよい。
本発明によれば、部位または疾患に応じて、取得した画像の中のいずれか１つを基準画像として設定し、他の画像を比較画像として設定し、基準画像の解剖学的領域と比較画像の解剖学的領域を抽出して、抽出した基準画像と比較画像の解剖学的領域に基づいて比較画像を正解データとして利用可能か否かを判定し、利用可能であると判定された場合には、比較画像を正解データとして登録することにより、ディープラーニングに必要な大量の多様な正解データを自動的に取得することが可能になる。
医療情報システムの概略構成を表す図 本発明の第１の実施の形態の学習データ生成支援装置の概略構成を表す図 正解データを登録する処理の流れを示すフローチャート 本発明の第２の実施の形態の学習データ生成支援装置の概略構成を表す図 比較画像から得られた画像処理結果を修正する処理の流れを示すフローチャート 利用不可と判定された比較画像の表示例
図１に、本発明の第１の実施の形態における学習データ生成支援装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被写体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科の医師による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ（撮影装置）２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、画像データベース６、読影レポートサーバ７、および、読影レポートデータベース８を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。
モダリティ２には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報（以下、ＤＩＣＯＭタグという）を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲＩ装置、ＰＥＴ（Positron Emission Tomography）装置、超音波撮影装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置などが挙げられる。
読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。
診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および、読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。また、診療科用ワークステーション４は、各診療科で行われた内視鏡検査などの動画を、ネットワーク９を介して画像管理サーバ５に転送し、画像データベース６への登録を要求する。
画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれている。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。
画像データベース６には、複数の患者をモダリティ２で撮影した検査画像と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、検査画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その検査画像が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。
また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。
読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、読影医用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。
読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変の位置情報、所見、所見の確信度といった情報が記録された読影レポートが登録される。また、読影レポートには、生検によって得られた判定結果が記録される。
ネットワーク９は、病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど検査画像の高速転送が実現可能な構成にすることが好ましい。
次に、本発明の第１の実施の形態の学習データ生成支援装置１０について、図１〜３を用いて具体的に説明する。図２は、学習データ生成支援装置１０の構成を表す機能ブロックであり、図３は、学習データ生成支援装置１０の処理の流れを示すフローチャートである。
本発明の学習データ生成支援装置１０は、ネットワーク９に接続され、ネットワーク９を介して画像データベース６および読影レポートデータベース８に接続される（図１参照）。
学習データ生成支援装置１０は、汎用のコンピュータで構成され、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステムおよびアプリケーションプログラム等がインストールされ、さらに、本発明の学習データ生成支援プログラムがインストールされている。また、通信インターフェースを介して、ネットワーク９に接続された画像データベース６、および読影レポートデータベース８とデータの送受信を行う機能を有する。なお、学習データ生成支援プログラムはＣＤ−ＲＯＭ（Compact Disc Read only memory）などの記録媒体からインストールされてもよいし、インターネットなどのネットワークを介してインストールされてもよい。
図２に示すように、学習データ生成支援装置１０は、取得手段１１、設定手段１２、画像処理手段１３、判定手段１４、登録手段１５、制御手段１７および学習手段１８を備える。
取得手段１１は、被写体（患者）の同じ部位を撮影した２以上の異なる検査画像（以下、単に画像という）を取得する。患者を特定する患者ＩＤと部位の情報を画像管理サーバ５に送信して、同じ患者ＩＤが割り当てられた画像のうち同じ部位を撮影した画像を要求する。画像管理サーバ５は、ＤＩＣＯＭタグを参照して、同じ患者を撮影した画像のうち同じ部位を撮影した画像を画像データベース６から検索して受信する。受信した画像は、一旦、学習データ生成支援装置１０のハードディスクなどの補助記憶装置に記憶する。なお、異なる画像には、異なる種類のモダリティ２を用いて撮影した画像、同じ種類のモダリティ２を用いて異なる撮影プロトコルで撮影した画像、または、同じモダリティ２を用いて異なる時刻に撮影した画像などがある。同じ種類のモダリティ２を用いて異なる撮影プロトコルで撮影した画像には、例えば、ＭＲＩ装置のＴ１撮影プロトコルおよびＴ２撮影プロトコルを用いて撮影したＴ１強調画像およびＴ２強調画像がある。
設定手段１２は、撮影されている部位または疾患の情報を元に、取得した複数の画像の中のいずれか１つを基準画像として設定し、基準画像以外の画像を比較画像として設定する。基準画像として設定する画像は、複数ある画像に撮影されている部位に応じて、各画像の種類、各画像の撮影時刻、または各画像の種類と各画像の撮影時刻の組み合わせに基づいて決められる。あるいは、疾患に応じて、各画像の種類、撮影されている部位、各画像の撮影時刻、または、これらの組合せに応じて決められる。
撮影されている部位の情報は、ＤＩＣＯＭタグに記録されている情報に基づいて取得することができる。疾患の情報は、取得した画像のそれぞれに対応づけて記憶されている読影レポートから得ることができる。その読影レポートを読影レポートサーバ７に要求して、要求された読影レポートを読影レポートデータベース８から検索して受信する。受信した読影レポートは、一旦、学習データ生成支援装置１０のハードディスクなどの補助記憶装置に記憶される。さらに、読影レポートを解析して疾患の情報を取得する（読影レポートの解析の詳細は、後述する）。また、部位の情報についても、読影レポートを解析することにより、ＤＩＣＯＭタグに記録されている部位の情報よりも詳細な情報を取得することが可能であり、基準画像を設定する場合に利用することができる。
臓器または病変などの検出対象によっては、臓器抽出処理または病変検出処理を実行した際に最も正確な結果が得られる画像の種類が決まっている場合がある。２種類以上の画像があった場合に、同じ臓器抽出処理であっても、より正確な結果が得られるであろう種類の画像を基準画像とする。また、特定の疾患の病変についても、ＣＴ画像から検出した結果が正確であるが、他の疾患の病変ついては、ＭＲＩ画像から検出した結果が正確であるというように、最も正確な結果が得られる画像の種類が決まっている場合がある。複数の画像のうち、画像処理に応じてより正確な結果が得られる種類の画像を基準画像とし、他方の画像を比較画像とする。
また、臓器抽出処理と病変検出処理を行った場合に、臓器抽出処理は大きく間違った結果を得ることはないが、病変検出処理は、骨などの他の組織や他の臓器が重なりに影響されて正確な結果が得られないことがある。そこで、臓器抽出処理に用いる画像を基準画像とし、病変検出処理に用いる画像を比較画像として設定するようにしてもよい。
また、同じ部位の経過を観察する場合には、現在画像と過去画像（現在画像を撮影した時刻より前に撮影した画像を指す）のうち、例えば、過去画像を基準画像として設定して、現在画像を比較画像として設定するようにしてもよい。
なお、このような基準画像の決定は、予め定められ規則に従って行われ、例えば、規則が記述されたファイル、または、基準画像と比較画像の関係を表すテーブルを、予め学習データ生成支援装置１０の補助記憶装置に記憶しておき、設定手段１２はこのようなファイルまたはテーブルを参照して、基準画像および比較画像を設定する。また、基準画像と比較画像の関係を学習データ生成支援プログラムに組み込んでおくようにしてもよい。あるいは、医師が基準画像となる画像を指定し、他の画像を比較画像とするようにしてもよい。
解析手段２３は、取得した各画像に対応づけられた読影レポートの文字列を解析して、読影レポート内に記録されている疾患に関する情報、または、読影レポート内に記録されている部位に関する情報を抽出する。具体的には、自然言語処理を行い、読影レポート内の文を単語に区切り、かつ、単語の並びを解析することにより、疾患または部位に関する情報を取得する。必要に応じて、疾患名、病変名、部位名などの用語を予め登録しておき、用語と一致する文字列からレポートに記載されている内容を抽出する。疾患の情報は、疾患名から得られるが、肺結節のよう病変名などの疾患名が推定可能な情報から推定されてもよい。用語は医療用語辞書を予め用意しておき、同じ疾患または同じ部位を指す複数の用語を辞書登録して、読影レポートに記録されている用語が同じ疾患または同じ部位を指す場合には同じ用語としてもよい。また、あいまい検索のように、一定のルールの下で辞書の用語に完全に一致していない用語であっても、辞書にある最も近い用語を用いて一致しているか否かを判定してもよい。
画像処理手段１３は、部位または疾患に応じて、基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する。解剖学的領域を抽出する画像処理の種類には、臓器抽出処理、および、病変検出処理などがある。第１の画像処理と第２の画像処理が同じ種類の処理であってもよいが、一方が、臓器抽出処理であって、他方が病変検出処理であってもよい。あるいは、第１の画像処理と第２の画像処理の一方が、臓器抽出処理と病変検出処理を組み合わせた処理であってもよいし、第１の画像処理と第２の画像処理の両方が、臓器抽出処理と病変検出処理を組み合わせた処理であってもよい。なお、臓器抽出処理および病変検出処理は、グラフカットを用いるようにしてもよい。例えば、特許４４９３６７９に開示されたグラフカットの手法を用いることが可能である。
なお、臓器抽出処理には、抽出した臓器をさらに複数の領域に分ける領域分割処理も含めてもよい。例えば、脳を区域毎に分けしたり、心臓を左右の心室心房に分けたりするなどをしてもよい。
部位に応じて、基準画像と比較画像を決定した場合には、基準画像に対する第１の画像処理と比較画像に施す第２の画像処理は、部位、基準画像の種類、比較画像の種類、または、これらの組み合わせによって決められる。あるいは、疾患に応じて、基準画像と比較画像を決定した場合には、基準画像に対する第１の画像処理と比較画像に施す第２の画像処理は、疾患、部位、基準画像の種類、比較画像の種類、または、これらの組み合わせによって決められる。
判定手段１４は、第１の画像処理による基準画像の画像処理結果と第２の画像処理による比較画像の画像処理結果を用いて、比較画像を正解データとして利用可能か否かを判定する。特に、画像処理を用いて解剖学的領域を抽出して得られた解剖学的領域を用いて判定され、解剖学的領域の大きさの比較や、解剖学的領域の範囲を比較することによって判定が行われる。判定対象となる解剖学的領域には、臓器抽出処理によって得られた臓器領域、および、病変検出処理によって得られた病変領域が挙げられる。例えば、臓器抽出処理において、ＭＲＩ画像よりもＣＴ画像から抽出した方が正確な結果を得られる場合がある。また、病変検出処理において、病変によっては、ＭＲＩ画像がＣＴ画像よりも明瞭な病変を検出することができるケースもあるが、ＣＴ画像がＭＲＩ画像よりも明瞭な病変を検出することができるケースもある。また、過去画像と現在画像では、臓器抽出処理に抽出された臓器の大きさが大きく変わることは少ない。あるいは、特定の臓器に存在する病変である場合には、病変検出処理の結果が特定の臓器抽出処理の結果得られた臓器の範囲内で検出されるはずである。このような経験から得られた知識に基づいて、様々な画像の種類と画像処理の種類（第１の画像処理の種類と第２の画像処理の種類）の組み合わせから、基準画像から得られた解剖学的領域と比較画像から得られた解剖学的領域を比較し、正解データとして利用可能かを判定するための基準を予め設定しておき、比較画像を正解データとして利用することが可能であるか否かを判定する。あるいは、比較画像に加えて、比較画像から得られた解剖学的領域を正解データとして利用することが可能であるか否かを判定する。
以下、具体例について説明する。例えば、画像データベースから特定の患者の画像を３つ取得した時について説明する。これらの撮影部位が腹部であり、画像１がＣＴ画像（過去画像）、画像２がＣＴ画像（現在画像）、および画像３がＭＲＩ画像であるときに、基準画像として過去画像である画像１を選択し、比較画像として現在画像の画像２を選択する。画像１に対して、肝臓抽出処理（第１の画像処理）を施した結果と、画像２に対して肝臓抽出処理（第２の画像処理）を施した結果のどちらも抽出された肝臓の大きさに大きな違いがない場合には、画像２を正解データとして利用可能な画像であると判定する。体積が１．２倍以上違うなど所定の基準以上に違いがある場合には利用不可と判定する。
臓器抽出処理に関してはＣＴ画像から取得すればほぼ間違いがない結果が得られる。一方、ＭＲＩ画像でも臓器抽出処理を行うことはできるが正確ではない場合がある。例えば、肝臓の場合は、ＭＲＩ画像では肝臓の輪郭を正確に検出することができず、実際の肝臓の大きさよりも大きく検出されることがある。そこで、ＣＴ画像である画像１を基準画像とし、ＭＲＩ画像である画像３を比較画像とする。画像１にＣＴ画像用の肝臓抽出処理を施した結果と、画像３にＭＲＩ画像用の肝臓抽出処理を施した結果のどちらからも抽出された肝臓の大きさに大きな違いがない場合には、画像３を正解データとして利用可能な画像であると判定する。所定の基準以上に違いがある場合には利用不可と判定する。
肺疾患の病変の検出は、主に胸部Ｘ線画像またはＣＴ画像を用いて行われる。画像データベースから肺疾患の患者の胸部Ｘ線画像を２つ取得した時について説明する。これらの撮影部位が胸部であり、画像１が胸部Ｘ線画像（過去画像）、画像２が胸部Ｘ線画像（現在画像）であるとする。画像１を基準画像とし、画像２を比較画像とする。画像１に対して、肺野抽出処理（第１の画像処理）を施し、画像２に対して、肺結節検出処理（第２の画像処理）を施す。画像２から検出された肺結節の領域が、画像１から抽出された肺野領域内に存在しているか否かにより、正解データとして利用可能であるか否かを判定することができる。このとき、画像処理を施す前に、画像１と画像２でレジストレーション処理を行っておけば、肺結節が画像１で抽出された肺野領域内に存在しているか否かを正確に判定することができる。
脳梗塞など脳の診断にはＭＲＩ画像が一般に用いられる。ＭＲＩ撮影には、撮影プロトコルとして、Ｔ１強調、Ｔ２強調、ＤＷＩ（diffusion weighted image：拡散強調画像）などが知られている。一般的に、脳のＭＲ画像において、Ｔ１強調画像とＴ２強調画像は解剖学的構造が把握しやすく、ＤＷＩは脳梗塞を検出するのに向いている。画像データベースから脳梗塞の患者の画像を２つ取得した時について説明する。これらの撮影部位が頭部であり、画像１がＴ１強調画像、画像２がＤＷＩ画像であるとする。画像１を基準画像とし、画像２を比較画像とする。画像１に対して、領域分割（第１の画像処理）を施し、画像２に対して、病変検出処理（第２の画像処理）を施す。さらに、読影レポートから抽出した脳梗塞の発生位置から画像２が正解データとして利用可能であるか否かを判定することができる。
登録手段１５は、判定手段１４で比較画像が正解データとして利用可能であると判定した場合には、比較画像を正解データとして登録部１６に登録する。登録部１６は、画像を記憶するための大容量記憶装置で構成される。あるいは、登録部１６には、画像のＩＤのみ登録するようにして、学習に用いる際には、画像データベース６から読み出すようにしてもよい。また、登録手段では比較画像だけでなく比較画像に第２の画像処理を施した結果として得られた解剖学的領域も比較画像と一緒に登録するようにしてもよい。
制御手段１７は、取得手段１１、設定手段１２、画像処理手段１３、判定手段１４、登録手段１５の処理の流れを制御する。判定手段１４で比較画像を正解データとして利用可能かであると判定された場合には、処理を登録手段１５に進めるが、判定手段１４で比較画像を正解データとして利用不可と判定された場合には、再度、処理を画像処理手段１３に戻して、パラメーターを調整して第１の画像処理および第２の画像処理を実行させる。例えば、特許４４９３６７９のように、Graph cutのt-linkやn-linkの算出方法を調整した上で、再度、画像解析処理を実行する。撮影条件またはモダリティの違いによって画像には濃度または濃淡などに違い現れるが、このようにパラメーターを調整して繰り返し画像解析処理を実行することにより正しい結果を探ることが可能になる。
また、制御手段１７は、所定の回数または所定の条件に達するまでパラメーターを調整しながら、第１の画像処理および第２の画像処理を繰り返しても、比較画像を正解データとして利用不可と判定された場合には、登録手段１５に処理を進めないで終了する。あるいは、所定の条件に達するまで所定の回数パラメーターを調整して第１および第２の画像処理を繰り返しても、比較画像を正解データとして利用不可と判定された場合には、登録手段１５に処理を進めないで終了するようにしてもよい。なお、所定の条件に達したか否かは、パラメーター値を変えることが可能な範囲で調整したか否かであってもよいし、１つのパラメーター値と他のパラメーター値の組み合わせなど所定の規則に従って決められる範囲で調整したか否かであってもよい。具体的には、パラメーターを調整するために、一定の間隔でパラメーター値を変えて繰り返し、第１および第２の画像処理を行うようにしてもよい。
以下、肺疾患を例に、図３のフローチャートを用いて、正解データの登録方法について具体的に説明する。
まず、取得手段１１で、患者の画像を画像データベース６から取り出す（Ｓ１）。画像データベースから異なる日時に撮影された複数の胸部Ｘ線画像を取得し、一旦、ハードディスクに記憶する。
次に、設定手段１２は、患者の各胸部Ｘ線画像に対応づけられた読影レポートを読影レポートデータベース８から取得する（Ｓ２）。解析手段２３を用いて、読影レポートに対して自然言語処理を実行することにより、「疾患名」、「病変名称」に該当する文字列を抽出する（Ｓ３）。読影レポートに「右上葉に２．５ｃｍの辺縁棘状肺結節があり」と記録されている場合は、「病変名称」に該当する文字列として「肺結節」が抽出される。そこで、撮影時刻が最も古い胸部Ｘ線画像を基準画像として設定し、最も新しい胸部Ｘ線画像を比較画像として設定する（Ｓ４）。
次に、画像処理手段１３は、基準画像に対して肺野抽出処理（第１の画像処理）を施し（Ｓ５）、比較画像に対して肺結節検出処理（第２の画像処理）を施す（Ｓ６）。判定手段１４は、比較画像から検出された肺結節の領域が、基準画像から抽出された肺野領域内に存在しているか否かを判定し（Ｓ７）、肺結節の領域が肺野領域内に存在している場合には、比較画像を正解データとして利用可能であると判定する（Ｓ７−ＹＥＳ）。制御手段１７は、処理をＳ１０に進め、登録手段１５は、比較画像と比較画像から抽出した肺結節の領域を正解データとして登録部１６に登録する（Ｓ１０）。
一方、比較画像を正解データとして利用不可である場合には（Ｓ７−ＮＯ、Ｓ８−ＮＯ）、制御手段１７は、画像処理のパラメーターを調整して（Ｓ９）、再度、第１の画像処理と第２の画像処理に処理を戻す（Ｓ５、Ｓ６）。パラメーターの調整はあらかじめ決められた規則に従って行われ、パラメーターを変更して画像処理を繰り返す（Ｓ５〜Ｓ９）。繰り返し画像処理を行っても比較画像が正解データとして利用不可である場合には（Ｓ７−ＮＯ、Ｓ８−ＹＥＳ）、正解データは登録されない（Ｓ１１）。繰り返しは、予め決められた回数繰り返し行われる。あるいは、所定の条件に到達するまで繰り返し行われる（Ｓ８）。
学習手段１８は、登録手段１５で正解データとして登録部１６に登録された正解データを用いて、ニューラルネットワークをベースとした機械学習を行わせる。具体的には、例えば、畳み込みニューラルネットワークなどを利用することにより、画像認識装置を生成することができる。
次に、第２の実施の形態について説明する。本実施の形態では、判定手段が比較画像を正解データとして利用不可と判定した場合は、比較画像の画像処理結果を修正することで、正解データとして登録できるようにする場合について説明する。本実施の形態においても、第１の実施の形態と同様に医療情報システム１に本実施の形態の学習データ生成支援装置１０ａが設けられ、学習データ生成支援装置１０ａは、ネットワーク９に接続され、ネットワークを介して画像データベース６および読影レポートデータベース８に接続される。
以下、図４〜６を用いて、第２の実施の形態の学習データ生成支援装置について説明する。図４は、第２の実施の形態の学習データ生成支援装置１０ａの構成を表す機能ブロックである。第１の実施の形態の学習データ生成支援装置１０と同じ構成については同一符号を付して詳細な説明は省略する。図５は、学習データ生成支援装置１０ａの処理の流れを示すフローチャートである。図６は、表示画面の一例である。
図４に示すように、学習データ生成支援装置１０は、取得手段１１、設定手段１２、画像処理手段１３、判定手段１４、登録手段１５、制御手段１７、通知手段１９、修正用画像表示手段２０、修正入力受付手段２１、修正登録手段２２、および学習手段１８を備える。
通知手段１９は、判定手段１４で比較画像が正解データとして利用不可と判定が行われた場合に、利用不可であることがわかるように通知を行う。例えば、図６に示すように、判定を行った比較画像のサムネイル画像と比較画像から抽出された解剖学的領域を表す画像の一覧を表示して、利用可能と判定されて正解データとして登録された比較画像上には「登録済」の表示を行い、利用不可と判定された比較画像には抽出された解剖学的領域に修正が必要なことを知らせる「利用不可」の表示を行う。図６では、文字による表示を行っているが、登録済みか利用不可で修正が必要であるかを認識できるように、一覧中の結果を表示する枠の色を変えるようにしてもよい。必要に応じて、判定結果、または、画像ＩＤなどのＤＩＣＯＭタグに記録されている情報を表示してもよい。
あるいは、通知手段１９は、判定手段１４で利用不可と判定された画像のみ検索して一覧表示を行うようにしてもよい。さらに、どのような目的で正解データを用意するかについて表示して、目的ごとにどの画像が登録済で、どの画像が修正必要であるかを確認できるようしても良い。
修正用画像表示手段２０は、利用不可と通知された比較画像に対して、比較画像から得られた病変領域または臓器領域などの解剖学的領域を認識可能に表示する。具体的には、例えば、修正用画面として、基準画像と修正対象の比較画像をフュージョンした画像を表示するようにしてもよい。あるいは、比較画像上に、比較画像から得られた解剖学的領域を赤などの特定の色の線で囲んで表示し、さらに基準画像から抽出された解剖学的領域を緑などの他の色の線で囲んで表示してもよい。
修正入力受付手段２１は、比較画像の画像処理結果として得られた解剖学的領域を修正するための入力を受け付ける。さらに修正された解剖学的領域を修正結果として記憶する。例えば、フュージョンした画像上で、マウスなどのポインティングデバイスを用いて、比較画像から得られた解剖学的領域の輪郭の修正、削除、または追加ができるようにして、その結果を解剖学的領域として記憶してもよい。例えば、ＣＴ画像を基準画像としＭＲＩ画像を比較画像として肝臓抽出を行った場合、肝臓が撮影されたＣＴ画像を基準画像として表示して、ＭＲＩ画像から抽出した肝臓領域の輪郭をＣＴ画像から抽出された肝臓領域に近づけるように修正するための入力を受け取り、修正した肝臓領域を記憶する。あるいは、胸部を撮影した過去画像を基準画像として過去画像から肺野領域を抽出し、現在画像を比較画像として現在画像から肺結節を抽出した時に、比較画像から得られた肺結節の領域のうち、基準画像から得られた肺野領域の外にあるものは削除する。この一部を削除した後の肺結節の領域を記憶する。
修正登録手段２２は、このようにして修正された比較画像の解剖学的領域と比較画像を正解データとして登録する登録部１６に登録する。
以下、肝臓領域の抽出を例に、図５のフローチャートを用いて、判定手段１４で比較画像が正解データとして、利用不可と判定された後に、比較画像の画像処理結果として得られた解剖学的領域を修正する方法について具体的に説明する。Ｓ１〜Ｓ１０の処理は図２と同様であるので詳細な説明は省略する。
パラメーターを変更しながら繰り返し画像処理を行っても比較画像を正解データとして利用不可である場合には（Ｓ７−ＮＯ、Ｓ８−ＹＥＳ）、通知手段１９で、図６に示すように、利用不可であると判定された比較画像が確認できるように一覧表示を用いて利用不可の通知を行う（Ｓ２０）。
ユーザは利用不可と判定された比較画像の中から、修正する比較画像として肝臓領域の抽出した画像を選択する。修正対象として選択されると（Ｓ２１−ＹＥＳ）、修正用画像表示手段２０は比較画像のＭＲＩ画像と基準画像のＣＴ画像をフュージョンして、フュージョンした画像上にＭＲＩ画像から抽出した肝臓領域の輪郭を表示した画像を修正用画像として表示する（Ｓ２２）。修正入力受付手段２１は、ユーザがマウスなどを用いて肝臓領域の輪郭を修正するための修正入力を受け取り、肝臓領域の輪郭を修正して記憶する（Ｓ２３）。修正登録手段２２は、修正した比較画像の解剖学的領域と比較画像を正解データとして登録する（Ｓ２４）。
さらに、第１の実施の形態と同様に、学習手段１８は、登録手段１５で登録した正解データに加え、修正登録手段２２で正解データとして登録部１６に登録された正解データを用いて、ニューラルネットワークをベースとした機械学習を行わせる。
以上、詳細に説明したように、医療画像管理システムに記憶されている画像を利用することで、機械学習に必要な大量かつ多様な正解データを取得することが可能になる。
１ 医療情報システム
２ モダリティ
３ 読影医用ワークステーション
４ 診療科用ワークステーション
５ 画像管理サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０、１０ａ 学習データ生成支援装置
１１ 取得手段
１２ 設定手段
１３ 画像処理手段
１４ 判定手段
１５ 登録手段
１６ 登録部
１７ 制御手段
１８ 学習手段
１９ 通知手段
２０ 修正用画像表示手段
２１ 修正入力受付手段
２２ 修正登録手段
２３ 解析手段

Claims (14)

  1. 被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、
    前記部位または疾患に応じて、前記取得した画像の中のいずれか１つを基準画像として設定し、前記取得した画像の中の前記基準画像以外の画像を比較画像として設定する設定手段と、
    前記部位または疾患に応じて、前記基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、前記部位または疾患に応じて、前記比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、
    前記第１の画像処理による前記基準画像の解剖学的領域と前記第２の画像処理による前記比較画像の解剖学的領域を用いて、前記比較画像を正解データとして利用可能か否かを判定する判定手段と、
    前記正解データとして利用可能と判定された前記比較画像を正解データとして登録する登録手段とを備えた学習データ生成支援装置。
  2. 前記登録手段は、前記比較画像と該比較画像から得られた解剖学的領域を前記正解データとして登録する請求項１記載の学習データ生成支援装置。
  3. 前記第１の画像処理および前記第２の画像処理は、臓器抽出処理および病変検出処理のうち少なくともいずれか１つの処理である請求項１または２記載の学習データ生成支援装置。
  4. 前記第１の画像処理の種類は、前記第２の画像処理と異なる種類の画像処理である請求項１〜３いずれか１項記載の学習データ生成支援装置。
  5. 前記２以上の異なる画像は、２以上の異なる種類の撮影装置を用いて撮影した画像である請求項１〜４のいずれか１項記載の学習データ生成支援装置。
  6. 前記２以上の異なる種類の撮影装置は、ＭＲＩ装置、ＣＴ装置、ＣＲ装置、ＰＥＴ装置、および、超音波撮影装置のうちの２種類以上の撮影装置である請求項５記載の学習データ生成支援装置。
  7. 前記２以上の異なる画像は、同じ種類の撮影装置を用いて異なる撮影プロトコルで撮影した画像である請求項１〜４のいずれか１項記載の学習データ生成支援装置。
  8. 前記同じ種類の撮影装置が、ＭＲＩ装置であって、前記異なる撮影プロトコルがＴ１撮影プロトコルおよびＴ２撮影プロトコルである請求項７記載の学習データ生成支援装置。
  9. 前記２以上の異なる画像は、同じ種類の撮影装置を用いて異なる時刻に撮影した画像である請求項１〜４のいずれか１項記載の学習データ生成支援装置。
  10. 前記２以上の画像のそれぞれの読影レポートの文字列を解析する解析手段をさらに備え、
    前記設定手段が、前記解析手段によって得られた前記部位または前記疾患に応じて、前記基準画像と前記比較画像を決定する請求項１〜９のいずれか１項記載の学習データ生成支援装置。
  11. 前記判定手段が前記比較画像を前記正解データとして利用不可と判定した場合は、利用不可の通知を行う通知手段をさらに備えた請求項２記載の学習データ生成支援装置。
  12. 前記利用不可の通知がされた比較画像の解剖学的領域を認識可能に表示する修正用画像表示手段と、
    前記比較画像の解剖学的領域を修正するための入力を受け付ける修正入力受付手段と、
    前記修正入力受付手段で受け付けた入力に従って修正した前記比較画像の解剖学的領域と前記比較画像を正解データとして登録する修正登録手段とをさらに備えた請求項１１記載の学習データ生成支援装置。
  13. 取得手段と、設定手段と、画像処理手段と、判定手段と、登録手段とを備えた学習データ生成支援装置の作動方法であって、
    前記取得手段が、被写体の同じ部位を撮影した２以上の異なる画像を取得し、
    前記設定手段が、前記部位または疾患に応じて、前記取得した画像の中のいずれか１つを基準画像として設定し、前記取得した画像の中の前記基準画像以外の画像を比較画像として設定し、
    前記画像処理手段が、前記部位または疾患に応じて、前記基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、前記部位または疾患に応じて、前記比較画像に対して解剖学的領域を抽出する第２の画像処理を実行し、
    前記判定手段が、前記第１の画像処理による前記基準画像の解剖学的領域と前記第２の画像処理による前記比較画像の解剖学的領域を用いて、前記比較画像を正解データとして利用可能か否かを判定し、
    前記登録手段が、前記正解データとして利用可能と判定された前記比較画像を正解データとして登録する学習データ生成支援装置の作動方法。
  14. コンピュータを、
    被写体の同じ部位を撮影した２以上の異なる画像を取得する取得手段と、
    前記部位または疾患に応じて、前記取得した画像の中のいずれか１つを基準画像として設定し、前記取得した画像の中の前記基準画像以外の画像を比較画像として設定する設定手段と、
    前記部位または疾患に応じて、前記基準画像に対して解剖学的領域を抽出する第１の画像処理を実行し、かつ、前記部位または疾患に応じて、前記比較画像に対して解剖学的領域を抽出する第２の画像処理を実行する画像処理手段と、
    前記第１の画像処理による前記基準画像の解剖学的領域と前記第２の画像処理による前記比較画像の解剖学的領域を用いて、前記比較画像を正解データとして利用可能か否かを判定する判定手段と
    前記正解データとして利用可能と判定された前記比較画像を正解データとして登録する登録手段として機能させるための学習データ生成支援プログラム。
JP2017129453A 2017-06-30 2017-06-30 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム Active JP6738305B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017129453A JP6738305B2 (ja) 2017-06-30 2017-06-30 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
US16/011,157 US10860894B2 (en) 2017-06-30 2018-06-18 Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017129453A JP6738305B2 (ja) 2017-06-30 2017-06-30 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム

Publications (2)

Publication Number Publication Date
JP2019010411A true JP2019010411A (ja) 2019-01-24
JP6738305B2 JP6738305B2 (ja) 2020-08-12

Family

ID=64739040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017129453A Active JP6738305B2 (ja) 2017-06-30 2017-06-30 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム

Country Status (2)

Country Link
US (1) US10860894B2 (ja)
JP (1) JP6738305B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146356A1 (ja) * 2018-01-29 2019-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020170408A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP2021019714A (ja) * 2019-07-25 2021-02-18 株式会社日立製作所 画像処理装置、画像処理方法及びｘ線ｃｔ装置
US12042319B2 (en) 2021-03-11 2024-07-23 Canon Medical Systems Corporation Medical image processing apparatus, x-ray CT apparatus, method of medical image processing, and computer program product

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782441A (zh) * 2019-10-22 2020-02-11 浙江大学 一种基于深度学习的dr影像肺结核智能分割与检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
US20130096414A1 (en) * 2011-10-12 2013-04-18 Siemens Corporation Localization of aorta and left atrium from magnetic resonance imaging
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication
JP2013192624A (ja) * 2012-03-16 2013-09-30 Hitachi Ltd 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7894646B2 (en) * 2003-08-01 2011-02-22 Hitachi Medical Corporation Medical image diagnosis support device and method for calculating degree of deformation from normal shapes of organ regions
JP4493679B2 (ja) 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
JP5138431B2 (ja) 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP5404277B2 (ja) 2009-09-24 2014-01-29 株式会社Ａｚｅ 医用画像データ位置合せ装置、方法およびプログラム
US8498459B2 (en) * 2009-10-08 2013-07-30 Siemens Aktiengesellschaft System and method for verifying registration accuracy in digital medical images
US9792553B2 (en) * 2013-07-31 2017-10-17 Kadenze, Inc. Feature extraction and machine learning for evaluation of image- or video-type, media-rich coursework
US9846937B1 (en) * 2015-03-06 2017-12-19 Aseem Sharma Method for medical image analysis and manipulation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
US20130096414A1 (en) * 2011-10-12 2013-04-18 Siemens Corporation Localization of aorta and left atrium from magnetic resonance imaging
JP2013192624A (ja) * 2012-03-16 2013-09-30 Hitachi Ltd 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
石川拓海ほか: "教師データ作成可能な自動病理診断開発支援システムに関する研究", ロボティクス・メカトロニクス講演会 講演論文集, JPN6020021289, 24 May 2014 (2014-05-24), pages 2646 - 2647, ISSN: 0004288264 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146356A1 (ja) * 2018-01-29 2019-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US11244458B2 (en) 2018-01-29 2022-02-08 Fujifilm Corporation Image processing apparatus, image processing method, and program
JP2020170408A (ja) * 2019-04-04 2020-10-15 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP2021019714A (ja) * 2019-07-25 2021-02-18 株式会社日立製作所 画像処理装置、画像処理方法及びｘ線ｃｔ装置
JP7245740B2 (ja) 2019-07-25 2023-03-24 富士フイルムヘルスケア株式会社 画像処理装置、画像処理方法及びｘ線ｃｔ装置
US12042319B2 (en) 2021-03-11 2024-07-23 Canon Medical Systems Corporation Medical image processing apparatus, x-ray CT apparatus, method of medical image processing, and computer program product

Also Published As

Publication number Publication date
US10860894B2 (en) 2020-12-08
JP6738305B2 (ja) 2020-08-12
US20190005354A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
US8744149B2 (en) Medical image processing apparatus and method and computer-readable recording medium for image data from multiple viewpoints
US8369585B2 (en) Automatic classification of information in images
JP6719421B2 (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
JP5026939B2 (ja) 画像処理装置およびそのプログラム
US10916010B2 (en) Learning data creation support apparatus, learning data creation support method, and learning data creation support program
US8934687B2 (en) Image processing device, method and program including processing of tomographic images
JP2011160882A (ja) 医用画像表示装置及び医用画像表示方法並びにプログラム
US11468659B2 (en) Learning support device, learning support method, learning support program, region-of-interest discrimination device, region-of-interest discrimination method, region-of-interest discrimination program, and learned model
JP6885896B2 (ja) 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP2008059071A (ja) 医用画像処理装置
JP7000206B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP6738305B2 (ja) 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
US10803986B2 (en) Automatic layout apparatus, automatic layout method, and automatic layout program
CA3034814C (en) System and method for using imaging quality metric ranking
JP5363962B2 (ja) 診断支援システム、診断支援プログラムおよび診断支援方法
JP2017207793A (ja) 画像表示装置および画像表示システム
JP2010220902A (ja) 認識結果判定装置および方法並びにプログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
CN116417119A (zh) 医用信息处理***、医用信息处理方法及存储介质
JP2019122663A (ja) 診断支援装置、方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200717

R150 Certificate of patent or registration of utility model

Ref document number: 6738305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250