JP7058988B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7058988B2
JP7058988B2 JP2017230994A JP2017230994A JP7058988B2 JP 7058988 B2 JP7058988 B2 JP 7058988B2 JP 2017230994 A JP2017230994 A JP 2017230994A JP 2017230994 A JP2017230994 A JP 2017230994A JP 7058988 B2 JP7058988 B2 JP 7058988B2
Authority
JP
Japan
Prior art keywords
inference
image
feature amount
influence
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017230994A
Other languages
English (en)
Other versions
JP2019097805A (ja
Inventor
徹 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017230994A priority Critical patent/JP7058988B2/ja
Priority to PCT/JP2018/042398 priority patent/WO2019107177A1/en
Priority to US16/767,093 priority patent/US11527328B2/en
Publication of JP2019097805A publication Critical patent/JP2019097805A/ja
Application granted granted Critical
Publication of JP7058988B2 publication Critical patent/JP7058988B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本明細書の開示は、情報処理装置、情報処理方法およびプログラムに関する。
計算機で医用画像を解析し、医師が医用画像を観察して診察を行う読影の助けとなる情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。特許文献１には、診断名など特定のキーワードと予め対応付けられた情報を診断名に対する参考情報としてレポートに出力することが開示されている。
特開２０１２－９４１２７
特許文献１に開示の技術では、医用画像から診断名が推論されるＣＡＤシステムにおける、推論に関連する画像所見の情報のように、キーワードとして特定されない情報を、診断名に対する参考情報として提示することができないおそれがある。
本発明の実施形態に係る情報処理装置は、医用画像の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する第１の推論手段と、前記画像特徴量に基づいて、前記医用画像の特徴を表現する画像所見を推論する第２の推論手段と、前記画像特徴量が前記第１の推論手段による推論結果に与えた影響の度合いである第１の影響度を取得する第１の取得手段と、前記画像特徴量が前記第２の推論手段による推論結果に与えた影響の度合いである第２の影響度を取得する第２の取得手段と、前記第１の推論手段による前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて前記第２の推論手段により推論された画像所見と、前記診断名とをユーザに提示する提示手段と、を有し、前記提示手段は前記第１の影響度と前記第２の影響度とに基づいて画像所見を提示することを特徴とする。
本発明の実施形態の一つによれば、医用画像から診断名を推論する場合においても、診断名の推論結果とともに、推論に関連する画像所見の情報を参考情報として提示できるため、医師は推論の結果が診断に有用であるか否かを判断することができる。
実施形態１及び２の情報処理装置を含む情報処理システムのシステム構成の一例を示す図 実施形態１及び２の情報処理装置のハードウェア構成の一例を示す図 実施形態１及び２の情報処理装置の機能ブロックの一例を示す図 実施形態１及び２の医用画像データの構成の一例を示す図 実施形態１及び２の画像所見、診断名のデータの定義の一例を示す図 実施形態１及び２の情報処理装置により表示される画面の一例を示す図 実施形態１及び２の情報処理装置により行われる処理の一例を示すフロー図 実施形態１及び２の情報処理装置により行われる処理の一例を示すフロー図 実施形態１及び２の情報処理装置の特徴量取得部及び推論部の一例を説明するための図
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。尚、特に断らない限り、他の実施形態等で説明した項目については、同一の番号を付し、その説明を省略する。また、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜実施形態１＞
医用画像から診断名を推論し提示するＣＡＤシステムにおいて、推論結果として提示された診断名が、医師による診断に対して有用であるか否かを把握できることが望ましい。
実施形態１では、胸部Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像上の肺結節影に関する診断名の推論を行うＣＡＤシステムである情報処理装置について説明する。本実施形態の情報処理装置は、取得した医用画像データを表示し、ユーザ入力に基づいて病変位置を取得し、取得した病変位置に対する画像から診断名の推論を行い、診断名と参考情報となる画像所見を提示するように動作する。
（システム構成）
図１は、本実施形態の情報処理装置１０１を含む情報処理システムのシステム構成図である。
図１において、情報処理システムは、医用画像データベース（以降、医用画像ＤＢと呼ぶ）１０２、情報処理装置１０１、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）１０３から構成される。
医用画像ＤＢ１０２は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置など医用画像の撮像装置で撮影された医用画像データを記憶する。また、医用画像データを、ＬＡＮ１０３を介して検索、取得するための既知のデータベース機能を提供する。
（ハードウェア構成）
図２は、本実施形態の情報処理装置１０１のハードウェア構成図である。
図２において、記憶媒体２０１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や本実施形態に係る各種処理を行うための処理プログラム、各種情報を記憶するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶媒体である。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２はＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）等、ハードウェアを初期化しＯＳを起動するためのプログラムを記憶する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０３はＢＩＯＳやＯＳ、処理プログラムを実行する際の演算処理を行う。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４は、ＣＰＵ２０３がプログラムを実行する際の情報を一時記憶する。ＬＡＮインタフェース２０５は、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．３ａｂ等の規格に対応し、ＬＡＮ １０３を介して通信を行うためのインタフェースである。２０７は表示画面を表示するディプレイであり、２０６はディスプレイ２０７に表示する画面情報を信号に変換し出力するディスプレイインタフェースである。２０９はキー入力を行うキーボード、２１０は画面上の座標位置を指定及び画像位置に対応付けられたボタン操作の入力を行うマウス、２０８はキーボード２０９及びマウス２１０からの信号を受信するための入力インタフェースである。２１１は、各ブロックが通信を行うための内部バスである。ＣＰＵ２０３はプロセッサの一例である。情報処理装置１０１は、ＣＰＵ２０３に加えて、ＧＰＵやＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくともいずれかを有していてもよい。情報処理装置１０１は、推論にかかる処理を専用に行うＧＰＵやＦＰＧＡを有していてもよい。ＲＯＭ２０２、ＲＡＭ２０４はメモリの一例である。
（医用画像データの構成）
図４は、医用画像ＤＢ１０２に記憶される医用画像データの構成の一例を示す図である。
図４において、医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）は、医用画像ＤＢ１０２に複数記憶され、複数のシリーズ画像データ４２０－ｉ（ｉ＝１，．．．，Ｎｓｒ）から構成される。更に、シリーズ画像データ４２０－ｉ（ｉ＝１，．．．，Ｎｓｒ）は、複数のスライス画像データ４３０－ｉ（ｉ＝１，．．．，Ｎｓｌ）から構成される。更に、スライス画像データ４３０－ｉ（ｉ＝１，．．．，Ｎｓｌ）は、患者情報４４０、検査情報４５０、シリーズ画像識別子（以降、ＩＤ）４３１、スライス画像ＩＤ４３２、スライス画像ＲＡＷデータ４３３から構成される。ここで、スライス画像ＩＤ４３２は、１枚の断面の画像を一意に識別する識別子であり、シリーズ画像ＩＤ４３１は、１回の撮影で得られる複数のスライス画像を一意に識別する識別子である。図４の例では、シリーズ画像ＩＤ４３１の値は「ｓｅｒ０１２３４５６」、スライス画像ＩＤ４３２の値は「ｓｌｃ０１２３４５６」となる。また、スライス画像ＲＡＷデータ４３３はスライス画像の画素値が所定の順番で並べられたデータである。また、患者情報４４０は、患者ＩＤ４４１、患者氏名４４２、その他当該症例の患者に関する不図示の情報から構成される。図４の例では、患者ＩＤ４４１の値は「ｐａｔ０１２３４５６」、患者氏名４４２の値は「下丸子 太郎」となる。また、検査情報４５０は、検査ＩＤ４５１、検査日時４５２、その他当該症例の検査に関する不図示の情報から構成される。図４の例では、検査ＩＤ４５１の値は「ｃａｓｅ０１２３４５６」、検査日時４５２の値は「２０１２／３／４ １２：３４」となる。
（画像所見、診断名のデータの定義）
図５は、本実施形態の画像所見と診断名の定義の一例を示す図である。
図５において５０１は画像所見の種別と値を定義する情報であり、５０２は診断名の値を定義する情報である。画像所見５０１は画像所見種別と画像所見値から構成される。画像所見値とは、ある医用画像に描出されている画像所見種別に関する特徴を表現する文言である。図５の例では、画像所見種別が「形状」の場合には、画像所見値が「球形」、「類球形」、「不整形」、「分葉形」等の何れかとなり、画像所見種別が「スピキュラ」や「空洞」の場合には、画像所見値が「あり」、「なし」の何れかとなることを示している。また、診断名５０２は、診断名の値が「原発性肺癌」、「転移性肺癌」、「良性結節」の何れかとなることを示している。
（表示画面）
図６は、本実施形態の情報処理装置１０１の表示画面の一例を示す図である。
図６において、表示画面６００はディスプレイ２０７に表示されるユーザインタフェース画面である。表示画面６００は、患者情報表示領域６０１、検査情報表示領域６０２、シリーズ画像表示領域６０３、画像表示領域６０４、病変位置指定ボタン６２１、診断支援ボタン６２２から構成される。
患者情報表示領域６０１には、医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）の患者情報４４０の情報を表示する。図６の例では、患者氏名が「下丸子 太郎」、患者ＩＤが「ｐａｔ０１２３４５６」、年齢が「７５歳」、性別が「男」となる。
検査情報表示領域６０２には、医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）の検査情報４５０の情報を表示する。図６の例では、検査種別が「単純ＣＴ」、検査部位が「胸部」、検査日が「２０１２年３月４日 １２：３４」、コメントが「長引く咳嗽にて来院。・・・」となる。
シリーズ画像表示領域６０３には、医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）のシリーズ画像データ４２０－ｉ（ｉ＝１，．．．，Ｎｓｒ）毎に、先頭のスライス画像ＲＡＷデータ４３３の縮小画像６１１－ｉ（ｉ＝１，．．．，Ｎｓｒ）を表示する。
画像表示領域６０４には、シリーズ画像表示領域６０３で選択された縮小画像６１１－ｉ（ｉ＝１，．．．，Ｎｓｒ）に対応するシリーズ画像データ４２０－ｉ（ｉ＝１，．．．，Ｎｓｒ）のスライス画像ＲＡＷデータ４３３を表示する。また、表示するスライス画像のスクロールやＷＬ（Ｗｉｎｄｏｗ Ｌｅｖｅｌ）／ＷＷ（Ｗｉｎｄｏｗ Ｗｉｄｔｈ）と呼ばれる階調表示条件の変更など表示の変更ができる。
病変位置指定ボタン６２１は、画像表示領域６０４上で病変位置を指定するためのボタンであり、病変位置指定ボタン６２１をマウスクリックして画像表示領域６０４上でマウスドラッグを行うことで病変位置６３１を指定できる。
診断支援ボタン６２２は、病変位置６３１の画像から診断名の推論を行うためのボタンであり、診断支援ボタン６２２をマウスクリックすると、病変位置６３１の画像から診断名の推論を行い、参考情報である画像所見と共に診断支援結果６４１が表示される。図６の例では、診断支援結果６４１に、診断推論結果として原発性肺癌の確率が「８３％」、転移性肺癌の確率が「１２％」、良性結節の確率が「５％」であると表示されており、当該推論結果に対する参考情報となる画像所見として「形状：不整形」、「スピキュラ：あり」、「空洞：なし」が表示されている。
（機能ブロック１）
図３は、本実施形態の情報処理装置１０１の機能ブロック図である。
図３において、情報処理装置１０１は、画像取得部３０１、病変位置取得部３０２、特徴量取得部３０３、第１の推論部３０４、第２の推論部３０５－ｉ（ｉ＝１，．．．，Ｎｆ）を含む。更に、情報処理装置１０１は、第１の影響度取得部３０６、第２の影響度取得部３０７－ｉ（ｉ＝１，．．．，Ｎｆ）、一致度取得部３０８、選択部３０９、提示部３１０を含む。
画像取得部３０１は、ＬＡＮ１０３を介して医用画像ＤＢ１０２から医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）を取得する。
病変位置取得部３０２は、画像取得部３０１で取得した医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）を表示画面６００に表示し、ユーザによる病変位置６３１の指定を受ける。別の実施形態では、病変位置取得部３０２は医用画像データ４１０－ｉに対する画像処理を行い、病変位置６３１を抽出する。特徴量取得部３０３は、病変位置６３１の医用画像データ４１０－ｉ（ｉ＝１，．．．，Ｎｉ）の画像特徴量を取得する。
特徴量取得部３０３により取得された画像特徴量に基づいて、第１の推論部３０４は診断名、第２の推論部３０５－ｉ（ｉ＝１，．．．，Ｎｆ）は画像所見値をそれぞれ推論する。第１の推論部３０４は、医用画像の特徴を示す値である画像特徴量に基づいて、当該医用画像から導かれる診断名を推論する第１の推論手段の一例である。第２の推論部３０５－ｉ（ｉ＝１，．．．，Ｎｆ）は、画像所見種別毎に画像所見値の推論を行う。第２の推論部３０５－ｉは、それぞれ異なる一つの画像所見種別に関する画像所見値の分類を与える推論部である。Ｎｆは推論を行う画像所見種別の数を表す。画像所見種別毎に画像所見値の推論を行う推論部を設けることで、複数の画像所見種別の画像所見値を組み合わせて１つの推論部で推論を行う場合に比べて、第２の推論部３０５－ｉはそれぞれ、出力のノード数を少なくすることができる。第２の推論部３０５－ｉは、医用画像の特徴を示す値である画像特徴量に基づいて、当該医用画像の特徴を表現する文言である画像所見を推論する第２の推論手段の一例である。特徴量取得部３０３、第１の推論部３０４、第２の推論部３０５－ｉ（ｉ＝１，．．．，Ｎｆ）の詳細については図９を用いて後述する。
別の実施形態において、第２の推論部３０５－ｉはそれぞれの画像所見種別に関する推論において、一部の処理が同一であってもよい。また別の実施形態において、第２の推論部３０５は、複数の画像所見種別に関する画像所見値の分類を与える推論器を含み構成されてもよい。
（特徴量取得部、推論部）
図９は、本実施形態の特徴量取得部３０３、第１の推論部３０４、第２の推論部３０５－ｉ（ｉ＝１，．．．Ｎｆ）の概念を表す図である。特徴量取得部３０３、第１の推論部３０４、第２の推論部３０５－ｉ（ｉ＝１，．．．Ｎｆ）は既知の多層の畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を用いて構成される。
図９において、９００は画像から診断名を推論するように機械学習したＣＮＮの概念を示し、９１０は画像から画像所見（画像所見値）を推論するように機械学習したＣＮＮの概念を示す。また、９０１はＣＮＮへの入力である画像、９０２、９０４、９０６、９１６は畳み込み層の出力、９０３、９０５はプーリング層の出力を示している。また、９０７、９１７は９０６、９１６を夫々一次元に並べ替えた状態、９０８は全結合層、９０９、９１９はクラス分類の推論結果となる出力層を示している。
ここで、本実施形態では、画像から画像所見を推論するＣＮＮ９１０は、画像から診断名を推論するＣＮＮ９００を転移学習することにより構築する。転移学習とは、ＣＮＮの前段の層のパラメータを固定し、後段の層のみを別の問題に対して学習させることである。図９では、診断名を推論するように学習されたネットワークの前段の層である９０２から９０５までの範囲９２０が固定され、９０５の段階以降の９１６から９１９までの範囲９４０が画像所見を推論するように学習されていることを示す。
上記構成のＣＮＮにおいて、特徴量取得部３０３は範囲９２０の処理、第１の推論部３０４は範囲９３０の処理、第２の推論部３０５－ｉ（ｉ＝１，．．．Ｎｆ）は範囲９４０の処理に対応する。
すなわち、ＣＮＮ９００は範囲９２０と範囲９３０を含み構成され、範囲９２０は特徴量取得部３０３と対応し、範囲９３０は第１の推論部３０４と対応する。ＣＮＮ９００は医用画像９０１から診断名９０９を推論する第３の推論手段の一例であり、第３の推論手段は、第１の推論手段を含み構成される。より詳細には、第１の推論部３０４に入力される画像特徴量は、ＣＮＮ９００（第３の推論手段）における推論過程に含まれる所定の段階において取得される値であり、第１の推論部（第１の推論手段）は、第３の推論手段における当該所定の段階以降の推論過程の推論を行う。
また、ＣＮＮ９１０は範囲９２０と範囲９４０を含み構成され、範囲９２０は特徴量取得部３０３と対応し、範囲９４０は第２の推論部３０５－ｉの一つと対応する。ＣＮＮ９１０は医用画像９０１から画像所見９１９を推論する第４の推論手段の一例であり、第４の推論手段は、第２の推論手段を含み構成される。また、上述のようにＣＮＮ９１０はＣＮＮ９００を転移学習することにより得られる。より詳細には、ＣＮＮ９１０（第４の推論手段）は、ＣＮＮ９００（第３の推論手段）における所定の段階（範囲９２０）までの推論過程が共通である。そして、第２の推論手段は、ＣＮＮ９１０（第４の推論手段）のうち、当該所定の段階以降の推論過程の推論を行う。
尚、推論過程の段階（各層の処理の順番）をｌ、ｌ段目の層における出力値をＹｌとし、ｌ段目の層における処理をＹｌ＝Ｆｌ（Ｙｌ－１）と表す。また、１段目の層はＹ１＝Ｆ１（Ｘ）、最終段はＹ＝Ｆ７（Ｙ６）とする。また、範囲９３０の処理については下付きのｄ、範囲９４０の処理については、画像所見毎に下付きのｆｎ（ｎ＝１，．．．，Ｎｆ）を付与する。
（機能ブロック２）
図３に戻り、第１の影響度取得部３０６、第２の影響度取得部３０７－ｉ（ｉ＝１，．．．，Ｎｆ）、一致度取得部３０８、選択部３０９、提示部３１０について説明する。
第１の影響度取得部３０６は、第１の推論部３０４の推論結果に対する画像特徴量の影響の度合いである影響度（第１の影響度）を取得する。分類結果がＣｄ、画像特徴量を取得する層がｌ段目、層の出力値のチャネル番号がｋ、ｌ段目の層のチャネルｋの要素（ｉ，ｊ）の出力値をＹｉｊ ｌ，ｋ、分類結果Ｃｄに対応する最終層の出力値をｙｄ Ｃｄとする。（ｉ，ｊ）はｌ段目の層で出力される画像の座標であり、その最大値（ｉｍａｘ，ｊｍａｘ）は画像サイズである。図９において、ｙｄ Cｄは、分類結果Ｃｄに対応する、出力層９０９の１つのノード（９０９の丸印の１つ）の出力値である。また、Ｙｉｊ ｌ，ｋは、プーリング層（ｌ＝１の場合は９０３、ｌ＝３の場合は９０５）の出力のｋ枚目（９０３もしくは９０５の複数の四角形のｋ番目）の座標（ｉ，ｊ）の出力値である。チャネルｋの第１の影響度αｄ ｋは式１で取得される。
Figure 0007058988000001
尚、Ｚはｉｍａｘとｊｍａｘの積であり、Ｃｄ＝０が原発性肺癌、１が転移性肺癌、２が良性結節である。また、ｌ段目の層のチャネルｋの出力値Ｙｉｊ ｌ，ｋを画像特徴量とする。式１はチャネルｋの出力値が変化した場合に、推論結果が変化する度合いを算出する。より詳細には、式１は、チャネルｋの出力の各要素値が変化した際の推論結果の変化量のフィルタ全体の平均を示す。第１の影響度取得部３０６は、画像特徴量が第１の推論部３０４（第１の推論手段）による推論結果に与えた影響の度合いを取得する第１の取得手段の一例である。
同様に、第２の影響度取得部３０７－ｉ（ｉ＝１，．．．，Ｎｆ）は、第２の推論部３０５－ｉ（ｉ＝１，．．．Ｎｆ）の推論結果に対する画像特徴量の影響度（第２の影響度）を取得する。分類結果Ｃｆｎに対応する最終層の出力値をｙｆｎ Ｃｆｎとすると、チャネルｋの第２の影響度αｆｎ ｋは式２で取得される。
Figure 0007058988000002
尚、Ｃｆｎは、例えば画像所見種別が形状の場合は、０が球形、１が類球形、２が不整形、３が分葉形、・・・、となる。第２の影響度取得部３０７－ｉは、画像特徴量が第２の推論部３０５－ｉ（第２の推論手段）による推論結果に与えた影響の度合いである第２の影響度を取得する第２の取得手段の一例である。また、図９において、ｙｆｎ Cｆｎは、分類結果Ｃｆｎに対応する、出力層９１９の１つのノード（９１９の丸印の１つ）の出力値である。
一致度取得部３０８は、画像所見種別の各々（ｎ＝１，．．．，Ｎｆ）について、第２の影響度αｆｎ ｋと第１の影響度αｄ ｋとの間の一致度Ｐｓｎを式３により取得する。
Figure 0007058988000003
ここで、Ｎｓｎは、第１の影響度αｄ ｋと第２の影響度αｆｎ ｋの両者が所定の定数ａ１を超えるチャネルｋの数であり、式４で取得する。
Figure 0007058988000004
ここで、ｃｏｕｎｔ（Ａ｜Ｂ）は、条件Ｂを満たすＡの数を表す。一致度取得部３０８は、第１の影響度と第２の影響度とに基づいて、第１の推論部３０４（第１の推論手段）による推論結果に与えた画像特徴量と、第２の推論部３０５－ｉ（第２の推論手段）による推論結果に与えた画像特徴量と、が一致する度合いである一致度を取得する第３の取得手段の一例である。
選択部３０９は、一致度Ｐｓｎが上位となる所定数の画像所見種別を選択する。画像所見種別が選択されることにより、当該画像所見種別と対応する第２の推論部３０５－ｉにより推論された画像所見値が選択される。所定数はユーザが不図示の設定により指定できる。一致度は第１の影響度と第２の影響度とに基づいて定まり、選択部３０９は、第１の影響度と第２の影響度とに基づいて取得される一致度に基づいて、画像所見を選択する選択手段の一例である。
提示部３１０は、第１の推論部３０４の推論結果である診断名と、選択部３０９で選択した画像所見種別に対応する第２の推論部３０５－ｉ（ｉ＝１，．．．Ｎｆ）の推論結果である画像所見とから、診断支援結果６４１を作成する。診断支援結果６４１において、選択した画像所見は、推論結果の診断名に対する参考情報（関連情報）として配置される。また、提示部３１０は、診断支援結果６４１を表示画面６００上に配置し、ディスプレイ２０７に表示する。一つの実施形態において、提示部３１０は、複数の診断名のそれぞれに対する参考情報を個別に提示する。また別の実施形態において、提示部３１０は、特定の診断名、例えば緊急度の高い診断名に対する参考情報を提示する。これにより、診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて推論された画像所見が提示される。提示部３１０は、画像所見と診断名とをユーザに提示する提示手段の一例である。
（メイン処理）
図７は、本実施形態の情報処理装置１０１により行われる処理の一例を示すフロー図である。情報処理装置１０１により行われるメイン処理は、情報処理装置１０１の起動後に最初に開始される。処理が開始されると、画像取得部３０１は、ステップＳ７０１において、ユーザから不図示のユーザインタフェースにより検査ＩＤの指定を受ける。続いて、ステップＳ７０２において画像取得部３０１は、検査ＩＤに基づいて医用画像ＤＢ１０２から医用画像データ４１０－ｉ（ｉ＝１、．．．Ｎｉ）を取得する。
ステップＳ７０３において病変位置取得部３０２は、取得した医用画像データ４１０－ｉ（ｉ＝１、．．．Ｎｉ）の患者情報４４０を患者情報表示領域６０１に表示する。ステップＳ７０４において病変位置取得部３０２は、検査情報４５０を検査情報表示領域６０２に表示する。ステップＳ７０５において病変位置取得部３０２は、医用画像データ４１０－ｉ（ｉ＝１、．．．Ｎｉ）のシリーズ画像データ４２０－ｉ（ｉ＝１、．．．Ｎｓｒ）のそれぞれの先頭画像を、それぞれのシリーズ画像データの代表画像としてシリーズ画像表示領域６０３に表示する。ステップＳ７０６において病変位置取得部３０２は、シリーズ画像データ４２０－ｉ（ｉ＝１、．．．Ｎｓｒ）の先頭の１つ、例えばシリーズ画像データ４２０－１を、画像表示領域６０４に表示する。
ステップＳ７０７において病変位置取得部３０２は、ユーザがシリーズ画像を変更する操作を行ったか否かを判定する。ステップＳ７０７でシリーズ画像の変更操作が検出された場合には（Ｓ７０７のＹｅｓ）、ステップＳ７２１において病変位置取得部３０２は、変更操作で指定されたシリーズ画像データ４２０－ｉ（ｉ＝１、．．．Ｎｓｒ）を画像表示領域６０４に表示する。ここで、シリーズ画像の変更操作とは、シリーズ画像の縮小画像６１１－ｉ（ｉ＝１、．．．Ｎｓｒ）上でのマウスの左ボタンのダブルクリックである。ステップＳ７０７でシリーズ画像の変更操作が検出されない場合（Ｓ７０７のＮｏ）、或いは、ステップＳ７２１の処理が終了した場合には、ステップＳ７０８に進む。
ステップＳ７０８において病変位置取得部３０２は、ユーザが画像の表示を変更する操作を行ったか否かを判定する。ステップＳ７０８で画像表示の変更操作が検出された場合には（Ｓ７０８のＹｅｓ）、ステップＳ７２２において病変位置取得部３０２は、画像表示領域６０４に表示する画像の表示を指定された表示に変更する。ここで、表示操作とは、マウスホイールの回転が画像のスクロール（表示する画像のスライス位置を変更する）操作であり、上下の矢印キー押下がＷＬ、左右の矢印キー押下がＷＷの変更操作である。ステップＳ７０８において、画像表示の変更操作が検出されない場合（Ｓ７０８のＮｏ）、或いは、ステップＳ７２２の処理が終了した場合には、ステップＳ７０９に進む。
ステップＳ７０９において病変位置取得部３０２は、ユーザが病変位置を指定する操作を行ったか否かを判定する。ステップＳ７０９で病変位置の指定操作が検出された場合には（Ｓ７０９のＹｅｓ）、ステップＳ７２３において病変位置取得部３０２は、ユーザの操作に基づき病変位置６３１を取得する。ここで、病変位置の指定操作とは、病変位置指定ボタン６２１上でのマウス左ボタンのクリックに引き続く、画像表示領域６０４でのマウス左ボタンのドラッグである。ステップＳ７０９で病変位置の指定操作が検出されない場合（Ｓ７０９のＮｏ）、或いは、ステップＳ７２３の処理が終了した場合には、ステップＳ７１０に進む。
ステップＳ７１０において病変位置取得部３０２は、ユーザが診断支援を指示する操作を行ったか否かを判定する。ステップＳ７１０で診断支援操作が検出された場合には（Ｓ７１０のＹｅｓ）、ステップＳ７２４に進む。ステップＳ７２４の診断支援処理の詳細は、図８を用いて説明する。ここで、診断支援操作とは診断支援ボタン６２２のマウス左ボタンのクリックである。ステップＳ７１０で診断支援操作が検出されない場合（Ｓ７１０のＮｏ）、或いは、ステップＳ７２４の処理が終了した場合には、ステップＳ７１１に進む。
ステップＳ７１１において病変位置取得部３０２は、ユーザが終了を指示する操作を行ったか否かを判定する。ステップＳ７１１で終了操作が検出されると（Ｓ７１１のＹｅｓ）、ステップＳ７０１の処理に戻り、情報処理装置１０１は検査ＩＤの指定を受け付ける。終了操作が検出されない場合（Ｓ７１１のＮｏ）、ステップＳ７０７の処理に戻り、情報処理装置１０１はユーザによる操作の検出を繰り返す。ここで、終了操作とは、一般的なＯＳが提供するウインドウを閉じる操作である。
なお、病変位置取得部３０２が、ステップＳ７０３～Ｓ７１１、Ｓ７２１、Ｓ７２２、Ｓ７２３の処理を行う場合を例に説明したが、本実施形態はこれに限定されない。たとえば、ステップＳ７０３～Ｓ７０６、Ｓ７２１、Ｓ７２２といった、ディスプレイ２０７に医用画像等を表示させる処理の少なくとも一部を、病変位置取得部３０２ではなく表示制御部（不図示）が行ってもよい。また、ステップＳ７０７～Ｓ７１１といった、ユーザによる特定の操作入力の有無を判定する処理の少なくとも一部を、病変位置取得部３０２ではなく判定部（不図示）が行ってもよい。
（診断支援処理）
図８は、本実施形態の情報処理装置１０１により行われる処理の一例を示すフロー図である。メイン処理のステップＳ７２４で行われる診断支援処理の一例を、図８を用いて説明する。ステップＳ８０１で病変位置６３１の取得が確認された場合には（Ｓ８０１のＹｅｓ）、ステップＳ８０２において、特徴量取得部３０３が、取得した病変位置の画像から画像特徴量を取得する。次に、ステップＳ８０３において第１の推論部３０４は、取得した画像特徴量に基づき診断名の推論を行う。次に、ステップＳ８０４において、第２の推論部３０５－ｉ（ｉ＝１，．．．Ｎｆ）の各々は、取得した画像特徴量に基づき画像所見を推論する。
ステップＳ８０５において、第１の影響度取得部３０６は、前述の式１により、第１の影響度αｄ ｋを取得する。次に、ステップＳ８０６において、第２の影響度取得部３０７－ｉ（ｉ＝１，．．．，Ｎｆ）は、前述の式２により、第２の影響度αｆｎ ｋを取得する。
ステップＳ８０７において、一致度取得部３０８は、前述の式３により、一致度Ｐｓｎを取得する。次に、ステップＳ８０８において、選択部３０９は、一致度Ｐｓｎに基づき画像所見種別を選択する。
ステップＳ８０９において、提示部３１０は、推論した診断名と、選択部３０９により選択された画像所見とから診断支援結果６４１を作成し、表示画面６００上に表示し、図７のメイン処理に戻る。また、ステップＳ８０１で病変位置６３１の取得が確認できない場合には（Ｓ８０１のＮｏ）、処理を行わずにメイン処理に戻る。
以上説明したように、本実施形態によれば、医用画像から診断名を推論する場合においても、診断名の推論結果に影響度が高い画像所見を参考情報として提示できるため、医師は推論の結果が診断に有用であるか否かを判断することができる。
＜実施形態１の変形例＞
実施形態１の特徴量取得部３０３は、ＳＩＦＴ、ＳＵＲＦ、ＨＯＧ等の一般的な画像特徴量を取得し、第１の推論部３０４、第２の推論部３０５－ｉ（ｉ＝１，．．．，Ｎｆ）をＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）としても良い。また、ＳＶＭの他、ベイズネット、ランダムフォレスト等の他の推論方式を用いてもよい。
また、転移学習による方式を用いる場合に、画像特徴量を取得する層は、転移学習の際に固定する層より前段に含まれていればよく、必ずしも一致させる必要は無い。これにより、画像特徴量を取得する層の柔軟性が高まり、より適切な画像特徴量が取得可能になる。
また、ＣＮＮを用いる場合、画像特徴量として取得する中間層の出力値が同じであればよく、転移学習させずに個別で学習させたＣＮＮを用いてもよい。これにより、機械学習の柔軟性が高まると共に、予め取得した画像特徴量を利用した機械学習も可能となるため、機械学習の処理負荷が低減できる。
病変位置取得部３０２は、既知の画像解析により病変位置を自動で検出してもよい。また、病変位置取得部３０２は、自動で検出された病変位置からユーザが選択したものを取得してもよい。
また、影響度は、チャネル毎でなくチャネルの要素毎に求めてもよい。この場合、チャネルｋの要素を（ｉ，ｊ）とすると、第１の影響度αｄｉｊ ｋと第２の影響度αｆｎｉｊ ｋは、式５、式６となる。
Figure 0007058988000005
Figure 0007058988000006
式４、式５はそれぞれ、チャネルｋの出力の各要素値が変化した場合に推論結果がどれだけ変化するかを示す。式４、式５で得られる値は、式１、式２で得られる値とそれぞれ比して、チャネル全体で平均されないので、チャネルの要素毎の値となる。
この場合、一致度Ｎｓｎは式７で取得される。
Figure 0007058988000007
ここでａ２は所定の定数である。
上記の影響度、一致度を用いることで、画像特徴量の影響度が画像上の位置に依存する場合に、位置を考慮した一致度の取得が可能となる。
また、影響度は、式８、式９に示すように、チャネルｋの要素（ｉ，ｊ）を０にした場合に最終層の出力が変化する割合でもよい。
Figure 0007058988000008
Figure 0007058988000009
上記の影響度は計算が単純なため、影響度を取得する処理の負荷低減が可能となる。
また、影響度は、複数の画像特徴量の組み合わせ毎に取得してもよい。組み合わせ毎に影響度を取得することで、複数の画像特徴量が組み合わされて影響する場合にも、それを考慮した影響度の取得が可能となる。
一致度は、式１０に示すように、第１の影響度αｄｉｊ ｋと第２の影響度αｆｎｉｊ ｋとの積の総和でもよい。
Figure 0007058988000010
上記の一致度は閾値を持たないため、全ての画像特徴量を考慮した一致度の取得が可能となる。
また、一致度は第１の影響度が上位となる特徴量と第２の影響度が上位となる特徴量が一致する割合でもよい（式は不図示）。また、一致度は、連続値でなく、一致するとみなすか否かの２値又は離散値でもよい。
一致度は、式３においてＮｓｎとＮｆとの割合で示す場合を例に説明したが、一致の度合いを表現できればよく、たとえばＰｓｎ＝Ｎｓｎとしてもよい。
選択部３０９は全部の画像所見種別を選択し、表示部３１０が所定の数を表示してもよい。また、選択部３０９は一致度が所定値以上の画像所見種別を選択してもよい。
表示部３１０は、参考情報として画像所見と共に一致度を提示してもよい。一致度を提示する場合、数値を提示しても、一致度に対応付けられたラベルやアイコンを提示してもよい。
＜実施形態２＞
実施形態２では、実施形態１と同様に、胸部Ｘ線ＣＴ画像上の肺結節影に関する診断推論を行うＣＡＤシステムである情報処理装置について説明する。
実施形態１の情報処理装置では、画像に対して何らかの処理を施して得た値を画像特徴量として用いたが、本実施形態では、画像そのものを画像特徴量と見なして処理する画像処理装置について説明する。
尚、本実施形態に係る情報処理装置のシステム構成、ハードウェア構成、医用画像データの構成、画像所見、診断の値の定義、表示画面、メイン処理、診断支援処理フローは、実施形態１と同様であるため、説明を省略する。また、特に断らない限り、他の実施形態で説明した項目については、同一の番号を付し、その説明を省略する。
本実施形態では、画像を画像特徴量とみなすため、第１の影響度取得部３０６と第２の影響度取得部３０７－ｉ（ｉ＝１，．．．，Ｎｆ）は、座標（ｉ，ｊ）の画素値Ｘｉｊの第１の影響度αｄｉｊ及び第２の影響度αｆｎｉｊを、各々、式１１、式１２により取得する。
Figure 0007058988000011
Figure 0007058988000012
また、一致度取得部３０８は、実施形態１と同様に、画像所見種別の各々（ｎ＝１，．．．，Ｎｆ）について、第２の影響度αｆｎｉｊと第１の影響度αｄｉｊとの間の一致度Ｐｓｎを式１３により取得する。
Figure 0007058988000013
ここで、Ｎｓｎは、第１の影響度αｄｉｊと第２の影響度αｆｎｉｊの両者が所定の定数ａ３を超える画素Ｘｉｊの数であり、式１４で取得する。
Figure 0007058988000014
ここで、ｃｏｕｎｔ（Ａ｜Ｂ）は、実施形態１と同様に、条件Ｂを満たすＡの数を表す。
以上説明したように、本実施形態によれば、医用画像から診断名を推論する場合においても、診断名の推論結果に影響度が高い画像所見を参考情報として提示できるため、医師は推論の結果が診断に有用であるか否かを判断することができる。
＜実施形態２の変形例＞
影響度は、実施形態２に記載した方法に限らず、例えば「Ｇｒａｄ－ＣＡＭ」と呼ばれる手法のヒートマップを用いて取得してもよい。
「Ｇｒａｄ－ＣＡＭ」におけるヒートマップとは、入力画像が推論結果に与える影響をマップ（画像）化したものである。ヒートマップＬＧｒａｄ－ＣＡＭ ｃは式１５、式１６により取得する。
Figure 0007058988000015
Figure 0007058988000016
ここで、ｙｃはクラスｃに対応する最終層の出力値であり、図９における出力層９０９、９１９の１つノード（９０９や９１９の丸印の１つ）の出力値に対応する。Ａｋは所定の層のｋ番目のフィルタの出力値であり、図９における畳み込み層９０４の出力値のｋ番目（９０４の四角印のｋ番目）に対応する。Ａｋ ｉｊはｋ番目のフィルタの出力値における座標（ｉ，ｊ）の要素、Ｚはフィルタのサイズ、ＲｅＬＵ（）は活性化関数（ランプ関数）である。
上記影響度を用いることで、入力画像の推論結果に対する影響度を、所定の畳み込み層で抽出した特徴を用いて取得できるため、画像特徴を考慮した影響度の取得が可能となる。
（参考文献：Ｒａｍｐｒａｓａａｔｈ Ｒ．Ｓｅｌｖａｒａｊｕ，ｅｔ ａｌ．，Ｇｒａｄ－ＣＡＭ： Ｖｉｓｕａｌ Ｅｘｐｌａｎａｔｉｏｎｓ ｆｒｏｍ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ｖｉａ Ｇｒａｄｉｅｎｔ－ｂａｓｅｄ Ｌｏｃａｌｉｚａｔｉｏｎ，ａｒＸｉｖ：１６１０．０２３９１ｖ３，２０１７）
＜変形例＞
上述の実施形態では、胸部Ｘ線ＣＴ画像上の肺結節影に関する診断支援を行う場合を例に説明したが、本発明はこれに限らない。対象とする医用画像は、ＣＴ装置、デジタルラジオグラフィ、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、ＳＰＥＣＴ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ｅｍｉｓｓｉｏｎ ＣＴ）装置、ＰＥＴ（Ｐｏｓｉｔｒｏｎ Ｅｍｉｓｓｉｏｎ Ｔｏｍｏｇｒａｐｈｙ）装置、超音波診断装置、眼底カメラ、光音響装置といった撮影装置の少なくともいずれかを用いて取得された医用画像でもよい。対象とする病変は肺結節影に限らず、被検体のいかなる部位の病変であってよい。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組み合わせて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。
したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。
１０１ 情報処理装置
１０２ 医用画像データベース（医用画像ＤＢ）
３０１ 画像取得部
３０２ 病変位置取得部
３０３ 特徴量取得部
３０４ 第１の推論部
３０５－ｉ 第２の推論部
３０６ 第１の影響度取得部
３０７－ｉ 第２の影響度取得部
３０８ 一致度算出部
３０９ 選択部
３１０ 提示部

Claims (21)

  1. 医用画像の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する第１の推論手段と、
    前記画像特徴量に基づいて、前記医用画像の特徴を表現する画像所見を推論する第２の推論手段と、
    前記画像特徴量が前記第１の推論手段による推論結果に与えた影響の度合いである第１の影響度を取得する第１の取得手段と、
    前記画像特徴量が前記第２の推論手段による推論結果に与えた影響の度合いである第２の影響度を取得する第２の取得手段と、
    前記第１の推論手段による前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて前記第２の推論手段により推論された画像所見と、前記診断名とをユーザに提示する提示手段と、を有し、
    前記提示手段は前記第１の影響度と前記第２の影響度とに基づいて画像所見を提示することを特徴とする情報処理装置。
  2. 前記第２の推論手段は、前記画像特徴量に基づいて、前記医用画像の特徴を表現する複数の画像所見を夫々推論し、
    前記提示手段は、前記複数の画像所見のうち、前記第１の推論手段による前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて前記第２の推論手段により推論された画像所見を提示することを特徴とする請求項１に記載の情報処理装置。
  3. 前記診断名の推論に影響を与えた画像特徴量は、前記第１の推論手段による推論において所定以上の影響を与えた画像特徴量であることを特徴とする請求項１又は請求項２のいずれか１項に記載の情報処理装置。
  4. 前記第１の推論手段による前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて前記第２の推論手段により推論された画像所見を選択する選択手段をさらに有し、
    前記提示手段は、前記選択手段により選択された画像所見を提示することを特徴とする請求項２又は請求項３のいずれか１項に記載の情報処理装置。
  5. 前記第２の推論手段は、前記画像所見の種別ごとに画像所見を推論する複数の推論手段を含み構成され、
    前記選択手段は、前記複数の推論手段から少なくとも一つの推論手段を選択し、
    前記提示手段は、前記選択された推論手段により推論された画像所見の情報を提示することを特徴とする請求項４に記載の情報処理装置。
  6. 前記第１の影響度と前記第２の影響度とに基づいて、前記第１の推論手段による推論結果に影響を与えた前記画像特徴量と、前記第２の推論手段による推論結果に影響を与えた前記画像特徴量と、が一致する度合いである一致度を取得する第３の取得手段をさらに有し、
    前記提示手段は、前記第１の影響度と前記第２の影響度とに基づいて前記取得される一致度に基づいて、前記画像所見を提示することを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報処理装置。
  7. 前記取得手段は、前記第２の影響度が所定の値以上である画像特徴量と、前記第１の影響度が前記所定の値以上である画像特徴量とが一致する度合いを前記一致度として取得することを特徴とする請求項６に記載の情報処理装置。
  8. 前記医用画像から前記診断名を推論し、前記第１の推論手段を含み構成される第３の推論手段をさらに有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の情報処理装置。
  9. 前記画像特徴量は、前記第３の推論手段における推論過程に含まれる所定の段階から取得される値であり、
    前記第１の推論手段は、前記第３の推論手段における前記所定の段階以降の推論過程の推論を行うことを特徴とする、請求項８に記載の情報処理装置。
  10. 前記医用画像から前記画像所見を推論し、前記第２の推論手段を含み構成される第４の推論手段をさらに有することを特徴とする請求項１乃至請求項９のいずれか１項に記載の情報処理装置。
  11. 前記第３の推論手段と少なくとも前記所定の段階までの推論過程が共通する、前記医用画像から前記画像所見を推論する第４の推論手段をさらに有し、
    前記第２の推論手段は、前記第４の推論手段における前記所定の段階以降の推論過程の推論を行うことを特徴とする、請求項９に記載の情報処理装置。
  12. 前記第４の推論手段は、前記第３の推論手段に基づいて転移学習を行うことにより得られたものであることを特徴とする請求項１１に記載の情報処理装置。
  13. 前記画像特徴量は、前記医用画像の１以上の所定の大きさの領域の画素値であることを特徴とする、請求項１乃至１２の何れか１項に記載の情報処理装置。
  14. 前記提示手段は、前記画像所見と前記診断名とを表示部に表示させることによりユーザに提示することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の情報処理装置。
  15. 前記提示手段は、前記画像所見を前記診断名に対する参考情報として提示することを特徴とする請求項１乃至請求項１４のいずれか１項に記載の情報処理装置。
  16. 医用画像の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する第１の推論手段と、
    前記画像特徴量に基づいて、前記医用画像の特徴を表現する画像所見を推論する第２の推論手段と、
    前記医用画像から前記診断名を推論し、前記第１の推論手段を含み構成される第３の推論手段と、
    前記第３の推論手段と少なくとも所定の段階までの推論過程が共通する、前記医用画像から前記画像所見を推論する第４の推論手段と、
    前記第１の推論手段による前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて前記第２の推論手段により推論された画像所見と、前記診断名とをユーザに提示する提示手段と、を有し、
    前記画像特徴量は、前記第３の推論手段における推論過程に含まれる所定の段階から取得される値であり、
    前記第１の推論手段は、前記第３の推論手段における前記所定の段階以降の推論過程の推論を行うように構成され、
    前記第２の推論手段は、前記第４の推論手段における前記所定の段階以降の推論過程の推論を行うように構成され、
    前記第４の推論手段は、前記第３の推論手段に基づいて転移学習を行うことにより得られたものであることを特徴とする情報処理装置。
  17. 医用画像から診断名を推論する第１の推論に影響を与えた画像特徴量と、前記医用画像から画像所見を推論する第２の推論に影響を与えた画像特徴量とのうち、共通する画像特徴量を特定する特定手段と、
    前記特定された画像特徴量の影響により前記第２の推論で推論された画像所見と、前記第１の推論で推論された診断名とをユーザに提示する提示手段と、
    を有することを特徴とする情報処理装置。
  18. 医用画像の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する第１の推論手段と、
    前記画像特徴量に基づいて、前記医用画像の特徴を表現する画像所見を推論する第２の推論手段と、
    前記画像特徴量が前記第１の推論手段による推論結果に与えた影響の度合いである第１の影響度を取得する第１の取得手段と、
    前記画像特徴量が前記第２の推論手段による推論結果に与えた影響の度合いである第２の影響度を取得する第２の取得手段と、
    前記第１の推論手段による前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、影響を与えて前記第２の推論手段により推論された画像所見と、前記診断名とをユーザに提示する提示手段と、を有し、
    前記提示手段は前記第１の影響度と前記第２の影響度とに基づいて画像所見を提示することを特徴とする情報処理システム。
  19. 医用画像の特徴を示す値である画像特徴量に基づいて、前記医用画像から導かれる診断名を推論する第１の推論工程と、
    前記画像特徴量に基づいて、前記医用画像の特徴を表現する画像所見を推論する第２の推論工程と、
    前記画像特徴量が前記第１の推論工程における推論結果に与えた影響の度合いである第１の影響度を取得する第１の取得工程と、
    前記画像特徴量が前記第２の推論工程における推論結果に与えた影響の度合いである第２の影響度を取得する第２の取得手段と、
    前記第１の推論工程において前記診断名の推論に影響を与えた画像特徴量と共通する画像特徴量が、前記第２の推論工程において影響を与えて推論された画像所見と、前記診断名とをユーザに提示する提示工程と、を有し、
    前記提示工程において、前記第１の影響度と前記第２の影響度とに基づいて画像所見が提示されることを特徴とする情報処理方法。
  20. 医用画像から、前記医用画像の特徴を示す値である画像特徴量を取得する工程と、
    前記取得された画像特徴量を入力として、前記医用画像から導かれる診断名を推論する工程と、
    前記取得された画像特徴量を入力として、前記医用画像の特徴を表現する文言である複数の画像所見を推論する工程と、
    前記診断名の推論に影響を与えた画像特徴量と、前記画像所見の推論に影響を与えた画像特徴量とのうち、共通する画像特徴量を特定する工程と、
    前記特定された画像特徴量の影響により推論された画像所見と、前記推論された診断名とをユーザに提示する工程と、
    を有することを特徴とする情報処理方法。
  21. 請求項１９又は請求項２０のいずれか１項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2017230994A 2017-11-30 2017-11-30 情報処理装置、情報処理方法およびプログラム Active JP7058988B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017230994A JP7058988B2 (ja) 2017-11-30 2017-11-30 情報処理装置、情報処理方法およびプログラム
PCT/JP2018/042398 WO2019107177A1 (en) 2017-11-30 2018-11-16 Information processing apparatus, information processing system, information processing method, and program
US16/767,093 US11527328B2 (en) 2017-11-30 2018-11-16 Information processing apparatus, information processing system, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017230994A JP7058988B2 (ja) 2017-11-30 2017-11-30 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019097805A JP2019097805A (ja) 2019-06-24
JP7058988B2 true JP7058988B2 (ja) 2022-04-25

Family

ID=66664943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017230994A Active JP7058988B2 (ja) 2017-11-30 2017-11-30 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11527328B2 (ja)
JP (1) JP7058988B2 (ja)
WO (1) WO2019107177A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
JP2022018415A (ja) * 2020-07-15 2022-01-27 キヤノンメディカルシステムズ株式会社 医用データ処理装置及び方法
JP7440388B2 (ja) 2020-09-28 2024-02-28 株式会社日立製作所 画像診断支援装置および画像処理方法
CN116887756A (zh) * 2021-02-26 2023-10-13 京瓷株式会社 判定***、判定***的控制方法以及控制程序
CN117295451A (zh) * 2021-05-11 2023-12-26 富士胶片株式会社 信息处理装置、诊断辅助处理装置、信息处理方法、诊断辅助处理方法、信息处理程序及诊断辅助处理程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027635A (ja) 2011-07-29 2013-02-07 Canon Inc 画像処理装置及び画像処理方法
JP2013039230A (ja) 2011-08-16 2013-02-28 Canon Inc 医療診断支援装置及び医療診断支援方法
WO2017179503A1 (en) 2016-04-13 2017-10-19 Canon Kabushiki Kaisha Medical diagnosis support apparatus, information processing method, medical diagnosis support system, and program

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8543519B2 (en) * 2000-08-07 2013-09-24 Health Discovery Corporation System and method for remote melanoma screening
JP5340204B2 (ja) 2010-03-01 2013-11-13 キヤノン株式会社 推論装置、その制御方法およびプログラム
JP2012094127A (ja) 2010-10-01 2012-05-17 Fujifilm Corp 診断結果説明レポート作成装置、診断結果説明レポート作成方法ならびに診断結果説明レポート作成プログラム
US10049445B2 (en) 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
US10055551B2 (en) * 2013-10-10 2018-08-21 Board Of Regents Of The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multiclassifier ensemble schemes
KR20160012758A (ko) * 2014-07-25 2016-02-03 삼성전자주식회사 영상 진단 보조 장치 및 방법
KR20160020918A (ko) * 2014-08-14 2016-02-24 삼성전자주식회사 적응형 컴퓨터 보조 진단 장치 및 방법
JP6532287B2 (ja) * 2015-05-14 2019-06-19 キヤノン株式会社 医療診断支援装置、情報処理方法及びプログラム
WO2017106645A1 (en) 2015-12-18 2017-06-22 The Regents Of The University Of California Interpretation and quantification of emergency features on head computed tomography
JP6808557B2 (ja) * 2017-03-30 2021-01-06 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP7224757B2 (ja) * 2017-10-13 2023-02-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
US10885400B2 (en) * 2018-07-03 2021-01-05 General Electric Company Classification based on annotation information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013027635A (ja) 2011-07-29 2013-02-07 Canon Inc 画像処理装置及び画像処理方法
JP2013039230A (ja) 2011-08-16 2013-02-28 Canon Inc 医療診断支援装置及び医療診断支援方法
WO2017179503A1 (en) 2016-04-13 2017-10-19 Canon Kabushiki Kaisha Medical diagnosis support apparatus, information processing method, medical diagnosis support system, and program

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
BAR Yaniv et al.，"Deep learning with non-medical training used for chest pathology identification"，proc. of SPIE，vol.9414，2015年03月20日，94140V
NAPPI J. Janne et al.，"Deep transfer learning of virtual endoluminal views for the detection of polyps in CT colonography"，Proc. of SPIE，vol.9785，2016年03月24日，97852B
SELVARAJU R. Ramprasaath et al.，"Grad-CAM:Visual Explanations from Deep Networks via Gradient-based Localization"，[online]，2017年05月21日，arXiv:1610.02391v3，[検索日 2018.12.19], インターネット<URL: https://arxiv.org/abs/1610.02391>
ZEILER D. Matthew et al.，"Visualizing and Understanding Convolutional Networks"，[online]，2013年11月28日，arXiv:1311.2901v3，インターネット<URL: https://arxiv.org/abs/1311.2901>

Also Published As

Publication number Publication date
US20200381115A1 (en) 2020-12-03
US11527328B2 (en) 2022-12-13
JP2019097805A (ja) 2019-06-24
WO2019107177A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
JP7058988B2 (ja) 情報処理装置、情報処理方法およびプログラム
Sweetlin et al. Feature selection using ant colony optimization with tandem-run recruitment to diagnose bronchitis from CT scan images
US10734107B2 (en) Image search device, image search method, and image search program
JP7027070B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN109074869B (zh) 医疗诊断支持装置、信息处理方法以及医疗诊断支持***
JP6016406B2 (ja) 医療診断支援装置及び医療診断支援方法及び入力支援システム
JP7066385B2 (ja) 情報処理方法、情報処理装置、情報処理システム及びプログラム
JP7374202B2 (ja) 機械学習システムおよび方法、統合サーバ、プログラムならびに推論モデルの作成方法
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
CN107077731B (zh) 成像不确定性的可视化
CN113168912B (zh) 使用深度学习确定3d数据集中对象的增长速度
JP6820043B2 (ja) 画像の閲覧を支援する方法およびこれを利用した装置
US20210279920A1 (en) Similarity determination apparatus, similarity determination method, and similarity determination program
JP6071338B2 (ja) 医療診断支援装置、医療診断支援方法及びプログラム
Kaur et al. A review on optimization techniques for medical image analysis
JP2019045929A (ja) 情報処理装置、情報処理方法、及びプログラム
Gong et al. Deep‐learning model observer for a low‐contrast hepatic metastases localization task in computed tomography
JP7013145B2 (ja) 情報処理装置、情報処理システム、情報処理装置の作動方法及びプログラム
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP6982570B2 (ja) コンテキスト・アウェア医療レコメンデーションのためのシステム及び方法
JP7301653B2 (ja) 情報処理装置、情報処理方法およびプログラム
Ryan et al. Cluster activation mapping with applications to medical imaging
JP7170868B2 (ja) 学習装置、方法およびプログラム、医用画像処理装置、方法およびプログラム、並びに判別器
EP4339882A1 (en) System for medical data analysis
US20230088616A1 (en) Progression prediction apparatus, progression prediction method, and progression prediction program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220413

R151 Written notification of patent or utility model registration

Ref document number: 7058988

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151