JP2021173734A - 生成装置、生成方法、生成プログラム及び診断支援システム - Google Patents

生成装置、生成方法、生成プログラム及び診断支援システム Download PDF

Info

Publication number
JP2021173734A
JP2021173734A JP2020080843A JP2020080843A JP2021173734A JP 2021173734 A JP2021173734 A JP 2021173734A JP 2020080843 A JP2020080843 A JP 2020080843A JP 2020080843 A JP2020080843 A JP 2020080843A JP 2021173734 A JP2021173734 A JP 2021173734A
Authority
JP
Japan
Prior art keywords
distribution
partial region
display control
partial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020080843A
Other languages
English (en)
Inventor
潤一郎 榎
Junichiro Enoki
健治 山根
Kenji Yamane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020080843A priority Critical patent/JP2021173734A/ja
Priority to US17/996,799 priority patent/US20230186658A1/en
Priority to CN202180030365.7A priority patent/CN115427806A/zh
Priority to PCT/JP2021/015946 priority patent/WO2021220873A1/ja
Publication of JP2021173734A publication Critical patent/JP2021173734A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】特性のばらつきを持った領域を選択させることを支援することができる生成装置、生成方法、生成プログラム及び診断支援システムを提案する。【解決手段】生成装置は、病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する生成部を有する。【選択図】図10

Description

本発明は、生成装置、生成方法、生成プログラム及び診断支援システムに関する。
ガラススライドに収められた観察対象物を顕微鏡で撮影して、デジタル化した病理画像を生成し、病理画像に対して、各種の画像解析を行うシステムがある。たとえば、観察対象物は、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等に対応する。
従来のシステムでは、ユーザが病理画像に対して、解析対象となる領域を指定すると、指定された領域に対して、所定の解析手順で解析を行い、最終的な解析結果を出力する。ユーザは、解析結果を参照しつつ、解析処理で用いるパラメータの調整を行う。
米国特許出願公開第2007/030529号明細書 米国特許出願公開第2009/208134号明細書
ユーザが、解析対象となる複数の領域を選択する場合に、特性のばらつきを持った領域を選択した方が、様々な特性をもつ領域の解析結果を得ることができるため好ましい。しかし、従来のシステムでは、特性のばらつきを持った領域を選択することを支援することができていない。
そこで、本開示では、特性のばらつきを持った領域を選択させることを支援することができる生成装置、生成方法、生成プログラム及び診断支援システムを提案する。
上記の課題を解決するために、本開示に係る一形態の生成装置は、病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する生成部を備える。
本実施形態に係る診断支援システムを示す図である。 本実施形態に係る撮像処理を説明するための図である。 本実施形態に係る撮像処理を説明するための図である。 部分画像(タイル画像)の生成処理を説明するための図である。 本実施形態に係る病理画像を説明するための図である。 本実施形態に係る病理画像を説明するための図である。 病理画像の閲覧者による閲覧態様の一例を示す図である。 サーバが有する閲覧履歴記憶部の一例を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 本実施形態に係る生成装置の処理を説明するための図である。 本実施形態に係る生成装置の構成を示す機能ブロック図である。 病理画像DBのデータ構造の一例を示す図である。 部分領域テーブル142のデータ構造の一例を示す図である。 特性分布テーブルのデータ構造の一例を示す図である。 表示制御部が実行する処理(2)を説明するための図である。 表示制御部が実行する処理(3)を説明するための図である。 表示制御部が実行する処理(4)を説明するための図である。 表示制御部が実行する処理(5)を説明するための図である。 表示制御部が実行する処理(6)を説明するための図である。 表示制御部が実行する処理(7)を説明するための図である。 表示制御部が実行する処理(8)を説明するための図である。 表示制御部が実行する処理(9)を説明するための図である。 本実施形態に係る生成処理装置の処理手順を示すフローチャートである。 生成装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
<実施形態>
1.本実施形態に係るシステムの構成
2.各種情報について
2−1.病理画像
2−2.閲覧履歴情報
2−3.診断情報
3.本実施形態に係る生成装置
3−1.生成装置の処理
3−2.生成装置の機能構成
4.処理手順
5.本実施形態に係る生成装置の効果
6.ハードウェア構成
7.むすび
[1.実施形態に係るシステムの構成]
まず、図1を用いて、第1の実施形態に係る診断支援システム1について説明する。図1は、第1の実施形態に係る診断支援システム1を示す図である。図1に示すように、診断支援システム1は、病理システム10と、生成装置100とを含む。
病理システム10は、主に病理医が使用するシステムであり、例えば研究所や病院に適用される。図1に示すように、病理システム10は、顕微鏡11と、サーバ12と、表示制御装置13と、表示装置14とを含む。
顕微鏡11は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像(医療画像の一例)を取得する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等である。
サーバ12は、顕微鏡11によって撮像された病理画像を図示しない記憶部に記憶、保存する装置である。サーバ12は、表示制御装置13から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索した病理画像を表示制御装置13に送る。また、サーバ12は、生成装置100から病理画像の取得要求を受け付けた場合に、記憶部から病理画像を検索し、検索した病理画像を、生成装置100に送る。
表示制御装置13は、ユーザから受け付けた病理画像の閲覧要求をサーバ12に送る。そして、表示制御装置13は、サーバ12から受け付けた病理画像を表示するよう表示装置14を制御する。
表示装置14は、例えば、液晶、EL(Electro‐Luminescence)、CRT(Cathode Ray Tube)などが用いられた画面を有する。表示装置14は4Kや8Kに対応していてもよいし、複数の表示装置により形成されてもよい。表示装置14は、表示制御装置13によって表示するよう制御された病理画像を表示する。なお、詳細は後述するが、サーバ12は、表示装置14を介して病理医に観察された病理画像の領域に関する閲覧履歴情報を記憶する。
生成装置100は、サーバ12に対して病理画像の取得要求を送り、サーバ12から病理画像を受け付ける。サーバ12から受け付ける病理画像には、病理画像の特徴量の情報が添付されている。生成装置100は、病理画像を複数の部分領域に分割した情報と、各部分領域の分布であって、部分領域に含まれる特徴量によって特定される特徴空間上の分布を、部分領域に対応づけて特徴空間に視覚可能に配置した分布情報とを生成して表示する。生成装置100に関する詳しい説明は、「3.本実施形態に係る生成装置」で述べる。
[2.各種情報について]
[2−1.病理画像]
上記の通り、病理画像は、顕微鏡11によって観察対象物が撮像されることで生成される。まず、図2及び図3を用いて、顕微鏡11による撮像処理を説明する。図2及び図3は、第1の実施形態に係る撮像処理を説明するための図である。以下に説明する顕微鏡11は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを有する。
図2には、顕微鏡11の撮影可能な領域である撮像領域R10に、観察対象物A10が収められたガラススライドG10が含まれる。ガラススライドG10は、例えば図示しないステージに置かれる。顕微鏡11は、低解像度撮像部により撮像領域R10を撮像することで観察対象物A10が全体的に撮像された病理画像である全体画像を生成する。図2に示すラベル情報L10は、観察対象物A10を識別するための識別情報(例えば、文字列やQRコード(登録商標))が記載される。ラベル情報L10に記載される識別情報と患者を対応付けておくことで、全体画像に対応する患者を特定することが可能になる。図2の例では、識別情報として「#001」が記載されている。なお、ラベル情報L10には、例えば、観察対象物A10の簡単な説明が記載されてもよい。
続いて、顕微鏡11は、全体画像を生成した後に、全体画像から観察対象物A10が存在する領域を特定し、観察対象物A10が存在する領域を所定サイズ毎に分割した各分割領域を高解像度撮像部により順次撮像する。例えば、図3に示すように、顕微鏡11は、最初に領域R11を撮像し、観察対象物A10の一部領域を示す画像である高解像度画像I11を生成する。続いて、顕微鏡11は、ステージを移動させることで、領域R12を高解像度撮像部により撮像し、領域R12に対応する高解像度画像I12を生成する。同様にして、顕微鏡11は、領域R13、R14、・・・に対応する高解像度画像I13、I14、・・・を生成する。図3では領域R18までしか図示していないが、顕微鏡11は、ステージを順次移動させることで、観察対象物A10に対応する全ての分割領域を高解像度撮像部により撮像し、各分割領域に対応する高解像度画像を生成する。
ところで、ステージを移動させる際にガラススライドG10がステージ上で移動することがある。ガラススライドG10が移動すると、観察対象物A10のうち未撮影の領域が発生するおそれがある。顕微鏡11は、図3に示すように、隣り合う分割領域が一部重なるように、高解像度撮像部により撮像することで、ガラススライドG10が移動した場合であっても、未撮影領域の発生を防止することができる。
なお、上述した低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡11は、撮像対象に応じて解像度を変更する。また、上記では、ステージを移動させることで撮像領域を変更する例を示したが、顕微鏡11が光学系(高解像度撮像部など)を移動させることで撮像領域を変更してもよい。また、図3では、顕微鏡11が観察対象物A10の中央部から撮像する例を示した。しかし、顕微鏡11は、図3に示した撮像順とは異なる順序で観察対象物A10を撮像してもよい。例えば、顕微鏡11は、観察対象物A10の外周部から撮像してもよい。また、上記では、観察対象物A10が存在する領域のみを高解像度撮像部で撮像する例を示した。しかし、観察対象物A10が存在する領域を正確に検出できない場合もあるので、顕微鏡11は、図2に示した撮像領域R10又はガラススライドG10の全領域を分割して高解像度撮像部で撮像してもよい。
続いて、顕微鏡11によって生成された各々の高解像度画像は、所定のサイズに分割される。これにより、高解像度画像から部分画像(以下、タイル画像と表記する)が生成される。この点について、図4を用いて説明する。図4は、部分画像(タイル画像)の生成処理を説明するための図である。図4には、図3に示した領域R11に対応する高解像度画像I11を示す。なお、以下では、サーバ12によって、高解像度画像から部分画像が生成されるものとして説明する。しかし、サーバ12以外の装置(例えば、顕微鏡11内部に搭載される情報処理装置など)によって部分画像が生成されてもよい。
図4に示す例では、サーバ12は、1つの高解像度画像I11を分割することで、100個のタイル画像T11、T12、・・・を生成する。例えば、高解像度画像I11の解像度が2560×2560[pixel:ピクセル]である場合、サーバ12は、高解像度画像I11から、解像度が256×256[pixel:ピクセル]である100個のタイル画像T11、T12、・・・を生成する。同様にして、サーバ12は、他の高解像度画像も同様のサイズに分割することでタイル画像を生成する。
なお、図4の例において、領域R111、R112、R113、R114は、隣り合う他の高解像度画像(図4には図示しない)と重複する領域である。サーバ12は、重複する領域をテンプレートマッチング等の技法により位置合わせを行うことで、互いに隣り合う高解像度画像にスティッチング処理を施す。この場合、サーバ12は、スティッチング処理後に高解像度画像を分割することでタイル画像を生成してもよい。または、サーバ12は、スティッチング処理前に、領域R111、R112、R113及びR114以外の領域のタイル画像を生成し、スティッチング処理後に、領域R111、R112、R113及びR114のタイル画像を生成してもよい。
このようにして、サーバ12は、観察対象物A10の撮像画像の最小単位となるタイル画像を生成する。そして、サーバ12は、最小単位のタイル画像を順次合成することで、階層の異なるタイル画像を生成する。具体的には、サーバ12は、隣り合う所定数のタイル画像を合成することで、1つのタイル画像を生成する。この点について、図5及び図6を用いて説明する。図5及び図6は、本実施形態に係る病理画像を説明するための図である。
図5の上段には、サーバ12によって各高解像度画像から生成された最小単位のタイル画像群を示す。図5の上段の例において、サーバ12は、タイル画像のうち、互いに隣り合う4つのタイル画像T111、T112、T211、T212を合成することで、1つのタイル画像T110を生成する。例えば、タイル画像T111、T112、T211、T212の解像度がそれぞれ256×256である場合、サーバ12は、解像度が256×256であるタイル画像T110を生成する。同様にして、サーバ12は、互いに隣り合う4つのタイル画像T113、T114、T213、T214を合成することで、タイル画像T120を生成する。このようにして、サーバ12は、最小単位のタイル画像を所定数ずつ合成したタイル画像を生成する。
また、サーバ12は、最小単位のタイル画像を合成した後のタイル画像のうち、互いに隣り合うタイル画像を更に合成したタイル画像を生成する。図5の例において、サーバ12は、互いに隣り合う4つのタイル画像T110、T120、T210、T220を合成することで、1つのタイル画像T100を生成する。例えば、タイル画像T110、T120、T210、T220の解像度が256×256である場合、サーバ12は、解像度が256×256であるタイル画像T100を生成する。例えば、サーバ12は、互いに隣り合う4つのタイル画像を合成した解像度512×512の画像から、4画素平均や、重み付けフィルタ(近い画素を遠い画素よりも強く反映する処理)や、1/2間引き処理等を施すことにより、解像度が256×256であるタイル画像を生成する。
サーバ12は、このような合成処理を繰り返すことで、最終的には、最小単位のタイル画像の解像度と同様の解像度を有する1つのタイル画像を生成する。例えば、上記例のように、最小単位のタイル画像の解像度が256×256である場合、サーバ12は、上述した合成処理を繰り返すことにより、最終的に解像度が256×256である1つのタイル画像T1を生成する。
図6に、図5に示したタイル画像を模式的に示す。図6に示した例では、最下層のタイル画像群は、サーバ12によって生成された最小単位のタイル画像である。また、下から2階層目のタイル画像群は、最下層のタイル画像群が合成された後のタイル画像である。そして、最上層のタイル画像T1は、最終的に生成される1つのタイル画像であることを示す。このようにして、サーバ12は、病理画像として、図6に示すピラミッド構造のような階層を有するタイル画像群を生成する。
なお、図5に示す領域Dは、表示装置14等のディスプレイ画面に表示される領域の一例を示す。例えば、表示装置が表示可能な解像度が、縦3個分のタイル画像であり、横4個分のタイル画像であるものとする。この場合、図5に示す領域Dのように、表示対象のタイル画像が属する階層によって、表示装置に表示される観察対象物A10の詳細度が変わる。例えば、最下層のタイル画像が用いられる場合には、観察対象物A10の狭い領域が詳細に表示される。また、上層のタイル画像が用いられるほど観察対象物A10の広い領域が粗く表示される。
サーバ12は、図6に示したような各階層のタイル画像を図示しない記憶部に記憶する。例えば、サーバ12は、各タイル画像を一意に識別可能なタイル識別情報(部分画像情報の一例)とともに、各タイル画像を記憶する。この場合、サーバ12は、他の装置(例えば、表示制御装置13)からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。また、例えば、サーバ12は、各階層を識別する階層識別情報と、同一階層内で一意に識別可能なタイル識別情報とともに、各タイル画像を記憶してもよい。この場合、サーバ12は、他の装置から階層識別情報とタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、階層識別情報に対応する階層に属するタイル画像のうち、タイル識別情報に対応するタイル画像を他の装置へ送信する。
なお、サーバ12は、図6に示したような各階層のタイル画像をサーバ12以外の他の記憶装置に記憶してもよい。例えば、サーバ12は、クラウドサーバ等に各階層のタイル画像を記憶してもよい。また、図5及び図6に示したタイル画像の生成処理はクラウドサーバ等で実行されてもよい。
また、サーバ12は、全ての階層のタイル画像を記憶しなくてもよい。例えば、サーバ12は、最下層のタイル画像のみを記憶してもよいし、最下層のタイル画像と最上層のタイル画像のみを記憶してもよいし、所定の階層(例えば、奇数番目の階層、偶数番目の階層など)のタイル画像のみを記憶してもよい。このとき、サーバ12は、記憶していない階層のタイル画像を他の装置から要求された場合には、記憶しているタイル画像を動的に合成することで、他の装置から要求されたタイル画像を生成する。このように、サーバ12は、保存対象のタイル画像を間引くことで、記憶容量の圧迫を防止することができる。
また、上記例では撮像条件について言及しなかったが、サーバ12は、撮像条件毎に、図6に示したような各階層のタイル画像を記憶してもよい。撮像条件の例としては、被写体(観察対象物A10など)に対する焦点距離が挙げられる。例えば、顕微鏡11は、同一の被写体に対して焦点距離を変更しながら撮像してもよい。この場合、サーバ12は、焦点距離毎に、図6に示したような各階層のタイル画像を記憶してもよい。なお、焦点距離を変更する理由は、観察対象物A10によっては半透明であるため、観察対象物A10の表面を撮像するために適した焦点距離や、観察対象物A10の内部を撮像するために適した焦点距離があるからである。言い換えれば、顕微鏡11は、焦点距離を変更することで、観察対象物A10の表面を撮像した病理画像や、観察対象物A10の内部を撮像した病理画像を生成することができる。
また、撮像条件の他の例として、観察対象物A10に対する染色条件が挙げられる。具体的に説明すると、病理診断では、観察対象物A10のうち特定の部分(例えば、細胞の核など)に発光物を染色する場合がある。発光物とは、例えば、特定の波長の光が照射されると発光する物質である。そして、同一の観察対象物A10に対して異なる発光物が染色される場合がある。この場合、サーバ12は、染色された発光物毎に、図6に示したような各階層のタイル画像を記憶してもよい。
また、上述したタイル画像の数や解像度は一例であってシステムによって適宜変更可能である。例えば、サーバ12が合成するタイル画像の数は4つに限られない。例えば、サーバ12は、3×3=9個のタイル画像を合成する処理を繰り返してもよい。また、上記例ではタイル画像の解像度が256×256である例を示したが、タイル画像の解像度は256×256以外であってもよい。
表示制御装置13は、上述した階層構造のタイル画像群に対応可能なシステムを採用するソフトウェアを用い、ユーザの表示制御装置13を介した入力操作に応じて、階層構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置14に出力する。具体的には、表示装置14は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置13は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
[2−2.閲覧履歴情報]
次に、図7を用いて、サーバ12に保存される病理画像の閲覧履歴情報について説明する。図7は、病理画像の閲覧者による閲覧態様の一例を示す図である。図7に示した例では、病理医等の閲覧者が、病理画像I10のうち、領域D1、D2、D3、・・・、D7の順に閲覧したものとする。この場合、表示制御装置13は、閲覧者による閲覧操作に従って、最初に領域D1に対応する病理画像をサーバ12から取得する。サーバ12は、表示制御装置13からの要求に応じて、領域D1に対応する病理画像を形成する1以上のタイル画像を記憶部から取得し、取得した1以上のタイル画像を表示制御装置13へ送信する。そして、表示制御装置13は、サーバ12から取得した1以上のタイル画像から形成される病理画像を表示装置14に表示する。例えば、表示制御装置13は、タイル画像が複数である場合には、複数のタイル画像を並べて表示する。同様にして、表示制御装置13は、閲覧者によって表示領域の変更操作が行われるたびに、表示対象の領域(領域D2、D3、・・・、D7など)に対応する病理画像をサーバ12から取得し、表示装置14に表示する。
図7の例では、閲覧者は、最初に比較的広い領域D1を閲覧し、領域D1内に注意深く観察する領域がなかったため、閲覧領域を領域D2に移動させている。そして、閲覧者は、領域D2内に注意深く観察したい領域があったため、領域D2の一部領域を拡大して領域D3を閲覧している。そして、閲覧者は、さらに領域D2の一部領域である領域D4へ移動させている。そして、閲覧者は、領域D4内にさらに注意深く観察したい領域があったため、領域D4の一部領域を拡大して領域D5を閲覧している。このようにして、閲覧者は、領域D6、D7についても閲覧している。例えば、領域D1、D2、D7に対応する病理画像が1.25倍率の表示画像であり、領域D3、D4に対応する病理画像が20倍率の表示画像であり、領域D5、D6に対応する病理画像が40倍率の表示画像である。表示制御装置13は、サーバ12に記憶されている階層構造のタイル画像群のうち、各倍率に対応する階層のタイル画像を取得して表示することになる。例えば、領域D1及びD2に対応するタイル画像の階層は、領域D3に対応するタイル画像の階層よりも上(すわなち、図6に示したタイル画像T1に近い階層)になる。
上記のように病理画像が閲覧されている間、表示制御装置13は、所定のサンプリング周期で閲覧情報を取得する。具体的には、表示制御装置13は、所定のタイミング毎に、閲覧された病理画像の中心座標と表示倍率を取得し、取得した閲覧情報をサーバ12の記憶部に格納する。
この点について、図8を用いて説明する。図8は、サーバ12が有する閲覧履歴記憶部12aの一例を示す図である。図8に示すように、閲覧履歴記憶部12aは、「サンプリング」、「中心座標」、「倍率」、「時間」といった情報を記憶する。「サンプリング」は、閲覧情報を記憶するタイミングの順番を示す。「中心座標」は、閲覧された病理画像の位置情報を示す。ここの例では、中心座標は、閲覧された病理画像の中心位置が示す座標であって、最下層のタイル画像群の座標系の座標に該当する。「倍率」は、閲覧された病理画像の表示倍率を示す。「時間」は、閲覧が開始されてからの経過時間を示す。図8の例では、サンプリング周期が30秒であることを示す。すなわち、表示制御装置13は、30秒毎に閲覧情報を閲覧履歴記憶部12aに保存する。ただし、この例に限られず、サンプリング周期は、例えば0.1〜10秒であってもよいし、この範囲外であってもよい。
図8の例において、サンプリング「1」は図7に示す領域D1の閲覧情報を示し、サンプリング「2」は領域D2の閲覧情報を示し、サンプリング「3」及び「4」は領域D3の閲覧情報を示し、サンプリング「5」は領域D4の閲覧情報を示し、サンプリング「6」、「7」及び「8」は領域D5の閲覧情報を示す。つまり、図8の例では、領域D1が30秒程度閲覧され、領域D2が30秒程度閲覧され、領域D3が60秒程度閲覧され、領域D4が30秒程度閲覧され、領域D5が90秒程度閲覧されたことを示す。このように、閲覧履歴情報から、各領域の閲覧時間を抽出することができる。
また、閲覧履歴情報から各領域を閲覧した回数を抽出することができる。例えば、表示領域の変更操作(例えば、表示領域の移動操作、表示サイズの変更操作)が行われるたびに、表示された病理画像の各画素の表示回数が1回ずつ増加するものとする。例えば、図7に示した例において、最初に領域D1が表示された場合、領域D1に含まれる各画素の表示回数は1回となる。次に領域D2が表示された場合には、領域D1と領域D2との双方に含まれる各画素の表示回数は2回となり、領域D1には含まれず領域D2に含まれる各画素の表示回数は1回となる。閲覧履歴記憶部12aの中心座標及び倍率を参照することで表示領域を特定可能であるので、閲覧履歴記憶部12aに記憶されている閲覧履歴情報を分析することで、病理画像の各画素(各座標ともいえる)が表示された回数を抽出することができる。
表示制御装置13は、閲覧者から所定時間(例えば5分)、表示位置を変更する操作が行われなかった場合には、閲覧情報の記憶処理を中断してもよい。また、上記例では、中心座標と倍率によって閲覧された病理画像を閲覧情報として記憶する例を示したが、この例に限られず、閲覧情報は、閲覧された病理画像の領域を特定可能な情報であれば如何なる情報であってもよい。例えば、表示制御装置13は、閲覧された病理画像に対応するタイル画像を識別するタイル識別情報や、閲覧された病理画像に対応するタイル画像の位置示す情報を、病理画像の閲覧情報として記憶してもよい。また、図8では、図示することを省略したが、閲覧履歴記憶部12aには、患者、カルテ等を識別する情報が記憶される。すなわち、図8に示した閲覧履歴記憶部12aは、閲覧情報と、患者やカルテ等と対応付け可能に記憶される。
[2−3.診断情報]
次に、図9A〜図9Cを用いて、病理システム10に記憶される診断情報について説明する。図9A〜図9Cは、病理システム10が有する診断情報記憶部を示す図である。図9A〜図9Cでは、それぞれ検査対象の臓器毎に異なるテーブルで診断情報を記憶する例を示す。例えば、図9Aは、乳がん検査に関する診断情報を記憶するテーブルの例を示し、図9Bは、肺がん検査に関する診断情報を記憶するテーブルの例を示し、図9Cは、大腸検査に関する診断情報を記憶するテーブルの例を示す。
図9Aに示す診断情報記憶部30Aは、「患者ID」、「病理画像」、「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を記憶する。「患者ID」は、患者を識別するための識別情報を示す。「病理画像」は、病理医が診断時に保存した病理画像を示す。「病理画像」には、画像自体ではなく、全体画像に対する、保存対象の画像領域を示す位置情報(中心座標と倍率など)が記憶されてもよい。「診断結果」は、病理医による診断結果であり、例えば、病変部位の有無、病変部位の種類を示す。「グレード」は、病気部位の進行度を示す。「組織型」は、病気部位の種類を示す。「遺伝子検査」は、遺伝子検査の結果を示す。「超音波検査」は、超音波検査の結果を示す。投薬は、患者への投薬に関する情報を示す。
図9Bに示す診断情報記憶部30Bは、図9Aに示した診断情報記憶部30Aに記憶される「超音波検査」の代わりに、肺がん検査で行われる「CT検査」に関する情報を記憶する。図9Cに示す診断情報記憶部30Cは、図9Aに示した診断情報記憶部30Aに記憶される「超音波検査」の代わりに、大腸検査で行われる「内視鏡検査」に関する情報を記憶する。
図9A〜図9Cの例において、「診断結果」に「正常」が記憶されている場合には、病理診断の結果が陰性であったことを示し、「診断結果」に「正常」以外の情報が記憶されている場合には、病理診断の結果が陽性であったことを示す。なお、図9A〜図9Cでは、患者IDについて、各項目(病理画像、診断結果、グレード、組織型、遺伝子検査、超音波検査、投薬)を対応付けて記憶する場合について説明したが、診断、検査に関わる情報を、患者IDに対応付けて記憶すればよく、全ての項目が必要なわけではない。
[3.本実施形態に係る生成装置]
[3−1.生成装置の処理]
次に、本実施形態に係る生成装置100の処理の一例について説明する。図10は、本実施形態に係る生成装置100の処理を説明するための図である。図10では、病理画像Ima1を用いて説明を行う。病理画像Ima1には、細胞領域(観察対象物)A11が含まれるものとする。生成装置100は、病理画像Ima1をグリッドやスーパーピクセルで分割することで、複数の部分領域を設定する。以下の説明では、適宜、n行目、m列目の部分領域を示す場合、部分領域p(n、m)と表記する。複数の部分領域は、解析対象の領域「ROI(Region Of Interest)」の候補となる。
一方、生成装置100は、たとえば、2軸(1軸でもよい)からなる特徴空間fs1を示す特性分布情報Dis1を生成する。たとえば、特徴空間fs1の横軸は、複数種類の特徴量のうち、第1の特徴量に対応する軸とする。特徴空間fs1の縦軸は、複数種類の特徴量のうち、第2の特徴量に対応する軸とする。第1の特徴量、第2の特徴量は、予め設定されているものとする。
生成装置100は、病理画像Ima1に含まれる複数の部分領域について、次の処理を実行する。生成装置100は、部分領域に含まれる特徴量(第1の特徴量、第2の特徴量)を算出し、算出した特徴量によって特定される特徴空間fs1上の分布(分布の範囲)を、視覚可能に配置する。部分領域の特徴量は、最大値、最小値等、分布に広がりを持った情報となる。
たとえば、生成装置100は、部分領域p(2、8)の特徴量によって特定される特徴空間fs1の分布が、分布dis(2、8)となる場合、特徴空間fs1に分布dis(2,8)を視覚可能に配置する。分布dis(2,8)は、部分領域p(2、8)に対応付けられる。生成装置100は、他の部分領域に対しても上記処理を繰り返し実行することで、特性分布情報Dis1を生成する。以下の説明では、部分領域p(n、m)の分布であって、特徴空間fs1上に視覚可能に配置される分布を単に、dis(n、m)と表記する。
生成装置100は、複数の部分領域に分割された病理画像Ima1と、特性分布情報Dis1とを表示画面に表示する。生成装置100は、表示画面を参照するユーザから、部分領域の選択を受け付けると、選択された部分領域に対応する分布を通知する。たとえば、生成装置100は、ユーザによって、部分領域p(6、5)の選択を受け付けた場合、部分領域p(6、5)の分布dis(6、5)を強調表示する。
上記のように、生成装置100は、部分領域の選択を受け付けた場合に、選択された部分領域の分布を、視覚可能に通知することで、ユーザは、選択した部分領域の特性分布を把握できる。このため、生成装置100によれば、特性のばらつきを持った部分領域を選択させることを支援することが可能となる。すなわち、ユーザは、各部分領域の特性分布の広がりを理解した上で、複数の部分領域から、狙った特性となる部分領域を、解析対象とする部分領域(ROI)として、選択することができる。
なお、図10に示す例では、生成装置100が、病理画像Ima1と、特性分布情報Dis1とを別々に表示する場合について説明したが、病理画像Ima1と、特性分布情報Dis1とを同一画面に並べて表示してもよい。
[3−2.生成装置の機能構成]
次に、本実施形態に係る生成装置100の機能構成の一例について説明する。図11は、本実施形態に係る生成装置の構成を示す機能ブロック図である。図11に示すように、この生成装置100は、通信部110と、入力部120と、表示部130と、記憶部140と、制御部150とを有する。
通信部110は、例えば、NIC(Network Interface Card)等によって実現される。通信部110は、図示しないネットワークと有線又は無線で接続され、ネットワークを介して、病理システム10等との間で情報の送受信を行う。後述する制御部150は、通信部110を介して、これらの装置との間で情報の送受信を行う。
入力部120は、各種の情報を、生成装置100に入力する入力装置である。入力部120は、キーボードやマウス、タッチパネル等に対応する。ユーザは、入力部120を操作して、病理画像上の部分領域等を選択する。
表示部130は、制御部150から出力される情報を表示する表示装置である。表示部130は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ、タッチパネル等に対応する。たとえば、表示部130は、図10で説明した病理画像や、特性分布情報等を表示する。
記憶部140は、病理画像DB(Data Base)141と、部分領域テーブル142と、特性分布テーブル143とを有する。記憶部140は、たとえば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
病理画像DB141は、複数の病理画像を格納するデータベースである。図12は、病理画像DB141のデータ構造の一例を示す図である。図12に示すように、この病理画像DB141は、「患者ID」と、「病理画像ID」と、「病理画像」と、「特徴量」とを有する。患者IDは、患者を一意に識別する情報である。病理画像IDは、病理画像を一意に識別する情報である。病理画像は、病理医が診断時に保存した病理画像(画像データ)を示す。病理画像は、サーバ12から送信される。病理画像は、WSI(Whole Slide Image)等に対応する。
特徴量は、該当する一つの病理画像全体から得られる特徴量である。たとえば、特徴量には、病理画像に存在する各細胞の抽出結果、画像要素、各細胞と特定の腫瘍領域との距離の情報が含まれる。各細胞の抽出結果には、「細胞の核に関する、大きさ、形状、染色強度」、「細胞膜に関する、大きさ、形状、染色強度、細胞の密度」などが含まれる。画像要素には、CNN(Convolution Neural Network)特徴量、色、輝度値、周波数特性などが含まれる。
なお、病理画像DB141は、患者ID、病理画像、特徴量の他に、図9A〜9Cで説明した「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を保持していてもよい。また、特徴量は、後述する算出部152が、病理画像を基にして算出してもよいし、サーバ12から取得してもよい。
部分領域テーブル142は、病理画像を分割した場合の複数の部分領域に関する情報を保持するテーブルである。図13は、部分領域テーブル142のデータ構造の一例を示す図である。図13に示すように、この部分領域テーブル142は、「病理画像ID」と、「部分領域ID」と、「座標」と、「ROIフラグ」と、「特徴量分布情報」とを有する。
病理画像IDは、病理画像を一意に識別する情報である。各病理画像に対して複数の部分領域が設定される。部分領域IDは、病理画像における各部分領域を識別する情報である。座標は、部分領域の座標を示すものである。たとえば、部分領域の座標は、部分領域の左上隅の座標と右下隅の座標とによって特定される。ROIフラグは、該当する部分領域(部分領域IDによって特定される部分領域)が、ROIとして登録されたか否かを示すものである。たとえば、ROIとして登録されている場合、部分領域IDに対応するROIフラグは「オン」となる。ROIとして登録されていない場合、部分領域IDに対応するROIフラグは「オフ」となる。以下の説明では、部分領域ID「p(n、m)」の部分領域を、単に、部分領域p(n、m)と表記する。
特徴量分布情報は、該当する一つの部分領域における特徴量の分布情報である。特徴量分布情報には、代表点を定める情報と、分布の広がりを定める情報とが含まれる。代表点を定める情報には、特徴量の平均値、中央値、最頻値などが含まれる。分布の広がりを定める情報には、ヒストグラム、分散、標準偏差、最大値および最小値、四分位数等が含まれる。
特性分布テーブル143は、特徴空間における部分領域の分布に関する情報を保持するテーブルである。図14は特性分布テーブルのデータ構造の一例を示す図である。図14に示すように、この特性分布テーブル143は、病理画像IDと、部分領域IDと、分布の範囲とを対応付ける。病理画像IDは、病理画像を一意に識別する情報である。部分領域IDは、病理画像における部分領域を識別する情報である。
分布の範囲は、特徴空間のおける部分領域の分布の範囲を示す情報である。特徴空間は、特徴空間の軸に割り当てる特徴量の種別によって、異なる特徴空間となる。部分領域の分布は、異なる特徴空間毎に設定される。図14に示す例では、特徴空間fs1,fs2,fs3等に対応する部分領域の分布の範囲が設定されている。たとえば、特徴空間fs1は、第1の特徴量と、第2の特徴量とを軸とする特徴空間である。特徴空間fs2は、第2の特徴量と、第4の特徴量とを軸とする特徴空間である。特徴空間fs3は、第5の特徴量を軸とする特徴空間(ヒストグラム)である。図14では、特徴空間fs1〜fs3の分布の範囲を示すが、特性分布テーブル143は、他の特徴量の種別を軸とする特徴空間の分布の範囲を有していてもよい。
図11の説明に戻る。制御部150は、取得部151と、算出部152と、生成部153と、表示制御部154と、解析部155とを有する。制御部150は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)によって、生成装置100内部に記憶されたプログラム(解析プログラムの一例)がRAM(random Access Memory)等を作業領域として実行されることにより実現される。また、制御部150は、例えばASIC(Application specific Integrated Circuit)やFPGA(Field Programmable gate Array)等の集積回路により実行されてもよい。
取得部151は、サーバ12に対して病理画像の取得要求を送り、サーバ12から病理画像を取得する処理部である。取得部151は、取得した病理画像を、病理画像DB141に登録する。病理画像には、病理画像ID、患者IDが付与されているものとする。取得部151は、病理画像について、患者IDの他に、病理画像の特徴量の情報が添付されている場合に、病理画像の特徴量を、病理画像DB141に登録する。更に、病理画像には、図9A〜9Cで説明した「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報が添付されていてもよい。
算出部152は、病理画像を複数の部分領域に分割し、各部分領域の特徴量分布情報を算出する処理部である。
算出部152が、病理画像を複数の部分領域に分割する処理の一例について説明する。算出部152は、病理画像DB141から、病理画像を取得し、予め設定されたグリッドや、スーパーピクセルなどによって、病理画像を複数の部分領域に分割する。算出部152は、各部分領域に部分領域IDを割り当て、病理画像ID、部分領域ID、座標を対応付けて、部分領域テーブル142に登録する。算出部152は、部分領域IDに対応するROIフラグを初期値の「オフ」に設定する。
算出部152が、各部分領域の特徴量分布情報を算出する処理の一例について説明する。算出部152は、部分領域p(n、m)に対応する特徴量を、病理画像DB141に登録された病理画像の特徴量から取得する。部分領域p(n、m)に対応する特徴量には、細胞の特徴量(核の大きさ、形状、染色強度)、細胞膜の大きさ、細胞膜の染色強度、細胞密度が含まれる。部分領域p(n、m)に対応する特徴量には、部分領域p(n、m)に含まれる細胞(あるいは、部分領域p(n、m))と、特定の領域(別途あたえられた腫瘍領域)との距離情報が含まれる。部分領域p(n、m)に対応する特徴量には、画像特徴量(CNN特徴量、色情報、周波数特性など)が含まれる。
算出部152は、部分領域p(n、m)に対応する特徴量を基にして、特徴量分布情報を算出する。たとえば、算出部152は、特徴量の種別毎に、代表点を定める情報と、分布の広がりを定める情報とを算出する。代表点を定める情報には、特徴量の平均値、中央値、最頻値などが含まれる。分布の広がりを定める情報には、ヒストグラム、分散、標準偏差、最大値および最小値、四分位数等が含まれる。算出部152は、部分領域p(n、m)の特徴量分布情報を、部分領域テーブル142に登録する。
算出部152は、病理画像に含まれる各部分領域について、上記処理を繰り返し実行することで、部分領域テーブル142を生成する。更に、算出部152は、病理画像DB141に登録された複数の病理画像について、上記処理を繰り返し実行してもよい。
生成部153は、部分領域テーブル142を基にして、特性分布テーブル143を生成する処理部である。以下において、生成部153の処理の一例について説明する。
生成部153は、部分領域p(n、m)に対応する特徴量分布情報を、部分領域テーブル142から取得する。生成部153は、予め設定された特徴空間の情報を取得する。ここでは、特徴空間fs1を用いて説明する。特徴空間fs1は、第1の特徴量と、第2の特徴量とを2軸とする特徴空間である。
生成部153は、部分領域p(n、m)に対応する特徴量分布情報から、第1の特徴量に対応する「分布の広がりを定める情報」と、第2の特徴量に対応する「分布の広がりを定める情報」とを取得する。生成部は、取得した情報を基にして、特徴空間fs1上における部分領域p(n、m)の分布の範囲を特定し、特性分布テーブル143に登録する。生成部153は、部分領域p(n、m)について、他の特徴空間における分布の範囲を特定し、特性分布テーブル143に登録する。
生成部153は、病理画像に含まれる各部分領域について、上記処理を繰り返し実行することで、特性分布テーブル143を生成する。更に、生成部153は、複数の病理画像の各部分領域について、上記処理を繰り返し実行してもよい。
表示制御部154は、病理画像DB141と、部分領域テーブル142と、特性分布テーブル143とを基にして、病理画像と、特性分布情報とを含む画面情報を生成し、表示部130に表示させる処理部である。以下において、表示制御部154が実行する各種の処理について説明する。
表示制御部154が実行する処理(1)について説明する。表示制御部154が実行する処理(1)を、図10を用いて説明する。表示制御部154は、複数の部分領域に分割された病理画像Ima1を表示部130に表示させる。表示制御部154は、部分領域テーブル142を基にして、病理画像Ima1に対して複数の部分領域を設定する。ユーザは、病理画像Ima1を参照し、入力部120を操作して、いずれかの部分領域を選択する。
表示制御部154は、病理画像Ima1の複数の部分領域のうち、いずれかの部分領域の選択を受け付けると、特性分布情報Dis1を表示部130に表示させる。たとえば、表示制御部154は、特性分布テーブル143を基にして、特徴空間fs1に対応する各部分領域の分布の範囲を特定し、特徴空間fs1に、各部分領域の分布を視覚可能に配置することで、特性分布情報Dis1を生成する。表示制御部154は、特性分布情報Dis1に配置した複数の分布のうち、ユーザに選択された部分領域に対応する分布を強調表示する。
たとえば、表示制御部154は、ユーザによって、部分領域p(6、5)の選択を受け付けた場合、部分領域p(6、5)の分布dis(6、5)を強調表示する。図示を省略するが、表示制御部154は、選択された部分領域p(6、5)を拡大表示してもよい。
表示制御部154は、ユーザから、選択した部分領域に対する登録要求を受け付けた場合、部分領域テーブル142を参照し、登録要求を受け付けた部分領域に対応するROIフラグを「オン」に設定する。
表示制御部154が実行する処理(2)について説明する。図15は、表示制御部154が実行する処理(2)を説明するための図である。表示制御部154は、特性分布テーブル143を基にして、特性分布情報Dis1を生成し、特性分布情報Dis1を、表示部130に表示させる。ユーザは、特性分布情報Dis1を参照し、入力部120を操作して、いずれかの分布を選択する。
表示制御部154は、特性分布情報Dis1の分布の選択を受け付けると、病理画像Ima1−1を表示部130に表示させる。表示制御部154は、病理画像Ima1−1の複数の部分領域のうち、ユーザに選択された分布に対応する部分領域を強調表示する。
たとえば、表示制御部154は、ユーザによって、特性分布情報Dis1の分布dis(6、4)が選択された場合、病理画像Ima1−1の部分領域p(6、4)を強調表示する。表示制御部154は、部分領域p(6、4)を拡大した画像Ima1−2を表示してもよい。
表示制御部154は、ユーザから、部分領域p(6、4)に対する登録要求を受け付けた場合、部分領域テーブル142を参照し、登録要求を受け付けた部分領域p(6、4)に対応するROIフラグを「オン」に設定する。
表示制御部154が実行する処理(3)について説明する。図16は、表示制御部154が実行する処理(3)を説明するための図である。表示制御部154は、特性分布テーブル143を基にして、特性分布情報Dis1を生成し、特性分布情報Dis1を、表示部130に表示させる。ユーザは、特性分布情報Dis1を参照し、入力部120を操作して、いずれかの分布(複数の分布)を選択する。ユーザは、特性分布情報Dis1上に範囲を指定して、複数の分布を選択してもよい。
表示制御部154は、特性分布情報Dis1の分布の選択を受け付けると、病理画像Ima1−3を表示部130に表示させる。表示制御部154は、病理画像Ima1−3の複数の部分領域のうち、ユーザに選択された分布に対応する部分領域を強調表示する。
たとえば、表示制御部154は、ユーザによって、範囲ran1が指定され、特性分布情報Dis1の分布dis(4、3)、dis(4、8)、dis(3、12)、dis(6、4)、dis(6、6)が選択されたものとする。この場合に、表示制御部154は、病理画像Ima1−3の部分領域p(4、3)、p(4、8)、p(3、12)、p(6、4)、p(6、6)を強調表示する。表示制御部154は、部分領域p(4、3)、p(4、8)、p(3、12)、p(6、4)、p(6、6)を拡大した画像Ima1−4を表示してもよい。
表示制御部154は、ユーザから、部分領域p(4、3)、p(4、8)、p(3、12)、p(6、4)、p(6、6)に対する登録要求を受け付けた場合、部分領域テーブル142を参照し、登録要求を受け付けた部分領域に対応するROIフラグを「オン」に設定する。
なお、表示制御部154は、ROIとして登録する部分領域の個数を指定されており、範囲ran1に含まれる部分領域の分布の個数が、指定された個数を上回っている場合には、指定された個数となるように、範囲ran1の部分領域の分布をランダムに選択してもよい。また、表示制御部154は、部分領域の分布がばらつくように、指定された個数を選択してもよい。このような機能を提供することで、たとえば、面積が大きいなど異型度が高く、腫瘍辺縁に近い部分領域を提示することができる。
表示制御部154が実行する処理(4)について説明する。図17は、表示制御部154が実行する処理(4)を説明するための図である。表示制御部154は、複数の部分領域に分割された病理画像Ima1−5を表示部130に表示させる。ユーザは、病理画像Ima1−5を参照し、入力部120を操作して、いずれかの部分領域を選択する。
表示制御部154は、病理画像Ima1−5の複数の部分領域のうち、いずれかの部分領域の選択を受け付けると、特性分布情報Dis1を表示部130に表示させる。表示制御部154は、特性分布情報Dis1に配置した複数の分布のうち、ユーザに選択された部分領域に対応する分布を強調表示する。
たとえば、表示制御部154は、ユーザによって、部分領域p(6、6)の選択を受け付けた場合、部分領域p(6、6)の分布dis(6、6)を強調表示する。表示制御部154は、ユーザから、部分領域p(6、6)に対する登録要求を受け付けた場合、部分領域テーブル142の部分領域p(6、6)に対応するROIフラグを「オン」に設定する。
表示制御部154は、入力部120を操作するユーザから、病理画像Ima1−5の表示依頼を受け付けた場合、病理画像Ima1−5を表示部130に表示させる。表示制御部154は、部分領域テーブル142を参照して、ROIフラグが「オン」となる部分領域p(6、6)を強調表示する。
表示制御部154は、病理画像Ima1−5の複数の部分領域のうち、いずれかの部分領域の選択を受け付けると、特性分布情報Dis1を表示部130に表示させる。表示制御部154は、特性分布情報Dis1に配置した複数の分布のうち、ユーザに選択された部分領域に対応する分布を強調表示する。また、表示制御部154は、ROIフラグが「オン」となる部分領域に対応する分布を強調表示する。
たとえば、表示制御部154は、ユーザによって、部分領域p(3、10)の選択を受け付けた場合、部分領域p(3、10)の分布dis(3、10)を強調表示する。また、表示制御部154は、ROIフラグが「オン」となる部分領域p(6、6)に対応する分布dis(6、6)を強調表示する。なお、表示制御部154は、部分領域p(6、6)、p(3、10)を拡大した画像Ima1−6を表示してもよい。
表示制御部154が実行する処理(5)について説明する。図18は、表示制御部154が実行する処理(5)を説明するための図である。表示制御部154は、複数の部分領域に分割された病理画像Ima1−7を表示部130に表示させる。ユーザは、病理画像Ima1−7を参照し、入力部120を操作して、いずれかの部分領域を選択する。
表示制御部154は、病理画像Ima1−7の複数の部分領域のうち、いずれかの部分領域の選択を受け付けると、特性分布情報Dis3を表示部130に表示させる。特性分布情報Dis3は、特徴空間fs3を示すものである。たとえば、特徴空間fs3の横軸は、複数種類の特徴量のうち、第5の特徴量に対応する軸とする。特徴空間fs3の縦軸は、頻度に対応する軸とする。特徴空間fs3は、ヒストグラムに対応する。
表示制御部154は、特性分布情報Dis3に配置した複数の分布のうち、ユーザに選択された部分領域に対応する分布を強調表示する。たとえば、表示制御部154は、ユーザによって、部分領域p(6、6)の選択を受け付けた場合、部分領域p(6、6)の分布dis(6、6)を強調表示する。表示制御部154は、ユーザから、部分領域p(6、6)に対する登録要求を受け付けた場合、部分領域テーブル142の部分領域p(6、6)に対応するROIフラグを「オン」に設定する。
表示制御部154が実行する処理(6)について説明する。図19は、表示制御部154が実行する処理(6)を説明するための図である。表示制御部154は、複数の部分領域に分割された病理画像Ima1−8を表示部130に表示させる。ユーザは、病理画像Ima1−8を参照し、入力部120を操作して、いずれかの部分領域を選択する。
表示制御部154は、病理画像Ima1−8の複数の部分領域のうち、いずれかの部分領域の選択を受け付けると、特性分布情報Dis1−1を表示部130に表示させる。表示制御部154は、特性分布情報Dis1−1に配置した複数の分布のうち、ユーザに選択された部分領域に対応する分布を強調表示する。
たとえば、表示制御部154は、ユーザによって、部分領域p(6、4)の選択を受け付けた場合、部分領域p(6、4)の分布dis(6、4)を強調表示する。表示制御部154は、ユーザから、部分領域p(6、4)に対する登録要求を受け付けた場合、部分領域テーブル142の部分領域p(6、4)に対応するROIフラグを「オン」に設定する。
なお、表示制御部154は、特性分布情報Dis1−1を表示部130に表示させる場合、選択された部分領域の分布以外の分布を、代表点で表示させる。代表点は、平均値や中央値などに対応する。図19に示す例では、表示制御部154は、部分領域p(6、4)の分布dis(6、4)以外の分布を、代表点で表示させる。
表示制御部154が実行する処理(7)について説明する。図20は、表示制御部154が実行する処理(7)を説明するための図である。表示制御部154は、複数の部分領域に分割された病理画像Ima1−9を表示部130に表示させる。ユーザは、病理画像Ima1−9を参照し、入力部120を操作して、いずれかの部分領域を選択する。
表示制御部154は、病理画像Ima1−9の複数の部分領域のうち、いずれかの部分領域の選択を受け付けると、特徴空間fs1の特性分布情報Dis1−1を表示部130に表示させる。表示制御部154は、特性分布情報Dis1−1に配置した複数の分布のうち、ユーザに選択された部分領域に対応する分布を強調表示する。
たとえば、表示制御部154は、ユーザによって、部分領域p(6、4)の選択を受け付けた場合、特性分布情報Dis1−1において、部分領域p(6、4)の分布dis(6、4)を強調表示する。
ここで、表示制御部154は、ユーザによって、特徴空間の変更要求を受け付けた場合には、変更後の特徴空間を示す特性分布情報を表示する。たとえば、表示制御部154は、ユーザによって、特徴空間fs2が選択された場合には、特性分布情報Dis1−2を表示する。表示制御部154は、特性分布情報Dis1−2において、部分領域p(6、4)の分布dis(6、4)を強調表示する。
表示制御部154は、ユーザから、部分領域p(6、4)に対する登録要求を受け付けた場合、部分領域テーブル142の部分領域p(6、4)に対応するROIフラグを「オン」に設定する。
表示制御部154が実行する処理(8)について説明する。図21は、表示制御部154が実行する処理(8)を説明するための図である。表示制御部154は、ユーザによって、特徴空間fs1が指定された場合、特性分布テーブル143を基にして、特性分布情報Dis1−3を生成し、特性分布情報Dis1−3を、表示部130に表示させる。
続いて、表示制御部154は、ユーザによって、特徴空間fs2が指定された場合、特性分布テーブル143を基にして、特性分布情報Dis1−4を生成し、特性分布情報Dis1−4を、表示部130に表示させる。
たとえば、表示制御部154は、ユーザによって、範囲ran2が指定され、特性分布情報Dis1−4の分布dis(2、1)、dis(6、4)、dis(7、4)、dis(1、3)、dis(9、8)、dis(10、11)、dis(8、8)、dis(4、6)が選択された後に、特徴空間fs1が指定された場合、特性分布情報Dis1−5を、表示部130に表示させる。
表示制御部154は、特性分布情報Dis1−5において、特性分布情報Dis1−4で選択された特徴空間fs1の分布に対応する分布であって、特徴空間fs2の分布を表示させる。図21に示す例では、特性分布情報1−5の分布dis(2、1)、dis(6、4)、dis(7、4)、dis(1、3)、dis(9、8)、dis(10、11)、dis(8、8)、dis(4、6)が表示され、他の分布が表示されない。すなわち、ある特徴空間fs1で有効領域を指定すると、その有効領域に対応する分布が、特徴空間fs2で表示される。
表示制御部154が実行する処理(9)について説明する。図22は、表示制御部154が実行する処理(9)を説明するための図である。表示制御部154は、ユーザによって、特徴空間fs2、fs3が指定された場合、特性分布テーブル143を基にして、特性分布情報Dis1−6を生成し、表示部130に表示させる。たとえば、特徴空間fs3の範囲ran3に含まれる部分領域の分布は、特徴空間fs2の範囲ran3−1、ran3−2に含まれる部分領域の分布に対応するものとする。
表示制御部154は、ユーザによって、特徴空間fs3の範囲がran3から、ran4に変更された場合には、特性分布情報Dis1−7を生成し、表示部130に表示させる。たとえば、特徴空間fsの範囲ran4に含まれる部分領域の分布が、特徴空間fs2の範囲ran3−1に含まれる部分領域の分布である場合、表示制御部154は、特徴空間fs2の範囲ran3−1に含まれる部分領域の分布のみを表示させる。すなわち、ある特徴空間fs3で範囲を指定すると、その範囲に対して有効な分布が、特徴空間fs2で表示される。
図11の説明に戻る。解析部155は、部分領域テーブル142を参照し、ROIフラグが「オン」となった部分領域に対して、所定の解析手順で解析を行い、最終的な解析結果を表示部130に出力する。ユーザは、解析結果を参照しつつ、解析処理で用いるパラメータの調整を行ってもよい。
[4.処理手順]
次に、図23を用いて、本実施形態に係る生成装置100の処理手順を説明する。図23は、本実施形態に係る生成処理装置の処理手順を示すフローチャートである。生成装置100の取得部151は、解析対象の病理画像を取得する(ステップS101)。取得部151は、病理画像全体の特徴量を取得する(ステップS102)。
生成装置100の算出部152は、部分領域の単位で特徴量分布情報を算出する(ステップS103)。生成部153は、各特徴空間における部分空間の分布を設定することで、特性分布テーブル143を生成する(ステップS104)。
生成装置100の表示制御部154は、複数の部分領域に分割された病理画像と、特性分布情報とを表示する(ステップS105)。表示制御部154は、部分領域の選択を受け付ける(ステップS106)。表示制御部154は、選択された部分領域の分布を強調表示する(ステップS107)。
表示制御部154は、選択された部分領域の登録指示を受け付けない場合には(ステップS108,No)、ステップS106に移行する。一方、表示制御部154は、選択された部分領域の登録要求を受け付けた場合には(ステップS108,Yes)、ステップS109に移行する。
表示制御部154は、選択された部分領域に対応するROIフラグをオンに設定する(ステップS109)。生成装置100は、ROIを追加する場合には(ステップS110,Yes)、ステップS106に移行する。一方、生成装置100は、ROIを追加しない場合には(ステップS110)、処理を終了する。
[5.本実施形態に係る生成装置の効果]
本実施形態に係る生成装置100によれば、生成部153が、病理画像に設定された部分領域の特徴量分布情報を基にして、部分領域の分布であって、部分領域に含まれる特徴量によって特定される特徴空間上の分布を、部分領域に対応付けて特徴空間に視覚可能に配置した特性分布情報を生成する。これによって、特性のばらつきを持った部分領域の選択を支援することができる。
また、特性のばらつきを持った部分領域の選択を支援することで、ROIを用いて解析処理のパラメータ調整を実行する際、特性のばらつきを十分にもったROIでの調整ができるようになる。これによって、調整結果を解析対象の他の領域に適用した場合に、解析処理が意図通りに動かなくなるリスクを低減することができる。
生成装置100は、病理に関する画像に設定された複数の部分領域の特徴量を基にして、複数の部分領域の分布を、前記特徴空間にそれぞれ配置することで、特性分布情報を生成する。これによって、特性のばらつきを持った複数の部分領域の選択を支援することができる。
生成装置100は、複数の部分領域を設定した病理画像と、特性分布情報とを表示し、部分領域が選択された場合に、選択された部分領域に対応する特性分布情報の分布を表示する。これによって、病理画像において選択した部分領域の分布を容易に把握することができる。
生成装置100は、病理画像に対応する特徴量を取得し、病理画像に対応する特徴量を基にして、部分領域の特徴量を算出する。これによって、特徴空間における部分領域の分布を特定することができる。
生成装置100は、複数種類の特徴量のうち、一部の種類の特徴量を基にして、特性分布情報を生成する。たとえば、生成装置100は、複数種類の特徴量のうち、第1の組み合わせの種類の特徴量を基にして、特性分布情報を生成し、第2の組み合わせの種類の特徴量を基にして、他の特性分布情報を生成する。これによって、複数種類の特徴量のうち、ユーザの狙った特徴量に対応した特性分布情報を表示することができる。
生成装置100は、部分領域に対する登録要求を受け付けた場合、登録要求を受け付けた部分領域を示す登録部分領域の情報を保存し、登録部分領域に対応する特性分布情報の分布を更に表示する。これによって、ユーザが既に選択した部分領域(ROI)の分布を通知することができる。
生成装置100は、特性分布情報の各分布を特徴量の代表値によって表示し、部分領域が選択された場合に、選択された部分領域の分布を、部分領域の特徴量によって特定される広がりを持った分布によって表示する。これによって、部分領域の分布の範囲を見やすくすることができる。
[6.ハードウェア構成]
上述してきた各実施形態に係る生成装置は、たとえば、図24に示すような構成のコンピュータ1000によって実現される。以下、本実施形態に係る生成装置100を例に挙げて説明する。図24は、生成装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態に係る生成装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた生成プログラムを実行することにより、取得部151、算出部152、生成部153、表示制御部154、解析部155等の機能を実現する。また、HDD1400には、本開示に係る生成プログラム等が格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
[7.むすび]
生成装置は、生成部を有する。生成部は、病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する。これによって、特性のばらつきを持った部分領域の選択を支援することができる。
生成部は、前記病理に関する画像に設定された複数の部分領域の特徴量を基にして、前記複数の部分領域の分布を、前記特徴空間にそれぞれ配置することで、前記分布情報を生成する。これによって、特性のばらつきを持った複数の部分領域の選択を支援することができる。
生成装置は、前記複数の部分領域を設定した病理に関する画像と、前記分布情報とを表示する表示制御部を更に有する。表示制御部は、前記部分領域が選択された場合に、選択された部分領域に対応する前記分布情報の分布を表示する。これによって、病理画像において選択した部分領域の分布を容易に把握することができる。
生成装置は、前記病理に関する画像に対する特徴量を取得する取得部と、前記取得部が取得した特徴量を基にして、前記部分領域の特徴量を算出する算出部を更に有する。これによって、特徴空間における部分領域の分布を特定することができる。
部分領域に含まれる特徴量は複数種類の特徴量を含み、前記生成部は、前記複数種類の特徴量のうち、一部の種類の特徴量を基にして、前記分布情報を生成する。前記生成部は、前記複数種類の特徴量のうち、第1の組み合わせの種類の特徴量を基にして、第1分布情報を生成し、第2の組み合わせの種類の特徴量を基にして、第2分布情報を生成する。これによって、複数種類の特徴量のうち、ユーザの狙った特徴量に対応した分布情報を表示することができる。
前記表示制御部は、部分領域に対する登録要求を受け付けた場合、登録要求を受け付けた部分領域を示す登録部分領域の情報を保存し、登録部分領域に対応する前記分布情報の分布を更に表示する。これによって、ユーザが既に選択した部分領域(ROI)の分布を通知することができる。
前記表示制御部は、前記分布情報の各分布を特徴量の代表値によって表示する。表示制御部は、前記部分領域が選択された場合に、選択された部分領域の分布を、前記部分領域の特徴量によって特定される広がりを持った分布によって表示する。これによって、部分領域の分布の範囲を見やすくすることができる。
前記表示制御部は、前記分布情報に選択範囲が指定された場合、前記選択範囲に含まれる部分領域の分布に対応する部分領域であって、前記病理に関する画像に設定された部分領域を表示する。これによって、選択範囲に含まれる部分領域の分布に対応する部分領域を効率的に表示することができる。
顕微鏡と、前記顕微鏡により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、前記ソフトウェア(生成プログラム)は、病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する処理を生成装置に実行させる。これによって、特性のばらつきを持った部分領域の選択を支援することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する生成部
を有する生成装置。
(2)
前記生成部は、前記病理に関する画像に設定された複数の部分領域の特徴量を基にして、前記複数の部分領域の分布を、前記特徴空間にそれぞれ配置することで、前記分布情報を生成する前記(1)に記載の生成装置。
(3)
前記複数の部分領域を設定した病理に関する画像と、前記分布情報とを表示する表示制御部を更に有する前記(2)に記載の生成装置。
(4)
前記表示制御部は、前記部分領域が選択された場合に、選択された部分領域に対応する前記分布情報の分布を表示する前記(3)に記載の生成装置。
(5)
前記病理に関する画像に対する特徴量を取得する取得部と、前記取得部が取得した特徴量を基にして、前記部分領域の特徴量を算出する算出部を更に有する前記(1)〜(4)のいずれか一つに記載の生成装置。
(6)
前記部分領域に含まれる特徴量は複数種類の特徴量を含み、前記生成部は、前記複数種類の特徴量のうち、一部の種類の特徴量を基にして、前記分布情報を生成する前記(1)〜(5)のいずれか一つに記載の生成装置。
(7)
前記生成部は、前記複数種類の特徴量のうち、第1の組み合わせの種類の特徴量を基にして、第1分布情報を生成し、第2の組み合わせの種類の特徴量を基にして、第2分布情報を生成する前記(6)に記載の生成装置。
(8)
前記表示制御部は、部分領域に対する登録要求を受け付けた場合、登録要求を受け付けた部分領域を示す登録部分領域の情報を保存し、登録部分領域に対応する前記分布情報の分布を更に表示する前記(3)に記載の生成装置。
(9)
前記表示制御部は、前記分布情報の各分布を特徴量の代表値によって表示する前記(3)に記載の生成装置。
(10)
前記表示制御部は、前記部分領域が選択された場合に、選択された部分領域の分布を、前記部分領域の特徴量によって特定される広がりを持った分布によって表示する前記(9)に記載の生成装置。
(11)
前記表示制御部は、前記分布情報に選択範囲が指定された場合、前記選択範囲に含まれる部分領域の分布に対応する部分領域であって、前記病理に関する画像に設定された部分領域を表示することを特徴とする前記(3)に記載の生成装置。
(12)
コンピュータが、
病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する
処理を実行する生成方法。
(13)
コンピュータを、
病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する生成部
として機能させるための生成プログラム。
(14)
顕微鏡と、前記顕微鏡により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
前記ソフトウェアは、
病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する処理を生成装置に実行させる
診断支援システム。
100 生成装置
110 通信部
120 入力部
130 表示部
140 記憶部
141 病理画像DB
142 部分領域テーブル
143 特性分布テーブル
150 制御部
151 取得部
152 算出部
153 生成部
154 表示制御部
155 解析部

Claims (14)

  1. 病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する生成部
    を有する生成装置。
  2. 前記生成部は、前記病理に関する画像に設定された複数の部分領域の特徴量を基にして、前記複数の部分領域の分布を、前記特徴空間にそれぞれ配置することで、前記分布情報を生成する請求項1に記載の生成装置。
  3. 前記複数の部分領域を設定した病理に関する画像と、前記分布情報とを表示する表示制御部を更に有する請求項2に記載の生成装置。
  4. 前記表示制御部は、前記部分領域が選択された場合に、選択された部分領域に対応する前記分布情報の分布を表示する請求項3に記載の生成装置。
  5. 前記病理に関する画像に対する特徴量を取得する取得部と、前記取得部が取得した特徴量を基にして、前記部分領域の特徴量を算出する算出部を更に有する請求項1に記載の生成装置。
  6. 前記部分領域に含まれる特徴量は複数種類の特徴量を含み、前記生成部は、前記複数種類の特徴量のうち、一部の種類の特徴量を基にして、前記分布情報を生成する請求項1に記載の生成装置。
  7. 前記生成部は、前記複数種類の特徴量のうち、第1の組み合わせの種類の特徴量を基にして、第1分布情報を生成し、第2の組み合わせの種類の特徴量を基にして、第2分布情報を生成する請求項6に記載の生成装置。
  8. 前記表示制御部は、部分領域に対する登録要求を受け付けた場合、登録要求を受け付けた部分領域を示す登録部分領域の情報を保存し、登録部分領域に対応する前記分布情報の分布を更に表示する請求項3に記載の生成装置。
  9. 前記表示制御部は、前記分布情報の各分布を特徴量の代表値によって表示する請求項3に記載の生成装置。
  10. 前記表示制御部は、前記部分領域が選択された場合に、選択された部分領域の分布を、前記部分領域の特徴量によって特定される広がりを持った分布によって表示する請求項9に記載の生成装置。
  11. 前記表示制御部は、前記分布情報に選択範囲が指定された場合、前記選択範囲に含まれる部分領域の分布に対応する部分領域であって、前記病理に関する画像に設定された部分領域を表示することを特徴とする請求項3に記載の生成装置。
  12. コンピュータが、
    病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する
    処理を実行する生成方法。
  13. コンピュータを、
    病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する生成部
    として機能させるための生成プログラム。
  14. 顕微鏡と、前記顕微鏡により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
    前記ソフトウェアは、
    病理に関する画像に設定された部分領域の特徴量を基にして、前記部分領域の分布であって、前記部分領域に含まれる特徴量によって特定される特徴空間上の分布を、前記部分領域に対応付けて前記特徴空間に視覚可能に配置した分布情報を生成する処理を生成装置に実行させる
    診断支援システム。
JP2020080843A 2020-04-30 2020-04-30 生成装置、生成方法、生成プログラム及び診断支援システム Pending JP2021173734A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020080843A JP2021173734A (ja) 2020-04-30 2020-04-30 生成装置、生成方法、生成プログラム及び診断支援システム
US17/996,799 US20230186658A1 (en) 2020-04-30 2021-04-20 Generation device, generation method, generation program, and diagnosis support system
CN202180030365.7A CN115427806A (zh) 2020-04-30 2021-04-20 生成装置、生成方法、生成程序和诊断支持***
PCT/JP2021/015946 WO2021220873A1 (ja) 2020-04-30 2021-04-20 生成装置、生成方法、生成プログラム及び診断支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080843A JP2021173734A (ja) 2020-04-30 2020-04-30 生成装置、生成方法、生成プログラム及び診断支援システム

Publications (1)

Publication Number Publication Date
JP2021173734A true JP2021173734A (ja) 2021-11-01

Family

ID=78281571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080843A Pending JP2021173734A (ja) 2020-04-30 2020-04-30 生成装置、生成方法、生成プログラム及び診断支援システム

Country Status (4)

Country Link
US (1) US20230186658A1 (ja)
JP (1) JP2021173734A (ja)
CN (1) CN115427806A (ja)
WO (1) WO2021220873A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024002996A1 (en) * 2022-06-29 2024-01-04 Koninklijke Philips N.V. Automatic regional lung disease quantification from thorax x-ray images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60171575A (ja) * 1984-02-17 1985-09-05 Hitachi Ltd 次元縮退法による特徴量表現方式
JP5374078B2 (ja) * 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5442542B2 (ja) * 2010-06-25 2014-03-12 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2014127011A (ja) * 2012-12-26 2014-07-07 Sony Corp 情報処理装置、情報処理方法、およびプログラム
WO2015198620A1 (ja) * 2014-06-23 2015-12-30 オリンパス株式会社 組織地図作成方法
JP6693278B2 (ja) * 2016-06-01 2020-05-13 富士通株式会社 類似画像検索プログラム、類似画像検索方法、及び類似画像検索装置
JP7079631B2 (ja) * 2018-03-19 2022-06-02 株式会社Screenホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体

Also Published As

Publication number Publication date
US20230186658A1 (en) 2023-06-15
CN115427806A (zh) 2022-12-02
WO2021220873A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
CN106560827B (zh) 控制方法
JP7065436B2 (ja) 制御方法及びプログラム
JP2019179030A (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
JP4786246B2 (ja) 画像処理装置及び画像処理システム
WO2014103664A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US8306292B2 (en) Image display device and image display program storage medium
US20170090739A1 (en) Control method and recording medium
JPWO2011122401A1 (ja) 検査情報表示装置及び方法
WO2021230000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
WO2021220873A1 (ja) 生成装置、生成方法、生成プログラム及び診断支援システム
JP2011103095A (ja) 医用画像表示システム及びプログラム
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
WO2021261185A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム
CN115943305A (zh) 信息处理装置、信息处理方法、程序和信息处理***
JP7430720B2 (ja) マルチモダリティハンギングプロトコル
WO2021157405A1 (ja) 解析装置、解析方法、解析プログラム及び診断支援システム
JP2017207793A (ja) 画像表示装置および画像表示システム
WO2021220803A1 (ja) 表示制御方法、表示制御装置、表示制御プログラム及び診断支援システム
JP2007044346A (ja) 医用画像処理装置における関心領域の経時的特定方法及び医用画像処理装置
JP2006304840A (ja) 医用画像表示システム
WO2023048268A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2003310587A (ja) 異常陰影の検出結果表示装置
US20240231593A1 (en) Information processing apparatus, information processing method, and information processing program
WO2020261955A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
EP4371079A2 (en) Thumbnail animation for medical imaging