JP2016214324A - 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム - Google Patents
診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム Download PDFInfo
- Publication number
- JP2016214324A JP2016214324A JP2015099514A JP2015099514A JP2016214324A JP 2016214324 A JP2016214324 A JP 2016214324A JP 2015099514 A JP2015099514 A JP 2015099514A JP 2015099514 A JP2015099514 A JP 2015099514A JP 2016214324 A JP2016214324 A JP 2016214324A
- Authority
- JP
- Japan
- Prior art keywords
- image
- finding
- medical
- display
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/08—Biomedical applications
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Computer Hardware Design (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Eye Examination Apparatus (AREA)
Abstract
【課題】診断対象の医用画像について取得された類似症例が適切かどうかをユーザが容易に判断できるようにする。【解決手段】診断支援装置は、診断対象の医用画像である診断用画像から、所見と該所見に対応する画像の位置を検出し、検出された所見を用いて、所見および診断名と紐づけて複数の医用画像を記憶しているデータベースを検索する。診断支援装置は、上記診断用画像を検出された所見と該所見に対応する画像の位置を示す表示とともに表示部に表示させる第1の表示と、検索された医用画像を該医用画像に対応付けられている診断名とともに表示部に表示させる第2の表示とを同時または切り換えにより行う。【選択図】図3
Description
本発明は、医療に係る診断を支援する診断支援装置、診断支援方法及びプログラムに関する。
医療の分野では、光干渉断層計(OCT)やX線CT装置等の撮影装置により得られた医用画像を医師が観察し診断を行うことが行われている。医師は、医用画像表示装置(Viewerとも呼ばれる)を用いて対象となる医用画像を表示し、Viewerに付随する様々な機能を用いて画像を閲覧し、診断を行う。
このような画像による診断をコンピュータにより支援する診断支援装置が開発されている。特許文献1には、撮影装置の出力を基に病変位置を推定し、推定した病変に対して指標を付与する技術が記載されている。特許文献2には、問診結果や医師による所見、画像処理による特徴量を病状情報として取得し、データベースに保存された症例の中から、取得された病状情報に紐づいた診断名や画像を抽出し、提示する技術が記載されている。
Nakagomi K et al. "Multi-shape graph cuts with neighbor prior constraints and its application to lung segmentation from a chest CT volume", Med Image Anal 17(1): 62-77, 2013. (発明の実施の形態の欄で参照される)
Gurcan MN et al. "Lung nodule detection on thoracic computed tomography images: preliminary evaluation of a computer-aided diagnosis system", Med Phys29(11): 2552-2558, 2002. (発明の実施の形態の欄で参照される)
しかしながら、特許文献1は推定された病変に対して指標を提示するにとどまっていた。すなわち、その推定された病変の所見や、推定された病変を有する症例が示されないため、医師は病変や指標の表示をもとに症例を類推する必要があった。一方、特許文献2では、画像処理の結果に紐づく診断名やその診断名に対応する代表的な画像を提示するにとどまり、診断対象の画像と症例との対応が把握しにくく、そのため、提示された診断名が適切か否かが判断しにくくなる場合があった。
本発明は上記課題に鑑みてなされたものであり、診断対象の医用画像について取得された類似症例が適切かどうかをユーザが容易に判断できるようにすることを目的とする。
上記の目的を達成するための本発明の一態様による診断支援装置は、以下の構成を備える。すなわち、
診断対象の医用画像である診断用画像から、所見と該所見に対応する画像の位置を検出する検出手段と、
所見および診断名と紐づけて複数の医用画像を記憶しているデータベースを、前記検出手段により検出された所見を用いて検索する検索手段と
前記診断用画像を、前記検出手段により検出された所見と該所見に対応する画像の位置を示す表示とともに表示部に表示させる第1の表示と、前記検索手段により検索された医用画像を該医用画像に対応付けられている診断名とともに前記表示部に表示させる第2の表示とを同時または切り換えにより行う表示制御手段と、を備える。
診断対象の医用画像である診断用画像から、所見と該所見に対応する画像の位置を検出する検出手段と、
所見および診断名と紐づけて複数の医用画像を記憶しているデータベースを、前記検出手段により検出された所見を用いて検索する検索手段と
前記診断用画像を、前記検出手段により検出された所見と該所見に対応する画像の位置を示す表示とともに表示部に表示させる第1の表示と、前記検索手段により検索された医用画像を該医用画像に対応付けられている診断名とともに前記表示部に表示させる第2の表示とを同時または切り換えにより行う表示制御手段と、を備える。
本発明によれば、診断対象の医用画像から検出された所見が提示されるとともに、検出された所見に基づいて取得された類似症例が提示される。これにより、ユーザ(医師)は、類似症例の適否をより容易に判定できるようになり、診断に係る負担が軽減される。
以下、本発明の好適な実施形態のいくつかについて添付の図面を参照して説明する。
<第1実施形態>
第1実施形態における診断支援装置は、診断の対象となる医用画像と医用画像の情報を取得し、取得した医用画像の画像処理結果(所見、および所見の位置)を当該医用画像とともに支援情報として提示することにより当該医用画像に関する診断支援を行う。また、診断支援装置は、取得した医用画像の画像処理結果(所見)を用いてデータベースに蓄積された症例を検索し、検索された症例のたとえば診断名とその医用画像を提示する。
第1実施形態における診断支援装置は、診断の対象となる医用画像と医用画像の情報を取得し、取得した医用画像の画像処理結果(所見、および所見の位置)を当該医用画像とともに支援情報として提示することにより当該医用画像に関する診断支援を行う。また、診断支援装置は、取得した医用画像の画像処理結果(所見)を用いてデータベースに蓄積された症例を検索し、検索された症例のたとえば診断名とその医用画像を提示する。
第1実施形態では、診断支援装置が、診断対象の医用画像(以下、診断用画像ともいう)に対し画像処理を行い、画像処理結果を基に所見を同定し、その情報を医用画像上で提示する。第1実施形態では、眼科領域における光干渉断層画像(以下、OCT像と称する)を診断対象の医用画像とするが、もちろんこれに限られるものではない。なお、本実施形態では診断対象となるOCT像は視神経乳頭と中心窩(黄斑部)を通る方向で撮影した1枚の断面像(すなわち、2次元画像)で構成されるものとする。以下、視神経乳頭と中心窩を通る方向で撮影した画像をHスキャン像と称する。もちろん診断対象の医用画像はこれに限定されるものではなく、以下に示す所見等は、何れも診断支援装置の処理の工程を説明するための一例に過ぎない。
図1は、第1実施形態における診断支援装置100の機能構成の一例を示す図である。本実施形態における診断支援装置100は、光干渉断層計200と、データベース300に接続されている。光干渉断層計200は、眼底に近赤外線光を当てて、その戻り光と参照光とから得られる干渉光を利用して網膜の断層画像を示すOCT像(すなわち、医用画像)を取得する。そして、取得した医用画像と、その医用画像の種類に関する情報と、撮影した部位に関する情報を、LAN等を介して診断支援装置100へと出力する。なお、医用画像の種類とは、たとえば、OCT像、単純X線像、CT像といったような、モダリティに応じた医用画像の種類である。
データベース300には医用画像とその画像に対応する診断名と所見が紐づけられて格納されている。データベース300におけるデータ構成や所見の具体例については後述する。データベース300は、診断支援装置100からの要求に対して、要求に対応する症例(医用画像、診断名及び所見を含む)を診断支援装置100へと出力する。なお、データベース300は診断支援装置100内部の記憶部104(後述)に保存される構成であってもよい。
診断支援装置100において、医用画像取得部102は、光干渉断層計200から診断支援装置100へ送信された医用画像、その医用画像の種類に関する情報、および、その医用画像の部位(撮影した部位)に関する情報を取得する。医用画像取得部102で取得される医用画像は、診断対象の医用画像である。なお、光干渉断層計200から送信されたこれらの情報を記憶部104に保存しておき、ユーザからの要求に応じて記憶部104から読み出す構成であってもよい。あるいは、診断支援装置100にFDD、HDD、CDドライブ、DVDドライブ、MOドライブ、ZIPドライブ等の外部記憶装置を接続し、医用画像取得部102がそれらの外部記憶装置から上記の情報(医用画像、種類、部位)を取得するようにしてもよい。医用画像取得部102は、取得した医用画像を画像処理部108と表示制御部116へ出力し、取得した医用画像の種類と部位に関する情報を解析情報取得部106へ出力する。
記憶部104は、診断対象となる医用画像の部位毎に、診断対象の画像に付与されるべき複数の所見の候補を含む第一のテーブル情報41と、それぞれの候補に対応する画像処理のパラメータを含む第二のテーブル情報42とを記憶している。画像処理のパラメータは診断対象の画像に対して、所見の複数の候補のそれぞれを特定するための画像処理に必要なパラメータである。また、第二のパラメータ情報には、判定部110が診断対象の医用画像中に所見の候補が存在するか否かを判定するための判定基準も記録されている。第一のテーブル情報41、第二のテーブル情報42のデータ構成については図4(a)(b)により後述する。
解析情報取得部106は、医用画像取得部102が取得した診断対象の医用画像の種類と部位に関する情報を基に、記憶部104から解析情報を取得する。より具体的には、まず、解析情報取得部106は、医用画像取得部102から受け取った医用画像の種類と部位に対応する複数の所見の候補を記憶部104の第一のテーブル情報41から取得する。次に、解析情報取得部106は、第一のテーブル情報41の参照により取得した複数の所見の候補のそれぞれに対応する画像処理のパラメータを記憶部104の第二のテーブル情報42から取得する。解析情報取得部106は、こうして取得した複数の所見の候補を判定部110に出力し、画像処理のパラメータを画像処理部108へ出力する。
画像処理部108は、医用画像取得部102が取得した医用画像に対し、解析情報取得部106が取得した画像処理のパラメータに基づいて、画像処理を施す。画像処理部108は、この画像処理の結果を判定部110及び位置取得部112へと出力する。判定部110は、解析情報取得部106が取得した複数の所見の候補と、画像処理部108が実行した画像処理の結果に基づいて、複数の所見の候補のそれぞれが医用画像中に存在するか(すなわち、該当するか)否かを判定する。判定部110は、この判定の結果を位置取得部112及び検索部114へ出力する。
位置取得部112は、画像処理部108が実行した画像処理の結果と、判定部110で該当すると判定された所見の候補(以下、該当する所見)に基づいて、該当する所見に対応する医用画像の位置を示す情報を取得する。位置取得部112は、取得した位置を示す情報を、判定部110で該当すると判定された所見の候補と紐づけて表示制御部116へ出力する。検索部114は、判定部110で該当すると判定された所見の候補をキーとして、データベース300を検索し、診断対象の医用画像と類似する画像の情報を取得する。取得した画像の情報は対象としている医用画像との類似度とともに表示制御部116へと出力する。
表示制御部116は、医用画像取得部102が取得した診断対象の医用画像と、位置取得部112が取得した、該当する所見に紐づいた医用画像上の位置を示す情報と、検索部114が受信した画像の情報を基に表示を制御する。具体的には、診断対象の医用画像を表示部118に表示させ、表示された画像において、該当する所見と、該当する所見に紐づいた位置を示す表示を表示させる。さらに、受信した類似する画像の情報を基に、類似する画像に紐づいた診断名の情報を、類似度が高い順に表示部118に表示させる。表示部118は、表示制御部116により制御された表示内容を表示する。
なお、図1に示した診断支援装置100の各機能部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では各部はそれぞれソフトウェアにより実現されているものとする。以下、ソフトウェアにより上述した診断支援装置100の各機能部を実現するためのハードウェアの一例について説明する。
図2は、診断支援装置100のハードウェア構成の一例を示す図である。CPU1001は、主として各構成要素の動作を制御する。主メモリ1002は、CPU1001が実行する制御プログラムを格納したり、CPU1001によるプログラム実行時の作業領域を提供したりする。磁気ディスク1003は、オペレーティングシステム(OS)、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する外部記憶装置の一例である。記憶部104は、磁気ディスク1003により実現される。CPU1001が主メモリ1002、磁気ディスク1003に格納されているプログラムを実行することにより、図1に示した診断支援装置100の機能(ソフトウェア)及び後述するフローチャートにおける処理が実現される。なお、磁気ディスク1003に記憶されたプログラムは必要に応じて主メモリ1002に展開され、CPU1001により実行される。
表示メモリ1004は、表示用データを一時記憶する。モニタ1005は、表示部118の一例であり、たとえばCRTモニタや液晶モニタ等であり、表示メモリ1004からのデータに基づいて画像やテキスト等の表示を行う。マウス1006及びキーボード1007は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス1008により互いに通信可能に接続されている。
次に、図3のフローチャートを用いて、以上のような構成を備えた本実施形態の診断支援装置100が行う診断支援処理を説明する。図3は、診断支援装置100が行う診断支援処理の一例を示すフローチャートである。本実施形態では、CPU1001が主メモリ1002に格納されている各部の機能を実現するプログラムを実行することによりCPU1001が図1に示す各機能部として機能し、図3に示す処理が実現される。
ステップS300において、医用画像取得部102は、光干渉断層計200から送信された診断対象の医用画像(診断用画像)と、医用画像の情報(医用画像の種類に関する情報と、医用画像の部位(撮影部位)に関する情報を含む)を取得する。本実施形態では、光干渉断層計200で眼底を撮影した医用画像(Hスキャン像)を診断対象とする。したがって、医用画像の種類に関する情報として「OCT像」が、医用画像の部位に関する情報として「網膜」が取得される。なお、ステップS300では、被検者OCT像の他に眼底画像が取得される。図7により後述する表示内容において、OCT像とともに眼底画像を表示させるためである。眼底画像は、たとえば眼底カメラにより撮影され、記憶部104などに被検者の識別情報と関連付けて保持されており、医用画像取得部102は、OCT像を撮影した被検者の識別子に関連付けられた眼底画像を取得する。
次に、ステップS301〜S305において、診断支援装置100は、診断対象の医用画像である診断用画像から、所見と該所見に対応する画像の位置を検出する。まず、ステップS301において、解析情報取得部106は、ステップS300で取得した診断用画像の種類に関する情報と診断用画像の部位に関する情報を基に、記憶部104の第一のテーブル情報から対応する複数の所見の候補を取得する。図4(a)は、記憶部104に記憶された第一のテーブル情報41の一例を示す図である。第一のテーブル情報41では、部位411に画像の種類412の情報が紐づいており、さらに画像の種類412の情報に所見の候補413が紐づいて記憶されている。中には「気管支透亮像」のように複数の画像の種類の情報に紐づいている所見もある。もちろん、複数の部位、種類に紐づいている所見が存在していてもよい。本実施形態では、部位が「網膜」であり、種類が「OCT像」であるので、中心窩嚢胞様孔、繊維様嚢胞様孔、黄斑円孔などの所見の候補が取得される。
ステップS302において、解析情報取得部106は、ステップS301で第一のテーブル情報41から取得した複数の所見の候補のそれぞれを特定するために必要な画像処理のパラメータを記憶部104の第二のテーブル情報42から取得する。本実施形態では、所見の候補の情報の他に、ステップS300で取得した医用画像の種類に関する情報も用いるものとする。医用画像の種類により、各所見に対応する画像の画素値等のパラメータが異なるためである。
図4(b)は、記憶部104に記憶された第二のテーブル情報42の一例を示す図である。たとえば、所見の候補421が「繊維層嚢胞様孔」であり、画像の種類422が「OCT像」の場合には、「X:25%−75%、Z:30%−70%、画素値:10以下」という画像処理パラメータ423が紐づけられている。このような画像処理のパラメータを、ステップS301で取得した所見の候補のそれぞれについて取得する。なお、判定基準424は、画像処理部108による画像処理の結果について所見に該当するか否かを判定するための基準であり、判定部110により用いられる。詳細はステップS304で後述する。
次に、ステップS303において、画像処理部108は、ステップS300で取得した診断対象の医用画像に対し、ステップS302で取得した画像処理のパラメータに基づいて画像処理を施す。なお、本実施形態ではステップS302で取得した画像処理のパラメータを適用した画像処理を実行する前に、画像処理部108が、診断対象の医用画像全体に対して前処理を行うものとする。具体的には、診断対象の医用画像に対してノイズ除去や画像サイズ及び濃度値の正規化を行い、ステップS302で取得したパラメータにしたがった画像処理を適用可能な状態とする。なお、以下ではOCT像は256階調のモノクロ画像で表されているものとする。さらに、前処理として網膜層の抽出、特に網膜色素上皮層(RPE層)と網膜内境界膜(ILM)の抽出が行われる 。これらの抽出は、たとえばSnakesなどの公知の輪郭線抽出アルゴリズムを用いて行うことができる。
次に、複数の所見の候補にそれぞれ対応する画像処理のパラメータに基づいて、画像処理を行う。ここでは「繊維層嚢胞様孔」の画像処理のパラメータ「X:25%−75%、Z:30%−70%、画素値:10以下」を例として説明する。この場合、前処理で正規化された画像に対して上記のパラメータに従い、OCT像のX座標が25%−75%、Z座標が30%−70%の矩形範囲から画素値が10以下である画素を抽出する。このような処理を複数の所見の候補のそれぞれについて行う(当然、画像処理の内容は、所見の候補ごとに、パラメータに応じて異なるものとなる)。
ステップS304において、判定部110は、ステップS302で取得した複数の所見の候補のそれぞれが該当するか否か(診断対象の医用画像に存在する所見か否か)を、ステップS303で実行した画像処理の結果に基づいて判定する。たとえば、「繊維層嚢胞様孔」という所見の候補に対しては、判定部110は、画像処理のパラメータにしたがって抽出された画素のうち隣接している画素を一つの領域とし、夫々の領域に対して縦横比(短辺/長辺)を計算する。そして、判定部110は、たとえば縦横比が0.7以下となる領域を「繊維層嚢胞様孔」として該当すると判定する。あるいは、「後部硝子体剥離」という所見の候補の場合は、判定部110は、細線化処理により抽出した線の長さが閾値以上(たとえば、画像のX方向の長さの20%)である場合に該当すると判定する。なお、これらの判定基準は、たとえば、記憶部104に格納されている第二のテーブル情報42において、所見の候補ごとに記憶されている判定基準424を参照して取得される。なお、判定基準の保持方法はこれに限られるものではなく、所見の候補と画像の種類に対して判定基準が紐づけられた第三のテーブル情報(不図示)を用いるようにしてもよい。
図6はステップS303における画像処理の実行結果と、ステップS304における判定の結果を示した図である。図6に示すRPE層610とILM620は、OCT像600に対し、ノイズ除去および正規化を行い、公知の抽出手法を用いて抽出した結果(前処理の結果)である。この例では黄斑円孔650があるため、ILM620は画像中央部(中心窩)の部分では正しく抽出できていないことに留意されたい。
繊維層嚢胞様孔の該当領域630と繊維層嚢胞様孔の非該当領域635は、ステップS303において、所見の候補「繊維層嚢胞様孔」に対応する画像処理のパラメータにより抽出された領域を示す。図6に示すように、繊維層嚢胞様孔の該当領域630は、縦横比が0.7以下(すなわち、横長)であるため、「繊維層嚢胞様孔」が該当すると判定されている。一方、繊維層嚢胞様孔の非該当領域635は、縦横比が0.7を超えているために、「繊維層嚢胞様孔」が該当しないと判定されている。同様に、後部硝子体剥離の該当部640は、ステップS303において、所見の候補「後部硝子体剥離」に対応する画像処理のパラメータにより抽出された線を示す。この例の場合は、抽出された線のX方向の長さが閾値である画像のX方向の長さの20%を超えているので、「後部硝子体剥離」に該当すると判定されている。ステップS304では、判定部110がこのような判定を複数の所見の候補のそれぞれについて行う。図6の例では、上述の所見の他に、黄斑円孔650や蓋660が所見の候補に該当すると判定される。
ステップS305において、位置取得部112は、ステップS303で実行した画像処理の結果と、ステップS304で該当すると判定した所見の候補に基づいて、所見に対応する医用画像の位置を示す情報を取得する。位置を示す情報は位置が特定できる情報であればどのような情報であってもよいが、本実施形態では、判定部110が所見の候補に該当すると判定した画像領域に外接する矩形の情報(たとえば頂点の4座標)を、位置を示す情報として生成し、取得する。
図6に示した例では、ステップS304で「繊維層嚢胞様孔」と判定された該当領域630に外接する矩形632の位置が繊維層嚢胞様孔の位置情報として取得される。また、「後部硝子体剥離」と判定された該当部640に外接する外接矩形642の位置が後部硝子体剥離の位置情報として取得される。このような位置を示す情報の取得を、判定した複数の所見の候補のそれぞれについて行う。図6に示した例では、他に、黄斑円孔650の外接矩形652と、蓋660の外接矩形662のそれぞれの位置が取得されている。なお、同一所見の位置を示す情報はそれぞれの領域に関して取得してもよいし、それぞれの領域に優先度を付与し、優先度の最も高い領域の位置を示す情報を、その所見の位置を示す情報として取得してもよい。優先度は、たとえば矩形面積の大きさや、画像中央からの距離、画像端からの距離によって決めることができる。
次に、ステップS306において、検索部114は、ステップS304で該当すると判定した所見をキーとして、複数の症例を記憶しているデータベース300から類似する症例を取得する。図5(a)に本実施形態によるデータベース300のデータ構成例を示す。データベース300が記憶する各症例は、症例のID(識別番号)、撮影日、診断名、所見、画像の種類、医用画像(OCT像および眼底画像)を含む。なお、データベース300に格納された症例は、医師が事前に医用画像に対して該当する所見と位置、診断名を特定したものである。これは、教科書のような文献情報を用いたものであってもよいし、データベース用に収集した症例に対して医師が所見や診断名を特定したものであってもよい。
また、検索部114は、データベース300から、検索キーが完全に一致するもののみを類似症例として取得してもよいし、一部が一致するものを類似症例として取得してもよい。あるいは何らかの方法により類似度を計算し、類似度の高い順に規定の数だけ画像を取得するようにしてもよい。本実施形態では、検索キー(所見)が完全に一致する類似症例を取得するものとする。また、所見の類似度を用いる方法に関しては変形例で説明する。
ステップS307において、表示制御部116は、診断対象の医用画像(図7のOCT像710)を表示部118に表示させる第1の表示と、データベース300から検索された類似症例の医用画像(図7のOCT像730)を表示部118に表示する第2の表示を行う。なお、第1の表示では、ステップS300で取得された診断用画像が、ステップS301〜S305で検出された所見と該所見に対応する画像の位置を示す表示とともに表示される。第2の表示では、ステップS306で検索された類似症例(たとえば医用画像と該医用画像に対応付けられている診断名)が表示される。また、第1の表示と第2の表示は、表示部118に同時に表示されてもよいし、ユーザ操作に応じて切り換えて(交互に)表示されてもよい。以下では、第1の表示と第2の表示が同時に表示される場合を説明する。また、第2の表示においても、検索された医用画像を該医用画像に対応付けられている所見と該所見の位置とを示す表示とともに表示することが好ましい。ユーザが、診断画像と類似症例の医用画像における所見の対応をより容易に把握できるからである。
より具体的には、表示制御部116は、ステップS305で取得した所見の位置を示す情報を用いて、ステップS300で取得した診断対象の医用画像上に、該当すると判定された所見の情報を重畳表示させる。本実施形態では、該当すると判定された所見の各々に対して、以下の表示規則に従い重畳表示の位置を決定するものとする。(1)該当すると判定された他の所見の位置を示す情報の上には重畳表示しない。(2)所見の文字情報は、RPE層のZ方向下側かILMのZ方向上側に表示する。(3)該当すると判定された所見の位置を示す情報がZ方向においてRPE層とILMの間にある場合には、所見の位置を示す情報の近傍にマーカ(たとえば矢印など)を付与する。もちろん、上記の表示規則は一例であって、上記の表示規則に限定されるものではない。
さらに、表示制御部116は、ステップS306で取得した類似症例のうち、最も類似度の高い類似症例に含まれる医用画像とそれに紐づく診断名の情報を表示させる(図7のOCT像730、診断名732)。本実施形態ではステップS306で検索キーが完全に一致する症例を類似症例として取得しているため、ステップS300で取得した診断対象の医用画像の撮影日に近い医用画像を有する類似症例ほど類似度が高いものとする。したがって、検索された類似症例のうち撮影日が診断対象の医用画像に最も近い症例の医用画像が表示されることになる。また、本実施形態では、ステップS306で検索された類似症例をリストで管理し、図7の類似症例リスト720のようにリスト表示するとともに、リスト中の一つの類似症例をステップS300で取得した診断対象の医用画像と並べて表示する。
なお、OCT像730として表示する類似症例の選択については、診断支援装置100が自動的に選択するようにしてもよいし、診断支援装置100がユーザ入力による選択を受け入れるようにしてもよい。診断支援装置100が自動的に表示対象の類似症例を選択する場合は、たとえば、検索された類似症例において類似度の高い順に類似症例を選択することがあげられる。また、ユーザ入力による選択では、たとえば、ステップS306で検索された類似症例のリスト表示(類似症例リスト720)から一つの症例を選択させるユーザインターフェースにより、表示対象となる症例の選択を実現できる。
本実施形態では、最も撮影日が近い類似症例を初期の表示されるべき症例として決定するものとし、その後は上述したような類似症例リストからのユーザ選択に応じて表示対象の類似症例が決定されるものとする。なお、類似症例の表示の方法はこれに限定されない。たとえば、複数の類似症例の医用画像と、それに紐づく診断名の情報を、ステップS300で取得した診断対象の医用画像と対比可能な形で表示してもよいし、全てを対比可能な形で表示してもよい。
図7は、表示制御部116が表示部118に表示する表示内容の一例を示した図である。表示制御部116が表示部118に表示する表示内容700は、診断用画像に所見及びその位置を示す表示が重畳表示されたOCT像710(第1の表示)と、その診断用画像に対応する眼底画像715を含む。また、表示内容700は、類似症例リスト720(類似する医用画像を類似度の高い順に表示したリスト)を含む。さらに、表示内容700は、類似症例リスト720の中の一つの類似症例(ここでは、撮影日が最も近い類似症例)の表示を含む。この類似症例の表示は、選択された症例に関連付けられた医用画像に所見が重畳表示されたOCT像730と診断名732、及び、その医用画像に対応する眼底画像735を含む。
OCT像710、730には、前述した表示規則に従って、OCT像に存在すると判定された所見の情報が所見の位置を示す情報に基づいて重畳表示されている。たとえば、「繊維層嚢胞様孔」に関しては、所見の位置を示す情報がZ方向においてRPE層とILMの間にあるので、RPE層のZ方向下側に所見の文字情報が表示される。さらに、所見の位置を示す情報の近傍にマーカー(図7の例では矢印)が付与される。また、「後部硝子体剥離」に関しては、所見の位置を示す情報がILMのZ方向上側にあるので、文字情報がILMに重ならないように、所見の位置を示す情報の近傍に所見の文字情報が表示される。同様に、「黄斑円孔」や「蓋」についても近傍に所見の文字情報が表示される。
なお、前述のように、類似症例リスト720の他の類似症例が表示対象としてユーザ選択された場合、表示制御部116は、選択された類似症例に関連付けられている医用画像を表示部118に表示する。具体的には、表示制御部116は、類似症例リスト720から選択された類似症例の医用画像、診断名、所見をOCT像730、診断名732として表示部118に表示し、選択された類似症例の眼底画像を、眼底画像735として表示部118に表示する。
なお、ユーザによる選択はGUIを介して、マウスなどのポインティングデバイスにより行われる。また、表示部118がタッチパネルで構成される場合には、ユーザが表示部118に表示されたリストをタッチパネル上で操作を行うことにより選択が行われてもよい。例えば、リスト上の症例をダブルタップすることにより選択を行うことが出来る。あるいは、リスト上の症例をタップして仮選択し、横方向にフリック操作またはスワイプ操作することにより仮選択した症例が実際に選択されるようにしてもよい。また、仮選択している状態で連続してフリック操作またはスワイプ操作を行った場合には、リスト上で仮選択した症例の下にある症例が順次選択されるようにしてもよい。
以上のような第1実施形態によれば、診断支援装置100は、診断対象の医用画像の部位の情報を基に該当する所見の候補と所見の候補の導出に関する画像処理のパラメータを取得する。そして、診断支援装置100は、取得した画像処理のパラメータを基に診断対象の医用画像について画像処理を行い、該当する所見の判定と位置を特定し、その結果を診断対象の医用画像に重畳表示する。また、診断支援装置100は、該当する所見をキーに類似症例を検索し、検索された類似症例に関連付けられている医用画像を所見や診断名とともに表示する。このような処理により、医師は診断対象の医用画像上で該当すると判定された所見とその位置、および、類似症例の医用画像、診断名および所見を確認することができる。こうして、医師は診断対象の医用画像の状態と類似した症例の診断名を、対応する医用画像とともに閲覧することができるので、診断に係る負担を軽減させることができる。
なお、上記実施形態では、第一のテーブル情報41は医用画像の種類と部位の両方を所見の候補と紐づけているが、これに限られるものではない。たとえば、診断支援装置100が眼科の医用画像を専門に扱う場合には、部位の情報は不要である。また、診断支援装置100がOCT画像を専門に扱う場合には、さらに医用画像の種類との紐づけが不要となる。ただし、上記実施形態のように第一のテーブル情報41が「医用画像に含まれる被検体の部位」や「医用画像の種類」と「所見の候補」とを関連付けた情報を持つことにより、診断支援装置100の画像の部位や種類に対する汎用性が向上する。
(変形例1−1)
第1実施形態では、ステップS306において、検索部114は、ステップS304で該当すると判定した所見をキーとして、検索キーが完全一致する症例のみを取得していたがこれに限られるものではない。たとえば、検索キーが部分一致する医用画像を取得するようにしてもよいし、検索キーの類似度を計算して医用画像を取得するようにしてもよい。
第1実施形態では、ステップS306において、検索部114は、ステップS304で該当すると判定した所見をキーとして、検索キーが完全一致する症例のみを取得していたがこれに限られるものではない。たとえば、検索キーが部分一致する医用画像を取得するようにしてもよいし、検索キーの類似度を計算して医用画像を取得するようにしてもよい。
検索キー(所見)の類似度としては、たとえば、ベクトルの類似度を計算するコサイン類似度を用いることができる。以下、具体的に説明する。まず、判定部110は、ステップS301で取得した複数の所見の候補と、ステップS304で該当すると判定された所見を用いて所見ベクトルを作成する。所見ベクトルは、各所見の候補をベクトルの要素と見なし、診断対象の医用画像において該当する(存在する)と判定された所見には1を、該当しないと判定された所見には0を与えることで生成できる。たとえば、所見の候補が20個ある場合には、20次元の所見ベクトルとなる。
次に、判定部110は、データベース300に保存されている類似症例の所見ベクトルを生成し、診断対象の医用画像について生成した所見ベクトルとの類似度を計算する。なお、データベース300において、症例ごとに所見ベクトルを予め保存しておくようにしてもよい。診断対象の医用画像の所見ベクトルをVt、データベース300に保存されている医用画像の所見ベクトルをVsとすると、コサイン類似度は以下の式で示される。
このコサイン類似度は1に近いほど2つのベクトルが類似していることを示し、0に近いほど類似していないことを示す。このような類似度を用いた場合には、ステップS307で類似度が高い順に所定数の症例を類似症例リスト720に表示するのが望ましい。なおこの変形例は他の実施形態においても適用可能である。
(変形例1−2)
第1実施形態では、データベース300に格納されている症例の所見と位置は医師が特定するものとした。しかし、その他の方法で特定されてもよい。たとえば、データベース300に格納された症例(医用画像)に対してステップS301乃至ステップS305の処理を行い、該当する所見および所見の位置情報を紐づけるようにしてもよい。また、ステップS307の処理を行った後に、当該症例(診断対象の医用画像の所見と診断名)をデータベースに追加保存するようにしてもよい。
第1実施形態では、データベース300に格納されている症例の所見と位置は医師が特定するものとした。しかし、その他の方法で特定されてもよい。たとえば、データベース300に格納された症例(医用画像)に対してステップS301乃至ステップS305の処理を行い、該当する所見および所見の位置情報を紐づけるようにしてもよい。また、ステップS307の処理を行った後に、当該症例(診断対象の医用画像の所見と診断名)をデータベースに追加保存するようにしてもよい。
(変形例1−3)
第1実施形態では、検索部114は、データベース300に格納された症例から類似症例を検索していた。しかし、必ずしも外部に接続されたデータベース300から類似症例を検索しなくてもよい。たとえば、データベース300と同等の情報を有する症例情報を記憶部104に保存しておき、検索部114が記憶部104に記憶された症例情報から類似症例を検索するようにしてもよい。また、記憶部104に記憶された症例情報は、設置場所、時刻などの様々な条件に応じて抽出された部分データベースを用いてもよい。すなわち、設置場所やユーザなどの条件に応じて類似症例として提示されうる症例情報を切り替えてもよい。さらに、記憶部104に記憶された第一のテーブル情報や第二のテーブル情報も、ユーザ、設置場所、時刻などの条件に応じて入れ替えるようにしてもよい。例えば、CT像などの場合、解像度やスライス厚に応じて第一のテーブル情報41、第二のテーブル情報42を切り替えるようにしてもよい。なお、同時に部分データベースを切り替えるようにしてもよい。この場合は、症例情報は入力となるCT像の解像度やスライス厚と同一の解像度、スライス厚を持つ画像としてもよい。また、たとえば、設置場所により眼科、内科などの診療科の区別がつく場合には、その診療科に応じて、データベース300から抽出された部分データベース、第一のテーブル情報41、第二のテーブル情報42を切り替えるようにしてもよい。
第1実施形態では、検索部114は、データベース300に格納された症例から類似症例を検索していた。しかし、必ずしも外部に接続されたデータベース300から類似症例を検索しなくてもよい。たとえば、データベース300と同等の情報を有する症例情報を記憶部104に保存しておき、検索部114が記憶部104に記憶された症例情報から類似症例を検索するようにしてもよい。また、記憶部104に記憶された症例情報は、設置場所、時刻などの様々な条件に応じて抽出された部分データベースを用いてもよい。すなわち、設置場所やユーザなどの条件に応じて類似症例として提示されうる症例情報を切り替えてもよい。さらに、記憶部104に記憶された第一のテーブル情報や第二のテーブル情報も、ユーザ、設置場所、時刻などの条件に応じて入れ替えるようにしてもよい。例えば、CT像などの場合、解像度やスライス厚に応じて第一のテーブル情報41、第二のテーブル情報42を切り替えるようにしてもよい。なお、同時に部分データベースを切り替えるようにしてもよい。この場合は、症例情報は入力となるCT像の解像度やスライス厚と同一の解像度、スライス厚を持つ画像としてもよい。また、たとえば、設置場所により眼科、内科などの診療科の区別がつく場合には、その診療科に応じて、データベース300から抽出された部分データベース、第一のテーブル情報41、第二のテーブル情報42を切り替えるようにしてもよい。
<第2実施形態>
第1実施形態では、診断対象の医用画像として1枚のOCT像を用いて支援情報を提示していた。一方、光干渉断層計200を用いた検査では、一つの検査において複数の方向からOCT像を撮影し、取得することがある。たとえば、図8(a)に示すように、視神経乳頭801と中心窩802を通るHスキャンの断面像(以下、Hスキャン像)と、中心窩802を通ってHスキャンの断面像に直交するVスキャンの断面像(以下、Vスキャン像)の2つの断面像を取得する場合がある。或いは、図8(b)に示すように、中心窩802を通って所定の角度間隔で複数の断面像を取得する場合がある。
第1実施形態では、診断対象の医用画像として1枚のOCT像を用いて支援情報を提示していた。一方、光干渉断層計200を用いた検査では、一つの検査において複数の方向からOCT像を撮影し、取得することがある。たとえば、図8(a)に示すように、視神経乳頭801と中心窩802を通るHスキャンの断面像(以下、Hスキャン像)と、中心窩802を通ってHスキャンの断面像に直交するVスキャンの断面像(以下、Vスキャン像)の2つの断面像を取得する場合がある。或いは、図8(b)に示すように、中心窩802を通って所定の角度間隔で複数の断面像を取得する場合がある。
第2実施形態における診断支援装置は、複数の方向から撮影された複数の医用画像を取得し、取得した医用画像の画像処理結果を用いて医用画像上に支援情報を提示することにより当該医用画像に関する診断支援を行う。本実施形態では、1つの被検体(眼底)について図8(a)に示すような2つの断面像(Hスキャン像とVスキャン像)を取得する場合を例として説明する。なお、第2施形態における診断支援装置の機能構成は第1実施形態(図1)と同様である。また、診断支援装置100のハードウェア構成も第1実施形態(図2)と同様である。以下、第2実施形態の診断支援装置100が行う診断支援処理について図3のフローチャートを流用して説明する。第2実施形態の診断支援処理は、ほぼ第1実施形態と同様であるが、一部が異なっている。以下、第2実施形態における診断支援装置100が行う診断支援処理について説明する。
ステップS300において、医用画像取得部102は、光干渉断層計200から送信された複数の方向から撮影された複数の医用画像(診断対象の医用画像のセット)と、撮影した医用画像の種類に関する情報と医用画像の部位に関する情報を取得する。なお、撮影した医用画像の種類に関する情報と医用画像の部位に関する情報は、医用画像のセットに対して一つ取得するようにしてもよいし、医用画像のセットに含まれるそれぞれの医用画像について取得するようにしてもよい。以降では、一つの医用画像のセットに対して、医用画像の種類に関する情報と、医用画像の部位に関する情報を一つ取得するものとして説明する。
第1実施形態と同様に、ステップS301において、解析情報取得部106は記憶部104に記憶されている第一のテーブル情報41を参照して、ステップS300で取得された医用画像の種類と部位に関する情報に対応した複数の所見の候補を取得する。また、ステップS302乃至ステップS305の処理は、診断対象の医用画像のセットに含まれる複数の医用画像の夫々に対して処理を行うこと以外は、第1実施形態と同様である。
ステップS306において、検索部114は、ステップS304で該当すると判定した所見をキーとして、データベース300から類似画像を取得する。データベース300には、図5(b)に示されるように、識別子、撮影日、診断名、2つのOCT画像(Hスキャン像とVスキャン像)、眼底画像が関連付けられ、症例として記録されている。このように、データベース300は、1つの被検体部位の複数の方向について取得された複数の医用画像を含む医用画像のセットを所見や診断名と紐づけて、1つの症例として格納している。ステップS301〜S305では、1つの被検体部位の複数の方向について取得された複数の診断用画像のそれぞれについて所見と該所見に対応する画像の位置が取得される。そして、ステップS306において、検索部114は、検出された所見に基づいてデータベース300から類似症例を検索する。
本実施形態では、検索部114は、診断対象の医用画像のセットに含まれる複数の医用画像のうちの一つの医用画像(すなわち、ある一つの方向から撮影された医用画像)において該当すると判定した所見をキーとして、データベース300を検索する。ここで、検索部114は、複数の診断用画像のうちのある方向の診断用画像について検出した所見と、データベース300に格納されている症例に含まれる複数の医用画像のうちのある方向の医用画像に関連付けられた所見との比較により検索を行う。たとえば、データベース300内の、検索元となる医用画像の撮影された方向と同一の方向から撮影された医用画像を検索の対象とする。本実施形態では診断対象のHスキャン像について該当すると判定された所見を用いて類似症例を検索するので、Hスキャン像の所見がキーとして用いられ、データベース300のHスキャン像について検索が行われる。
また、第1実施形態と同様に、検索部114は、検索キーが完全に一致する医用画像を検索するものとする。なお、検索された症例において異なる方向から撮影された複数の医用画像がある場合には、それらが一つの類似症例の医用画像のセットとしてまとめて取得される。このように本実施形態では、検索部114は、診断対象の医用画像のセットに含まれる複数方向の医用画像の一つに存在する所見と方向をキーとしてデータベース300を検索する。そして、検索部114は、検索された医用画像を複数方向の医用画像の一つとして含む症例(医用画像のセット)をデータベース300から取得する。
ステップS307において、表示制御部116は、複数の診断用画像の少なくとも1つを表示させる第1の表示と、検索部114により検索された類似症例に含まれる複数の医用画像の少なくとも一つを表示させる第2の表示を表示部118に表示させる。第1の表示と第2の表示は表示部118において同時に表示されてもよいし、ユーザ操作に応じて切り換えて(交互に)表示されてもよいが、本実施形態では第1と第2の表示を同時に表示するものとする。
具体的には、診断対象の医用画像のセットに含まれる複数の医用画像のうち少なくとも一つを第1実施形態と同様の形態で表示部118に表示させる。また、表示制御部116は、第1実施形態と同様に、検索された類似症例に含まれる医用画像とそれに紐づく診断名の情報を、表示部118に表示させる。但し、第2実施形態では、医用画像のセットを含む症例が検索されるので、症例の医用画像のセットに含まれる複数の医用画像のうちの少なくとも一つが表示されることになる。検索された医用画像の最初の表示では、表示制御部116は、診断対象の医用画像のセットのうち表示対象となっている医用画像と同じ方向の医用画像を、最も高い類似度の類似症例から選択し、これを表示部118に表示させる。
また、本実施形態においても第1実施形態と同様に、類似症例(症例の医用画像のセットとそれに紐づく診断名の情報)をリストで管理し、類似症例リスト920(図9)を表示する。類似症例リスト920の中の一つの症例がステップS300で取得した診断対象の医用画像のセットと対比可能な形で表示される。たとえば、類似症例の画像のセットが異なる方向から撮影された複数の医用画像を有する場合には、そのうちの少なくとも一つの医用画像を対比可能な形で表示する。類似症例リストからの症例の選択に応じて医用画像を表示する場合は、ステップS300で取得した診断対象の医用画像のセットに含まれる医用画像のうち、ステップS307で表示された医用画像と同一の方向から撮影された医用画像が最初に表示される。なお、違う方向から撮影された医用画像を表示するようにしてもよい。
なお、第2実施形態では、ステップS300で取得した診断対象の医用画像のセット、および、類似症例として検索された医用画像のセットのそれぞれから、1つずつの医用画像を選択して、表示する構成を説明する。ただし、診断対象の医用画像のセットや類似症例からの表示対象の医用画像の選択は、診断支援装置100が自動的に行ってもよいし、ユーザ選択によりなされてもよい。ユーザ選択は、たとえばボタンなどのユーザインターフェースを用いたユーザ入力により実現できる。本実施形態でのこのようなユーザインターフェースの実現方法について図9を用いて後述する。
図9は、第2実施形態における、表示部118が表示する表示内容の一例を示した図である。表示部118が表示する表示内容900は、類似症例の医用画像のセットから選択された医用画像であるOCT像910、及び、OCT像910に対応する眼底画像915を含む。眼底画像915にはOCT像の撮影された方向を示す矢印が重畳表示されている。眼底画像915において、水平矢印917はHスキャン像の方向に対応しており、垂直矢印919はVスキャン像の方向に対応している。また、表示内容900は、類似症例リスト920を含む。なお、眼底画像は、図示のように視神経乳頭と中心窩(黄斑部)が水平方向に並ぶように撮影されたものとする。但し、眼底画像から周知の方法により視神経乳頭と中心窩(黄斑部)を抽出し、これらを結ぶ方向をH方向とするようにしてもよい。
さらに、表示内容900は、診断対象の医用画像と同様に、類似症例リスト920から指定された一つの類似症例の医用画像のセットから選択された医用画像であるOCT像930を含む。また、OCT像930には、それに関連付けられている所見と診断名932が重畳表示される。さらに、表示内容900は、OCT像930に対応する眼底画像935を含み、眼底画像935は水平矢印937と垂直矢印939を有する。なお、OCT像910、930に関する所見の重畳表示、及び、類似症例リスト920に対するユーザによる選択の説明は第1実施形態と同様なので省略する。
第2実施形態では、類似症例リスト920から類似症例がユーザにより選択されると、選択された類似症例に含まれる複数の医用画像のうちの一つの医用画像がOCT像930として表示される。また、診断対象の医用画像のセットや、選択された類似症例が有する複数の医用画像のうちOCT像910やOCT像930として表示すべき医用画像を選択するためのユーザインターフェースとして、眼底画像915、935に表示されている矢印が用いられる。
具体的には、ユーザは、眼底画像915に重畳表示された水平矢印917と垂直矢印919のいずれかをたとえばマウスのクリックなどを用いて選択する。すると、表示制御部116は、ユーザにより選択された矢印に対応する方向で撮影された医用画像を診断対象の医用画像のセットから選択し、OCT像910として表示する。同様に、眼底画像935に重畳表示された水平矢印937と垂直矢印939のいずれかの選択に応じて、表示制御部116は、選択されている類似症例から選択された矢印に対応する方向の医用画像を選択し、OCT像930として表示する。
また、眼底画像915、935において、現在選択されている矢印と他の矢印を区別するように表示するのが望ましい。図9の例では実線で表示されている矢印が選択されている矢印であることを示す。すなわち、診断対象の医用画像は垂直矢印919が選択されており、垂直矢印919に対応する方向のOCT像910(Vスキャン像)が表示されている。一方、類似症例リスト920から選択された類似症例については、水平矢印937が選択されており、水平矢印937に対応する方向のOCT像930(Hスキャン像)が表示されている。また、OCT像910、OCT像930には、それぞれの医用画像の撮影方向を示すアイコン940、941が表示されている。なお、初期状態(すなわちユーザ入力による、表示すべき医用画像の方向の選択がなされる前)では、ステップS306で検索に用いた所見が検出された医用画像の撮影方向の医用画像が表示されるものとする。
以上のように、第2実施形態によれば、医用画像が複数の方向から撮影された複数枚の画像からなる場合に、検索対象となっていた方向から撮影された画像だけではなく、他の方向から撮影された画像についても簡易な操作で確認することができる。すなわち、多様な画像を簡易に切り替えて確認できるため、医師の診断に係る負担を軽減させることができる。
(変形例2−1)
第2実施形態ではステップS306において、検索部114は、複数の診断用画像のうちの一つを検索元とし、検索元において該当すると判定された所見の候補をキーとしてデータベース300を検索した。このとき、検索元と同一の方向から撮影された医用画像を検索対象とした。すなわち、第2実施形態では、検索キーとなる所見が検出された医用画像の方向と、データベース300内の検索対象となる医用画像の方向を一致させていた。しかしながら、診断対象の医用画像のセットから検出された所見のうち検索キーとなる所見をどのように選択するか、データベース300内の検索対象とする医用画像をどのように選択するかは上記実施形態に限られるものではない。
第2実施形態ではステップS306において、検索部114は、複数の診断用画像のうちの一つを検索元とし、検索元において該当すると判定された所見の候補をキーとしてデータベース300を検索した。このとき、検索元と同一の方向から撮影された医用画像を検索対象とした。すなわち、第2実施形態では、検索キーとなる所見が検出された医用画像の方向と、データベース300内の検索対象となる医用画像の方向を一致させていた。しかしながら、診断対象の医用画像のセットから検出された所見のうち検索キーとなる所見をどのように選択するか、データベース300内の検索対象とする医用画像をどのように選択するかは上記実施形態に限られるものではない。
たとえば、診断対象の医用画像のセットに含まれる複数の医用画像のうちの2つ以上あるいは全ての方向の医用画像のそれぞれについて検索キーを作成し、それらの方向において類似する医用画像を含む医用画像のセットを取得するようにしてもよい。たとえば、検索元である診断用の医用画像のセットに含まれている複数の医用画像がHスキャン像とVスキャン像である場合を考える。この場合、Hスキャン像とVスキャン像のそれぞれから検出された所見がそれぞれの検索キーとなる。そして、データベース300に存在する画像のうち、検索元のHスキャン像と類似するHスキャン像を持ち、かつ、検索元のVスキャン像と類似するVスキャン像を持つ症例を類似症例として取得するようにしてもよい。
また、上記第2実施形態では、検索元となる医用画像の撮影された方向と、同一の方向から撮影された医用画像を検索の対象としていたが、他の方向から撮影された医用画像を検索の対象に含めてもよい。すなわち、複数の診断用画像のうちの1つの方向の診断用画像について検出した所見と、データベースの各方向の医用画像に関連付けられた所見との比較により検索が行われるようにしてもよい。たとえば、検索元の画像がHスキャン像である場合に、データベース300に存在するVスキャン像の画像を検索対象としてもよい。或いは、検索元の画像がHスキャン像である場合に、データベース300に存在するHスキャン像とVスキャン像の画像を検索対象としてもよい。
さらに、上記第2実施形態において、検索部114は、一つの医用画像において該当すると判定した所見を検索のためのキーとして用いるようにしたが、これに限られるものではない。たとえば、診断対象の医用画像のセットに含まれる複数の医用画像のうち2つ以上あるいは全ての医用画像において該当すると判定した所見のANDやORをとり、その結果を検索キーとして用いるようにしもよい。この場合、検索対象となるデータベース300の各症例についても、複数の医用画像に紐づけられた所見のANDやORをとるようにしてもよい。
<第3実施形態>
上記第1および第2実施形態では、類似症例の検索に所見の有無を用いた。第3実施形態では、これに加えて、臨床情報、所見の量的判定結果を類似症例の検索に用いる例を説明する。第3実施形態における診断支援装置は、診断対象となる医用画像と医用画像の情報(医用画像の種別と部位)、及び臨床情報を取得する。そして、取得した医用画像の画像処理結果を用いて医用画像上に支援情報を提示するとともに、臨床情報や所見の量的判定結果も勘案して取得された類似症例を提示することにより当該医用画像に関する診断支援を行う。
上記第1および第2実施形態では、類似症例の検索に所見の有無を用いた。第3実施形態では、これに加えて、臨床情報、所見の量的判定結果を類似症例の検索に用いる例を説明する。第3実施形態における診断支援装置は、診断対象となる医用画像と医用画像の情報(医用画像の種別と部位)、及び臨床情報を取得する。そして、取得した医用画像の画像処理結果を用いて医用画像上に支援情報を提示するとともに、臨床情報や所見の量的判定結果も勘案して取得された類似症例を提示することにより当該医用画像に関する診断支援を行う。
第3実施形態では、胸部X線CT画像に対し画像処理を行い、画像処理結果を基に所見を同定し、その情報を医用画像上で提示する場合を例として説明する。以下では、診断対象の医用画像が、胸部X線CT画像、且つ、頭尾方向の断面像(いわゆるAxial断層像)が複数枚で構成される3次元医用画像であるものとする。もちろん対象はこれに限定されるものではなく、以下に示す所見等は、何れも診断支援装置の処理の工程を説明するための一例に過ぎない。
図10は、第3実施形態による診断支援装置100の機能構成例を示すブロック図である。第1実施形態(図1)と同様の構成には同一の参照番号が付してある。ただし、診断支援装置100に接続されている機器の構成が異なっている。また、第3実施形態の診断支援装置100のハードウェア構成も第1実施形態(図2)と同様である。即ち、CPU1001が主メモリ1002、磁気ディスク1003に格納されているプログラムを実行することにより、CPU1001が図10に示される各機能部として機能する。以下、第3実施形態による診断支援装置100の機能構成について説明する。図10に示されるように、第3実施形態における診断支援装置100は、PACS400(PACSはPicture Archiving and Communication Systemの略である。)と、電子カルテ500と、データベース300に接続されている。
PACS400には、CR(Computed Radiography)やCT(Computed Tomography)、MRI(Magnetic Resonance Imaging)などといった医用画像撮影装置から受信した画像データが格納されている。そしてPACS400は、診断支援装置100からの要求に応じて、要求に対応する画像データを診断支援装置100へと出力する。この画像データは通常DICOM(Digital Imaging and Communications in Medicine)と呼ばれる共通規格で保存されている。DICOMは、医用画像の画像データ自体を示す情報とDICOMヘッダと呼ばれる医用画像に関する情報を有する。DICOMヘッダには、医用画像の種類に関する情報と、撮影した部位に関する情報が保持されている。すなわち、診断支援装置100は、PACS400から診断対象の医用画像を取得することによって、医用画像と、医用画像の種類に関する情報、撮影した部位に関する情報を取得することができる。
電子カルテ500には、診断対象となる患者の症状に関するデータや、過去の病歴に関する情報、血液検査に関する情報などのデータが格納されている。本明細書では、これらの情報を総称して臨床情報とよぶ。電子カルテ500は、診断支援装置100からの要求に応じて、要求に対応する臨床情報を診断支援装置100へ出力する。当然、診断支援装置100の医用画像取得部102からのPACS400に対する画像データの要求と、電子カルテ500に対する臨床情報の要求は、同一患者に起因するものである。データベース300には医用画像とその画像に対応する診断名と所見、および臨床情報が紐づけられ、症例データとして格納されている。データベース300は、たとえば、図5(a)に示したデータ構成において、各症例にさらに臨床情報が紐づけられたデータ構成を有する。
医用画像取得部102は、PACS400から診断対象の医用画像、撮影した医用画像の種類に関する情報、医用画像の部位に関する情報を取得する。また、医用画像取得部102は、PACS400から取得した医用画像の被写体である患者の臨床情報を電子カルテ500より取得する。医用画像取得部102は、取得した診断用の医用画像を画像処理部108と表示制御部116に供給し、医用画像の種類と部位に関する情報を解析情報取得部106に供給し、臨床情報を検索部114へ供給する。
判定部110は、解析情報取得部106が取得した複数の所見の候補と、画像処理部108が実行した画像処理の結果に基づいて、複数の所見の候補が医用画像に存在するか(すなわち、該当するか)否かを判定する。また、判定部110は、所見が該当すると判定した場合は、量的な判定も併せて行う。そして、判定部110は、判定した結果を位置取得部112及び検索部114へ出力する。
検索部114は、判定部110で該当すると判定された所見および量的な判定と、医用画像取得部102で取得した臨床情報をキーとしてデータベース300を検索し、診断対象の医用画像と類似する症例を取得する。記憶部104、解析情報取得部106、画像処理部108、位置取得部112、表示制御部116、表示部118は、第1実施形態の機能と同様である。以上のような構成を備えた第3実施形態の診断支援装置100が行う診断支援処理について、図3のフローチャートを用いて説明する。
ステップS300において、医用画像取得部102は、PACS400及び電子カルテ500より診断対象の医用画像、撮影した医用画像の種類に関する情報、医用画像の部位に関する情報、および臨床情報を取得する。第3実施形態の例では、医用画像取得部102はPACS400から診断対象の医用画像として胸部X線CT像を取得する。したがって、医用画像の種類に関する情報として「CT」が、医用画像の部位に関する情報として「胸部」が取得される。また、臨床情報としては、胸部に係る情報、たとえば「咳嗽」の有無や、肺に関する病歴、肺がんに係る腫瘍マーカー値(たとえばCYFRA(サイトケラチン19フラグメント))が取得される。
ステップS301乃至ステップ303の処理は第1実施形態における処理と同様である。以下では、具体例を示す。第3実施形態の例では、部位が「胸部」で種類が「CT」なので、ステップS301では解析情報取得部106が第一のテーブル情報41(図4(a))から、気管支透亮像、鋸歯状辺縁、石灰化などの複数の所見の候補を取得する。次いで、ステップS302において、解析情報取得部106は、これらの所見の候補に関連する画像処理のパラメータを第二のテーブル情報42(図4(b))から取得する。図4(b)に示すように所見が「鋸歯状辺縁」で画像の種類が「CT」の場合は、「結節状陰影対象、重心位置から辺縁の距離を計算(角度間隔π/180)」という画像処理のパラメータが取得される。同様に所見が「石灰化」で画像の種類が「CT」の場合は、「結節状陰影対象、CT値:200HU以上を抽出」という画像処理のパラメータが取得される。
第3実施形態においても、ステップS303において画像処理のパラメータを適用する前に、画像処理部108は診断対象の医用画像の全体に対して前処理を行う。具体的には、画像処理部108は、前処理において、等方化、ノイズ除去などの処理の後、肺野の抽出を行うとともに、肺野の中の病変候補を抽出する。肺野の抽出や病変候補の抽出には公知の手法を適用することができる。一例として、肺野の抽出には非特許文献1の技術が、病変候補の抽出には非特許文献2の技術が適用できる。次に、画像処理部108は、複数の所見の候補に対応する画像処理のパラメータに基づいて、診断対象の医用画像に対して画像処理を行う。たとえば、「石灰化」の場合は、前処理によって結節状陰影と推定される領域に対し、CT値が200HU以上である領域を抽出する。
ステップS304において、判定部110は、ステップS302で取得した複数の所見の候補と、ステップS303で実行した画像処理の結果と第二のテーブル情報42から得られる判定基準に基づいて、複数の所見の候補夫々が該当するか否かを判定する。第3実施形態の判定部110は、さらに、所見が該当すると判定した場合に量的な判定を併せて行う。
以下、「石灰化」を例に挙げて説明する。まず、判定部110は、画像処理部108において石灰化のパラメータによって抽出された領域が3次元的に9画素以上連続している場合に、「石灰化」が該当すると判定する。次に、結節状陰影と推定された領域の体積と、「石灰化」が該当するとされた領域の体積を基に、「石灰化」が占める割合を計算し、割合を基に量的な判定を行う。このような量的な判定は、割合の数値そのもので保持されてもよいし、たとえば割合が0.5以上ならば「強」と判定するなど離散的な判定で保持されてもよい。また、内部では数値として保持し、表示の際に数値から離散的な判定を生成し、出力するようにしてもよい。本実施形態では、量的な判定は数値として保持し、表示の最に離散的な判定を生成するものとする。なお、複数の所見の候補の量的な判定に係る数値はすべて正の値を取るものとする。むろん、負の値を取るものが量的な判定に使えないわけではなく、正の値を取るように値を変換すればよい。
ステップS305において、位置取得部112は、ステップS303で実行した画像処理の結果と、ステップS304で該当すると判定した所見の候補に基づいて、所見に対応する医用画像の位置を示す情報を取得する。この処理は第1実施形態と同様である。
ステップS306において、検索部114は、ステップS304で該当すると判定した所見及び量的な判定と、ステップS300で取得した臨床情報をキーとして、データベース300から類似画像を取得する。すなわち、第3実施形態では、所見に、ステップS300で取得された臨床情報を加味するとともに、ステップS304で取得した量的な判定を加味して類似度を計算し、計算した類似度を基に類似画像を取得する。なお、この類似度の計算において、該当しないと判定された所見の量的な判定の数値は0とする。また、臨床情報のうち、咳嗽や病歴などのように離散的な値を取る場合は、疑似的に数値を割り当てるものとする。たとえば、咳嗽は「ある」か「ない」の2値を取るので、「ある」場合には1を「ない」場合には0を割り当てる。あるいは3値をとるような場合には0、1、2を割り当てればよい。そして、所見と臨床情報の両方を用いたマハラノビス距離により類似度を定義する。マハラノビス距離では0に近いほど2つの画像が類似していることを示す。
なお、データベース300に記録されている症例の所見の量的判定結果は、その症例に含まれる医用画像と所見から算出されてもよいし、あらかじめデータベース300に登録されていてもよい。ステップS307において、表示制御部116は、表示部118に表示させる内容を制御する。ステップS307の処理は第1実施形態における処理と同様である。
図11は、表示制御部116が表示部118に表示させる表示内容の一例を示したものである。表示内容1100は、診断対象の医用画像であるCT像1110、CT像1110内の病変候補1114、及び、病変候補の拡大表示1115を含む。また、表示内容1100では、類似症例リスト1120が表示されており、さらに、そのリストの中の一つの症例(ここでは、マハラノビス距離による類似度が最も高い症例)の医用画像であるCT像1130とその診断名1132が表示されている。また、CT像1130内の病変候補1134、及び、病変候補の拡大表示1135を有する。
CT像1110、1130に重畳表示された病変候補1114、1134の大きさはCT像全体のサイズに比べて小さい。そこで、表示制御部116は、重畳表示された内容(病変候補)をユーザが確認しやすいように、病変候補の拡大表示1115、1135を別途表示するようにしている。本実施形態では、病変候補の拡大表示1115、1135において、予め設定されている表示規則に従って、該当すると判定された所見の情報を所見の位置を示す情報に基づいて表示する。また、たとえば、所見の情報を表示する場合は、「石灰化(弱)」のように、該当すると判定した所見の量的な判定結果を離散的な判定を用いて表示する。
以上のように第3実施形態によれば、診断支援装置100は、医用画像が複数の断層画像からなる3次元医用画像であっても、医師は医用画像上で該当すると判定された所見とその位置、および、類似画像に紐づいた診断名を確認することができる。これにより、医師は現在対象としている医用画像の状態と、類似した症例の診断名を閲覧可能となるため、診断に係る負担を軽減させることができる。
(変形例3−1)
第3実施形態では、ステップS306において所見と臨床情報を統合した情報を用いて類似度を計算していた。しかし、例えば所見と臨床情報夫々の類似度を計算し、両者を統合した類似度を基に類似画像を取得するようにしてもよい。この場合、所見の類似度と臨床情報の類似度は異なる方法で計算してもよい。例えば、所見の類似度はマハラノビス距離で計算し、臨床情報の類似度はコサイン類似度で計算してもよい。この場合、全体の類似度をSa、所見の類似度をSf、臨床情報の類似度をScとすると、全体の類似度Saは、例えば次式で定義できる。
第3実施形態では、ステップS306において所見と臨床情報を統合した情報を用いて類似度を計算していた。しかし、例えば所見と臨床情報夫々の類似度を計算し、両者を統合した類似度を基に類似画像を取得するようにしてもよい。この場合、所見の類似度と臨床情報の類似度は異なる方法で計算してもよい。例えば、所見の類似度はマハラノビス距離で計算し、臨床情報の類似度はコサイン類似度で計算してもよい。この場合、全体の類似度をSa、所見の類似度をSf、臨床情報の類似度をScとすると、全体の類似度Saは、例えば次式で定義できる。
Sa=(1−α)Sf+α(1−Sc) (2)
上式において、α(0≦α≦1)は所見の類似度と臨床情報の類似度のどちらかを重視するかを決める係数である。すなわち、αが0に近いほど所見の類似度を重視し、1に近いほど臨床情報の類似度を重視する。また、Sfは0に近いほど類似していることを示し、(1−Sc)も0に近いほど類似していることを示すため、Saは0に近いほど類似していることを示す。もちろん、両者を統合した類似度計算は他の方法であってもよい。
上式において、α(0≦α≦1)は所見の類似度と臨床情報の類似度のどちらかを重視するかを決める係数である。すなわち、αが0に近いほど所見の類似度を重視し、1に近いほど臨床情報の類似度を重視する。また、Sfは0に近いほど類似していることを示し、(1−Sc)も0に近いほど類似していることを示すため、Saは0に近いほど類似していることを示す。もちろん、両者を統合した類似度計算は他の方法であってもよい。
(変形例3−2)
第3実施形態では、ステップS307において表示部118が表示する表示内容として、CT像内の病変候補の拡大表示中に、該当すると判定された全ての所見の情報を重畳表示していたがこれに限られるものではない。たとえば、病変候補の拡大表示の拡大率をユーザが任意に指定できるようにしておき、指定された拡大率に応じて重畳表示する所見の情報を変更するようにしてもよい。より具体的には、指定された拡大率で確認可能と判断された所見の情報のみを提示するようにしてもよい。指定された拡大率で確認可能か否かの判定は、所見の該当領域の大きさ(面積)と拡大率の関係に基づいて行うことができる。たとえば、所見の該当領域の大きさに拡大率を乗じた結果が、所定の面積値より大きくなった所見を拡大表示への重畳表示の対象とすればよい。
第3実施形態では、ステップS307において表示部118が表示する表示内容として、CT像内の病変候補の拡大表示中に、該当すると判定された全ての所見の情報を重畳表示していたがこれに限られるものではない。たとえば、病変候補の拡大表示の拡大率をユーザが任意に指定できるようにしておき、指定された拡大率に応じて重畳表示する所見の情報を変更するようにしてもよい。より具体的には、指定された拡大率で確認可能と判断された所見の情報のみを提示するようにしてもよい。指定された拡大率で確認可能か否かの判定は、所見の該当領域の大きさ(面積)と拡大率の関係に基づいて行うことができる。たとえば、所見の該当領域の大きさに拡大率を乗じた結果が、所定の面積値より大きくなった所見を拡大表示への重畳表示の対象とすればよい。
<その他の実施形態>
これらの全ての機能、または、一部の機能はネットワーク上に置かれていてもよい。この場合、表示機能または一部の機能のみをローカル側で動作させる、サーバ・クライアント型の構成となっていてもよい。また例えば、診断支援装置100を、タッチパネルを有するタブレット型の電子計算機(タブレットPC)により実装してもよい。あるいは、タッチパネルを有するモニタと、当該モニタのHDMI(登録商標)端子に接続する電子計算機(スティック型PC)で診断支援装置100を構成してもよい。
これらの全ての機能、または、一部の機能はネットワーク上に置かれていてもよい。この場合、表示機能または一部の機能のみをローカル側で動作させる、サーバ・クライアント型の構成となっていてもよい。また例えば、診断支援装置100を、タッチパネルを有するタブレット型の電子計算機(タブレットPC)により実装してもよい。あるいは、タッチパネルを有するモニタと、当該モニタのHDMI(登録商標)端子に接続する電子計算機(スティック型PC)で診断支援装置100を構成してもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(たとえば、ASIC)によっても実現可能である。
100:診断支援装置、102:医用画像取得部、104:解析情報取得部、106:記憶部、108:画像処理部、110:判定部、112:位置取得部、114:検索部、116:表示制御部、118:表示部、200:光干渉断層計、300:データベース
上記の目的を達成するための本発明の一態様による診断支援装置は、以下の構成を備える。すなわち、
診断対象の医用画像である診断用画像から、所見と該所見の前記診断用画像における位置を検出する検出手段と、
所見および診断名と紐づけて複数の医用画像を記憶しているデータベースから、前記検出手段により検出された所見を用いて医用画像を検索する検索手段と
前記診断用画像を、前記検出手段により検出された所見と該所見の前記診断用画像における位置を示す表示とともに表示部に表示させる第1の表示と、前記検索手段により検索された医用画像を該医用画像に対応付けられている診断名とともに前記表示部に表示させる第2の表示とを同時または切り換えにより行う表示制御手段と、を備える。
診断対象の医用画像である診断用画像から、所見と該所見の前記診断用画像における位置を検出する検出手段と、
所見および診断名と紐づけて複数の医用画像を記憶しているデータベースから、前記検出手段により検出された所見を用いて医用画像を検索する検索手段と
前記診断用画像を、前記検出手段により検出された所見と該所見の前記診断用画像における位置を示す表示とともに表示部に表示させる第1の表示と、前記検索手段により検索された医用画像を該医用画像に対応付けられている診断名とともに前記表示部に表示させる第2の表示とを同時または切り換えにより行う表示制御手段と、を備える。
Claims (17)
- 診断対象の医用画像である診断用画像から、所見と該所見に対応する画像の位置を検出する検出手段と、
所見および診断名と紐づけて複数の医用画像を記憶しているデータベースを、前記検出手段により検出された所見を用いて検索する検索手段と
前記診断用画像を、前記検出手段により検出された所見と該所見に対応する画像の位置を示す表示とともに表示部に表示させる第1の表示と、前記検索手段により検索された医用画像を該医用画像に対応付けられている診断名とともに前記表示部に表示させる第2の表示とを同時または切り換えにより行う表示制御手段と、を備えることを特徴とする診断支援装置。 - 前記第2の表示では、前記検索された医用画像を該医用画像に対応付けられている所見と該所見の位置とを示す表示とともに表示することを特徴とする請求項1に記載の診断支援装置。
- 前記表示制御手段は、前記検索された医用画像のリストを前記表示部に表示させることを特徴とする請求項1または2に記載の診断支援装置。
- 前記第2の表示では、ユーザによる前記リストからの医用画像の選択を受け付け、選択された医用画像を該医用画像に対応付けられている診断名とともに表示することを特徴とする請求項3に記載の診断支援装置。
- 前記検出手段は、
医用画像に含まれる被検体の部位または医用画像の種類と所見の候補とを関連付けた第一のテーブル情報を参照して、前記診断用画像に関連する所見の候補を取得する取得手段と、
前記取得手段で取得された所見の候補のうち、前記診断用画像に存在する所見を判定する判定手段と、を備えることを特徴とする請求項1乃至4のいずれか1項に記載の診断支援装置。 - 前記判定手段は、
所見の候補と該所見の候補を検出するための画像処理のパラメータとを関連付けた第二のテーブル情報を参照して、前記取得手段により取得された所見の候補のそれぞれに対応するパラメータを取得し、
取得されたパラメータを用いて前記診断用画像を処理することにより、前記所見の候補のそれぞれについて前記診断用画像に存在するか否かを判定する、ことを特徴とする請求項5に記載の診断支援装置。 - 前記データベースは、1つの被検体部位の複数の方向について取得された複数の医用画像を含む画像のセットを所見および診断名と紐づけて格納し、
前記検出手段は、1つの被検体部位の複数の方向について取得された複数の診断用画像の少なくとも1つについて所見と該所見に対応する画像の位置を検出し、
前記検索手段は、前記検出手段で検出された所見に基づいて前記データベースから画像のセットを検索し、
前記表示制御手段は、前記第1の表示では、前記複数の診断用画像の少なくとも1つを表示させ、前記第2の表示では、前記検索手段で検索された画像のセットに含まれる少なくとも一つの医用画像を表示させることを特徴とする請求項1乃至6のいずれか1項に記載の診断支援装置。 - 前記検索手段は、前記複数の診断用画像のうちの1つの診断用画像について検出した所見と、前記画像のセットに含まれる複数の医用画像のうちの前記1つの診断用画像の方向に対応する医用画像に関連付けられた所見との比較により検索を行うことを特徴とする請求項7に記載の診断支援装置。
- 前記検索手段は、前記複数の診断用画像のうちの1つの方向の診断用画像について検出した所見と、前記データベースに格納された各方向の医用画像に関連付けられた所見との比較により検索を行うことを特徴とする請求項7に記載の診断支援装置。
- 前記検索手段は、前記複数の診断用画像のそれぞれについて検出した所見と、前記画像のセットに含まれる複数の医用画像のそれぞれに関連付けられた所見との比較により検索を行うことを特徴とする請求項7に記載の診断支援装置。
- 前記検索手段は、前記診断用画像に関連付けられた臨床情報、または前記診断用画像の被検体に関連付けられた臨床情報を用いて検索することを特徴とする、請求項1乃至9のいずれか1項に記載の診断支援装置。
- 前記検索手段は、前記診断用画像の被検体の電子カルテから前記臨床情報を取得することを特徴とする請求項11に記載の診断支援装置。
- 前記検出手段は、前記診断用画像に存在すると判定された所見について量的な判定を行い、
前記検索手段は、前記検出手段により検出された所見についての量的な判定の結果をさらに用いて前記データベースを検索することを特徴とする請求項1乃至12のいずれか1項に記載の診断支援装置。 - 前記表示部は前記診断対象の画像または前記検索された医用画像をユーザにより指定された拡大率で拡大表示し、前記検出手段により検出された所見のうち、前記拡大率により所定の面積値を超える所見を前記拡大表示に表示することを特徴とする、請求項1乃至13のいずれか1項に記載の診断支援装置。
- 前記データベースから条件に基づいて抽出された部分データベースを記憶する記憶手段をさらに備え、
前記検索手段は、前記記憶手段に記憶されている前記部分データベースを検索することを特徴とする請求項1乃至14のいずれか1項に記載の診断支援装置。 - 診断対象の医用画像である診断用画像から、所見と該所見に対応する画像の位置を検出する検出工程と、
所見および診断名と紐づけて複数の医用画像を記憶しているデータベースを、前記検出工程で検出された所見を用いて検索する検索工程と
前記診断用画像を、前記検出工程で検出された所見と該所見に対応する画像の位置を示す表示とともに表示部に表示させる第1の表示と、前記検索工程で検索された医用画像を該医用画像に対応付けられている診断名とともに前記表示部に表示させる第2の表示とを同時または切り換えにより行う表示制御工程と、を有することを特徴とする診断支援装置の制御方法。 - コンピュータを、請求項1乃至15のいずれか1項に記載された診断支援装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015099514A JP6074455B2 (ja) | 2015-05-14 | 2015-05-14 | 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム |
US15/137,084 US10950204B2 (en) | 2015-05-14 | 2016-04-25 | Diagnosis support apparatus and diagnosis support method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015099514A JP6074455B2 (ja) | 2015-05-14 | 2015-05-14 | 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017002840A Division JP6755192B2 (ja) | 2017-01-11 | 2017-01-11 | 診断支援装置および診断支援装置の作動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016214324A true JP2016214324A (ja) | 2016-12-22 |
JP6074455B2 JP6074455B2 (ja) | 2017-02-01 |
Family
ID=57277158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015099514A Active JP6074455B2 (ja) | 2015-05-14 | 2015-05-14 | 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10950204B2 (ja) |
JP (1) | JP6074455B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017099907A (ja) * | 2017-01-11 | 2017-06-08 | キヤノン株式会社 | 診断支援装置および診断支援方法 |
JP2018121886A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、および画像処理プログラム |
WO2018143180A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、および画像処理プログラム |
JP2018121885A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、画像処理システム、および画像処理プログラム |
JP2019082881A (ja) * | 2017-10-31 | 2019-05-30 | 富士フイルム株式会社 | 画像検索装置、方法およびプログラム |
JPWO2018181714A1 (ja) * | 2017-03-31 | 2020-02-06 | 株式会社ニデック | 眼科情報処理システム |
US10832409B2 (en) | 2017-09-01 | 2020-11-10 | Fujitsu Limited | Diagnosis support method, diagnosis support apparatus, and non-transitory computer-readable storage medium |
US10950204B2 (en) | 2015-05-14 | 2021-03-16 | Canon Kabushiki Kaisha | Diagnosis support apparatus and diagnosis support method |
JP7409211B2 (ja) | 2020-04-20 | 2024-01-09 | 富士通株式会社 | 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6397277B2 (ja) | 2014-09-05 | 2018-09-26 | キヤノン株式会社 | 読影レポート作成のための支援装置およびその制御方法 |
US10558783B2 (en) * | 2015-10-30 | 2020-02-11 | Medstreaming, Inc. | Image data ingestion application of a medical imaging data processing and retrieval system |
KR102656542B1 (ko) * | 2015-12-22 | 2024-04-12 | 삼성메디슨 주식회사 | 초음파 영상들을 디스플레이하는 방법 및 장치. |
CN109101420A (zh) * | 2018-07-20 | 2018-12-28 | 中国邮政储蓄银行股份有限公司 | 确定测试策略的方法、装置及***、计算机终端 |
EP3881751A4 (en) * | 2018-11-14 | 2021-12-15 | FUJIFILM Corporation | MEDICAL IMAGE PROCESSING SYSTEM |
US10912459B1 (en) * | 2020-05-08 | 2021-02-09 | Neekon Saadat | System and method for detection of ocular structures |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189179A (ja) * | 2001-12-14 | 2003-07-04 | Konica Corp | 異常陰影検出装置および画像出力装置 |
JP2011118543A (ja) * | 2009-12-01 | 2011-06-16 | Shizuoka Prefecture | 症例画像検索装置、方法およびプログラム |
JP2014059892A (ja) * | 2013-11-05 | 2014-04-03 | Canon Inc | 医用情報処理装置、医用情報処理方法、及びプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5779634A (en) * | 1991-05-10 | 1998-07-14 | Kabushiki Kaisha Toshiba | Medical information processing system for supporting diagnosis |
JP2004005364A (ja) * | 2002-04-03 | 2004-01-08 | Fuji Photo Film Co Ltd | 類似画像検索システム |
JP4976164B2 (ja) * | 2007-03-02 | 2012-07-18 | 富士フイルム株式会社 | 類似症例検索装置、方法、およびプログラム |
JP5128161B2 (ja) * | 2007-03-30 | 2013-01-23 | 富士フイルム株式会社 | 画像診断支援装置及びシステム |
JP2009039221A (ja) | 2007-08-07 | 2009-02-26 | Fujifilm Corp | 医用画像処理システム、医用画像処理方法、及びプログラム |
JP2010000133A (ja) | 2008-06-18 | 2010-01-07 | Konica Minolta Medical & Graphic Inc | 画像表示装置、画像表示方法及びプログラム |
JP5173700B2 (ja) * | 2008-09-25 | 2013-04-03 | キヤノン株式会社 | データ検索装置およびその制御方法、データ検索システム |
JP2009059381A (ja) | 2008-11-07 | 2009-03-19 | Fujifilm Corp | 医療診断支援方法および装置並びに診断支援情報記録媒体 |
JP5517524B2 (ja) | 2009-08-10 | 2014-06-11 | キヤノン株式会社 | 医療診断支援装置、医療診断支援装置の制御方法およびプログラム |
JP5340204B2 (ja) | 2010-03-01 | 2013-11-13 | キヤノン株式会社 | 推論装置、その制御方法およびプログラム |
JP5728212B2 (ja) | 2010-11-30 | 2015-06-03 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、およびプログラム |
EP2506173B1 (en) | 2011-03-28 | 2020-01-01 | Canon Kabushiki Kaisha | Medical diagnosis support apparatus and medical diagnosis support method |
JP4979842B1 (ja) * | 2011-06-30 | 2012-07-18 | パナソニック株式会社 | 類似症例検索装置および類似症例検索方法 |
WO2013001678A1 (ja) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 |
WO2013076927A1 (ja) * | 2011-11-24 | 2013-05-30 | パナソニック株式会社 | 診断支援装置および診断支援方法 |
JP5967968B2 (ja) | 2012-02-14 | 2016-08-10 | キヤノン株式会社 | 医療診断支援システム、医療診断支援装置、情報処理方法、及びプログラム |
JP6214887B2 (ja) * | 2012-03-12 | 2017-10-18 | 東芝メディカルシステムズ株式会社 | レポート作成支援装置及びレポート閲覧装置 |
JP6061555B2 (ja) | 2012-08-27 | 2017-01-18 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
WO2015015698A1 (ja) * | 2013-08-01 | 2015-02-05 | パナソニック株式会社 | 病変判定装置、類似症例検索装置、病変判定方法、類似症例検索方法、およびプログラム |
KR102273831B1 (ko) * | 2014-01-07 | 2021-07-07 | 삼성메디슨 주식회사 | 의료 영상을 디스플레이 하는 방법 및 그 의료 영상 장치 |
US10248759B2 (en) * | 2015-03-13 | 2019-04-02 | Konica Minolta Laboratory U.S.A., Inc. | Medical imaging reference retrieval and report generation |
JP6074455B2 (ja) | 2015-05-14 | 2017-02-01 | キヤノン株式会社 | 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム |
-
2015
- 2015-05-14 JP JP2015099514A patent/JP6074455B2/ja active Active
-
2016
- 2016-04-25 US US15/137,084 patent/US10950204B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003189179A (ja) * | 2001-12-14 | 2003-07-04 | Konica Corp | 異常陰影検出装置および画像出力装置 |
JP2011118543A (ja) * | 2009-12-01 | 2011-06-16 | Shizuoka Prefecture | 症例画像検索装置、方法およびプログラム |
JP2014059892A (ja) * | 2013-11-05 | 2014-04-03 | Canon Inc | 医用情報処理装置、医用情報処理方法、及びプログラム |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10950204B2 (en) | 2015-05-14 | 2021-03-16 | Canon Kabushiki Kaisha | Diagnosis support apparatus and diagnosis support method |
JP2017099907A (ja) * | 2017-01-11 | 2017-06-08 | キヤノン株式会社 | 診断支援装置および診断支援方法 |
JP2018121886A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、および画像処理プログラム |
WO2018143180A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、および画像処理プログラム |
JP2018121885A (ja) * | 2017-01-31 | 2018-08-09 | 株式会社ニデック | 画像処理装置、画像処理システム、および画像処理プログラム |
US11357398B2 (en) | 2017-01-31 | 2022-06-14 | Nidek Co., Ltd. | Image processing device and non-transitory computer-readable recording medium |
JPWO2018181714A1 (ja) * | 2017-03-31 | 2020-02-06 | 株式会社ニデック | 眼科情報処理システム |
JP7230800B2 (ja) | 2017-03-31 | 2023-03-01 | 株式会社ニデック | 眼科情報処理システム |
US10832409B2 (en) | 2017-09-01 | 2020-11-10 | Fujitsu Limited | Diagnosis support method, diagnosis support apparatus, and non-transitory computer-readable storage medium |
JP2019082881A (ja) * | 2017-10-31 | 2019-05-30 | 富士フイルム株式会社 | 画像検索装置、方法およびプログラム |
JP7409211B2 (ja) | 2020-04-20 | 2024-01-09 | 富士通株式会社 | 類似症例検索プログラム、類似症例検索方法及び類似症例検索システム |
Also Published As
Publication number | Publication date |
---|---|
US10950204B2 (en) | 2021-03-16 |
US20160335394A1 (en) | 2016-11-17 |
JP6074455B2 (ja) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6074455B2 (ja) | 診断支援装置、診断支援装置の制御方法、プログラム、及び診断支援システム | |
JP6755192B2 (ja) | 診断支援装置および診断支援装置の作動方法 | |
US10349826B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5383431B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4911029B2 (ja) | 異常陰影候補検出方法、異常陰影候補検出装置 | |
JP6027065B2 (ja) | 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム | |
JP2014039852A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6230708B2 (ja) | 撮像データセットの間の所見のマッチング | |
JP2007151645A (ja) | 医用画像診断支援システム | |
WO2019193982A1 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
JP2016202721A (ja) | 医用画像表示装置及びプログラム | |
JP6743588B2 (ja) | 医用画像システム及びプログラム | |
JP2011103095A (ja) | 医用画像表示システム及びプログラム | |
US11984207B2 (en) | Medical document creation support apparatus, method, and program | |
JP5556674B2 (ja) | 医用画像表示装置及びプログラム | |
JP6825058B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012143368A (ja) | 医用画像表示装置及びプログラム | |
JP2020174861A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2010026791A1 (ja) | 画像診断支援装置 | |
US20180121813A1 (en) | Non-leading computer aided detection of features of interest in imagery | |
US20210042924A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
JP5533198B2 (ja) | 医用画像表示装置及びプログラム | |
JP6862286B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP2011101759A (ja) | 医用画像表示システム及びプログラム | |
US11557039B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and non-transitory computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170106 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6074455 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |