JP6595193B2 - 読影レポート作成装置および読影レポート作成システム - Google Patents

読影レポート作成装置および読影レポート作成システム Download PDF

Info

Publication number
JP6595193B2
JP6595193B2 JP2015037171A JP2015037171A JP6595193B2 JP 6595193 B2 JP6595193 B2 JP 6595193B2 JP 2015037171 A JP2015037171 A JP 2015037171A JP 2015037171 A JP2015037171 A JP 2015037171A JP 6595193 B2 JP6595193 B2 JP 6595193B2
Authority
JP
Japan
Prior art keywords
local structure
image
key image
interpretation report
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015037171A
Other languages
English (en)
Other versions
JP2015187845A (ja
Inventor
泰輔 岩村
弘祐 坂上
昌史 吉田
茂如 石井
智 池田
仁 山形
高 増沢
直樹 杉山
宗泰 数野
陽介 大久保
裕之 山崎
純 河上
誉史 近藤
グアン イ オン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2015037171A priority Critical patent/JP6595193B2/ja
Publication of JP2015187845A publication Critical patent/JP2015187845A/ja
Application granted granted Critical
Publication of JP6595193B2 publication Critical patent/JP6595193B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945User interactive design; Environments; Toolboxes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/031Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Quality & Reliability (AREA)

Description

本発明の一態様としての実施形態は、読影レポート作成装置および読影レポート作成システムに関する。
画像診断において使用される各種検査装置(以下、モダリティ装置と呼ぶ)は、低侵襲に体内の検査を行うことができるため、現在の医療において不可欠である。モダリティ装置の高性能化により解像度の高い良質な画像を取得できるようになり、正確かつ精密な検査が画像診断において可能となった。たとえば、X線CT(Computed Tomography)装置は、被検体の内部組織の3次元情報を高解像度で取得することができ、MRI(Magnetic Resonance Imaging)装置は、造影剤が入っていない新鮮な血液をMRIで画像化する非造影血管撮像法(MRA:MR Angiography)など、モダリティ装置ごとに様々な撮像方法がある。また、医用画像のデジタル化が進み、電子ネットワークを介して医師からの検査依頼を処理するオーダリングシステムである病院システム(HIS:Hospital Information System)、または放射線科情報システム(RIS:Radiology Information System)や、モダリティ装置で取得された画像を電子データとして蓄積する医用画像一元管理システム(PACS:Picture Archiving and Communication Systems)などが発展してきている。
このように、モダリティ装置の発展により生体内を容易にかつ詳細に観察することが可能となった。一方、取得可能なデータ量は膨大になり、多くのモダリティ装置では、複数の画像から構成されるボリュームデータの形式でデータが取得される。ボリュームデータのデータ量は、全身を撮像した場合数千枚にもおよび、これらのデータを用いて読影を行い、診断を下す読影医等の負担が大きくなっている。読影は病気の診断や、治療方針を決定するために重要な作業であり、早期発見が望まれる中、大量の医用画像を分析し、早期に判断を下すことは容易ではない。そこで、画像診断を支援する発明として、セグメンテーション技術などを用いて解剖学的な部位を特定し、異常のある領域とその悪性度を判定する医用画像処理装置(たとえば、特許文献1等)や、脊椎など周期性を持った構造物により、異なる2つの検査において取得された画像の位置対応関係を決定する画像解析装置(たとえば、特許文献2等)が提供されている。
また、読影および診断には正確性が求められ、質の高い診断を下すためには、取得した医用画像について、異常部位や治療部位を的確に把握する必要がある。しかしながら、解剖学的な部位を医用画像から読み取ることは熟練の技術や知識が必要である。そこで、人体の解剖学的位置を、数学的手法を用いて表現、構築する技術の提供や研究が行われている。
解剖学的位置とは、医用画像を理解するうえで重要な役割を担う人体の特徴的な局所構造(以下、局所構造と呼ぶ)の位置ことであり、人体を解剖学的にマッピングする際の目印となる。たとえば、頭部においては、第1頚椎(頚椎I)の前弓(結節)が、胸部においては気管分岐部が、腹部においては右腎上極等が、局所構造に該当する。この局所構造の位置(解剖学的位置)は、一般的な画像解析、パターン認識技術などにより、X線CT装置やMRI装置などのモダリティ装置で取得した医用画像から自動検出される。
特許第5197029号公報 特許第5138431号公報
読影医等は、読影の結果として読影レポートを作成する。読影レポートには読影により発見した異常について、その異常が確認された解剖学的部位とその異常の態様とを所見として記録する。また、読影レポートの作成には、所見がみられる代表的な画像(以下、キー画像という)を選択し、キー画像の特定の注目箇所に目印(以下、アノテーションという)を付ける作業が必要である。
このような読影レポート作成作業を、読影者は健康診断などでは数百人単位の診断者に対して実施しなければならない。また、X線CTやMRIなどで取得される医用画像データの中には、1回の撮像で1人当たり数百枚、数千枚もの大量の画像データが取得される場合があり、大量の医用画像データの中から、キー画像となり得る画像を選択し、選択したキー画像の所見を入力して読影レポートを作成しなければならない。このような読影レポートの作成は画像診断における負荷の大きな要因となっている。
そこで、上述の局所構造の位置(解剖学的位置)を用いて、選択したキー画像から所見の候補部位をリストアップすることで、読影レポートの作成を支援する読影レポート作成装置が要望されている。
本実施形態に係る読影レポート作成装置は、所見を含みキー画像に関連付けられた読影レポートを作成する読影レポート作成装置であって、医用画像を構成する複数の画像の中から1つまたは複数の画像を前記キー画像として選択するキー画像選択部と、人体の特徴的な局所構造の位置を、前記医用画像から検出する位置検出部と、前記キー画像または前記キー画像の周辺にある前記局所構造を特定し、特定した前記局所構造の情報を第1の局所構造情報として生成する第1の局所構造情報生成部と、前記所見の入力欄に記載する候補として前記第1の局所構造情報を表示する表示部と、を備えたものである。
実施形態に係る読影レポート作成装置の一例を示す概念的な構成図。 実施形態に係る読影レポート作成装置の第1の実施形態の機能構成例を示す機能ブロック図。 実施形態に係る読影レポート作成装置の第1の実施形態の動作の一例を示すフローチャート。 解剖学的位置の抽出方法を説明する図。 局所構造の種類を説明する図。 解剖学的位置のデータを説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態におけるキー画像の選択を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態における添付キー画像のキー画像局所構造リストの生成を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態における添付キー画像と解剖学的位置の距離を算出する起点となる座標を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態における距離の算出方法を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態におけるキー画像局所構造リストの表示例を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態におけるキー画像局所構造リストから選択した局所構造が所見に表示された例を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態におけるキー画像局所構造リストのその他の表示例を説明する図。 実施形態に係る読影レポート作成装置の第1の実施形態におけるキー画像局所構造リストのその他の表示例を説明する図。 実施形態に係る読影レポート作成装置の第2の実施形態の機能構成例を示す機能ブロック図。 実施形態に係る読影レポート作成装置の第2の実施形態の動作の一例を示すフローチャート。 実施形態に係る読影レポート作成装置の第2の実施形態の所見を説明する図。 実施形態に係る読影レポート作成装置の第2の実施形態におけるキー画像の判定を説明する図。 実施形態に係る読影レポート作成装置の第3の実施形態の機能構成例を示す機能ブロック図。 第3実施形態に係る読影レポート作成装置の絞り込み条件を入力するための画面の第1の表示例を説明する図。 第3実施形態に係る読影レポート作成装置の絞り込み条件を入力するための画面の第2の表示例を説明する図。 参照レポートをサムネイル表示する場合の一例を示す説明図。 第3実施形態に係る読影レポート作成装置の参考情報表示の表示例を説明するための図。
以下、読影レポート作成装置の実施の形態について添付図面を参照して説明する。
(全体構成)
図1は、実施形態に係る読影レポート作成装置100の一例を示す概念的な構成図である。本実施形態に係る読影レポート生成装置100は、各種モダリティの画像処理装置、画像解析ワークステーションその他の一機能として実現されてもよい。
図1に示すように、読影レポート作成装置100は、通信制御装置10、記憶部20、主制御部30、表示部40、入力部50を備えた構成である。通信制御装置10を介して電子ネットワーク経由で医用画像一元管理サーバ200、モダリティ装置300、および、HIS/RIS400と接続している。通信制御装置10は、ネットワーク形態に応じた種々の通信プロトコルを実装する。ここで、電子ネットワークとは、電気通信技術を利用した情報通信網全体を意味し、病院基幹LAN、無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバー通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。読影レポート作成装置100は医用画像一元管理サーバ200または、モダリティ装置300から検査データを電子ネットワーク経由で取得する。
なお、医用画像一元管理サーバ200、HIS/RIS400、読影レポート作成装置100は、クラウド上の読影レポート作成システムとして構成されていてもよい。この場合、読影レポート作成システムの読影レポート作成装置100は、たとえば医用画像一元管理サーバ200やモダリティ装置300からネットワークを介して医用画像を取得することができる。
モダリティ装置300には、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置あるいは、超音波診断装置などの各種モダリティ装置が含まれる。読影レポート作成装置100に入力されるデータは複数のスライス画像から構成されたボリュームデータである。
また、読影レポート作成装置100は、HIS/RIS400と接続している。HIS/RIS400は、検査オーダと呼ばれる医師等が作成した検査依頼等を処理するシステムである。HIS/RIS400からは患者を一意に特定するための患者ID、または、患者名、患者の性別や体格などの患者情報や、治療内容、検査種類、検査目的、モダリティ装置種別などの検査依頼を電子ネットワーク経由で取得できる。治療内容には、たとえば、患者に対して処方した薬剤や治療の種類、既往歴などが含まれる。
記憶部20に格納されたプログラムが、主制御部30によって実行されることで、取得したボリュームデータについて局所構造の位置(解剖学的位置)の検出や、読影レポートの作成におけるキー画像の選択や、所見の入力候補となる局所構造の抽出などが行われる。なお、以下の説明では、医用画像から検出した局所構造の患者座標系での位置を、適宜解剖学的位置という。
キー画像とは、複数の医用画像で構成された1つの医用画像データに含まれる複数の画像の中から、読影の鍵になると読影医によって判断された画像のことであり、1つの医用画像データについて1つまたは複数の画像がキー画像として指定される。
記憶部20は、RAMとROMをはじめとする記憶媒体などにより構成され、磁気的もしくは光学的記憶媒体または半導体メモリなどの、主制御部30により読み取り可能な記憶媒体を含んだ構成を有し、これらの記憶媒体内のプログラムおよびデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。また、読影レポート作成装置100で行われる解剖学的位置の検出は、予め記憶部20に格納されたプログラムやデータを用いて行われてもよく、通信制御装置10を介して外部の記憶装置に格納されたデータ等を用いて実行されてもよいし、外部の記憶装置等に格納されたプログラムで実行されてもよい。
表示部40は、たとえば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示装置により構成されるほか、主制御部30の制御に従って画像をディスプレイ表示する。
入力部50は、たとえばキーボード、タッチパネル、テンキー、マウスなどの一般的な入力装置により構成される。入力部50はキー画像の選択や所見に入力する局所構造の選択といった操作に対応した入力信号を主制御部30に出力する。
以下、キー画像が選択されたときに、所見入力欄に「所見が入力されていない場合」を第1の実施形態とし、所見入力欄に「所見が入力されている場合」を第2の実施形態としてそれぞれ説明する。
(第1の実施形態)
第1の実施形態は、所見の入力がない状態でキー画像が選択されたときの動作に関する。
(1)構成
図2は、実施形態に係る読影レポート作成装置100の第1の実施形態の機能構成例を示す機能ブロック図である。図2に示すように、読影レポート作成装置100は、医用画像入力部31、位置検出部としての解剖学的位置検出部33、キー画像選択部34、第1の局所構造情報生成部としてのキー画像局所構造リスト生成部35、位置情報生成部37、表示部40、入力部50を有する。そのうち、医用画像入力部31、解剖学的位置検出部33、キー画像選択部34、キー画像局所構造リスト生成部35、位置情報生成部37の各機能は、たとえば記憶部20に格納されたプログラムを主制御部30のプロセッサが実行することによって実現される機能である。なお、これらの機能は、複数のプロセッサが協働することによって実現されてもよいし、CPUを用いることなく回路などのハードウエアロジックによって実現されてもよい。
また、表示部40は、記憶部20に格納されたプログラムが主制御部30によって実行されることで実現される機能と、表示機能とから構成される。
医用画像入力部31は、たとえば医用画像一元管理サーバ200やモダリティ装置300から医用画像データが入力される。医用画像データは、たとえば医師等の検査依頼に応じてモダリティ装置300で取得される。モダリティ装置300で取得された医用画像データは医用画像一元管理サーバ200に格納されてもよいし、医用画像一元管理サーバ200を介することなく読影レポート作成装置100や画像表示装置等に入力されてもよい。また、医用画像データは、可搬型の記憶媒体を介して、またはネットワークを介して、あらかじめ記憶部20に記憶されていてもよい。読影レポート作成装置100の医用画像入力部31には、読影レポート作成のための医用画像データが入力される。
なお、複数の医用画像のそれぞれは、医用画像を構成する複数の画像(たとえばスライス画像)の束であってもよいし、たとえば医用画像を構成する複数の画像(たとえばスライス画像)にもとづいて生成されたボリュームデータとして医用画像入力部31に入力されてもよい。また、ボリュームデータと、ボリュームデータの元データである複数の画像と、が関連付けられて1つの医用画像データとして医用画像入力部31に入力されてもよい。医用画像入力部31にボリュームデータが入力される場合、以下の説明において医用画像データまたは医用画像はボリュームデータと読みかえることができる。また、医用画像を構成する複数の画像から1つまたは複数の画像が選択、抽出される場合、この1または複数の画像はボリュームデータにもとづいて生成されるMPR画像(Multi Planar Reconstruction 画像)であってもよい。
位置検出部としての解剖学的位置検出部33は、入力された医用画像データの局所構造の位置(解剖学的位置)を検出し、検出した解剖学的位置に関する情報(以下、解剖学的位置情報とよぶ)を、医用画像データに付与する。なお、入力された医用画像データには、予め解剖学的位置情報が付与されている場合もある。たとえば、医用画像データへの解剖学的位置情報の付与は、モダリティ装置300で画像が取得されたタイミングで実行されてもよいし、医用画像一元管理サーバ200に格納するタイミングで実行されてもよい。その場合、解剖学的位置検出部33での解剖学的位置の検出処理は省略できる。解剖学的位置検出部33における解剖学的位置の検出方法については、後述する。
医用画像データに付与される解剖学的位置情報は、たとえば、XMLデータやバイナリデータなどのデータ形式で、対応する医用画像データなどと関連付けされた状態で保持されていてもよい。また、取得する医用画像データは、DICOM(Digital Imaging and Communication in Medicine)形式に準拠したデータであり、解剖学的位置情報はDICOM規格における付帯情報として保持されていてもよい。
キー画像選択部34は、入力された複数の画像で構成された医用画像の中から、1つまたは複数の画像をキー画像として読影レポートと関連付けるよう選択する。キー画像選択部34は、選択した画像、つまりキー画像、の情報を第1の局所構造情報生成部としてのキー画像局所構造リスト生成部35に与える。
なお、キー画像は、現在作成中の新規読影レポートと関連付けられるよう選択されればよく、読影レポートに添付されなくても構わない。また、新規読影レポートと関連付けられたキー画像は、新規読影レポートの作成中、ユーザにより任意に追加、削除等の変更が可能である。
また、キー画像選択部34は、医用画像を構成する複数の画像からキー画像がユーザにより指定された時点で、キー画像と現在作成中の読影レポートとが関連付けられるよう選択されたものとしてこのキー画像の情報をキー画像局所構造リスト生成部35に与えてもよい。また、キー画像選択部34は、キー画像が指定された後、所定のイベント発生時点でキー画像と現在作成中の読影レポートとが関連付けられるよう選択されたものとし、その時点でキー画像の情報をキー画像局所構造リスト生成部35に与えてもよい。この所定のイベント発生時点としては、たとえばキー画像と読影レポートとを関連付けるよう選択を確定する旨の直接的な指示をユーザから入力部50を介して受けた時点や、キー画像が読影レポートに添付された時点や、キー画像選択後に所定時間が経過した後などが考えられる。このようにキー画像選択部34が「キー画像と読影レポートとを関連付けるよう選択する」ことを、以下の説明では単に「キー画像を選択する」という。
また、キー画像選択部34は、キー画像の所定の箇所に対するマークの付加を行ってもよい。たとえば、医用画像を構成する複数の画像からキー画像を選択したユーザが、さらに入力部50を介して、選択したキー画像の注目箇所に対して注目箇所であることを示すマークを付加してもよい。この場合、キー画像選択部34は、キー画像局所構造リスト生成部35に対してキー画像を与える際に、キー画像の情報としてこの付加されたマークの情報を含めるとよい。マークの情報には、マークに付与された重要度の情報およびマークの位置の情報などが含まれるとよい。
第1の局所構造情報生成部としてのキー画像局所構造リスト生成部35は、キー画像選択部34からキー画像の情報を受けると、キー画像にある局所構造またはキー画像の周辺にある局所構造の少なくとも一方を特定する。また、キー画像選択部34から受けたキー画像の情報にキー画像に付加されたマークの情報が含まれている場合、キー画像局所構造リスト生成部35は、たとえばキー画像の周辺にある局所構造を特定する際に、このマークから局所構造までの距離にもとづいて特定する局所構造を絞り込んでもよい。そして、キー画像局所構造リスト生成部35は、特定した局所構造の情報を第1の局所構造情報として生成し、表示部40に表示させる。以下の説明では、第1の局所構造情報が局所構造のリスト形式の情報(以下、キー画像局所構造リストという)である場合の例について示す。
たとえば、キー画像局所構造リスト生成部35は、キー画像選択部34で選択されたキー画像およびキー画像の周辺のスライス画像の少なくとも一方にある局所構造の位置を特定し、特定した解剖学的位置に対応する局所構造の一覧(キー画像局所構造リスト)を生成する。また、キー画像局所構造リスト生成部35は、検査依頼や位置情報生成部37で作成された情報を用いて、キー画像局所構造リストの絞り込みや並び替えを行う。キー画像局所構造リスト生成部35の処理については後述する。
位置情報生成部37は、第1の局所構造情報(キー画像局所構造リスト)に一覧化された局所構造の位置から、キー画像までの距離を算出する。キー画像までの距離として、たとえば、解剖学的位置からキー画像の座標や、キー画像に設定されたアノテーションがある場合はその座標までの距離を算出する。また、キー画像選択部34から受けたキー画像の情報にキー画像に付加されたマークの情報が含まれている場合、キー画像局所構造リスト生成部35は、キー画像局所構造リストに一覧化された局所構造の位置からキー画像のマークまでの距離を求めてもよい。
アノテーションとは、キー画像において注意して観察すべき部分を示すために、キー画像上に表示される矢印等の記号や、領域を囲む線のことである。位置情報生成部37での距離の算出方法は後述する。
表示部40は、キー画像のほかに、キー画像局所構造リストを表示する。また、入力部50からのキー画像局所構造リストの選択状態に応じた所見を表示する。所見の表示については後述する。
(2)動作
図3は、実施形態に係る読影レポート作成装置100の第1の実施形態の動作の一例を示すフローチャートである。
ST101では、医用画像入力部31に、医用画像一元管理サーバ200またはモダリティ装置300から複数の画像で構成された医用画像データが入力される。この医用画像データは、たとえば医用画像データに対応する医用画像を構成する複数の画像(たとえばスライス画像)にもとづいて生成されたボリュームデータである。また、ボリュームデータと、ボリュームデータの元データである複数の画像と、が関連付けられて1つの医用画像データとして医用画像入力部31に入力されてもよい。
ST103では、入力された医用画像データについて、解剖学的位置検出部33により、解剖学的位置が検出される。
図4は、解剖学的位置の検出方法を説明する図である。図4(a)は解剖学的位置の検出に使用するモデルa5の生成方法の例を示している。図4(a)に示されるモデルa5は、予め読影レポート作成装置100の記憶部20に格納されていてもよいし、外部の記憶装置に格納されていてもよい。
図4(a)に示すように、解剖学的位置の検出に使用するモデルa5は、一般的な機械学習やパターン認識により生成される。図4(a)には、画像データベースa1と、解剖学的位置正解データa2とを用いてモデルa5が生成される例が示されている。画像データベースa1とは、異なる体形の被検体について、X線CT装置やMRI装置によって取得されたボリュームデータの集合である。図4(a)に例示されるように、画像データベースa1には、全身のボリュームデータ(画像A)に限らず、体の一部分を撮像したボリュームデータ(画像BおよびC)が含まれる。解剖学的位置正解データa2は、画像データベースa1のそれぞれの画像について、医師等の専門家により予め正しい解剖学的位置が判定されたデータである。図4(a)で示すように、特徴抽出部a3が、画像データベースa1のそれぞれのボリュームデータから特徴を抽出し、解剖学的位置正解データa2を用いて、学習アルゴリズムa4によりモデルa5を生成する。モデルa5は、画像データベースa1から抽出された特徴と、解剖学的位置とを対応付けるために用いられる。このモデルa5には、たとえば、機械学習など用いたモデルがある。また、このようなモデルは、性別、年齢、人種や体格などに応じて異なるモデルが生成されていてもよいし、これらの違いを吸収できるようなモデルであってもよい。
図4(b)は解剖学的位置検出部33で実行される処理の例を示している。解剖学的位置検出部33は、解剖学的位置が未知の解析対象画像データb1について、図4(a)の特徴抽出部a3と同様に、特徴を抽出し、すでに生成済みのモデルa5を用いて解剖学的位置を検出する。より具体的には、解剖学的位置検出部33は、医用画像から局所構造を検出するとともに、検出した局所構造の医用画像中における位置を解剖学的位置として算出する。このようにして算出された解剖学的位置情報b2は、解析対象画像データb1に付与される。
なお、上記解剖学的位置は、上述した方法に限られず、計算解剖学と呼ばれる数理統計的枠組み(計算解剖モデル)により検出することもできる。
図5は、局所構造の種類を説明する図である。局所構造は、医用画像を理解するうえで重要な役割を担う人体の特徴的な構造のことであり、解剖学的ランドマーク(AL:Anatomical Landmark)と呼ばれることもある。たとえば、図5(a)は頭部および頸部の局所構造の例を示している。図5(a)には、上から順に第1頚椎(頚椎I)の前弓(結節)、歯突起の上端(頚椎II)、右眼球上面、左眼球上面、右眼球中心、左眼球中心、が例示されている。同様に、図5(b)には、胸部の局所構造について、気管分岐部、右肺尖部、左肺尖部、右肩甲骨下角、左肩甲骨下角、左鎖骨下動脈始点、が例示されている。図5(c)には、腹部の局所構造について、右腎上極、左腎上極、右腎下極、左腎下極、膵頭、膵尾先端、が例示されている。図5(d)には、下肢の局所構造として、右大腿骨の外側上顆、右大腿骨の内側上顆、左大腿骨の外側上顆、左大腿骨の内側上顆、右脛骨の外側顆、右脛骨の内側顆、が例示されている。局所構造は、たとえば、図5に示したような粒度で全身に定義されており、人体を構成する種々の骨や筋肉、臓器等について複数の局所構造が定められている。解剖学的位置は、これらの局所構造のそれぞれについて検出される。
このような解剖学的位置は、解剖学的位置情報として医用画像データと関連付けた状態で保持される。解剖学的位置情報は、たとえば、医用画像を一意に特定するためのIDなどと関連付けされてXMLやテキスト形式等で記憶部20等にデータベースとして保持されてもよいし、DICOMの付帯情報として医用画像データと一体となって保持されていてもよい。
解剖学的位置情報は、解剖学的位置の情報に加えて、その解剖学的位置に対応する局所構造が属する胸部や腹部といった部位情報や、骨系や呼吸器系など、その解剖学的位置に対応する局所構造の人体における機能系統に応じた体組織情報などを含むことができる。
図6は、解剖学的位置情報を説明する図である。図6(a)の表は、解剖学的位置情報の例を示している。図6(a)の解剖学的位置情報を示す表には、左から、解剖学的位置の、識別子、名称、信頼度、部位、体組織、患者座標系(X軸、Y軸、Z軸)での位置が示されている。図6(a)には腹部の解剖学的位置情報の一部が例示されている。図6(a)の表の1段目は左から、識別子(ABDO25.C)、名称(L5の身体の中心)、信頼度(0.87)、部位(腹部)、体組織(骨系)、患者座標系(X軸(−3.1)、Y軸(23.4)、Z軸(90.0))が示されている。同様に、2段目は、識別子(ABDO32.C)、名称(右腸骨棘上面)、信頼度(0.82)、部位(腹部)、体組織(骨系)、患者座標系(X軸(−11.1)、Y軸(−54.4)、Z軸(84.1))、3段目は、識別子(ABDO39.C)、名称(左腸骨棘上面)、信頼度(0.83)部位、(腹部)、体組織(骨系)、患者座標系(X軸(−3.0)、Y軸(30.0)、Z軸(104.0))が示されている。
識別子は解剖学的位置を一意に特定するためのIDである。名称は、局所構造の名称を示しており、解剖学的、医学的に専門的な用語で示されている。信頼度は、解剖学的位置の正確性を示す数値である。解剖学的位置は機械学習アルゴリズムやパターン認識などによって、計算により推定されたデータであることから、解剖学的位置それぞれについて、それらの位置がどれくらいの正確性を持って算出されたかを示す数値が与えられる。図6(a)に示した例では、0から1の間の数値で表現しており、1に近い数値であるほど信頼性が高いことを示している。部位は、局所構造が属する人体の部位を示しており、たとえば、胸部や腹部のように分類される。体組織は、局所構造の機能に応じて分類されており、たとえば、神経系、骨系、呼吸器系などである。このような、部位や体組織以外にも、心臓、肺、大腿骨など、臓器名や解剖学的な構造体の単位に関する情報を、解剖学的位置情報として有することもできる。患者座標系は、X軸、Y軸、Z軸の座標により、解剖学的位置を示している。
図6(b)は、患者座標系について説明する図である。図6(b)に示すように、患者座標系は、患者の左右方向をX軸、患者の背腹側方向をY軸、患者の頭足方向をZ軸とする座標系である。X軸は患者の中心から右方向を、Y軸は患者の中心から背側方向を正として増加し、Z軸は患者の足部から頭部の方向に増加する。このような患者座標系は、ボリュームデータが有する基準位置など、任意の位置により相対的に表されている。
なお、図6の例は、解剖学的位置情報に含まれる情報やデータ形式の一例を示すものである。
図3のフローチャートに戻って説明する。
ST105では、入力部50から表示部40に表示された複数の画像からキー画像が選択される。
キー画像は、キー画像選択部34により医用画像を構成する複数の画像から選択されて現在作成中の新規読影レポートと関連付けられればよく、読影レポートに添付されなくても構わない。以下の説明では、キー画像が読影レポートに添付された時点で、すなわちキー画像が添付キー画像である場合に、キー画像選択部34がキー画像の情報をキー画像局所構造リスト生成部35に与える場合の例について示した。読影レポートに添付されるキー画像を、以下、添付キー画像と呼ぶこととする。また、キー画像が読影レポートに添付される場合、キー画像選択部34からキー画像局所構造リスト生成部35へは、キー画像の情報として添付キー画像の情報が与えられることになる。
ST107では、キー画像局所構造リスト生成部35が、添付キー画像の解剖学的位置を検索し、添付キー画像に対応するキー画像局所構造リスト(第1の局所構造情報)を生成する。
医用画像データはたとえば複数のスライス画像を有するボリュームデータであり、キー画像は医用画像入力部31に入力された医用画像データのうち、選択された1つまたは複数のスライス画像である。医用画像データは解剖学的位置検出部33によって解剖学的位置が特定されており、図6(a)に例示した、解剖学的位置情報を有する。キー画像のキー画像局所構造リストは、上述の解剖学的位置情報から作成される。
図7は、実施形態に係る読影レポート作成装置100の第1の実施形態におけるキー画像の選択を説明する図である。図7は、表示部40に、読影レポート作成画面40aと画像表示画面40bとが表示された例を示している。
画像表示画面40bには、キー画像40b3が表示されるほか、医用画像入力部31に入力された医用画像データに含まれる複数の画像が表示される画像サムネイル40b2が表示される。キー画像40b3に表示されるキー画像は、医用画像データの中からキー画像選択部34が選択した画像である。また、検査情報40b1には、画像表示画面40bに表示させることができる画像の一覧や、患者情報などが表示される。
読影レポート作成画面40aの、検査情報40a1には、患者情報、検査依頼に含まれる検査情報や読影者などが表示され、所見が入力される領域である所見入力欄40a2、キー画像の添付領域であるキー画像添付領域40a3が例示されている。所見入力欄40a2は、たとえば、テキストエリアなどのように、キーボードやマウスなどから構成される入力部50により文字列などが表示される。キー画像添付領域40a3には、画像表示画面40bで選択したキー画像が破線で示された領域に添付される。たとえば、マウスなどの入力装置により、画像表示画面40bに表示されたキー画像を、キー画像添付領域40a3にドラックアンドドロップ操作を行うことにより添付されてもよいし、画像表示画面40bに表示されたキー画像を押下するなどによりキー画像添付領域40a3にキー画像が添付されてもよい。このような操作により複数のキー画像の中からキー画像添付領域40a3に添付されるキー画像を、添付キー画像と呼ぶ。
図7で説明した操作により添付キー画像がキー画像添付領域40a3に添付されると、キー画像局所構造リスト生成部35は、添付キー画像の解剖学的位置を抽出する。添付キー画像に含まれる解剖学的位置や、添付キー画像の近傍のスライス画像に含まれる解剖学的位置が抽出される。なお、キー画像添付領域40a3への添付前のキー画像40b3の情報がキー画像局所構造リスト生成部35に与えられてもよい。この場合、キー画像局所構造リスト生成部35は、キー画像40b3の解剖学的位置を抽出する。
図8は、実施形態に係る読影レポート作成装置100の第1の実施形態における添付キー画像のキー画像局所構造リストの生成を説明する図である。図8(a)左図は医用画像データを例示しており、図8(a)の右図は添付キー画像を示している。図8(a)右図に示されるように、添付キー画像のスライス番号として「34」が例示されている。
添付キー画像は、図8(a)左図の医用画像データにおいて網掛けで示された位置に存在する。医用画像データには複数の解剖学的位置が検出されている。図8(a)左図の例では、医用画像データ内に示した黒丸に対応する位置に、7つの解剖学的位置が検出されている。図8(a)の例では、それぞれの解剖学的位置に対応する局所構造は、AL1、AL2、AL3、AL4、AL5、AL6、AL7である。
図8(a)左図に示すように、医用画像データのスライス方向AをZ軸とすると、スライス画像はXY平面に対応する。医用画像データは付帯情報として撮像条件に関する情報を含む。撮像条件には、たとえば、ピクセルサイズ、スライス厚やスライス間隔、撮像開始位置や基準位置などの情報が含まれる。図6(a)で説明したように、解剖学的位置は患者座標系と呼ばれる座標系で示されているが、医用画像データのスライス方向AをZ軸とすると、ピクセルサイズ、スライス厚やスライス間隔などの情報により、解剖学的位置の患者座標系を医用画像データのボクセル座標または、スライス画像の座標とスライス番号に変換することができる。
図8(b)は、添付キー画像のキー画像局所構造リストの一例を示している。図8(b)の表は、図8(a)に例示されたそれぞれの解剖学的位置に対して、左から局所構造、座標、スライス番号が示されている。このように、図8(b)は解剖学的位置をスライス画像の座標とスライス番号で表した例を示している。図8(a)の例では、医用画像データについては7つの解剖学的位置が特定されているが、そのうち、添付キー画像の解剖学的位置として、添付キー画像の近傍の5つが抽出されている。このように、キー画像局所構造リストには、添付キー画像およびキー画像の周辺のスライス画像の少なくとも一方に存在する解剖学的位置が抽出される。たとえば、添付キー画像のスライス番号を基準として、前後の十数スライス画像に含まれる解剖学的位置を抽出してもよいし、添付キー画像の解剖学的位置の属する部位や構造などに応じて、解剖学的位置を抽出してもよい。図6(a)で説明したように、解剖学的位置情報は胸部や腹部といった解剖学的位置が所属する部位情報や、心臓や肝臓などの体の構造に対応する分類に関する情報を有する。これらの情報を用いて、添付キー画像がどのような部位、どのような臓器に属するかを判断することができる。このように解剖学的位置が属する部位や臓器に対応する局所構造を、キー画像局所構造リストとして一覧化してもよい。
上述のように抽出されたキー画像(たとえば添付キー画像)のキー画像局所構造リストを、図7の所見入力欄40a2に表示することで、この一覧から局所構造を選択するだけで、所見に関連する解剖学的部位の入力を省略することができる。
このような機能に加えて、本実施形態に係る読影レポート作成装置100は、キー画像(たとえば添付キー画像)から、キー画像局所構造リストに一覧化された局所構造に対応する解剖学的位置までの距離を算出し、算出した距離をキー画像局所構造一覧に付加することができる。また、キー画像局所構造リスト生成部35は、検査依頼に含まれる、少なくとも検査部位の情報、検査目的、および治療内容のいずれかの情報に応じて、キー画像の局所構造一覧に表示される局所構造の絞り込みや、表示順序を制御してもよい。
図3のフローチャートに戻って説明する。
ST109では、位置情報生成部37が、キー画像にアノテーションがあるか否か判定する。アノテーションがある場合は、ST111で添付キー画像中のアノテーションの座標が取得され、アノテーションがない場合は、ST115で添付キー画像の中央の座標が取得される。なお、本実施形態では添付キー画像の座標として中央の座標で距離を算出する例を説明しているが、使用する座標は中央の座標に限られない。また、位置情報生成部37は解剖学的位置からキー画像までの垂線の長さ等を距離として算出してもよい。
ST113では、位置情報生成部37が、添付キー画像のキー画像局所構造リストの局所構造に対応する解剖学的位置のそれぞれから、ST111で取得された添付キー画像中のアノテーションの座標までの距離を算出する。
ST117では、位置情報生成部37が、添付キー画像のキー画像局所構造リストの局所構造に対応する解剖学的位置のそれぞれから、ST115で取得された添付キー画像の中央の座標までの距離を算出する。
ST119では、キー画像局所構造リスト生成部35が、位置情報生成部37で生成された距離情報に応じて、局所構造の表示順序を並び替えたキー画像局所構造リストを生成する。また、算出した距離の長さに応じて絞り込みを行ってもよい。たとえば、心臓の大きさは約12cmから15cmといわれている。このような臓器ごとの一般的な大きさを閾値として、それよりも遠い距離にある局所構造を一覧から除外してもよい。
また、臓器や骨などの構造ごとに、それらの臓器などを代表する代表位置を定め、その代表位置からの位置関係でキー画像局所構造リストの絞り込みを行ってもよい。代表位置は、臓器などの中心座標であってもよいし、不定形な立体である臓器ごとの形状から、適切な位置が代表位置として選択されてもよい。また、臓器の性質や機能などから代表位置を定めてもよい。たとえば、添付キー画像およびキー画像の周辺のスライス画像にある解剖学的位置は、肝臓、心臓、肺など様々な臓器に属する解剖学的位置が混在して特定される場合がある。この場合、添付キー画像の近傍にある解剖学的位置として特定されていても、添付キー画像と関連の低い臓器に属する解剖学的位置である場合がある。そこで、たとえば、添付キー画像の画像解剖学的位置の属するそれぞれの臓器の上端および下端を示す解剖学的位置からその臓器の代表位置を定め、その代表位置と、添付キー画像に一番近い解剖学的位置との位置関係が遠い臓器を特定し、それに属する解剖学的位置に対応する局所構造をキー画像局所構造リストから除外してもよい。このような臓器などの代表位置による絞込みにより、添付キー画像と関連性の低い臓器などに属する解剖学的位置に対応する局所構造を、キー画像局所構造リストから除外することができる。
ST121では、キー画像局所構造リスト生成部35が、HIS/RIS400から検査依頼を取得する。検査依頼には、たとえば、検査部位、検査目的、処方された薬や、治療内容、既往歴などの情報が含まれる。
ST123では、キー画像局所構造リスト生成部35が、検査情報を利用して、キー画像局所構造リストから局所構造の絞り込みを行う。たとえば、キー画像局所構造リストに含まれていても、検査部位や検査目的などから外れた部位や臓器に関連する局所構造を除外してもよい。逆に、既往歴などから転移や併発が予見される部位や臓器が想定される場合はそれらに対応する局所構造をキー画像局所構造リストに加えてもよい。
ST125では、キー画像局所構造リスト生成部35で生成された添付キー画像のキー画像局所構造リストが、表示部40に表示される。
なお、ST119からST123の実行順序は順不同であり、また、いずれか一つが実行されてもよいし、組み合わせて実行されてもよい。
図9は、実施形態に係る読影レポート作成装置100の第1の実施形態における添付キー画像と解剖学的位置の距離を算出する起点となる座標を説明する図である。位置情報生成部37は、添付キー画像の中央または添付キー画像に付与されたアノテーションの座標を取得する。図9(a)に十字で示した印は、添付キー画像の中央の座標を例示している。図9(a)の例では、添付キー画像の座標はスライス画像をXY座標平面として(X1b、Y1b)と求められる。
また、図9(b)に十字で示した印は、添付キー画像に付けられたアノテーションの座標を示している。図9(b)の例では、添付キー画像のアノテーションの座標は、図9(a)と同様に、スライス画像をXY座標平面として(X2b、Y2b)と求められる。添付キー画像におけるアノテーションはある一定の領域で示される場合がある。
図9(c)はアノテーションを矩形状の枠で表示した例を示している。アノテーションを示す領域は図9(c)のような矩形状の枠であってもよいし、円や、ユーザが自由に入力した不定形の枠であってもよい。アノテーションがある一定の範囲を示す領域として指定された場合は、図9(c)で例示するように、アノテーションとして指定された領域の中央の座標をアノテーションの代表座標としてもよい。図9(a)と同様に、図9(c)の添付キー画像のアノテーションの座標は(X3b、Y3b)と求められる。
図9で説明した添付キー画像の中央の座標や、アノテーションの座標に基づいて、既に生成された添付キー画像のキー画像局所構造リストに抽出されている局所構造に対応する解剖学的位置のそれぞれからの距離を算出する。なお、図9で説明した例に限らず、添付キー画像の所定の座標、たとえば、入力部50から入力されたポインタやカーソルの座標や添付キー画像上に存在する検査対象の臓器の座標を用いて、解剖学的位置からの距離を算出してもよい。
図10は、実施形態に係る読影レポート作成装置100の第1の実施形態における距離の算出方法を説明する図である。図10では、図8(b)に示した添付キー画像のキー画像局所構造リストのうち、AL1からの距離の算出方法を例として説明する。
図10にはAL1が存在するスライス30の断面と、添付キー画像のスライス34の断面がそれぞれ示されている。図10に例示するように、AL1の座標として(X1a、Y1a)が、添付キー画像のアノテーションの座標として(X1b、Y1b)が示されている。医用画像データの付帯情報などに含まれる撮像条件から、たとえば、医用画像データのスライス方向が頭方向から足方向に仰臥位で撮像されていた場合、Z軸は頭足方向を、X軸は患者の右手方向に増加し、Y軸は患者の背方向に増加することを示すことになる。
図10に示したL1は、AL1の座標とアノテーションの座標とのZ方向の距離を示している。AL1からアノテーションの座標までの距離は、それぞれのスライス枚数の差からスライス厚やスライス間隔を加味して算出することができる。たとえば、スライス厚が1cm、連続するスライス画像の開始位置間の長さを示すスライス間隔が1cmであった場合、図10の例ではスライス枚数の差が4であるため、4cmの距離であると算出される。また、上述のように、Z軸の増加方向を撮像条件から取得することができるため、図10の例では、キー画像のアノテーションは「AL1から足方向に4cmの距離にある」ということがわかる。
図10に示したL2は、AL1の座標とアノテーションの座標とのX軸方向の距離を示している。この距離についても、それぞれのX座標の差とピクセルサイズから換算することができる。Y軸方向の距離についても同様である。
図10に示した距離を複数組み合わせて、たとえば、添付キー画像のアノテーションは「AL1から 患者の足方向に4cm、右手方向に2cm、腹側方向に1cmの距離にある」というように示すこともできる。
キー画像局所構造リスト生成部35は、上述のような方法で添付キー画像キー画像局所構造一覧を生成し、表示部40に表示する。
図11は、実施形態に係る読影レポート作成装置の第1の実施形態におけるキー画像局所構造リストの表示例を説明する図である。図11に示したキー画像局所構造リスト40a4の例には、キー画像について抽出された解剖学的位置の一覧が表示されている。図11の例では、画像表示画面40bのキー画像40b3が、読影レポート作成画面40aのキー画像添付領域40a3に添付された状態を示している。図11のキー画像局所構造リスト40a4には添付キー画像について抽出されたキー画像局所構造リストの例が示されている。図11に例示するように、添付キー画像が読影レポート作成画面40aに添付されると、所見入力欄40a2に添付キー画像についての説明と、キー画像局所構造リストが表示される。図11の例では、添付キー画像を「画像A」とし、「画像Aについて」という文言が自動的に表示される。このような添付キー画像を説明する文言などの下に、キー画像局所構造リスト40a4が表示される。ユーザは表示されたキー画像局所構造リスト40a4の中から、添付キー画像に含まれる(あるいは、添付キー画像に最も近い)局所構造を選択することで、添付キー画像に観察される所見を説明するために必要な局所構造を自動で入力することができる。たとえば、図11の例では、キー画像局所構造リスト40a4の「右肺尖部」が網掛けで表示されている。このように、読影医等は、添付キー画像を説明する際に、所見入力欄40a2に記載すべき局所構造を、表示されたキー画像局所構造リスト40a4から、選択するだけで入力できる。
また、キー画像局所構造リスト40a4に表示された局所構造のそれぞれについて、参考図書や解剖学辞典などを参照できるようにしてもよい。たとえば、図11に示したボタンG1を押下することで、その局所構造に関する参考図書が表示され、その局所構造に関する症例などを表示してもよいし、解剖学辞典から該当の解剖学的部位を表示してもよい。このような参考図書などは、読影レポート作成装置100の記憶部20に格納されていてもよいし、外部記憶装置からダウンロードされてもよく、外部記憶装置を直接参照してもよい。また、その局所構造についてインターネットで検索された検索結果を表示してもよい。このように、添付キー画像に関する局所構造を調べられることにより、読影医などのユーザは、所見を記入する際に、様々な情報を読影レポート作成装置100から取得することができる。
図12は、実施形態に係る読影レポート作成装置100の第1の実施形態におけるキー画像局所構造リストから選択した局所構造が所見に表示された例を説明する図である。図12は、図11に例示したキー画像局所構造リスト40a4から「右肺尖部」が選択された後の表示を例示している。所見入力欄40a2には、図11の例で選択された局所構造である、「右肺尖部」の文言が自動で表示される。図12の「右肺尖部」の文言の横にはボタンG1が表示されている。このボタンG1を押下することで、再び図11に例示したキー画像局所構造リスト40a4が表示されてもよい。
図13は、実施形態に係る読影レポート作成装置100の第1の実施形態におけるキー画像局所構造リストのその他の表示例を説明する図である。図11では局所構造のみが一覧で表示される例を示したが、図13(a)に例示するように、位置情報生成部37で算出された距離を同時に表示してもよい。たとえば、図13(a)で網掛けで示した2段目の「右肺尖部」の位置情報として「△方向 AAAcm」が表示されている。これは、添付キー画像の中心の座標または、アノテーションの座標が、局所構造である「右肺尖部」から、「△方向 AAAcm」の位置にあることを示している。一方、1段目に示した「気管分岐部」の位置情報には「‐」が示されている。これは、添付キー画像の中央の座標やアノテーションの座標が気管分岐部が存在することを示している。また、キー画像局所構造一覧の表示を、位置情報により並び替えて表示してもよい。たとえば、距離が短いものから順に表示してもよい。
図13(b)は、複数の局所構造をチェックボックスで選択する例を示している。図13(b)の例では、「右肺尖部」と「右肩甲骨下角」が選択された例を示している。複数の局所構造により、より立体的に所見の解剖学的位置を説明することができる。
図13(c)は、リストの項目名を示す部分に昇順、降順を選択できるようなソートボタンG1を設けた例を示している。たとえば、ランドマークリストに設けられたソートボタンG1を押下すると、局所構造の名称で昇順、降順に並び替えが行われてもよい。また、昇順、降順以外にも、識別子順であったり、部位、体組織、臓器などの分類順、または、検査目的、治療内容、転移や併発の起こる可能性などの順序で並び替えが行えるようにしてもよい。また、位置情報に設けられたソートボタンG1を押下すると、解剖学的位置からの距離順や、方向などで並び替えができてもよい。
図14は、実施形態に係る読影レポート作成装置100の第1の実施形態におけるキー画像局所構造リストのその他の表示例を説明する図である。図14は、キー画像局所構造リストから局所構造を選択した後の所見記入欄の表示例を示している。図14は、1つの添付キー画像に2つのアノテーションが設定された例を示している。アノテーション1には、「右肺尖部 △方向 AAAcmに炎症あり。」という説明が例示されている。(右肺尖部 △方向 AAAcm)の部分がキー画像局所構造リストを選択することによって自動的に表示される部分である。同様に、アノテーション2には、「右肩甲骨下角 □方向 CCCcmに腫瘍あり。」という説明が例示されている。このように(右肩甲骨下角 □方向 CCCcm)で示された解剖学的位置を示す情報が自動で表示され、読影医等のユーザは、それらの解剖学的部位について観察された症状のみを記入するだけでよい。
さらに、それぞれの添付キー画像またはアノテーションと、所見に示された文言とは、対応付けができており、所見中に文字列で示さなくとも、添付キー画像やアノテーションの座標と関連付けを行うことができる。
加えて、キー画像を複数同時に選択し、キー画像添付領域に添付した場合であっても、それぞれの添付キー画像についてキー画像局所構造リストを表示することもできる。このような機能により、所見を入力する度に添付キー画像を選択する操作を省略することができる。
また、ボタンG3で示すように、局所構造に対応する症状なども、プルダウンメニューなどによって、定型文を選択するだけで自動で入力されてもよい。たとえば、キー画像局所構造リストから選択された局所構造に対応する定型文の一覧を生成し、図12および図14で例示したキー画像局所構造リストと同様の態様で表示してもよい。また、検査情報や患者情報など、既往歴や検査目的などから、定型文の一覧が作成されてもよい。
図14に例示したプルダウンメニューボタンG2を押下することで、いったん選択した局所構造を変更することができる。プルダウンメニューボタンG2を押下すると、再びキー画像局所構造リストが表示され、局所構造を選択しなおすことができる。また、表示したプルダウンメニューに「追加」、「削除」、「変更」などの選択を設けることで、所見に用いる局所構造を増やしたり、減らしたりすることができてもよい。
上述のように、第1の実施形態では、所見に記載するための解剖学的位置を説明するために必要な情報を収集する作業が不要となる。第1の実施形態では、所見を入力する際に使用されると考えられる局所構造を、添付キー画像により特定し、一覧として表示することで、ユーザは手入力により局所構造を記載する作業を省略することができる。また、このような機能を使用することで、作成された読影レポートのすべてにおいて、同じ局所構造を用いて所見の観察される位置が説明されるため、読影医や担当医師間の情報共有を円滑にすることができる。
(第2の実施形態)
第2の実施形態は、所見の入力が行われた後にキー画像が選択されたときの動作に関する。
(1)構成
図15は、実施形態に係る読影レポート作成装置100の第2の実施形態の機能構成例を示す機能ブロック図である。図2に示した第1の実施形態と共通する構成には同一の符号を付し、説明を省略する。
図15に示すように、読影レポート作成装置100は、第1の実施形態の機能構成例に加えて、所見入力部32、第2の局所構造情報生成部としての所見局所構造リスト生成部36、リスト判定部39を有する。所見入力部32、所見局所構造リスト生成部36、リスト判定部39の各機能は記憶部20に格納されたプログラムを主制御部30が実行することによって実現される機能である。
所見入力部32は、入力部50を介して入力された所見を取得する。所見は、少なくとも所定の部位の状態(症状や異常の態様など)を含み、さらにそれらの症状や異常が観察される所定の部位の位置が説明される。所見に入力される位置は、たとえば、局所構造や、部位、臓器などの名称や、それらからの方向や距離などが含まれる。所見入力部32に入力された情報を、以下、所見情報と呼ぶこととする。
第2の局所構造情報生成部としての所見局所構造リスト生成部36は、所見入力部32に入力された所見情報に含まれた所定の部位に関連する局所構造を特定する。そして、所見局所構造リスト生成部36は、特定した局所構造の情報を第2の局所構造情報として生成し、表示部40に表示させる。以下の説明では、第2の局所構造情報が局所構造のリスト形式の情報(以下、所見局所構造リストという)である場合の例について示す。所見局所構造リストは、所見情報に関連する局所構造に加えて、その局所構造の近辺に位置する局所構造や、検査依頼などに記載された部位や臓器など応じて抽出される。すなわち、所見局所構造リストは、所見情報から作成された局所構造の一覧である。所見局所構造リスト生成部36で生成される所見局所構造リストについては後述する。
キー画像選択部34は、所見入力後に選択した画像(キー画像)の情報をリスト判定部39に与える。なお、第1実施形態と同様、キー画像は、キー画像選択部34により医用画像を構成する複数の画像から選択されて現在作成中の新規読影レポートと関連付けられればよく、読影レポートに添付されなくても構わない。
リスト判定部39は、所見入力後に選択したキー画像の情報を受けると、キー画像局所構造リストに含まれる局所構造が、所見局所構造リストに含まれるかを判定する。以下の説明では、キー画像が読影レポートに添付された時点で、すなわちキー画像が添付キー画像である場合に、リスト判定部39がキー画像局所構造リストに含まれる局所構造が所見局所構造リストに含まれるか否かを判定する場合の例について示す。添付キー画像について作成されるキー画像局所構造リストが、所見情報から作成された所見局所構造リストに含まれる局所構造を含んでいない場合は、リスト判定部39は、入力された所見に関係するキー画像ではないと判定し、その旨をユーザに通知する。リスト判定部39の判定方法については後述する。
(2)動作
図16は、実施形態に係る読影レポート作成装置100の第2の実施形態の動作の一例を示すフローチャートである。図3で説明した第1の実施形態と同じ処理には同一の符号を付し、説明を省略する。
ST201では、入力部50から所見情報が入力される。
ST203では、所見局所構造リスト生成部36が所見情報に基づいて、所見局所構造リストを生成する。
ST205では、キー画像選択部34が医用画像データに含まれる複数の医用画像から選択されたキー画像の中から、入力部50からの入力により、添付キー画像が選択される。キー画像は、キー画像選択部34により医用画像を構成する複数の画像から選択されて現在作成中の新規読影レポートと関連付けられればよく、読影レポートに添付されなくても構わない。以下の説明では、キー画像が読影レポートに添付された時点で、すなわちキー画像が添付キー画像である場合に、キー画像選択部34がキー画像局所構造リスト生成部35およびリスト判定部39に対してキー画像(添付キー画像)の情報を与える場合の例について示した。
ST207では、キー画像局所構造リスト生成部35が添付キー画像の解剖学的位置を検索する。
ST209では、キー画像局所構造リスト生成部35が添付キー画像について検索された解剖学的位置に基づき、キー画像局所構造リストを生成する。
ST211では、リスト判定部39が、キー画像局所構造リストに、所見局所構造リストに含まれる局所構造が存在するか否かを判定する。キー画像局所構造リストに所見局所構造リストに含まれる局所構造が存在する場合は、添付キー画像が所見に関係する添付キー画像であると判断する。一方、キー画像局所構造リストに所見局所構造リストに含まれる局所構造が存在しない場合は、添付キー画像が所見に関係する添付キー画像ではないと判断し、警告メッセージなどを表示することで、ユーザに通知する(ST213)。
図17は、実施形態に係る読影レポート作成装置100の第2の実施形態の所見を説明する図である。図17(a)に例示した所見入力欄40a2は、図7等で例示した所見入力欄40a2と同じである。図17(a)に例示した所見入力欄40a2には、キーボードやマウスなどを備えた入力部50から、所見に対応する局所構造や、臓器名、部位名など、所見の観察される位置が入力される。所見は、たとえば、図17(a)の所見表示領域T1に例示されるように、「右肺尖部から下肢方向3cmに腫瘍あり。」のような文章や、所見表示領域T2に例示されるように、「肝臓右葉と肝臓動脈基部に炎症あり。」のように、複数の位置に観察される症状や異常と併せて記載される。
図17(b)および図17(c)は所見局所構造リスト生成部36で生成される所見局所構造リストの例である。所見局所構造リスト生成部36は所見に入力された文字列を解析し、図17(b)および図17(c)のような所見局所構造リストを生成する。
図17(b)に例示した表は、図17(a)の所見表示領域T1から作成された所見局所構造リストである。図17(a)の所見表示領域T1からは、解剖学的位置を示す文言として、「右肺尖部」や「下肢方向3cm」といった文言を取得することができる。したがって、局所構造を表す文言である「右肺尖部」を所見に対応する局所構造として抽出する。加えて、右肺尖部から「下肢方向3cm」の方向に存在する局所構造を抽出し、一覧に加えてもよい。
図17(c)に例示した表は、図17(a)の所見表示領域T2から作成された所見局所構造リストである。図17(a)の所見表示領域T2からは、解剖学的位置を示す文言として、「肝臓右葉」および「肝臓動脈基部」の文言を取得することができる。「肝臓右葉」は臓器や臓器内の名称を示しており、局所構造はこれらの分類に対応したデータを持つことができる。これらのデータを利用して、図17(c)に例示されるように、「肝臓右葉」に対応する局所構造として「肝臓の最下面」、「肝臓の後面」が抽出される。また、「肝臓右葉」という文言から、肝臓についての局所構造を所見局所構造リストとして抽出してもよい。図17(a)の所見表示領域T2の所見には、「肝臓動脈基部」という文言も解剖学的位置を示すものとして記載されている。前方一致で「肝臓動脈起始部」という局所構造を抽出してもよいし、この文言の「基部」という文字列から「起始部」という文字列を推定してもよい。
図17では、局所構造に近い文言で例を示したが、「肺右上部」、「右肺部」、「肝臓右位置」、「上方向」や「下部」など、読影医ごとに使用する解剖学的部位を示す文言は異なる。したがって、所見局所構造リスト生成部36は、そのような文言に対応する検索機能や、検査情報などを用いた絞り込み機能、または、入力される文言と局所構造の対応を示すデータベースなどを記憶部20または外部の記憶装置に持つことにより、入力された所見に関連する局所構造を特定する。
このように、所見局所構造リストは、所見に入力された文字列から、対応する部位や、臓器に関する局所構造を抽出し、一覧化したものである。
図18は、実施形態に係る読影レポート作成装置100の第2の実施形態におけるキー画像の判定を説明する図である。図18上部には、キー画像とキー画像に対応するキー画像局所構造リストが例示されている。図18上部の左側のキー画像Aに対応するキー画像局所構造リストとして、「気管分岐部」、「右肺尖部」、「左肺尖部」、「右肩甲骨下角」が抽出されている。このキー画像Aを添付キー画像として、キー画像添付領域40a3に添付した場合、図17(b)に例示した、所見局所構造リストとして抽出された局所構造と、「気管分岐部」、「右肺尖部」、「右肩甲骨下角」の3つの局所構造が一致する。したがって、キー画像Aは、キー画像局所構造リストの局所構造が、所見局所構造リストに含まれることから、リスト判定部39において、所見に関係するキー画像であると判定される。
同様に、図18上部の右側のキー画像Cに対応するキー画像局所構造リストとして、「右肺肋骨横隔膜角」、「右横隔膜」、「肝臓の最下面」、「肝臓の後面」が抽出されている。このキー画像Cをキー画像添付領域40a3に添付した場合、図17(c)に例示した、所見局所構造リストとして抽出された局所構造と、「肝臓の最下面」、「肝臓の後面」の2つの局所構造が一致する。したがって、キー画像Cも、キー画像局所構造リストの局所構造が、所見局所構造リストに含まれることから、リスト判定部39において、所見に関係するキー画像であると判定される。
一方、図18上部の中央のキー画像Bに対応する画像ランドマーク一覧として、「大動脈弁」、「右冠動脈入口」、「心外膜心臓頂点」、「心内膜心臓頂点」が抽出されている。これに対して、図17(b)および図17(c)に例示された、所見局所構造リストには、一致する局所構造が含まれていない。したがって、キー画像Bは、キー画像局所構造リストの局所構造が、所見局所構造リストに含まれないことから、リスト判定部39において、所見に関係するキー画像ではないと判定される。
リスト判定部39で、添付キー画像が所見に関係するキー画像ではないと判断されると、表示部40は警告メッセージを生成し、表示する。
また、リスト判定部39は、所見に記載された解剖学的部位に対応するキー画像が1つ以上添付されたか否かを判定することもできる。所見に対応するキー画像が添付されない状態で読影レポートの作成を終了しようとした場合は、終了時に警告メッセージを表示し、キー画像の添付漏れを防止することができる。また、読影レポートに添付されたキー画像の局所構造に対応する所見が入力されたかをチェックすることもでき、所見の記入漏れを防止することができる。さらに、所見から抽出された所見局所構造リストに基づいて、医用画像データの中から、予めキー画像となり得るスライス画像を絞り込んで表示してもよい。
このように、第2の実施形態に係る読影レポート作成装置100は、所見情報を用いて読影レポートに記載された所見に関係のないキー画像が読影レポートに関連付けられる(たとえば添付される)ことを防止することができる。また、所見に関係するキー画像が読影レポートに関連付けられているか否か(たとえば読影レポートへの添付の有無)をチェックすることで、キー画像の関連付け漏れ(たとえばキー画像の添付漏れ)を防止することができる。
(第3の実施形態)
図19は、実施形態に係る読影レポート作成装置100の第3の実施形態の機能構成例を示す機能ブロック図である。
第3の実施形態に係る読影レポート作成装置100は、新規読影レポートの作成の際に参考になると予想される他の読影レポートを参照用の読影レポートとしてユーザに提示するよう構成された点で第1の実施形態および第2の実施形態に係る読影レポート作成装置100と異なる。他の構成については図2に示した第1の実施形態と実質的に異ならないため、同じ構成についての説明は省略する。
一般に、モダリティ装置種別や患者名などの限られた情報にもとづいて参照すべき過去の読影レポートの検索を行う場合、検索結果として膨大な量の読影レポートが出力されうる。この場合、読影医等は、膨大な量の読影レポートの内容を確かめ、レポート作成対象の検査内容や撮影された解剖学的位置または部位が一致するかどうかを調べながら、参考となる読影レポートを手作業で探す必要があり、大変不便である。
そこで、第3実施形態に係る読影レポート作成装置100は、第1実施形態および/または第2実施形態に係る読影レポート作成装置100の構成に加え、さらに局所構造の位置を用いて参照すべき読影レポートを容易に読影者に提示可能に構成される。
本実施形態に係る読影レポート作成装置100は、通信制御装置10を介して電子ネットワーク経由で医用画像一元管理サーバ200、モダリティ装置300、および、HIS/RIS400に加え、さらに読影レポートサーバ500と接続している。この場合、医用画像一元管理サーバ200、HIS/RIS400、読影レポートサーバ500、読影レポート作成装置100は、クラウド上の読影レポート作成システムとして構成されていてもよい。
読影レポートサーバ500は、読影医等が作成した読影レポートが格納される。この読影レポートには、検査依頼、所見、医用画像および医用画像を構成する複数の画像から選択されたキー画像が関連付けされている。なお、検査依頼、所見、医用画像およびキー画像の情報は、まとめて読影レポートサーバ500に保存されていてもよいし、検査依頼や医用画像を一意に特定するIDなどにより、HIS/RIS400や医用画像一元管理サーバ200に蓄積されたデータと関連付けされて保存されていてもよい。
図19に示すように、第3実施形態に係る読影レポート作成装置100は、レポート検索部61、記憶部20、表示部40、入力部50を有する。レポート検索部61は、たとえば記憶部20に格納されたプログラムを主制御部30のプロセッサが実行することによって実現される。
記憶部20は、医用画像一元管理サーバ200やモダリティ装置300から医用画像入力部31を介して受信した医用画像データを記憶する。また、記憶部20には、新規作成される読影レポートの作成対象である医用画像データと、読影レポートを新規作成する際に参照される参照レポートに関連付けされた医用画像データとが記憶される。記憶部20に記憶された、または医用画像一元管理サーバ200に記憶されたこれらの医用画像データは、医用画像入力部31に与えられる。
また、記憶部20は、キー画像と関連付けられた読影レポートを複数記憶する。以下の説明では、新規作成される現在作成中の読影レポートを「新規レポート」、新規作成される読影レポートの作成対象である医用画像データを「新規画像データ」という。また、以下の説明では、読影レポートを新規作成する際に参照する読影レポートを「参照レポート」、参照レポートに関連付けされた医用画像データを「参照画像データ」という。
読影レポート作成装置100は、第1実施形態および第2実施形態に示した通りの手順により、所見を含みキー画像が関連付けられた読影レポートを作成することができる。読影レポートは、所見入力部32に入力された所見情報を少なくとも含む。所見は、所定の部位の状態(たとえば読影により発見された異常など)の情報を含む。たとえば、所見には、異常が確認された解剖学的位置または部位と、その異常の態様が記録される。以下の説明では、読影レポートが所見を含むとともに、読影レポートに対してのキー画像選択部34により選択されたキー画像が添付される場合の例について示す。読影レポート作成装置100で作成された読影レポートは、記憶部20および読影レポートサーバ500に記憶される。
なお、参照レポートに関連付けられて記憶部20に記憶された医用画像データ(参照画像データ)には、解剖学的位置情報が付与されているものとする。たとえば、読影レポート作成装置100により生成された読影レポートであれば、解剖学的位置検出部33により、読影レポートに関連付けられた医用画像(キー画像を含む)に対して解剖学的位置情報が付与されている。
レポート検索部61は、新規レポートを作成する際に、新規レポートのキー画像局所構造リストにもとづいて記憶部20から、この新規レポートに類似し、新規レポートの作成において参考となる読影レポート(参照レポート)を検索し、表示部40に表示させる。
また、レポート検索部61は、大量の参照レポートが検索された場合、ユーザによる入力部50を介した指定条件に応じて参照レポートの絞り込みを行うことができる。
たとえば、指定条件としては、新規レポートと参照レポートとの「一致度」を用いることができる。ここで、一致度とは、新規レポートと他の読影レポートとの類似性を数値化したものをいう。一致度を用いて絞り込む場合は、たとえば、ユーザから入力部50を介して指示された閾値以上の一致度を有する参照レポートを絞り込んで表示部40に表示させるとよい。
新規レポートと複数の読影レポートのそれぞれとの一致度は、たとえば記憶部20に記憶された複数の読影レポートのそれぞれのキー画像局所構造リストと、新規レポートのキー画像局所構造情報とにもとづいて求めることができる。そして、記憶部20に記憶された複数の読影レポートから一致度が所定の値以上となる読影レポートを検索して参照レポートとして表示部40に表示させる。
なお、新規レポートのキー画像局所構造リストは、第1および第2実施形態で説明したとおり、キー画像選択部34により選択されることにより新規レポートに対して関連付けられたキー画像にもとづいて、キー画像局所構造リスト生成部35により生成される。また、記憶部20に記憶された複数の読影レポートのそれぞれのキー画像局所構造リストは、複数の読影レポートのそれぞれに関連付けられたキー画像にもとづいてキー画像局所構造リスト生成部35により生成される。
レポート検索部61は、部位の種類や部位の割合などの情報にもとづいて一致度を求めてもよい。この場合、レポート検索部61は、たとえば記憶部20に記憶された読影レポートのキー画像局所構造リストに含まれる局所構造の部位が、ユーザにより入力部50を介して指定された部位と一致する割合が高いほど高くなるように、あるいは、新規レポートのキー画像局所構造リストに含まれる局所構造の部位と一致する割合が高いほど高くなるように、一致度を求める。
また、新規画像と参照画像とにキー画像が特定されている場合、レポート検索部61はキー画像にもとづいて一致度を算出してもよい。この場合、たとえば、キー画像の最も近い位置に存在する解剖学的位置に対応する局所構造(最近傍AL)が一致するかどうか、または、一致する最近傍ALの種類や割合にもとづいて、一致度を算出してもよい。また、キー画像が複数ある場合は、代表キー画像を抽出して一致度を算出してもよい。さらに、最近傍ALの解剖学的位置からキー画像の所定の位置までの距離(最近傍AL距離)にもとづいて、一致度を算出してもよい。なお、最近傍AL距離は位置情報生成部37によって算出される。
また、レポート検索部61は、新規レポートのキー画像局所構造リストに含まれた局所構造にもとづいて転移または併発の観点から所定の局所構造(転移、併発が予想される部位に関連する局所構造)を特定し、記憶部20に記憶された複数の読影レポートから所定の局所構造に関連付けられた読影レポートを検索して参照レポートとして表示部40に表示させてもよい。
具体的には、レポート検索部61は、新規画像の原発部位に関連する局所構造(以下、原発部位ALという)にもとづいて、転移先または併発部位に関連する参照レポートを検索する。このとき、新規画像データの原発部位ALにもとづいて、新規画像データから転移先/併発部位に関連する解剖学的位置を含むスライス画像を表示してもよいし、被検体の過去の検査データなどから、原発部位ALや新規画像データから転移先/併発部位に関連する解剖学的位置に関するデータを表示してもよい。
転移、併発が予想される部位に関連する局所構造は、「原発部位AL」と「疾患名」に対してあらかじめ関連付けておくことができる。このため、レポート検索部61は、新規レポートのキー画像局所構造リストの局所構造の一部または全部を原発部位ALとして、転移、併発が予想される部位についての参照レポートを抽出することができる。また、新規レポートに関連付けされた検査依頼などから想定病名や、既往歴などの疾患名を取得することで、レポート検索部61は、原発部位ALに加えて疾患名を用いて参照レポートを絞り込むことができる。新規レポートのキー画像局所構造リストにもとづいて、転移や併発の可能性のある局所構造を含む参照レポートを確認することにより、転移や併発の見落としを防止することができる。
また、レポート検索部61は、記憶部20に記憶された複数の読影レポートから、新規レポートの読影手順と類似する読影手順で読影された読影レポートを検索して参照レポートとして表示部40に表示させてもよい。具体的には、レポート検索部61は、読影において使用された読影手順を案内するナビゲーションの種類や、読影順序、読影の際に使用した画像処理の種類など、読影において実行された各種処理や手順が類似するかどうかによって、参照レポートの絞り込みを行ってもよい。
図20は、第3実施形態に係る読影レポート作成装置100の絞り込み条件を入力するための画面の第1の表示例を説明する図である。
レポート検索部61は、参照レポートをリスト化した参照レポートリストT3を生成して表示部40に表示させる。ユーザは、図20のボタンB1を押下すると、参照レポートリストT3のそれぞれの列の順序を並び替えることができる。たとえば、ボタンB1の上側のボタンを押下すると、レポート作成日時の昇順に並び替えが実行され、ボタンB1の下側のボタンを押下すると、レポート作成日時の降順に並び替えが実行される。
また、ボタンB1を押下すると、列内に存在するデータの一覧が表示されてもよい。テーブルT4は、参照レポートリストT3の代表部位のボタンB1を押下し、列内に存在するデータの一覧の表示例である。図20に示す例では、テーブルT4に「頭部」、「胸部」、「腹部」が示されており、チェックボックスにより1つ以上の部位を選択することで、代表部位の種類により参照レポートの絞り込みが実行される。
また、図20に示すように、絞り込み条件はプルダウンメニューで入力されてもよい(図20の絞り込み条件1参照)。図20には、絞り込み条件として「転移先/併発部位」が選択された場合の例について示した。「転移先/併発部位」が選択されると、レポート検索部61は、新規画像の原発部位ALにもとづいて、転移先/併発部位に関連する参照レポートを絞り込んで表示する。
なお、図20には、絞り込み条件としてプルダウンメニューにより「転移先/併発部位」が選択された例を示したが、たとえば、読影において使用された読影手順を案内するナビゲーションの種類や、読影順序、読影の際に使用した画像処理の種類など、読影において実行された各種処理や手順が類似するかどうかによって参照レポートの絞り込みが行われてもよい。また、上述の通り、新規画像データの原発部位ALにもとづいて、新規画像データから転移先/併発部位に関連する解剖学的位置を含むスライス画像を表示してもよいし、被検体の過去の検査データなどから、原発部位ALや新規画像データから転移先/併発部位に関連する解剖学的位置に関するデータを表示してもよい。
図21は、第3実施形態に係る読影レポート作成装置100の絞り込み条件を入力するための画面の第2の表示例を説明する図である。図21には、絞り込み条件として一致度計算条件を用いる場合の例を示した。
図21の一致度計算条件受け付け画像W1に示すように、ユーザは、一致度の計算対象と計算方法を絞り込み条件として入力することもできる。この場合、入力部50から入力された計算条件は、レポート検索部61に入力される。レポート検索部61は、この入力された条件に応じた一致度を求める。ユーザは、たとえばボタンB2を押下することにより、一致度計算条件をプルダウンで表示させることができる。図21には、条件1として「キー画像の最近傍AL」が選択され、条件2として「距離」が選択され、「距離」以外の選択肢として、プルダウンメニューに一致有無、一致数、一致割合が含まれる場合の例を示した。またボタンB3を押下することで、そのほかの条件(たとえば、その他の計算条件や、重みづけなどの条件)を追加することができてもよい。また、計算条件は何度も変更することが可能である。計算条件が変更されるたびにレポート検索部61により一致度が再算出されてもよいし、一致度算出実行ボタンなどを画面に設け、ボタンの押下により一致度の算出処理が実行されてもよい。
また、図21に示すように、一致度計算条件受け付け画像W1には、さらに一致度の数値の絞り込み条件を入力する欄が設けられてもよい。図21には、一致度の数値の絞り込み条件の入力ボックスに「0.8」が入力され、その横に表示された「以上」のラジオボタンが選択され、一致度の数値の絞り込み種別として、「0.8以上」が指定された場合の例について示した。
このように、一致度の数値の絞り込み条件を設定することで、一致度の数値に応じて参照レポートを絞り込むことができる。また、一致度計算条件として「距離」が選択された場合、距離の算出方法を選択するための画像T5を表示するとよい。この場合、複数の距離の組み合わせにより一致度が算出されてもよいことから、チェックボックスで複数の距離の算出方法が選択されてもよい。
また、レポート検索部61は、記憶部20に記憶された複数の読影レポートのそれぞれのサムネイル画像に対して、人体を模した人体図上に複数の読影レポートのそれぞれのキー画像局所構造情報に含まれた局所構造の位置を示すマークを付したマッピング図を重畳した重畳画像を生成し、生成した複数の重畳画像を表示部40に一覧表示させてもよい。
図22は、参照レポートをサムネイル表示する場合の一例を示す説明図である。
図22に示す例では、参照レポート選択画面W2が表示部40に表示される。レポート検索部61は、参照レポートを示すサムネイル画像(アイコン)の中から、ユーザにより入力部50を介して1つのサムネイル画像が選択されると、この選択された参照レポートを表示部40に表示させる。
図22の参照レポート選択画面W2の参照レポート表示D1は、参照レポートのサムネイル画像を示している。参照レポート画像が複数ページに及ぶ場合は、代表的なページもしくは、第1ページ目のサムネイル画像であってもよい。参照レポートのサムネイル画像には、参照レポートに記載された所見やキー画像が表示されている。
また、図22の参照レポート表示D1には、人体を模した図(人体図)D2が重畳表示されている。人体図D2としては、たとえば一般的な人体の解剖図を用いることができる。以下、人体図として人体の解剖図を用いる場合の例について説明する。人体の解剖図とは、人体内の構造物の位置、外観、形状を理解するためのものであって、臓器、部位、器官ごとにイラストまたは写真等で表したものである。解剖図は、2次元であってもよいし、3次元であってもよい。また、頭部や胸部などの部位ごとや、心臓や肝臓、呼吸器系や消化器系などの分類で作成されてもよい。また、解剖図は、冠状面、矢状面、横断面のいずれについて作成されていてもよく、たとえば、人体の冠状面について、背側から腹側にかけて2次元で表現した解剖図を連続的につなげたものであってもよいし、3次元的な解剖図を所定の断面で切断して表示できるものであってもよい。この解剖図は、外部記憶装置からダウンロードされてもよいし、外部記憶装置を直接参照してもよい。
解剖図D2に示された点は、参照レポートのキー画像の最近傍ALまたは、アノテーションの位置を示している。また、解剖図D2に示された点は、新規画像の解剖学的位置と対応する位置に表示されてもよい。
参照レポート選択画面W2の上部には、絞り込み条件を入力するためのプルダウンメニューが表示されている。これらのプルダウンメニューによる絞込みだけでなく、新規画像の解剖学的位置を表示した解剖図を用いて、参照レポートの絞り込みを行ってもよい。たとえば、表示部40に新規画像の解剖学的位置を表示した解剖図と参照レポート選択画面W2とを併せて表示し、新規画像の解剖学的位置を選択することで、対応する参照レポートが絞り込まれてもよい。
図22に示す参照レポート選択画面W2を用いることにより、参照レポートに関連する解剖学的位置を解剖図上に示すことができる。このため、ユーザは視覚的に参照レポートを選択することができる。また、解剖図の表示により直観的な操作による参照レポートの絞り込みが可能となる。
図23は、第3実施形態に係る読影レポート作成装置100の参考情報表示の表示例を説明するための図である。参考情報表示は、解剖学的位置にもとづいてレポート検索部61により生成される。
図23には図22の参照レポート表示D1に解剖図D2が表示された参照レポートのアイコンが示されている。図23に示すように、解剖図D2上の点を選択することで、その点に対応する局所構造や、その局所構造に関する参考図書や参考文献、医学情報、症例情報、インターネットなどの検索結果を表示させてもよい。
たとえば、解剖図D2上の点を選択すると、ポップアップ表示が行われる(図23参照)。ポップアップ表示中の「表示」ボタンを押下することで、その局所構造に関する参考図書などが表示され、その局所構造に関する症例などを表示してもよいし、解剖学辞典から該当の解剖学的位置または部位の解説などを表示してもよい。このような参考図書などは、読影レポート作成装置100の記憶部20に格納されていてもよいし、外部記憶装置からダウンロードされてもよく、外部記憶装置を直接参照してもよい。また、その局所構造についてインターネットで検索された検索結果を表示してもよい。このように、局所構造について調べられることにより、読影医などのユーザは様々な情報を読影レポート作成装置100から取得することができる。
第3実施形態に係る読影レポート作成装置100は、第1および第2実施形態にかかる読影レポート作成装置100と同様の効果を奏する。また、第3実施形態に係る読影レポート作成装置100は、読影レポートを新規作成する際に参考となる読影レポートを、新規画像データの解剖学的位置を用いて検索を行うことにより、精度の高い検索を行うことができる。また、新規画像に特定されたキー画像の近傍に位置する解剖学的位置を用いて、参照レポートを検索することも可能であり、新規作成する読影レポートとより近い条件の読影レポートを参照することが可能となる。したがって、参照レポートの多くの部分を新規レポートに流用することができ、より効率のよい読影レポートの作成が可能となる。さらに、解剖学的位置を用いることで、転移や併発部位に関係する参照レポートの検索を漏れなく実施することができ、見落としを防止することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 読影レポート作成装置
200 医用画像一元管理サーバ
300 モダリティ装置
10 通信制御装置
20 記憶部
30 主制御部
40 表示部
50 入力部
31 医用画像入力部
32 所見入力部
33 解剖学的位置検出部
34 キー画像選択部
35 キー画像局所構造リスト生成部
36 所見局所構造リスト生成部
37 位置情報生成部
39 リスト判定部
61 レポート検索部

Claims (15)

  1. 所見を含みキー画像に関連付けられた読影レポートを作成する読影レポート作成装置であって、
    医用画像を構成する複数の画像の中から1つまたは複数の画像を前記キー画像として選択するキー画像選択部と、
    前記医用画像から人体の局所構造を少なくとも1つ抽出し、抽出された前記局所構造の位置を検出する位置検出部と、
    抽出された少なくとも1つの前記局所構造のうち前記キー画像の位置から第1所定距離以内にある前記局所構造を第1局所構造として特定する特定部と、
    特定された前記第1局所構造の位置から、前記キー画像上のアノテーションの座標まで、または前記キー画像の中央の座標まで、または前記キー画像上の検査対象の臓器の座標まで、の距離を算出する位置情報生成部と、
    特定された前記第1局所構造のうち、前記位置情報生成部により求められた前記距離が第2所定距離より短い前記第1局所構造の情報を第1の局所構造情報として生成する第1の局所構造情報生成部と、
    前記所見の入力欄に記載する候補として前記第1の局所構造情報を表示する表示部と、
    を備えた読影レポート作成装置。
  2. 前記医用画像について、所定の部位の状態を含む所見が少なくとも入力される所見入力部と、
    前記所見に含まれた前記所定の部位に関連する前記局所構造を第2局所構造として特定し、特定した前記第2局所構造の情報を第2の局所構造情報として生成する第2の局所構造情報生成部と、
    前記第1の局所構造情報に含まれる前記第1局所構造が、前記第2の局所構造情報に存在するか否か判定するリスト判定部と、
    をさらに備え、
    前記表示部は、前記キー画像が選択されると、前記リスト判定部による判定結果を表示する、
    請求項1に記載の読影レポート作成装置。
  3. 前記医用画像を構成する前記複数の画像のそれぞれはスライス画像であるとともに前記スライス画像はそれぞれ固有の番号を有し、
    前記位置情報生成部は、
    前記第1局所構造の位置として、前記第1局所構造の位置の座標または、前記第1局所構造の位置のスライス画像の番号を用いる、
    請求項1または2に記載の読影レポート作成装置。
  4. 前記第1の局所構造情報生成部は、
    前記位置情報生成部により求められた前記距離の長さに応じて前記第1の局所構造情報の並べ替えを行う、
    請求項ないしのいずれか1項に記載の読影レポート作成装置。
  5. 前記第1の局所構造情報生成部は、
    検査依頼に含まれる、少なくとも検査部位の情報、検査目的、および、治療内容のいずれかの情報によって前記第1の局所構造情報に含まれた前記第1局所構造の絞り込みを行う、
    請求項1ないしのいずれか1項に記載の読影レポート作成装置。
  6. 複数の読影レポートを記憶する記憶部と、
    現在作成中の新規読影レポートの第1の局所構造情報にもとづいて前記記憶部に記憶された前記複数の読影レポートから前記新規読影レポートの参照用の読影レポートを検索して前記表示部に表示させるレポート検索部と、
    をさらに備えた請求項1ないしのいずれか1項に記載の読影レポート作成装置。
  7. 前記レポート検索部は、
    前記記憶部に記憶された前記複数の読影レポートのそれぞれの第1の局所構造情報と、前記新規読影レポートの前記第1の局所構造情報と、にもとづいて、前記新規読影レポートと前記複数の読影レポートのそれぞれとの一致度を求め、前記記憶部に記憶された前記複数の読影レポートから前記一致度が所定の値以上となる読影レポートを検索して前記表示部に表示させ、
    前記新規読影レポートの前記第1の局所構造情報は、前記キー画像選択部により選択されることにより前記新規読影レポートに関連付けられたキー画像にもとづいて前記第1の局所構造情報生成部により生成された前記第1の局所構造情報であり、
    前記記憶部に記憶された前記複数の読影レポートのそれぞれの前記第1の局所構造情報は、前記複数の読影レポートのそれぞれに関連付けられたキー画像にもとづいて前記第1の局所構造情報生成部により生成された前記第1の局所構造情報である、
    請求項記載の読影レポート作成装置。
  8. 前記レポート検索部は、
    前記新規読影レポートの前記第1の局所構造情報に含まれた前記第1局所構造にもとづいて転移または併発の観点から所定の局所構造を特定し、前記記憶部に記憶された前記複数の読影レポートから前記所定の局所構造に関連付けられた読影レポートを検索して前記表示部に表示させる、
    請求項または記載の読影レポート作成装置。
  9. 前記レポート検索部は、
    前記記憶部に記憶された前記複数の読影レポートから、前記新規読影レポートの読影手順と類似する読影手順で読影された読影レポートを検索して前記表示部に表示させる、
    請求項ないしのいずれか1項に記載の読影レポート作成装置。
  10. 前記レポート検索部は、
    前記記憶部に記憶された前記複数の読影レポートのそれぞれのサムネイル画像に対して、人体を模した人体図上に前記複数の読影レポートのそれぞれの前記第1の局所構造情報に含まれた局所構造の位置を示すマークを付したマッピング図を重畳した重畳画像を生成し、生成した複数の前記重畳画像を前記表示部に一覧表示させる、
    請求項ないしのいずれか1項に記載の読影レポート作成装置。
  11. 前記レポート検索部は、
    前記第1局所構造に関連する参考文献、参考図書、医学情報、症例情報を示す画像を生成して前記表示部に表示させる、
    請求項ないし10のいずれか1項に記載の読影レポート作成装置。
  12. 前記位置情報生成部は、
    前記キー画像上の前記アノテーションが領域を有する場合、前記キー画像上の前記アノテーションの座標として前記キー画像上の前記アノテーションの中心の座標を用いる、
    請求項1ないし11のいずれか1項に記載の読影レポート作成装置。
  13. 前記表示部は、
    前記第1の局所構造情報とともに、前記位置情報生成部により求められた前記距離を表示する、
    請求項1ないし12のいずれか1項に記載の読影レポート作成装置。
  14. 前記位置情報生成部は、
    特定された前記第1局所構造の位置から、前記キー画像上の前記アノテーションの座標まで、または前記キー画像の前記中央の座標まで、または前記キー画像上の前記検査対象の臓器の座標まで前記距離および方向を算出
    前記表示部は、
    前記第1の局所構造情報とともに、前記位置情報生成部により求められた前記距離および前記方向を表示する、
    求項13記載の読影レポート作成装置。
  15. ネットワークを介して医用画像を取得するとともに、所見を含みキー画像に関連付けられた読影レポートを作成する読影レポート作成システムであって、
    医用画像を構成する複数の画像の中から1つまたは複数の画像を前記キー画像として選択するキー画像選択部と、
    前記医用画像から人体の局所構造を少なくとも1つ抽出し、抽出された前記局所構造の位置を検出する位置検出部と、
    抽出された少なくとも1つの前記局所構造のうち前記キー画像の位置から第1所定距離以内にある前記局所構造を第1局所構造として特定する特定部と、
    特定された前記第1局所構造の位置から、前記キー画像上のアノテーションの座標まで、または前記キー画像の中央の座標まで、または前記キー画像上の検査対象の臓器の座標まで、の距離を算出する位置情報生成部と、
    特定された前記第1局所構造のうち、前記位置情報生成部により求められた前記距離が第2所定距離より短い前記第1局所構造の情報を生成する局所構造情報生成部と、
    前記所見の入力欄に記載する候補として前記第1局所構造の情報を表示する表示部と、
    を備えた読影レポート作成システム。
JP2015037171A 2014-03-11 2015-02-26 読影レポート作成装置および読影レポート作成システム Active JP6595193B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015037171A JP6595193B2 (ja) 2014-03-11 2015-02-26 読影レポート作成装置および読影レポート作成システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014048082 2014-03-11
JP2014048082 2014-03-11
JP2015037171A JP6595193B2 (ja) 2014-03-11 2015-02-26 読影レポート作成装置および読影レポート作成システム

Publications (2)

Publication Number Publication Date
JP2015187845A JP2015187845A (ja) 2015-10-29
JP6595193B2 true JP6595193B2 (ja) 2019-10-23

Family

ID=54069196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015037171A Active JP6595193B2 (ja) 2014-03-11 2015-02-26 読影レポート作成装置および読影レポート作成システム

Country Status (2)

Country Link
US (1) US9922268B2 (ja)
JP (1) JP6595193B2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013072795A2 (en) * 2011-11-14 2013-05-23 Koninklijke Philips Electronics N.V. Processing a report
US10586618B2 (en) 2014-05-07 2020-03-10 Lifetrack Medical Systems Private Ltd. Characterizing states of subject
JP6397277B2 (ja) * 2014-09-05 2018-09-26 キヤノン株式会社 読影レポート作成のための支援装置およびその制御方法
US10740552B2 (en) * 2014-10-08 2020-08-11 Stryker Corporation Intra-surgical documentation system
US10311566B2 (en) 2015-06-12 2019-06-04 International Business Machines Corporation Methods and systems for automatically determining image characteristics serving as a basis for a diagnosis associated with an image study type
JP6827706B2 (ja) * 2015-09-09 2021-02-10 キヤノン株式会社 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
US10276265B2 (en) * 2016-08-31 2019-04-30 International Business Machines Corporation Automated anatomically-based reporting of medical images via image annotation
US10729396B2 (en) 2016-08-31 2020-08-04 International Business Machines Corporation Tracking anatomical findings within medical images
WO2018193089A1 (en) * 2017-04-20 2018-10-25 Koninklijke Philips N.V. Systems and methods for computer-assisted search of image slices for indications of a finding
USD855651S1 (en) 2017-05-12 2019-08-06 International Business Machines Corporation Display screen with a graphical user interface for image-annotation classification
JP6797088B2 (ja) 2017-08-17 2020-12-09 富士フイルム株式会社 学習データ生成支援装置および学習データ生成支援装置の作動方法並びに学習データ生成支援プログラム
JP6807820B2 (ja) 2017-10-31 2021-01-06 富士フイルム株式会社 画像検索装置、方法およびプログラム
US10832808B2 (en) * 2017-12-13 2020-11-10 International Business Machines Corporation Automated selection, arrangement, and processing of key images
JP6843785B2 (ja) * 2018-02-28 2021-03-17 富士フイルム株式会社 診断支援システム、診断支援方法、及びプログラム
JP7066491B2 (ja) * 2018-04-10 2022-05-13 キヤノンメディカルシステムズ株式会社 医用画像処理装置、教師データ作成プログラム及び教師データ作成方法
US10891731B2 (en) * 2018-05-07 2021-01-12 Zebra Medical Vision Ltd. Systems and methods for pre-processing anatomical images for feeding into a classification neural network
US10949968B2 (en) 2018-05-07 2021-03-16 Zebra Medical Vision Ltd. Systems and methods for detecting an indication of a visual finding type in an anatomical image
US11836997B2 (en) * 2018-05-08 2023-12-05 Koninklijke Philips N.V. Convolutional localization networks for intelligent captioning of medical images
EP3696818A1 (en) * 2019-02-15 2020-08-19 Siemens Healthcare GmbH Automatic key image generation for radiology reports
JP7283230B2 (ja) * 2019-05-30 2023-05-30 コニカミノルタ株式会社 医用画像管理装置及びプログラム
JP2019185814A (ja) * 2019-07-12 2019-10-24 キヤノンマーケティングジャパン株式会社 医用画像診断支援システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
CN112420167A (zh) * 2019-08-20 2021-02-26 阿里巴巴集团控股有限公司 影像报告的生成方法、装置及设备
JP7388065B2 (ja) * 2019-09-06 2023-11-29 大日本印刷株式会社 画像出力装置及びプログラム
WO2021107098A1 (ja) 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
CN112333798B (zh) * 2020-11-05 2022-01-18 珠海格力电器股份有限公司 一种智能设备的控制方法及装置
EP4283629A4 (en) * 2021-01-20 2024-07-10 Fujifilm Corp DEVICE FOR SUPPORTING DOCUMENT PRODUCTION, METHOD FOR SUPPORTING DOCUMENT PRODUCTION AND PROGRAM
JPWO2022230641A1 (ja) * 2021-04-30 2022-11-03
US12033740B2 (en) * 2021-12-04 2024-07-09 Vasileios K. Papaioannou Systems and methods for robust and automatic face de-identification for CT and MRI

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2381653C (en) * 1999-08-09 2010-10-26 Wake Forest University A method and computer-implemented procedure for creating electronic, multimedia reports
JP5003098B2 (ja) * 2006-10-25 2012-08-15 富士ゼロックス株式会社 文書編集支援システム、文書編集支援方法及び文書編集支援プログラム
EP1947606A1 (en) 2007-01-16 2008-07-23 National University Corporation Kobe University Medical image processing apparatus and medical image processing method
JP5646128B2 (ja) * 2007-02-28 2014-12-24 株式会社東芝 医用画像検索システム
JP2008259682A (ja) 2007-04-12 2008-10-30 Fujifilm Corp 部位認識結果修正装置、方法、およびプログラム
JP2009069977A (ja) 2007-09-11 2009-04-02 Fujifilm Corp 医用レポート作成システム及び医用レポート作成装置並びに医用レポート作成方法
JP2009082227A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
JP5091639B2 (ja) * 2007-11-21 2012-12-05 株式会社東芝 レポート検索装置、及びレポート検索方法
JP5138431B2 (ja) 2008-03-17 2013-02-06 富士フイルム株式会社 画像解析装置および方法並びにプログラム
JP2009076102A (ja) * 2008-12-22 2009-04-09 Toshiba Corp 医療情報提供システム
JP2010178842A (ja) 2009-02-04 2010-08-19 Toshiba Corp 医用画像データ処理装置及び医用画像データ処理方法
JP5486364B2 (ja) * 2009-09-17 2014-05-07 富士フイルム株式会社 読影レポート作成装置および方法並びにプログラム
US20110182493A1 (en) * 2010-01-25 2011-07-28 Martin Huber Method and a system for image annotation
JP5764147B2 (ja) * 2010-03-08 2015-08-12 コーニンクレッカ フィリップス エヌ ヴェ 心臓イメージングにおける関心領域定義
JP5701685B2 (ja) * 2011-05-26 2015-04-15 富士フイルム株式会社 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
CN105144242B (zh) * 2013-04-19 2018-05-15 皇家飞利浦有限公司 对图像注释进行分组
JP6490985B2 (ja) * 2014-03-11 2019-03-27 キヤノンメディカルシステムズ株式会社 医用画像処理装置および医用画像処理システム
US9396534B2 (en) * 2014-03-31 2016-07-19 Toshiba Medical Systems Corporation Medical image processing apparatus and medical image processing system

Also Published As

Publication number Publication date
JP2015187845A (ja) 2015-10-29
US20150262014A1 (en) 2015-09-17
US9922268B2 (en) 2018-03-20

Similar Documents

Publication Publication Date Title
JP6595193B2 (ja) 読影レポート作成装置および読影レポート作成システム
US20210158531A1 (en) Patient Management Based On Anatomic Measurements
JP6490985B2 (ja) 医用画像処理装置および医用画像処理システム
JP6548393B2 (ja) 医用画像表示装置および医用画像表示システム
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
JP6542004B2 (ja) 医用画像処理装置、および医用画像処理システム
JP5455470B2 (ja) 医用画像読影システム
US20190295248A1 (en) Medical image specifying apparatus, method, and program
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP2012208726A (ja) 医用レポート作成装置、医用レポート作成方法および医用レポート作成プログラム
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
US11688498B2 (en) Medical document display control apparatus, medical document display control method, and medical document display control program
US20220366151A1 (en) Document creation support apparatus, method, and program
JP2015171456A (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
US20230320679A1 (en) Medical image display apparatus, method, and program
US20230005580A1 (en) Document creation support apparatus, method, and program
US20220392619A1 (en) Information processing apparatus, method, and program
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
US20230197253A1 (en) Medical image processing apparatus, method, and program
JP7299314B2 (ja) 医療文書作成装置、方法およびプログラム、学習装置、方法およびプログラム、並びに学習済みモデル
US20240046028A1 (en) Document creation support apparatus, document creation support method, and document creation support program
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
JP2024054748A (ja) 言語特徴抽出モデルの生成方法、情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20160512

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190926

R150 Certificate of patent or registration of utility model

Ref document number: 6595193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150