JP7368592B2 - 文書作成支援装置、方法およびプログラム - Google Patents

文書作成支援装置、方法およびプログラム Download PDF

Info

Publication number
JP7368592B2
JP7368592B2 JP2022503727A JP2022503727A JP7368592B2 JP 7368592 B2 JP7368592 B2 JP 7368592B2 JP 2022503727 A JP2022503727 A JP 2022503727A JP 2022503727 A JP2022503727 A JP 2022503727A JP 7368592 B2 JP7368592 B2 JP 7368592B2
Authority
JP
Japan
Prior art keywords
interpretation report
image
image interpretation
diagnostic
document creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022503727A
Other languages
English (en)
Other versions
JPWO2021172477A1 (ja
Inventor
佳児 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021172477A1 publication Critical patent/JPWO2021172477A1/ja
Application granted granted Critical
Publication of JP7368592B2 publication Critical patent/JP7368592B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、読影レポート等の文書の作成を支援する文書作成支援装置、方法およびプログラムに関する。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いた画像診断が可能となってきている。とくに、CT画像およびMRI画像等を用いた画像診断により、病変の領域の特定および解析を精度よく行うことができるため、適切な治療を実施できるようになってきている。
また、ディープラーニング等により機械学習がなされた学習モデルを用いたCAD(Computer-Aided Diagnosis)により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。CADにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
一方、上述したCT装置およびMRI装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開2019-153250号公報には、読影医が入力したキーワードおよび医用画像を解析結果に含まれる、関心構造物の性状を表す情報(以下、性状情報とする)に基づいて、読影レポートに記載するための文章を自動で生成する各種手法が提案されている。特開2019-153250号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章(以下、医療文章とする)が生成される。特開2019-153250号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
ところで、読影レポートを作成する際には、対象とする疾患に応じた診断ガイドラインに従って、必要な項目を記載する必要がある。診療ガイドラインとは、医療現場において適切な診断と治療を補助することを目的として、病気の予防、診断、治療、予後予測等診療の根拠および手順についての最新の情報を専門家の手で分かりやすくまとめた指針である。このため、診察で得られると予想される情報と病気の診断に利用される情報とを関連付けた診断ガイドラインデータベースを保持しておき、実際に診察で得られた情報の入力を受け付け、取得された診察に関する情報に基づいて、診断ガイドラインデータベースから病気の診断に利用される情報を抽出して表示する手法が提案されている(特開2005-110944号公報参照)。
診断ガイドラインは疾患毎に多岐に亘り、かつ絶えず改訂がなされる。このため、読影医は、すべての診断ガイドラインを覚えることが負担であり、最新版の診断ガイドラインを参照しつつ、読影レポートを記載することがある。しかしながら、診断ガイドラインと読影レポートとを見比べながら読影レポートを作成する作業は、読影医の負担が大きい。
本開示は上記事情に鑑みなされたものであり、診断ガイドラインを参照して読影レポートを作成する操作者の負担を軽減することを目的とする。
本開示による文書作成支援装置は、少なくとも1つのプロセッサを備え、
プロセッサは、画像の読影結果を表す読影レポートにおいて、読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
読影レポートにおける対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイに表示するように構成される。
なお、本開示による文書作成支援装置においては、プロセッサは、対応づけた結果を保存するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、医用画像を解析することにより、診断ガイドラインの項目に対応する解析結果を導出し、解析結果に基づいて読影レポートを生成し、
解析結果を用いて、読影レポートにおける診断ガイドラインの項目に対応する部分を特定するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、診断ガイドラインにおいて、読影レポートにない項目を特定して表示するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、診断ガイドラインは、病期の情報を含み、
プロセッサは、読影レポートにおける診断ガイドラインの病期の情報を特定するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、病期の情報は、TNM分類に基づく病期の情報であってもよい。
本開示による文書作成支援方法は、画像の読影結果を表す読影レポートにおいて、読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
読影レポートにおける対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイに表示する。
なお、本開示による文書支援作成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、診断ガイドラインを参照して読影レポートを作成する操作者の負担を軽減できる。
本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図 本実施形態による文書作成支援装置の概略構成を示す図 本実施形態による文書作成支援装置の機能構成図 性状情報の例を説明するための図 リカレントニューラルネットワークの模式的な構成を示す図 入力された医用画像および医用画像から生成された読影レポートを示す図 肺がんについての診断ガイドラインを示す図 肺がんについての診断ガイドラインを示す図 読影レポートおよび診断ガイドラインの表示画面を示す図 読影レポートおよび診断ガイドラインの表示画面を示す図 読影レポートおよび診断ガイドラインの表示画面を示す図 本実施形態において行われる処理を示すフローチャート 読影レポートおよび診断ガイドラインの表示画面の他の例を示す図 読影レポートおよび診断ガイドラインの表示画面の他の例を示す図
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による文書作成支援装置を適用した医療情報システム1の構成について説明する。図1は、医療情報システム1の概略構成を示す図である。図1に示す医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図1に示すように、医療情報システム1は、複数の撮影装置2、読影端末である複数の読影WS(WorkStation)3、診療WS4、画像サーバ5、画像データベース(以下、画像DB(DataBase)とする)6、レポートサーバ7およびレポートデータベース(以下レポートDBとする)8が、有線または無線のネットワーク10を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、DVD(Digital Versatile Disc)およびCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク10に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
撮影装置2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置(モダリティ)である。具体的には、単純X線撮影装置、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。撮影装置2により生成された医用画像は画像サーバ5に送信され、画像DB6に保存される。
読影WS3は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による文書作成支援装置20を内包する。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影WS3では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ7に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、読影WS3が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療WS4は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療WS4では、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した画像の表示、レポートサーバ7に対する読影レポートの閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、診療WS4が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は画像DB6が構成されるストレージを備えている。このストレージは、画像サーバ5とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク10に接続されているNAS(Network Attached Storage)およびSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像DB6に登録する。なお、本実施形態においては、疾患に応じた診断ガイドラインも画像サーバ5に保存されているものとするが、これに限定されるものではない。
画像DB6には、撮影装置2において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、医用画像毎に割り振られるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等)、1回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ5は、読影WS3および診療WS4からの閲覧要求をネットワーク10経由で受信すると、画像DB6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3および診療WS4に送信する。
レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートDB8に登録する。
レポートDB8には、読影医が読影WS3を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ID、読影を行った読影医を識別するための読影医ID、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
また、レポートサーバ7は、読影WS3および診療WS4からの読影レポートの閲覧要求をネットワーク10経由で受信すると、レポートDB8に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影WS3および診療WS4に送信する。
なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる3次元のCT画像とし、読影WS3においてCT画像を読影することにより、肺に含まれる異常陰影についての読影レポートを作成するものとする。なお、医用画像はCT画像に限定されるものではなく、MRI画像および単純X線撮影装置により取得された単純2次元画像等の任意の医用画像を用いることができる。
ネットワーク10は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク10は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
次いで、本実施形態による文書作成支援装置について説明する。図2は、本実施形態による文書作成支援装置のハードウェア構成を説明する。図2に示すように、文書作成支援装置20は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、文書作成支援装置20は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク10に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、文書作成支援プログラム12が記憶される。CPU11は、ストレージ13から文書作成支援プログラムを読み出してからメモリ16に展開し、展開した文書作成支援プログラム12を実行する。
次いで、本実施形態による文書作成支援装置の機能的な構成を説明する。図3は、本実施形態による文書作成支援装置の機能的な構成を示す図である。図3に示すように文書作成支援装置20は、取得部21、文章生成部22、特定部23、表示制御部24、保存制御部25および通信部26を備える。そして、CPU11が、文書作成支援プログラムを実行することにより、CPU11は、取得部21、文章生成部22、特定部23、表示制御部24、保存制御部25および通信部26として機能する。
取得部21は、操作者である読影医による入力デバイス15からの指示により、画像サーバ5から読影レポートを作成するための医用画像を取得する。また、画像サーバ5から、対象とする疾患である肺がんに関して診断ガイドラインも取得する。取得した医用画像および診断ガイドラインは、ストレージ13に保存される。
文章生成部22は、医用画像を解析することにより解析結果を導出し、解析結果に基づいて読影レポートを生成する。このために、文章生成部22は、医用画像における異常陰影候補を判別し、判別した異常陰影候補の性状を、予め定められた複数の性状項目のそれぞれについて判別する。異常陰影について特定される性状項目の例として、異常陰影の場所、異常陰影のサイズ、境界の形状(明瞭および不整形)、吸収値の種類(充実型およびスリガラス型)、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が挙げられる。
本実施形態においては、文章生成部22は、医用画像から異常陰影候補の性状を判別するように機械学習がなされた学習モデルを有する。学習モデルは、例えば医用画像における各画素(ボクセル)が異常陰影候補を表すものであるか否かを判別し、異常陰影候補である場合には、その性状を判別するように、教師データを用いてディープラーニング(深層学習)がなされた畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))からなる。
学習モデルは、例えば、異常陰影を含む医用画像と、異常陰影の性状を表す性状ラベルとの複数の組み合わせを教師データとして用いた機械学習によって学習される。学習モデルは、医用画像を入力とし、入力された医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力とする。性状スコアは、各性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば0以上1以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。
例えば異常陰影の性状項目の1つである「スピキュラの有無」についての性状スコアが例えば0.5以上である場合、異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り(陽性)」であることを特定し、「スピキュラ有無」についての性状スコアが例えば0.5未満である場合、異常陰影のスピキュラの有無についての性状が「スピキュラ無し(陰性)」であることを特定する。なお、性状判定に用いるしきい値0.5は、例示に過ぎず、性状項目毎に適切な値に設定される。
なお、医用画像を解析するための学習モデルとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))等の任意の学習モデルを用いることができる。また、医用画像から異常陰影候補を検出する学習モデルと、異常陰影候補の性状情報を検出する学習モデルとを別々に構築するようにしてもよい。
図4は文章生成部22が導出した性状情報の例を説明するための図である。図4に示すように文章生成部22が導出した性状情報30においては、各性状項目についての性状は、「左肺胸膜下」、「4.2cm」、「不整形」、「充実型」、「スピキュラ有」、「腫瘤」、「胸膜接触有」、「胸膜陥入有」、「胸膜浸潤無」、「空洞無」および「石灰化無」となっている。図4においては、「有り」の場合は+、無しの場合は-を付与している。
また、文章生成部22は、導出した性状情報を用いて所見文を生成する。本実施形態においては、このため、文章生成部22は、入力された性状情報から文章を生成するように学習が行われた学習モデルからなる。このような学習モデルとしては、例えばリカレントニューラルネットワークを用いることができる。図5はリカレントニューラルネットワークの模式的な構成を示す図である。図5に示すように、リカレントニューラルネットワーク40は、エンコーダ41およびデコーダ42からなる。エンコーダ41には、文章生成部22が導出した性状情報が入力される。例えば、エンコーダ41には、「左肺胸膜下」、「4.2cm」、「スピキュラ+」および「腫瘤」の性状情報が入力される。デコーダ42は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「4.2cm」、「スピキュラ+」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する4.2cm径の腫瘤が認められます。」の医療文章を生成する。なお、図5において「EOS」は文章の終わりを示す(End Of Sentence)。
このように、性状情報の入力によって所見文を出力するために、リカレントニューラルネットワーク40は、性状情報と所見文との組み合わせからなる多数の教師データを用いてエンコーダ41およびデコーダ42を学習することにより構築されてなる。なお、図5に示す生成された文章は肺結節についての所見を表すものであり、肺結節の性状情報を入力として学習モデルを学習することにより生成される。
ここで、文章生成部22が有する性状情報を導出する学習モデルおよび所見文を生成する学習モデルを、肺結節に関するもののみならず、リンパ節腫大および肺内転移等についても用意することにより、肺結節、リンパ節腫大および肺内転移等についての所見文を生成することが可能となる。文章生成部22は、これらの学習モデルを用いて、少なくとも1つの所見文を含む読影レポートを生成する。
図6は、入力された医用画像および医用画像から生成された所見文を含む読影レポートを示す図である。図6に示すように、入力された医用画像G0について、「右肺上葉S2に直径17mmの充実型結節を認め、辺縁にはスピキュラがあり、胸膜陥入像を伴っています。内部に気管支透亮像を認めます。リンパ節腫大は認められません。肺内転移ありません。」の読影レポート35が生成されている。
ここで、診断ガイドラインについて説明する。上述したように、診療ガイドラインとは、医療現場において適切な診断と治療を補助することを目的として、病気の予防、診断、治療、予後予測等診療の根拠および手順についての最新の情報を専門家の手で分かりやすくまとめた指針である。本実施形態においては、肺がんについての診断ガイドラインを取得部21が取得し、ストレージ13に保存している。図7および図8は肺がんについての診断ガイドラインを示す図である。なお、図7は肺がんのTNM分類に基づく病期(ステージ)を示し、図8は病期に示されているT因子、N因子およびM因子を示す。
図7に示すように、肺がんの病期は、0期、I期(IA、IB)、II期(IIA、IIB)、III期(IIIA、IIIB)およびIV期に分類される。なお、0期については図示してない。図7に示すように、各病期について、がんの大きさと浸潤を表すT因子、リンパ節への転移を表すN因子、および遠隔転移を表すM因子が示されている。
また、図8に示すように、各因子は複数段階に分類されて定義されている。例えば、T因子は、がんの大きさと浸潤の状態によって、T1~T4の4段階に分類されている。なお、T1,T2はそれぞれT1a,T1b,T2a,T2bのように、より細かく分類されている。また、N因子は、N1~N3の3段階に分類されている。なお、N0はリンパ節転移がないものである。また、M因子は、転移がない場合M0と転移がある場合のM1の2段階に分類されている。なお、M1はそれぞれM1a,M1bのように、より細かく分類されている。
特定部23は、読影レポートにおいて、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を特定する。このために、特定部23は、入力された文章において、診断ガイドラインに含まれる項目に対応する部分を対応部分として特定するように機械学習がなされた学習モデル23Aを有する。本実施形態においては、学習モデル23Aは、読影レポートが入力されると、入力された読影レポートにおいて、診断ガイドラインに含まれる項目に関する語句を対応部分として判別するように、教師データを用いてディープラーニングがなされた畳み込みニューラルネットワーク(CNN)からなる。
学習モデル23Aを学習するための教師データは、診断ガイドラインの項目に含まれる語句および診断ガイドラインの項目に含まれる語句を用いた文章が対応づけられてなる。ここで、診断ガイドラインの項目には、図8に示すように、T因子のT1aとして「腫瘤の最大径が2cm以下」、N因子のN0として「所属リンパ節転移なし」、M因子のM0として「遠隔転移なし」が含まれる。教師データとしては、例えば、診断ガイドラインの項目に含まれる「径」、「リンパ節」、「転移なし」、および「遠隔転移なし」の語句、並びに「直径15mmの結節を認めます。リンパ節転移は認めません。肺内転移もありません。」の文章を対応づけたものが例として挙げられる。学習モデル23Aは、このような教師データを多数用いてニューラルネットワークを学習することにより構築される。これにより、学習モデル23Aは、読影レポートが入力されると、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を出力するものとなる。また、特定部23は、読影レポートにおける上記対応部分を特定すると、診断ガイドラインにおける対応部分に対応する項目を特定する。
なお、学習モデル23Aとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシンおよびリカレントニューラルネットワーク等の任意の学習モデルを用いることができる。
また、特定部23は、学習モデル23Aにより上記対応部分を特定するものに限定されるものではない。腫瘤のサイズ、および診断ガイドラインに含まれる項目をキーワードとして、読影レポートを検索することにより、上記対応部分を特定するものであってもよい。
表示制御部24は、読影レポートにおける上記対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイ14に表示する。図9は読影レポートおよび診断ガイドラインの表示画面を示す図である。図9に示すように、表示画面50は、画像表示領域51、読影レポート表示領域52および診断ガイドライン表示領域53を有する。読影レポート表示領域52の下方には、切り替えボタン54、修正ボタン55および確定ボタン56が表示される。
画像表示領域51には、読影レポートを生成する対象となった医用画像G0に含まれる断層画像S0が表示される。読影レポート表示領域52には、文章生成部22が生成した読影レポートが表示される。読影レポートにおいては、特定部23が特定した対応部分が強調表示されている。図9から図11に示すように、読影レポートにおける「直径17mm」、「リンパ節腫大は認められません。」および「肺内転移はありません。」の3つの対応部分が、枠で囲まれることにより強調表示されている。なお、これら3つの対応部分の強調表示は異なる態様となっている。図9から図11においては、「直径17mm」は実線の枠、「リンパ節腫大は認められません。」は破線の枠、「肺内転移はありません。」は一点鎖線の枠となっている。なお、枠の線種を異なるものとすることに代えて、枠の色を異なるものとしてもよい。また、枠を付与することに代えて、文字をハイライト表示してもよく、文字色を変更してもよい。
また、診断ガイドライン表示領域53には、診断ガイドライン60A~60Cが表示される。診断ガイドライン60A~60Cは内容が多岐に亘るため、切り替えボタン54の選択することにより、診断ガイドライン表示領域53に表示される診断ガイドラインの内容を変更可能とされている。具体的には図9には、T因子およびN因子についての診断ガイドライン60Aが表示されている。また、図10にはM因子についての診断ガイドライン60Bが表示されている。また、図11には、病期についての診断ガイドライン60Cが表示されている。なお、診断ガイドラインの切り替え表示に代えて、スクロールにより診断ガイドラインの全体を参照可能に表示するようにしてもよい。
ここで、図9に示す診断ガイドライン60Aにおいては、読影レポートにおける「直径17mm」に対応するT1aの項目が強調表示されている。図9においては、T1aの項目の強調表示を、読影レポートにおける「直径17mm」の対応部分と同様の実線の枠61で囲むことにより示している。また、図9に示す診断ガイドライン60Aにおいては、読影レポートにおける「リンパ節腫大は認められません。」に対応するN0の項目も強調表示されている。図9においては、N0の項目の強調表示を、読影レポートにおける「リンパ節腫大は認められません。」の対応部分と同様の破線の枠62で囲むことにより示している。
また、図10に示す診断ガイドライン60Bにおいては、読影レポートにおける「肺内転移はありません。」に対応するM0の項目が強調表示されている。図11においては、M0の項目の強調表示を、読影レポートにおける「肺内転移はありません。」の対応部分と同様の一点鎖線の枠63で囲むことにより示している。
また、図11に示す診断ガイドライン60Cにおいては、読影レポートにおける「直径17mm」、「リンパ節腫大は認められません。」および「肺内転移はありません。」の3つの対応部分と、これらの対応部分に対応する項目から導き出される病期が強調表示されている。図11においては、IA期が強調表示されている。なお、図11においては強調表示を実線の枠64で囲むことにより表している。
なお、診断ガイドラインにおける項目の強調表示は、枠の付与に限定されるものではない。枠を付与することに代えて、文字をハイライト表示したり、文字色を変更したりしてもよい。
操作者は、表示画面50により、読影レポートと診断ガイドラインとを対比させて確認することができる。また、必要があれば、修正ボタン55を選択することにより、読影レポート表示領域52に表示された読影レポートを、入力デバイス15からの入力により修正することができる。読影レポートの確認または修正が完了した場合、操作者は確定ボタン56を選択する。
なお、特定部23は、読影レポートが修正されると、修正された読影レポートにおいて、改めて診断ガイドラインに含まれる項目に対応する対応部分を特定する。この場合、対応部分が追加または削除されれば、これに併せて診断ガイドラインにおける項目も追加または削除されることとなる。
保存制御部25は、操作者による確定ボタン56の選択により、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像G0に含まれる断層画像S0、および項目が強調表示された診断ガイドラインを併せて、ストレージ13に保存する。
通信部26は、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像G0に含まれる断層画像S0、および項目が強調表示された診断ガイドラインを併せて、ネットワークI/F17を介してレポートサーバ7に転送する。レポートサーバ7は、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像G0および項目が強調表示された診断ガイドラインを併せて保存する。
次いで、本実施形態において行われる処理について説明する。図12は第1の実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像G0および診断ガイドラインは、取得部21により画像サーバ5から取得されて、ストレージ13に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、文章生成部22は、医用画像G0を解析することにより解析結果を導出し、解析結果に基づいて読影レポートを生成する(ステップST1)。次いで、特定部23が、読影レポートにおいて、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を特定する(ステップST2)。
続いて表示制御部24が、読影レポートにおける診断ガイドラインの項目に対応する対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイ14に表示する(ステップST3)。この状態において、操作者は、表示画面50における診断ガイドライン表示領域53に表示する診断ガイドラインを切り替えたり、必要であれば文章表示領域51に表示された読影レポートを修正したりする。
次いで、保存制御部25が、確定ボタン56が選択されたか否かの監視を開始し(ステップST4)、ステップST4が肯定されると、保存制御部25は、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した医用画像G0に含まれる断層画像S0および項目が強調表示された診断ガイドラインを併せて、ストレージ13に保存する(読影レポート等保存;ステップST5)。そして、通信部26が、対応部分が強調表示された読影レポート、読影レポートを生成する際に参照した断層画像S0および項目が強調表示された診断ガイドラインを併せて、ネットワークI/F17を介してレポートサーバ7に転送し(読影レポート等転送;ステップST6)、処理を終了する。
このように、本実施形態においては、読影レポートにおいて、読影レポートに記載された疾患についての診断ガイドラインに含まれる項目に対応する対応部分を特定し、読影レポートにおける上記対応部分と、診断ガイドラインにおける項目とを対応づけて、読影レポートおよび診断ガイドラインをディスプレイ14に表示するようにした。このため、診断ガイドラインと読影レポートとを見比べながら読影レポートを作成する作業を効率よく行うことができる。したがって、本実施形態によれば、診断ガイドラインを参照して読影レポートを作成する操作者の負担を軽減することができる。
また、対応部分が強調表示された読影レポート、読影レポートを作成する際に参照した医用画像G0に含まれる断層画像S0および項目が強調表示された診断ガイドラインを併せて保存または転送するようにした。このため、患者の主治医が、読影レポートと診断ガイドラインとの対応づけを参照でき、その結果、効率よく診断を行うことができる。
なお、上記実施形態においては、読影レポートおよび診断ガイドラインを表示する際に、診断ガイドラインにおいて、読影レポートに記載がない項目を特定して表示するようにしてもよい。例えば、図13に示すように、読影レポートが「右肺上葉S2に直径17mmの充実型結節を認め、辺縁にはスピキュラがあり、胸膜陥入像を伴っています。内部に気管支透亮像を認めます。肺内転移ありません。」の場合、リンパ節転移に関する項目について、読影レポートに記載がない。この場合、診断ガイドライン60Aにおいて、「リンパ節転移(N因子)」を強調表示する。なお、図13においては強調表示を実線の枠65で囲むことにより示している。これにより、操作者は、診断ガイドラインに準拠して記載すべきいずれの項目が読影レポートにおいて抜けているかを、容易に認識することができる。したがって、診断ガイドラインに準拠した読影レポートを作成することができる。
また、上記実施形態においては、文章生成部22が医用画像G0を解析して読影レポートを生成しているが、これに限定されるものではない。図14に示すように、表示画面50の読影レポート表示領域52に、操作者が入力デバイス15を用いて読影レポートを入力するようにしてもよい。この場合、特定部23は、読影レポートの含まれる所見の一文が記載される毎に、読影レポートにおける診断ガイドラインの項目に対応する対応部分を特定してもよく、読影レポートの入力が完了してから、上記対応部分を特定するようにしてもよい。なお、この場合、図3に示す文章生成部22は不要となる。
また、上記実施形態においては、診断ガイドラインを画像サーバ5に保存しているが、これに限定されるものではない。診断ガイドラインを保存する専用のサーバを医療情報システム1に設け、この専用のサーバから診断ガイドラインを取得するようにしてもよい。
また、上記実施形態においては、文書作成支援装置20において読影レポートを生成しているが、これに限定されるものではない。取得部21が、レポートサーバ7から読影レポートを取得し、特定部23が、取得した読影レポートにおける、診断ガイドラインの項目に対応する対応部分を特定して、取得した読影レポートを診断ガイドラインと併せて表示するようにしてもよい。
また、上記実施形態においては、診断対象を肺とした医用画像を用いて読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。この場合、診断対象の部位に応じた診断ガイドラインを取得して、読影レポートにおける診断ガイドラインの項目と対応する対応部分を特定するようにすればよい。
また、上記各実施形態において、例えば、取得部21、文章生成部22、特定部23、表示制御部24、保存制御部25および通信部26といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 医療情報システム
2 撮影装置
3 読影WS
4 診療科WS
5 画像サーバ
6 画像DB
7 レポートサーバ
8 レポートDB
10 ネットワーク
11 CPU
12 文書作成支援プログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
17 ネットワークI/F
18 バス
20 文書作成支援装置
21 取得部
22 文章生成部
23 特定部
24 表示制御部
25 保存制御部
26 通信部
30 性状情報
35 読影レポート
40 リカレントニューラルネットワーク
41 エンコーダ
42 デコーダ
50 表示画面
51 画像表示領域
52 読影レポート表示領域
53 診断ガイドライン表示領域
54 切り替えボタン
55 修正ボタン
56 確定ボタン
60A~60C 診断ガイドライン
61~65 枠

Claims (8)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    画像の読影結果を表す読影レポートにおいて、前記読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
    前記読影レポートにおける前記対応部分と、前記診断ガイドラインにおける項目とを対応づけて、前記読影レポートおよび前記診断ガイドラインをディスプレイに表示するように構成される文書作成支援装置。
  2. 前記プロセッサは、前記対応づけた結果を保存するように構成される請求項1に記載の文書作成支援装置。
  3. 前記プロセッサは、医用画像を解析することにより、前記診断ガイドラインの項目に対応する解析結果を導出し、該解析結果に基づいて前記読影レポートを生成し、
    前記解析結果を用いて、前記読影レポートにおける前記診断ガイドラインの項目に対応する部分を特定するように構成される請求項1または2に記載の文書作成支援装置。
  4. 前記プロセッサは、前記診断ガイドラインにおいて、前記読影レポートにない項目を特定して表示するように構成される請求項1から3のいずれか1項に記載の文書作成支援装置。
  5. 前記診断ガイドラインは、病期の情報を含み、
    前記プロセッサは、前記読影レポートにおける前記診断ガイドラインの病期の情報を特定するように構成される請求項1から4のいずれか1項に記載の文書作成支援装置。
  6. 前記病期の情報は、TNM分類に基づく病期の情報である請求項5に記載の文書作成支援装置。
  7. 画像の読影結果を表す読影レポートにおいて、前記読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定し、
    前記読影レポートにおける前記対応部分と、前記診断ガイドラインにおける項目とを対応づけて、前記読影レポートおよび前記診断ガイドラインをディスプレイに表示することをコンピュータが実行する文書作成支援方法。
  8. 画像の読影結果を表す読影レポートにおいて、前記読影レポートに記載された疾患についての、診断ガイドラインに含まれる項目に対応する対応部分を特定する手順と、
    前記読影レポートにおける前記対応部分と、前記診断ガイドラインにおける項目とを対応づけて、前記読影レポートおよび前記診断ガイドラインをディスプレイに表示する手順とをコンピュータに実行させる文書作成支援プログラム。
JP2022503727A 2020-02-25 2021-02-25 文書作成支援装置、方法およびプログラム Active JP7368592B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020029705 2020-02-25
JP2020029705 2020-02-25
PCT/JP2021/007207 WO2021172477A1 (ja) 2020-02-25 2021-02-25 文書作成支援装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2021172477A1 JPWO2021172477A1 (ja) 2021-09-02
JP7368592B2 true JP7368592B2 (ja) 2023-10-24

Family

ID=77491699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022503727A Active JP7368592B2 (ja) 2020-02-25 2021-02-25 文書作成支援装置、方法およびプログラム

Country Status (2)

Country Link
JP (1) JP7368592B2 (ja)
WO (1) WO2021172477A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190055A (ja) 2003-12-25 2005-07-14 Japan Council For Quality Health Care 医療情報提供システム、医療情報提供システム用管理装置及び医療情報提供システム用管理装置のプログラム
JP2006260318A (ja) 2005-03-18 2006-09-28 Hitachi Medical Corp 読影レポート入力支援方法及び読影レポート入力支援システム
JP2015097127A (ja) 2015-02-10 2015-05-21 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
JP2018147275A (ja) 2017-03-07 2018-09-20 株式会社ジェイマックシステム 治療実績評価支援装置、治療実績評価支援方法、および治療実績評価支援プログラム
JP2018532209A (ja) 2015-11-05 2018-11-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 偶発的知見についての長期的健康患者プロファイル
JP2019149005A (ja) 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005190055A (ja) 2003-12-25 2005-07-14 Japan Council For Quality Health Care 医療情報提供システム、医療情報提供システム用管理装置及び医療情報提供システム用管理装置のプログラム
JP2006260318A (ja) 2005-03-18 2006-09-28 Hitachi Medical Corp 読影レポート入力支援方法及び読影レポート入力支援システム
JP2015097127A (ja) 2015-02-10 2015-05-21 キヤノン株式会社 診断支援装置、診断支援装置の制御方法、プログラム及び記憶媒体
JP2018532209A (ja) 2015-11-05 2018-11-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 偶発的知見についての長期的健康患者プロファイル
JP2018147275A (ja) 2017-03-07 2018-09-20 株式会社ジェイマックシステム 治療実績評価支援装置、治療実績評価支援方法、および治療実績評価支援プログラム
JP2019149005A (ja) 2018-02-27 2019-09-05 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Also Published As

Publication number Publication date
WO2021172477A1 (ja) 2021-09-02
JPWO2021172477A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US11139067B2 (en) Medical image display device, method, and program
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
US20230005601A1 (en) Document creation support apparatus, method, and program
US20220392619A1 (en) Information processing apparatus, method, and program
JP7420914B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
JP7436628B2 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023054646A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2023199956A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2023054645A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
US20230281810A1 (en) Image display apparatus, method, and program
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022196105A1 (ja) 情報管理装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
US20240078089A1 (en) System and method with medical data computing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231012

R150 Certificate of patent or registration of utility model

Ref document number: 7368592

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150