JP7436636B2 - 文書作成支援装置、方法およびプログラム - Google Patents

文書作成支援装置、方法およびプログラム Download PDF

Info

Publication number
JP7436636B2
JP7436636B2 JP2022510491A JP2022510491A JP7436636B2 JP 7436636 B2 JP7436636 B2 JP 7436636B2 JP 2022510491 A JP2022510491 A JP 2022510491A JP 2022510491 A JP2022510491 A JP 2022510491A JP 7436636 B2 JP7436636 B2 JP 7436636B2
Authority
JP
Japan
Prior art keywords
text
amount
medical
image
document creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022510491A
Other languages
English (en)
Other versions
JPWO2021193548A1 (ja
JPWO2021193548A5 (ja
Inventor
佳児 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021193548A1 publication Critical patent/JPWO2021193548A1/ja
Publication of JPWO2021193548A5 publication Critical patent/JPWO2021193548A5/ja
Application granted granted Critical
Publication of JP7436636B2 publication Critical patent/JP7436636B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Description

本開示は、医療文書等の文書の作成を支援する文書作成支援装置、方法およびプログラムに関する。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、CT画像およびMRI画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により機械学習がなされた学習モデルを用いたCAD(Computer-Aided Diagnosis)により医用画像を解析して、医用画像に含まれる異常陰影等の関心構造の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。CADにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
一方、上述したCT装置およびMRI装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開2019-153250号公報には、読影医が入力したキーワードおよび医用画像解析結果に含まれる、関心構造物の性状を表す情報(以下、性状情報とする)に基づいて、読影レポートに記載するための文章を生成する各種手法が提案されている。特開2019-153250号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章(以下、医療文章とする)が作成される。特開2019-153250号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
ところで、上述したように学習モデルにより生成された文章が長すぎると、文章を読む主治医等の読者の負担が大きくなる。逆に医療文章が短すぎると、読者は医用画像に含まれる関心構造について必要な情報が含まれているかどうか不安になる。
本開示は上記事情に鑑みなされたものであり、適切な情報量の文章を生成できるようにすることを目的とする。
本開示による文書作成支援装置は、少なくとも1つのプロセッサを備え、
プロセッサは、
画像に含まれる少なくとも1つの関心構造の性状に関する文章を生成し、
文章の文章量が規定量であるか否かを判定し、
判定の結果に基づいて、文章量が規定量となるように文章量を調整するように構成される。
「文章量」は、例えば文章の文字数、行数および段落数等を用いることができる。
「規定量」は、一定の値であってもよく、範囲を持つ値であってもよい。範囲としては上限値のみを持つものであってもよく、下限値のみを持つものであってもよく、上限値および下限値の双方を持つものであってもよい。
なお、本開示による文書作成支援装置においては、プロセッサは、関心構造について少なくとも1つの性状のうちの、文章に記述すべき性状を選択することにより、文章量を調整するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、関心構造について特定した少なくとも1つの性状の各々に関する記述を含む文章を生成し、文章に含まれる複数の性状の各々に関する記述のうち、陰性の性状に関する記述を文章から削除することにより、文章量を調整するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、画像に含まれる複数の関心構造について、関心構造のそれぞれについての性状を記述した複数の文章を生成し、
複数の関心構造のそれぞれについて生成された文章の総量が規定量となるように、複数の関心構造の少なくとも1つについての文章の文章量を調整するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、文章に含まれる複数の関心構造の各々に関する記述のうち、共通する記述を統合することにより、文章量を調整するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、画像に含まれる複数の関心構造について、関心構造のそれぞれの性状を記述した複数の候補文章を生成し、
複数の関心構造の各々について、複数の候補文章の中から1つの候補文章を選択する組み合わせのうち、選択された候補文章を含む文章の文章量が規定量となる組み合わせを選択することにより、文章量を調整するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、プロセッサは、文章をディスプレイに表示するように構成されるものであってもよい。
また、本開示による文書作成支援装置においては、画像は医用画像であり、文章は、医用画像に含まれる関心構造に関する医療文章であってもよい。
本開示による文書作成支援方法は、画像に含まれる少なくとも1つの関心構造の性状に関する文章を生成し、
文章の文章量が規定量であるか否かを判定し、
判定の結果に基づいて、文章量が規定量となるように文章量を調整する。
なお、本開示による文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、適切な情報量の医療文章を生成できる。
本開示の実施形態による文書作成支援装置を適用した医療情報システムの概略構成を示す図 本実施形態による文書作成支援装置の概略構成を示す図 本実施形態による文書作成支援装置の機能構成図 画像解析部が導出した性状情報を説明するための図 リカレントニューラルネットワークの模式的な構成を示す図 医療文章および文章量が調整された医療文章の例を示す図 医療文章および文章量が調整された医療文章の例を示す図 医療文章および文章量が調整された医療文章の例を示す図 医療文章および文章量が調整された医療文章の例を示す図 医療文章および文章量が調整された医療文章の例を示す図 医療文章の表示画面の例を示す図 本実施形態において行われる処理を示すフローチャート 医療文章の表示画面の他の例を示す図 医療文章の表示画面の他の例を示す図
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による文書作成支援装置を適用した医療情報システム1の構成について説明する。図1は、医療情報システム1の概略構成を示す図である。図1に示す医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図1に示すように、医療情報システム1は、複数の撮影装置2、読影端末である複数の読影WS(WorkStation)3、診療WS4、画像サーバ5、画像データベース(以下、画像DB(DataBase)とする)6、レポートサーバ7およびレポートデータベース(以下レポートDBとする)8が、有線または無線のネットワーク10を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ネットワーク10に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。または、DVD(Digital Versatile Disc)およびCD-ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
撮影装置2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置(モダリティ)である。具体的には、単純X線撮影装置、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。撮影装置2により生成された医用画像は画像サーバ5に送信され、画像DB6に保存される。
読影WS3は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による文書作成支援装置20を内包する。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影WS3では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ7に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、読影WS3が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療WS4は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療WS4では、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した画像の表示、レポートサーバ7に対する読影レポートの閲覧要求、およびレポートサーバ7から受信した読影レポートの表示が行われる。これらの処理は、診療WS4が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は画像DB6が構成されるストレージを備えている。このストレージは、画像サーバ5とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク10に接続されているNAS(Network Attached Storage)およびSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、撮影装置2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像DB6に登録する。
画像DB6には、撮影装置2において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID(identification)、被写体を識別するための患者ID、検査を識別するための検査ID、医用画像毎に割り振られるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等)、1回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ5は、読影WS3および診療WS4からの閲覧要求をネットワーク10経由で受信すると、画像DB6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3および診療WS4に送信する。
レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートDB8に登録する。
レポートDB8には、読影WS3において作成された所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ID、読影を行った読影医を識別するための読影医ID、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
また、レポートサーバ7は、読影WS3および診療WS4からの読影レポートの閲覧要求をネットワーク10経由で受信すると、レポートDB8に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影WS3および診療WS4に送信する。
なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる3次元のCT画像とし、CT画像を読影することにより、肺に含まれる異常陰影等の関心構造についての医療文章を所見文として含む読影レポートを作成するものとする。なお、医用画像はCT画像に限定されるものではなく、MRI画像および単純X線撮影装置により取得された単純2次元画像等の任意の医用画像を用いることができる。
ネットワーク10は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク10は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
次いで、本実施形態による文書作成支援装置について説明する。図2は、本実施形態による文書作成支援装置のハードウェア構成を説明する。図2に示すように、文書作成支援装置20は、CPU(Central Processing Unit)11、不揮発性のストレージ13、および一時記憶領域としてのメモリ16を含む。また、文書作成支援装置20は、液晶ディスプレイ等のディスプレイ14、キーボードとマウス等の入力デバイス15、およびネットワーク10に接続されるネットワークI/F(InterFace)17を含む。CPU11、ストレージ13、ディスプレイ14、入力デバイス15、メモリ16およびネットワークI/F17は、バス18に接続される。なお、CPU11は、本開示におけるプロセッサの一例である。
ストレージ13は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ13には、文書作成支援プログラムが記憶される。CPU11は、ストレージ13から文書作成支援プログラム12を読み出してからメモリ16に展開し、展開した文書作成支援プログラム12を実行する。
次いで、本実施形態による文書作成支援装置の機能的な構成を説明する。図3は、本実施形態による文書作成支援装置の機能的な構成を示す図である。図3に示すように文書作成支援装置20は、画像取得部21、画像解析部22、文章生成部23、判定部24、表示制御部25、保存制御部26および通信部27を備える。そして、CPU11が、文書作成支援プログラム12を実行することにより、CPU11は、画像取得部21、画像解析部22、文章生成部23、判定部24、表示制御部25、保存制御部26および通信部27として機能する。
画像取得部21は、操作者である読影医による入力デバイス15からの指示により、画像サーバ5から読影レポートを作成するための医用画像を取得する。
画像解析部22は、医用画像を解析することにより、医用画像に含まれる関心構造の性状を表す性状情報を導出する。このために、画像解析部22は、医用画像に含まれる異常陰影を関心構造として検出し、検出した異常陰影についての性状を、予め定められた複数の性状項目のそれぞれについて判別するように機械学習がなされた学習モデル22Aを有する。
ここで、異常陰影について特定される性状項目の例として、異常陰影の場所、異常陰影のサイズ、境界の形状(明瞭および不整形)、吸収値の種類(充実型およびスリガラス型)、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が挙げられる。なお、性状項目の例はこれらに限定されるものではない。
本実施形態においては、学習モデル22Aは、医用画像における異常陰影の性状を判別するように、教師データを用いてディープラーニング(深層学習)等により機械学習がなされた畳み込みニューラルネットワークからなる。
学習モデル22Aは、例えば、異常陰影を含む医用画像と、異常陰影の性状を表す性状項目との複数の組み合わせを教師データとして用いた機械学習によって構築される。学習モデル22Aは、医用画像が入力されると、医用画像に含まれる異常陰影における、性状項目毎に導出される性状スコアを出力する。性状スコアは、各性状項目についての性状の顕著性を示すスコアである。性状スコアは例えば0以上1以下の値をとり、性状スコアの値が大きい程、その性状が顕著であることを示す。
例えば異常陰影の性状項目の1つである「スピキュラの有無」についての性状スコアが例えば0.5以上である場合、異常陰影の「スピキュラの有無」についての性状が「スピキュラ有り(陽性)」であることを特定し、「スピキュラの有無」についての性状スコアが例えば0.5未満である場合、異常陰影のスピキュラの有無についての性状が「スピキュラ無し(陰性)」であることを特定する。なお、性状判定に用いるしきい値0.5は、例示に過ぎず、性状項目毎に適切な値に設定される。
図4は画像解析部22が特定した性状情報の例を説明するための図である。図4に示すように画像解析部22が特定した性状情報30においては、各性状項目についての性状は、「左肺胸膜下」、「4.2cm」、「不整形」、「充実型」、「スピキュラ有」、「腫瘤」、「胸膜接触有」、「胸膜陥入有」、「胸膜浸潤無」、「空洞無」および「石灰化無」となっている。図4においては、「有り」すなわち陽性の場合は+、「無し」すなわち陰性の場合は-を付与している。
なお、学習モデル22Aとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))等の任意の学習モデルを用いることができる。
また、医用画像から異常陰影を検出する学習モデルと、異常陰影の性状を判別する学習モデルとを別々に構築するようにしてもよい。
文章生成部23は、画像解析部22が導出した性状情報を用いて、医用画像に含まれる異常陰影の性状に関する文章を生成する。また、後述するように、判定部24による判定結果に応じて、生成した医療文章の文章量を調整する。本実施形態においては、文章生成部23は、文章として医療文章を生成する。文章生成部23は、入力された情報から文章を生成するように学習が行われた学習モデル23Aからなる。学習モデル23Aとしては、例えばリカレントニューラルネットワークを用いることができる。図5はリカレントニューラルネットワークの模式的な構成を示す図である。図5に示すように、リカレントニューラルネットワーク40は、エンコーダ41およびデコーダ42からなる。エンコーダ41には、画像解析部22が導出した性状情報が入力される。例えば、エンコーダ41には、「左肺胸膜下」、「4.2cm」、「スピキュラ+」および「腫瘤」の性状情報が入力される。デコーダ42は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「4.2cm」、「スピキュラ+」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する4.2cm径の腫瘤が認められます。」の医療文章を生成する。なお、図5において「EOS」は文章の終わりを示す(End Of Sentence)。
このように、性状情報の入力によって医療文章を出力するために、リカレントニューラルネットワーク40は、性状情報と医療文章との組み合わせからなる多数の教師データを用いてエンコーダ41およびデコーダ42を学習することにより構築されてなる。
なお、文章生成部23は、後述する判定部24による判定の結果に基づいて、医療文章の文章量が規定量となるように文章量を調整する。文章量の調整については後述する。
判定部24は、文章生成部23が生成した医療文章の文章量が、規定量であるか否かを判定する。具体的には、判定部24は、文章の文字数、行数または段落数が規定量Th1となるか否かを判定することにより、文章量の判定を行う。規定量Th1は一定の値であってもよく、範囲を持つものであってもよい。範囲を持つ場合、上限値のみを持つものであってもよく、下限値のみを持つものであってもよく、上限値および下限値の双方を持つものであってもよい。具体的には、文字数であれば、規定量Th1を100文字としてもよく、100文字以上としてもよく、100文字以下としてもよく、90文字以上110文字以下としてもよい。本実施形態においては、規定量Th1は上限値および下限値を持つものとして説明する。また、規定量Th1は、読影医の好みに応じて変更できるようにしてもよい。
そして、判定部24は、文章生成部23が生成した医療文章の文章量が規定量Th1でない場合に、判定結果に応じた指示を文章生成部23に対して行う。すなわち、文章量が規定量Th1よりも少ない場合には、文章量を多くする指示を行い、文章量が規定量Th1よりも多い場合には、文章量を少なくする指示を行う。なお、文章生成部23が生成した医療文章の文章量が規定量Th1である場合には、判定部24は何も行わない。
文章生成部23は、判定部24からの指示に応じて、医療文章の文章量を調整する。図6は医療文章および文章量が調整された医療文章の例を示す図である。図6に示すように、調整前の医療文章51が、「左下葉S6に21mm大の不整形な充実型結節を認めます。分葉状で境界明瞭です。内部に石灰化を認めますが、空洞や気管支透亮像は含みません。結節は胸膜と接しています。」であったとする。判定部24がこの医療文章51に関して文章量を少なくする指示を行った場合、文章生成部23は、医療文章に記述すべき性状を選択することにより、文章量を調整する。例えば、医療文章51に含まれる複数の性状のうち、形状に関する性状のみを選択することにより文章量を調整して、「左下葉S6に21mm大の不整形な充実型結節を認めます。」の医療文章52を生成する。あるいは、医療文章51における石灰化、空洞、気管支透亮像等の内部に関する性状、および胸膜接触等の他組織との接触に関する性状外の性状を選択するようにしてもよい。この場合、文章生成部23は、医療文章51の文章量を調整して、「左下葉S6に21mm大の不整形な充実型結節を認めます。分葉状で境界明瞭です。」の医療文章53を生成する。
また、文章生成部23は、医療文章51における陽性の性状のみを選択することにより、文章量を調整してもよい。この場合、文章生成部23は、医療文章51の文章量を調整して、「左下葉S6に21mm大の不整形な充実型結節を認めます。分葉状で境界明瞭です。内部に石灰化を認めます。結節は胸膜と接しています。」の医療文章54を生成する。
また、医療文章が短すぎる場合には、文章生成部23は、文章量を多くするように医療文章の文章量を調整する。例えば、図7に示すように、調整前の医療文章61が、「左下葉S6に21mm大の不整形な充実型結節を認めます。」である場合、画像解析部22が導出した陽性の性状項目をすべて選択することにより医療文章61の文章量を調整する。例えば、文章生成部23は医療文章61の文章量を調整して、「左下葉S6に21mm大の不整形な充実型結節を認めます。分葉状で境界明瞭です。内部に石灰化を認めます。結節は胸膜と接しています。」の医療文章62を生成する。また、文章生成部23は、陰性の性状項目および陽性の性状項目のすべてを選択するように医療文章61の文章量を調整してもよい。例えば、文章生成部23は医療文章61の文章量を調整して、「左下葉S6に21mm大の不整形な充実型結節を認めます。分葉状で境界明瞭です。内部に石灰化を認めますが、空洞や気管支透亮像は含みません。結節は胸膜と接しています。」の医療文章63を生成する。
ここで、文章生成部23は、医用画像に複数の異常陰影が含まれる場合、複数の異常陰影について特定した性状の各々に関する記述を含む医療文章を生成する。このような場合において、判定部24から文章量を少なくする指示がなされた場合、文章生成部23は、複数の異常陰影について特定した性状の各々に関する記述のうち、共通する記述を統合することにより、文章量を調整してもよい。例えば、図8に示すように、調整前の医療文章65が、「左肺S3に不整形を伴う充実性結節があります。スピキュラを伴います。また、右肺S7に不整形を伴う充実性結節があります。」であって、2つの異常陰影に関する記述がなされているものとする。この場合、2つの異常陰影について、充実性結節に関する記載が共通する。このため、文章生成部23は、2つの異常陰影について共通する充実性結節に関する記述を統合することにより文章量を調整して、「左肺S3と右肺S7に不整形を伴う充実性結節があります。」の医療文章66を生成する。
また、文章生成部23は、医用画像に複数の異常陰影が含まれる場合、異常陰影のそれぞれの性状を記述した複数の候補文章を生成し、複数の異常陰影の各々について、複数の候補文章の中から1つの候補文章を選択する組み合わせのうち、選択された候補文章を含む文章の文章量が規定量となる組み合わせを選択することにより、文章量を調整するようにしてもよい。
例えば、医用画像に2つの異常陰影A,Bが含まれるとした場合、文章生成部23は、図9に示すように、異常陰影Aについての候補文章71A~71Cおよび異常陰影Bについての候補文章72A~72Cをそれぞれ生成する。そして、文章生成部23は、異常陰影Aの候補文章71A~71Cおよび異常陰影Bの候補文章72A~72Cからそれぞれ1つの候補文章を選択して、医療文章を生成する。例えば、異常陰影Aについての候補文章71Cと異常陰影Bについての候補文章72Cとをそれぞれ選択して、図10に示す医療文章73を生成する。
医療文章73の文章量が規定量よりも多かった場合、判定部24は、文章量を短くする指示を行う。これにより、文章生成部23は、医療文章73の文章量を少なくするように調整して医療文章74を生成する。この際、文章生成部23は、異常陰影A,Bのうち、悪性度が高い方の異常陰影に関する記述が長くなるように、候補文章を選択するようにすればよい。例えば、異常陰影Aと異常陰影Bとでは、異常陰影Aの方の悪性度が高いため、医療文章73に含まれる異常陰影Bについての記述を、候補文章72Cよりも短い候補文章72Aに変更することにより、医療文章74を生成する。
また、上述したように、医療文章73に含まれる記述のうちの陰性の性状のみを選択したり、共通する性状の記述を統合したりすることにより、医療文章73の文章量を調整するようにしてもよい。
なお、同一患者についての過去に取得した医用画像および読影レポートを取得し、現在の読影の対象となる医用画像に含まれる異常陰影が、過去の医用画像から継続して存在するものであるか、新たに出現されたものであるか否かを判定し、新たに出現した異常陰影についての記述を長くするようにしてもよい。
表示制御部25は、生成された医療文章をディスプレイ14に表示する。図11は医療文章の表示画面を示す図である。図11に示すように、表示画面80は画像表示領域81および文章表示領域82を含む。画像表示領域81には、画像解析部22が検出した異常陰影を最も特定しやすいスライス画像SL1が表示される。スライス画像SL1には異常陰影83が含まれ、異常陰影83は矩形領域84により囲まれている。
文章表示領域82には、文章生成部23が生成したまたは文章量を調整した医療文章85が表示されている。医療文章85は、図6に示す医療文章52と同一の「左下葉S6に21mm大の不整形な充実型結節を認めます。」である。
画像表示領域81の下方には、修正ボタン88Aおよび確定ボタン88Bが表示されている。
読影医は、画像表示領域81に表示された、医用画像に含まれるスライス画像SL1を読影し、文章表示領域82に表示された医療文章85の適否を判定する。読影医は修正ボタン88Aを選択することにより、文章表示領域82に表示された医療文章85を、入力デバイス15からの入力により、手動で修正することが可能である。また、確定ボタン88Bを選択することにより、文章表示領域82に表示された医療文章85をその内容で確定することができる。
保存制御部26は、操作者による確定ボタン88Bの選択により、文章表示領域82に記述された医療文章85を読影レポートに転記し、読影レポートおよび読影レポートを生成する際に参照したスライス画像を併せて、ストレージ13に保存する。
通信部27は、文章表示領域82に記述された医療文章85が転記された読影レポート、および読影レポートを生成する際に参照したスライス画像を併せて、ネットワークI/F17を介してレポートサーバ7に転送する。レポートサーバ7は、読影レポートおよびスライス画像を併せて保存する。
次いで、本実施形態において行われる処理について説明する。図12は本実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像は、画像取得部21により画像サーバ5から取得されて、ストレージ13に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、画像解析部22が、医用画像を解析することにより、医用画像に含まれる異常陰影等の関心構造の性状を表す性状情報を導出する(ステップST1)。次いで、文章生成部23が、性状情報に基づいて医用画像に関する医療文章を生成する(ステップST2)。続いて、判定部24が、生成された医療文章の文章量が規定量であるか否かを判定する(ステップST3)。
ステップST3が否定されると、文章生成部23は、判定の結果に基づいて、医療文章の文章量が規定量となるように文章量を調整し(ステップST4)、ステップST3に戻る。ステップST3が肯定されると、表示制御部25が、医用画像および文章生成部23が生成した医療文章をディスプレイ14に表示する(ステップST5)。
次いで、表示制御部25は、表示画面に表示された修正ボタン88Aが選択されたか否かを判定する(ステップST6)。ステップST6が肯定されると、表示制御部25は、文章表示領域82に表示された医療文章に対する、入力デバイス15を用いての修正を受け付け、文章生成部23は、入力デバイス15からの入力により、文章表示領域82に表示された医療文章を修正する(ステップST7)。続いて、表示制御部25は、確定ボタン88Bが選択されたか否かを判定する(ステップST8)。ステップST8が否定されると、ステップST6に戻る。
ステップST8が肯定されると、保存制御部26が、医療文章を医用画像についての読影レポートに転記し、読影レポートおよび医用画像を併せて、ストレージ13に保存する(読影レポート等保存;ステップST9)。そして、通信部27が、読影レポートおよび医用画像を併せて、ネットワークI/F17を介してレポートサーバ7に転送し(読影レポート等転送;ステップST10)、処理を終了する。
このように、本実施形態においては、文章の文章量が規定量であるか否かを判定し、判定結果に基づいて、文章量が規定量となるように文章量を調整するようにした。このため、適切な情報量の医療文章を生成できる。
なお、上記実施形態においては、表示画面80の文章表示領域82に、文章量が規定量に調整された1つの医療文章を表示しているが、これに限定されるものではない。例えば、図13に示すように、文章表示領域82に、図6に示す3つの医療文章52~53を表示し、表示された医療文章52~53から、読影医が所望する医療文章を入力デバイス15を用いて選択できるようにしてもよい。なお、図13においては、上から文章量が短い順序で医療文章52~54が表示されている。また、文章生成部23が生成した医療文章が短かかったため、多くなるように医療文章の文章量を調整した場合、文章量が多い順に複数の医療文章を表示してもよい。例えば、図14に示すように、図7に示す医療文章62,63を上から医療文章63,62の順で表示するようにしてもよい。
また、上記実施形態においては、診断対象を肺とした医用画像を用いて読影レポートを作成する場合に本開示の技術を適用しているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。
また、上記実施形態において、例えば、画像取得部21、画像解析部22、文章生成部23、判定部24、表示制御部25、保存制御部26および通信部27といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせまたはCPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアとの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
1 医療情報システム
2 撮影装置
3 読影WS
4 診療WS
5 画像サーバ
6 画像DB
7 レポートサーバ
8 レポートDB
10 ネットワーク
11 CPU
12 文書作成支援プログラム
13 ストレージ
14 ディスプレイ
15 入力デバイス
16 メモリ
17 ネットワークI/F
18 バス
20 文書作成支援装置
21 画像取得部
22 画像解析部
23 文章生成部
24 判定部
25 表示制御部
26 保存制御部
27 通信部
30 性状情報
40 リカレントニューラルネットワーク
41 エンコーダ
42 デコーダ
51~54、61~63、65、66、73、74 医療文章
71A~71C、72A~72C 候補文章
80 表示画面
81 画像表示領域
82 文章表示領域
83 異常陰影
84 矩形領域
85 医療文章
88A 修正ボタン
88B 確定ボタン
SL1 スライス画像

Claims (9)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    画像に含まれる関心構造について特定した少なくとも1つの性状の各々に関する記述を含む文章を生成し、
    前記文章の文章量が規定量であるか否かを判定し、
    前記判定の結果に基づいて、前記文章に含まれる複数の性状の各々に関する記述のうち、陰性の性状に関する記述を前記文章から削除することにより、前記文章量が前記規定量となるように前記文章量を調整するように構成される文書作成支援装置。
  2. 前記プロセッサは、前記関心構造についての少なくとも1つの性状のうちの、前記文章に記述すべき性状を選択することにより、前記文章量を調整するように構成される請求項1に記載の文書作成支援装置。
  3. 前記プロセッサは、前記画像に含まれる複数の関心構造について、前記関心構造のそれぞれについての性状を記述した複数の文章を生成し、
    前記複数の関心構造のそれぞれについて生成された前記文章の総量が前記規定量となるように、前記複数の関心構造の少なくとも1つについての前記文章の文章量を調整するように構成される請求項1または2に記載の文書作成支援装置。
  4. 前記プロセッサは、前記文章に含まれる複数の関心構造の各々に関する記述のうち、共通する記述を統合することにより、前記文章量を調整するように構成される請求項に記載の文書作成支援装置。
  5. 前記プロセッサは、前記画像に含まれる複数の関心構造について、前記関心構造のそれぞれの性状を記述した複数の候補文章を生成し、
    前記複数の関心構造の各々について、前記複数の候補文章の中から1つの前記候補文章を選択する組み合わせのうち、選択された候補文章を含む文章の文章量が前記規定量となる組み合わせを選択することにより、前記文章量を調整するように構成される請求項1からのいずれか1項に記載の文書作成支援装置。
  6. 前記プロセッサは、前記文章をディスプレイに表示するように構成される請求項1からのいずれか1項に記載の文書作成支援装置。
  7. 前記画像は医用画像であり、前記文章は、前記医用画像に含まれる前記関心構造に関する医療文章である請求項1からのいずれか1項に記載の文書作成支援装置。
  8. 画像に含まれる関心構造について特定した少なくとも1つの性状の各々に関する記述を含む文章を生成し、
    前記文章の文章量が規定量であるか否かを判定し、
    前記判定の結果に基づいて、前記文章に含まれる複数の性状の各々に関する記述のうち、陰性の性状に関する記述を前記文章から削除することにより、前記文章量が前記規定量となるように前記文章量を調整する、コンピュータが行う文書作成支援方法。
  9. 画像に含まれる関心構造について特定した少なくとも1つの性状の各々に関する記述を含む文章を生成する手順と、
    前記文章の文章量が規定量であるか否かを判定する手順と、
    前記判定の結果に基づいて、前記文章に含まれる複数の性状の各々に関する記述のうち、陰性の性状に関する記述を前記文章から削除することにより、前記文章量が前記規定量となるように前記文章量を調整する手順とをコンピュータに実行させる文書作成支援プログラム。
JP2022510491A 2020-03-23 2021-03-22 文書作成支援装置、方法およびプログラム Active JP7436636B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020051707 2020-03-23
JP2020051707 2020-03-23
PCT/JP2021/011744 WO2021193548A1 (ja) 2020-03-23 2021-03-22 文書作成支援装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021193548A1 JPWO2021193548A1 (ja) 2021-09-30
JPWO2021193548A5 JPWO2021193548A5 (ja) 2022-10-31
JP7436636B2 true JP7436636B2 (ja) 2024-02-21

Family

ID=77892170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510491A Active JP7436636B2 (ja) 2020-03-23 2021-03-22 文書作成支援装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20230005601A1 (ja)
JP (1) JP7436636B2 (ja)
WO (1) WO2021193548A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043220A (ja) 1999-07-27 2001-02-16 Sony Corp 文書処理方法及び装置並びに記録媒体
JP2007094515A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 読影レポート作成装置
JP2011087005A (ja) 2009-10-13 2011-04-28 Neikusu:Kk 通話音声要約生成システム、その方法及び通話音声要約生成プログラム
JP2018166961A (ja) 2017-03-30 2018-11-01 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043220A (ja) 1999-07-27 2001-02-16 Sony Corp 文書処理方法及び装置並びに記録媒体
JP2007094515A (ja) 2005-09-27 2007-04-12 Fujifilm Corp 読影レポート作成装置
JP2011087005A (ja) 2009-10-13 2011-04-28 Neikusu:Kk 通話音声要約生成システム、その方法及び通話音声要約生成プログラム
JP2018166961A (ja) 2017-03-30 2018-11-01 キヤノン株式会社 情報処理装置、その制御方法及びプログラム
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Also Published As

Publication number Publication date
JPWO2021193548A1 (ja) 2021-09-30
US20230005601A1 (en) 2023-01-05
WO2021193548A1 (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
US11139067B2 (en) Medical image display device, method, and program
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
JP2023175011A (ja) 文書作成支援装置、方法およびプログラム
JP7436636B2 (ja) 文書作成支援装置、方法およびプログラム
US20220399107A1 (en) Automated protocoling in medical imaging systems
US20220392619A1 (en) Information processing apparatus, method, and program
US20230005580A1 (en) Document creation support apparatus, method, and program
JPWO2019208130A1 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
JP7420914B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6843892B2 (ja) 解剖学的または生理学的状態データのクラスタリング
JP7436628B2 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7361930B2 (ja) 医用画像処理装置、方法およびプログラム
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
WO2022163071A1 (ja) 情報処理装置、方法およびプログラム
WO2023199956A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
US20230225681A1 (en) Image display apparatus, method, and program
WO2022113587A1 (ja) 画像表示装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150