JP2019153250A - 医療文書作成支援装置、方法およびプログラム - Google Patents

医療文書作成支援装置、方法およびプログラム Download PDF

Info

Publication number
JP2019153250A
JP2019153250A JP2018040203A JP2018040203A JP2019153250A JP 2019153250 A JP2019153250 A JP 2019153250A JP 2018040203 A JP2018040203 A JP 2018040203A JP 2018040203 A JP2018040203 A JP 2018040203A JP 2019153250 A JP2019153250 A JP 2019153250A
Authority
JP
Japan
Prior art keywords
medical
document
analysis result
medical image
medical document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018040203A
Other languages
English (en)
Inventor
佳児 中村
Yoshiji Nakamura
佳児 中村
陽平 桃木
Yohei Momoki
陽平 桃木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018040203A priority Critical patent/JP2019153250A/ja
Priority to US16/277,330 priority patent/US20190279751A1/en
Publication of JP2019153250A publication Critical patent/JP2019153250A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Document Processing Apparatus (AREA)

Abstract

【課題】医療文書作成支援装置、方法およびプログラムにおいて、医用画像に関する読影レポート等の医療文書を作成する際の読影医等の操作者の負担を軽減する。【解決手段】入力受付部21が、表示された医用画像に基づく所見を表すキーワードの入力を受け付ける。解析結果取得部22が、医用画像の解析結果を取得する。文書作成部23が、キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する。【選択図】図2

Description

本発明は、読影レポート等の医療文書の作成を支援する医療文書作成支援装置、方法およびプログラムに関する。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、CT画像およびMRI画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により学習がなされた判別器を用いたCAD(Computer-Aided Diagnosis)により医用画像を解析して、医用画像に含まれる病変等の領域、位置および体積等を抽出し、これらを解析結果として取得することも行われている。このように、解析処理により生成される解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存されて、診断に供される。この際、医用画像を取得した放射線科等の技師が、医用画像に応じた読影医を決定し、医用画像およびCADによる解析結果が存在することを、決定した読影医に伝えるようにしている。読影医は、自身の読影端末において、配信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
読影レポート等の医療文書を作成する際に、医療文書の作成を支援するための各種手法が提案されている。例えば、任意に入力されたキーワードによって所見データベースを検索してキーワードが使用された所見を抽出し、抽出した所見をキーワードの一致率に基づいた順序で候補所見として表示画面上に表示し、表示した候補所見中で任意に指定された所見文を作成中の所見に転記する手法が提案されている(特許文献1参照)。また、読影レポート作成画面において、読影レポートに使用する文章のテンプレートを格納しておき、音声入力された内容に基づいて検索されたキーワードを画像とともに表示し、キーワードを文章の雛型であるテンプレートに埋め込む処理を行って、読影レポートの文章を完成させる手法が提案されている(特許文献2参照)。また、診断レポートに記載する内容を音声入力すると、音声を文字列に変換して文字列データを解析し、レポート情報記憶部に保存された単語および文章内容等に基づいて診断レポートを作成する手法が提案されている(特許文献3参照)。
特開2003−122848号公報 特開2005−027978号公報 特開2004−230001号公報
しかしながら、特許文献1〜3に記載された手法を用いて読影レポートを作成する際には、読影医は医用画像を入念に読影し、医用画像から得られる所見のすべてをキーワード等により入力する必要がある。このため、読影レポートを作成する読影医の負担が大きい。
本発明は上記事情に鑑みなされたものであり、医用画像に関する読影レポート等の医療文書を作成する際の読影医等の操作者の負担を軽減することを目的とする。
本発明による医療文書作成支援装置は、表示された医用画像に基づく所見を表すキーワードの入力を受け付ける入力受付部と、
医用画像の解析結果を取得する解析結果取得部と、
キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する文書作成部とを備える。
なお、本発明による医療文書作成支援装置においては、解析結果取得部が、医用画像を解析することにより解析結果を取得するものであってもよい。
また、本発明による医療文書作成支援装置においては、解析結果は、医用画像に基づく所見を表すコンテンツを含み、
文書作成部は、キーワードおよびコンテンツに基づいて医療文書を作成するものであってもよい。
また、本発明による医療文書作成支援装置においては、医用画像および医療文書を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本発明による医療文書作成支援装置においては、入力受付部は、表示された医療文書に関する追加のキーワードの入力を受け付け、
文書作成部は、さらに追加のキーワードにも基づいて、医療文書を再度作成するものであってもよい。
また、本発明による医療文書作成支援装置においては、文書作成部は、1つの医用画像に対して複数の医療文書候補を作成し、
表示制御部は、複数の医療文書候補を表示部に表示し、
文書作成部は、さらに複数の医療文書候補から選択された医療文書候補に基づいて医療文書を作成するものであってもよい。
また、本発明による医療文書作成支援装置においては、医療文書は、医用画像に関する読影レポートであってもよい。
また、本発明による医療文書作成支援装置においては、医療文書は、医用画像へのリンクを含むものであってもよい。
また、本発明による医療文書作成支援装置においては、入力受付部は、所見を表す音声のキーワードの入力を受け付け、音声のキーワードをテキストに変換するものであってもよい。
本発明による医療文書作成支援方法は、表示された医用画像に基づく所見を表すキーワードの入力を受け付け、
医用画像の解析結果を取得し、
キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する。
なお、本発明による医療文書作成支援方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他の医療文書作成支援装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
表示された医用画像に基づく所見を表すキーワードの入力を受け付け、
医用画像の解析結果を取得し、
キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する処理を実行する。
本発明によれば、表示された医用画像に基づく所見を表すキーワードの入力が受け付けられ、医用画像の解析結果が取得され、キーワードおよび解析結果に基づいて、医用画像に関する医療文書が作成される。これにより、操作者はキーワードのみを入力すれば、解析結果および操作者の認識の双方を含む医療文書が作成されることとなる。したがって、本発明によれば、操作者の医療文書作成時における負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。また、医療文書は作成する操作者により表現の仕方が異なるため、操作者毎に文書の揺らぎがある。このように、文書に揺らぎがあると、文書が読みにくかったり、文書の再利用がしにくかったりする場合がある。本発明によれば、作成される医療文書の揺らぎを抑えることができるため、読みやすく、かつ再利用が容易な医療文書を作成することができる。
本発明の実施形態による医療文書作成支援装置を適用した医療情報システムの概略構成を示す図 本実施形態による医療文書作成支援装置の概略構成を示す図 リカレントニューラルネットワークの模式的な構成を示す図 読影レポートの作成画面を示す図 読影レポートの作成画面を示す図 本実施形態において行われる処理を示すフローチャート 読影レポートの作成画面を示す図
以下、図面を参照して本発明の実施形態について説明する。図1は本発明の実施形態による医療文書作成支援装置を適用した医療情報システムの概略構成を示す図である。図1に示す医療情報システム1は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。図1に示すように、医療情報システム1は、複数のモダリティ(撮影装置)2、読影端末である複数の読影ワークステーション(WS)3、診療科ワークステーション(WS)4、画像サーバ5、画像データベース6、読影レポートサーバ7、および読影レポートデータベース8が、有線または無線のネットワーク9を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム1の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、DVD(Digital Versatile Disc)あるいはCD−ROM(Compact Disc Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク9に接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
モダリティ2は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置である。具体的には、単純X線撮影装置、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。モダリティ2により生成された医用画像は画像サーバ5に送信され、保存される。
読影WS3は、本実施形態による医療文書作成支援装置を内包する。読影WS3の構成については後述する。
診療科WS4は、診療科の医師が画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療科WS4では、患者のカルテ(電子カルテ)の作成、画像サーバ5に対する画像の閲覧要求、画像サーバ5から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ7に対する読影レポートの閲覧要求、および読影レポートサーバ7から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ5は、汎用のコンピュータにデータベース管理システム(DataBase Management System: DBMS)の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ5は画像データベース6が構成されるストレージを備えている。このストレージは、画像サーバ5とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク9に接続されているNAS(Network Attached Storage)およびSAN(Storage Area Network)に接続されたディスク装置であってもよい。また、画像サーバ5は、モダリティ2からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像データベース6に登録する。
画像データベース6には、モダリティ2において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ID、被写体を識別するための患者ID(identification)、検査を識別するための検査ID、医用画像毎に割り振られるユニークなID(UID:unique identification)、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用されたモダリティの種類、患者氏名、年齢、性別等の患者情報、検査部位(撮影部位)、撮影情報(撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等)、1回の検査で複数の医用画像を取得したときのシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ5は、読影WS3からの閲覧要求をネットワーク9経由で受信すると、画像データベース6に登録されている医用画像を検索し、検索された医用画像を要求元の読影WS3に送信する。
読影レポートサーバ7には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。読影レポートサーバ7は、読影WS3からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース8に登録する。また、読影レポートの検索要求を受け付けると、その読影レポートを読影レポートデータベース8から検索する。
読影レポートデータベース8には、例えば、読影対象の医用画像を識別する画像ID、読影を行った画像診断医を識別するための読影医ID、病変名、病変の位置情報、所見、および所見の確信度等の情報が記録された読影レポートが登録される。
ネットワーク9は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影WS3が他の病院あるいは診療所に設置されている場合には、ネットワーク9は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク9は光ネットワーク等の医用画像の高速転送が実現可能な構成にすることが好ましい。
以下、本実施形態による読影WS3について詳細に説明する。読影WS3は、医用画像の読影医が、医用画像の読影および読影レポートの作成に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。読影WS3では、画像サーバ5に対する医用画像の閲覧要求、画像サーバ5から受信した医用画像に対する各種画像処理、医用画像の表示、医用画像に対する解析処理、解析結果に基づく医用画像の強調表示、解析結果に基づく読影レポートの作成、読影レポートの作成の支援、読影レポートサーバ7に対する読影レポートの登録要求と閲覧要求、並びに読影レポートサーバ7から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。なお、これらの処理のうち、本実施形態の医療文書作成支援装置が行う処理以外の処理は、周知のソフトウェアプログラムにより行われるため、ここでは詳細な説明は省略する。また、本実施形態の医療文書作成支援装置が行う処理以外の処理を読影WS3において行わず、別途その処理を行うコンピュータをネットワーク9に接続しておき、読影WS3からの処理の要求に応じて、そのコンピュータにおいて要求された処理を行うようにしてもよい。
読影WS3は、本実施形態による医療文書作成支援装置が内包されてなる。このため、読影WS3には、本実施形態による医療文書作成支援プログラムがインストールされてなる。医療文書作成支援プログラムは、DVDあるいはCD−ROM等の記録媒体に記録されて配布され、その記録媒体から読影WS3にインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて読影WS3にダウンロードされ、インストールされる。
図2は、医療文書作成支援プログラムをインストールすることにより実現される、本発明の実施形態による医療文書作成支援装置の概略構成を示す図である。図2に示すように、医療文書作成支援装置10は、標準的なコンピュータの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、医療文書作成支援装置10には、液晶ディスプレイ等の表示装置(以下表示部とする)14、並びにキーボードおよびマウス等の入力装置(以下、入力部とする)15が接続されている。なお、入力部15はマイクロフォンを備え、音声による入力を受け付けるものであってもよい。本実施形態においては、操作者の音声による入力を受け付けるものとする。
ストレージ13は、ハードディスクまたはSSD(Solid State Drive)等のストレージデバイスからなる。ストレージ13には、ネットワーク9を経由して画像サーバ5から取得した、医用画像および医療文書作成支援装置10の処理に必要な情報を含む各種情報が記憶されている。
また、メモリ12には、医療文書作成支援プログラムが記憶されている。医療文書作成支援プログラムは、CPU11に実行させる処理として、表示された医用画像に基づく所見を表すキーワードの入力を受け付ける入力受付処理、医用画像の解析結果を取得する解析結果取得処理、キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成する文書作成処理、並びに医用画像および医療文書を表示部14に表示する表示制御処理を規定する。
そして、CPU11が医療文書作成支援プログラムに従いこれらの処理を実行することで、コンピュータは、入力受付部21、解析結果取得部22、文書作成部23および表示制御部24として機能する。なお、本実施形態においては、CPU11が医療文書作成支援プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、CPU11の他、FPGA (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)を用いることができる。また、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、またはCPUとFPGAの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
入力受付部21は、入力部15から操作者が入力したキーワードの入力を受け付けるインターフェースである。なお、本実施形態においては、操作者は音声による入力を行うものである。このため、本実施形態による入力受付部21は、入力された音声をテキストに変換する機能も有する。
解析結果取得部22は、医用画像を解析することにより、医用画像に含まれる疾病等に関する解析結果を取得する。このために、解析結果取得部22は、医用画像における各画素(ボクセル)が病変を表すものであるか否か、および病変の種類を判別するように機械学習がなされた判別器を備える。本実施形態においては、判別器は、医用画像に含まれる複数種類の病変を分類できるようにディープラーニング(深層学習)がなされたニューラルネットワークからなる。解析結果取得部22における判別器は、医用画像が入力されると、医用画像内の各画素(ボクセル)に対して、複数の病変のそれぞれであることの確率を出力するように学習がなされる。そして判別器は、ある画素について、あらかじめ定められたしきい値を超え、かつ最大の確率となった病変を求め、その画素を求めた病変の画素であると判別する。
なお、判別器は、ディープラーニングがなされたニューラルネットワークの他、例えばサポートベクタマシン(SVM(Support Vector Machine))、畳み込みニューラルネットワーク(CNN(Convolutional Neural Network))、およびリカレントニューラルネットワーク(RNN(Recurrent Neural Network))等からなるものであってもよい。
また、解析結果取得部22は、上記判別器による判別結果を用いて、医用画像の所見を表すコンテンツとして、病変の種類、病変の位置、および病変の大きさを含む解析結果を生成する。例えば、医用画像が肺野を含む場合において、肺野内に病変が発見された場合、解析結果取得部22は、所見を表すコンテンツとして、肺野内における病変の位置、種類および大きさを含む解析結果を生成する。具体的には、解析結果取得部22は、病変の位置として「右肺」および「上葉」を、病変の種類として「結節」を、病変の大きさとして「25×21mm」のコンテンツを解析結果として取得する。また、解析結果取得部22は、病変が見つかった場合、解析した医用画像の画像データベース6における保存場所を表す情報を解析結果に含めてもよい。この保存場所を表す情報は、後述するように読影レポートにリンクを付与するために使用される。
文書作成部23は、入力受付部21から入力されたキーワードおよび解析結果取得部22が取得した解析結果に基づいて、読影レポートを作成する。本実施形態においては、文書作成部23は、まず解析結果取得部22が取得した解析結果に含まれる所見を表すコンテンツを用いて、読影レポートを作成する。文書作成部23は、入力された文字から文章を作成するように学習が行われたリカレントニューラルネットワークからなる。図3はリカレントニューラルネットワークの模式的な構成を示す図である。図3に示すように、リカレントニューラルネットワーク30は、エンコーダ31およびデコーダ32からなる。エンコーダ31にはキーワードまたは解析結果に含まれるコンテンツが入力される。例えば、エンコーダ31には、解析結果の「右肺」、「上葉」、「結節」および「25×21mm」のコンテンツが入力される。デコーダ32は、文字情報を文章化するように学習がなされており、入力されたコンテンツの文字情報から文章を作成する。具体的には、上述した「右肺」、「上葉」、「結節」および「25×21mm」のコンテンツの文字情報から、「右肺上葉に25×21mm大の結節が認められます。」の読影レポートを作成する。なお、図3において「EOS」は文章の終わりを示す(End Of Sentence)。
なお、文書作成部23は、後述するように入力受付部21が受け付けたキーワードにも基づいて読影レポートを作成する。キーワードにも基づく読影レポートの作成は後述する。
表示制御部24は、医用画像および読影レポートを含む読影レポート作成画面を表示部14に表示する。図4は読影レポート作成画面を示す図である。図4に示すように、読影レポート作成画面40には、読影レポートを作成する対象となる医用画像41、および読影レポートを作成するための入力を行う作成領域42を有する。なお、作成領域42には、文書作成部23が作成した「右肺上葉に25×21mm大の結節が認められます。」の読影レポートが挿入されている。また、この文章における「結節」の文字には下線が付与されて、読影レポート作成の対象となった医用画像へのリンク43が生成されている。操作者はリンク43を選択することにより、表示部14に医用画像を拡大して表示することができる。また、医用画像41には、結節の部分を強調するために丸印44が付与されている。さらに、作成領域42には、後述するようにキーワードをも用いた読影レポートが新たに作成された場合には、新たに作成された読影レポートが表示される。
ここで、図4に示す読影レポート作成画面40を見た操作者が、医用画像41の読影を行った結果、文書作成部23が作成した読影レポートに足りない所見の入力を行ったとする。例えば、入力部15から音声により、医用画像の所見を表す「右肺」、「S2b」、「毛羽立ち」、「境界明瞭」、「すりガラス」、「類円形」および「肺癌」の所見を表すキーワードの入力を行ったとする。
入力受付部21は、入力されたキーワードの音声をテキストのキーワードに変換して、文書作成部23に入力する。文書作成部23は、入力されたキーワードおよび解析結果に含まれるコンテンツに基づいて、新たな読影レポートを作成する。例えば、「右肺上葉に25×21mm大の結節が認められます。」の読影レポートに、入力されたキーワードを加えて、「右肺上葉S2bに、毛羽立ちを有する、25×21mm大の類縁形で境界明瞭な結節が認められます。肺癌が疑われます。」の読影レポートを新たに作成する。表示制御部24は、新たに作成された読影レポートを表示部14に表示する。図5は、新たな読影レポートが表示された読影レポート作成画面を示す図である。
なお、このように新たな読影レポートが表示された状態において、さらに操作者がキーワードを入力した場合には、入力受付部21は、新たなキーワードの入力を受け付け、文書作成部23は、新たに入力されたキーワードおよび解析結果に含まれるコンテンツに基づいて、さらに新たな読影レポートを作成し、表示制御部24は、さらに新たな読影レポートを表示部14に表示する。
次いで、本実施形態において行われる処理について説明する。図6は本実施形態において行われる処理を示すフローチャートである。読影WS3に読影対象となる医用画像が入力され、読影レポートの作成の指示が操作者により行われると処理が開始され、解析結果取得部22が、医用画像の解析結果を取得する(ステップST1)。次いで、文書作成部23が、まず解析結果に含まれるコンテンツに基づいて、医用画像に関する読影レポートを作成し(ステップST2)、表示制御部24が、医用画像および読影レポートを表示部14に表示する(ステップST3)。
次いで、入力受付部21が、表示された医用画像に基づく所見を表すキーワードの入力があったか否かを判定する(ステップST4)。キーワードの入力がありステップST4が肯定されると、文書作成部23が、キーワードおよび解析結果に基づいて新たな読影レポートを作成する(ステップST5)。なお、ステップST4が否定されると、後述するステップST7の処理に進む。表示制御部24は、新たに作成された読影レポートを表示部14に表示する(ステップST6)。
そして、入力受付部21は、終了指示があったか否かを判定し(ステップST7)、ステップST7が否定されるとステップST4に戻る。ステップST7が肯定されると処理を終了する。
このように、本実施形態によれば、表示された医用画像に基づく所見を表すキーワードの入力を受け付け、医用画像の解析結果を取得し、キーワードおよび解析結果に基づいて、医用画像に関する医療文書を作成するようにした。これにより、操作者はキーワードのみを入力すれば、解析結果および操作者の認識の双方を含む医療文書が作成されることとなる。したがって、本実施形態によれば、操作者の医療文書作成時における負担を軽減することができ、その結果、操作者は効率よく医療文書を作成することができる。また、医療文書は作成する操作者により表現の仕方が異なるため、操作者毎に文書の揺らぎがある。このように、文書に揺らぎがあると、文書が読みにくかったり、文書の再利用がしにくかったりする場合がある。本実施形態によれば、作成される医療文書の揺らぎを抑えることができるため、読みやすく、かつ再利用が容易な医療文書を作成することができる。
なお、上記実施形態においては、文書作成部23は、1つの医用画像の解析結果に対して1つの読影レポートを作成しているが、これに限定されるものではない。文書作成部23は、1つの医用画像に対して複数の読影レポートの候補(以下、読影レポート候補とする)を作成するようにしてもよい。この場合、表示制御部24は、複数の読影レポート候補を表示部14に表示する。
図7は複数の読影レポートを表示部14に表示した状態を示す図である。図7に示すように、読影レポートの作成領域42には、複数の読影レポート候補を表示するための読影レポート領域45が表示されている。読影レポート領域45には、4種類の読影レポート候補が表示される。具体的には、「右肺上葉に25×21mm大の結節が認められます。」、「25×21mm大の結節が右肺上葉に認められます。」、「右肺上葉に25×21mm大の結節があります。」、および「25×21mm大の結節が右肺上葉にあります。」の読影レポート候補が表示される。
この場合、操作者が読影レポート領域45に表示された複数の読影レポート候補から、入力部15を用いて所望とする読影レポート候補を選択すると、表示制御部24は、選択された読影レポート候補を作成領域42に挿入する。例えば、4種類の読影レポート候補のうち、「右肺上葉に25×21mm大の結節が認められます。」を操作者が選択した場合、図4に示すように、選択された読影レポート候補を、読影レポートとして作成領域42に挿入する。このように、複数の読影レポート候補からの入力を所望する読影レポート候補の選択を受け付けることにより、操作者は所望とする内容の読影レポートを作成することができる。
また、上記実施形態においては、読影WS3における医療文書作成支援装置10の解析結果取得部22が医用画像を解析しているが、外部の解析サーバ等において、医用画像の解析を行って解析結果を取得するようにしてもよい。この場合、解析結果取得部22は、外部において取得された解析結果を取得するものとなる。
また、上記実施形態においては、医療文書として読影レポートを作成する際に、本発明を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を作成する場合にも、本発明を適用できることはもちろんである。
また、上記実施形態においては、音声により所見を表すキーワードを入力しているが、これに限定されるものではなく、キーボード等によりキーワードを入力してもよいことはもちろんである。
1 医療情報システム
2 モダリティ
3 読影ワークステーション
4 診療科ワークステーション
5 画像サーバ
6 画像データベース
7 読影レポートサーバ
8 読影レポートデータベース
9 ネットワーク
10 医療文書作成支援装置
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 入力受付部
22 解析結果取得部
23 文書作成部
24 表示制御部
30 リカレントニューラルネットワーク
31 エンコーダ
32 デコーダ
40 読影レポート作成画面
41 医用画像
42 作成領域
43 リンク
44 丸印
45 読影レポート領域

Claims (11)

  1. 表示された医用画像に基づく所見を表すキーワードの入力を受け付ける入力受付部と、
    前記医用画像の解析結果を取得する解析結果取得部と、
    前記キーワードおよび前記解析結果に基づいて、前記医用画像に関する医療文書を作成する文書作成部とを備えた医療文書作成支援装置。
  2. 前記解析結果取得部が、前記医用画像を解析することにより前記解析結果を取得する請求項1に記載の医療文書作成支援装置。
  3. 前記解析結果は、前記医用画像に基づく所見を表すコンテンツを含み、
    前記文書作成部は、前記キーワードおよび前記コンテンツに基づいて前記医療文書を作成する請求項1または2に記載の医療文書作成支援装置。
  4. 前記医用画像および前記医療文書を表示部に表示する表示制御部をさらに備えた請求項1から3のいずれか1項に記載の医療文書作成支援装置。
  5. 前記入力受付部は、表示された前記医療文書に対する追加のキーワードの入力を受け付け、
    前記文書作成部は、さらに追加のキーワードにも基づいて、前記医療文書を再度作成する請求項4に記載の医療文書作成支援装置。
  6. 前記文書作成部は、1つの前記医用画像に対して複数の医療文書候補を作成し、
    前記表示制御部は、前記複数の医療文書候補を前記表示部に表示し、
    前記文書作成部は、さらに前記複数の医療文書候補から選択された医療文書候補に基づいて前記医療文書を作成する請求項4または5に記載の医療文書作成支援装置。
  7. 前記医療文書は、前記医用画像に関する読影レポートである請求項1から6のいずれか1項に記載の医療文書作成支援装置。
  8. 前記医療文書は、前記医用画像へのリンクを含む請求項1から7のいずれか1項に記載の医療文書作成支援装置。
  9. 前記入力受付部は、前記所見を表す音声のキーワードの入力を受け付け、該音声のキーワードをテキストに変換する請求項1から8のいずれか1項に記載の医療文書作成支援装置。
  10. 表示された医用画像に基づく所見を表すキーワードの入力を受け付け、
    前記医用画像の解析結果を取得し、
    前記キーワードおよび前記解析結果に基づいて、前記医用画像に関する医療文書を作成する医療文書作成支援方法。
  11. 表示された医用画像に基づく所見を表すキーワードの入力を受け付ける手順と、
    前記医用画像の解析結果を取得する手順と、
    前記キーワードおよび前記解析結果に基づいて、前記医用画像に関する医療文書を作成する手順とをコンピュータに実行させる医療文書作成支援プログラム。
JP2018040203A 2018-03-06 2018-03-06 医療文書作成支援装置、方法およびプログラム Pending JP2019153250A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018040203A JP2019153250A (ja) 2018-03-06 2018-03-06 医療文書作成支援装置、方法およびプログラム
US16/277,330 US20190279751A1 (en) 2018-03-06 2019-02-15 Medical document creation support apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018040203A JP2019153250A (ja) 2018-03-06 2018-03-06 医療文書作成支援装置、方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2019153250A true JP2019153250A (ja) 2019-09-12

Family

ID=67844076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018040203A Pending JP2019153250A (ja) 2018-03-06 2018-03-06 医療文書作成支援装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US20190279751A1 (ja)
JP (1) JP2019153250A (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107142A1 (ja) * 2019-11-29 2021-06-03
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03
WO2021162008A1 (ja) * 2020-02-10 2021-08-19 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
WO2021167018A1 (ja) * 2020-02-18 2021-08-26 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
WO2021177312A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
WO2021193548A1 (ja) * 2020-03-23 2021-09-30 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2022163401A1 (ja) * 2021-01-26 2022-08-04 富士フイルム株式会社 学習装置、学習方法、学習済みモデル、及びプログラム
WO2022163071A1 (ja) 2021-01-27 2022-08-04 富士フイルム株式会社 情報処理装置、方法およびプログラム
WO2022196106A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 文書作成装置、方法およびプログラム
WO2022196105A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 情報管理装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
DE112021000934T5 (de) 2020-02-07 2022-12-15 Fujifilm Corporation Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und programm
DE112021001190T5 (de) 2020-02-20 2022-12-15 Fujifilm Corporation Informationsverarbeitungsvorrichtung, -verfahren und -programm
DE112021000329T5 (de) 2020-02-07 2022-12-29 Fujifilm Corporation Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung
US11837346B2 (en) 2019-12-03 2023-12-05 Fujifilm Corporation Document creation support apparatus, method, and program
EP4343695A1 (en) 2022-09-21 2024-03-27 FUJIFILM Corporation Information processing apparatus, information processing method, and information processing program
EP4343780A1 (en) 2022-09-21 2024-03-27 FUJIFILM Corporation Information processing apparatus, information processing method, and information processing program
EP4343781A1 (en) 2022-09-21 2024-03-27 FUJIFILM Corporation Information processing apparatus, information processing method, and information processing program
DE112022003716T5 (de) 2021-09-27 2024-05-29 Fujifilm Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE112022003698T5 (de) 2021-09-27 2024-05-29 Fujifilm Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731591A (ja) * 1993-07-19 1995-02-03 Toshiba Corp 読影レポート作成支援装置
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
JP2009259000A (ja) * 2008-04-16 2009-11-05 Fujifilm Corp 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
JP2016040688A (ja) * 2014-08-12 2016-03-24 株式会社東芝 読影レポート作成支援装置
JP2018028562A (ja) * 2016-08-15 2018-02-22 キャノンメディカルシステムズ株式会社 医用画像表示装置及び読影レポート作成支援装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004015857A1 (de) * 2004-03-31 2005-10-27 Siemens Ag Medizinische Untersuchungs- und/oder Behandlungsvorrichtung
ITFI20040223A1 (it) * 2004-10-29 2005-01-29 Sr Labs S R L Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche
US10657220B2 (en) * 2015-04-22 2020-05-19 Ascend Hit Llc System and methods for medical reporting
WO2017073702A1 (ja) * 2015-10-29 2017-05-04 キヤノン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
US10401975B2 (en) * 2016-01-26 2019-09-03 Imaging Advantage Llc System and method for medical imaging report input
US10803581B2 (en) * 2017-11-06 2020-10-13 Beijing Keya Medical Technology Co., Ltd. System and method for generating and editing diagnosis reports based on medical images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0731591A (ja) * 1993-07-19 1995-02-03 Toshiba Corp 読影レポート作成支援装置
JP2009082443A (ja) * 2007-09-28 2009-04-23 Canon Inc 診断支援装置及びその制御方法
US20100189366A1 (en) * 2007-09-28 2010-07-29 Canon Kabushiki Kaisha Diagnosis support apparatus and control method therefor
JP2009259000A (ja) * 2008-04-16 2009-11-05 Fujifilm Corp 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
JP2016040688A (ja) * 2014-08-12 2016-03-24 株式会社東芝 読影レポート作成支援装置
JP2018028562A (ja) * 2016-08-15 2018-02-22 キャノンメディカルシステムズ株式会社 医用画像表示装置及び読影レポート作成支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
坂本 俊之 TOSHIYUKI SAKAMOTO, CHAINERで作る コンテンツ自動生成AIプログラミング入門 初版, vol. 第1版, JPN6021037135, 22 December 2017 (2017-12-22), pages 157 - 168, ISSN: 0004600757 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021107142A1 (ja) * 2019-11-29 2021-06-03
WO2021107142A1 (ja) * 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
JPWO2021107098A1 (ja) * 2019-11-29 2021-06-03
WO2021107098A1 (ja) * 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
US11978274B2 (en) 2019-11-29 2024-05-07 Fujifilm Corporation Document creation support apparatus, document creation support method, and document creation support program
US11837346B2 (en) 2019-12-03 2023-12-05 Fujifilm Corporation Document creation support apparatus, method, and program
DE112021000329T5 (de) 2020-02-07 2022-12-29 Fujifilm Corporation Unterstützungsvorrichtung, verfahren und programm für dokumentenerstellung
DE112021000934T5 (de) 2020-02-07 2022-12-15 Fujifilm Corporation Unterstützungsvorrichtung für dokumentenerstellung, unterstützungsverfahren für dokumentenerstellung und programm
WO2021162008A1 (ja) * 2020-02-10 2021-08-19 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
JP7376674B2 (ja) 2020-02-10 2023-11-08 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及びプログラム
WO2021167018A1 (ja) * 2020-02-18 2021-08-26 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP7420914B2 (ja) 2020-02-18 2024-01-23 富士フイルム株式会社 情報処理装置、情報処理方法及び情報処理プログラム
DE112021001190T5 (de) 2020-02-20 2022-12-15 Fujifilm Corporation Informationsverarbeitungsvorrichtung, -verfahren und -programm
WO2021177312A1 (ja) * 2020-03-03 2021-09-10 富士フイルム株式会社 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7436628B2 (ja) 2020-03-03 2024-02-21 富士フイルム株式会社 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7436636B2 (ja) 2020-03-23 2024-02-21 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2021193548A1 (ja) * 2020-03-23 2021-09-30 富士フイルム株式会社 文書作成支援装置、方法およびプログラム
WO2022163401A1 (ja) * 2021-01-26 2022-08-04 富士フイルム株式会社 学習装置、学習方法、学習済みモデル、及びプログラム
WO2022163071A1 (ja) 2021-01-27 2022-08-04 富士フイルム株式会社 情報処理装置、方法およびプログラム
WO2022196105A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 情報管理装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム
WO2022196106A1 (ja) * 2021-03-19 2022-09-22 富士フイルム株式会社 文書作成装置、方法およびプログラム
DE112022003716T5 (de) 2021-09-27 2024-05-29 Fujifilm Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
DE112022003698T5 (de) 2021-09-27 2024-05-29 Fujifilm Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und informationsverarbeitungsprogramm
EP4343695A1 (en) 2022-09-21 2024-03-27 FUJIFILM Corporation Information processing apparatus, information processing method, and information processing program
EP4343780A1 (en) 2022-09-21 2024-03-27 FUJIFILM Corporation Information processing apparatus, information processing method, and information processing program
EP4343781A1 (en) 2022-09-21 2024-03-27 FUJIFILM Corporation Information processing apparatus, information processing method, and information processing program

Also Published As

Publication number Publication date
US20190279751A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
US11139067B2 (en) Medical image display device, method, and program
US11093699B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP2019169049A (ja) 医用画像特定装置、方法およびプログラム
US20190267120A1 (en) Medical document creation support apparatus, method, and program
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
US20220028510A1 (en) Medical document creation apparatus, method, and program
US20220366151A1 (en) Document creation support apparatus, method, and program
JPWO2020129385A1 (ja) 医療文書作成支援装置、方法およびプログラム
US11923069B2 (en) Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program
WO2019193983A1 (ja) 医療文書表示制御装置、医療文書表示制御方法、及び医療文書表示制御プログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
US11978274B2 (en) Document creation support apparatus, document creation support method, and document creation support program
US20220415461A1 (en) Information processing apparatus, information processing method, and information processing program
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
WO2021172477A1 (ja) 文書作成支援装置、方法およびプログラム
US20220076796A1 (en) Medical document creation apparatus, method and program, learning device, method and program, and trained model
US20220391599A1 (en) Information saving apparatus, method, and program and analysis record generation apparatus, method, and program
WO2022239593A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
US20240029251A1 (en) Medical image analysis apparatus, medical image analysis method, and medical image analysis program
EP4310854A1 (en) Document creation device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210928