JP7436628B2 - 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム - Google Patents

情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム Download PDF

Info

Publication number
JP7436628B2
JP7436628B2 JP2022504406A JP2022504406A JP7436628B2 JP 7436628 B2 JP7436628 B2 JP 7436628B2 JP 2022504406 A JP2022504406 A JP 2022504406A JP 2022504406 A JP2022504406 A JP 2022504406A JP 7436628 B2 JP7436628 B2 JP 7436628B2
Authority
JP
Japan
Prior art keywords
image
property information
medical
information
analysis record
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022504406A
Other languages
English (en)
Other versions
JPWO2021177312A5 (ja
JPWO2021177312A1 (ja
Inventor
佳児 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021177312A1 publication Critical patent/JPWO2021177312A1/ja
Publication of JPWO2021177312A5 publication Critical patent/JPWO2021177312A5/ja
Priority to JP2023195440A priority Critical patent/JP2024012644A/ja
Application granted granted Critical
Publication of JP7436628B2 publication Critical patent/JP7436628B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Probability & Statistics with Applications (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラムに関する。
近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく解析することができるため、解析した結果に基づいて適切な治療が行われるようになってきている。
また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。ＣＡＤにより取得された解析結果は、患者名、性別、年齢および医用画像を取得したモダリティ等の検査情報と対応づけられて、データベースに保存される。医用画像および解析結果は、医用画像の読影を行う読影医の端末に送信される。読影医は、自身の端末において、送信された医用画像および解析結果を参照して医用画像の読影を行い、読影レポートを作成する。
一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないことから、読影医の読影業務の負担を軽減することが望まれている。このため、読影レポート等の医療文書の作成を支援するための各種手法が提案されている。例えば、特開２０１９－１５３２５０号公報には、読影医が入力したキーワードおよび医用画像の解析結果に含まれる、関心構造物の性状を表す情報（以下、性状情報とする）に基づいて、読影レポートに記載するための文章を自動で生成する手法が提案されている。特開２０１９－１５３２５０号公報に記載された手法においては、入力された性状情報を表す文字から文章を生成するように学習が行われたリカレントニューラルネットワーク等の機械学習がなされた学習モデルを用いて、医療用の文章（以下、医療文章とする）が作成される。特開２０１９－１５３２５０号公報に記載された手法のように、医療文章を自動で生成することにより、読影レポート等の医療文書を作成する際の読影医の負担を軽減することができる。
ところで、自動で生成された読影レポートは、読影医により修正される場合がある。また、経時比較を行う場合には、最新の医用画像の読影レポートを記載する際に、過去の医用画像の読影レポートを参照することが多い。このため、修正された読影レポートの修正箇所を抽出する手法（特開２０１１－１２５４０２号公報参照）、および過去の医用画像の読影レポートと最新の医用画像の読影レポートとの差分を抽出する手法（特開２００７－１２２６７９号公報参照）が提案されている。
ところで、医用画像から読影レポートを生成する学習モデルのように、画像から文章等の画像解析記録を生成する学習モデルにおいては、解析記録の内容および表現に対して使用者の好みがあり、その好みを反映させた学習モデルを構築することが望まれている。使用者の好みとしては、例えば画像から解析される性状情報に関して、どの性状情報を最終的な解析記録に反映させるか等が挙げられる。
しかしながら、学習モデルの学習に使用した教師データの内容に依存して、あるいは学習モデルの学習の限界に依存して、生成された画像解析記録が、使用者の好みと一致しない場合がある。このような場合、使用者は、生成された画像解析記録を修正する必要がある。ここで、画像解析記録が文章である場合、上記特開２０１１－１２５４０２号公報および特開２００７－１２２６７９号公報に記載された手法を用いて修正前後の文章を比較すれば、文章においていずれの部分が修正されたのかを認識することができる。
しかしながら、特開２０１１－１２５４０２号公報および特開２００７－１２２６７９号公報に記載された手法の場合、画像解析記録の修正箇所は分かるが、画像を解析することにより取得された性状情報のいずれが修正されたかを認識することができない。学習モデルは性状情報から画像解析記録を生成するものであるため、いずれの性状情報が修正されたかが分からないと、使用者の好みに応じた学習モデルを構築することは困難である。
本開示は上記事情に鑑みなされたものであり、画像から生成された画像解析記録を修正した場合に、画像を解析することにより導出されるいずれの性状情報が修正されたかを認識できるようにすることを目的とする。
本開示による情報保存装置は、少なくとも１つのプロセッサを備え、
プロセッサは、画像を解析することにより、画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、
複数の性状情報の少なくとも一部を含む画像解析記録を生成し、
性状情報に対するユーザによる修正を受け付け、
導出された性状情報と修正された性状情報とを区別して保存するように構成される。
なお、本開示による情報保存装置においては、プロセッサは、画像解析記録をディスプレイに表示するように構成されるものであってもよい。
また、本開示による情報保存装置においては、プロセッサは、表示された画像解析記録に含まれる性状情報の削除および画像解析記録に含まれない性状情報の追加の少なくとも一方を、修正として受け付けるように構成されるものであってもよい。
また、本開示による情報保存装置においては、プロセッサは、導出された性状情報の全部または一部をディスプレイに表示し、
表示された性状情報のユーザによる選択に基づいて、修正を受け付けるように構成されるものであってもよい。
また、本開示による情報保存装置においては、性状情報が入力されると画像解析記録を出力するように学習がなされた学習モデルをさらに備えるものであってもよい。
また、本開示による情報保存装置においては、プロセッサは、性状情報の少なくとも一部を含む文章を、画像解析記録として生成するものであってもよい。
また、本開示による情報保存装置においては、画像は医用画像であり、文章は、医用画像に含まれる関心構造物に関する医療文章であってもよい。
本開示による解析記録生成装置は、少なくとも１つのプロセッサを備え、
プロセッサは、解析対象となる対象画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、
本開示による情報保存装置により保存された情報を参照して、性状情報の少なくとも一部を含む対象画像解析記録を生成するように構成される。
なお、本開示による解析記録生成装置においては、プロセッサは、対象画像から導出した性状情報と一致する性状情報を含む保存された情報を特定し、特定された保存された情報に関連付けられた画像解析記録を対象画像解析記録として生成するものであってもよい。
また、本開示による解析記録生成装置においては、プロセッサは、さらに保存された情報を非参照とした、導出された性状情報の少なくとも一部を含む他の対象画像解析記録を生成するように構成されるものであってもよい。
「非参照とした…他の対象画像解析記録を生成する」とは、保存された情報を参照しないで、他の対象画像解析記録を生成することを意味する。
また、本開示による解析記録生成装置においては、プロセッサは、対象画像解析記録および他の対象画像解析記録をディスプレイに表示するように構成されるものであってもよい。
また、本開示による解析記録生成装置においては、プロセッサは、表示された対象画像解析記録および他の対象画像解析記録のいずれかの選択を受け付けるように構成されるものであってもよい。
また、本開示による解析記録生成装置においては、プロセッサは、性状情報の少なくとも一部を含む文章を、対象画像解析記録として生成するように構成されるものであってもよい。
また、本開示による解析記録生成装置においては、画像は医用画像であり、文章は、医用画像に含まれる関心構造物に関する医療文章であってもよい。
本開示による情報保存方法は、画像を解析することにより、画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、
複数の性状情報の少なくとも一部を含む画像解析記録を生成し、
性状情報に対するユーザによる修正を受け付け、
導出された性状情報と修正された性状情報とを区別して保存する。
本開示による解析記録生成方法は、解析対象となる対象画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、
本開示による情報保存装置により保存された情報を参照して、性状情報の少なくとも一部を含む対象画像解析記録を生成する。
なお、本開示による情報保存方法および解析記録生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示によれば、画像から生成された画像解析記録を修正した場合に、画像を解析することにより導出されるいずれの性状情報が修正されたかを認識できる。
本開示の実施形態による情報保存装置および解析記録生成装置を適用した医療情報システムの概略構成を示す図 本実施形態による情報保存装置および解析記録生成装置の概略構成を示す図 本実施形態による情報保存装置および解析記録生成装置の機能構成図 第１の学習モデルを学習するための教師データの例を示す図 解析部が導出した性状情報を説明するための図 リカレントニューラルネットワークの模式的な構成を示す図 医療文章の表示画面の例を示す図 修正医療文章の表示画面の例を示す図 性状情報の保存結果を表す保存情報を説明するための図 対象医療文章および別案の表示画面の例を示す図 本実施形態において行われる情報保存処理を示すフローチャート 本実施形態において行われる解析記録生成処理のフローチャート 医療文章および照合結果の表示画面の例を示す図
以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による情報保存装置および解析記録生成装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。
図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。
各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。
読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による情報保存装置および解析記録生成装置（以下、情報保存装置で代表させる）２０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、医用画像および入力された所見文に対する解析処理、解析結果に基づく読影レポートの作成の支援、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。
診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。
画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。
画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。
また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。
レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。
レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、病変名、病変の位置情報、特定領域を含む医用画像にアクセスするための情報、および性状情報等の情報を含んでいてもよい。
また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。
なお、本実施形態においては、医用画像は診断対象を肺とした、複数の断層画像からなる３次元のＣＴ画像とし、読影ＷＳ３においてＣＴ画像を読影することにより、肺に含まれる異常陰影についての読影レポートを医療文書として作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された２次元画像等の任意の医用画像を用いることができる。
ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。
次いで、本実施形態による情報保存装置および解析記録生成装置について説明する。図２は、本実施形態による情報保存装置および解析記録生成装置のハードウェア構成を説明する。なお、図２においては、情報保存装置および解析記録生成装置を情報保存装置２０にて代表させている。図２に示すように、情報保存装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、情報保存装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。
ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、情報保存プログラム１２Ａおよび解析記録生成プログラム１２Ｂが記憶される。ＣＰＵ１１は、ストレージ１３から情報保存プログラム１２Ａおよび解析記録生成プログラム１２Ｂを読み出してからメモリ１６に展開し、展開した情報保存プログラム１２Ａおよび解析記録生成プログラム１２Ｂを実行する。
次いで、本実施形態による情報保存装置および解析記録生成装置の機能的な構成を説明する。図３は、本実施形態による情報保存装置および解析記録生成装置の機能的な構成を示す図である。図３に示すように情報保存装置（および解析記録生成装置）２０は、画像取得部２１、解析部２２、解析記録生成部２３、表示制御部２４、修正部２５、保存制御部２６および通信部２７を備える。そして、ＣＰＵ１１が、情報保存プログラム１２Ａおよび解析記録生成プログラム１２Ｂを実行することにより、ＣＰＵ１１は、画像取得部２１、解析部２２、解析記録生成部２３、表示制御部２４、修正部２５、保存制御部２６および通信部２７として機能する。
なお、本実施形態においては、画像取得部２１、解析部２２、解析記録生成部２３表示制御部２４および通信部２７は、情報保存プログラム１２Ａおよび解析記録生成プログラム１２Ｂで共通の構成となる。
画像取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための医用画像を取得する。なお、医用画像には後述する解析対象となる対象医用画像も含む。
解析部２２は、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する。このために、解析部２２は、医用画像における異常陰影候補を判別し、判別した異常陰影候補の性状を判別するように機械学習がなされた第１の学習モデル２２Ａを有する。本実施形態においては、第１の学習モデル２２Ａは、医用画像における各画素（ボクセル）が異常陰影候補を表すものであるか否かを判別し、異常陰影候補である場合には、その性状を判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。
図４は第１の学習モデルを学習するための教師データの例を示す図である。図４に示すように、教師データ３０は、異常陰影３１が含まれる医用画像３２および異常陰影についての性状情報３３を含む。本実施形態においては、異常陰影３１は肺結節であり、性状情報３３は肺結節についての複数の性状を表すものとする。例えば、性状情報３３としては、異常陰影の場所、異常陰影のサイズ、境界の形状（明瞭および不整形）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無等が用いられる。図４に示す教師データ３０に含まれる異常陰影３１については、性状情報３３は、図４に示すように、異常陰影の場所は左肺胸膜下、異常陰影のサイズは直径４．２ｃｍ、境界の形状は不整形、吸収値は充実型、スピキュラは有、腫瘤、胸膜接触は有、胸膜陥入は有、胸膜浸潤は無、空洞は無、および石灰化は無となっている。なお、図４においては、「有り」の場合は＋、無しの場合は－を付与している。第１の学習モデル２２Ａは、図４に示すような教師データを多数用いてニューラルネットワークを学習することにより構築される。例えば、図４に示す教師データ３０を用いることにより、第１の学習モデル２２Ａは、図４に示す医用画像３２が入力されると、医用画像３２に含まれる異常陰影３１を判別し、異常陰影３１に関して、図４に示す性状情報３３を出力するように学習がなされる。
また、第１の学習モデル２２Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。
なお、医用画像から異常陰影候補を検出する学習モデルと、異常陰影候補の性状情報を検出する学習モデルとを別々に構築するようにしてもよい。また、解析部２２が導出した性状情報は、ストレージ１３に保存される。図５は解析部２２が導出した性状情報を説明するための図である。図５に示すように解析部２２が導出した性状情報３５は、「左肺胸膜下」、「４．２ｃｍ」、「不整形」、「充実型」、「スピキュラ無」、「腫瘤」、「胸膜接触有」、「胸膜陥入有」、「胸膜浸潤無」、「空洞無」および「石灰化無」であるものとする。
解析記録生成部２３は、解析部２２が導出した性状情報を用いて画像解析記録を生成する。本実施形態においては、医療文章を画像解析記録として生成する。解析記録生成部２３は、入力された情報から文章を生成するように学習が行われた第２の学習モデル２３Ａからなる。第２の学習モデル２３Ａとしては、例えばリカレントニューラルネットワークを用いることができる。図６はリカレントニューラルネットワークの模式的な構成を示す図である。図６に示すように、リカレントニューラルネットワーク４０は、エンコーダ４１およびデコーダ４２からなる。エンコーダ４１には、解析部２２が導出した性状情報が入力される。例えば、エンコーダ４１には、「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報が入力される。デコーダ４２は、文字情報を文章化するように学習がなされており、入力された性状情報から文章を生成する。具体的には、上述した「左肺胸膜下」、「４．２ｃｍ」、「スピキュラ＋」および「腫瘤」の性状情報から、「左肺胸膜下にスピキュラを有する４．２ｃｍ径の腫瘤が認められます。」の医療文章を生成する。なお、図６において「ＥＯＳ」は文章の終わりを示す（End Of Sentence）。
このように、性状情報の入力によって医療文章を出力するために、リカレントニューラルネットワーク４０は、性状情報と医療文章との組み合わせからなる多数の教師データを用いてエンコーダ４１およびデコーダ４２を学習することにより構築されてなる。
表示制御部２４は、解析記録生成部２３が生成した医療文章をディスプレイ１４に表示する。図７は本実施形態における医療文章の表示画面の例を示す図である。図７に示すように、表示画面５０は画像表示領域５１および文章表示領域５２を含む。画像表示領域５１には、解析部２２が検出した異常陰影候補を最も特定しやすいスライス画像ＳＬ１が表示される。スライス画像ＳＬ１には異常陰影候補５３が含まれ、異常陰影候補５３は矩形領域５４により囲まれている。
文章表示領域５２には、解析記録生成部２３が生成した医療文章５５が表示されている。医療文章５５は、「左肺胸膜下に、不整形な最大横径４．２ｃｍの腫瘤が認められます。胸壁に接していて、胸膜陥入を認めますが、浸潤は認めません。」である。なお、医療文章５５において使用されている性状情報は、解析部２２が導出した性状情報のうちの、「左肺胸膜下」、「不整形」、「４．２ｃｍ」、「腫瘤」、「胸壁接触有」、「胸膜陥入有」および「胸膜浸潤無」である。
画像表示領域５１の下方には、修正ボタン５８Ａおよび確定ボタン５８Ｂが表示されている。
読影医は、画像表示領域５１に表示されたスライス画像ＳＬ１における異常陰影候補５３を読影し、文章表示領域５２に表示された医療文章５５の適否を判定する。
読影医が医療文章５５の修正を所望する場合、入力デバイス１５を用いて修正ボタン５８Ａを選択する。これにより、修正部２５が性状情報に対する読影医による修正を受け付ける。すなわち、文章表示領域５２に表示された医療文章５５を、入力デバイス１５からの入力により、手動で修正することが可能な状態となる。また、確定ボタン５８Ｂを選択することにより、文章表示領域５２に表示された医療文章５５をその内容で確定することができる。この場合、医療文章５５は読影レポートに転記され、医療文章５５が転記された読影レポートはスライス画像ＳＬ１と併せてレポートサーバ７に送信されて保管される。
読影医が、修正ボタン５８Ａを選択して医療文章５５を修正するに際し、読影医は異常陰影３１に含まれるが、医療文章５５において不足している性状がある場合、不足している性状を追加するように医療文章５５を修正する。この場合、読影医は、不足している性状を、入力デバイス１５を用いて入力する。例えば、本実施形態においては、異常陰影３１にスピキュラが認められるのに、医療文章５５にはスピキュラに関する記載が不足していたとする。この場合、読影医は「スピキュラ」の性状情報を入力デバイス１５を用いて入力する。これにより、修正部２５が「スピキュラ」の性状情報を追加するように、医療文章５５を修正する。
また、医療文章５５において医用画像には見られない不要な性状がある場合、または医用画像には見られるものの、読影医としては医療文章５５に記載が不要であると考えている性状がある場合、読影医は不要な性状を削除するように医療文章５５を修正する。例えば、本実施形態においては、胸壁に接している旨の性状が不要である場合、読影医は「胸壁に接していて」の性状情報を入力デバイス１５を用いて削除する。これにより、修正部２５が「胸壁に接していて」の性状情報を削除するように、医療文章５５を修正する。
図８は修正された医療文章の表示画面の例を示す図である。図８に示すように、文章表示領域５２には、医療文章５５を修正した修正医療文章５９が表示される。修正医療文章５９は、「左肺胸膜下に、不整形でスピキュラを有する最大横径４．２ｃｍの腫瘤が認められます。胸膜陥入を認めますが、浸潤は認めません。」である。
ここで、図８に示すように医療文章５５が修正された場合、性状情報は、「スピキュラ無」が「スピキュラ有」に、「胸壁接触有」が「胸壁接触無」に修正されることとなる。
なお、読影医が、修正を行うこと無く確定ボタン５８Ｂを選択すると、文章表示領域５２に表示された医療文章５５をその内容で確定することができる。この場合、医療文章５５は読影レポートに転記され、医療文章５５が転記された読影レポートはスライス画像ＳＬ１と併せて、通信部２７によりレポートサーバ７に送信されて保管される。また、修正後に読影医が確定ボタン５８Ｂを選択すると、修正医療文章５９をその内容で確定することができる。この場合、修正医療文章５９は読影レポートに転記され、修正医療文章５９が転記された読影レポートは、スライス画像ＳＬ１および後述する保存情報４５と併せて、通信部２７によりレポートサーバ７に送信されて保管される。レポートサーバ７においては、読影レポートと保存情報４５とが対応づけられて保存される。
保存制御部２６は、解析部２２により導出された性状情報と、修正部２５が受け付けた修正された性状情報とを区別してストレージ１３に保存する。図９は性状情報の保存結果を表す保存情報を説明するための図である。図９に示すように、保存情報４５は、図５に示す解析部２２が導出した性状情報において、「スピキュラ無」が「スピキュラ有」に、「胸壁接触有」が「胸壁接触無」に修正されたものとなっている。なお、保存情報４５においては、「無」から「有」に修正された性状情報に＋１のフラグが、「有」から「無」に修正された性状情報に－１のフラグが、修正がなかった性状情報に０のフラグがそれぞれ付与されている。この結果、保存情報４５においては、解析部２２により導出された性状情報と、修正された性状情報とがフラグによって区別可能なものとなっている。なお、ストレージ１３に保存された保存情報４５は、上述したように読影レポートと併せてレポートサーバ７に送信されて保存される。
一方、情報保存装置２０の画像取得部２１が、解析対象となる医用画像（以下、対象医用画像とする）を取得すると、解析部２２は、対象医用画像を解析することにより対象医用画像の性状情報を導出する。また、解析記録生成部２３は、レポートサーバ７に保存された保存情報４５を非参照として、すなわち保存情報４５を参照しないで、対象医用画像の性状情報から対象医療文章を生成する。具体的には、解析記録生成部２３は、解析部２２が導出した性状情報のみを用いてして、対象医療文章を生成する。保存情報４５を非参照とした対象医療文章が、本開示の他の対象画像解析記録に対応する。さらに、解析記録生成部２３は、レポートサーバ７に保存された保存情報４５を参照して、対象医用画像の性状情報から対象医療文章を別案として生成する。
以下、別案の生成について説明する。まず、解析記録生成部２３は、解析部２２が導出した対象医用画像の性状情報と一致する性状情報を含む保存情報４５を、レポートサーバ７において検索することにより特定する。なお、性状情報および保存情報４５は、異常陰影の場所およびサイズを含むが、異常陰影の場所およびサイズを除いた性状の項目が一致する保存情報４５を特定するものとする。例えば、対象医用画像の性状情報が、「腫瘤」、「胸膜陥入有」および「浸潤無」である場合、解析記録生成部２３は、「腫瘤」、「胸膜陥入有」および「浸潤無」の性状情報を含む保存情報４５を検索する。そして、解析記録生成部２３は、対象医用画像の性状情報と一致する保存情報４５と対応づけられた読影レポートをレポートサーバ７から取得する。
ここで、性状情報が一致するとは、複数の性状情報のうちの、異常陰影の場所およびサイズを除くすべての性状情報が一致する場合のみならず、複数の性状情報のうちの大多数、例えば複数の性状情報のうちの８０％以上さらには９０％以上が一致する場合も含む。
なお、対象医用画像の性状情報と一致する保存情報４５が複数ある場合、作成した日付が新しいものあるいは読影ＷＳ３を操作している読影医が作成したもの等の基準に従って選択することができる。または、取得する読影レポートの数を制限して、性状情報と一致する保存情報を検索するようにしてもよい。そして、解析記録生成部２３は、取得した読影レポートにおいて、異常陰影の場所およびサイズを対象医用画像の性状情報に含まれる異常陰影の場所およびサイズに書き換えて、別案を生成する。なお、対象医用画像の性状情報と一致する保存情報４５がレポートサーバ７に保存されていない場合がある。このような場合は、本実施形態においては別案を生成しないものとする。
表示制御部２４は、対象医療文章および対象医療文章の別案をディスプレイ１４に表示する。図１０は対象医療文章および別案の表示画面を示す図である。なお、図１０においては１つの別案のみを示している。図１０に示すように、表示画面７０は画像表示領域７１および文章表示領域７２を含む。画像表示領域７１には、解析部２２が対象医用画像から検出した異常陰影候補を最も特定しやすいスライス画像ＳＬ２が表示される。スライス画像ＳＬ２には異常陰影候補７３が含まれ、異常陰影候補７３は矩形領域７４により囲まれている。
文章表示領域７２には、解析記録生成部２３が生成した対象医療文章７５および別案７６が表示されている。対象医療文章７５は、「左肺胸膜下に、不整形でスピキュラを有する最大横径４．２ｃｍの腫瘤が認められます。胸膜陥入を認めますが、浸潤は認めません。」である。別案７６は、「左肺胸膜下に、不整形な最大横径４．２ｃｍの腫瘤が認められます。胸壁に接していて、胸膜陥入を認めますが、浸潤は認めません。」である。
画像表示領域７１の下方には、修正ボタン７８Ａおよび確定ボタン７８Ｂが表示されている。
読影医は、画像表示領域７１に表示されたスライス画像ＳＬ２における異常陰影候補７３を読影し、文章表示領域７２に表示された対象医療文章７５および別案７６の適否を判定する。
読影医が対象医療文章７５および別案７６のいずれにも同意せずに修正を所望する場合、入力デバイス１５を用いて修正ボタン７８Ａを選択する。これにより、文章表示領域７２に表示された医療文章７５を、入力デバイス１５からの入力により、上記と同様に修正することが可能な状態となる。
一方、読影医が対象医療文章７５および別案７６のいずれかを採用する場合には、読影医は入力デバイス１５を用いて対象医療文章７５および別案７６のいずれかを選択して、確定ボタン７８Ｂを選択することにより、対象医療文章７５および別案７６のいずれかをその内容で確定することができる。この場合、選択した対象医療文章７５および別案７６のいずれかの文章は読影レポートに転記され、文章が転記された読影レポートはスライス画像ＳＬ２と併せてレポートサーバ７に送信されて保管される。
通信部２７は、ネットワークＩ／Ｆ１７を介して、情報保存装置２０と外部装置との情報のやりとりを行う。
次いで、本実施形態において行われる処理について説明する。図１１は本実施形態において行われる情報保存処理のフローチャートである。なお、読影の対象となる医用画像は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、解析部２２が、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する（ステップＳＴ１）。次いで、解析記録生成部２３が、性状情報に基づいて医用画像に関する医療文章を画像解析記録として生成する（ステップＳＴ２）。続いて、表示制御部２４が、解析記録生成部２３が生成した医療文章をディスプレイ１４に表示された表示画面５０の文章表示領域５２に表示する（ステップＳＴ３）。
次いで、表示制御部２４は、表示画面５０に表示された修正ボタン５８Ａが選択されたか否かを判定する（ステップＳＴ４）。ステップＳＴ４が肯定されると、修正部２５が、文章表示領域５２に表示された医療文章に含まれる性状情報に対する、入力デバイス１５を用いての修正を受け付ける（ステップＳＴ５）。続いて、修正部２５は、確定ボタン５８Ｂが選択されたか否かを判定する（ステップＳＴ６）。ステップＳＴ６が否定されるとステップＳＴ５に戻り、引き続き修正を受け付ける。ステップＳＴ６が肯定されると、保存制御部２６が、導出された性状情報と修正された性状情報とを区別してストレージ１３に保存する（ステップＳＴ７）。そして、表示制御部２４が、修正医療文章を読影レポートに転記し、通信部２７が、修正医療文章が転記された読影レポートをスライス画像ＳＬ１と併せてレポートサーバ７に送信し（読影レポート送信：ステップＳＴ８）、処理を終了する。
一方、ステップＳＴ４が否定されると、表示制御部２４は、確定ボタン５８Ｂが選択されたか否かを判定する（ステップＳＴ９）。ステップＳＴ９が否定されると、ステップＳＴ４に戻る。ステップＳＴ９が肯定されると、ステップＳＴ８に進み、表示制御部２４が医療文章を読影レポートに転記し、通信部２７が、医療文章が転記された読影レポートをスライス画像ＳＬ１と併せてレポートサーバ７に送信し、処理を終了する。
次いで、導出された性状情報と修正された性状情報とを区別して保存した保存情報がストレージ１３に保存されている場合において行われる処理について説明する。図１２は、本実施形態において行われる解析記録生成処理のフローチャートである。なお、読影の対象となる医用画像は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。また、導出された性状情報と修正された性状情報とを区別して保存した保存情報４５もストレージ１３に保存されているものとする。
読影レポートの作成の指示が読影医により行われることにより処理が開始され、解析部２２が、医用画像を解析することにより、医用画像に含まれる異常陰影候補等の関心構造物の性状を表す性状情報を導出する（ステップＳＴ１１）。次いで、解析記録生成部２３が、保存情報４５を非参照として、すなわち保存情報４５を参照しないで、解析部２２が導出した性状情報に基づいて対象医用画像に関する対象医療文章を画像解析記録として生成する（ステップＳＴ１２）。また、解析記録生成部２３は、レポートサーバ７に保存された保存情報４５を参照して、対象医用画像に関する対象医療文章を別案として生成する（ステップＳＴ１３）。続いて、表示制御部２４が、解析記録生成部２３が生成した対象医療文章７５および別案７６をディスプレイ１４に表示された表示画面５０の文章表示領域５２に表示する（医療文章表示：ステップＳＴ１４）。
次いで、表示制御部２４は、対象医療文章７５および別案７６のいずれかの選択を受け付ける（ステップＳＴ１５）。さらに、表示制御部２４は、表示画面に表示された修正ボタン７８Ａが選択されたか否かを判定する（ステップＳＴ１６）。ステップＳＴ１６が肯定されると、修正部２５が、選択された医療文章に含まれる性状情報に対する、入力デバイス１５を用いての修正を受け付ける（ステップＳＴ１７）。続いて、修正部２５は、確定ボタン７８Ｂが選択されたか否かを判定する（ステップＳＴ１８）。ステップＳＴ１８が否定されるとステップＳＴ１７に戻り，引き続き修正を受け付ける。ステップＳＴ１８が肯定されると、保存制御部２６が、導出された性状情報と修正された性状情報とを区別してストレージ１３に保存する（ステップＳＴ１９）。そして、表示制御部２４が、選択されかつ修正された医療文章を読影レポートに転記し、通信部２７が、医療文章が転記された読影レポートをスライス画像ＳＬ１と併せてレポートサーバ７に送信し（読影レポート送信：ステップＳＴ２０）、処理を終了する。
一方、ステップＳＴ１６が否定されると、表示制御部２４は、確定ボタン７８Ｂが選択されたか否かを判定する（ステップＳＴ２１）。ステップＳＴ２１が否定されると、ステップＳＴ１６に戻る。ステップＳＴ２１が肯定されると、ステップＳＴ２０に進み、表示制御部２４は、選択された医療文章を読影レポートに転記し、通信部２７が、医療文章が転記された読影レポートをスライス画像ＳＬ１と併せてレポートサーバ７に送信し、処理を終了する。
このように、本実施形態においては、画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、複数の性状情報の少なくとも一部を含む画像解析記録を生成し、性状情報に対するユーザによる修正を受け付け、導出された性状情報と修正された性状情報とを区別して保存するようにした。このため、保存された保存情報を参照することにより、画像から生成された画像解析記録を修正した場合に、画像を解析することにより導出されるいずれの性状情報が修正されたかを認識できる。
また、対象医用画像に関して、保存情報４５を参照しないで、対象医用画像から導出した性状情報に基づいて生成した対象医療文章に加えて、保存情報を参照した別案を表示することにより、読影レポートに転記する文章の選択肢を増やすことができる。このため、読影医は所望とする性状情報について記載された医療文章を読影レポートに転記することができる。
なお、上記実施形態においては、対象医用画像について解析部２２が導出した性状情報のみを用いて対象医療文章を生成しているが、これに限定されるものではない。対象医用画像について解析部２２が導出した性状情報のみを用いて対象医療文章を生成すること無く、保存情報４５のみを参照して生成した別案を、対象医療文章として用いてもよい。
なお、上記実施形態においては、表示画面５０の文章表示領域５２に表示された医療文章５５に対して、入力デバイス１５を用いての修正を受け付けているが、これに限定されるものではない。図１３は本実施形態における医療文章の表示画面の他の例を示す図である。図１３に示すように、表示画面８０は画像表示領域８１、性状情報表示領域８２および文章表示領域８３を含む。画像表示領域８１には、解析部２２が検出した異常陰影候補を最も特定しやすいスライス画像ＳＬ３が表示される。スライス画像ＳＬ３には異常陰影候補８４が含まれ、異常陰影候補８４は矩形領域８５により囲まれている。
性状情報表示領域８２には、境界の形状（明瞭および不整形）、吸収値の種類（充実型およびスリガラス型）、スピキュラの有無、腫瘤か結節か、胸膜接触の有無、胸膜陥入の有無、胸膜浸潤の有無、空洞の有無、および石灰化の有無をそれぞれ指定するためのボタン８２Ａ～８２Ｉが表示されている。
文章表示領域８３には、解析記録生成部２３が生成した医療文章８６が表示されている。医療文章８６は、「左肺胸膜下に、不整形な最大横径４．２ｃｍの腫瘤が認められます。胸壁に接していて、胸膜陥入を認めますが、浸潤は認めません。」である。なお、医療文章８６において使用されている性状情報は、解析部２２が導出した性状情報のうちの、「左肺胸膜下」、「不整形」、「４．２ｃｍ」、「腫瘤」、「胸壁接触有」、「胸膜陥入有」および「胸膜浸潤無」である。
なお、画像表示領域８１の下方には、修正ボタン８８Ａおよび確定ボタン８８Ｂが表示されている。修正ボタン８８Ａおよび確定ボタン８８Ｂの機能は、上述した修正ボタン５８Ａ，７８Ａおよび確定ボタン５８Ｂ，７８Ｂと同一であるため、ここでは詳細な説明は省略する。
読影医は、性状情報表示領域８２に表示された性状情報について所望とするボタンを選択することにより、医療文章８６を修正することができる。例えば、ボタン８２Ｃを選択することにより、スピキュラ無をスピキュラ有に修正することができる。また、ボタン８２Ｅを選択することにより、胸膜接触有を胸膜接触無に修正することができる。その結果、文章表示領域８３には、「左肺胸膜下に、不整形でスピキュラを有する最大横径４．２ｃｍの腫瘤が認められます。胸膜陥入を認めますが、浸潤は認めません。」の修正医療文章が表示されることとなる。
このような表示画面における医療文章に含まれる性状情報の修正により、上記実施形態と同様に、導出された性状情報と修正された性状情報とを区別して保存することが可能となる。
なお、上記実施形態においては、診断対象を肺とした医用画像を用いて医療文章を生成することにより、読影レポート等の医療文書の作成支援処理を行っているが、診断対象は肺に限定されるものではない。肺の他に、心臓、肝臓、脳、および四肢等の人体の任意の部位を診断対象とすることができる。この場合、解析部２２および解析記録生成部２３の各学習モデルは、診断対象に応じた解析処理および解析記録処理を行うものが用意され、診断対象に応じた、解析処理および解析記録生成処理を行う学習モデルが選択され、解析記録の生成処理が実行される。
また、上記実施形態においては、解析記録として読影レポートを作成する際に、本開示の技術を適用しているが、電子カルテおよび診断レポート等の読影レポート以外の医療文書を解析記録として作成する場合にも、本開示の技術を適用できることはもちろんである。
また、上記実施形態においては、医用画像を用いて画像解析記録を生成しているが、これに限定されるものではない。医用画像以外の任意の画像を対象とした画像解析記録を生成する場合にも、本開示の技術を適用できることはもちろんである。例えば、化合物の化学式の画像を解析し、環状炭化水素の種類および官能基の種類を性状情報として導出し、導出した性状情報から化合物の名称を画像解析記録として生成するような場合にも，本開示の技術を適用することができる。
また、上記各実施形態において、例えば、画像取得部２１、解析部２２、解析記録生成部２３、表示制御部２４、修正部２５、保存制御部２６および通信部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 医療情報システム
２ 撮影装置
３ 読影ＷＳ
４ 診療ＷＳ
５ 画像サーバ
６ 画像ＤＢ
７ レポートサーバ
８ レポートＤＢ
１０ ネットワーク
１１ ＣＰＵ
１２Ａ 情報保存プログラム
１２Ｂ 解析記録生成プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
１７ ネットワークＩ／Ｆ
１８ バス
２０ 情報保存装置
２１ 画像取得部
２２ 解析部
２２Ａ 第１の学習モデル
２３ 解析記録生成部
２３Ａ 第２の学習モデル
２４ 表示制御部
２５ 修正部
２６ 保存制御部
２７ 通信部
３０ 教師データ
３１ 異常陰影
３２ 医用画像
３３，３５ 性状情報
４０ リカレントニューラルネットワーク
４１ エンコーダ
４２ デコーダ
４５ 保存情報
５０，７０，８０ 表示画面
５１，７１，８１ 画像表示領域
５２，７２，８３ 文章表示領域
５３，７３，８４ 異常陰影候補
５４，７４，８５ 矩形領域
５５，８６ 医療文章
５８Ａ，７８Ａ，８８Ａ 修正ボタン
５８Ｂ，７８Ｂ，８８Ｂ 確定ボタン
５９ 修正医療文章
７５ 対象医療文章
７６ 別案
８２ 性状情報表示領域
８２Ａ～８２Ｉ ボタン
ＳＬ１～ＳＬ３ スライス画像

Claims (6)

  1. 少なくとも１つのプロセッサを備え、
    前記プロセッサは、画像を解析することにより、該画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、
    前記複数の性状情報の少なくとも一部を含む画像解析記録を生成し、
    前記画像解析記録および前記導出された性状情報の全部または一部をディスプレイに表示し、
    前記表示された性状情報のユーザによる選択に基づいて、前記性状情報に対する前記ユーザによる修正を受け付け、
    前記導出された性状情報と前記修正された性状情報とを区別して保存するように構成される情報保存装置。
  2. 前記性状情報が入力されると前記画像解析記録を出力するように学習がなされた学習モデルをさらに備えた請求項１に記載の情報保存装置。
  3. 前記プロセッサは、前記性状情報の少なくとも一部を含む文章を、前記画像解析記録として生成する請求項１または２に記載の情報保存装置。
  4. 前記画像は医用画像であり、前記文章は、前記医用画像に含まれる前記関心構造物に関する医療文章である請求項３に記載の情報保存装置。
  5. 画像を解析することにより、該画像に含まれる関心構造物の性状を表す複数の性状情報を導出し、
    前記複数の性状情報の少なくとも一部を含む画像解析記録を生成し、
    前記画像解析記録および前記導出された性状情報の全部または一部をディスプレイに表示し、
    前記表示された性状情報のユーザによる選択に基づいて、前記性状情報に対する前記ユーザによる修正を受け付け、
    前記導出された性状情報と前記修正された性状情報とを区別して保存する情報保存方法。
  6. 画像を解析することにより、該画像に含まれる関心構造物の性状を表す複数の性状情報を導出する手順と、
    前記複数の性状情報の少なくとも一部を含む画像解析記録を生成する手順と、
    前記画像解析記録および前記導出された性状情報の全部または一部をディスプレイに表示する手順と、
    前記表示された性状情報のユーザによる選択に基づいて、前記性状情報に対する前記ユーザによる修正を受け付ける手順と、
    前記導出された性状情報と前記修正された性状情報とを区別して保存する手順とをコンピュータに実行させるための情報保存プログラム。
JP2022504406A 2020-03-03 2021-03-02 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム Active JP7436628B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023195440A JP2024012644A (ja) 2020-03-03 2023-11-16 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020035800 2020-03-03
JP2020035800 2020-03-03
PCT/JP2021/007977 WO2021177312A1 (ja) 2020-03-03 2021-03-02 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023195440A Division JP2024012644A (ja) 2020-03-03 2023-11-16 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム

Publications (3)

Publication Number Publication Date
JPWO2021177312A1 JPWO2021177312A1 (ja) 2021-09-10
JPWO2021177312A5 JPWO2021177312A5 (ja) 2022-10-19
JP7436628B2 true JP7436628B2 (ja) 2024-02-21

Family

ID=77612638

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022504406A Active JP7436628B2 (ja) 2020-03-03 2021-03-02 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP2023195440A Pending JP2024012644A (ja) 2020-03-03 2023-11-16 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023195440A Pending JP2024012644A (ja) 2020-03-03 2023-11-16 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US20220391599A1 (ja)
JP (2) JP7436628B2 (ja)
WO (1) WO2021177312A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259000A (ja) 2008-04-16 2009-11-05 Fujifilm Corp 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3332104B2 (ja) * 1993-07-19 2002-10-07 株式会社東芝 読影レポート作成支援装置
JP5153281B2 (ja) * 2007-09-28 2013-02-27 キヤノン株式会社 診断支援装置及びその制御方法
JP6510196B2 (ja) * 2014-08-12 2019-05-08 キヤノンメディカルシステムズ株式会社 読影レポート作成支援装置
JP6906462B2 (ja) * 2018-02-28 2021-07-21 富士フイルム株式会社 医用画像表示装置、方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009259000A (ja) 2008-04-16 2009-11-05 Fujifilm Corp 文書作成支援装置、文書作成支援方法、並びに文書作成支援プログラム
JP2019153250A (ja) 2018-03-06 2019-09-12 富士フイルム株式会社 医療文書作成支援装置、方法およびプログラム

Also Published As

Publication number Publication date
WO2021177312A1 (ja) 2021-09-10
US20220391599A1 (en) 2022-12-08
JP2024012644A (ja) 2024-01-30
JPWO2021177312A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
JP2019153250A (ja) 医療文書作成支援装置、方法およびプログラム
JP7102509B2 (ja) 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム
JP2024009342A (ja) 文書作成支援装置、方法およびプログラム
JP2023175011A (ja) 文書作成支援装置、方法およびプログラム
US20230005580A1 (en) Document creation support apparatus, method, and program
JP7007469B2 (ja) 医療文書作成支援装置、方法およびプログラム、学習済みモデル、並びに学習装置、方法およびプログラム
US20220392619A1 (en) Information processing apparatus, method, and program
US20230005601A1 (en) Document creation support apparatus, method, and program
US20220392595A1 (en) Information processing apparatus, information processing method, and information processing program
JP7504987B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP7436628B2 (ja) 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム
JP7368592B2 (ja) 文書作成支援装置、方法およびプログラム
JP7371220B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2021107142A1 (ja) 文書作成支援装置、方法およびプログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
JP7376715B2 (ja) 経過予測装置、経過予測装置の作動方法および経過予測プログラム
WO2022196106A1 (ja) 文書作成装置、方法およびプログラム
US20230030794A1 (en) Learning device, learning method, learning program, information processing apparatus, information processing method, and information processing program
US20230070906A1 (en) Information processing apparatus, method, and program
WO2022215530A1 (ja) 医用画像装置、医用画像方法、及び医用画像プログラム
US20230225681A1 (en) Image display apparatus, method, and program
US20230102418A1 (en) Medical image display apparatus, method, and program
US20230360213A1 (en) Information processing apparatus, method, and program
US20230281810A1 (en) Image display apparatus, method, and program
JP2023034089A (ja) 学習装置、方法およびプログラム、並びに情報処理装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436628

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150