JP2017191461A - 医用レポート作成装置及びその制御方法、医用画像閲覧装置及びその制御方法、並びに、プログラム - Google Patents

医用レポート作成装置及びその制御方法、医用画像閲覧装置及びその制御方法、並びに、プログラム Download PDF

Info

Publication number
JP2017191461A
JP2017191461A JP2016080539A JP2016080539A JP2017191461A JP 2017191461 A JP2017191461 A JP 2017191461A JP 2016080539 A JP2016080539 A JP 2016080539A JP 2016080539 A JP2016080539 A JP 2016080539A JP 2017191461 A JP2017191461 A JP 2017191461A
Authority
JP
Japan
Prior art keywords
medical
information
region
medical image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016080539A
Other languages
English (en)
Other versions
JP6711676B2 (ja
Inventor
直紀 松木
Naoki Matsuki
直紀 松木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016080539A priority Critical patent/JP6711676B2/ja
Priority to US15/481,231 priority patent/US10642956B2/en
Publication of JP2017191461A publication Critical patent/JP2017191461A/ja
Application granted granted Critical
Publication of JP6711676B2 publication Critical patent/JP6711676B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

【課題】医用レポートを見れば関連する複数の病変を把握することが可能な仕組みを提供する。【解決手段】医用画像に対して指定された注目領域に係る領域情報を含む医用レポートを作成する医用レポート作成装置10において、注目領域を示す指標が医用画像に表された代表画像と、領域情報のグループを示すグループ情報とを少なくとも取得する領域情報入力部115と、領域情報入力部115で取得したグループ情報に基づき、グループを識別可能に、医用レポートにおける代表画像を更新して表示する医用レポートデータ表示部118を備える。【選択図】図4

Description

本発明は、医用レポートを作成する医用レポート作成装置及びその制御方法、医用画像を閲覧するための医用画像閲覧装置及びその制御方法、医用レポート作成装置と医用画像閲覧装置とを含み構成される医用レポート作成システム、並びに、プログラムに関する。
近年の医用画像撮影装置の性能向上により、1回の検査で得られる医用画像データの情報量が増大している。それに伴い、読影レポート等の医用レポートに記載される内容も複雑化し、検査の依頼元が医用レポートを解釈するための労力が大幅に増大している。
医用レポートを解釈する際には、所見で言及されている病変の特徴や、そこから導かれる診断を正しく把握する必要がある。読影中に発見された病変の画像は、キー画像(以下、このキー画像を「代表画像」と称する)として医用レポートに保存され、依頼元はこの代表画像を参照することにより、病変の特徴を正しく知ることができる。
病変には、例えば大腸癌の多発性肺転移のように、診断を行う上でまとめて扱うことが望ましい病変がある。そのような病変をまとめて扱う方法としては、例えば特許文献1に記載の方法がある。具体的に、特許文献1では、画像ビューワ上で表示されている複数のアノテーションを、ユーザの指示によりグループ化するようにしている。
特開2013−152699号公報
しかしながら、特許文献1に記載の方法は、画像ビューワ上でグループの情報を表示するのみである。そのため、医用レポートを見ただけではどの病変が関連するものなのかが分からず、画像ビューワを立ち上げてグループの情報を確認する手間が生じていた。
即ち、従来の技術においては、医用レポートを見ても、関連する複数の病変を把握することが困難であるという問題があった。
本発明は、このような問題点に鑑みてなされたものであり、医用レポートを見れば関連する複数の病変を把握することが可能な仕組みを提供することを目的とする。
本発明の医用レポート作成装置は、医用画像に対して指定された注目領域に係る領域情報を含む医用レポートを作成する医用レポート作成装置であって、前記医用画像に基づく代表画像と、前記領域情報のグループを示すグループ情報とを少なくとも取得する取得手段と、前記取得手段で取得した前記グループ情報に基づき、前記グループを識別可能に、前記医用レポートにおける前記代表画像を更新して表示する表示手段とを有する。
本発明の医用画像閲覧装置は、医用画像を閲覧するための医用画像閲覧装置であって、前記医用画像を閲覧可能に表示する閲覧手段と、前記医用画像に基づく代表画像と、前記医用画像に対して指定された注目領域に係る領域情報のグループを示すグループ情報とを少なくとも作成する作成手段とを有する。
また、本発明は、上述した医用レポート作成装置の制御方法、上述した医用画像閲覧装置の制御方法、及び、上述した医用レポート作成装置と上述した医用画像閲覧装置とを含み構成される医用レポート作成システムを含む。さらに、本発明は、上述した医用レポート作成装置の各手段としてコンピュータを機能させるためのプログラム、及び、上述した医用画像閲覧装置の各手段としてコンピュータを機能させるためのプログラムを含む。
本発明によれば、医用レポートを見れば関連する複数の病変を把握することが可能となる。
本発明の第1の実施形態に係る医用レポート作成システムの概略構成の一例を示す図である。 本発明の第1の実施形態に係る医用レポート作成装置のハードウェア構成の一例を示す図である。 本発明の第1の実施形態に係る医用レポート作成装置で作成される医用レポートのデータ構造の一例を示す図である。 本発明の第1の実施形態に係る医用レポート作成装置の機能構成の一例を示す図である。 本発明の第1の実施形態に係る医用画像閲覧装置の機能構成の一例を示す図である。 図5の領域情報記憶部に保存される領域情報の一例を示す図である。 本発明の第1の実施形態を示し、領域情報に含まれる代表画像の一例を示す図である。 本発明の第1の実施形態に係る医用レポート作成システムによる医用レポート作成処理の処理手順の一例を示すフローチャートである。 本発明の第1の実施形態に係る医用レポート作成システムによる医用レポート作成処理の際に使用されるGUI画面の一例を示す図である。 本発明の第1の実施形態に係る医用レポート作成システムによる医用レポート作成処理の際に使用されるGUI画面の一例を示す図である。 本発明の第1の実施形態を示し、領域情報のグループ化処理の処理手順の一例を示すフローチャートである。 本発明の第1の実施形態を示し、同一グループに属する領域情報の代表画像を更新する処理手順の一例を示すフローチャートである。 本発明の第2の実施形態を示し、領域情報の代表画像を更新する処理手順の一例を示すフローチャートである。 本発明の第2の実施形態に係る医用レポート作成装置に表示されるGUI画面の一例を示す図である。 本発明の第3の実施形態を示し、領域情報に含まれる代表画像の一例を示す図である。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。
<第1の実施形態>
まず、本発明の第1の実施形態について説明する。
(医用レポート作成システムの概略構成)
図1は、本発明の第1の実施形態に係る医用レポート作成システム100の概略構成の一例を示す図である。
医用レポート作成システム100は、図1に示すように、医用レポート作成装置10、HIS20、RIS30、医用画像撮影装置40、PACS50、医用画像閲覧装置60、認証情報データベース70、及び、ネットワーク80を有して構成されている。
医用レポート作成装置10は、医用レポートを作成する装置である。
HIS20は、医療事務会計システムや診療予約システム、診療情報システム等を含む包括的なシステムであり、電子カルテデータベース21や医用レポートデータベース22を有して構成されている。電子カルテデータベース21は、患者の診療情報を記録した電子カルテを保存する。医用レポートデータベース22は、医用レポート作成装置10等で作成された医用レポートを保存する。
RIS30は、放射線科部門における撮影予約や読影管理、材料在庫管理等を行うためのシステムである。なお、このRIS30によって、医用レポートデータベース22が管理される場合もある。
医用画像撮影装置40は、医用画像を撮影する装置である。例えば、医用画像撮影装置40は、単純X線撮影装置(またはレントゲン装置)や、CT装置、MRI装置、PET装置、PET/CT装置、SPECT装置、超音波画像診断装置、眼底カメラ(または眼底写真撮影装置)、OCT装置等の総称である。この医用画像撮影装置40は、医療機関ごとに上述した装置が任意の台数分設置される。
PACS50は、医用画像撮影装置40で撮影された医用画像を電子的に保存、検索、通信するためのシステムであり、医用画像を保存する医用画像データベース51を有して構成されている。
医用画像閲覧装置60は、医師が医用画像を閲覧する際に使用する装置である。
認証情報データベース70は、医用レポート作成システム100のユーザを認証するための認証情報を保存する。例えば、認証情報として、ユーザ名とパスワード、及び、ユーザの個人情報が関連付けられて保存されている。また、ユーザの個人情報としては、例えば、氏名や所属部署、連絡先等が該当する。
ネットワーク80には、医用レポート作成装置10、HIS20、RIS30、医用画像撮影装置40、PACS50、医用画像閲覧装置60及び認証情報データベース70が接続されており、相互に情報通信が可能となっている。
(医用レポート作成装置のハードウェア構成)
図2は、本発明の第1の実施形態に係る医用レポート作成装置10のハードウェア構成の一例を示す図である。
医用レポート作成装置10は、図2に示すように、CPU11、一次記憶部12、二次記憶部13、入力デバイス14、出力デバイス15、通信I/F部16、及び、システムバス17のハードウェア構成を有している。
CPU11は、二次記憶部13に記憶されているプログラム(二次記憶部13から一次記憶部12に読み込まれたプログラムを含む)を実行して、医用レポート作成装置10全体の動作を制御するとともに、各種の処理を行う。
一次記憶部12は、例えばRAM等のメモリであり、二次記憶部13に記憶されているプログラムやデータ等を読み込んで格納する。
二次記憶部13は、例えばハードディスクやフラッシュメモリ等の記憶媒体である。一般に、一次記憶部12のメモリ容量は、二次記憶部13のメモリ容量よりも小さく、一次記憶部12に格納しきれないプログラムやデータ等は、二次記憶部13に格納される。また、長時間記憶する必要のあるデータ等も、二次記憶部13に格納される。本実施形態では、本発明に係る処理手順を実行するためのプログラムは、二次記憶部13に記憶されているものとし、当該プログラムの実行時に当該プログラムを一次記憶部12に読み込み、これをCPU11が実行するものとする。
入力デバイス14は、例えば、マウス等のポインティングデバイスや、タッチパネル、キーボード等のデバイスである。
出力デバイス15は、例えば、LCD等のモニタや、プリンタ等のデバイスである。なお、出力デバイス15として、任意の台数のモニタを組み合わせて使用することもできる。
通信I/F部16は、ネットワーク80を介して、外部装置Gとの通信を司るインタフェースである。
システムバス17には、CPU11、一次記憶部12、二次記憶部13、入力デバイス14、出力デバイス15及び通信I/F部16が接続されており、相互に通信が可能となっている。
(医用画像閲覧装置のハードウェア構成)
本実施形態においては、図1に示す医用画像閲覧装置60も、医用レポート作成装置10と同様に、図2に示すハードウェア構成を有しているものとする。
(医用レポートのデータ構造)
図3は、本発明の第1の実施形態に係る医用レポート作成装置10で作成される医用レポートのデータ構造の一例を示す図である。
図3(a)に示すように、医用レポート作成装置10で作成される医用レポートデータ300は、患者情報310、検査情報320、依頼元情報330、読影基本情報340、及び、所見・診断情報350を含み構成されている。
患者情報310には、検査を受けた患者に関する情報が格納される。患者情報310としては、例えば、患者IDや氏名、年齢、過去の病歴等が該当する。
検査情報320には、検査部位や撮影プロトコル等の実施された検査に関する情報が格納される。
依頼元情報330には、臨床医の所属や氏名、連絡先等の情報や、臨床医からのコメントの情報が格納される。
読影基本情報340には、医用レポートを作成した読影医の所属や氏名、連絡先等の情報が格納される。
所見・診断情報350には、医用画像に対して指定された領域(以下、「注目領域」と称する)に係る領域情報(注目領域情報)と、所見や診断の情報とが関連付けられて格納される。領域情報としては、必要に応じて、医用画像閲覧装置60(具体的に、図5に示す領域情報記憶部620)に格納されている注目領域の領域IDを取得して使用する。また、領域情報には、代表画像や画像処理情報等が含まれる。また、所見の情報は、1つの病変について言及した文章が1つの項目となるような形式で保存される。同様に、診断の情報は、1つの病気について言及した文章が1つの項目となるような形式で保存される。
図3(b)は、図3(a)に示す所見・診断情報350のテーブルの一例を示す図である。図3(b)に示す所見・診断情報350のテーブルには、項目ID、種類、内容及び関連項目のIDの情報が示されている。なお、図3(b)では、所見・診断情報350をテーブルで表した例を示しているが、同等の情報を持つものであれば、データの形式は問わない。例えば、XML等で定義された医用レポートデータ300のフォーマットで保存したものであっても良い。
(医用レポート作成装置の機能構成)
図4は、本発明の第1の実施形態に係る医用レポート作成装置10の機能構成の一例を示す図である。この医用レポート作成装置10は、図3に示すように、医用画像に対して指定された注目領域に係る領域情報を含む医用レポートデータ300を作成する装置である。
医用レポート作成装置10は、図4に示すように、ログイン部111、検査一覧表示部112、医用レポートデータ作成部113、医用画像閲覧装置起動部114、領域情報入力部115、所見・診断入力部116、医用レポートデータ保存部117、医用レポートデータ表示部118、医用レポートデータ読込部119、通信部120、及び、医用レポートデータ記憶部121の機能構成を有している。
ここで、以下に、図2に示す医用レポート作成装置10のハードウェア構成と、図4に示す医用レポート作成装置10の機能構成との対応関係の一例を示す。
例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、入力デバイス14、並びに、通信I/F部16から、図4に示すログイン部111、医用画像閲覧装置起動部114、医用レポートデータ保存部117、医用レポートデータ読込部119、通信部120が構成される。また、例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、入力デバイス14、出力デバイス、並びに、通信I/F部16から、図4に示す検査一覧表示部112が構成される。また、例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラムから、図4に示す医用レポートデータ作成部113、領域情報入力部115、所見・診断入力部116が構成される。また、例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、入力デバイス14、並びに、出力デバイスから、図4に示す医用レポートデータ表示部118が構成される。また、例えば、図2に示す一次記憶部12または二次記憶部13から、図4に示す医用レポートデータ記憶部121が構成される。
ログイン部111は、入力デバイス14を介してユーザ名とパスワードを入力させ、予め認証情報データベース70に保存されている内容と一致すれば、医用レポート作成装置10を利用可能にする。
検査一覧表示部112は、医用レポートの作成対象である検査の一覧をRIS30から取得し、これを医用レポート作成装置10の出力デバイス15に表示する。このとき、検査一覧表示部112は、検査の画像が撮影済みであるか否か、検査に対応する医用レポートデータが存在するか否かに応じて、各検査の表示状態を変化させる。さらに、検査一覧表示部112は、検査に対応する医用レポートデータが存在する場合には、医用レポートデータの作成ステータスに応じて、各検査の表示状態を変化させる。
医用レポートデータ作成部113は、任意の検査に対応する医用レポートデータを作成し、これを医用レポートデータ記憶部121に保存する。ここでは、医用レポートデータ作成部113が作成する医用レポートデータは、図3に示すデータ構造を持つものとする。このとき、患者情報310、検査情報320、依頼元情報330の内容は、RIS30等から全て取得するものとする。また、読影基本情報340の内容は、認証情報データベース70から全て取得するものとする。
医用画像閲覧装置起動部114は、医用画像閲覧装置60を起動する。同時に、医用画像閲覧装置起動部114は、ログイン部111で入力されたユーザ名とパスワード、または、それに類する情報を医用画像閲覧装置60に通知する。
領域情報入力部115は、通信部120を介して、医用画像に対して指定された注目領域に係る領域情報を取得し、これを所見・診断入力部116及び医用レポートデータ記憶部121に入力する。具体的に、領域情報入力部115は、医用画像閲覧装置60(具体的に、図5に示す領域情報記憶部620)から領域情報を取得する。
所見・診断入力部116は、領域情報入力部115から入力された領域情報に係る注目領域に対する所見及び診断の情報を入力する。具体的に、所見・診断入力部116は、当該所見及び診断の情報を入力対象である領域情報と関連付けて、医用レポートデータの所見・診断情報(図3の所見・診断情報350)として医用レポートデータ記憶部121に入力する。
医用レポートデータ保存部117は、医用レポートデータ記憶部121に記憶されている医用レポートデータを、HIS20を介して、医用レポートデータベース22に保存する。
医用レポートデータ表示部118は、医用レポートデータ記憶部121に記憶されている医用レポートデータを、医用レポート作成装置10の出力デバイス15に表示する。
医用レポートデータ読込部119は、HIS20を介して、医用レポートデータベース22から任意の医用レポートデータを読み出し、これを医用レポートデータ記憶部121に記憶する。
通信部120は、ネットワーク80を介して、医用画像閲覧装置60との通信を司る。
医用レポートデータ記憶部121は、医用レポートデータを記憶する。
(医用画像閲覧装置の機能構成)
図5は、本発明の第1の実施形態に係る医用画像閲覧装置60の機能構成の一例を示す図である。
医用画像閲覧装置60は、図5に示すように、ログイン部611、医用画像閲覧部612、領域情報表示部613、領域情報作成部614、領域情報送信部615、所見・診断入力ウィンドウ表示部616、所見・診断情報送信部617、通信部618、領域情報表示受付部619、及び、領域情報記憶部620の機能構成を有している。
ここで、以下に、図2に示す医用画像閲覧装置60のハードウェア構成と、図5に示す医用画像閲覧装置60の機能構成との対応関係の一例を示す。
例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、入力デバイス14、並びに、通信I/F部16から、図5に示すログイン部611、通信部618が構成される。また、例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、入力デバイス14、出力デバイス、並びに、通信I/F部16から、図5に示す医用画像閲覧部612が構成される。また、例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、入力デバイス14、並びに、出力デバイスから、図5に示す領域情報表示部613、所見・診断入力ウィンドウ表示部616が構成される。また、例えば、図2に示すCPU11及び二次記憶部13に記憶されているプログラム、並びに、入力デバイス14から、図5に示す領域情報作成部614、領域情報送信部615、所見・診断情報送信部617、領域情報表示受付部619が構成される。また、例えば、図2に示す一次記憶部12または二次記憶部13から、図5に示す領域情報記憶部620が構成される。
ログイン部611は、入力デバイス14を介してユーザ名とパスワードを入力させ、予め認証情報データベース70に保存されている内容と一致すれば、医用画像閲覧装置60を利用可能にする。
医用画像閲覧部612は、閲覧対象となる医用画像または当該医用画像を構成する複数の画像(例えば医用画像がCT画像である場合には、複数のスライス画像)に係る画像シリーズをPACS50を介して医用画像データベース51から読み出し、出力デバイス15に閲覧可能に表示する。また、医用画像閲覧部612は、入力デバイス14を介した医師の操作に応じて、表示する画像の変更や画像処理の適用等、画像閲覧に関する様々な処理を実行する。
領域情報表示部613は、領域情報記憶部620に保存されている領域情報を医用画像に重畳して表示する。このとき、領域情報表示部613は、同一の画像シリーズのうち、領域情報に係る注目領域が存在するスライス画像の前後のスライス画像を表示する際に、近くに注目領域が存在する旨を表示するようにしても良い。
領域情報作成部614は、入力デバイス14を介した医師の注目領域の指定に応じて、医用画像上に表示する領域情報(注目領域情報)を作成する。領域情報作成部614は、作成した領域情報には領域IDを付与し、領域情報を作成した画像のアドレス、注目領域の位置情報、適用している画像処理情報、領域情報を描画する際の色や線の太さ等の領域描画情報、注目領域を示す指標が表された代表画像、グループIDと対応づけ、領域情報記憶部620に保存する。
ここで、位置情報は、画像に対する相対座標で表現されるものとする。なお、以降で「領域情報(注目領域情報)」と言った場合には、上述した領域ID、画像アドレス、位置情報、画像処理情報、領域描画情報、代表画像、グループIDをまとめた情報を指すものとする。また、同一のグループIDが付与された領域情報は、同一のグループとして扱うものとする。
領域情報記憶部620は、領域情報を記憶する。
図6は、図5の領域情報記憶部620に保存される領域情報の一例を示す図である。この図6に示すように、領域情報には、領域ID、画像アドレス、位置情報、画像処理情報、領域描画情報、代表画像、グループIDの情報が含まれている。ここで、本実施形態においては、代表画像は、医用画像に対して指定された注目領域を示す指標(図6では不図示)が医用画像に表された画像であるものとする。また、本実施形態においては、グループIDは、医用画像に対して指定された注目領域に係る領域情報のグループを示すグループ情報であるものとする。
なお、図6では、領域情報に係る領域の座標を2次元で表現しているが、3次元で表現しても良い。また、領域情報に係る領域の存在する画像と時系列に連続する画像が存在する場合には、各々の画像に対して、同じ位置に領域情報を自動的に作成しても良い。この際、作成した領域情報は、それぞれ別の領域情報として管理しても良いし、同じ領域情報として管理しても良い。また、時間の異なる複数の画像を代表画像として保存できるようにしても良い。
本実施形態において、代表画像として保存される画像は、領域情報を作成した時点のキャプチャ画像とする。即ち、同一の医用画像上に複数の注目領域が存在する場合は、全ての注目領域に係る領域情報が代表画像上にも表される。このとき、対応する領域IDの領域情報の表示状態が他の領域情報の表示状態と異なるようにする。これにより、代表画像を見ただけで、代表画像の表す注目領域が複数の関連する注目領域のうちの1つであることが分かるようになる。
図7は、本発明の第1の実施形態を示し、領域情報に含まれる代表画像の一例を示す図である。
図7において、左側には、医用画像閲覧装置60の出力デバイス15に表示されている医用画像710、730及び750が示されている。また、図7においては、時間の経過とともに、医用画像710、医用画像730及び医用画像750の順で出力デバイス15に表示されたものとする。医用画像710には、医師が入力デバイス14を介して指定した注目領域を示す指標711が表されている。また、医用画像730には、医用画像710の指標711に基づく指標731に加えて、その後、医師が入力デバイス14を介して指定した注目領域を示す指標732が示されている。この際、指標732は、指標731と異なる表示状態で表示されている。また、図7に示す例では、現時点で指定された領域を明確にする等のために、指標732を太く示し、指標731を細く(更には指標711よりも細く)示している。また、医用画像750には、医用画像730の指標731に基づく指標751及び指標732に基づく指標752に加えて、その後、医師が入力デバイス14を介して指定した注目領域を示す指標753が示されている。この際、指標753は、指標751及び指標752と異なる表示状態で表示されている。また、図7に示す例では、現時点で指定された領域を明確にする等のために、指標753を太く示し、指標751及び指標752を細く示している。ここで、本実施形態においては、医用画像710、730及び750は、画像の内容が同じ医用画像であり、そこに表される指標のみが異なるものとする。また、本実施形態においては、医用画像710、730及び750に対してそれぞれ指定された注目領域は、医師が関連する複数の病変のある領域として指定したものとする。
図7において、右側には、領域情報作成部614で作成される代表画像720、740及び760が示されている。代表画像720は、その領域情報を作成した時点(図7に示す例では、医用画像閲覧装置60に医用画像710が表示されている時点)のキャプチャ画像である。この代表画像720には、医用画像710上に示されている指標711に基づく指標721が表されている。また、代表画像740は、その領域情報を作成した時点(図7に示す例では、医用画像閲覧装置60に医用画像730が表示されている時点)のキャプチャ画像である。この代表画像740には、医用画像730上に示されている指標731に基づく指標741及び指標732に基づく指標742が表されている。また、代表画像760は、その領域情報を作成した時点(図7に示す例では、医用画像閲覧装置60に医用画像750が表示されている時点)のキャプチャ画像である。この代表画像760には、医用画像750上に示されている指標751に基づく指標761、指標752に基づく指標762及び指標753に基づく指標763が表されている。
領域情報記憶部620に保存された各々の領域情報は、注目領域を示す指標が表された画像にメタデータとして自動的に保存されるものとする。この際、画像がDICOM形式であれば、DICOMのタグとして保存しても良い。また、医用画像閲覧部612によって医用画像を表示した際には、領域情報作成部614は、当該医用画像に指標で表される注目領域に係る領域情報を取得し、自動的に領域情報記憶部620に保存するものとする。
領域情報送信部615は、領域情報記憶部620に保存されている領域情報を、通信部618を介して、医用レポート作成装置10に送信する。
所見・診断入力ウィンドウ表示部616は、領域情報作成部614で作成された領域情報に対して、所見や診断の情報を入力・編集するためのウィンドウを表示する。
所見・診断情報送信部617は、所見・診断入力ウィンドウ表示部616により表示されたウィンドウに入力された内容を、通信部618介して、医用レポート作成装置10に送信する。
通信部618は、ネットワーク80を介して、医用レポート作成装置10等との通信を司る。
領域情報表示受付部619は、通信部618を介してネットワーク80上に存在する外部装置から領域情報または領域IDを受け取り、領域情報記憶部620に同じ領域情報が存在すれば、当該領域情報に関する画像を医用画像閲覧部612に表示させる。このとき、領域情報に保存されているアドレスの画像の読み込み、位置情報及び描画情報を用いた領域の描画処理及び画像処理情報の適用の処理を順次行う。なお、領域情報表示受付部619で受け取った領域情報は、他の領域情報とは区別して表示する。なお、外部から受け取った領域情報が領域情報記憶部620に存在しない場合には、領域情報記憶部620に当該領域情報を追加した後、上述した表示処理を行う。
(医用レポート作成システムによる医用レポート作成処理手順)
図8は、本発明の第1の実施形態に係る医用レポート作成システム100による医用レポート作成処理の処理手順の一例を示すフローチャートである。
まず、ステップS801において、読影医が医用レポート作成装置10の入力デバイス14を介してユーザ名とパスワードを入力してログインすると、医用レポート作成装置10のログイン部111は、ログイン処理を行う。具体的に、ログイン部111は、入力されたユーザ名とパスワードが認証情報データベース70に保存されている内容と一致すれば、医用レポート作成装置10を利用可能にする。
図9及び図10は、本発明の第1の実施形態に係る医用レポート作成システム100による医用レポート作成処理の際に使用されるGUI画面の一例を示す図である。
ステップS801におけるログインは、図9(a)に示すGUI画面910において、読影医がユーザ情報入力部911にユーザ名とパスワードを入力し、ログインボタン912を押下することで行われる。
その後、医用レポート作成装置10の検査一覧表示部112は、図9(b)に示す検査一覧のGUI画面920を出力デバイス15に表示する。この図9(b)に示す検査一覧のGUI画面920には、検索条件入力部921、検査リスト922及び実行ボタン923が表示されている。
続いて、ステップS802において、読影医が医用レポートを作成する検査を選択すると、医用レポート作成装置10の医用レポートデータ作成部113は、選択された検査を特定する処理を行う。この際、検査の選択は、図9(b)に示すGUI画面920において、読影医が検査リスト922の中から1つの検査項目を選択し、実行ボタン923を押下することで行われる。その後、医用レポート作成装置10の医用レポートデータ作成部113は、特定した検査に対応する医用レポートデータを作成する。
さらにこの際、医用レポート作成装置10の医用画像閲覧装置起動部114は、医用画像閲覧装置60を起動する。その後、医用画像閲覧装置60のログイン部611は、ステップS801で入力されたユーザ名とパスワードを用いてログイン処理を行う。その結果、医用画像閲覧装置60が利用可能とされると、医用画像閲覧装置60の医用画像閲覧部612は、ステップS802で選択された検査で撮影された医用画像を閲覧対象医用画像として医用画像データベース51から読み込む。この際、医用画像閲覧装置60の医用画像閲覧部612は、閲覧対象医用画像を自動的に決定するものとするが、本実施形態においては、それ以外の方法を用いても良い。例えば、選択された検査が複数の画像シリーズを持つ場合、当該画像シリーズを一覧表示し、閲覧する画像シリーズをユーザに選択させても良い。また、同時に複数の画像シリーズをレイアウトして閲覧可能にしても良い。
続いて、ステップS803において、医用画像閲覧装置60の医用画像閲覧部612は、ステップS802で読み込んだ閲覧対象医用画像を閲覧可能に医用画像閲覧装置60の出力デバイス15に表示する。これにより、読影医は、閲覧対象医用画像を閲覧することができる。
続いて、ステップS804において、読影医が閲覧対象医用画像の中から注目領域を指定すると、医用画像閲覧装置60の領域情報作成部614は、これを検知する。ここで、読影医による注目領域の指定は、例えば閲覧対象医用画像上でマウスをドラッグアンドドロップする等の操作で行われる。その後、例えば医用画像閲覧装置60の領域情報作成部614は、後述の図11に示す方法により、領域情報のグループ化を行う。さらにその後、例えば医用画像閲覧装置60の領域情報作成部614は、後述の図12に示す方法により、同一グループの領域情報における代表画像の更新処理を行う。次いで、医用画像閲覧装置60の所見・診断入力ウィンドウ表示部616は、作成した領域情報に対する所見を入力するためのウィンドウを画像に重畳して表示する。図10(a)に、このときの医用画像閲覧装置60に表示されるGUI画面1010の一例を示す。
続いて、ステップS805において、読影医が所見を入力すると、医用画像閲覧装置60の所見・診断情報送信部617は、これを検知する。この際、所見の入力は、読影医が図10(a)に示す所見・診断入力ウィンドウ1012のテキスト入力部1013に文章を入力し、保存ボタン1014を押下することで行われる。
その後、医用画像閲覧装置60の領域情報送信部615は、ステップS804で指定された注目領域に係る領域情報(注目領域情報)を、通信部618を介して、医用レポート作成装置10の領域情報入力部115に送信する。また、医用画像閲覧装置60の所見・診断情報送信部617は、ステップS805で入力された所見をステップS804で指定された注目領域に対する所見として、通信部618を介して、医用レポート作成装置10の所見・診断入力部116に入力する。
その後、医用レポート作成装置10では、同時に入力された領域情報と所見・診断情報とを対応付けて管理する。このとき、医用レポート作成装置10に既に同じ領域情報が存在する場合には、領域情報を更新する。所見についても同様に更新するものとする。図10(b)に、このときに医用レポート作成装置10に表示されるGUI画面1020の一例を示す。この図10(b)に示すGUI画面1020において、領域情報入力部1021には、領域情報入力部115に入力された領域情報の代表画像を表示する。また、図10(b)に示すGUI画面1020において、所見入力部1022及び診断入力部1023には、所見・診断入力部116に入力された内容を表示する。各々の情報は、入力された順番に下方向に追加される。ただし、部位や同一の領域等でまとめるようにしても良い。
続いて、ステップS806において、医用レポート作成装置10の所見・診断入力部116は、読影医が入力デバイス14を介して入力した診断を、医用レポートデータ記憶部121に入力する。この読影医による診断の入力は、図10(b)の診断入力部1023に文章を入力することで行われる。なお、図10(b)に示すGUI画面1020において、入力枠追加ボタン1024を用いて入力枠を追加しても良いし、また、所見入力部1022の内容の修正を行っても良い。
続いて、ステップS807において、医用レポート作成装置10の医用レポートデータ作成部113は、医用レポートデータの作成を終了するか否かを判断する。この際、医用レポートデータ作成部113は、読影医により、図10(b)の所見・診断入力完了ボタン1025が押下されたか否かに応じて、医用レポートデータの作成を終了するか否かを判断する。そして、ステップS807の判断の結果、医用レポートデータの作成を終了しない場合には(S807/No)、ステップS803に戻り、ステップS803以降の処理を再度行う。一方、ステップS807の判断の結果、医用レポートデータの作成を終了する場合には(S807/Yes)、医用レポートデータ保存部117による医用レポートデータの保存処理を行った後、図8のフローチャートの処理を終了する。
(領域情報のグループ化処理手順)
図11は、本発明の第1の実施形態を示し、領域情報のグループ化処理の処理手順の一例を示すフローチャートである。この図11に示す処理は、医用画像閲覧装置60の領域情報作成部614において、領域情報を作成した際に、関連する領域情報をグループ化する処理の手順を示すフローチャートである。なお、以下の説明では、領域情報作成部614で作成した領域情報をRtgtで表すものとする。
ステップS1101において、医用画像閲覧装置60の領域情報作成部614は、領域情報記憶部620に保存されている領域情報のうち、領域情報Rtgtと同一シリーズの領域情報群SRを取得する。ここで、領域情報群SRに含まれる領域情報の数はN個であるものとする。
続いて、ステップS1102において、医用画像閲覧装置60の領域情報作成部614は、領域情報群SRに含まれる処理対象の領域情報を示す変数iに0を代入する。
続いて、ステップS1103において、医用画像閲覧装置60の領域情報作成部614は、領域情報群SRのi番目の領域情報Riを取得する。
続いて、ステップS1104において、医用画像閲覧装置60の領域情報作成部614は、領域情報Rtgtと領域情報Riとが異なるか否かを判断する。ここで、各領域情報が異なるか否かの判断は、各々の領域IDを比較することにより行う。
ステップS1104の判断の結果、領域情報Rtgtと領域情報Riとが異なる場合には(S1104/Yes)、ステップS1105に進む。
ステップS1105に進むと、医用画像閲覧装置60の領域情報作成部614は、領域情報Rtgtに係る領域と領域情報Riに係る領域とが交わるか否かを判断する。具体的に、ここでは、領域情報Rtgtに係る領域が、領域情報Riに係る領域が存在するスライス画像と交わるか否かを判断する。ここで、領域が3次元で表現される場合は、3次元で判断を行う。
ステップS1105の判断の結果、領域情報Rtgtに係る領域と領域情報Riに係る領域とが交わる場合には(S1105/Yes)、ステップS1106に進む。
ステップS1106に進むと、医用画像閲覧装置60の領域情報作成部614は、領域情報Rtgtと領域情報Riを同一グループとする。具体的に、本実施形態においては、医用画像の同一平面に存在する注目領域に係る領域情報を同一グループとし、これらの領域情報のグループIDに同一の値を入力する。
ステップS1106の処理が終了した場合、或いは、ステップS1104で領域情報Rtgtと領域情報Riとが同じであると判断された場合(S1104/No)、或いは、ステップS1105で領域情報Rtgtに係る領域と領域情報Riに係る領域とが交わらないと判断された場合には(S1105/No)、ステップS1107に進む。
ステップS1107に進むと、医用画像閲覧装置60の領域情報作成部614は、変数iに1を加算する。
続いて、ステップS1108において、医用画像閲覧装置60の領域情報作成部614は、変数iが、領域情報群SRに含まれる領域情報の数N以上であるか否かを判断する。この判断の結果、変数iが領域情報群SRに含まれる領域情報の数N未満である場合には(S1108/No)、ステップS1103に戻り、ステップS1103以降の処理を再度行う。
一方、ステップS1108の判断の結果、変数iが領域情報群SRに含まれる領域情報の数N以上である場合には(S1108/Yes)、図11のフローチャートの処理を終了する。
以上の図11に示すフローチャートの処理により、領域情報作成部614で作成された領域情報と同一のスライス画像にある領域情報は、全て同一グループとして設定される。
(同一グループに属する領域情報の代表画像の更新処理手順)
図12は、本発明の第1の実施形態を示し、同一グループに属する領域情報の代表画像を更新する処理手順の一例を示すフローチャートである。この図12に示す処理は、医用画像閲覧装置60の領域情報作成部614において、領域情報を作成した際に、同一グループに属する領域情報の代表画像を更新する処理手順を示すフローチャートである。
ステップS1201において、医用画像閲覧装置60の領域情報作成部614は、作成した領域情報をRtgtと同一グループに属する領域情報群GRを領域情報記憶部620から取得する。ここで、領域情報群GRに含まれる領域情報の数はn個であるものとする。
続いて、ステップS1202において、医用画像閲覧装置60の領域情報作成部614は、領域情報群GRに含まれる処理対象の領域情報を示す変数iに0を代入する。
続いて、ステップS1203において、医用画像閲覧装置60の領域情報作成部614は、領域情報群GRのi番目の領域情報Riを取得する。
続いて、ステップS1204において、医用画像閲覧装置60の領域情報作成部614は、領域情報Rtgtと領域情報Riとが異なるか否かを判断する。ここで、各領域情報が異なるか否かの判断は、各々の領域IDを比較することにより行う。
ステップS1204の判断の結果、領域情報Rtgtと領域情報Riとが異なる場合には(S1204/Yes)、ステップS1205に進む。
ステップS1205に進むと、医用画像閲覧装置60の領域情報作成部614は、領域情報Riが存在するスライス画像に対して、領域情報Riの画像処理情報を適用し、更に、領域情報Riに係る領域を選択状態(表示状態)とした画像をキャプチャし、これを領域情報Riの代表画像として更新して保存する。ここで、キャプチャの元になったスライス画像には、領域情報Riに係る注目領域を示す指標と、領域情報Rtgtを含む他の領域情報に係る注目領域を示す指標とが、それぞれ区別可能に表示されているものとする。また、このステップの処理は、全てバックグラウンドで行い、医用画像閲覧装置60の画面には表示しない。
ステップS1205の処理が終了した場合、或いは、ステップS1204で領域情報Rtgtと領域情報Riとが同じであると判断された場合には(S1204/No)、ステップS1206に進む。
ステップS1206に進むと、医用画像閲覧装置60の領域情報作成部614は、変数iに1を加算する。
続いて、ステップS1207において、医用画像閲覧装置60の領域情報作成部614は、変数iが、領域情報群GRに含まれる領域情報の数n以上であるか否かを判断する。この判断の結果、変数iが領域情報群GRに含まれる領域情報の数n未満である場合には(S1207/No)、ステップS1203に戻り、ステップS1203以降の処理を再度行う。
一方、ステップS1207の判断の結果、変数iが領域情報群GRに含まれる領域情報の数n以上である場合には(S1207/Yes)、図12のフローチャートの処理を終了する。
以上の図12に示すフローチャートの処理により、同一グループに属する領域情報に係る注目領域を示す指標が全て代表画像に表示されるように代表画像を更新することができる。
そして、領域情報作成部614は、医用画像閲覧部612により表示された医用画像に対して注目領域が指定されるごとに、上述した図11及び図12に示す処理を行って、代表画像とグループID(グループ情報)とを少なくとも含む領域情報を作成する。具体的に、本実施形態では、領域情報作成部614は、図7の代表画像740及び760に示すように、医用画像に対して注目領域が指定されるごとに、以前に指定された同一のグループに属する注目領域を示す指標が表された医用画像を代表画像として作成する。
その後、医用レポート作成装置10の領域情報入力部115は、医用画像に対して注目領域が指定されるごとに、通信部120を介して、医用画像閲覧装置60から領域情報(更新された代表画像やグループIDを含む)を取得する。そして、医用レポート作成装置10の医用レポートデータ表示部118は、領域情報入力部115で領域情報を取得するごとに、上述したグループを識別可能に、医用レポートにおける代表画像を更新して表示する。具体的に、本実施形態では、領域情報入力部115は、図7の代表画像740及び760に示すように、医用画像閲覧装置60から、以前に指定された同一のグループに属する注目領域を示す指標が表された医用画像を代表画像として取得する。そして、本実施形態では、医用レポートデータ表示部118は、領域情報入力部115で領域情報を取得するごとに、以前に指定された同一のグループに属する注目領域を示す指標が表された代表画像を更新して表示する。
かかる構成によれば、関連する複数の病変を同一のグループに属する注目領域として指定することにより、医用レポートに含まれる代表画像を見れば関連する複数の病変を把握することが可能となる。これにより、医用レポートを参照する医師の作業効率を向上させることができる。
なお、本実施形態では、医用画像閲覧装置60で入力された所見の情報と領域情報を医用レポート作成装置10に送信する際に、同じ領域情報が既にあれば、それに紐づく所見の情報を更新するようにした。しかしながら、この場合、対応する所見の情報を追加するようにしても良い。この追加する場合には、1つの領域情報に複数紐づくように表示しても良いし、領域情報をコピーして表示しても良い。
また、医用画像閲覧装置60で領域情報が表示された際には、関連する医用レポート作成装置10上の領域情報及び所見の情報をハイライト表示するようにしても良い。このとき、1つの領域情報に複数の所見の情報が関連付けられている場合には、関連する全ての所見の情報をハイライトするようにしてもよい。
また、医用画像閲覧装置60で領域情報が表示された際、同時に所見・診断入力ウィンドウ1012を表示しても良い。その際、関連する所見情報があれば、自動的に表示する。更に、領域情報が表示されていなくても、領域情報が存在する画像の前後の画像が表示された時点で、ウィンドウを表示するようにしても良い。
また、本実施形態では、医用画像閲覧装置60の領域情報作成部614において領域情報が作成された場合、領域情報に対する所見を記入した後に医用レポート作成装置10に領域情報等を送信するようにした。しかしながら、医用画像閲覧装置60の領域情報作成部614において領域情報が作成されたら、すぐに医用レポート作成装置10に当該領域情報を送信するようにしても良い。その際、医用レポート作成装置10上には、作成した順番に領域情報を並べる。なお、領域情報と同じ部位について記載された所見情報があれば、自動的に関連付ける等しても良い。
また、医用画像閲覧装置60で領域情報を作成せずに、医用レポート作成装置10に領域情報に関連する情報を送信する手段を設けても良い。例えば、医用画像閲覧装置60でインサートキーを押下すると、医用画像閲覧装置60に表示されている画面のキャプチャ画像を作成し、これを代表画像として医用レポート作成装置10に送信しても良い。その際、表示されている画像全体を注目領域として自動的に設定しても良い。
また、医用画像閲覧装置60から、既に存在する領域情報を後から医用レポート作成装置10に送信するようにしても良い。その場合、医用画像閲覧装置60に表示されている注目領域をマウス等で指定しても良い。また、注目領域にユニークなIDを発番し、IDを発話することで注目領域を指定できるようにしても良い。
また、医用画像閲覧装置60で領域情報を作成しなくても、医用画像閲覧装置60上で所見を書けるようにしても良い。その際、記載した所見は、すぐに医用レポート作成装置10に送信し、医用画像閲覧装置60上には、所見が存在する旨を表すアイコンやタイトルを表示しても良い。
また、医用画像閲覧装置60の領域情報作成部614において領域情報の代表画像を作成する際、画像スライス上にある注目領域ごとに色を変えるようにしても良い。その際、各々の注目領域の色に合わせて、所見の色を変えて提示しても良い。
また、本実施形態では、領域情報を作成した際に、領域情報に対応する所見情報を入力するための所見・診断入力ウィンドウ1012を表示したが、他の方法で領域情報と所見情報の関連付けを行っても良い。例えば、医用レポート作成装置10で所見情報を記入した後に、医用画像閲覧装置60で領域情報を選択することで、所見情報と領域情報を関連付けても良い。また、例えば、医用レポート作成装置10で所見情報を記入した際に医用画像閲覧装置60で表示されている領域情報を、自動的に関連付けても良い。
また、本実施形態では、作成した領域情報は、画像のメタデータとして保存したが、他の方法で保存しても良い。例えば、医用レポート作成装置10に保存しておいても良い。その場合には、医用画像閲覧装置60と医用レポート作成装置10が起動した際に、医用レポート作成装置10が持つ領域情報を領域情報記憶部620に保存する。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第2の実施形態に係る医用レポート作成システムの概略構成は、図1に示す第1の実施形態に係る医用レポート作成システム100の概略構成と同様である。また、第2の実施形態に係る医用レポート作成装置10のハードウェア構成及び第2の実施形態に係る医用画像閲覧装置60のハードウェア構成は、図2に示す第1の実施形態に係る医用レポート作成装置10のハードウェア構成及び第1の実施形態に係る医用画像閲覧装置60のハードウェア構成と同様である。また、第2の実施形態に係る医用レポート作成装置10の機能構成は、図4に示す第1の実施形態に係る医用レポート作成装置10の機能構成と同様である。さらに、第2の実施形態に係る医用画像閲覧装置60の機能構成は、図5に示す第1の実施形態に係る医用画像閲覧装置60の機能構成と同様である。以下、上述した第1の実施形態と同様の内容については説明を省略し、第1の実施形態と異なる内容について説明する。
第1の実施形態では、図11に示すように、医用画像閲覧装置60の領域情報作成部614で領域情報を作成した際、同一の画像上に存在する注目領域が同一のグループとなるようにグループIDを自動的に付与するものであった。
この場合、他の方法により領域情報のグループ化を行っても良い。例えば、医師等のユーザが手動で複数の注目領域を指定して、当該複数の領域に係る領域情報をグループ化する手段を用意しても良い。また、例えば、領域内の画像の特徴から病変の種類を推定し、同じ種類の病変を含む領域に係る領域情報をグループ化しても良い。また、例えば、領域の存在する臓器を特定し、臓器毎に領域に係る領域情報をグループ化しても良い。また、例えば、縦隔や肺野等の表示条件が同じ領域に係る領域情報をグループ化しても良い。しかしながら、上述した方法で領域情報をグループ化すると、1つの代表画像では同一グループの領域情報を一度に確認することが困難になる場合も想定される。そこで、第2の実施形態では、医用レポート作成装置10における領域情報の表示を考慮し、同一グループの領域情報を分かるようにする。
第2の実施形態では、図8のステップS804において、図11のフローチャートにおける領域情報のグループ化処理、及び、図12のフローチャートにおける代表画像の更新処理は行わない。
第2の実施形態では、図8のステップS804において、図13のフローチャートにおける代表画像の更新処理を行う。即ち、第2の実施形態では、グループ化されている領域情報だけではなく、作成した領域情報が表示される全ての代表画像の更新を行う。なお、以下の説明では、領域情報作成部614で作成した領域情報をRtgtで表すものとする。
図13は、本発明の第2の実施形態を示し、領域情報の代表画像を更新する処理手順の一例を示すフローチャートである。
ステップS1301において、医用画像閲覧装置60の領域情報作成部614は、領域情報記憶部620に保存されている領域情報のうち、領域情報Rtgtと同一シリーズの領域情報群SRを取得する。ここで、領域情報群SRに含まれる領域情報の数はN個であるものとする。
続いて、ステップS1302において、医用画像閲覧装置60の領域情報作成部614は、領域情報群SRに含まれる処理対象の領域情報を示す変数iに0を代入する。
続いて、ステップS1303において、医用画像閲覧装置60の領域情報作成部614は、領域情報群SRのi番目の領域情報Riを取得する。
続いて、ステップS1304において、医用画像閲覧装置60の領域情報作成部614は、領域情報Rtgtと領域情報Riとが異なるか否かを判断する。ここで、各領域情報が異なるか否かの判断は、各々の領域IDを比較することにより行う。
ステップS1304の判断の結果、領域情報Rtgtと領域情報Riとが異なる場合には(S1304/Yes)、ステップS1305に進む。
ステップS1305に進むと、医用画像閲覧装置60の領域情報作成部614は、領域情報Rtgtに係る領域と領域情報Riに係る領域とが交わるか否かを判断する。具体的に、ここでは、領域情報Rtgtに係る領域が、領域情報Riに係る領域が存在するスライス画像と交わるか否かを判断する。ここで、領域が3次元で表現される場合は、3次元で判断を行う。
ステップS1305の判断の結果、領域情報Rtgtに係る領域と領域情報Riに係る領域とが交わる場合には(S1305/Yes)、ステップS1306に進む。
ステップS1306に進むと、医用画像閲覧装置60の領域情報作成部614は、まず、領域情報Rtgtと領域情報Riを同一グループとする。即ち、グループIDに同一の値を入力する。そして、さらに、医用画像閲覧装置60の領域情報作成部614は、領域情報Riが存在するスライス画像に対して、領域情報Riの画像処理情報を適用し、更に、領域情報Riに係る領域を選択状態(表示状態)とした画像をキャプチャし、これを領域情報Riの代表画像として更新して保存する。ここで、キャプチャの元になったスライス画像には、領域情報Riに係る領域を示す指標の他、領域情報Rtgtを含む他の領域情報に係る領域を示す指標も表示されているものとする。また、このステップの処理は、全てバックグラウンドで行い、医用画像閲覧装置60の画面には表示しない。
ステップS1306の処理が終了した場合、或いは、ステップS1304で領域情報Rtgtと領域情報Riとが同じであると判断された場合(S1304/No)、或いは、ステップS1305で領域情報Rtgtに係る領域と領域情報Riに係る領域とが交わらないと判断された場合には(S1305/No)、ステップS1307に進む。
ステップS1307に進むと、医用画像閲覧装置60の領域情報作成部614は、変数iに1を加算する。
続いて、ステップS1308において、医用画像閲覧装置60の領域情報作成部614は、変数iが、領域情報群SRに含まれる領域情報の数N以上であるか否かを判断する。この判断の結果、変数iが領域情報群SRに含まれる領域情報の数N未満である場合には(S1308/No)、ステップS1303に戻り、ステップS1303以降の処理を再度行う。
一方、ステップS1308の判断の結果、変数iが領域情報群SRに含まれる領域情報の数N以上である場合には(S1308/Yes)、図13のフローチャートの処理を終了する。
図14は、本発明の第2の実施形態に係る医用レポート作成装置10に表示されるGUI画面の一例を示す図である。
図14(a)に示すGUI画面1410では、同一グループの(即ち、同一のグループIDを持つ)領域情報における代表画像1411〜1413を枠線1414で囲う表示とすることにより、領域情報のグループを明示している。
また、図14(b)に示すGUI画面1420では、同一グループの(即ち、同一のグループIDを持つ)領域情報における代表画像1411〜1413を、共通する1つの所見入力枠1421及び診断入力枠1422に紐づけて表示することにより、領域情報のグループを明示している。
なお、図14に示す領域情報のグループ化は、医用レポート作成装置10上で手動で行うことができるようにしても良い。
第2の実施形態によれば、第1の実施形態と同様に、関連する複数の病変を同一のグループに属する注目領域として指定することにより、医用レポートに含まれる代表画像(複数の代表画像)を見れば関連する複数の病変を把握することが可能となる。これにより、医用レポートを参照する医師の作業効率を向上させることができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。以下の第3の実施形態の説明においては、上述した第1の実施形態及び第2の実施形態と異なる内容についてのみ説明する。
上述した第1の実施形態及び第2の実施形態では、医用画像閲覧装置60の領域情報作成部614において、同一の医用画像上に存在する注目領域を示す指標を全て代表画像上にも反映させて、代表画像を更新することを想定したものであった。しかしながら、本発明においてはこの形態に限定されるものではなく、図15に示すように代表画像を更新する形態も本発明に適用可能である。
図15は、本発明の第3の実施形態を示し、領域情報に含まれる代表画像の一例を示す図である。
図15において、左側には、医用画像閲覧装置60の出力デバイス15に表示されている医用画像1510、1530及び1550が示されている。また、図15においては、時間の経過とともに、医用画像1510、医用画像1530及び医用画像1550の順で出力デバイス15に表示されたものとする。医用画像1510には、医師が入力デバイス14を介して指定した注目領域を示す指標1511が示されている。また、医用画像1530には、医用画像1510の指標1511に基づく指標1531に加えて、その後、医師が入力デバイス14を介して指定した注目領域を示す指標1532が示されている。この際、指標1532は、指標1531と異なる表示状態で表示されている。また、図15に示す例では、現時点で指定された領域を明確にする等のために、指標1532を太く示し、指標1531を細く(更には指標1511よりも細く)示している。また、医用画像1550には、医用画像1530の指標1531に基づく指標1551及び指標1532に基づく指標1552に加えて、その後、医師が入力デバイス14を介して指定した注目領域を示す指標1553が示されている。この際、指標1553は、指標1551及び指標1552と異なる表示状態で表示されている。また、図15に示す例では、現時点で指定された領域を明確にする等のために、指標1553を太く示し、指標1551及び指標1552を細く示している。ここで、本実施形態においては、医用画像1510、1530及び1550は、画像の内容が同じ医用画像であり、そこに表される指標のみが異なるものとする。また、本実施形態においては、医用画像1510、1530及び1550に対してそれぞれ指定された注目領域は、医師が関連する複数の病変のある領域として指定したものとする。
図15において、右側には、領域情報作成部614で作成される代表画像1520、1540及び1560が示されている。代表画像1520は、その領域情報を作成した時点(図15に示す例では、医用画像閲覧装置60に医用画像1510が表示されている時点)のキャプチャ画像である。この代表画像1520には、医用画像1510上に示されている指標1511に基づく指標1521が示されている。即ち、代表画像1520には、医用画像1510に対して指定された注目領域を示す指標1511に基づく指標1521が示されている。また、代表画像1540は、その領域情報を作成した時点(図15に示す例では、医用画像閲覧装置60に医用画像1530が表示されている時点)のキャプチャ画像である。しかしながら、この代表画像1540には、医用画像1530上に示されている指標1531に基づく指標は示されておらず、医用画像1530上に示されている指標1532に基づく指標1541のみが示されている。即ち、代表画像1540には、医用画像1530に対して指定された注目領域(当該指定された時点で指定された注目領域)を示す指標1532に基づく指標1541のみが示されている。また、代表画像1560は、その領域情報を作成した時点(図15に示す例では、医用画像閲覧装置60に医用画像1550が表示されている時点)のキャプチャ画像である。しかしながら、この代表画像1560には、医用画像1550上に示されている指標1551及び指標1552に基づく指標は示されておらず、医用画像1550上に示されている指標1553に基づく指標1561のみが示されている。即ち、代表画像1560には、医用画像1550に対して指定された注目領域(当該指定された時点で指定された注目領域)を示す指標1553に基づく指標1561のみが示されている。
この図15に示すように、代表画像を更新することにより、代表画像がどの領域情報を表すものかが分かりやすくなる。また、第3の実施形態においても、上述した図14に示すように、同一グループの領域情報における代表画像を識別表示することにより、関連する領域情報が医用レポート作成装置10で作成された医用レポートを見ただけで分かるようになる。
第3の実施形態では、医用画像閲覧装置60の領域情報作成部614において、医用画像閲覧部612により表示された医用画像に対して注目領域が指定されるごとに、代表画像とグループID(グループ情報)とを少なくとも含む領域情報を作成する。具体的に、本実施形態では、領域情報作成部614は、図15の代表画像1540及び1560に示すように、医用画像に対して注目領域が指定されるごとに、当該指定された時点で指定された注目領域を示す指標が表された医用画像を代表画像として作成する。また、その際、領域情報作成部614は、同一のグループを不同のグループから識別する情報をグループID(グループ情報)として作成する。
その後、医用レポート作成装置10の領域情報入力部115は、医用画像に対して注目領域が指定されるごとに、通信部120を介して、医用画像閲覧装置60から領域情報(更新された代表画像やグループIDを含む)を取得する。そして、医用レポート作成装置10の医用レポートデータ表示部118は、領域情報入力部115で領域情報を取得するごとに、上述したグループを識別可能に、医用レポートにおける代表画像を更新して表示する。具体的に、本実施形態では、領域情報入力部115は、図15の代表画像1540及び1560に示すように、医用画像閲覧装置60から、当該指定された時点で指定された注目領域を示す指標が表された医用画像を代表画像として取得する。そして、本実施形態では、医用レポートデータ表示部118は、領域情報入力部115で領域情報を取得するごとに、グループID(グループ情報)に基づいて、同一のグループに属する注目領域を示す指標が表された複数の代表画像を、同一のグループとして更新して表示する。この際、医用レポートデータ表示部118は、例えば、図14(a)や図14(b)に示すように同一のグループに属する複数の代表画像1411〜1413を表示することにより、グループを識別可能に表示する。
かかる構成によれば、関連する複数の病変を同一のグループに属する注目領域として指定することにより、医用レポートに含まれる代表画像を見れば関連する複数の病変を把握することが可能となる。これにより、医用レポートを参照する医師の作業効率を向上させることができる。
(その他の実施形態)
上述した第1〜第3の実施形態では、領域情報のグループ化処理及び同一グループの領域情報における代表画像の更新処理を、医用画像閲覧装置60(具体的には領域情報作成部614)で行う形態を説明した。しかしながら、本発明においてはこの形態に限定されるものではなく、領域情報のグループ化処理及び同一グループの領域情報における代表画像の更新処理を、医用レポート作成装置10(例えば領域情報入力部115)で行う形態も、本発明に適用可能である。
また、その際には、代表画像を領域情報の一部として領域情報記憶部620に保存するのではなく、医用レポートデータの一部として医用レポートデータ記憶部121に保存しても良い。但し、代表画像に対応する領域IDは分かるようにして保存する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。
10 医用レポート作成装置、22 医用レポートデータベース、30 RIS、60 医用画像閲覧装置、70 認証情報データベース、111 ログイン部、112 検査一覧表示部、113 医用レポートデータ作成部、114 医用画像閲覧装置起動部、115 領域情報入力部、116 所見・診断入力部、117 医用レポートデータ保存部、118 医用レポートデータ表示部、119 医用レポートデータ読込部、120 通信部、121 医用レポートデータ記憶部

Claims (16)

  1. 医用画像に対して指定された注目領域に係る領域情報を含む医用レポートを作成する医用レポート作成装置であって、
    前記医用画像に基づく代表画像と、前記領域情報のグループを示すグループ情報とを少なくとも取得する取得手段と、
    前記取得手段で取得した前記グループ情報に基づき、前記グループを識別可能に、前記医用レポートにおける前記代表画像を更新して表示する表示手段と
    を有することを特徴とする医用レポート作成装置。
  2. 前記代表画像は、前記領域情報に係る前記注目領域が表された医用画像であることを特徴とする請求項1に記載の医用レポート作成装置。
  3. 前記取得手段は、以前に前記指定された同一の前記グループに属する前記領域情報に係る前記注目領域を示す指標が表された医用画像を前記代表画像として取得し、
    前記表示手段は、前記取得手段で取得した前記グループ情報に基づき、前記代表画像を更新して表示することを特徴とする請求項1または2に記載の医用レポート作成装置。
  4. 前記取得手段は、前記指定された時点で指定された前記注目領域を示す指標が表された医用画像を前記代表画像として取得し、
    前記表示手段は、前記グループ情報に基づいて、同一の前記グループに属する前記領域情報に係る前記注目領域を示す指標が表された複数の前記代表画像を、前記同一のグループとして更新して表示することを特徴とする請求項1または2に記載の医用レポート作成装置。
  5. 前記グループ情報は、前記医用画像の同一平面に存在する前記注目領域に係る前記領域情報を同一の前記グループとする情報であることを特徴とする請求項1乃至4のいずれか1項に記載の医用レポート作成装置。
  6. 前記医用レポートは、前記領域情報に加えて、前記医用画像に対する所見および診断の情報を含むことを特徴とする請求項1乃至5のいずれか1項に記載の医用レポート作成装置。
  7. 医用画像を閲覧するための医用画像閲覧装置であって、
    前記医用画像を閲覧可能に表示する閲覧手段と、
    前記医用画像に基づく代表画像と、前記医用画像に対して指定された注目領域に係る領域情報のグループを示すグループ情報とを少なくとも作成する作成手段と
    を有することを特徴とする医用画像閲覧装置。
  8. 前記代表画像は、前記領域情報に係る前記注目領域が表された医用画像であることを特徴とする請求項7に記載の医用画像閲覧装置。
  9. 前記作成手段は、以前に前記指定された同一の前記グループに属する前記領域情報に係る前記注目領域を示す指標が表された医用画像を前記代表画像として作成することを特徴とする請求項7または8に記載の医用画像閲覧装置。
  10. 前記作成手段は、前記指定された時点で指定された前記注目領域を示す指標が表された医用画像を前記代表画像として作成し、同一の前記グループを不同の前記グループから識別する情報を前記グループ情報として作成することを特徴とする請求項7または8に記載の医用画像閲覧装置。
  11. 前記作成手段は、前記医用画像の同一平面に存在する前記注目領域に係る前記領域情報を同一の前記グループとする前記グループ情報を作成することを特徴とする請求項7乃至10のいずれか1項に記載の医用画像閲覧装置。
  12. 請求項1乃至6のいずれか1項に記載の医用レポート作成装置と、
    請求項7乃至11のいずれか1項に記載の医用画像閲覧装置と
    を含み構成されており、
    前記医用レポート作成装置は、前記医用画像閲覧装置から前記代表画像と前記グループ情報とを少なくとも取得することを特徴とする医用レポート作成システム。
  13. 医用画像に対して指定された注目領域に係る領域情報を含む医用レポートを作成する医用レポート作成装置の制御方法であって、
    前記医用画像に基づく代表画像と、前記領域情報のグループを示すグループ情報とを少なくとも取得する取得ステップと、
    前記取得ステップで取得した前記グループ情報に基づき、前記グループを識別可能に、前記医用レポートにおける前記代表画像を更新して表示する表示ステップと
    を有することを特徴とする医用レポート作成装置の制御方法。
  14. 医用画像を閲覧するための医用画像閲覧装置の制御方法であって、
    前記医用画像を閲覧可能に表示する閲覧ステップと、
    前記医用画像に基づく代表画像と、前記医用画像に対して指定された注目領域に係る領域情報のグループを示すグループ情報とを少なくとも作成する作成ステップと
    を有することを特徴とする医用画像閲覧装置の制御方法。
  15. 請求項1乃至6のいずれか1項に記載の医用レポート作成装置の各手段としてコンピュータを機能させるためのプログラム。
  16. 請求項7乃至11のいずれか1項に記載の医用画像閲覧装置の各手段としてコンピュータを機能させるためのプログラム。
JP2016080539A 2016-04-13 2016-04-13 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム Active JP6711676B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016080539A JP6711676B2 (ja) 2016-04-13 2016-04-13 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム
US15/481,231 US10642956B2 (en) 2016-04-13 2017-04-06 Medical report generation apparatus, method for controlling medical report generation apparatus, medical image browsing apparatus, method for controlling medical image browsing apparatus, medical report generation system, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016080539A JP6711676B2 (ja) 2016-04-13 2016-04-13 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2017191461A true JP2017191461A (ja) 2017-10-19
JP6711676B2 JP6711676B2 (ja) 2020-06-17

Family

ID=60038294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016080539A Active JP6711676B2 (ja) 2016-04-13 2016-04-13 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム

Country Status (2)

Country Link
US (1) US10642956B2 (ja)
JP (1) JP6711676B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
CN114724669A (zh) * 2022-05-07 2022-07-08 丹阳慧创医疗设备有限公司 用于近红外脑功能成像装置的医学报告生成方法及装置
WO2022239593A1 (ja) * 2021-05-13 2022-11-17 富士フイルム株式会社 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7062360B2 (ja) * 2016-12-28 2022-05-06 キヤノン株式会社 情報処理装置、情報処理装置の作動方法およびプログラム
WO2021107098A1 (ja) * 2019-11-29 2021-06-03 富士フイルム株式会社 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム
US20230056923A1 (en) * 2021-08-20 2023-02-23 GE Precision Healthcare LLC Automatically detecting characteristics of a medical image series

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US20120183188A1 (en) * 2009-09-17 2012-07-19 Fujifilm Corporation Medical image display apparatus, method, and program
JP2013132514A (ja) * 2011-12-27 2013-07-08 Toshiba Corp 医用画像表示装置及び医用画像保管システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203170B (zh) * 2005-06-02 2015-11-25 赛利恩影像股份有限公司 计算机辅助检测***
WO2013072795A2 (en) * 2011-11-14 2013-05-23 Koninklijke Philips Electronics N.V. Processing a report
JP6091137B2 (ja) 2011-12-26 2017-03-08 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
CN105144242B (zh) * 2013-04-19 2018-05-15 皇家飞利浦有限公司 对图像注释进行分组
WO2015155807A1 (ja) * 2014-04-09 2015-10-15 パナソニック株式会社 情報端末の制御方法及びプログラム
JP6027065B2 (ja) * 2014-08-21 2016-11-16 富士フイルム株式会社 類似画像検索装置、類似画像検索装置の作動方法、および類似画像検索プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009086765A (ja) * 2007-09-27 2009-04-23 Fujifilm Corp 医用レポートシステム、医用レポート作成装置、及び医用レポート作成方法
US20120183188A1 (en) * 2009-09-17 2012-07-19 Fujifilm Corporation Medical image display apparatus, method, and program
JP2013132514A (ja) * 2011-12-27 2013-07-08 Toshiba Corp 医用画像表示装置及び医用画像保管システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
JPWO2019220801A1 (ja) * 2018-05-15 2021-05-27 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
JP7015385B2 (ja) 2018-05-15 2022-02-02 富士フイルム株式会社 内視鏡画像処理装置、内視鏡装置の作動方法、及びプログラム
US11957299B2 (en) 2018-05-15 2024-04-16 Fujifilm Corporation Endoscope image processing apparatus, endoscope image processing method, and program
WO2022239593A1 (ja) * 2021-05-13 2022-11-17 富士フイルム株式会社 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
CN114724669A (zh) * 2022-05-07 2022-07-08 丹阳慧创医疗设备有限公司 用于近红外脑功能成像装置的医学报告生成方法及装置
CN114724669B (zh) * 2022-05-07 2023-08-22 丹阳慧创医疗设备有限公司 用于近红外脑功能成像装置的医学报告生成方法及装置

Also Published As

Publication number Publication date
US10642956B2 (en) 2020-05-05
US20170300664A1 (en) 2017-10-19
JP6711676B2 (ja) 2020-06-17

Similar Documents

Publication Publication Date Title
US10229497B2 (en) Integration of medical software and advanced image processing
JP6711676B2 (ja) 医用レポート作成装置及びその制御方法、医用レポート作成システム、並びに、プログラム
US9690902B2 (en) Image observation apparatus to display medical images from a plurality of apparatus types
CN116344071A (zh) 用于整合临床护理的信息学平台
JP6109778B2 (ja) 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
US20190348156A1 (en) Customized presentation of data
JP2009230304A (ja) 医用レポート作成支援システム、プログラム及び方法
JP6667240B2 (ja) 装置、方法、システム及びプログラム。
JP7071441B2 (ja) 装置、方法、システム及びプログラム
US20160210745A1 (en) Medical image processing apparatus
US9700274B2 (en) Image observation apparatus and storage medium that generates a plurality of image lists
JP7416183B2 (ja) 情報処理装置、医用画像表示装置及びプログラム
JP6498018B2 (ja) 情報処理装置、制御方法およびプログラム
JP2018055278A (ja) 医用情報処理装置、医用情報処理システム、医用情報処理方法およびプログラム
JP2018109798A (ja) 情報処理装置、システム、情報処理方法およびプログラム
JP2010086355A (ja) レポート統合装置、方法及びプログラム
JP2006075416A (ja) 医用画像システム
JP6579849B2 (ja) 読影レポート作成支援システム、読影レポート作成支援方法、及び読影レポート作成支援プログラム
US11315664B2 (en) Medical information processing apparatus, medical information processing system, medical information processing method, and storage medium
JP6498069B2 (ja) 情報処理装置及びその制御方法、コンピュータプログラム
JP6307450B2 (ja) 読影支援装置、読影支援方法および読影支援プログラム
JP2006065483A (ja) 医用画像管理システム
JP2017189383A (ja) 医用レポート作成装置およびその制御方法
JP2016177418A (ja) 読影結果評価装置及びプログラム
JP6071218B2 (ja) 会議準備システム、会議準備方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200528

R151 Written notification of patent or utility model registration

Ref document number: 6711676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151