JP6852103B2 - Information processing equipment, information processing methods and programs - Google Patents
Information processing equipment, information processing methods and programs Download PDFInfo
- Publication number
- JP6852103B2 JP6852103B2 JP2019045653A JP2019045653A JP6852103B2 JP 6852103 B2 JP6852103 B2 JP 6852103B2 JP 2019045653 A JP2019045653 A JP 2019045653A JP 2019045653 A JP2019045653 A JP 2019045653A JP 6852103 B2 JP6852103 B2 JP 6852103B2
- Authority
- JP
- Japan
- Prior art keywords
- medical
- image
- information
- reduced image
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing device, an information processing method and a program.
近年、病院情報システム（ＨＩＳ）や画像保管通信システム（ＰＡＣＳ）、放射線科情報システム（ＲＩＳ）等の医療情報システムの普及に伴い、医用画像及び医療文書の電子化が進んでいる。
これにより、Ｘ線画像やＣＴ画像、ＭＲＩ画像等の医用画像や診療諸記録等の医療文書がデジタル化され、取り扱う患者情報が膨大になってきた。
そこで、医用画像や医療文書の情報を統合し、患者情報をより閲覧しやすくするためのシステムとして、医療情報俯瞰システムが院内に導入され始めている。
医療情報俯瞰システムは、医師をはじめとした医療従事者が操作する情報端末に導入されており、情報端末に繋がったモニタ上で患者の医用画像や医療文書を俯瞰的に閲覧及び確認することが可能である。
より具体的には、医療情報俯瞰システムは、マトリクス構造として、時系列軸と医用画像機械（モダリティ装置）の軸とを持つ画面内に、任意の医用縮小画像を表示する。
しかしながら、多種多様の医用縮小画像が表示される医療情報俯瞰システムでは、表示される医用縮小画像数は膨大であるため、使用者が所望の情報を短時間で抽出するのは容易ではない。また、医療情報俯瞰システムでは医用縮小画像の表示領域が限られているため、一般に医用縮小画像はそれぞれ１枚しか表示できない。
In recent years, with the spread of medical information systems such as hospital information systems (HIS), image storage communication systems (PACS), and radiological information systems (RIS), medical images and medical documents have been digitized.
As a result, medical images such as X-ray images, CT images, and MRI images, and medical documents such as medical records have been digitized, and the amount of patient information to be handled has become enormous.
Therefore, a medical information bird's-eye view system has begun to be introduced in the hospital as a system for integrating information of medical images and medical documents to make it easier to browse patient information.
The medical information bird's-eye view system is installed in information terminals operated by medical professionals such as doctors, and it is possible to view and check medical images and medical documents of patients from a bird's-eye view on a monitor connected to the information terminal. It is possible.
More specifically, the medical information bird's-eye view system displays an arbitrary reduced medical image on a screen having a time series axis and an axis of a medical image machine (modality device) as a matrix structure.
However, in a medical information bird's-eye view system in which a wide variety of medical reduced images are displayed, the number of medical reduced images displayed is enormous, and it is not easy for the user to extract desired information in a short time. Further, since the display area of the medical reduced image is limited in the medical information bird's-eye view system, generally only one medical reduced image can be displayed.
そこでこのような課題を解決するため、医用縮小画像に用いる画像の抽出や表示方法の検討が行われている。
特許文献１では、医用縮小画像の管理機構を簡単な構成にすることで、大量の元画像から医用縮小画像を生成する際の作成時期を判断し、より効率的に医用縮小画像を作成することを可能にしている。ここで生成される医用縮小画像は、モダリティが持つ複数画像の中から抽出された代表画像（キー画像）の１枚が使用される。
キー画像を抽出する一般的な方法として、撮影された画像群の中央スライスにあたる画像を用いる技術がある。しかし、医用縮小画像のような小さな画像を閲覧する目的でキー画像を利用すると視覚的な画質の劣化や視認性が低下する課題がある。
これを解決するために、特許文献２では、一つの画像内から領域ごとに画像を切り出し、その一部の画像を用いて縮小画像を作成することを可能にしている。
Therefore, in order to solve such a problem, an image extraction and display method used for a medical reduced image is being studied.
In Patent Document 1, by making the management mechanism of the medical reduced image a simple configuration, it is possible to determine the creation time when the medical reduced image is generated from a large number of original images, and to create the medical reduced image more efficiently. Is possible. As the medical reduced image generated here, one of the representative images (key images) extracted from the plurality of images possessed by the modality is used.
As a general method for extracting a key image, there is a technique of using an image corresponding to the central slice of a captured image group. However, when a key image is used for the purpose of viewing a small image such as a medical reduced image, there is a problem that the visual image quality is deteriorated and the visibility is deteriorated.
In order to solve this problem, Patent Document 2 makes it possible to cut out an image for each region from one image and create a reduced image using a part of the image.
しかしながら、特許文献２の技術では、使用者が所望するような一覧性を考慮した医用縮小画像が生成されるとは限らない問題があった。 However, the technique of Patent Document 2 has a problem that a medical reduced image in consideration of listability as desired by a user is not always generated.
本発明は、一覧性が高い医用縮小画像を生成することを目的とする。 An object of the present invention is to generate a medical reduced image having a high listability.
そこで、本発明の情報処理装置は、医用文書と医用画像とを含む患者の医療情報を取得する取得手段と、医用縮小画像を生成するために使用する素材の数を決定する決定手段と、前記決定手段が少なくとも２つの素材と決定した場合に、前記患者の医療情報に基づいて、前記医用文書から第１の素材として文字列を抽出し、前記医用画像の代表画像を第２の素材として抽出する抽出手段と、前記第１の素材には第１の優先度を割り当て、前記第２の素材には前記第１の優先度より高い第２の優先度を割り当てる割り当て手段と、割り当てられた優先度に従って、前記第２の素材の面積が前記第１の素材の面積よりも大きくなるように、前記第１の素材である前記文字列と前記第２の素材である前記医用画像の代表画像とを組み合わせて医用縮小画像を生成する生成手段と、前記第１の素材である前記文字列と前記第２の素材である前記医用画像の代表画像とを組み合わせて生成された医用縮小画像を時系列に表示させる表示制御手段とを有する。 Therefore, the information processing apparatus of the present invention includes an acquisition means for acquiring medical information of a patient including a medical document and a medical image, a determination means for determining the number of materials used for generating a medical reduced image, and the above-mentioned. When the determination means determines at least two materials, a character string is extracted as the first material from the medical document based on the medical information of the patient, and a representative image of the medical image is extracted as the second material. A first priority is assigned to the first material, and a second priority higher than the first priority is assigned to the second material, and an assigned priority. The character string , which is the first material, and the representative image of the medical image, which is the second material, so that the area of the second material becomes larger than the area of the first material according to the degree. And a generation means for generating a medical reduced image by combining the above, and a medical reduced image generated by combining the character string which is the first material and the representative image of the medical image which is the second material in chronological order. It has a display control means for displaying on the screen .
本発明によれば、一覧性が高い医用縮小画像を生成することができる。 According to the present invention, it is possible to generate a medical reduced image having a high listability.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
＜実施形態１＞
図１は、医用縮小画像処理装置を含む医療情報俯瞰システムの概略構成の一例を示す図である。
図１において、ネットワーク１００には、モダリティ１０１、院内システムとしてＨＩＳ１０２、ＲＩＳ１０３、ＰＡＣＳ１０４、医用縮小画像処理装置１０５、情報記録部としてクラウド１１２が互いに通信可能な状態で接続されている。
モダリティ１０１は、被検体の検査対象部位を撮影することにより、その部位を二次元又は三次元的に表した画像データを生成する。医療情報俯瞰システムには、この画像データにＤＩＣＯＭ規格で規定された付帯情報を付加し、画像情報として出力する装置が含まれる。なお、画像データの中には画像に付随するテキスト情報が含んでも良い。また、撮影された医用画像は、ネットワーク１００を介して、ＨＩＳ１０２、ＲＩＳ１０３、ＰＡＣＳ１０４に送信される。
ＨＩＳ１０２はＨＩＳ情報表示部１０２ａ、ＨＩＳ情報制御部１０２ｂ、ＨＩＳ情報記録部１０２ｃを有する。なお、ＨＩＳ情報はＨＩＳ情報記録部１０２ｃの他に、クラウド１１２内のＨＩＳ情報記録部１１３に記録されても良い。
ＨＩＳ情報記録部１０２ｃとクラウド１１２内のＨＩＳ情報記録部１１３とには、患者の個人情報として、氏名、性別、年齢、身長、体重、国籍等が記録されている。また、患者の医療情報として、患者の病状、既往歴、検査結果、診断結果、独英レポート、医用画像等の院内にある患者に関する情報全般が記録されている。
ＨＩＳ情報制御部１０２ｂは、ハードウェアとしてＨＩＳ１０２に実装されても良いし、ソフトウェアとして実装されても良い。ソフトウェアとして実装される場合、ＨＩＳ１０２は、ハードウェアとしてＣＰＵとメモリとを少なくとも有する。そして、ＣＰＵがメモリに記憶されているプログラムに基づき処理を実行することによって、ＨＩＳ情報制御部１０２ｂがソフトウェアとして機能する。
<Embodiment 1>
FIG. 1 is a diagram showing an example of a schematic configuration of a medical information bird's-eye view system including a medical reduced image processing device.
In FIG. 1, a
The
The HIS
The HIS
ＲＩＳ１０３は、ＲＩＳ情報表示部１０３ａ、ＲＩＳ情報制御部１０３ｂ、ＲＩＳ情報記録部１０３ｃを有する。なお、ＲＩＳ情報はＲＩＳ情報記録部１０３ｃの他に、クラウド１１２内のＲＩＳ情報記録部１１４に記録されても良い。
ＲＩＳ情報記録部１０３ｃとクラウド１１２内のＲＩＳ情報記録部１１４とには、超音波、内視鏡、眼底等の非放射線機器による検査結果と治療の記録をはじめ、検査予約情報に関する情報全般が記録される。
ＲＩＳ情報制御部１０３ｂは、ハードウェアとしてＲＩＳ１０３に実装されても良いし、ソフトウェアとして実装されても良い。ソフトウェアとして実装される場合、ＲＩＳ１０３は、ハードウェアとしてＣＰＵとメモリとを少なくとも有する。そして、ＣＰＵがメモリに記憶されているプログラムに基づき処理を実行することによって、ＲＩＳ情報制御部１０３ｂがソフトウェアとして機能する。
ＰＡＣＳ１０４は、ＰＡＣＳ情報表示部１０４ａ、ＰＡＣＳ情報制御部１０４ｂ、ＰＡＣＳ情報記録部１０４ｃを有する。なお、ＰＡＣＳ情報はＰＡＣＳ情報記録部１０４ｃの他に、クラウド１１２内のＰＡＣＳ情報記録部１１５に記録されても良い。
ＰＡＣＳ情報記録部１０４ｃとクラウド１１２内のＰＡＣＳ情報記録部１１５とには、医用画像とそれに付随する情報とが登録される。付随する情報には、個々の画像を識別する画像ＩＤ、被写体を識別する患者ＩＤ、検査日や検査時刻等の医用画像に関する情報全般が記録される。また読影レポートを作成した場合は、読影医氏名、読影画像、所見等の読影に関する情報全般も記録される。
ＰＡＣＳ情報制御部１０４ｂは、ハードウェアとしてＰＡＣＳ１０４に実装されても良いし、ソフトウェアとして実装されても良い。ソフトウェアとして実装される場合、ＰＡＣＳ１０４は、ハードウェアとしてＣＰＵとメモリとを少なくとも有する。そして、ＣＰＵがメモリに記憶されているプログラムに基づき処理を実行することによって、ＰＡＣＳ情報制御部１０４ｂがソフトウェアとして機能する。
The RIS 103 has a RIS
The RIS
The RIS
The PACS 104 has a PACS
A medical image and information associated therewith are registered in the PACS information recording unit 104c and the PACS
The PACS
医用縮小画像処理装置１０５は、受送信部１０６、制御部１０７、情報管理部１０８、情報記録部１０９、表示部１１０を有する。
表示部１１０は、医用縮小画像１１１を一覧表示する。なお、医用縮小画像１１１の表示形態は限定しない。表示部１１０が医用縮小画像１１１を一覧表示することで、患者情報の確認が容易になる。
受送信部１０６、制御部１０７、情報管理部１０８は、ハードウェアとして医用縮小画像処理装置１０５に実装されても良いし、ソフトウェアとして実装されても良い。ソフトウェアとして実装される場合、医用縮小画像処理装置１０５は、ハードウェアとしてＣＰＵとメモリとを少なくとも有する。そして、ＣＰＵがメモリに記憶されているプログラムに基づき処理を実行することによって、受送信部１０６、制御部１０７、情報管理部１０８がソフトウェアとして機能する。
クラウド１１２は、複数のコンピュータがネットワークを介して接続されたシステムであって、ネットワーク１００を介して他の装置に対してＷｅｂサービス（本実施形態では情報記憶に係るサービス）を提供する。クラウド１１２内には、情報記録部１０９が含まれていても良い。
The medical reduced
The
The transmission /
The cloud 112 is a system in which a plurality of computers are connected via a network, and provides a Web service (a service related to information storage in the present embodiment) to other devices via the
図２は、医用縮小画像処理装置の機能構成の一例を示す図である。
図２において、医用縮小画像処理装置１０５は、受送信部１０６、制御部１０７、情報管理部１０８、情報記録部１０９、表示部１１０を有する構成となっている。
制御部１０７には、医療情報俯瞰システム制御部２０１と医用縮小画像情報制御部２０２とを含む。医療情報俯瞰システム制御部２０１では、ネットワーク１００に接続された受送信部１０６を介して、ＨＩＳ１０２、ＲＩＳ１０３、ＰＡＣＳ１０４等の患者情報に対し、時系列で並べる等、指定した方法で情報を並べ、表示部１１０に表示する。また、医用縮小画像情報制御部２０２は、生成された医用縮小画像を一元制御する。
情報管理部１０８には、医療情報俯瞰システム情報管理部２０３と医用縮小画像情報管理部２０４とを含む。医用縮小画像情報管理部２０４は、医療情報取得部２０５と画像素材抽出部２０６と構成決定部２０７とを含む。医療情報取得部２０５は、ネットワーク１００に接続された受送信部１０６を介して、ＨＩＳ１０２、ＲＩＳ１０３、ＰＡＣＳ１０４等に含まれる患者の医療情報を取得する。また、画像素材抽出部２０６は、患者の医療情報に基づき複数の医用画像又は医療文書等の一部を抽出する。構成決定部２０７は、画像素材を用いて医用縮小画像の構成を決定する。
FIG. 2 is a diagram showing an example of the functional configuration of the medical reduced image processing device.
In FIG. 2, the medical reduced
The
The
図３は、医用縮小画像処理装置の情報処理の流れを示す図である。
図３において、医用縮小画像情報管理部２０４は、以下の処理を実行する。
医療情報取得部２０５は、ネットワーク１００を介して、ＨＩＳ１０２、ＲＩＳ１０３、ＰＡＣＳ１０４等に含まれる患者の医療情報を取得する（ステップＳ３０１）。
画像素材抽出部２０６は、取得された医療情報に基づき、診療科又は疾患ごとに必要と判断する医用縮小画像素材候補群を自動抽出する（ステップＳ３０２）。ステップＳ３０２の処理は後述する図４を用いて詳述する。
画像素材抽出部２０６は、自動抽出した画像や文字等を一時的に登録する（ステップＳ３０３）。
画像素材抽出部２０６は、ステップＳ３０３で一時的に登録した医用縮小画像の候補群の中から、実際に使用する医用縮小画像素材を選定する（ステップＳ３０４）。ステップＳ３０４の処理は後述する図５を用いて詳述する。
画像素材抽出部２０６は、ステップＳ３０４で選定した医用縮小画像素材を素材確定リストに一時的に登録する（ステップＳ３０５）。
構成決定部２０７は、ステップＳ３０５に登録された画像や文字等を、医用縮小画像の大きさに合わせて医用縮小画像のテンプレート等に配置し、医用縮小画像を生成する（ステップＳ３０６）。ステップＳ３０６の処理は後述する図６を用いて詳述する。
構成決定部２０７は、ステップＳ３０６で配置完了し、生成が完了した医用縮小画像を、医用縮小画像確定リストに一つの画像として設定されたファイル形式（ｊｐｇ、ｐｎｇ等）で保存する（ステップＳ３０７）。
以上、Ｓ３０１〜Ｓ３０７のステップにより、医用縮小画像が生成される。
FIG. 3 is a diagram showing the flow of information processing of the medical reduced image processing device.
In FIG. 3, the medical reduced image
The medical
The image
The image
The image
The image
The
The
As described above, the medical reduced image is generated by the steps S301 to S307.
図４は、ステップＳ３０２の情報処理の一例を示すフローチャートである。
ステップＳ３０１で取得された患者の医療情報には、読影レポート、問診表、依頼箋の医用書類をはじめ、ＣＴ画像、Ｘ線画像の検査結果、患者のＳＯＡＰ、既往歴等が含まれた電子カルテ等の情報が含まれる。なお、ＳＯＡＰのＳは、ｓｕｂｊｅｃｔｉｖｅ ｄａｔａ、即ち、患者の主観的な症状を表わす。ＳＯＡＰのＯは、ｏｂｊｅｃｔｉｖｅ ｄａｔａ、即ち、身体診察や検査からの客観的所見を表わす。ＳＯＡＰのＡは、ａｓｓｅｓｓｍｅｎｔ、即ちＳとＯとから下した評価を表わす。ＳＯＡＰのＰは、ｐｌａｎ、即ちＳ、Ｏ、Ａに基づいた計画を表わす。
画像素材抽出部２０６は、ステップＳ３０１で取得された患者情報から、医用縮小画像の素材になり得る医用画像又は医療文書等の一部を抽出する（ステップＳ３０２）。
FIG. 4 is a flowchart showing an example of information processing in step S302.
The patient's medical information acquired in step S301 includes an electronic medical record including an interpretation report, a questionnaire, medical documents of a request form, CT images, X-ray image test results, patient's SOAP, medical history, etc. Etc. are included. In addition, S of SOAP represents subjective data, that is, the subjective symptom of the patient. O in SOAP represents objective data, that is, objective findings from physical examinations and examinations. A of SOAP represents an assessment, that is, an evaluation given by S and O. The P in SOAP represents a plan, i.e. a plan based on S, O, A.
The image
はじめに、画像素材抽出部２０６は、患者の医療情報等に基づき、処理対象が医用画像か否かを判定する（Ｓ４０１）。画像素材抽出部２０６は、処理対象が医用画像の場合、ステップＳ４０２に進み、医用画像でない場合、ステップＳ４０３に進む。
ステップＳ４０２において、画像素材抽出部２０６は、医用画像用の抽出処理を実行し、前記医用画像の一部を医用縮小画像素材として取得する。ステップＳ４０２の処理の詳細は後述する。
一方、ステップＳ４０３において、画像素材抽出部２０６は、医療文書用の抽出処理を実行し、前記医療文書の一部を医用縮小画像素材として取得する。ステップＳ４０３の処理の詳細は後述する。
ステップＳ４０４において、画像素材抽出部２０６は、取得した医用縮小画像素材に各々タグを付ける。例えば、画像素材抽出部２０６は、取得した医用縮小画像素材の種別等に応じて、前記種別に対応するタグを前記医用縮小画像素材に付ける。種別としては、例えば、代表画像（キー画像）、診断名、主訴等がある。種別又はタグは、属性情報の一例である。
First, the image
In step S402, the image
On the other hand, in step S403, the image
In step S404, the image
図４の処理をより具体的に説明する。ステップＳ３０１で取得された患者の医療情報がＣＴ画像であった場合、ステップＳ４０１においてＹＥＳと判定され、ステップＳ４０２に進む。画像素材抽出部２０６は、患者の医療情報が医用画像だけの場合は、ステップＳ４０１においてＹＥＳと判定し、患者の医療情報が医用画像だけでない場合は、ステップＳ４０１においてＮＯと判定する。つまり、医療情報に文字列等、医用画像以外の情報が含まれる場合は、画像素材抽出部２０６は、患者の医療情報に画像が含まれていても、ステップＳ４０１においてＮＯと判定する。
ステップＳ４０２において、画像素材抽出部２０６は、ＣＴ画像から代表画像（キー画像）を医用縮小画像素材候補として抽出する。より具体的に説明すると、画像素材抽出部２０６は、画像認識技術等を用いてＣＴ画像からキー画像を特定し、特定したキー画像内の目印を含む矩形領域を医用縮小画像素材候補の一つとして抽出する。キー画像内の病変箇所には矢印等の目印が記載されている可能性が高いためである。
The process of FIG. 4 will be described more specifically. If the medical information of the patient acquired in step S301 is a CT image, it is determined as YES in step S401, and the process proceeds to step S402. The image
In step S402, the image
また、ステップＳ３０１で取得された患者の医療情報がスキャンされた問診表のスキャンデータであった場合、ステップＳ４０１においてＮＯと判定され、ステップＳ４０３に進む。ステップＳ４０３において、画像素材抽出部２０６は、前記問診票のスキャンデータより主訴や主訴が出始めた時期、問診票内に記載された人体図等の記載箇所を医用縮小画像素材候補として抽出する。一般的な問診票は、病院や診療科ごとに定型化されている。例えば、画像素材抽出部２０６は、問診票の所定の領域から病院や診療科を特定し、病院や診療科ごとに定型化されている問診票のテンプレートの情報を取得し、前記テンプレートによって定められている領域情報に基づき該当データを取得する。なお、画像素材抽出部２０６は、画像認識技術等用いて、問診票から病院や診療科を特定するようにしても良い。
If the medical information of the patient acquired in step S301 is the scan data of the scanned questionnaire, it is determined as NO in step S401, and the process proceeds to step S403. In step S403, the image
また、Ｓ３０１で取得された患者の医療情報が電子カルテであった場合、ステップＳ４０１においてＮＯと判定され、ステップＳ４０３に進む。ステップＳ４０３において、画像素材抽出部２０６は、電子カルテからＳＯＡＰや診断名、特記すべき項目等の記載箇所を抽出する。電子カルテの場合、ＳＯＡＰや診断名、特記すべき項目等の記載箇所の場所情報等は予め設定されている。したがって、例えば、画像素材抽出部２０６は、設定されている場所情報等に基づいて、電子カルテの該当する場所からＳＯＡＰや診断名、特記すべき項目等の記載箇所を抽出する。
図４では、画像素材抽出部２０６が患者情報から、医用縮小画像の素材になり得る医用画像又は医療文書等の一部を抽出する処理を説明した。しかしながら、画像素材抽出部２０６は、医用画像及び医療文書の双方の一部を医用縮小画像の素材候補として抽出するようにしても良い。
また、図４では、画像素材抽出部２０６が自動的に医用縮小画像素材候補を抽出するものとして説明を行った。しかしながら、画像素材抽出部２０６は、医用縮小画像処理装置１０５の操作者に問い合わせを行い、前記操作者による選択操作等に基づいて、選択された箇所の画像や文字列等を医用縮小画像素材候補として抽出するようにしても良い。
If the medical information of the patient acquired in S301 is an electronic medical record, it is determined as NO in step S401, and the process proceeds to step S403. In step S403, the image
In FIG. 4, a process in which the image
Further, in FIG. 4, the description has been made assuming that the image
図５は、ステップＳ３０４の情報処理の一例を示すフローチャートである。
医用縮小画像の生成にあたり、医用縮小画像のフォームの大きさ等からフォームに反映可能な医用縮小画像素材は限られているため、医用縮小画像に使用する医用縮小画像素材を確定する必要がある。
そこで、画像素材抽出部２０６は、ステップＳ３０３で一時的に登録した医用縮小画像の候補群の中から、実際に使用する医用縮小画像素材を選定するために、医用縮小画像素材の優先度と医用縮小画像に配置する素材数とを決定する。
FIG. 5 is a flowchart showing an example of information processing in step S304.
In generating a medically reduced image, the medically reduced image material that can be reflected in the form is limited due to the size of the medically reduced image form, etc., so it is necessary to determine the medically reduced image material to be used for the medically reduced image.
Therefore, the image
画像素材抽出部２０６は、ステップＳ４０４で指定したタグを基に、同名のタグが付いている医用縮小画像素材候補を収集する（ステップＳ５０１）。画像素材抽出部２０６は、同名のタグの医用縮小画像素材候補に対して以下で示すように優先度を決定する。
画像素材抽出部２０６は、画面等を介して医用縮小画像処理装置１０５の操作者に優先度の付け方（優先度の付け方を示すルール）の選択を促す。そして、画像素材抽出部２０６は、前記画面等を介して前記操作者によって選択された優先度の付け方を取得し、指定する（Ｓ５０２）。なお、画像素材抽出部２０６は、Ｓ３０１で取得された患者の医療情報等に応じて、自動的に優先度の付け方を指定しても良い。
画像素材抽出部２０６は、指定した優先度に基づき、医用縮小画像素材候補に優先度を付ける（Ｓ５０３）。
The image
The image
The image
以下、Ｓ５０３の処理を、より具体的な例を用いて説明する。
読影レポートの医用縮小画像を自動生成する場合、キー画像と診断名、読影医が疾患を類推した箇所の優先度が高い。特に、医用縮小画像として機能するためには、視覚的な情報が必要である。そのため、画像素材抽出部２０６は、優先度の第一位をキー画像、第二位を診断名、疾患を類推した箇所等とする。診断名や疾患を類推した箇所の記述等、同等の順位の医用縮小画像素材は、画像素材抽出部２０６は、診断支援技術等から優先度が高いと判断した素材を上位とする（ステップＳ５０３）。自動的に優先度を付ける場合、何の医用縮小画像を自動生成するかに応じて、何の優先度を第一位にするか等の設定情報は、例えば、情報記録部１０９等に記録されているものとする。画像素材抽出部２０６は、この設定情報に基づき、優先度を付けていく。
問診表の医用縮小画像を自動生成する場合、診療科ごとに優先度が異なる。内科の場合、主訴と主訴が出始めた時期とが重要であるため、画像素材抽出部２０６は、優先度の第一位を主訴、第二位を主訴が出始めた時期等とする。整形外科や皮膚科の場合、問診表内に記載された人体図に主訴を追記することが多いため、画像素材抽出部２０６は、優先度の第一位を人体図、第二位を主訴等とする（ステップＳ５０３）。
電子カルテの医用縮小画像を自動生成する場合、画像素材抽出部２０６は、優先度の第一位をＳＯＡＰや診断名、第二位を特記すべき項目等とする（ステップＳ５０３）。
検査結果の医用縮小画像を自動生成する場合、画像素材抽出部２０６は、医用画像であれば優先度の第一位を病変箇所の画像、また検査結果の数値であれば、優先度の第一位を異常値や経過観察を実施したい数値等とする（ステップＳ５０３）。
Hereinafter, the process of S503 will be described with reference to a more specific example.
When the medical reduced image of the interpretation report is automatically generated, the key image, the diagnosis name, and the part where the interpretation doctor infers the disease have high priority. In particular, visual information is required to function as a medical reduced image. Therefore, the image
When automatically generating a reduced medical image of a questionnaire, the priority is different for each clinical department. In the case of internal medicine, the time when the main complaint and the main complaint began to appear is important, so the image
When automatically generating a medical reduced image of an electronic medical record, the image
When automatically generating a medical reduced image of the test result, the image
画像素材抽出部２０６は、医用縮小画像素材候補の優先順位が確定した時点で、医用縮小画像として反映する医用縮小画像素材の数を指定する（ステップＳ５０４）。画像素材抽出部２０６は、医用縮小画像素材の数を、医用縮小画像（医用縮小画像のフォーマット）の大きさで決定する。医用縮小画像の大きさで自動決定する場合、より具体的には、画像素材抽出部２０６は、３（大・中・小）〜５段階（特大・大・中・小・特小）で医用縮小画像のフォーマットの大きさを分類し、医用縮小画像のフォーマットの大きさに準じて素材数を決定する。画像素材抽出部２０６は、小の範囲に含まれる医用縮小画像の素材数は１〜２数程度、中の範囲に含まれる医用縮小画像の素材数は２〜４数程度、大の範囲に含まれる医用縮小画像の素材数は３〜５程度とする。なお、前述した分類方法に限らなくても良い。
前述したように、画像素材抽出部２０６は、医用縮小画像素材数を、医用縮小画像のフォーマットの大きさで自動決定しても良いし、画面等を介した操作者の選択操作に応じて指定しても良い。但し、医用縮小画像の性質上、医用縮小画像のフォーマットに複数の画像を挿入すると視認性が低下するため、分割数は医用縮小画像のフォーマットの大きさに合わせて限定するのが良い。したがって、操作者の選択操作に応じて指定する場合も、画像素材抽出部２０６は、医用縮小画像のフォーマットの大きさに応じて指定できる数を制限するようにしても良い。
画像素材抽出部２０６は、ステップＳ５０３で付した優先度の高い医用縮小画像素材から順にステップＳ５０４で指定した素材数分、医用縮小画像素材候補から医用縮小画像素材を抽出する（ステップＳ５０５）。
The image
As described above, the image
The image
図６は、ステップＳ３０６の情報処理の一例を示すフローチャートである。
構成決定部２０７は、医用縮小画像のフォーマットの面積を図５のステップＳ５０４で指定された数（医用縮小画像素材数）で分割する（ステップＳ６０１）。
構成決定部２０７は、配置予定の医用縮小画像素材が存在するか否か判定する（ステップＳ６０２）。構成決定部２０７は、配置予定の医用縮小画像素材が存在する場合、ステップＳ６０３に進み、配置予定の医用縮小画像素材が存在しない場合、ステップＳ６０４に進む。構成決定部２０７は、Ｓ５０５で抽出された医用縮小画像素材数分の医用縮小画像素材のうち、まだ図６に係る処理が終了していない医用縮小画像素材がある場合は、配置予定の医用縮小画像素材が存在すると判定する。
ステップＳ６０３において、構成決定部２０７は、図６に係る処理が終了していない医用縮小画像素材のうち、優先度が一番高い医用縮小画像素材を、医用縮小画像のフォーマットに配置可能な最大面積まで拡大又は縮小する。構成決定部２０７は、配置予定の医用縮小画像素材が存在しなくなるまでステップＳ６０２及びＳ６０３の処理を繰り返した後、医用縮小画像素材を医用縮小画像のフォーマット内に配置する（ステップＳ６０４）。後述するように、医用縮小画像のフォーマットには、医用縮小画像素材が配置される領域が予め定められている。構成決定部２０７は、優先度が高い医用縮小画像素材から順に、前記医用縮小画像のフォーマットの面積が大きい領域に医用縮小画像素材を配置する。
構成決定部２０７は、配置が終わると、図３のステップＳ３０７の通り、設定された画像形式等で医用縮小画像を保存する。
FIG. 6 is a flowchart showing an example of information processing in step S306.
The
The
In step S603, the
When the arrangement is completed, the
図７は、読影レポートの医用縮小画像の自動生成を説明するための図である。
図３のステップＳ３０１において、医療情報取得部２０５は、患者の読影レポートを取得する。その後、図３のステップＳ３０２において、画像素材抽出部２０６は、医用縮小画像素材の候補群を抽出する。読影レポートの場合は、キー画像７０１ａ、主訴が出始めた時期７０１ｂ、診断所見や診断名７０１ｃ等が医用縮小画像素材の候補群として抽出される。
図３のステップＳ３０４において、画像素材抽出部２０６は、医用縮小画像素材候補に優先度を付ける。読影レポートの場合、画像素材抽出部２０６は、例えば、キー画像７０１ａを優先度第一位とし、主訴が出始めた時期７０１ｂを優先度第二位、診断所見や診断名７０１ｃを優先度第三位とする。
また、図７の医用縮小画像の素材数は３と指定されているため、図３のステップＳ３０６により、優先度の高い医用縮小画像素材から順に、面積比が大きくなるように配置される。つまり、優先度の高い医用縮小画像素材ほど、医用縮小画像に占める割合が大きくないように配置される。図７の場合、キー画像７０１ａの面積が配置可能な最大面積となるように拡大・縮小される（７０２ａ）。主訴が出始めた時期７０１ｂ及び診断所見や診断名７０１ｃは、７０２ａを除く範囲内で配置可能な最大面積となるように拡大・縮小され、主訴が出始めた時期７０１ｂは７０２ｂに、診断所見や診断名７０１ｃは７０２ｃに配置される。なお、配置可能な最大面積となるように調整する処理として、構成決定部２０７は、拡大・縮小に限らず、変形等を用いても良い。
全ての医用縮小画像素材が配置されることで、図３のステップＳ３０７において、図７の７０３のように読影レポートの医用縮小画像が生成され、設定されたファイル形式で保存される。
FIG. 7 is a diagram for explaining automatic generation of a medical reduced image of an interpretation report.
In step S301 of FIG. 3, the medical
In step S304 of FIG. 3, the image
Further, since the number of materials of the medical reduced image in FIG. 7 is specified as 3, in step S306 of FIG. 3, the medical reduced image materials having the highest priority are arranged in order of increasing area ratio. That is, the higher priority the medical reduced image material is arranged so that the proportion of the medical reduced image is not large. In the case of FIG. 7, the area of the
By arranging all the medical reduced image materials, in step S307 of FIG. 3, a medical reduced image of the interpretation report is generated as shown in 703 of FIG. 7, and is saved in the set file format.
図８は、問診表の医用縮小画像の自動生成を説明するための図である。
図３のステップＳ３０１において、医療情報取得部２０５は、患者の問診票を取得する。その後、図３のステップＳ３０２において、画像素材抽出部２０６は、医用縮小画像素材の候補群を抽出する。問診票の場合は、人体図８０１ａ、主訴の原因８０１ｂ、疾患の部位８０１ｃ、痛みの大きさ８０１ｄ、主訴の原因の補足８０１ｅ、主訴の時期８０１ｆ、主訴の時期の補足８０１ｇ等が医用縮小画像素材の候補群として抽出される。抽出した素材に対して、図３のステップＳ３０４において、画像素材抽出部２０６は、優先度を付ける。患者の問診票の場合、画像素材抽出部２０６は、例えば、人体図８０１ａを優先度第一位、主訴の原因８０１ｂ第二位、と優先度を付加する。同様に、画像素材抽出部２０６は、図８に示される様に、医用縮小画像素材候補に優先度を付加して行く。
また、図８の医用縮小画像の素材数は２と指定されているため、図３のステップＳ３０６により、優先度の高い医用縮小画像素材から順に、面積比が大きくなるように配置される。図８の場合、人体図８０１ａの面積が配置可能な最大面積となるように拡大・縮小される（８０２ａ）。主訴の原因８０１ｂは８０２ａを除く範囲内で配置可能な最大面積となるように拡大・縮小されて配置される（８０２ｂ）。なお、配置可能な最大面積となるように調整する処理として、構成決定部２０７は、拡大・縮小に限らず、変形等を用いても良い。
全ての医用縮小画像素材が配置されることで、図３のステップＳ３０７において、８０３のように問診表の医用縮小画像が生成され、設定されたファイル形式で保存される。
図７や図８では、医用縮小画像の自動生成のより具体的な処理の一例として読影レポートや問診表から医用縮小画像を自動生成する例を説明したが、医用縮小画像の元となるデータはこれらに限定されるものではない。
FIG. 8 is a diagram for explaining the automatic generation of medically reduced images of the questionnaire.
In step S301 of FIG. 3, the medical
Further, since the number of materials of the medical reduced image in FIG. 8 is specified as 2, in step S306 of FIG. 3, the medical reduced image materials having the highest priority are arranged so that the area ratio becomes larger. In the case of FIG. 8, the area of the human body diagram 801a is enlarged or reduced so as to be the maximum area that can be arranged (802a). The cause of the chief complaint, 801b, is enlarged or reduced so as to have the maximum area that can be arranged within the range excluding 802a (802b). As the process of adjusting so as to have the maximum area that can be arranged, the
By arranging all the medical reduced image materials, in step S307 of FIG. 3, the medical reduced image of the questionnaire is generated as in 803 and saved in the set file format.
In FIGS. 7 and 8, as an example of more specific processing for automatically generating a reduced medical image, an example of automatically generating a reduced medical image from an interpretation report or a questionnaire has been described, but the data that is the basis of the reduced medical image is It is not limited to these.
＜実施形態２＞
医療情報俯瞰システムでは、患者の過去と現在との状況を瞬時に確認する事が求められている。そこで、医療情報俯瞰システムでは、実施形態１の医用縮小画像を表示部１１０等に複数、表示（表示制御）し、患者の診察支援として活用しても良い。
他にも、情報処理装置（コンピュータ）において、医用縮小画像を表示し、インフォームドコンセントを実施する等、患者の説明資料としても活用しても良い。
なお、作成された医用縮小画像を印刷し、利用するようにしても良いし、作成された医用縮小画像データを他システムで再利用するようにしても良い。
<Embodiment 2>
In the medical information bird's-eye view system, it is required to instantly confirm the past and present conditions of the patient. Therefore, in the medical information bird's-eye view system, a plurality of reduced medical images of the first embodiment may be displayed (display control) on the
In addition, the information processing device (computer) may display a reduced medical image and provide informed consent, which may be used as explanatory material for the patient.
The created medical reduced image may be printed and used, or the created medical reduced image data may be reused in another system.
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
<Other Embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
以上、上述した各実施形態によれば、一覧性が高い医用縮小画像を生成することができる。また、医用情報俯瞰システム等において、一覧性が高い医用縮小画像を表示することにより、医療従事者は、素早く患者の状況把握することができる。なお、縮小画像とは、例えば、アイコン等である。 As described above, according to each of the above-described embodiments, it is possible to generate a medically reduced image with high listability. In addition, by displaying a medical reduced image with high listability in a medical information bird's-eye view system or the like, a medical worker can quickly grasp the patient's situation. The reduced image is, for example, an icon or the like.
１０５ 医用縮小画像処理装置、１０６ 受送信部、１０７ 制御部、１０８ 情報管理部、１０９ 情報記録部、１１０ 表示部 105 Medical reduced image processing device, 106 Transmission / transmission unit, 107 Control unit, 108 Information management unit, 109 Information recording unit, 110 Display unit
Claims (9)
医用縮小画像を生成するために使用する素材の数を決定する決定手段と、
前記決定手段が少なくとも２つの素材と決定した場合に、前記患者の医療情報に基づいて、前記医用文書から第１の素材として文字列を抽出し、前記医用画像の代表画像を第２の素材として抽出する抽出手段と、
前記第１の素材には第１の優先度を割り当て、前記第２の素材には前記第１の優先度より高い第２の優先度を割り当てる割り当て手段と、
割り当てられた優先度に従って、前記第２の素材の面積が前記第１の素材の面積よりも大きくなるように、前記第１の素材である前記文字列と前記第２の素材である前記医用画像の代表画像とを組み合わせて医用縮小画像を生成する生成手段と、
前記第１の素材である前記文字列と前記第２の素材である前記医用画像の代表画像とを組み合わせて生成された医用縮小画像を時系列に表示させる表示制御手段とを有する情報処理装置。 An acquisition method for acquiring medical information of a patient including medical documents and medical images,
A determinant that determines the number of materials used to generate a reduced medical image, and
When the determination means determines at least two materials, a character string is extracted from the medical document as the first material based on the medical information of the patient, and the representative image of the medical image is used as the second material. Extraction means to extract and
An assignment means for assigning a first priority to the first material and assigning a second priority higher than the first priority to the second material,
The character string, which is the first material, and the medical image, which is the second material, so that the area of the second material is larger than the area of the first material according to the assigned priority. A generation means for generating a medical reduced image by combining with a representative image of
An information processing device having a display control means for displaying a reduced medical image generated by combining the character string which is the first material and a representative image of the medical image which is the second material in a time series.
前記割り当て手段は、前記複数の文字列それぞれに対して前記第２の優先度より低い異なる優先度を割り当てる請求項１乃至４の何れか１項に記載の情報処理装置。 The extraction means extracts a plurality of character strings as a first material from the medical document, and obtains a plurality of character strings.
The information processing apparatus according to any one of claims 1 to 4, wherein the allocation means assigns different priorities lower than the second priority to each of the plurality of character strings.
医用文書と医用画像とを含む患者の医療情報を取得する取得工程と、
医用縮小画像を生成するために使用する素材の数を決定する決定工程と、
前記決定工程により少なくとも２つの素材と決定した場合に、前記患者の医療情報に基づいて、前記医用文書から第１の素材として文字列を抽出し、前記医用画像の代表画像を第２の素材として抽出する抽出工程と、
前記第１の素材には第１の優先度を割り当て、前記第２の素材には前記第１の優先度より高い第２の優先度を割り当てる割り当て工程と、
割り当てられた優先度に従って、前記第２の素材の面積が前記第１の素材の面積よりも大きくなるように、前記第１の素材である前記文字列と前記第２の素材である前記医用画像の代表画像とを組み合わせて医用縮小画像を生成する生成工程と、
前記第１の素材である前記文字列と前記第２の素材である前記医用画像の代表画像とを組み合わせて生成された医用縮小画像を時系列に表示させる表示制御工程とを含む情報処理方法。 An information processing method executed by a computer
The acquisition process for acquiring patient medical information, including medical documents and medical images,
A decision process that determines the number of materials used to generate a reduced medical image, and
When at least two materials are determined by the determination step , a character string is extracted from the medical document as the first material based on the medical information of the patient, and the representative image of the medical image is used as the second material. Extraction process and
A first priority is assigned to the first material, and a second priority higher than the first priority is assigned to the second material.
The character string, which is the first material, and the medical image, which is the second material, so that the area of the second material is larger than the area of the first material according to the assigned priority. And the generation process to generate a medical reduced image by combining with the representative image of
An information processing method including a display control step of displaying a reduced medical image generated by combining the character string which is the first material and a representative image of the medical image which is the second material in a time series.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019045653A JP6852103B2 (en) | 2019-03-13 | 2019-03-13 | Information processing equipment, information processing methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019045653A JP6852103B2 (en) | 2019-03-13 | 2019-03-13 | Information processing equipment, information processing methods and programs |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014097862A Division JP2015215740A (en) | 2014-05-09 | 2014-05-09 | Information processing device, information processing method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019087288A JP2019087288A (en) | 2019-06-06 |
| JP6852103B2 true JP6852103B2 (en) | 2021-03-31 |
Family
ID=66763183
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019045653A Active JP6852103B2 (en) | 2019-03-13 | 2019-03-13 | Information processing equipment, information processing methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6852103B2 (en) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005287632A (en) * | 2004-03-31 | 2005-10-20 | Fuji Photo Film Co Ltd | Diagnosis support system, and method and terminal used therefor |
| JP2007066016A (en) * | 2005-08-31 | 2007-03-15 | Fujifilm Corp | Diagnostic reading report generation apparatus |
| JPWO2009110310A1 (en) * | 2008-03-06 | 2011-07-14 | コニカミノルタエムジー株式会社 | Image server, program, and image management method |
| JP2013025331A (en) * | 2011-07-14 | 2013-02-04 | Konica Minolta Business Technologies Inc | Image processing apparatus, thumbnail image creation method using the apparatus and thumbnail image creation program |
| JP6116945B2 (en) * | 2012-03-12 | 2017-04-19 | 東芝メディカルシステムズ株式会社 | Medical information browsing device |
| JP2013228800A (en) * | 2012-04-24 | 2013-11-07 | Canon Inc | Information processing apparatus, information processing method and program |
| KR101427248B1 (en) * | 2012-10-11 | 2014-08-13 | 주식회사 인피니트헬스케어 | Apparatus and method for generating thumbnail image of medical images |
| KR101352999B1 (en) * | 2013-04-03 | 2014-02-05 | 주식회사 인피니트헬스케어 | Appratus and method for image bookmarking using attribute information |
-
2019
- 2019-03-13 JP JP2019045653A patent/JP6852103B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019087288A (en) | 2019-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4906404B2 (en) | Diagnosis support method, diagnosis support apparatus, diagnosis support system, and diagnosis support program | |
| US20090192824A1 (en) | Medical information system and medical image storage apparatus | |
| US20060064321A1 (en) | Medical image management system | |
| JP2009070201A (en) | Diagnostic reading report generation system, diagnostic reading report generation device, and diagnostic reading report generation method | |
| US10650267B2 (en) | Medical image processing apparatus | |
| CN110111876B (en) | Information processing apparatus and information processing method | |
| JP2007307290A (en) | Medical image reading system | |
| JP5732015B2 (en) | Graph creating apparatus, graph creating method, and graph creating program | |
| JP7416183B2 (en) | Information processing equipment, medical image display equipment and programs | |
| JP2007041684A (en) | Report creating system | |
| US9798857B2 (en) | Method and apparatus for providing an integrated display of clinical data | |
| JP2013200591A (en) | Database search device, method, and program | |
| JP5172262B2 (en) | Report creation support system and report creation support method | |
| JP6498018B2 (en) | Information processing apparatus, control method, and program | |
| JP2008234309A (en) | Case collection system | |
| JP6852103B2 (en) | Information processing equipment, information processing methods and programs | |
| JP2007094810A (en) | Diagnostic result report system | |
| JP2023073508A (en) | Medical examination support program, information processing system, information processing method, and information processor | |
| JP6665815B2 (en) | Inspection reservation management system | |
| KR20170046115A (en) | Method and apparatus for generating medical data which is communicated between equipments related a medical image | |
| JP7415787B2 (en) | medical imaging system | |
| JP2020067957A (en) | Information processing apparatus, information processing method, and program | |
| JP7272149B2 (en) | Selection support system and program | |
| US20240071580A1 (en) | Medical information processing apparatus, medical information processing system, medical information processing method, and recording medium | |
| JP7428055B2 (en) | Diagnostic support system, diagnostic support device and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190326 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200721 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210209 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210310 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6852103 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |