JP7062239B1 - Information processing equipment, information processing methods, and programs - Google Patents
Information processing equipment, information processing methods, and programs Download PDFInfo
- Publication number
- JP7062239B1 JP7062239B1 JP2021212752A JP2021212752A JP7062239B1 JP 7062239 B1 JP7062239 B1 JP 7062239B1 JP 2021212752 A JP2021212752 A JP 2021212752A JP 2021212752 A JP2021212752 A JP 2021212752A JP 7062239 B1 JP7062239 B1 JP 7062239B1
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- information
- image
- patient
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 41
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000007689 inspection Methods 0.000 claims abstract description 187
- 238000012360 testing method Methods 0.000 claims abstract description 102
- 230000004044 response Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 9
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 16
- 230000001149 cognitive effect Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 13
- 239000003814 drug Substances 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 229940079593 drug Drugs 0.000 description 9
- 238000000034 method Methods 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 210000001124 body fluid Anatomy 0.000 description 2
- 239000010839 body fluid Substances 0.000 description 2
- 230000003862 health status Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000028327 secretion Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 238000003149 assay kit Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 229920002678 cellulose Polymers 0.000 description 1
- 239000001913 cellulose Substances 0.000 description 1
- 239000000084 colloidal system Substances 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004392 genitalia Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 238000003317 immunochromatography Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229940127554 medical product Drugs 0.000 description 1
- 230000003821 menstrual periods Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000003296 saliva Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】患者に課す操作または認知・判断上の負荷を抑制しながら当該患者の検査結果に関する情報を収集する。【解決手段】本開示の一態様のプログラムは、１以上のコンピュータを、患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段、検査画像に写った識別子に基づいて、検査キットに対応する検査種別を判定する手段、検査種別の判定結果と、検査画像に写った識別子の位置および向きとに基づいて、検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を検査画像に付加し、対象画像を生成する手段、対象画像と、検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段、として機能させる。【選択図】図８PROBLEM TO BE SOLVED: To collect information on a patient's test result while suppressing an operation or a cognitive / judgment load imposed on the patient. SOLUTION: In the program of one aspect of the present disclosure, one or more computers are configured so that the appearance of a determination unit can be changed in response to a sample collected from a patient, and a test type can be specified at a predetermined position. The inspection type corresponding to the inspection kit is determined based on the means for acquiring the inspection image taken so that the identifier and the determination unit are included in the shooting range, and the identifier shown in the inspection image. Based on the judgment means, the judgment result of the inspection type, and the position and orientation of the identifier reflected in the inspection image, auxiliary information that assists the human judgment on the inspection result by the inspection kit is added to the inspection image. It functions as a means for generating a target image, a means for transmitting information about the target image and a determination result of an inspection type to a predetermined external device. [Selection diagram] FIG. 8
Description
本開示は、情報処理装置、情報処理方法、およびプログラムに関する。 The present disclosure relates to information processing devices, information processing methods, and programs.
尿または血液を検体として用いる検査キットが知られている。 Test kits that use urine or blood as a sample are known.
特許文献１には、検査キットから検査データを収集する方法が開示されている。具体的には、特許文献１には、検査キットに設けられた検査識別子を走査して当該検査キットによって行われる検査のタイプを識別すること、表示スクリーン上に当該検査に関連付けられた全ての取り得る弁別的結果を表示すること、表示された弁別的結果のうち１つをユーザに選択させることで検査データを収集すること、について記載されている。
特許文献１に記載の技術では、表示スクリーン上に表示された弁別的結果のうちどれが適切であるかをユーザが検査結果を判断して選択する必要がある。しかしながら、全てのユーザが常に正しい弁別的結果を容易に選択できるとは限らない。ユーザは、検査キットを上下逆に見て誤った弁別的結果を選択したり、検査キットに現れたラインが想定よりも薄く選択に迷ったり、スクリーンの表示内容と検査キットを見比べて弁別的結果を選択することを億劫に感じたりするおそれがある。
In the technique described in
本開示の目的は、患者に課す操作または認知・判断上の負荷を抑制しながら当該患者の検査結果に関する情報を収集することである。 An object of the present disclosure is to collect information on the test results of the patient while suppressing the operation or cognitive / judgment load imposed on the patient.
本開示の一態様のプログラムは、１以上のコンピュータを、患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段、検査画像に写った識別子に基づいて、検査キットに対応する検査種別を判定する手段、検査種別の判定結果と、検査画像に写った識別子の位置および向きとに基づいて、検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を検査画像に付加し、対象画像を生成する手段、対象画像と、検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段、として機能させる。 In one aspect of the program of the present disclosure, one or more computers are configured so that the appearance of the determination unit can be changed in response to a sample collected from a patient, and an identifier capable of identifying a test type is arranged at a predetermined position. A means for acquiring an inspection image of the inspection kit taken so that the identifier and the determination unit are included in the shooting range, a means for determining the inspection type corresponding to the inspection kit based on the identifier shown in the inspection image, Based on the judgment result of the inspection type and the position and orientation of the identifier shown in the inspection image, auxiliary information, which is information that assists human judgment on the inspection result by the inspection kit, is added to the inspection image to generate a target image. The means, the target image, and the information regarding the determination result of the inspection type are transmitted to a predetermined external device.
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. In the drawings for explaining the embodiments, the same components are designated by the same reference numerals in principle, and the repeated description thereof will be omitted.
以下の説明において、「患者」とは、医療サービスの提供を受ける者を意味する。患者は、必ずしも何らかの病気に罹患しているとは限らない。「医療サービス」とは、例えば、検査、処方、診察、指導、相談、診療、診断、治療、または手術の少なくとも１つを含むことができる。医療サービスは、医師と患者とが対面した状態で提供されてもよいし、通信技術を用いて遠隔で提供されてもよい。また、医療サービスを提供する者は、医師に限られず、種々の医療関係者、または医療機器を含み得る。 In the following description, "patient" means a person who receives medical services. Patients do not always have some kind of illness. A "medical service" can include, for example, at least one of testing, prescribing, medical examination, guidance, consultation, medical care, diagnosis, treatment, or surgery. The medical service may be provided face-to-face with the doctor and the patient, or may be provided remotely using communication technology. Further, the person who provides the medical service is not limited to a doctor, but may include various medical personnel or medical devices.
（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。
(1) Configuration of information processing system The configuration of the information processing system will be described. FIG. 1 is a block diagram showing a configuration of an information processing system of the present embodiment.
図１に示すように、情報処理システム１は、患者端末１０と、サーバ３０と、医師端末５０とを備える。
患者端末１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。サーバ３０及び医師端末５０は、ネットワークＮＷを介して接続される。
As shown in FIG. 1, the
The
患者端末１０は、情報処理装置の一例である。患者端末１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。患者端末１０のユーザは、患者である。
The
サーバ３０は、情報処理装置の一例である。サーバ３０は、例えば、サーバコンピュータである。
The
医師端末５０は、情報処理装置の一例である。医師端末５０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。医師端末５０のユーザは、医師である。
The
（１－１）患者端末の構成
患者端末の構成について説明する。図２は、本実施形態の患者端末の構成を示すブロック図である。
(1-1) Configuration of patient terminal The configuration of the patient terminal will be described. FIG. 2 is a block diagram showing the configuration of the patient terminal of the present embodiment.
図２に示すように、患者端末１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。患者端末１０は、ディスプレイ２１およびカメラ２２に接続される。
As shown in FIG. 2, the
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
The
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーションのプログラム
The program includes, for example, the following program.
・ OS (Operating System) program ・ Application program that executes information processing
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
The data includes, for example, the following data.
-Database referenced in information processing-Data obtained by executing information processing (that is, the execution result of information processing)
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、患者端末１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）
The
・ CPU (Central Processing Unit)
・ GPU (Graphic Processing Unit)
・ ASIC (Application Specific Integrated Circuit)
・ FPGA (Field Programmable Array)
入出力インタフェース１３は、患者端末１０に接続される入力デバイスから情報（例えば、ユーザの指示、画像）を取得し、かつ、患者端末１０に接続される出力デバイスに情報（例えば、画像）を出力するように構成される。
入力デバイスは、例えば、カメラ２２、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。
The input / output interface 13 acquires information (for example, a user's instruction and an image) from an input device connected to the
The input device is, for example, a
The output device is, for example, a display 21, a speaker, or a combination thereof.
通信インタフェース１４は、患者端末１０と外部装置（例えばサーバ３０）との間の通信を制御するように構成される。
The communication interface 14 is configured to control communication between the
ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。 The display 21 is configured to display an image (still image or moving image). The display 21 is, for example, a liquid crystal display or an organic EL display.
カメラ２２は、画像（静止画、または動画）を撮影するように構成される。カメラ２２は、例えば後述する検査キットを撮影するために用いられる。
The
（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。
(1-2) Server configuration The server configuration will be described. FIG. 3 is a block diagram showing a configuration of the server of the present embodiment.
図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
As shown in FIG. 3, the
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
The
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
The program includes, for example, the following program.
・ OS program ・ Application program that executes information processing
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
The data includes, for example, the following data.
・ Database referenced in information processing ・ Execution result of information processing
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
The processor 32 is a computer that realizes the function of the
・ CPU
・ GPU
・ ASIC
・ FPGA
入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報（例えば、画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
The input /
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
The output device is, for example, a display.
通信インタフェース３４は、サーバ３０と外部装置（例えば、患者端末１０、および医師端末５０）との間の通信を制御するように構成される。
The communication interface 34 is configured to control communication between the
（１－３）医師端末の構成
医師端末の構成について説明する。図４は、本実施形態の医師端末の構成を示すブロック図である。
(1-3) Configuration of doctor terminal The configuration of the doctor terminal will be described. FIG. 4 is a block diagram showing the configuration of the doctor terminal of the present embodiment.
図４に示すように、医師端末５０は、記憶装置５１と、プロセッサ５２と、入出力インタフェース５３と、通信インタフェース５４とを備える。医師端末５０は、ディスプレイ６１に接続される。
As shown in FIG. 4, the
記憶装置５１は、プログラム及びデータを記憶するように構成される。記憶装置５１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 51 is configured to store programs and data. The storage device 51 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
The program includes, for example, the following program.
・ OS program ・ Application program that executes information processing
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
The data includes, for example, the following data.
・ Database referenced in information processing ・ Execution result of information processing
プロセッサ５２は、記憶装置５１に記憶されたプログラムを起動することによって、医師端末５０の機能を実現するコンピュータである。プロセッサ５２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ
The
・ CPU
・ GPU
・ ASIC
・ FPGA
入出力インタフェース５３は、医師端末５０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、医師端末５０に接続される出力デバイスに情報（例えば、画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、センサ、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ６１、スピーカ、又は、それらの組合せである。
The input / output interface 53 acquires information (for example, a user's instruction) from an input device connected to the
The input device is, for example, a keyboard, a pointing device, a touch panel, a sensor, or a combination thereof.
The output device is, for example, a
通信インタフェース５４は、医師端末５０と外部装置（例えば、サーバ３０）との間の通信を制御するように構成される。
The communication interface 54 is configured to control communication between the
ディスプレイ６１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ６１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。
The
（１－４）検査キットの構成
検査キットの構成について説明する。図５は、本実施形態の検査キットの構成を示すブロック図である。
(1-4) Configuration of inspection kit The configuration of the inspection kit will be described. FIG. 5 is a block diagram showing the configuration of the inspection kit of the present embodiment.
図５に示すように、検査キット７０は、検体滴下部７１と、識別子７２と、判定部７３とを含む。検査キット７０は、患者から採取された検体を検体滴下部７１に滴下すると、判定部７３の外観が当該検体に反応して変化するように構成される。検査キット７０は、例えばイムノクロマト法、またはその他の検査法を利用して構成される。
As shown in FIG. 5, the
検体とは、例えば、患者の体液、または組織である。患者の体液とは、例えば、血液、尿、または分泌液（例えば、唾液、汗、または生殖器からの分泌液）である。患者の組織とは、例えば、粘膜である。 The sample is, for example, a patient's body fluid or tissue. The patient's body fluid is, for example, blood, urine, or secretions (eg, saliva, sweat, or secretions from the genitals). The patient's tissue is, for example, the mucous membrane.
検体滴下部７１は、検査キット７０内部のろ紙（例えばセルロース膜）の第１端部に対応する。検体滴下部７１には、検体に含まれる検出対象（例えば、特定の抗原、ホルモン、ウイルス、細菌）と結合する標識抗体が配置される。標識抗体は、所定の色に発色する物質（例えばコロイド）によって予め標識されている。検出対象と結合した標識抗体（つまり標識された検出対象）、および検出対象と結合していない標識抗体は、毛細管現象により時間の経過ともにろ紙の第２端部へ移動する。
The
識別子７２は、検査キット７０の既定の位置に、既定の向きで配置される。識別子７２は、検査キット７０の種別（以下、単に「検査種別」という）を特定可能な情報を保持する。検査種別は、検査キット７０によって行われる検査の内容を含み得る。具体的には、識別子７２は、検査種別を符号化した図形を表す。一例として、識別子７２は、一次元または二次元のバーコード（例えばＱＲコード（登録商標））である。識別子７２は、検査キット７０の筐体表面に例えば印刷により配置された塗料であってもよいし、検査キット７０の筐体表面に貼り付けられたステッカーであってもよいし、検査キット７０の筐体表面の凹凸として当該筐体に一体化されてもよい。
The
判定部７３は、検査キット７０内部のろ紙の第２端部（つまり、検体滴下部７１の反対側）に対応する。判定部７３は、検体滴下部７１から流れてきた検体に含まれる検出対象に反応して外観が変化するように構成される。一例として、判定部７３の第１領域７３ａはＴラインが出現可能に構成され、判定部７３の第２領域７３ｂはＣラインが出現可能に構成される。
The
第１領域７３ａには、検出対象と結合する第１抗体が配置される。標識された検出対象は、第１抗体によってトラップされ、Ｔラインを呈示する。他方、検出対象と結合していない標識抗体は、第１抗体によってトラップされず、ろ紙をさらに移動する。第２領域７３ｂには、標識抗体と結合する第２抗体が配置される。検出対象と結合していない標識抗体は、第２抗体によってトラップされ、Ｃラインを呈示する。
呈示されるＴラインおよびＣラインは、人間が色として知覚可能な光（つまり、可視光線）を呈示（例えば、反射、または発光）してもよいし、人間が色として知覚可能でない光（つまり、例えば赤外光などの可視領域外の波長を持つ光線）を呈示（例えば、反射、または発光）してもよい。
A first antibody that binds to a detection target is arranged in the
The presented T-line and C-line may present (eg, reflect or emit) light that is perceptible to humans as color (ie, visible light), or light that is not perceptible to humans as color (ie, i.e.). , For example, light having a wavelength outside the visible region such as infrared light) may be presented (eg, reflected or emitted).
Ｃラインの出現は、検体が最後まで流れたこと、つまり検査が正常に完了したことを意味する。したがって、ＣラインおよびＴラインの両方が出現した場合に、検査結果は陽性である。Ｃラインが出現したがＴラインが出現しなかった場合に、検査結果は陰性である。他方、Ｃラインが出現しなかった場合には、検査が正常に完了していないため、Ｔラインの出現の有無に関わらず検査結果は無効である。 The appearance of the C line means that the sample has flowed to the end, that is, the test has been completed normally. Therefore, if both the C line and the T line appear, the test result is positive. If the C line appears but the T line does not appear, the test result is negative. On the other hand, when the C line does not appear, the test is not completed normally, and the test result is invalid regardless of the presence or absence of the T line.
（２）実施形態の一態様
本実施形態の一態様について説明する。図６は、本実施形態の一態様の説明図である。
(2) One aspect of the embodiment One aspect of the present embodiment will be described. FIG. 6 is an explanatory diagram of one aspect of the present embodiment.
図６に示すように、患者ＰＴ１は、検査キット７０の使用後に、患者端末１０のカメラ２２を用いて、当該検査キット７０を少なくとも識別子７２および判定部７３が撮影範囲に含まれるように撮影する。これにより、患者端末１０は、検査キット７０の写った画像（以下、「検査画像」という）を取得する。
As shown in FIG. 6, after using the
患者端末１０は、検査画像に写った識別子７２に基づいて、検査キット７０に対応する検査種別を判定する。患者端末１０は、患者を識別する情報（後述する「患者ＩＤ」）と、検査画像に関する情報と、検査種別の判定結果に関する情報（後述する「検査種別情報」）とをサーバ３０へ送信する。
The
サーバ３０は、各種の情報を患者端末１０から受信する。サーバ３０は、検査種別情報と、検査画像に写った識別子７２の位置および向きとに基づいて、補助情報を生成する。補助情報は、検査キット７０による検査結果に対する人間（例えば、医師、または患者）の判断を補助する情報である。サーバ３０は、補助情報を検査画像に付加することで、対象画像を生成する。サーバ３０は、検査画像を、検査キット７０に対応する検査種別に対して予め定義されている複数の検査結果類型のいずれかに分類することで、人の判断によらずに検査結果の判定（一次判定）を行う。サーバ３０は、患者ＰＴ１を識別する情報（後述する「患者ＩＤ」）に関連付けて、検査種別情報と、対象画像に関する情報（後述する「対象画像情報」）と、検査画像の分類結果に関する情報（後述する「分類結果情報」）とを記憶装置３１に保存する。サーバ３０は、検査種別情報、対象画像情報、および分類結果情報を医師端末５０へ送信する。さらに、サーバ３０は、患者ＰＴ１に関する情報（後述する「患者情報」）のうち、医師ＤＣ１に提供可能であって、かつ診断に有用な情報を医師端末５０へ送信する。
The
医師端末５０は、各種の情報をサーバ３０から受信する。医師端末５０は、対象画像情報、分類結果情報、および患者情報（の一部）を医師ＤＣ１に提示する。医師ＤＣ１は、医師端末５０によって提示された情報に基づいて、検査キット７０による検査結果に関する判断を行う。医師端末５０は、医師による判断結果に関する情報（後述する「判断結果情報」）をサーバ３０へ送信する。
The
サーバ３０は、判断結果情報を医師端末５０から受信する。サーバ３０は、患者ＰＴ１を識別する患者ＩＤに関連付けて、判断結果情報を記憶装置３１に保存する。サーバ３０は、判断結果情報を患者端末１０へ送信する。
The
患者端末１０は、サーバ３０から判断結果情報を受信する。患者端末１０は、判断結果情報を患者ＰＴ１に提示する。
The
このように、情報処理システム１によれば、患者は、検査キット７０を撮影する以外に、当該検査キット７０による検査結果に関して何らの認知・判断もすることなく、当該検査結果を外部装置へ送信することができる。つまり、情報処理システム１によれば、患者に課される操作または認知・判断上の負荷が小さいので、患者が検査結果に関する情報を提供することに対する敷居を下げ、かかる情報の収集・蓄積を促進することができる。
As described above, according to the
（３）データ構造
本実施形態のデータ構造について説明する。図７は、本実施形態のデータ構造を示す図である。
以下に説明する各種の情報は、例えばデータベースの形式で記憶装置３１に保存される。
(3) Data structure The data structure of this embodiment will be described. FIG. 7 is a diagram showing a data structure of the present embodiment.
Various types of information described below are stored in the
図７に示すように、記憶装置３１には、患者ＩＤリストが保存される。患者ＩＤリストは、複数の患者ＩＤを含む。患者ＩＤは、患者を識別する情報である。患者ＩＤは、患者情報に関連付けられる。
As shown in FIG. 7, the patient ID list is stored in the
患者情報は、患者ＩＤによって特定される患者に関する情報である。患者情報は、例えば、基本情報、検査履歴情報、服薬履歴情報、および診察履歴情報を含むことができる。 The patient information is information about the patient identified by the patient ID. The patient information can include, for example, basic information, examination history information, medication history information, and medical examination history information.
基本情報は、該当患者の基本的属性に関する情報である。基本情報は、例えば、以下の少なくとも１つに関する情報を含むことができる。
・患者名
・性別
・年齢
・住所
・健康状態
・既往歴
・身分証明証（例えば、被保険者番号、マインナンバー）
・決済情報
健康状態は、例えば、以下の少なくとも１つを含むことができる。
・身長
・体重
・月経期間
・血圧
・心拍数
・睡眠状態
・血糖値
・体脂肪率
・持病
・活動量
The basic information is information about the basic attributes of the patient. The basic information can include, for example, information about at least one of the following:
・ Patient name, gender, age, address, health condition, medical history, ID card (for example, insured person number, mine number)
-Payment information The health status can include, for example, at least one of the following.
・ Height, weight, menstrual period, blood pressure, heart rate, sleep state, blood sugar level, body fat percentage, pre-existing illness, activity amount
検査履歴情報は、該当患者に対して行われた検査の履歴に関する情報である。検査履歴情報は、例えば、１以上のレコードを含むことができる。各レコードは、患者に対して行われた検査の１つに対応する。各レコードは、検査日時情報、検査種別情報、対象画像情報、分類結果情報、および判断結果情報を含む。このほか、各レコードは、医師による判断の日時に関する情報、または判断を行った医師を関する情報を含んでもよい。 The examination history information is information regarding the history of examinations performed on the relevant patient. The inspection history information can include, for example, one or more records. Each record corresponds to one of the tests performed on the patient. Each record includes inspection date / time information, inspection type information, target image information, classification result information, and judgment result information. In addition, each record may include information about the date and time of the judgment by the doctor, or information about the doctor who made the judgment.
検査日時情報は、該当レコードに対応する検査が行われた日時に関する情報である。検査日時は、例えば、検査画像の撮影日時に基づいて決定される。 The inspection date and time information is information regarding the date and time when the inspection corresponding to the corresponding record was performed. The inspection date and time is determined based on, for example, the shooting date and time of the inspection image.
検査種別情報は、該当レコードに対応する検査の種別に関する情報である。検査種別情報は、例えば検査画像に写った識別子７２に基づいて判定される。
The inspection type information is information regarding the inspection type corresponding to the corresponding record. The inspection type information is determined based on, for example, the
対象画像情報は、該当レコードに対応する検査において生成された対象画像に関する情報である。対象画像情報は、対象画像を表すデータであってもよいし、当該データの所在を示す情報（例えば、ＵＲＬ）であってもよい。 The target image information is information about the target image generated in the inspection corresponding to the corresponding record. The target image information may be data representing the target image, or may be information indicating the location of the data (for example, a URL).
分類結果情報は、該当レコードに対応する検査において生成された対象画像を複数の検査結果類型のいずれかに自動分類した結果に関する情報である。 The classification result information is information on the result of automatically classifying the target image generated in the inspection corresponding to the corresponding record into any of a plurality of inspection result types.
判断結果情報は、該当レコードに対応する検査において生成された対象画像に対して医師が判断した検査結果（つまり、確定診断結果）に関する情報である。 The judgment result information is information on the test result (that is, the definitive diagnosis result) judged by the doctor with respect to the target image generated in the test corresponding to the corresponding record.
服薬履歴情報は、該当患者による服薬の履歴に関する情報である。服薬履歴情報は、例えば、服薬毎に、服薬日時に関する情報と、服用した薬に関する情報とを含むことができる。 The medication history information is information on the medication history of the patient. The medication history information can include, for example, information on the date and time of medication and information on the medication taken for each medication.
診察履歴情報は、該当患者に対して行われた診察の履歴に関する情報である。診察履歴情報は、例えば診察毎に、診察日時に関する情報と、診察を行った医師に関する情報と、診察の結果に関する情報とを含むことができる。 The medical examination history information is information regarding the history of medical examinations performed on the relevant patient. The medical examination history information can include, for example, information on the date and time of the medical examination, information on the doctor who performed the medical examination, and information on the result of the medical examination for each medical examination.
（４）情報処理
本実施形態の情報処理について説明する。図８は、本実施形態の情報処理の全体フローを示す図である。図９は、本実施形態の情報処理において表示される画面例を示す図である。図１０は、本実施形態の情報処理において検査画像に対して行われる処理の説明図である。
(4) Information processing The information processing of the present embodiment will be described. FIG. 8 is a diagram showing an overall flow of information processing according to the present embodiment. FIG. 9 is a diagram showing an example of a screen displayed in the information processing of the present embodiment. FIG. 10 is an explanatory diagram of processing performed on the inspection image in the information processing of the present embodiment.
図８の情報処理は、例えば患者端末１０によって実行されるヘルスケアアプリのＵＩ（User Interface）、または患者端末１０によって実行されるＷｅｂブラウザ上で表示されるヘルスケアＳａａＳ（Software as a Service）のＵＩ上で、患者が所定の操作（例えば、検査結果をアップロードするためのオブジェクトの選択）を行ったことに応じて開始する。
The information processing in FIG. 8 is, for example, the UI (User Interface) of the healthcare application executed by the
図８に示すように、患者端末１０は、検査キットの撮影（Ｓ１１０）を実行する。
具体的には、患者端末１０は、カメラ２２を起動し、使用済みの検査キット７０を撮影することで、検査画像を取得する。
患者端末１０は、検査キット７０の撮影を補助するための情報をディスプレイ２１に提示してもよい。一例として、患者端末１０は、図９の画面をディスプレイ２１に表示してもよい。図９の画面では、カメラ２２のプレビューに相当する画像ＩＭ１０に、オブジェクトＯＢＪ１０ａ，ＯＢＪ１０ｂが重畳されている。
オブジェクトＯＢＪ１０ａは、検査画像に占める検査キット７０の位置および大きさの目標を示すガイドを表示する。ガイドは、検査種別に関わらず共通であってもよいし、検査種別毎に定義されてもよい。ガイドが検査種別ごとに定義される場合に、患者端末１０は、検査画像の確定前に、識別子７２に基づいて検査種別を判定し、判定結果に応じてガイドの形状を制御してもよい。
オブジェクトＯＢＪ１０ｂは、患者に対するフィードバック情報を表示する。例えば、検査画像に占める検査キット７０の位置または大きさの少なくとも１つの目標からの乖離が許容範囲を超える場合に、オブジェクトＯＢＪ１０ｂにはメッセージが表示される。メッセージは、例えば、カメラ２２の撮影範囲をどのように変更すべきかを患者に伝えるテキスト、音声、画像、またはアニメーションであってよい。
As shown in FIG. 8, the
Specifically, the
The
The object OBJ10a displays a guide indicating the position and size target of the
The object OBJ10b displays feedback information for the patient. For example, if the deviation of the position or size of the
ステップＳ１１０の後に、患者端末１０は、検査種別の判定（Ｓ１１１）を実行する。
具体的には、患者端末１０は、ステップＳ１１０において取得した検査画像に写った識別子７２に基づいて、検査キットに対応する検査種別を判定する。例えば、患者端末１０は、識別子７２の表す図形をデコードすることで、検査種別情報を取得する。
After step S110, the
Specifically, the
ステップＳ１１１の後に、患者端末１０は、情報の送信（Ｓ１１２）を実行する。
具体的には、患者端末１０は、患者ＩＤと、ステップＳ１１０において取得した検査画像と、ステップＳ１１１において取得した検査種別情報とをサーバ３０へ送信する。
After step S111, the
Specifically, the
ステップＳ１１２の後に、サーバ３０は、画像の補正（Ｓ１３０）を実行する。
具体的には、サーバ３０は、検査画像に写った識別子７２の大きさ、位置、向き、または形状の少なくとも１つに基づいて、検査画像に対して以下の少なくとも１つの画像処理による画像補正を行う。
・拡大
・縮小
・平行移動
・回転
・歪み補正（例えば台形補正）
第１例として、サーバ３０は、検査画像に写った識別子７２の大きさが、既定の大きさに近づくように、検査画像の拡大、または縮小を行う。第２例として、サーバ３０は、検査画像に写った識別子７２の位置が、既定の位置に近づくように、検査画像の平行移動を行う。第３例として、サーバ３０は、検査画像に写った識別子７２の向きが、既定の向きに近づくように、検査画像の平行移動を行う。第４例として、サーバ３０は、検査画像に写った識別子７２の形状が、既定の形状に近づくように、検査画像の歪み補正を行う。既定の大きさ、位置、向き、または形状はそれぞれ、検査種別に関わらず共通であってもよいし、検査種別毎に定義されていてもよい。
After step S112, the
Specifically, the
・ Enlargement / reduction / translation / rotation / distortion correction (for example, keystone correction)
As a first example, the
ステップＳ１３０の後に、サーバ３０は、対象画像の生成（Ｓ１３１）を実行する。
具体的には、サーバ３０は、ステップＳ１３０において補正された検査画像に、補助情報を付加することで対象画像を生成する。サーバ３０は、検査種別情報と、補正された検査画像に写った識別子７２の位置および向きとに基づいて、補助情報を生成する。補助情報は、例えば、以下の少なくとも１つを含むことができる。
・補正された検査画像に写った判定部７３のうち、検体に反応して外観の変化（例えば、ＣラインおよびＴライン）が現れる可能性がある領域（例えば、第１領域７３ａおよび第２領域７３ｂ）の場所を示す情報
・補正された検査画像に写った判定部７３のうち、検体に反応して外観の変化が現れる可能性がある領域の種別（例えば、ＣおよびＴ）を示す情報
・補正された検査画像に写った判定部７３のうち、検体に反応して現れた外観の変化を強調する情報（例えば、付加的な輪郭線、もしくは着色、または拡大画像）
・複数の検査結果類型の見本を示す情報
After step S130, the
Specifically, the
-Among the
・ Information showing samples of multiple test result types
一例として図１０に示すように、ステップＳ１３０およびステップＳ１３１において、サーバ３０は、検査画像ＩＭ１に対して、画像処理および補助情報の付加を行うことで、対象画像ＩＭ２を生成する。対象画像ＩＭ２には、補助情報として、オブジェクトＯＢＪ２０ａおよびオブジェクトＯＢＪ２０ｂが付加されている。
オブジェクトＯＢＪ２０ａは、ラインが現れる可能性がある領域の場所を示す図形と、当該領域がＴラインに対応することを示すテキスト画像とを含む。
オブジェクトＯＢＪ２０ａは、ラインが現れる可能性がある領域の場所を示す図形と、当該領域がＣラインに対応することを示すテキスト画像とを含む。
As an example, as shown in FIG. 10, in step S130 and step S131, the
The object OBJ20a includes a graphic indicating the location of an area where a line may appear, and a text image indicating that the area corresponds to a T line.
The object OBJ20a includes a graphic indicating the location of an area where a line may appear, and a text image indicating that the area corresponds to a C line.
ステップＳ１３１の後に、サーバ３０は、検査結果の判定（Ｓ１３２）を実行する。
具体的には、サーバ３０は、ステップＳ１３０において補正された検査画像を、検査キット７０に対応する検査種別に対して予め定義されている複数の検査結果類型に分類することで、検査結果の一次判定を行う。一例として、サーバ３０は、学習済みモデルを用いて検査結果を自動分類してもよい。学習済みモデルは、検査キット７０の写った画像と、当該画像に対応する検査結果（教師ラベル）とを含む訓練データを用いた機械学習により構築可能である。学習済みモデルは、検査種別毎に構築されてよい。
なお、分類のベースとなる画像は、補正前の検査画像、またはステップＳ１３１において生成された対象画像であってもよい。
After step S131, the
Specifically, the
The image on which the classification is based may be the inspection image before correction or the target image generated in step S131.
ステップＳ１３２の後に、サーバ３０は、情報の保存（Ｓ１３３）を実行する。
具体的には、サーバ３０は、患者ＩＤに関連付けられる検査履歴情報に新規レコードを追加する。サーバ３０は、新規レコードに適切な値を設定することで、検査日時情報、検査種別情報、対象画像情報、および分類結果情報を記憶装置３１に保存する。
After step S132, the
Specifically, the
ステップＳ１３３の後に、サーバ３０は、情報の提示（Ｓ１３４）を実行する。
具体的には、サーバ３０は、検査種別情報と、ステップＳ１３１において生成した対象画像（対象画像情報）と、ステップＳ１３２における判定結果（分類結果情報）とを、医師端末５０へ送信しディスプレイ６１に表示させることで、医師に提示する。ここで、情報の提示先となる医師は、患者によって指定されてもよいし、アルゴリズムによって自動的に決定されてもよい。
After step S133, the
Specifically, the
さらに、サーバ３０は、患者ＩＤに関連付けられる患者情報の一部（例えば性別、年齢、健康状態、または既往歴の少なくとも１つに関する情報、検査履歴情報、服薬履歴情報、診察履歴情報、またはこれらの組み合わせ）を医師に提示してもよい。サーバ３０は、医師に提示する患者情報を、例えば、検査種別情報、または分類結果情報の少なくとも１つに基づいて決定してもよい。また、サーバ３０は、例えば、検査種別情報、または分類結果情報の少なくとも１つに基づいて、患者情報の提示態様（例えば、ディスプレイ６１に表示される画面における各情報要素の配置、大きさ、または装飾の少なくとも１つ）を決定してもよい。
In addition, the
医師は、医師端末５０を介して提示された情報を元に、検査結果に対する判断を行う。医師端末５０は、医師の指示に応じて、判断結果情報を生成する。医師端末５０は、判断結果情報をサーバ３０へ送信する。
The doctor makes a judgment on the test result based on the information presented via the
判断結果情報は、検査結果に対する医師による判断（つまり、確定診断）の内容に関する情報を含む。判断結果情報は、さらに付加情報を含むことができる。付加情報は、例えば、患者に対する指導、処方、または助言に関する情報である。患者に対する指導には、生活指導、または服薬指導が含まれ得る。患者に対する助言には、遠隔診療もしくは医療機関の受診の勧奨、または特定の医療用製品（例えば、医薬品）の購入勧奨が含まれ得る。 The judgment result information includes information regarding the content of the judgment (that is, definitive diagnosis) by the doctor regarding the test result. The determination result information may further include additional information. Additional information is, for example, information about guidance, prescription, or advice to the patient. Guidance to the patient may include lifestyle guidance or medication guidance. Advice to patients may include incentives for telemedicine or medical institution visits, or incentives to purchase certain medical products (eg, pharmaceuticals).
ステップＳ１３４の後に、サーバ３０は、判断結果の取得（Ｓ１３５）を実行する。
具体的には、サーバ３０は、医師端末５０から判断結果情報を受信することで、検査結果に対する医師による判断結果を取得する。サーバ３０は、判断結果情報を、該当患者を識別する患者ＩＤに関連付けて記憶装置３１に保存する。
After step S134, the
Specifically, the
ステップＳ１３５の後に、サーバ３０および患者端末１０は、判断結果の提示（Ｓ１３６，Ｓ１１３）を実行する。
具体的には、サーバ３０は、ステップＳ１３６において取得した判断結果情報を、患者端末１０へ送信する。患者端末１０は、取得した判断結果情報をディスプレイ２１に表示することで、当該情報を患者に提示する。
サーバ３０および患者端末１０は、判断結果情報に加えて、他の情報（例えば、検査日時情報、検査種別情報、対象画像情報、または分類結果情報の少なくとも１つ）をユーザに提示してもよい。
ステップＳ１１３の終了を以て、図８の情報処理は完了する。
After step S135, the
Specifically, the
In addition to the determination result information, the
With the end of step S113, the information processing in FIG. 8 is completed.
（５）小括
以上説明したように、サーバ３０は、検査キット７０を、識別子７２および判定部７３が撮影範囲に含まれるように撮影した検査画像を取得し、当該検査画像に写った識別子７２に基づいて当該検査キット７０に対応する検査種別を判定する。サーバ３０は、検査種別情報と、検査画像に写った識別子７２の位置および向きとに基づいて、補助情報を検査画像に付加することで、対象画像を生成し、検査種別情報および対象画像情報を医師端末５０へ送信する。これにより、患者は、検査キット７０を撮影する以外に、当該検査キット７０による検査結果に関して何らの認知・判断もすることなく、当該検査結果を外部装置へ送信することができる。つまり、情報処理システム１によれば、患者に課される操作または認知・判断上の負荷が小さいので、患者が検査結果に関する情報を提供することに対する敷居を下げ、かかる情報の収集・蓄積を促進することができる。
(5) Summary As described above, the
補助情報は、例えば、検査画像に写った判定部７３のうち検体に反応して外観の変化が現れる可能性がある１以上の領域の場所と、当該領域の種別とを示す情報であってよい。これにより、対象画像を目視した者（例えば、医師、または患者本人）は、検査キット７０の撮影条件に関わらず、外観上の変化が現れるべき場所と、その意味とを正しく認識して検査結果に関する判断を行うことができる。
The auxiliary information may be, for example, information indicating the location of one or more regions of the
サーバ３０は、検査画像を、検査種別に対して予め定義されている複数の検査結果類型のいずれかに分類し、分類結果情報を医師端末へ送信してもよい。これにより、医師による検査結果の判断を補助することができる。
The
サーバ３０は、患者情報を医師に提示してもよく、さらにサーバ３０は、検査種別情報、または分類結果情報の少なくとも１つに基づいて患者情報の提示態様を決定してもよい。これにより、医師が利用できる判断材料を充実させ、判断の質を向上させることができる。
The
サーバ３０は、検査画像に写った識別子７２の大きさ、位置、向き、または形状の少なくとも１つに基づいて、検査画像に対して、拡大、縮小、回転、または歪み補正の少なくとも１つの画像処理による補正を行ってもよい。この場合、サーバ３０は、補正が行われた検査画像に基づいて対象画像を生成する。これにより、検査キット７０の撮影条件に関わらず、対象画像における検査キット７０（特に、判定部７３）の見え方が安定化するので、医師による検査結果の判断を補助することができる。
The
サーバ３０は、判断結果情報を患者に提示してもよい。これにより、患者の検査結果に対する納得感を高めることができる。
The
サーバ３０は、患者ＩＤに関連付けて、検査画像または対象画像を記憶装置３１に保存してもよい。さらに、サーバ３０は、患者ＩＤに関連付けて、判断結果情報を記憶装置３１に保存してもよい。これにより、検査画像または対象画像を、例えば、検査履歴の閲覧、または機械学習などのために利活用することができる。
The
患者端末１０は、検査キット７０の撮影を補助する情報をディスプレイ２１に表示してもよい。これにより、患者は、検査キット７０を適切な条件で撮影するように促されるので、不適当な検査画像（例えば、識別子７２または判定部７３の一部が写っていない検査画像）が収集され、検査結果の自動分類および医師による判断が適切に行えなくなる事態を防ぐことができる。検査キット７０の撮影を補助する情報は、検査画像に占める検査キット７０の位置および大きさの目標を示すガイドであってもよい。これにより、患者に、検査画像における検査キット７０の理想的な位置および大きさを認識させることができる。また、患者端末１０は、検査画像に占める検査キット７０の位置および大きさの少なくとも１つの目標からの乖離が許容範囲を超える場合に、患者にフィードバック情報を提示してもよい。これにより、適切な検査画像を撮影できるように患者を案内することができる。
The
（６）変形例
記憶装置１１は、ネットワークＮＷを介して、患者端末１０と接続されてもよい。ディスプレイ２１およびカメラ２２は、患者端末１０の一部であってもよいし、外付けの周辺機器であってもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。記憶装置５１は、ネットワークＮＷを介して、医師端末５０と接続されてもよい。ディスプレイ６１は、医師端末５０の一部であってもよいし、外付けの周辺機器であってもよい。
(6) Modification Example The
上記の情報処理の各ステップは、患者端末１０、サーバ３０、および医師端末５０の何れでも実行可能である。例えば、検査種別の判定（Ｓ１１１）は、サーバ３０、または医師端末５０によって実行されてもよい。画像の補正（Ｓ１３０）～検査結果の判定（Ｓ１３２）は、患者端末１０または医師端末５０によって実行されてもよい。
一例として、患者端末１０は、検査キット７０を、識別子７２および判定部７３が撮影範囲に含まれるように撮影した検査画像を取得し、当該検査画像に写った識別子７２に基づいて当該検査キット７０に対応する検査種別を判定するように構成されてよい。さらに、患者端末１０は、検査種別情報と、検査画像に写った識別子７２の位置および向きとに基づいて、補助情報を検査画像に付加することで、対象画像を生成し、検査種別情報および対象画像情報をサーバ３０または医師端末５０へ送信するように構成されてよい。
また、上記説明では、情報処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。
Each step of the above information processing can be executed by any of the
As an example, the
Further, in the above description, an example in which each step is executed in a specific order in information processing is shown, but the execution order of each step is not limited to the example described as long as there is no dependency.
実施形態の情報処理システムを、クライアント／サーバ型のシステムによって実装する例を示した。しかしながら、実施形態の情報処理システムは、スタンドアロン型のコンピュータによって実装することもできる。 An example of implementing the information processing system of the embodiment by a client / server type system is shown. However, the information processing system of the embodiment can also be implemented by a stand-alone computer.
上記説明では、検査画像に写った識別子７２の位置および向きに基づいて、当該検査画像における検査キット７０の位置および向きを特する例を示した。しかしながら、識別子７２とは異なる目印を検査キット７０の既定の位置に既定の向きで配置し、検査画像における当該目印の位置および向きに基づいて、当該検査画像における検査キット７０の位置および向きを特定してもよい。この場合に、目印の外観、位置および向きは、検査種別毎に任意に定めることができる。
In the above description, an example showing the position and orientation of the
上記説明では、学習済みモデルを用いて検査結果を自動分類する例を示した。患者から収集された検査画像と、当該検査画像に対して医師から収集された判断結果情報（教師ラベル）とを含む訓練データを用いて、学習済みモデルを運用後に再学習することも可能である。これにより、自動分類の精度を持続的に向上させることが可能となる。 In the above explanation, an example of automatically classifying test results using a trained model is shown. It is also possible to relearn the trained model after operation using the training data including the test image collected from the patient and the judgment result information (teacher label) collected from the doctor for the test image. .. This makes it possible to continuously improve the accuracy of automatic classification.
患者端末１０、サーバ３０、または医師端末５０のいずれかは、検査種別情報に基づいて、前記検査画像の色調を補正してもよい。この場合に、対象画像は、色調の補正が行われた検査画像に基づいて生成される。一例として、色調の補正は、判定部７３における外観の変化によって呈示される可能性のある色の視認性を向上させる処理であってよい。また、補正量は、例えば、基準となる撮影条件下における識別子７２の色と、検査画像に写った識別子７２の色との差に基づいて決定されてもよい。或いは、補正量は、基準となる撮影条件下において判定部７３に呈示されるべき色と、検査画像に写った判定部７３に実際に呈示された色との差に基づいて決定されてもよい。これにより、検査画像に写った判定部７３における外観の変化が判別し難い場合であっても、対象画像における当該変化の有無を目視による判別するのを補助することができる。
Either the
上記説明では、患者ＩＤに関連付けて対象画像情報を保存する例を示した。しかしながら、対象画像情報の代わりに、検査画像に関する情報が保存されてもよい。この場合に、検査画像に対して行われるべき補正に関する情報、または検査画像に付加されるべき補助情報の少なくとも１つがさらに保存されてもよい。 In the above description, an example of storing the target image information in association with the patient ID is shown. However, instead of the target image information, information about the inspection image may be stored. In this case, at least one of information about corrections to be made on the inspection image or auxiliary information to be added to the inspection image may be further stored.
判定部７３の外観の変化とは、人間が色として知覚可能でない光（つまり、例えば赤外光などの可視領域外の波長を持つ光線）の呈示を含み得る。判定部７３が検体に反応して例えば赤外光を呈示するように構成される場合に、患者端末１０は、検査種別の判定（Ｓ１１１）の結果に基づいて必要に応じて、カメラ２２を赤外撮影モードに自動的に遷移させてもよい。
The change in appearance of the
上記説明では、判断結果の取得（Ｓ１３５）の後に、無条件に判断結果の提示（Ｓ１３６，Ｓ１１３）が行われる例を示した。しかしながら、判断結果の提示（Ｓ１３６，Ｓ１１３）は、患者から提示要求があったことを条件に行われてもよい。
また、判断結果の取得（Ｓ１３５）よりも前に、患者に分類結果情報の提示が行われてもよい。
In the above description, an example is shown in which the determination result is unconditionally presented (S136, S113) after the determination result is acquired (S135). However, the presentation of the determination result (S136, S113) may be performed on the condition that the patient requests the presentation.
Further, the classification result information may be presented to the patient prior to the acquisition of the determination result (S135).
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited to the above embodiments. Further, the above-described embodiment can be variously improved or modified without departing from the gist of the present invention. Further, the above embodiments and modifications can be combined.
１ ：情報処理システム
１０ ：患者端末
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
２２ ：カメラ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェースｄ
５０ ：医師端末
５１ ：記憶装置
５２ ：プロセッサ
５３ ：入出力インタフェース
５４ ：通信インタフェース
６１ ：ディスプレイ
７０ ：検査キット
７１ ：検体滴下部
７２ ：識別子
７３ ：判定部
1: Information processing system 10: Patient terminal 11: Storage device 12: Processor 13: Input / output interface 14: Communication interface 21: Display 22: Camera 30: Server 31: Storage device 32: Processor 33: Input / output interface 34: Communication interface d
50: Doctor terminal 51: Storage device 52: Processor 53: Input / output interface 54: Communication interface 61: Display 70: Test kit 71: Specimen dropping unit 72: Identifier 73: Judgment unit
Claims (15)
患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得する手段、
前記検査画像に写った前記識別子に基づいて、前記検査キットに対応する検査種別を判定する手段、
前記検査種別の判定結果と、前記検査画像に写った前記識別子の位置および向きとに基づいて、前記検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を前記検査画像に付加し、対象画像を生成する手段、
前記対象画像と、前記検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段、
として機能させる、プログラム。 One or more computers,
An inspection kit in which the appearance of the judgment unit can be changed in response to a sample collected from a patient and an identifier that can specify the examination type is placed in a predetermined position, the identifier and the determination unit are in the imaging range. A means of acquiring inspection images taken to be included,
A means for determining an inspection type corresponding to the inspection kit based on the identifier shown in the inspection image.
Based on the determination result of the inspection type and the position and orientation of the identifier reflected in the inspection image, auxiliary information that assists human judgment on the inspection result by the inspection kit is added to the inspection image. , A means to generate the target image,
A means for transmitting information regarding the target image and the determination result of the inspection type to a predetermined external device.
A program that functions as.
請求項１に記載のプログラム。 The auxiliary information is information indicating the location of one or more regions of the determination unit shown in the inspection image where a change in appearance may appear in response to the sample, and the type of the region.
The program according to claim 1.
前記送信する手段は、前記検査画像の分類結果に関する情報を前記外部装置へさらに送信する、
請求項１または請求項２に記載のプログラム。 The computer is further made to function as a means for classifying the inspection image into one of a plurality of inspection result types predefined for the inspection type.
The transmitting means further transmits information regarding the classification result of the inspection image to the external device.
The program according to claim 1 or 2.
前記患者に関する情報を医師に提示する手段は、前記検査種別の判定結果、または前記検査画像の分類結果の少なくとも１つに基づいて当該情報の提示態様を決定する、
請求項３に記載のプログラム。 Further functioning the computer as a means of presenting information about the patient to the doctor,
The means for presenting the information about the patient to the doctor determines the presentation mode of the information based on at least one of the determination result of the examination type or the classification result of the examination image.
The program according to claim 3.
前記コンピュータを、前記検査画像と、前記検査キットによる検査結果に対する医師による判断の結果を示す情報とを訓練データとして前記学習済みモデルの再学習を行う手段、としてさらに機能させる、
請求項３または請求項４に記載のプログラム。 The classification means classifies the inspection image into one of the plurality of inspection result types by using the trained model.
Further functioning of the computer as a means for retraining the trained model using the test image and information indicating the result of a doctor's judgment on the test result by the test kit as training data.
The program according to claim 3 or 4.
前記対象画像を生成する手段は、前記画像処理による補正が行われた検査画像に前記補助情報を付加する、
請求項１乃至請求項５のいずれかに記載のプログラム。 The computer is subjected to at least one enlargement, reduction, rotation, or distortion correction for the inspection image based on at least one of the size, position, orientation, or shape of the identifier in the inspection image. Further function as a means of correction by image processing,
The means for generating the target image adds the auxiliary information to the inspection image corrected by the image processing.
The program according to any one of claims 1 to 5.
請求項１乃至請求項６のいずれかに記載のプログラム。 Further functioning the computer as a means of presenting to the patient information indicating the result of a doctor's judgment on the test result by the test kit.
The program according to any one of claims 1 to 6.
請求項１乃至請求項７のいずれかに記載のプログラム。 Further functioning of the computer as a means of associating and storing the examination image or the target image with the information identifying the patient.
The program according to any one of claims 1 to 7.
請求項８に記載のプログラム。 The saving means stores the information for identifying the patient in association with the information indicating the result of the judgment by the doctor regarding the test result by the test kit.
The program according to claim 8.
前記検査画像は、前記患者端末によって撮影され、
前記患者端末を、前記検査キットの撮影を補助する情報を前記ディスプレイに表示させる手段、としてさらに機能させる、
請求項１乃至請求項９のいずれかに記載のプログラム。 The computer includes a patient terminal equipped with a camera and a display.
The examination image is taken by the patient terminal and
Further functioning of the patient terminal as a means for displaying information on the display to assist the imaging of the examination kit.
The program according to any one of claims 1 to 9.
前記コンピュータを、前記検査種別の判定結果に応じて、前記ガイドの形状を制御する手段、としてさらに機能させる、
請求項１０に記載のプログラム。 The information that assists in photographing the inspection kit is a guide that indicates a target of the position and size of the inspection kit in the inspection image.
Further, the computer is made to function as a means for controlling the shape of the guide according to the determination result of the inspection type.
The program according to claim 10.
請求項１０に記載のプログラム。 Further functioning the computer as a means of presenting feedback information to the patient when the deviation from at least one target of the position and size of the test kit in the test image is beyond the permissible range.
The program according to claim 10.
前記対象画像を生成する手段は、前記色調の補正が行われた検査画像に前記補助情報を付加する、
請求項１乃至請求項１２のいずれかに記載のプログラム。 The computer is further made to function as a means for correcting the color tone of the inspection image based on the determination result of the inspection type.
The means for generating the target image adds the auxiliary information to the inspection image to which the color tone has been corrected.
The program according to any one of claims 1 to 12.
前記検査画像に写った前記識別子に基づいて、前記検査キットに対応する検査種別を判定する手段と、
前記検査種別の判定結果と、前記検査画像に写った前記識別子の位置および向きとに基づいて、前記検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を前記検査画像に付加し、対象画像を生成する手段と、
前記対象画像と、前記検査種別の判定結果とに関する情報とを、所定の外部装置へ送信する手段と
を具備する、情報処理装置。 An inspection kit in which the appearance of the judgment unit can be changed in response to a sample collected from a patient and an identifier that can specify the examination type is placed in a predetermined position, the identifier and the determination unit are in the imaging range. A means of acquiring inspection images taken to be included,
A means for determining the inspection type corresponding to the inspection kit based on the identifier shown in the inspection image, and
Based on the determination result of the inspection type and the position and orientation of the identifier reflected in the inspection image, auxiliary information that assists human judgment on the inspection result by the inspection kit is added to the inspection image. , Means to generate the target image,
An information processing device including means for transmitting information about the target image and the determination result of the inspection type to a predetermined external device.
患者から採取された検体に反応して判定部の外観が変化可能に構成され、かつ既定の位置に検査種別を特定可能な識別子が配置された検査キットを、当該識別子および判定部が撮影範囲に含まれるように撮影した検査画像を取得するステップと、
前記検査画像に写った前記識別子に基づいて、前記検査キットに対応する検査種別を判定するステップと、
前記検査種別の判定結果と、前記検査画像に写った前記識別子の位置および向きとに基づいて、前記検査キットによる検査結果に対する人間の判断を補助する情報である補助情報を前記検査画像に付加し、対象画像を生成するステップと、
前記対象画像と、前記検査種別の判定結果とに関する情報とを、所定の外部装置へ送信するステップと
を具備する、情報処理方法。
The computer
An inspection kit in which the appearance of the judgment unit can be changed in response to a sample collected from a patient and an identifier that can specify the examination type is placed in a predetermined position, the identifier and the determination unit are in the imaging range. Steps to get the inspection image taken to be included, and
A step of determining the inspection type corresponding to the inspection kit based on the identifier shown in the inspection image, and
Based on the determination result of the inspection type and the position and orientation of the identifier reflected in the inspection image, auxiliary information that assists human judgment on the inspection result by the inspection kit is added to the inspection image. , Steps to generate the target image,
An information processing method comprising a step of transmitting information about the target image and the determination result of the inspection type to a predetermined external device.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021212752A JP7062239B1 (en) | 2021-12-27 | 2021-12-27 | Information processing equipment, information processing methods, and programs |
| JP2022063922A JP2023097310A (en) | 2021-12-27 | 2022-04-07 | Information processing device, information processing method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021212752A JP7062239B1 (en) | 2021-12-27 | 2021-12-27 | Information processing equipment, information processing methods, and programs |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022063922A Division JP2023097310A (en) | 2021-12-27 | 2022-04-07 | Information processing device, information processing method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7062239B1 true JP7062239B1 (en) | 2022-05-06 |
| JP2023096772A JP2023096772A (en) | 2023-07-07 |
Family
ID=81456266
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021212752A Active JP7062239B1 (en) | 2021-12-27 | 2021-12-27 | Information processing equipment, information processing methods, and programs |
| JP2022063922A Pending JP2023097310A (en) | 2021-12-27 | 2022-04-07 | Information processing device, information processing method, and program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022063922A Pending JP2023097310A (en) | 2021-12-27 | 2022-04-07 | Information processing device, information processing method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7062239B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020516999A (en) * | 2017-04-06 | 2020-06-11 | ルシラ ヘルス インコーポレイテッド | Image-based disease diagnosis using mobile devices |
| JP2020535491A (en) * | 2018-08-29 | 2020-12-03 | フィットペット カンパニー リミテッド | Computer programs and terminals that provide urinalysis using colorimetric tables |
| WO2020256041A1 (en) * | 2019-06-19 | 2020-12-24 | 合同会社Ｈ．Ｕ．グループ中央研究所 | Program, testing device, information processing device, and information processing method |
| US20210334967A1 (en) * | 2014-05-12 | 2021-10-28 | Healthy.Io Ltd. | Systems and methods for urianlysis using a personal communications device |
-
2021
- 2021-12-27 JP JP2021212752A patent/JP7062239B1/en active Active
-
2022
- 2022-04-07 JP JP2022063922A patent/JP2023097310A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210334967A1 (en) * | 2014-05-12 | 2021-10-28 | Healthy.Io Ltd. | Systems and methods for urianlysis using a personal communications device |
| JP2020516999A (en) * | 2017-04-06 | 2020-06-11 | ルシラ ヘルス インコーポレイテッド | Image-based disease diagnosis using mobile devices |
| JP2020535491A (en) * | 2018-08-29 | 2020-12-03 | フィットペット カンパニー リミテッド | Computer programs and terminals that provide urinalysis using colorimetric tables |
| WO2020256041A1 (en) * | 2019-06-19 | 2020-12-24 | 合同会社Ｈ．Ｕ．グループ中央研究所 | Program, testing device, information processing device, and information processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023097310A (en) | 2023-07-07 |
| JP2023096772A (en) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11189369B2 (en) | Characterizing states of subject | |
| JP2017510015A (en) | Medical service tracking system and method | |
| TWI700665B (en) | Method, apparatus,computer program and computer program product for collecting test data from use of a disposable test kit | |
| US20220270720A1 (en) | Adjustment method for an analytical determination of an analyte in a body fluid | |
| US20190148015A1 (en) | Medical information processing device and program | |
| US20190341150A1 (en) | Automated Radiographic Diagnosis Using a Mobile Device | |
| US9622657B2 (en) | Automated system for measurement of zone 1 in assessment of severity of retinopathy of prematurity | |
| JP7062239B1 (en) | Information processing equipment, information processing methods, and programs | |
| US20230072470A1 (en) | Systems and methods for self-administered sample collection | |
| JP7230800B2 (en) | ophthalmic information processing system | |
| JP7443929B2 (en) | Medical diagnosis support device, medical diagnosis support program, and medical diagnosis support method | |
| Yusuf et al. | Validity of smartphone-based retinal photography (PEEK-retina) compared to the standard ophthalmic fundus camera in diagnosing diabetic retinopathy in Uganda: A cross-sectional study | |
| US20230238089A1 (en) | Medical checkup presentation apparatus, medical checkup presentation method and recording medium | |
| US20220317050A1 (en) | Adjustment method for adjusting a setup for an analytical method | |
| US20230230682A1 (en) | Facility presentation apparatus, facility presentation method and recording medium | |
| US20230214996A1 (en) | Eyes measurement system, method and computer-readable medium thereof | |
| JP2022184272A (en) | Information processor, information processing method and program | |
| Wong et al. | The Role of Telemedicine in Strabismus Assessment: A Narrative Review and Meta-Analysis | |
| EP3799067A1 (en) | Automatic patient record updating | |
| KR20220139599A (en) | A control method for performing remote reading on an image to be remotely read and a control system for performing remote reading on an image to be remotely read | |
| WO2020255171A1 (en) | A system and method for remote diagnostic analysis of plurality of images | |
| JP2024011476A (en) | Medical data processing system, medical data processing device, medical data processing method, program, and recording medium | |
| JP2024069123A (en) | Clinical support system and clinical support device | |
| IL311806A (en) | System and method for collecting and optimizing medical data | |
| Atada et al. | An Empirical Study on Cataract Multiclass Grading Assessment with Slit Lamp Bio-microscope Images Using Neural Network Models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211228 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220407 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7062239 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |