JP2024070262A - Remote medical treatment system - Google Patents
Remote medical treatment system Download PDFInfo
- Publication number
- JP2024070262A JP2024070262A JP2023192293A JP2023192293A JP2024070262A JP 2024070262 A JP2024070262 A JP 2024070262A JP 2023192293 A JP2023192293 A JP 2023192293A JP 2023192293 A JP2023192293 A JP 2023192293A JP 2024070262 A JP2024070262 A JP 2024070262A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- patient
- color
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003702 image correction Methods 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000013144 data compression Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 25
- 238000012937 correction Methods 0.000 claims description 84
- 239000003086 colorant Substances 0.000 claims description 80
- 238000000034 method Methods 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000001228 spectrum Methods 0.000 claims description 18
- 230000035945 sensitivity Effects 0.000 claims description 3
- 201000001441 melanoma Diseases 0.000 description 47
- 230000010365 information processing Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000007906 compression Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 239000003814 drug Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 229940079593 drug Drugs 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- XUMBMVFBXHLACL-UHFFFAOYSA-N Melanin Chemical compound O=C1C(=O)C(C2=CNC3=C(C(C(=O)C4=C32)=O)C)=C2C4=CNC2=C1C XUMBMVFBXHLACL-UHFFFAOYSA-N 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 206010048245 Yellow skin Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 208000035250 cutaneous malignant susceptibility to 1 melanoma Diseases 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000012377 drug delivery Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 210000004694 pigment cell Anatomy 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Closed-Circuit Television Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
【課題】視認性が向上した遠隔診療システムを提供すること。【解決手段】遠隔診療の受診者端末11の画像補正部112は、8Kカメラ装置14により撮像された画像データに基づいて、ガンマ値を補正して、補正された画像データとする。データ圧縮処理部113は、補正された画像データに対して、データ圧縮処理を実行する。送信制御部114は、データ圧縮処理された補正された画像データを送信する制御を実行する。表示制御部213は、補正された画像データ及び、補正された画像データに基づいて生成された標準画像データの夫々に対応する画像を含んで、8Kモニタ装置22に表示する制御を実行する。【選択図】図4[Problem] To provide a remote medical treatment system with improved visibility. [Solution] An image correction unit 112 of a remote medical treatment patient terminal 11 corrects the gamma value based on image data captured by an 8K camera device 14 to generate corrected image data. A data compression processing unit 113 executes data compression processing on the corrected image data. A transmission control unit 114 executes control to transmit the corrected image data that has been subjected to data compression processing. A display control unit 213 executes control to display on an 8K monitor device 22 images including images corresponding to the corrected image data and standard image data generated based on the corrected image data. [Selected Figure] Figure 4
Description
本発明は、遠隔診療システムに関する。 The present invention relates to a remote medical treatment system.
対面診療と同様の遠隔診療を実現するべく、ビデオ通話を用いて遠隔診療をおこない、処方箋や診療録を管理させる技術が提案されている(例えば、特許文献1参照)。 In order to realize remote medical treatment similar to face-to-face medical treatment, technology has been proposed that uses video calls to conduct remote medical treatment and manage prescriptions and medical records (see, for example, Patent Document 1).
特許文献1の技術を含め従来の技術においては、ビデオ通話を用いて口頭での問診等を行うことはできた。しかしながら、診療を行うため、患部や術野の視認性を向上したいという要望が近年挙げられているが、このような要望に十分に応えることができていない状況である。
Conventional technologies, including the technology of
本発明は、このような状況を鑑みてなされたものであり、視認性が向上した遠隔診療システムを利用できるようにすることを目的とする。 The present invention was made in consideration of these circumstances, and aims to make it possible to use a remote medical treatment system with improved visibility.
上記目的を達成するため、本発明の一態様の情報処理システムは、
遠隔診療を受診する受診者により利用される受診者システムと、当該受診者を診療する診療者により利用される診療者システムと、を含む遠隔診療システムであって、
前記受診者システムは、
前記受診者を撮像する撮像装置と、
前記撮像装置により撮像された第1画像データを取得する画像データ取得手段と、
前記第1画像データに基づく第1情報を診療者システムに送信する第1送信制御手段と、
を有する受診者端末と、
を含み、
前記診療者システムは、
前記第1情報を受信する制御を実行する第1受信制御手段と、
前記第1情報に基づいて第2画像データを表示する制御を実行する表示制御手段と、
を有する診療者端末と、
前記診療者端末の制御により、前記受診者の像を含む画像を表示するモニタ装置と、
を含み、
前記受診者端末又は前記診療者端末は、
前記第1画像データに基づいて、ガンマ値を補正することで前記第2画像データとする、
遠隔診療システム。
In order to achieve the above object, an information processing system according to one aspect of the present invention comprises:
A remote medical care system including a patient system used by a patient who receives remote medical care and a medical practitioner system used by a medical practitioner who treats the patient,
The patient system includes:
an imaging device for imaging the patient;
an image data acquisition means for acquiring first image data captured by the imaging device;
A first transmission control means for transmitting first information based on the first image data to a medical practitioner system;
A patient terminal having
Including,
The clinician system includes:
a first reception control means for executing control for receiving the first information;
a display control means for controlling the display of second image data based on the first information;
A clinician terminal having
A monitor device that displays an image including an image of the examinee under the control of the medical practitioner terminal;
Including,
The patient terminal or the clinician terminal includes:
correcting a gamma value based on the first image data to obtain the second image data;
Remote medical treatment system.
本発明の一態様の情報処理装置は、本発明の一態様の遠隔診療システムを構成する情報処理装置である。
また、本発明の一態様の情報処理方法及びプログラムの夫々は、本発明の一態様の遠隔診療システムに対応する方法及びプログラムの夫々である。
An information processing device according to one aspect of the present invention is an information processing device constituting a remote medical treatment system according to one aspect of the present invention.
Furthermore, each of an information processing method and a program according to one aspect of the present invention is a method and a program corresponding to a remote medical treatment system according to one aspect of the present invention.
本発明によれば、視認性が向上した遠隔診療システムを利用できるようにすることができる。 The present invention makes it possible to use a remote medical care system with improved visibility.
以下、本発明の実施形態について、図面を用いて説明する。 The following describes an embodiment of the present invention with reference to the drawings.
まず、図1を参照して、本発明の一実施形態に係る遠隔診療システム(後述する図2参照)により実現可能となるサービス(以下、「本サービス」と呼ぶ)の概要について説明する。
本サービスは、遠隔診療を受診する受診者UE、及び、受診者UEの遠隔診療をする診療者UTに、より利便性の向上した遠隔診療の環境を提供するものである。ここで、「遠隔診療」とは、健康増進及び医療に関する行為等を、情報通信機器を活用し画像を用いて行うことをいう。
First, with reference to FIG. 1, an overview of a service (hereinafter referred to as "this service") that can be realized by a remote medical treatment system according to one embodiment of the present invention (see FIG. 2 described later) will be described.
This service provides a more convenient remote medical environment for patients UE who receive remote medical treatment and for clinicians UT who provide remote medical treatment to patients UE. Here, "remote medical treatment" refers to the use of information and communication devices to perform health promotion and medical procedures using images.
本サービスにより、受診者UEは、診療者UTの診療を受けることが困難な場所において、診療を受けることができるようになる。また、本サービスにより、診療者UTは、より容易に受診者UEの状態をより視認性の良い状態で診療することが出来るようになる。
そして、診療者UTは、受診者UEに対して診療の結果を伝えたり、処置を行うこともできる。
即ち、診療者UT及び受診者UEは、より利便性の高い遠隔診療の環境が得られる。
This service enables the patient UE to receive medical treatment in a place where it is difficult for the doctor UT to receive medical treatment. This service also enables the doctor UT to more easily treat the patient UE with better visibility of the patient's condition.
The practitioner UT can then inform the patient UE of the results of the medical treatment and perform treatment.
In other words, the clinician UT and the patient UE can obtain a more convenient remote medical environment.
ここで、遠隔診療の重要性、及び、従来の遠隔診療において診療者に提供される画像における受診者の患部や術野等の視認性が悪かった理由について説明する。 Here, we explain the importance of remote medical care and why visibility of the affected area and surgical field of the patient was poor in images provided to the doctor in conventional remote medical care.
近年、遠隔診療に対するニーズはより一層たかまっている。
先進国においては、大病院や著名な医師による診療を受けるには、受診者又は診療者が相手のもとへ出向く必要がある。また、遠隔診療を用いれば、受診者の交代等の時間が短縮され多くの受診者を診療できる可能性がある。
In recent years, the need for remote medical care has increased.
In developed countries, to receive medical treatment at large hospitals or from renowned doctors, patients or practitioners must travel to the patient's location. However, remote medical care can potentially reduce the time it takes for patients to change places, allowing more patients to be treated.
特に、発展途上国においては、医療従事者等の人数が十分ではない。そこで、近隣国や先進国の医療従事者を診療者UTとして遠隔診療をすることが求められていた。
さらに言えば、診療科毎の医療従事者の比率は異なり、例えば、内科医や外科医と比較して、皮膚科医の人数はいずれの国においても少ないのが通常である。その結果、発展途上国によっては、国内に皮膚科医は数人しかいない、ということもある。
In particular, in developing countries, the number of medical professionals is insufficient. Therefore, there is a demand for remote medical treatment using medical professionals from neighboring countries or developed countries as UTs.
Moreover, the ratio of medical professionals to medical specialties varies – for example, the number of dermatologists is usually low in any country compared to physicians and surgeons – and as a result, some developing countries may have only a few dermatologists in their country.
内科や外科はただちに命に係わる病気も多いが、皮膚科にも命に係わる病気があるのは言うまでもない。具体的には例えば、メラノーマ(悪性黒色腫)は、皮膚のメラニン色素を作る色素細胞ががん化した腫瘍であって、一見、ほくろのように見える。即ち、メラノーマは、最終的に全身へのがんの転移を呼び起こし、死に至らしめる命に係わる病である。 While there are many immediately life-threatening illnesses in internal medicine and surgery, it goes without saying that there are also life-threatening illnesses in dermatology. For example, melanoma (malignant melanoma) is a cancerous tumor of the pigment cells that produce the melanin pigment in the skin, and at first glance it looks like a mole. In other words, melanoma is a life-threatening disease that ultimately causes the cancer to metastasize throughout the body, leading to death.
このように、発展途上国といった医師の少ない環境において、遠隔診療に対するニーズは特に高まっている。
以下、メラノーマの候補(以下、「メラノーマ候補」と呼ぶ)が、メラノーマであるかほくろであるかを判断する診療を例に用いて説明する。
メラノーマは、メラノーマと地肌との色の境界、即ちメラノーマの輪郭がはっきりしていない。また、メラノーマは、単に一様に膨らむのではなく、メラノーマ内に凹凸が発生することがある。一方、ほくろは、ほくろと、地肌との色の境界がはっきりしている。
そこで、診療者は、メラノーマの候補が含まれる診療者の画像を注視して、メラノーマであるかほくろであるかを判断する。
As such, the need for remote medical care is particularly high in environments with few doctors, such as developing countries.
Hereinafter, an example of medical treatment for determining whether a melanoma candidate (hereinafter referred to as a "melanoma candidate") is a melanoma or a mole will be described.
In melanoma, the border between the color of the melanoma and the skin, that is, the outline of the melanoma, is not clear. Also, melanoma does not simply swell uniformly, but may have bumps and depressions within the melanoma. On the other hand, in the case of moles, the border between the color of the mole and the skin is clear.
The practitioner then stares at the image of the practitioner that includes the melanoma candidate and determines whether it is a melanoma or a mole.
ここで、受診者には、各種各様な人種が想定される。特に、従来の対面の診療においても、黒人のメラノーマの候補は、診断が難しいことで知られている。即ち、メラノーマの候補と黒人の地肌との色の境界は視認が難しい。 Patients are expected to be of various races. In particular, even in traditional face-to-face medical examinations, it is known that diagnosing melanoma candidates in black people is difficult. In other words, it is difficult to visually distinguish the color boundary between melanoma candidates and the skin of black people.
このように、遠隔診療においては診療者の画像を視認して得られる情報を活用して診療を行う必要がある。具体的には例えば、その他の皮膚科の疾患はもちろん、内科の疾患における顔色や肌色の判断、外科における患部の外観、色味を視認することは重要である。
本サービスでは、このような黒人のメラノーマの候補に関する診療にも利用可能な、利便性や視認性が向上した遠隔診療システムを提供するものである。
In this way, in remote medical care, it is necessary to use information obtained by visually checking images of the doctor. Specifically, for example, it is important to visually check the complexion and skin color of internal medicine diseases, as well as the appearance and color of the affected area in surgery, as well as other dermatological diseases.
This service provides a remote medical examination system with improved convenience and visibility that can also be used to treat melanoma suspects in black patients.
次に、従来の遠隔診療において診療者に提供される画像における受診者の患部や術野等の視認性が悪かった理由について説明する。 Next, we will explain why visibility of the patient's affected area, surgical field, etc. was poor in images provided to the clinician in conventional remote medical care.
第1に、診療者に提供される画像の画素数は十分ではなかった。例えば、診療者に提供される画像は、FullHD(Full High Definision、横1,920ピクセル、縦1,080ピクセル)等の画素数であった。また例えば、SD(Standard Definision、横720ピクセル、縦480ピクセル)等の画素数のカメラ等も存在する。 First, the number of pixels in the images provided to the practitioner was insufficient. For example, the images provided to the practitioner had a pixel count of Full HD (Full High Definition, 1,920 pixels wide, 1,080 pixels high). There are also cameras with a pixel count of SD (Standard Definition, 720 pixels wide, 480 pixels high).
本サービスでは、8K(横7,680ピクセル、縦4,320ピクセル)の画素数のカメラやモニタが利用される。これにより、診療者UTはより高精細な受診者UEの像を得ることが出来る。 This service uses cameras and monitors with a pixel count of 8K (7,680 pixels horizontally, 4,320 pixels vertically). This allows the doctor (UT) to obtain a higher-resolution image of the patient (UE).
なお、適宜、8Kより低い画素数の撮像装置を採用することも出来る。
具体的には例えば、4K(横3,840ピクセル、縦2,160ピクセル)の画素数のカメラやモニタを採用してもよい。これにより、診療者UTは一般的であるFullHDと比較してより高精細な受診者UEの像を得ることができる。
また例えば、8Kや4Kの画素数のカメラを採用し、FullHD(横1,920ピクセル、縦1,080ピクセル)のモニタを用いてもよい。この場合、診療者UTは、補完処理等無しに拡大表示することが出来る。
In addition, an imaging device with a pixel count lower than 8K can also be used as appropriate.
Specifically, for example, a camera or monitor with a pixel count of 4K (3,840 pixels horizontally and 2,160 pixels vertically) may be used. This allows the doctor/clinician UT to obtain a higher-definition image of the examinee UE compared to the general Full HD.
Also, for example, a camera with 8K or 4K pixels may be used, and a monitor with Full HD (1,920 pixels horizontally and 1,080 pixels vertically) may be used. In this case, the practitioner UT can enlarge and display the image without performing any interpolation processing.
また例えば、FullHD(横1,920ピクセル、縦1,080ピクセル)の画素数のカメラやモニタを採用してもよい。この場合、拡大表示や画素数による一般的な画像処理装置と比較して高画素数による高精細な画像の提供は実現されない。しかしながら、診療者UTは、後述の明暗の補正や色彩の補正を利用した、遠隔診療に適した受診者UEの像を得ることが出来る。 For example, a camera or monitor with a pixel count of Full HD (1,920 pixels horizontally and 1,080 pixels vertically) may be used. In this case, it is not possible to provide a high-resolution image with a high pixel count compared to general image processing devices that use enlarged display or pixel counts. However, the clinician UT can obtain an image of the patient UE suitable for remote medical treatment by using the brightness and color correction described below.
また、後述するするように、カメラ装置として、スマートフォンに備えられたカメラを用いてもよい。これにより安価にシステムを構築することができ、所定の水準以上の遠隔診療サービスを供することができる。 As described below, a camera installed in a smartphone may be used as the camera device. This allows a system to be built inexpensively and provides remote medical care services at or above a certain level.
第2に、診療者に提供される画像の色彩の再現性は十分ではなかった。例えば、診療者に提供される画像は、受診者が撮像される環境に大きく依存する。具体的には例えば、光源の種類が、太陽光、曇り空の下、白熱電球、蛍光灯、LED(Light Emitting Diode)灯、カーテン等の所定物を透過した光であるのかにより、その光の波長スペクトルは大きく異なる。なお、いわゆる光の波長スペクトルのグラフは、所定の測定位置に到達する光を構成する数多くの周波数の光の強度の情報を含んでいる。 Secondly, the color reproducibility of the image provided to the practitioner was insufficient. For example, the image provided to the practitioner is highly dependent on the environment in which the patient is imaged. Specifically, the wavelength spectrum of light varies greatly depending on the type of light source, for example, sunlight, cloudy skies, incandescent light bulbs, fluorescent lights, LED (Light Emitting Diode) lights, or light that has passed through a specified object such as a curtain. A graph of the so-called wavelength spectrum of light contains information on the intensity of light at many frequencies that make up the light that reaches a specified measurement position.
そして、受診者の画像は、受診者を照らす光源の光が反射したものである。即ち、光源の種類により、受診者からカメラに入射する光の波長スペクトルは、異なったものとなる。
さらに、通常のカメラは、各ピクセルについて、光の三原色の光の強度の組として記録する。その結果、受診者からカメラに入射した光の波長スペクトルの情報は、光の三原色の光の強度の組の情報に圧縮される。
診療者側で受診者側について完全に再現した画像の再生をすることは困難である。
即ち、診療者は、受診者の肌や患部、術野等の色彩を正確に認識することは困難であった。
The image of the patient is a reflection of the light from the light source that illuminates the patient. That is, the wavelength spectrum of the light that enters the camera from the patient varies depending on the type of light source.
Furthermore, a typical camera records each pixel as a set of light intensities of the three primary colors of light, so that the information of the wavelength spectrum of light incident on the camera from the patient is compressed into information of a set of light intensities of the three primary colors of light.
It is difficult for the doctor to reproduce an image that perfectly matches the patient's appearance.
That is, it has been difficult for the practitioner to accurately recognize the color of the patient's skin, the affected area, the surgical field, and the like.
このため、演色性の高い光源を用い、校正された撮影装置と、校正された表示装置を用いることが望ましい。また、光源、撮影装置及び表示装置、若しくは、標準化された校正の基準に基づいて評価された光源、撮影装置及び表示装置を用いることが望ましい。
しかしながら、受診者UEの置かれた環境によっては、演色性の高い光源、例えば、太陽光や演色性の高い照明器具を用意することも困難であることが多い。
For this reason, it is desirable to use a light source with high color rendering properties, a calibrated image capture device, and a calibrated display device. It is also desirable to use a light source, an image capture device, and a display device, or a light source, an image capture device, and a display device that have been evaluated based on standardized calibration criteria.
However, depending on the environment in which the patient UE is placed, it is often difficult to provide a light source with high color rendering, such as sunlight or a lighting fixture with high color rendering.
そこで、本サービスでは、受診者側及び診療者側にカラーチャートが提供される。これにより、診療者UTはより高精細な受診者UEの色を容易に把握することが出来る。 Therefore, this service provides color charts to both the patient and the practitioner. This allows the practitioner UT to easily grasp the color of the patient UE in higher resolution.
第3に、診療者に提供される画像の色彩のみならず、明暗等の画像の補正の品質も十分ではなかった。即ち、受診者の画像のデータは、診療者まで所定の通信網を用いて授受される。このとき、受診者の画像のデータは、所定の動画圧縮アルゴリズムを用いて圧縮されるのが通常である。特に、動画分野においては、圧縮前のデータと、圧縮・展開を経たデータとが完全には一致しない非可逆圧縮のアルゴリズムが採用されるのが通常である。
具体的には例えば、非可逆圧縮のアルゴリズムは、画像内において非類似の色同士を異なる色として扱い、画像内において類似の色同士を同じ色(あるいは同系色)として扱うことで、色数(階調)を削減することで画像データのデータサイズを削減する。
このような非可逆かつ大きな圧縮率の圧縮は、発展途上国の通信網においては、重要である。
Thirdly, the quality of image correction, such as not only the color of the image provided to the practitioner, but also the brightness and darkness, was insufficient. That is, the image data of the patient is transmitted to the practitioner via a specified communication network. At this time, the image data of the patient is usually compressed using a specified video compression algorithm. Particularly in the field of video, it is common to adopt a lossy compression algorithm in which the data before compression and the data after compression and expansion do not completely match.
Specifically, for example, a lossy compression algorithm treats dissimilar colors within an image as different colors and treats similar colors within an image as the same color (or similar colors), thereby reducing the number of colors (gradations) and thereby reducing the data size of the image data.
Such lossy and high-compression ratio compression is important in the communications networks of developing countries.
非可逆かつ大きな圧縮率の圧縮がなされた場合、診療者が類似の色同士を見分けて診断する際に圧縮された画像データを補正しようとも、既に同じ色として送信されてきているために補正後において荒い階調となってしまう。その結果診療者は見分けることが困難となる。 When lossy compression with a large compression ratio is used, even if a doctor tries to correct the compressed image data in order to distinguish between similar colors when making a diagnosis, the colors will have a coarse gradation after correction because they were already transmitted as the same colors. As a result, it becomes difficult for the doctor to distinguish between them.
そこで、本サービスでは、診療者が、明暗などの画像の補正の要否や程度を、受診者側に指示し、受診者側ではその指示に基づいて補正を行った上で画像の圧縮を行って診療者に画像を送信する。これにより、診療者が見分けやすくなるような、有効な補正が行われた画像を見て診療を行うことが出来るようになる。 In this service, the practitioner instructs the patient on whether or not image corrections such as brightness and darkness are necessary and to what extent. The patient then makes the corrections based on the instructions, compresses the image, and sends it to the practitioner. This allows the practitioner to perform treatment while looking at images that have been effectively corrected so that they are easier to distinguish.
以上、遠隔診療の重要性、及び、従来の遠隔診療において診療者に提供される画像における受診者の患部や術野等の視認性が悪かった理由について説明した。
以下、図1を用いて、本サービスの遠隔診療システムSYSにより、受診者UEの画像が診療者UTに提供され、診療者UTが容易に視認性の良い画像を利用し、診療を行うことが出来るのかについて説明する。
We have explained above the importance of remote medical care and the reasons why visibility of the patient's affected area, surgical field, etc. was poor in images provided to the doctor in conventional remote medical care.
Below, using Figure 1, we will explain how the remote medical treatment system SYS of this service provides images of the patient UE to the practitioner UT, allowing the practitioner UT to easily use the highly visible images to perform medical treatment.
図1に示すように、本サービスは、遠隔診療システムSYSを用いて提供される。
遠隔診療システムSYSは、受診者UEと診療者UTとで画像等を授受するため、受診者UEの側に存在する受診者システム1と、診療者UTの側に存在する診療者システム2とを含む。
As shown in FIG. 1, this service is provided using a remote medical treatment system SYS.
The remote medical examination system SYS includes a
具体的には例えば、受診者システム1として、受診者端末11と、光源12と、カラーチャート13と、8Kカメラ装置14と、マイク15と、スピーカ16と、処置装置17とが受診者UEに提供される。
診療者システム2として、診療者端末21と、8Kモニタ装置22と、カラーチャート23と、マイク24と、スピーカ25とが診療者UTに提供される。
Specifically, for example, as the
As the
受診者端末11は、受診者システム1を構成する各装置を制御する情報処理装置である。詳しくは後述するが、受診者端末11は、診療者UTの指示に基づいて、光源12の調整を行うことが出来る。
The
光源12は、受診者UE及び後述するカラーチャート13を照らす。光源12により提供され、受診者UE及びカラーチャート13を照らす光を、「一次光LF」と呼ぶ。
受診者UE及びカラーチャート13は、光源12からの一次光LFを反射する。一次光LFを照らされたものから反射された光を「二次光LS」と呼ぶ。
The
The patient UE and the
カラーチャート13は、各種各様な色が付された媒体である。詳しくは図6を用いて後述するが、本実施形態のカラーチャート13には、白色、黒色、及びその中間の1以上の灰色、各種原色及び間色、並びに、受診者UE又はその候補の肌の色に関連する色が付されている。
The
受診者UE及びカラーチャート13から反射された二次光LSは、8Kカメラ装置14により撮像される。8Kカメラ装置14は、8Kの画素数を有する撮像装置である。これにより、受診者UE及びカラーチャート13の像を含む画像データが受診者端末11に提供される。なお、上述したように、8Kではない画素数を有する撮像装置が用いられてもよい。
The secondary light LS reflected from the patient UE and the
受診者端末11は、受診者UE及びカラーチャート13の像を含む画像データに対して各種処理を施した上で、診療者端末21に送信する。
なお、詳しくは後述するが、受診者端末11は、光源12や8Kカメラ装置14を制御することにより、8Kカメラ装置14により記録される光の波長スペクトルの補正処理を実行することが出来る。
The
As will be described in more detail later, the
診療者端末21は、診療者システム2を構成する各装置を制御する情報処理装置である。診療者端末21は、受診者端末11から送信されてきた画像データを受信し、各種処理を施した上で、8Kモニタ装置22に表示する制御を実行する。
The
なお、詳しくは後述するが、診療者端末21は、診療者UTから、光源の調整の指示や、画像データの補正の指示や、受診者UEに対する診療内容を受付けることが出来る。即ち例えば、診療者UTは、診療者端末21を操作したり、マイク24を用いて光源の調整の指示や、画像データの補正の指示や、受診者UEに対する診療内容を入力する。診療者端末21により受付けられた診療内容は、スピーカ16や処置装置17を介して、受診者UEに提供される。
Although more details will be provided later, the
また、受診者端末21は、受診者UEから、診療者UEによる診療のための問いかけへの応答を受付けることが出来る。即ち例えば、受診者UEは、受診者端末21を操作したり、マイク15を用いて診療者UEによる診療のための問いかけへの応答を入力する。受診者端末21により受付けられた診療者UEによる診療のための問いかけへの応答は、スピーカ25や8Kモニタ装置22を介して、診療者UTに提供される。
The
8Kモニタ装置22は、8Kの画素数を有する表示装置である。8Kモニタ装置22は、診療者端末21の制御により、受診者UE及びカラーチャート13の像を含む画像を表示する。
これにより、診療者UTは、高精細な画像で受診者UEの状態を視認することができる。
The
This allows the practitioner UT to visually confirm the condition of the patient UE with a high-definition image.
カラーチャート23は、上述のカラーチャート13と基本的に同一の各種各様な色が付された媒体である。カラーチャート23は、付された色がカラーチャート13と同一となるように生産や管理されることが望ましい。
The
診療者UTは、8Kモニタ装置22に表示された受診者UE及びカラーチャート13の像を含む画像を用いて診療を行う。このとき、診療者UTは、自身の手元にあるカラーチャート23と、8Kモニタ装置22に表示されたカラーチャート13の像とを比較する。これにより、診療者UTは、より正確に受診者UEの色を把握することが出来る。
The practitioner UT performs medical treatment using an image including an image of the patient UE and the
なお、詳しくは後述するが、診療者端末21は、8Kモニタ装置22及び図示せぬモニタキャリブレーション器具等を制御することにより、8Kモニタ装置22から発せられる光の波長スペクトルの補正処理を実行することが出来る。
As will be described in more detail later, the
ここで、診療者UTは、診療者端末21を介して、受診者端末11側に、光源調整指示、画像補正指示、及び診療内容提供をすることが出来る。
Here, the practitioner UT can provide light source adjustment instructions, image correction instructions, and medical treatment details to the
(光源調整指示)
診療者UTが光源調整指示を行うと、受診者端末11は、光源調整指示に基づいて、光源12を調整する。
即ち例えば、光源12からの一次光LFの波長スペクトルが変化される。具体的には例えば、光源12を構成する各LED等の発光強度のバランスが変更される。また例えば、一次光LFが極端に青白い光源の場合には、薄黄色のフィルムを光源12に被せる、或いは、暖色(青白い色の反対色)のLED光源を追加で点灯させるなどの光源調整指示が行われる。これにより、二次光LSの波長スペクトルが変化したものが8Kカメラ装置14に入射することで、より色彩の補正が容易となる画像のデータを取得可能となる。
なお、光源調整指示は、受診者端末11の電子的、機械的な光源12の制御により実現されてもよく、受診者端末11を介して受診者UEや図示せぬ受診者UEに付き添う者(例えば看護士)に指示がなされることによって実現されてもよい。
(Light source adjustment instructions)
When the practitioner UT issues a light source adjustment instruction, the
That is, for example, the wavelength spectrum of the primary light LF from the
In addition, the light source adjustment instruction may be realized by electronic or mechanical control of the
また例えば、各位置に対する光源12からの一次光LFの強度分布が変化される。具体的には例えば、光源12の角度が経時的に変更されたり、光源12を構成する発光部分のうち一部又は全部が明滅する。これにより、受診者UEを照らす光の強度分布が経時的に変化する。その結果、受診者UEの肌の***の影等が経時的に変化するため、診療者UTは、受診者UEの肌の***を容易に把握可能となる。
For example, the intensity distribution of the primary light LF from the
(画像補正指示)
診療者UTが画像補正指示を行うと、受診者端末11及び診療者端末21のうち少なくとも一方は、画像補正指示に基づいて、画像データの補正を行う。
即ち例えば、受診者端末11は、画像データの圧縮前に、画像データを補正する。これにより、補正後の画像データが圧縮され、診療者UTが把握したい情報が適切に8Kモニタ装置22で再生される。
(Image correction instructions)
When the practitioner UT issues an image correction instruction, at least one of the
That is, for example, the
また例えば、診療者端末21は、画像補正指示に基づいて、受診者端末11から送信されてきた画像データの補正を行う。
即ち例えば、診療者端末21は、受診者端末11から送信されてきた画像データを補正して、8Kモニタ装置22で再生する。これにより、上述の画像データの圧縮を行わない場合や、上述の画像データの圧縮が行われている場合にいてもその範囲内において、診療者UTが視認しやすいように画像の補正が行われる。
Also, for example, the
That is, for example, the
(診療内容提供)
診療者UTが診療内容提供を行うと、診療者端末21から受診者端末11に、診療内容に対応する情報が送信される。
即ち例えば、診療者UTが診療結果に関する情報を声により提供すると、受診者端末11の制御によりスピーカ16からその声が再生され、診療内容が受診者UEに提供される。
また例えば、診療者UTが診療内容として所定の処置を行う場合、受診者端末11の制御により、処置装置17が処置を実行する。具体的には例えば、処置装置17が診療のための器具である場合、当該器具を用いた診療が行われる。また例えば、処置装置17が遠隔手術用の装置、例えば手術器械を備えたマニピュレータ等である場合、処置として手術を行うことができる。また例えば、処置装置17が医薬品の提供装置である場合、処置として医薬品の処方を行うことができる。
(Provision of medical treatment details)
When the practitioner UT provides the medical treatment details, information corresponding to the medical treatment details is transmitted from the
That is, for example, when the practitioner UT provides information on the results of medical treatment by voice, the voice is reproduced from the
For example, when the practitioner UT performs a prescribed treatment as part of the medical treatment, the
このように、本サービスは、診療者UT及び受診者UEに、より利便性の高い遠隔診療の環境が提供することができる。 In this way, this service can provide a more convenient remote medical environment for clinicians UT and patients UE.
次に、図2を参照して、上述した本サービスの提供を実現化させる情報処理システム、即ち本発明の一実施形態に係る遠隔診療システムのうち、情報処理に関する構成について説明する。
図2は、本発明の一実施形態に係る遠隔診療システムの構成のうち、情報処理に関する構成の一例を示す図である。
Next, with reference to FIG. 2, a description will be given of the information processing system that realizes the provision of the above-mentioned service, that is, the information processing configuration of the remote medical treatment system according to one embodiment of the present invention.
FIG. 2 is a diagram showing an example of a configuration related to information processing in the configuration of a remote medical treatment system according to an embodiment of the present invention.
図2に示す遠隔診療システムSYSは、受診者システム1と、診療者システム2とを含む。
受診者システム1は、受診者端末11と、光源12と、8Kカメラ装置14と、マイク15と、スピーカ16と、処置装置17とを含むように構成されている。
また、診療者システム2は、診療者端末21と、8Kモニタ装置22と、マイク24と、スピーカ25と含むように構成されている。
The remote medical care system SYS shown in FIG. 2 includes a
The
The
受診者端末11と、診療者端末21とは、インターネット等の所定のネットワークNWを介して相互に接続されている。
受診者端末11と、光源12、8Kカメラ装置14、マイク15、スピーカ16、及び処置装置17とは、受診者システム1において直接接続されている。
診療者端末21と、8Kモニタ装置22とは、診療者システム2において直接接続されている。
The
The
The
受診者システム1は、遠隔診療を受診する受診者UEの側に存在する情報処理システムである。
診療者システム2は、遠隔診療をする診療者UTの側に存在する情報処理システムである。
The
The
受診者端末11は、へき地の診療所や訪問診療先の受診者UEの自宅等において利用される情報処理装置である。受診者端末11は、診療者端末21と適宜通信をしながら、本サービスを実現するための各種処理を実行する。受診者端末11は、スマートフォン、タブレット、パーソナルコンピュータ等で構成される。また、受診者端末11は、正確な遠隔診療のため、本サービスの提供者により各種機能の性能等について適宜認証されたものが採用される。
The
診療者端末21は、診療者UTの確保ができている病院等において利用される情報処理装置である。診療者端末21は、受診者端末11と適宜通信をしながら、本サービスを実現するための各種処理を実行する。診療者端末21は、スマートフォン、タブレット、パーソナルコンピュータ等で構成される。また、診療者端末21は、正確な遠隔診療のため、本サービスの提供者により各種機能の性能等について適宜認証されたものが採用される。
The
光源12は、受診者UE及び後述するカラーチャート13を照らす、所定方式で発光する照明装置、自然現象、又は光学パーツ、若しくはそれらの組み合わせである。即ち例えば、所定方式として、白熱電球、蛍光灯、LED(Light Emitting Diode)灯が存在する。また例えば、自然現象として、太陽光、曇り空の下、炎の光等が存在する。また例えば、光学パーツとして、光フィルタ、カーテン等が存在する。これらの組み合わせにより、光源12から発せられる一次光LFの波長スペクトルや各位置における光の強度が決定される。
The
本実施形態の光源12は、受診者端末11による制御処理により、一次光LFの波長スペクトルや各位置における光の強度が変更可能となっている。
なお、光源12の一次光LFの波長スペクトルや各位置における光の強度は、受診者端末11の制御処理により直接自動で変更されるが、これに限定されるものでなく、例えば後述するスピーカ16から発せられる音声による指示や、図示せぬ受診者端末11のディスプレイに表示される指示により、受診者UE等が光源12を適宜操作することにより実現されてもよい。
The
The wavelength spectrum of the primary light LF from the
8Kカメラ装置14は、8Kの画素数を有する撮像装置である。8Kカメラ装置14により撮像された画像データは、受診者端末11に提供される。
The
マイク15は、受診者端末11の制御により音声を録音する音響装置である。マイク15は、受診者UTが発話した診療内容の音声等を受診者UEに提供することが出来る。
The
スピーカ16は、受診者端末11の制御により音声を発生する音響装置である。スピーカ16は、診療者UTが発話した診療内容の音声等を受診者UEに提供することが出来る。
The
処置装置17は、受診者端末11の制御により、診療内容としての所定の処置を行うための装置である。例えば、診療のための器具、遠隔手術用の装置、医薬品の提供装置等が、処置装置17として採用される。
The
8Kモニタ装置22は、8Kの画素数を有する表示装置である。8Kモニタ装置22は、診療者端末21の制御により、受診者端末11から送信されてきた受診者UEを含む画像を表示する。
The
マイク24は、診療者端末21の制御により音声を録音する音響装置である。マイク24は、受診者UTが発話した診療内容の音声等を診療者UEに提供することが出来る。
The
スピーカ25は、診療者端末21の制御により音声を発生する音響装置である。スピーカ25は、受診者UEが発話した声等を診療者UEに提供することが出来る。
The
図3は、図2に示す遠隔診療システムのうち受診者端末のハードウェア構成の一例を示すブロック図である。 Figure 3 is a block diagram showing an example of the hardware configuration of a patient terminal in the remote medical care system shown in Figure 2.
受診者端末11は、CPU(Central Processing Unit)31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33と、バス34と、入出力インターフェース35と、入力部36と、出力部37と、記憶部38と、通信部39と、ドライブ40とを備えている。
The
CPU31は、ROM32に記録されているプログラム、又は、記憶部38からRAM33にロードされたプログラムに従って各種の処理を実行する。
RAM33には、CPU31が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
The
CPU31、ROM32及びRAM33は、バス34を介して相互に接続されている。このバス34にはまた、入出力インターフェース35も接続されている。入出力インターフェース35には、入力部36、出力部37、記憶部38、通信部39及びドライブ40が接続されている。
The
入力部36は、例えばキーボード等により構成され、各種情報を入力する。
出力部37は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部38は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部39は、インターネットを含むネットワークNWを介して他の装置(例えば図2の診療者端末21)との間で通信を行う。
The
The
The
The
ドライブ40には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア50が適宜装着される。ドライブ40によってリムーバブルメディア50から読み出されたプログラムは、必要に応じて記憶部38にインストールされる。
また、リムーバブルメディア50は、記憶部38に記憶されている各種データも、記憶部38と同様に記憶することができる。
Further, the removable medium 50 can store various data stored in the
なお、図示はしないが、図2の診療者端末21も、図3に示すハードウェア構成と基本的に同様の構成を有することができる。したがって、診療者端末21のハードウェア構成についての説明は省略する。
Although not shown, the
このような図3の受診者端末11を含む図2の情報処理システムを構成する各種ハードウェアと各種ソフトウェアとの協働により、上述の図1の本サービスを実現するための各種処理の実行が可能になる。その結果、サービス提供者は、ユーザに対して上述の本サービスを提供することができる。
The cooperation of the various hardware and software constituting the information processing system of FIG. 2, including the
図4は、図2の遠隔診療システムを構成する受診者端末及び診療者端末の機能的構成の一例を示す機能ブロック図である。 Figure 4 is a functional block diagram showing an example of the functional configuration of the patient terminal and the clinician terminal that make up the remote medical care system of Figure 2.
図4に示すように、受診者端末11のCPU31においては、画像データ取得部111と、画像補正部112と、データ圧縮処理部113と、送信制御部114と、受信制御部115、装置制御部116とが機能する。また、診療者端末21のCPU61においては、画像データ受信制御部211と、画像補正部212と、表示制御部213と、指示受付部214と、診療内容受付部215と、送信制御部216とが機能する。
As shown in FIG. 4, the
画像データ取得部111は、8Kカメラ装置14により撮像された画像データを取得する。8Kカメラ装置14により撮像される画像の一例については、図8を用いて後述する。なお、画像データ取得部111は、8Kカメラ装置14により撮像された画像データに加えて、マイク15により録音された音声データも取得することができる。
The image
画像補正部112は、8Kカメラ装置14により撮像された画像データに基づいて、ガンマ値を補正して、補正された画像データとすることが出来る。
The
例えば、画像補正部112は、受診者UEの肌の色の近傍において階調が大きくなるようにガンマ値を補正することができる。「受診者UEの肌の色の近傍において階調が大きくなるようにガンマ値を補正する」とは、受診者UEの肌の色の近傍において、明るさの差が誇張されるように補正することを意味する。これにより、受診者UEの肌の変化が視認しやすい画像データが生成される。
受診者UEの肌の色の近傍において階調が大きくなるように補正された画像の一例については、図9を用いて後述する。
For example, the
An example of an image corrected so that the gradation is increased in the vicinity of the skin color of the examinee UE will be described later with reference to FIG.
また、画像補正部112は、8Kカメラ装置14により撮像された画像データに含まれる、カラーチャート13の像に含まれる色のうち少なくとも白色、黒色、及びその中間の1以上の灰色に基づいてガンマ値を補正することができる。
カラーチャート13の像に含まれる白色、黒色、及びその中間の1以上の灰色の例については、図6を用いて後述する。
In addition, the
Examples of white, black, and one or more intermediate grays contained in the image of the
また、画像補正部112は、カラーチャート13の像に含まれる色のうち受診者UEの肌の色に応じた色に基づいて色彩を補正することができる。ここで、「色彩を補正する」とは、8Kカメラ装置14により撮像された画像データにおける原色の夫々を、原色毎に所定の補正をすることで、色相を変化させるような補正をすることをいう。
The
また、画像補正部112は、8Kカメラ装置14を制御することにより、8Kカメラ装置14から出力され、画像データ取得部111により取得される画像データを変化させることで、画像データを補正することができる。
具体的には例えば、画像補正部112は、8Kカメラ装置14の絞りや感度、ダイナミックレンジ、回路ゲイン等を変更する制御を実行する。また例えば、画像補正部112は、8Kカメラ装置14に備えられた光学フィルタを変更する制御を実行する。
In addition, the
Specifically, for example, the
例えば、光学フィルタとして、ND(Neutral Density)フィルタや、カラーフィルタが採用される。また例えば、カラーフィルタとして、色温度に対応したカラーフィルタが採用される。具体的には例えば、2,800K、5,000K、6,500Kの色温度に対応する色フィルタが用意される。カラーフィルタは、光学フィルタを変更する制御は、電子制御された機構により実現されてもよく、後述のスピーカ16により、受診者UEや図示せぬ受診者UEに付き添う者(例えば看護士)に指示がなされることによって実現されてもよい。
このようにして、画像補正部112は、診療者UEを照らす光源の波長スペクトルに基づいて、画像データのガンマ値、及び、色彩のうち少なくとも一方を補正することができきる。
For example, an ND (Neutral Density) filter or a color filter is used as the optical filter. Also, for example, a color filter corresponding to a color temperature is used as the color filter. Specifically, for example, color filters corresponding to color temperatures of 2,800 K, 5,000 K, and 6,500 K are prepared. The control of changing the color filter may be realized by an electronically controlled mechanism, or may be realized by an instruction given to the patient UE or a person (e.g., a nurse) accompanying the patient UE (not shown) by a
In this way, the
これにより、明暗や色彩の補正を行うことができる。光の段階や光から電気信号に変換する段階において補正を行うことで、取得される画像データに対応する画像の品質の向上が期待される。また、光の段階に限らず、8Kカメラ装置14内で補正されることで、取得される画像データに対応する画像の品質の向上が期待される。
This allows correction of brightness and color. By making corrections at the light stage or at the stage of converting light into an electrical signal, it is expected that the quality of the image corresponding to the acquired image data will improve. Furthermore, not limited to the light stage, by making corrections within the
上述したように、診療者側で受診者側について完全に再現した画像の再生をすることは困難である。そこで、本実施形態の画像補正部112は、カラーチャート13に含まれる色(有彩色)のうち、全色を用いて色彩を補正するのではなく、カラーチャート13に含まれる色(有彩色)のうち、受診者UEの肌の色に応じた色を用いて色彩を補正する。これにより、少なくとも受診者UEの肌の診療に必要な範囲での補正が少なくとも達成されるのである。その結果、補正に用いなかった色(有彩色)の色の再現性は低下する可能性がある。しかしながら、そのような色については診療に影響がないので問題はない。
As mentioned above, it is difficult for the practitioner to reproduce a perfectly reproduced image of the patient. Therefore, the
なお、受診者UEの肌の色に応じた色は、受診者UEや診療者UTにより指定されてもよいし、AI(Artificial Intelligence)技術を用いた画像分析等により自動で指定されてもよい。
カラーチャート13の像に含まれる受診者UEの肌の色に応じた色の一例については、図6を用いて後述する。
In addition, the color corresponding to the skin color of the patient UE may be specified by the patient UE or the clinician UT, or may be automatically specified by image analysis using AI (Artificial Intelligence) technology.
An example of the colors corresponding to the skin color of the examinee UE contained in the image of the
また、画像補正部112は、後述する第2情報が取得されている場合、当該第2情報に含まれる診療者UTからの画像データの補正指示に基づいて、画像データの補正を行うことが出来る。これにより、後述するデータ圧縮処理部113によるデータ圧縮処理の前に画像が補正されるため、診療者UTが意図する範囲において階調がつぶれていない画像データが診療者端末21に提供される。
In addition, when the second information described below has been acquired, the
また、画像補正部112は、受診者UEを照らす光源12の波長スペクトルに基づいて、8Kカメラ装置14により撮像された画像データのガンマ値、及び、色彩を補正することができる。
In addition, the
データ圧縮処理部113は、画像データに対して、データ圧縮処理を実行する。
具体的には例えば、データ圧縮処理部113は、非可逆圧縮のアルゴリズムを用いて画像データを圧縮する。これにより、受診者端末11と診療者端末21との間に必要となる回線のビットレートが削減される。
The data
Specifically, for example, the data
なお、受診者端末11と診療者端末21との間に十分なビットレートが確保されている場合、データ圧縮処理部113は機能しないものとすることができる。これにより、データ圧縮されていないより精細な画像のデータが診療者端末21に提供される。
If a sufficient bit rate is ensured between the
さらに言えば、データ圧縮処理部113は、診療者端末21からの指示に基づいて、所定の色の近傍におけるデータの圧縮率を低下させる制御を実行できるものとしてもよい。これにより、診療者端末21側において画像の補正を行ったとしても当該所定の色の近傍における階調がつぶれていない、診療者端末21側において画像の補正を行っても視認できる画像のデータが診療者端末21に提供される。
Moreover, the data
送信制御部114は、受診者UE等が撮像された画像データ等を第1情報として診療者システム2に送信する。
即ち、送信制御部114は、画像補正部112によりガンマ値及び色彩の補正がなされ、さらに、データ圧縮処理部113によりデータ圧縮処理をされた画像データを第1情報として送信する。
The
That is, the
送信制御部114は、受診者端末11と診療者端末21との間に十分なビットレートが確保されている場合、複数の画像データを第1情報に含んで送信してもよい。
即ち例えば、送信制御部114は、データ圧縮処理部113によりデータ圧縮処理をされた画像データも第1情報として送信することができる。
When a sufficient bit rate is ensured between the
That is, for example, the
受信制御部115は、送信制御部216の制御により送信されてきた第2情報を受信する制御を実行する。
The receiving
装置制御部116は、光源12やスピーカ16、処置装置17を制御する。
The
即ち例えば、診療者UTが光源12からの一次光LFの強度分布の変化を指示した場合、装置制御部116は、光源12の発光部分のうち、一部又は全部を明滅させる制御を実行する。また例えば、診療者UTが光源12からの一次光LFの色味の変化を指示した場合、装置制御部116は、光源12の色みを変化させる制御を実行する。
That is, for example, when the practitioner UT instructs a change in the intensity distribution of the primary light LF from the
また例えば、装置制御部116は、第2情報に診療者UTからの診療内容が含まれる場合、当該診療内容に基づいて、スピーカ16から診療者UTによる受診者UEへの指示の音声を再生する。また例えば、装置制御部116は、当該診療内容に基づいて、診療のための器具、遠隔手術用の装置、医薬品の提供装置の処置装置17を制御する。
For example, when the second information includes details of medical treatment from the practitioner UT, the
診療者端末21の画像データ受信制御部211は、受診者端末11の送信制御部114の制御により送信されてきた第1情報を受信する制御を実行する。なお、画像データ受信制御部221は、データ圧縮処理に対応するデータ展開処理を適宜実行する。
The image data reception control unit 211 of the
画像補正部212は、基本的に上述の受診者端末11の画像補正部112と同様の機能を有する。画像補正部212は、受診者端末11の画像補正部112の代わりに、診療者端末21側で画像の補正を行うことが出来る。
即ち、画像補正部212は、受診者端末11側で受診者UEの肌の色に応じた補正を行っていない場合、受診者端末11から送信されてきた画像データに基づいて、ガンマ値を補正して、受診者の肌の色に応じて補正された画像データとする補正をすることが出来る。
これにより、受診者端末11における処理が削減され、受診者端末11に必要な情報処理装置としてのスペックが低くてもよいものとなる。
The
In other words, if the
This reduces the amount of processing in the
また、画像補正部212は、受診者端末11側で受診者UEの肌の色に応じた補正を行っている場合、上述の受診者端末11の画像補正部112による補正と逆の補正を行うことができる。
In addition, when correction based on the skin color of the patient UE is performed on the
画像補正部212は、受診者端末11の画像補正部112による補正の内容を受診者端末11から取得して補正してその逆の補正を行ってもよい。また画像補正部212は、補正後の画像データに含まれるカラーチャート13を用いて標準的なガンマ値及び色彩にする補正をすることもできる。
The
即ち、画像補正部212は、受診者端末11から送信されてきた第1情報に含まれる、カラーチャート13の像に含まれる色のうち少なくとも白色、黒色、及びその中間の1以上の灰色に基づいて白色から黒色の間において均等な階調となるようにガンマ値を補正することができる。
In other words, the
また、画像補正部212は、受診者端末11から送信されてきた第1情報に含まれる、カラーチャート13の像に含まれる色のうち受診者UEの肌の色に応じた色とは異なる色に基づいて色彩を補正することで標準画像データとすることもできる。
The
また、画像補正部212は、8Kモニタ装置22から出力される光の波長スペクトルに基づいて、8Kモニタ装置22から出力される画像のガンマ値、及び、色彩を補正することができる。なお、画像補正部212による8Kモニタ装置22のガンマ値、及び、色彩の補正は、8Kモニタ装置22に入力される画像データを補正することによって行われてもよく、8Kモニタ装置22に備えられた設定項目の設定を変更する制御により実現されてもよい。
The
表示制御部213は、第1情報に基づいて、第2画像データを8Kモニタ装置22に表示する制御を実行する。その結果、8Kモニタ装置22は、表示制御部213の制御により、受診者UEの像を含む画像を表示する。
Based on the first information, the
また、表示制御部213は、受診者端末11から送信されてきた第1情報に含まれる画像補正部112により補正された画像データ及び画像補正部212により逆の補正がされた標準画像データの夫々に対応する画像を含んで表示する制御を実行することもできる。
The
これにより、受診者端末11から補正後の画像データのみを受信して、診療者端末21側において補正前の画像データを再現することが出来る。ここで、極端な例をあげると、補正後の画像のみが診療者UTに提供された場合、診療者UTは受診者UEの元の肌の色すら正しく把握することができない。
This allows only the corrected image data to be received from the
そこで、画像補正部212により、受診者端末11の画像補正部112による補正と逆の補正を行うことにより、補正後の画像を診療に用いることができる。さらに、補正前の標準画像も並行して診療に用いることで、診療者UTは、受診者UEの元の肌の色等も容易に把握することができる。このとき、受診者端末11からは補正後の画像データのみが送信されるのみで足りるため、2つの画像を表示するために1つの画像の分のビットレートのみで足りる。また、補正前の標準画像は、診療に用いる画像ほどの高精細である必要はないため、画像補正部212による逆の補正で十分である。
Therefore, the
指示受付部214は、診療者UTからの画像データの補正指示を受付ける。
具体的には例えば、診療者UTは、8K診療モニタに表示された画像のうち、ガンマ値を補正することで階調が大きくなるようにしたい領域を指定する。これにより、当該領域に含まれる明暗のスペクトルに基づいて、画像データの補正の程度が指定される。
The
Specifically, for example, the practitioner UT specifies an area of an image displayed on an 8K diagnostic monitor where the gradation is to be increased by correcting the gamma value. This specifies the degree of correction of the image data based on the light and dark spectrum contained in the area.
診療内容受付部215は、診療者UTからの診療内容を受付ける。
具体的には例えば、診療内容受付部215は、診療者UTの診療者端末21の操作やマイク24に対する発話に基づいて、受診者UEへの指示や診療結果、処方する薬の内容などを、診療内容として受け付ける。
The medical care
Specifically, for example, the medical treatment
送信制御部216は、指示受付部214により受付けられた補正指示を少なくとも含む第2情報を、受診者端末11に送信する制御を実行する。
また、送信制御部216は、診療内容受付部215により受付けられた診療内容も第2情報として受診者端末11に送信する制御を実行することができる。
The
The
以上のように、図3の受診者端末11及び診療者端末21が図4に示す機能的構成を有することにより、図1の本サービスを利用する受診者UE及び診療者UTに、より利便性の向上した遠隔診療の環境が提供されるのである。
As described above, by having the
図5は、図4の機能的構成を有する遠隔診療システムにより実行される、遠隔診療処理の流れの一例を説明するフローチャートである。 Figure 5 is a flowchart illustrating an example of the flow of remote medical treatment processing executed by a remote medical treatment system having the functional configuration of Figure 4.
遠隔診療処理は、診療者UTが受診者UEを診療しようとする際に実行される。 The remote medical treatment process is executed when the medical practitioner UT wishes to treat the patient UE.
ステップS11において、受診者端末11の画像データ取得部111は、8Kカメラ装置14により撮像された画像データを取得する。
In step S11, the image
ステップS12において、受診者端末11の画像補正部112は、ステップS14の処理により取得された画像データを、ガンマ値及び色彩を補正する。画像補正部112は、標準で設定された補正の条件に基づいて、ガンマ値及び色彩を補正することができる。また、受診者端末11の画像補正部112は、後述のステップS20の処理により取得された補正指示に基づいて、ガンマ値及び色彩を補正することもできる。
In step S12, the
ステップS13において、受診者端末11のデータ圧縮処理部113は、ステップS12の処理により補正された画像データに対して、データ圧縮処理を実行する。
In step S13, the data
ステップS14において、受診者端末11の送信制御部114は、ステップS13の処理によりデータ圧縮処理をされた画像データを第1情報として送信する。
In step S14, the
ステップS15において、診療者端末12の画像データ受信制御部211は、ステップS14の処理により受診者端末11から送信されてきた、画像データを含む第1情報を受信する制御を実行する。
In step S15, the image data reception control unit 211 of the
ステップS16において、診療者端末12の画像補正部212は、ステップS15の処理により受信された画像データに対して、上述の受診者端末11の画像補正部112による補正と逆の補正を行って標準画像データとする。
In step S16, the
ステップS17において、診療者端末12の表示制御部213は、ステップS15の処理により受信された画像データ及びステップS16の処理により逆の補正がされた標準画像データの夫々に対応する画像を含んで、8Kモニタ装置22に表示する制御を実行する。
In step S17, the
ステップS18において、診療者端末12のCPU61は、補正の指示が有るか否かを判定する。
例えば、診療者端末12に診療者UTによる補正の指示のための操作をされなかった場合、診療者端末12のCPU61は補正の指示が無いものとして、ステップS18においてNOと判定され、処理はステップ19に進む。
また例えば、診療者端末12に診療者UTによる補正の指示のための操作を受付けた場合、診療者端末12のCPU61は補正の指示が有るものとして、ステップS18においてYESと判定され、処理はステップS20に進む。ステップS18においてYESと判定された場合におけるステップS20乃至S22の処理は、後述する。
In step S18, the
For example, if the practitioner UT does not operate the
Also, for example, when the
ステップS19において、診療者端末12のCPU61は、診療終了であるか否かを判定する。
例えば、診療者端末12に診療者UTによる診療終了の操作を受付けた場合、診療者端末12のCPU61は診療終了であるものとして、ステップS19においてYESと判定され、遠隔診療処理は終了する。
また例えば、診療者端末12に診療者UTによる診療終了の操作をされなかった場合、診療者端末12のCPU61は診療終了ではないものとして、ステップS19においてNOと判定され、処理はステップS11に戻され、それ以降の処理が繰り返される。即ち、診療終了とされるまで、ステップS11乃至S13、及び後述のステップS20乃至S22が繰り返される。診療者UTによる診療終了の操作をされた場合、ステップS19においてYESと判定され、遠隔診療処理は終了する。
In step S19, the
For example, when the
Also, for example, if the practitioner UT does not operate the
以下、ステップS18においてYESと判定された場合におけるステップS20乃至S22の処理を説明する。
ステップS20において、診療者端末12の指示受付部214は、診療者UTからの画像データの補正指示を受付ける。
The processes in steps S20 to S22 in the case where the determination in step S18 is YES will be described below.
In step S20, the
ステップS21において、診療者端末12の送信制御部216は、ステップS20の処理により受付けられた補正指示を少なくとも含む第2情報を、受診者端末11に送信する制御を実行する。
In step S21, the
ステップS22において、受信制御部115は、ステップS21の処理により診療者端末21から送信されてきた第2情報を受信する制御を実行する。
ステップS22の処理ののち、処理はステップS11に戻され、それ以降の処理が繰り返される。ステップS22の処理ののち繰り返されるステップS12の処理においては、受診者端末11の画像補正部112は、後述のステップS20の処理により取得された補正指示に基づいて、ガンマ値及び色彩を補正する。そして、処理はステップS13乃至S15と進み、診療者端末21には診療者UEによる補正指示を反映した補正がなされ、さらにデータ圧縮処理がなされた画像が、診療者端末21に受診されるのである。
In step S22, the
After step S22, the process returns to step S11, and the subsequent steps are repeated. In step S12, which is repeated after step S22, the
以上、本システムを提供するための遠隔診療処理の一連の流れについて説明した。
以下、図6を参照して、図1のカラーチャート13及びカラーチャート23に含まれる色の例について説明する。
The above describes the flow of the remote medical treatment process for providing this system.
Hereinafter, examples of colors included in the
図6は、図1のカラーチャートに含まれる色の構成の一例を示す図である。
なお、図6の例の白色と黒色の二値の割合や配置が異なるハッチングは、書類上の便宜上の表現である。即ち、現実におけるカラーチャート13の各マスは、夫々均一に塗られている。
また、カラーチャート13に含まれるマスの数は図6に示す16個に限定されず任意である。
FIG. 6 is a diagram showing an example of the configuration of colors included in the color chart of FIG.
6, the ratio of white and black tones and the arrangement of the hatching are different, but are merely for convenience in the document. In reality, each square on the
Furthermore, the number of squares included in the
図6に示すように、カラーチャート13には、各種各様な色が付されている。本実施形態のカラーチャート13には、無彩色チャート131、彩色チャート132、肌チャート133が含まれている。以下、無彩色チャート131、彩色チャート132、肌チャート133の夫々について説明する。
As shown in FIG. 6, the
無彩色チャート131とは、白色、黒色、及びその中間の1以上の灰色を含むチャートである。
図6の例の無彩色チャート131には、1つの白色のハッチングがなされたマスと、1つの黒色のハッチングがなされたマスと、4つの灰色のマスとが含まれている。
The
The
画像補正部112や画像補正部212は、無彩色チャート131の夫々のマスの分布に基づいて、ガンマ値を補正する。具体的には例えば、画像補正部112や画像補正部212は、受診者UEの肌の色に対応する明度の近傍のマス同士が、明度の分布上でより分離するように、ガンマ値を設定する。これにより、受診者UEの肌の色の近傍において階調が大きくなるようにガンマ値が補正される。
The
また例えば、画像補正部112や画像補正部212は、無彩色チャートのマス同士が、明度の分布上で正しく分布するように、ガンマ値を設定する。これにより、受診者UEの肌の色の近傍において階調が大きくなるようにガンマ値が補正される。
For example, the
なお、各マスがいずれの明度であるかの情報は、予め受診者端末11や診療者端末21に記憶されていてもよく、都度入力されて設定されてもよい。
In addition, information regarding the brightness of each square may be stored in advance in the
彩色チャート132は、各種原色及び間色を含むチャートである。
図6の例の彩色チャート132には、6つの夫々異なるハッチングがなされたマスが含まれている。具体的には例えば、彩色チャート132には、赤色、青色、緑色、シアン、マゼンタ、黄色、茶色、オレンジ色等が含まれていてよい。
The
6 includes six differently hatched squares, such as red, blue, green, cyan, magenta, yellow, brown, and orange.
肌チャート133は、受診者UE又はその候補の肌の色を含むチャートである。
図6の例の肌チャート133には、4つの夫々異なるハッチングがなされたマスが含まれている。具体的には例えば、肌チャート133には、黒人、白人及び黄色人、日焼けをした人等、受診者UE又はその候補の肌として想定され、また、基準が定められた所定の色が含まれている。
図6の例の肌チャート133には、第1肌色133-1、第2肌色133-2、第3肌色133-3、第4肌色133-4の夫々のマスが含まれている。
The
The
The
例えば、第1肌色113-1は、白人の肌の色である。また例えば、第2肌色113-2は、黄色人の肌の色である。また例えば、第3肌色113-3は、日焼けした黄色人の肌の色である。また例えば、第4肌色113-4は、黒人の肌の色である。
なお、肌チャート113に含まれる肌の色は、4つに限定されず異なる数の色が含まれていてよい。また、肌チャート113に含まれる肌の色は、上述の人種に限定されず、少なくともその遠隔診療システムSYSを利用しようとする受診者UEの人種が含まれていれば足りる。そのため、肌チャート113には、遠隔診療システムSYSが設置される国の人口をよりカバーでききる人種の肌色が含まれることが望ましい。
また、人種毎にカラーチャート113を用意してもよい。
For example, the first skin color 113-1 is the skin color of a Caucasian person. Also, for example, the second skin color 113-2 is the skin color of a yellow person. Also, for example, the third skin color 113-3 is the skin color of a tanned yellow person. Also, for example, the fourth skin color 113-4 is the skin color of a black person.
The number of skin colors included in the
Also, a
なお、受診者UE又はその候補者の肌の色が特定されている場合、黒人、白人及び黄色人、日焼けをした人等のすべての肌の色がカラーチャート13に含まれている必要はない。
In addition, if the skin color of the examinee UE or the candidate is specified, it is not necessary for all skin colors, such as black, white, asian, and tanned, to be included in the
画像補正部112や画像補正部212は、彩色チャート132や肌チャート133に含まれる色のうち、受診者UEの肌に関連する色を用いて、色彩の補正を行う。
具体的には例えば、受診者UEが黒人の場合、画像補正部112や画像補正部212は、第4肌色133-4や、彩色チャート132に含まれる赤色や茶色を用いて、色彩の補正を行うことができる。
また例えば、受診者UEが白人の場合、画像補正部112や画像補正部212は、第1肌色133-1や、彩色チャート132に含まれる薄黄色やオレンジ色を用いて、色彩の補正を行うことができる。
また例えば、受診者UEが黄色人の場合、画像補正部112や画像補正部212は、第2肌色133-2や、彩色チャート132に含まれる黄色やオレンジ色を用いて、色彩の補正を行うことができる。
The
Specifically, for example, if the examinee UE is black, the
Furthermore, for example, if the examinee UE is Caucasian, the
Furthermore, for example, if the examinee UE has a yellow skin color, the
一般的な蛍光灯は、紫外線から他の波長の光に変換する蛍光物質を用いており、蛍光灯の波長スペクトルは蛍光物質等に応じた特徴的な形状を有している。その結果、一般的な蛍光灯は、演色性が高いとは言えない。
例えば蛍光灯が光源12として用いられた場合、黒、白、赤色、青色、緑色、シアン、マゼンタ、黄色、茶色、オレンジ色等の全ての色を再現することは難しい。青、緑のような肌の色になり色については色を合わせることは行わず、肌の色に近い色に絞って色を合わせることが好ましい。これにより、全色を合わせようとする場合に比べて、より良く所定の肌色を再現することが可能である。
General fluorescent lamps use phosphors that convert ultraviolet light into light of other wavelengths, and the wavelength spectrum of the fluorescent lamp has a characteristic shape that depends on the phosphor, etc. As a result, general fluorescent lamps cannot be said to have high color rendering properties.
For example, when a fluorescent lamp is used as the
また例えば、診察者UTは、8Kモニタ装置22に表示されているカラーチャート13とカラーチャート23とを観察して比較し、8Kモニタ装置22の調整を手動で行い、色彩の補正をすることができる。
色彩は、色彩輝度計を用いて自動で調整されてもよい。例えば、まず、画像データ受信制御部211は、8Kモニタ装置22に表示されているカラーチャート13の白と(黄色人の場合)第2肌色133-2とを色彩輝度計を制御して測定し、CIE1931(国際照明委員会1931年規定)で規定されるxy座標及びYを求める。一方で、画像データ受信制御部211は、カラーチャート23の白と第2肌色133-2とを色彩輝度計を制御して測定し、xy座標及びYを求める。
画像補正部212は、白のxy及びYが一致するように8Kモニタ装置22の全体出力とRGBのバランスとを補正する。次に、画像補正部212は、第2肌色133-2のxy座標が一致するように、8Kモニタ装置22のRGB出力のγ特性をそれぞれ補正する。画像補正部212は、上述の補正を、その他の色にも基づいて行う。
Also, for example, the examiner UT can observe and compare the
The color may be automatically adjusted using a color luminance meter. For example, first, the image data reception control unit 211 controls the color luminance meter to measure the white of the
The
以上、図6を参照して、図1のカラーチャート13及びカラーチャート23に含まれる色の例について説明した。
以下、図7乃至図10を参照して、図4の機能的構成を有する受診者端末11や診療者端末21により授受される画像の例について説明する。
Examples of colors included in the
Hereinafter, examples of images exchanged between the
図7は、肌の色と皮膚に関する診療の容易性の違いのイメージを示す図である。 Figure 7 shows an image of the difference between skin color and ease of skin-related medical treatment.
図7(A)に示す受診者UE-1は、第1肌色133-1に類似する肌を有している。
図7(B)に示す受診者UE-2は、第2肌色133-2に類似する肌を有している。
図7(C)に示す受診者UE-3は、第3肌色133-3に類似する肌を有している。
図7(D)に示す受診者UE-4は、第4肌色133-4に類似する肌を有している。
A patient UE-1 shown in FIG. 7A has skin similar to a first skin color 133-1.
A patient UE-2 shown in FIG. 7(B) has a skin color similar to a second skin color 133-2.
A patient UE-3 shown in FIG. 7C has skin similar to a third skin color 133-3.
A patient UE-4 shown in FIG. 7(D) has skin similar to a fourth skin color 133-4.
図7に示すように、受診者UE-1乃至UE-4は、夫々、肌にメラノーマ候補MCを有している。メラノーマ候補MCは、基本的に黒色又は黒色に近い明度の低い色をしている。
図7に示すように、第4肌色133-4に類似する肌の色を有するほど、メラノーマは目立たず、そもそも発見の難易度も異なる。
7, each of examinees UE-1 to UE-4 has a melanoma candidate MC on the skin. The melanoma candidate MC is basically black or has a low brightness color close to black.
As shown in FIG. 7, the closer the skin color is to the fourth skin color 133-4, the less conspicuous melanoma is, and the difficulty of detection is also different.
図8は、図7に示す肌の色のうち、メラノーマ候補に関する診療の容易性が異なる例をより具体的に示す図である。
図8には、8Kカメラ装置14により撮像され、ガンマ値の補正を行っていないオリジナル画像PO-1及びPO-4が図示されている。
FIG. 8 is a diagram specifically illustrating examples of skin colors shown in FIG. 7 that differ in the ease of diagnosis for melanoma candidates.
FIG. 8 shows original images PO-1 and PO-4 that have been captured by the
図8(A)に示すオリジナル画像PO-1は、図7(A)に示す、第1肌色133-1に類似する肌を有している受診者UE-1の肌を拡大した画像である。オリジナル画像PO-1には、2つのメラノーマ候補MC-1及びMC-2の像が含まれている。 The original image PO-1 shown in FIG. 8(A) is an enlarged image of the skin of examinee UE-1, who has skin similar to the first skin color 133-1 shown in FIG. 7(A). The original image PO-1 includes images of two melanoma candidates, MC-1 and MC-2.
メラノーマ候補MC-1と地肌との色の境界、即ちメラノーマ候補MC-1の輪郭は、はっきりとしている。したがって、オリジナル画像PO-1は、メラノーマ候補MC-1がほくろであると判断する材料となる。 The boundary between the color of melanoma candidate MC-1 and the skin, i.e., the outline of melanoma candidate MC-1, is clear. Therefore, original image PO-1 serves as the basis for determining that melanoma candidate MC-1 is a mole.
メラノーマ候補MC-2と地肌との色の境界、即ちメラノーマ候補MC-2の輪郭は、ぼやけている。具体的には、領域Rのように、メラノーマ候補MC-2と第1肌色133-1に類似する色との中間の色が存在している。したがって、オリジナル画像PO-2は、メラノーマ候補MC-2がメラノーマであると判断する材料となる。 The boundary between melanoma candidate MC-2 and the skin color, i.e., the outline of melanoma candidate MC-2, is blurred. Specifically, as in region R, there is an intermediate color between melanoma candidate MC-2 and a color similar to first skin color 133-1. Therefore, original image PO-2 serves as material for determining that melanoma candidate MC-2 is melanoma.
図8(B)に示すオリジナル画像PO-4は、図7(D)に示す、第4肌色133-4に類似する肌を有している受診者UE-4の肌を拡大した画像である。オリジナル画像PO-4には、2つのメラノーマ候補MC-1及びMC-2の像が含まれている。 The original image PO-4 shown in FIG. 8(B) is an enlarged image of the skin of patient UE-4, whose skin resembles the fourth skin color 133-4 shown in FIG. 7(D). The original image PO-4 includes images of two melanoma candidates, MC-1 and MC-2.
メラノーマ候補MC-1と地肌との色の境界、即ちメラノーマ候補MC-1の輪郭は、はっきりとしているものの、その差は少ない。したがって、オリジナル画像PO-1は、メラノーマ候補MC-1がほくろであると判断する材料としては、上述のオリジナル画像PO-1ほど材料としての採用は困難となる。 The boundary between the color of melanoma candidate MC-1 and the skin, i.e., the outline of melanoma candidate MC-1, is clear, but the difference is small. Therefore, original image PO-1 is less suitable as a material for determining that melanoma candidate MC-1 is a mole than the above-mentioned original image PO-1.
メラノーマ候補MC-2と地肌との色の境界、即ちメラノーマ候補MC-2の輪郭は、ぼやけている。具体的には、実際には領域Rのように、メラノーマ候補MC-2と第4肌色133-4に類似する色との中間の色が存在している。しかしながら、視認するうえではその差は極めて少なく、オリジナル画像PO-2は、メラノーマ候補MC-2がメラノーマであると判断する材料としての採用は困難を極める。 The boundary between the color of melanoma candidate MC-2 and the skin, i.e., the outline of melanoma candidate MC-2, is blurred. Specifically, as in region R, there is actually an intermediate color between melanoma candidate MC-2 and a color similar to the fourth skin color 133-4. However, the difference is extremely small when viewed visually, and it is extremely difficult to use original image PO-2 as material for determining that melanoma candidate MC-2 is melanoma.
このように、遠隔診療においては、肌の色の違いにより診療が困難となる事例が存在する。なお、対面診療においては、人間の目の慣れにより、診療は画像と比較して容易である。 As such, there are cases in which differences in skin color make diagnosis difficult in remote medical care. However, in face-to-face medical care, diagnosis is easier than with images because the human eye becomes accustomed to the color.
図9は、図4に示す機能的構成を有する遠隔診療システムにより提供される、診療用画像の一例を示す図である。
図9には、8Kカメラ装置14により撮像され、受診者UE-4の肌の色の近傍において階調が大きくなるように、図8(b)に示すオリジナル画像PO-4に対してガンマ値の補正を行った肌補正画像PCが図示されている。
図9に示す肌補正画像PCにおいて、メラノーマ候補MC-2と地肌との色の境界、即ちメラノーマ候補MC-2の輪郭は、ぼやけている。具体的には、領域Rのように、メラノーマ候補MC-2と第1肌色133-1に類似する色との中間の色が容易に把握可能に存在している。したがって、肌補正画像PCは、メラノーマ候補MC-2がメラノーマであると判断する材料となる。
なお、図9に示す肌補正画像PCにおいて、メラノーマ候補MC-1と地肌との色の境界、即ちメラノーマ候補MC-1の輪郭は、はっきりとしている。したがって、肌補正画像PCにおいても、メラノーマ候補MC-1がほくろであると判断する材料となる。
FIG. 9 is a diagram showing an example of a diagnostic image provided by the remote medical examination system having the functional configuration shown in FIG.
FIG. 9 shows a skin-corrected image PC that has been captured by an
9, the boundary between the color of melanoma candidate MC-2 and the skin, i.e., the outline of melanoma candidate MC-2, is blurred. Specifically, as in region R, an intermediate color between melanoma candidate MC-2 and a color similar to first skin color 133-1 is easily grasped. Therefore, the skin corrected image PC serves as material for determining that melanoma candidate MC-2 is melanoma.
9, the boundary between the color of the melanoma candidate MC-1 and the skin, i.e., the outline of the melanoma candidate MC-1, is clear. Therefore, the skin-corrected image PC also provides material for determining that the melanoma candidate MC-1 is a mole.
このように、適切にガンマ補正を行うことにより、肌の色の違いにより診療の困難性を解消することが可能となる。 In this way, by performing appropriate gamma correction, it is possible to eliminate difficulties in medical treatment caused by differences in skin color.
図10は、図9に示す診療用画像が提供される例について説明する図である。
図10には、8Kモニタ装置22に表示された診療用画像が示されている。8Kモニタ装置22に表示された診療用画像には、8Kカメラ装置14により撮像され、受診者UE-4の肌の色の近傍において階調が大きくなるようにガンマ値の補正を行った肌補正画像PCが含まれている。これにより、診療者UTは、診療用画像を用いて、容易に診療を行うことが出来る。
FIG. 10 is a diagram for explaining an example in which the diagnostic image shown in FIG. 9 is provided.
10 shows a diagnostic image displayed on the
また、肌補正画像PCには、ガンマ補正や色彩補正がなされたカラーチャート13が含まれている。これにより、診療者UTは、肌補正画像PCに含まれるガンマ補正や色彩補正の影響がどのようなものであるかを把握することができる。
The skin correction image PC also includes a
また、診療用画像には、画像補正部212により逆の補正等が行われた標準画像POが含まれている。
通常、標準画像PSは、8Kカメラ装置14により撮像され、ガンマ値の補正を行っていないオリジナル画像POに相当する。これにより、診療者UTは、診療用画像を用いて、補正前の受診者UEの肌等を容易に把握することが出来る。
The diagnostic images also include a standard image PO that has been subjected to inverse correction or the like by the
Typically, the standard image PS corresponds to an original image PO that is captured by the
標準画像PSは、画像補正部212により、受診者端末11の画像補正部112による補正と逆の補正を行って作成される。即ち、受診者端末11からは補正後の画像データのみが送信されるのみで足りるため、2つの画像を表示するために1つの画像の分のビットレートのみで足りる。また、補正前の標準画像は、診療に用いる画像ほどの高精細である必要はないため、画像補正部212による逆の補正で十分である。
The standard image PS is created by the
以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-mentioned embodiment, and modifications, improvements, etc. that can achieve the object of the present invention are considered to be included in the present invention.
例えば、上述の本実施形態において、8Kモニタ装置22の仕様は特に設定されていなかったが、標準的なガンマ2.2のPCモードに設定されていると好適である。これにより、多くの環境において、一定の品質で画像が再生される。
For example, in the above-described embodiment, the specifications of the
例えば、上述の実施形態において、光源12として任意のものが採用されていたが、以下のようなものであると好適である。
即ち、光源12は演色性(Ra)が90より大きな高演色性白色光源であると好適である。また、光源12の演色性が低い場合、当該光源12に黄色のフィルムを被せるという手法により光源12の一次光LFが調整されとよい。
For example, in the above embodiment, any light source is used as the
That is, it is preferable that the
また、上述の本実施形態において、色彩の補正を行うものとして説明したが、以下のように行うと好適である。即ち、まず、カラーチャート13の像を用いて、ホワイトバランスを補正する。次に、茶色、赤色、(黄色人の)肌色、黒人の肌色(R15)などの人体に特化した色で補正する。
In the above embodiment, color correction has been described as being performed, but it is preferable to perform it as follows. That is, first, the white balance is corrected using an image of the
また、上述の本実施形態において、カラーチャート13及びカラーチャート23は、同一となるように生産や管理される、即ち標準品として認定された製品であることが望ましいとしたが、特にこれに限定されない。カラーチャート13、問診表等に予め印刷されていてもよく、現地のプリンタで印刷されて作成されてもよい。
In the above-described embodiment, it is desirable that the
また、上述の本実施形態において、8Kカメラ装置14により撮像された画像データが適宜ガンマ値や色彩の補正をされるものとしたが補正のタイミングは任意である。具体的には例えば、8Kカメラ装置14と、受診者端末11とが別個の情報処理装置である場合、8Kカメラ装置14は、露出補正等のガンマ値の補正に相当する機能を有している。さらに言えば、8Kカメラ装置14から所定の圧縮率のデータ圧縮処理がなされたデータが出力されることが多々ある。そこで、受診者端末11は、8Kカメラ装置14を制御することで撮影時に黒部分が潰れないようにガンマ値の調整を行う。これにより、8Kカメラ装置14からの出力されるデータは、ガンマ値が補正されたものとなる。
In addition, in the above-described embodiment, the image data captured by the
また、上述の実施形態において、8Kカメラ装置14により撮像された画像データはそのまま補正等されて利用されるものとして説明したが特にこれに限定されない。即ち例えば、撮像された画像データの黒色が潰れないように所定の処理を実行して細かな階調を実現した画像データを生成したうえで、利用されてもよい。例えば、所定の処理として、複数のフレームの画像に基づいて画像を合成することにより、階調深度を上げる処理を採用することができる。
In the above embodiment, the image data captured by the
また、上述の実施形態において、カラーチャート13やカラーチャート23には、無彩色チャート131、彩色チャート132、肌チャート133が含まれているが含まれているものとして説明したが、図6に示すものに限定されない。
即ち、カラーチャート13やカラーチャート23には、上述のガンマ値及び色彩の補正を実現するための色が付されていれば足りる。例えば、演色性の評価のために標準化された試験色が付されたカラーチャートを、カラーチャート13やカラーチャート23として採用することができる。具体的には例えば、CIE13.3やJIS Z 8726に規定される、各人種の人の肌に対応する色が付された試験職が付されたカラーチャートをカラーチャート13やカラーチャート23として採用することができる。
In the above embodiment, the
That is, it is sufficient that the
また、上述の実施形態における画像データの補正には以下のような処理を採用することができる。即ち例えば、受診者端末11は、画像データの圧縮前に、画像データを補正する。画像データの補正においては、例えば、撮影された画像のγを2.2から2.0に補正する。あるいは、γが2.0以下になるように撮影してもよい。各画素にγ調整回路が設けられる既存技術を用いてもよく、遅いシャッタースピードで撮影した画像と通常のシャッタースピードで撮影した画像とが組み合わされてもよい。これにより、補正後の画像データが圧縮された場合においても、診療者UTが把握したい低階調の情報が適切に8Kモニタ装置22で再生される。
In addition, the following processing can be adopted for correcting image data in the above-mentioned embodiment. That is, for example, the
また、上述の実施形態において、ガンマ値の補正は、画像補正部112において行われるものとしたが、特にこれに限定されない。即ち例えば、ガンマ値や色彩の補正は、画像補正部112及び画像補正部212が協働することにより実現されてもよい。これにより、補正の微調整やそれに伴う画像の再送等がなく効率的な運用が可能となる。
In addition, in the above embodiment, gamma value correction is performed in the
また例えば、受診者システム1は、受診者端末11と、光源12と、8Kカメラ装置14と、マイク15と、スピーカ16と、処置装置17とを含むように構成されているものとしたが、特にこれに限定されない。即ち例えば、受診者端末11は、光源12と、8Kカメラ装置14と、マイク15と、スピーカ16と、処置装置17とのいずれかに組み込まれていてもよく、光源12と、8Kカメラ装置14と、マイク15と、スピーカ16と、処置装置17とのうち任意のものを直接受診者端末11の一部として備えていてもよい。
For example, the
また例えば、診療者システム2は、診療者端末21と、8Kモニタ装置22とを含むように構成されているものとしたが、特にこれに限定されない。即ち例えば、診療者端末21は、8Kモニタ装置22に組み込まれていてもよく、8Kモニタ装置22を直接診療者端末21の一部として備えていてもよい。
For example, the
また、上述の実施形態において、画像補正部112や画像補正部212は、ガンマ値の補正により明暗の補正をしたり、色彩の補正のため色相を変化させるものとして説明したが、明暗の補正や色相の補正における具体的な補正のパラメータは特に限定されない。
即ち、補正においては、遠隔診療のため、遠隔診療の対象となる患部や術野の視認性を向上させた画像(例えば、肌補正画像PC)が得られれば、任意の補正が採用されてよい。
具体的には例えば、明暗の補正として、ガンマ値の変更する手法の他、明るさやコントラストを変更する手法、ガンマカーブを任意の形状に変更させる手法等、任意の手法を用いることができる。
また例えば、色彩の補正として、色相の変化量を指定する手法の他、原色毎のトーンカーブを任意の形状に変化させる手法等、任意の手法を用いることが出来る。
In addition, in the above-described embodiment, the
That is, in the correction, any correction may be adopted so long as an image (for example, a skin-corrected image PC) that improves the visibility of the affected area or surgical field that is the subject of the remote medical examination can be obtained for the remote medical examination.
Specifically, for example, in order to correct brightness, any method can be used, such as changing the gamma value, changing the brightness or contrast, or changing the gamma curve to a desired shape.
Further, for example, color correction can be performed by any method, such as a method of specifying the amount of change in hue, or a method of changing the tone curve for each primary color into an arbitrary shape.
また、図2に示すシステム構成、及び図3に示す受診者端末11のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
Furthermore, the system configuration shown in FIG. 2 and the hardware configuration of the
また、図4に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した各種処理を全体として実行できる機能が図2の遠隔診療システムSYSに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは、特に図4の例に限定されない。 The functional block diagram shown in FIG. 4 is merely an example and is not particularly limited. In other words, it is sufficient that the remote medical treatment system SYS in FIG. 2 is provided with the functionality to execute the various processes described above as a whole, and the functional blocks and databases used to realize this functionality are not particularly limited to the example in FIG. 4.
また、機能ブロック及びデータベースの存在場所も、図4に限定されず、任意でよい。
例えば受診者端末11側に配置された機能ブロック及びデータベースの少なくとも一部を、診療者端末21側、8Kカメラ装置14側、又は図示せぬ他の情報処理装置等に移譲してもよい。
Furthermore, the locations of the functional blocks and databases are not limited to those shown in FIG. 4 and may be arbitrary.
For example, at least a portion of the functional blocks and database arranged on the
また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
Furthermore, the above-described series of processes can be executed by hardware or software.
Furthermore, one functional block may be configured as a single piece of hardware, a single piece of software, or a combination of both.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
When the series of processes is executed by software, the program constituting the software is installed into a computer or the like from a network or a recording medium.
The computer may be a computer implemented with dedicated hardware.
Furthermore, the computer may be a computer capable of executing various functions by installing various programs, such as a server, a general-purpose smartphone, or a personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 The recording medium containing such a program may be configured not only as a removable medium (not shown) that is distributed separately from the device body in order to provide the program to the user, but also as a recording medium that is provided to the user in a state where it is already installed in the device body.
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In this specification, the steps of describing a program to be recorded on a recording medium include not only processes that are performed chronologically according to the order, but also processes that are not necessarily performed chronologically but are executed in parallel or individually.
以上をまとめると、本発明が適用される遠隔診療システムは、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
即ち、本発明が適用される遠隔診療システムは、
遠隔診療を受診する受診者(例えば図1の受診者UE)により利用される受診者システム(例えば図1や図2の受診者システム1)と、当該受診者を診療する診療者(例えば図1の診療者UT)により利用される診療者システム(例えば図1や図2の診療者システム2)と、を含む遠隔診療システムであって、
前記受診者システムは、
前記受診者を撮像する撮像装置(例えば図1や図4の8Kカメラ装置14)と、
前記撮像装置により撮像された第1画像データ(例えば図8のオリジナル画像PO-4のデータ)を取得する画像データ取得手段(例えば図4の画像データ取得部111)と、
前記第1画像データに基づく第1情報を診療者システムに送信する第1送信制御手段(例えば図4の送信制御部114)と、
を有する受診者端末(例えば図1や図4の受診者端末11)と、
を含み、
前記診療者システムは、
前記第1情報を受信する制御を実行する第1受信制御手段(例えば図4の画像データ受信制御部211)と、
前記第1情報に基づいて、第2画像データを表示する制御を実行する表示制御手段(例えば図4の表示制御部213)と、
を有する診療者端末(例えば図1や図4の診療者端末21)と、
前記診療者端末の制御により、前記受診者の像を含む画像を表示するモニタ装置(例えば図1や図4の8Kモニタ装置22)と、
を含み、
前記受診者端末又は前記診療者端末は、
前記第1画像データに基づいて、ガンマ値を補正することで前記第2画像データ(例えば図9の肌補正画像PCのデータ)とする。
これにより、視認性が向上した遠隔診療システムを利用できるようにすることができる。
In summary, the remote medical treatment system to which the present invention is applied is sufficient as long as it has the following configuration, and can take a variety of different forms.
That is, the remote medical treatment system to which the present invention is applied is as follows:
A remote medical care system including a patient system (e.g., a
The patient system includes:
An imaging device (for example, the
An image data acquisition unit (e.g., the image
A first transmission control means (e.g., the
A patient terminal (e.g., the
Including,
The clinician system includes:
a first reception control means (e.g., the image data reception control unit 211 in FIG. 4) for controlling reception of the first information;
A display control unit (e.g., the
A medical practitioner terminal (for example, the
A monitor device (e.g., the
Including,
The patient terminal or the clinician terminal includes:
The gamma value is corrected based on the first image data to obtain the second image data (for example, data of the skin correction image PC in FIG. 9).
This makes it possible to use a remote medical treatment system with improved visibility.
また、前記受診者端末又は前記診療者端末は、
前記受診者の肌の色の近傍において階調が大きくなるように前記ガンマ値を補正することで前記第2画像データとする、
ことができる。
In addition, the patient terminal or the medical practitioner terminal
The gamma value is corrected so that the gradation is increased in the vicinity of the skin color of the examinee, thereby obtaining the second image data.
be able to.
また、前記受診者端末又は前記診療者端末は、
前記受診者の肌の色の近傍において階調が大きくなるように、前記ガンマ値を補正すること及び前記撮像装置を制御することで感度を補正することのうち少なくとも一方により前記第2画像データとする、
ことができる。
In addition, the patient terminal or the medical practitioner terminal
The second image data is obtained by at least one of correcting the gamma value and correcting the sensitivity by controlling the imaging device so that gradation is increased in the vicinity of the skin color of the examinee.
be able to.
また、前記診療者システムは、
白色、1以上の灰色、及び黒色、並びに、前記受診者の肌の色に応じた色、を少なくとも含むカラーチャート(例えば図1や図6のカラーチャート13)、
をさらに含み、
前記撮像装置は、
前記カラーチャートを像として含んで撮像し、
前記受診者端末又は前記診療者端末は、
前記第1情報に含まれる、前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の1以上の灰色(例えば図6の無彩色チャート131)に基づいて前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色(例えば図6の肌チャート133や彩色チャート132に含まれる肌に近い色)に基づいて色彩を補正することで前記第2画像データとする、
ことができる。
In addition, the medical practitioner system includes:
A color chart including at least white, one or more grays, and black, as well as a color corresponding to the skin color of the examinee (e.g.,
Further comprising:
The imaging device includes:
Taking an image of the color chart,
The patient terminal or the clinician terminal includes:
The gamma value is corrected based on at least white, black, and one or more intermediate grays (e.g.,
be able to.
前記受診者端末は、
前記第1画像データに基づいて、前記第1画像データの前記ガンマ値を補正する第1画像補正手段(例えば図4の画像補正部112)と、
前記第1画像補正手段により補正された画像データ(例えば図9の肌補正画像PCのデータ)に対して、データ圧縮処理を実行するデータ圧縮処理手段(例えば図4のデータ圧縮処理部113)と、
を有し、
前記第1送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第1情報として送信する、
ことができる。
The patient terminal includes:
a first image correction unit (e.g., the
a data compression processing unit (e.g., the data
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
be able to.
前記診療者端末は、
前記診療者から画像データの補正指示を受付ける指示受付手段(例えば図4の指示受付部214)と、
前記補正指示を少なくとも含む第2情報を前記受診者端末に送信する制御を実行する第2送信制御手段(例えば図4の送信制御部216)と、
を更に有し、
前記受診者端末は、
前記第2情報を受信する制御を実行する第2受信制御手段(例えば図4の受信制御部115)、
を更に有し、
前記第1画像補正手段は、
前記第2情報に含まれる前記補正指示に基づいて、前記第1画像データの前記ガンマ値を補正する、
ことができる。
The medical practitioner terminal includes:
An instruction receiving unit (e.g., the
A second transmission control means (e.g., the
Further comprising:
The patient terminal includes:
A second reception control means (e.g., the
and
The first image correction means
correcting the gamma value of the first image data based on the correction instruction included in the second information;
be able to.
前記受診者端末は、
前記第1画像データの前記ガンマ値を補正する第1画像補正手段と、
前記第1画像補正手段により補正された画像データに対して、データ圧縮処理を実行するデータ圧縮処理手段と、
を有し、
前記第1送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第1情報として送信し、
前記診療者端末は、
前記第1情報に含まれる、前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の1以上の灰色に基づいて白色から黒色の間において均等な階調となるように前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色とは異なる色に基づいて色彩を補正することで標準画像データとする第2画像補正手段(例えば図4の画像補正部212)、
を更に備え、
前記表示制御手段は、
前記第1情報に含まれる前記第1画像補正手段により補正された画像データ(例えば図9の肌補正画像PCのデータ)、及び前記標準画像データ(例えば図9の肌補正画像PCのデータから補正して再現された図8のオリジナル画像PO-4に相当するデータ)の夫々に対応する画像を含んで表示する制御を実行する、
ことができる。
The patient terminal includes:
a first image correction means for correcting the gamma value of the first image data;
a data compression processing means for performing a data compression process on the image data corrected by the first image correction means;
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
The medical practitioner terminal includes:
a second image correction means (e.g., the
Further comprising:
The display control means
Execute control to display images corresponding to the image data corrected by the first image correction means included in the first information (e.g., data of the skin correction image PC in FIG. 9) and the standard image data (e.g., data corresponding to the original image PO-4 in FIG. 8 reproduced by correcting the data of the skin correction image PC in FIG. 9),
be able to.
前記第1画像補正手段は、
前記診療者を照らす光源の波長スペクトルに基づいて、前記第1画像データのガンマ値、及び、前記色彩を補正する、
ことができる。
The first image correction means
correcting the gamma value and the color of the first image data based on the wavelength spectrum of a light source illuminating the clinician;
be able to.
前記撮像装置は、
第1方向に7,680ピクセル以上の画素を有し、当該第1方向と直行する第2方向に4,320ピクセル以上の画素を有する、
ことができる。
The imaging device includes:
A pixel having 7,680 pixels or more in a first direction and 4,320 pixels or more in a second direction perpendicular to the first direction.
be able to.
SYS・・・遠隔診療システム、1・・・受診者システム、11・・・受診者端末、12・・・光源、13・・・カラーチャート、131・・・無彩色チャート、132・・・彩色チャート、133・・・肌チャート、133-1・・・第1肌色、133-2・・・第2肌色、133-3・・・第3肌色、133-4・・・第4肌色、14・・・カメラ装置、15・・・マイク、16・・・スピーカ、17・・・処置装置、2・・・診療者システム、21・・・診療者端末、22・・・モニタ装置、23・・・カラーチャート、24・・・マイク、25・・・スピーカ、111・・・画像データ取得部、112・・・画像補正部、113・・・データ圧縮処理部、114・・・送信制御部、115・・・受信制御部、116・・・装置制御部、211・・・画像データ受信制御部、212・・・画像補正部、213・・・表示制御部、214・・・指示受付部、215・・・診療内容受付部、216・・・送信制御部、31,61・・・CPU、40・・・ドライブ、50・・・リムーバブルメディア、S11乃至S20・・・ステップ SYS... Remote medical treatment system, 1... Patient system, 11... Patient terminal, 12... Light source, 13... Color chart, 131... Achromatic color chart, 132... Color chart, 133... Skin chart, 133-1... First skin color, 133-2... Second skin color, 133-3... Third skin color, 133-4... Fourth skin color, 14... Camera device, 15... Microphone, 16... Speaker, 17... Treatment device, 2... Clinician system, 21... Clinician terminal, 22... Monitor device, 23... Color chart chart, 24... microphone, 25... speaker, 111... image data acquisition unit, 112... image correction unit, 113... data compression processing unit, 114... transmission control unit, 115... reception control unit, 116... device control unit, 211... image data reception control unit, 212... image correction unit, 213... display control unit, 214... instruction reception unit, 215... medical treatment content reception unit, 216... transmission control unit, 31, 61... CPU, 40... drive, 50... removable media, S11 to S20... steps
Claims (8)
前記受診者システムは、
前記受診者を撮像する撮像装置と、
前記撮像装置により撮像された第1画像データを取得する画像データ取得手段と、
前記第1画像データに基づく第1情報を診療者システムに送信する第1送信制御手段と、
を有する受診者端末と、
を含み、
前記診療者システムは、
前記第1情報を受信する制御を実行する第1受信制御手段と、
前記第1情報に基づいて第2画像データを表示する制御を実行する表示制御手段と、
を有する診療者端末と、
前記診療者端末の制御により、前記受診者の像を含む画像を表示するモニタ装置と、
を含み、
前記受診者端末又は前記診療者端末は、
前記第1画像データに基づいて、ガンマ値を補正することで前記第2画像データとする、
遠隔診療システム。 A remote medical care system including a patient system used by a patient who receives remote medical care and a medical practitioner system used by a medical practitioner who treats the patient,
The patient system includes:
an imaging device for imaging the patient;
an image data acquisition means for acquiring first image data captured by the imaging device;
A first transmission control means for transmitting first information based on the first image data to a medical practitioner system;
A patient terminal having
Including,
The clinician system includes:
a first reception control means for executing control for receiving the first information;
a display control means for controlling display of second image data based on the first information;
A clinician terminal having
A monitor device that displays an image including an image of the examinee under the control of the medical practitioner terminal;
Including,
The patient terminal or the medical practitioner terminal,
correcting a gamma value based on the first image data to obtain the second image data;
Remote medical treatment system.
前記受診者の肌の色の近傍において階調が大きくなるように、前記ガンマ値を補正すること及び前記撮像装置を制御することで感度を補正することのうち少なくとも一方により前記第2画像データとする、
請求項1に記載の遠隔診療システム。 The patient terminal or the clinician terminal includes:
The second image data is obtained by at least one of correcting the gamma value and correcting the sensitivity by controlling the imaging device so that gradation is increased in the vicinity of the skin color of the examinee.
The remote medical treatment system according to claim 1 .
白色、1以上の灰色、及び黒色、並びに、前記受診者の肌の色に応じた色、を少なくとも含むカラーチャート、
をさらに含み、
前記撮像装置は、
前記カラーチャートを像として含んで撮像し、
前記受診者端末又は前記診療者端末は、
前記第1情報に含まれる前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の1以上の灰色に基づいて前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色に基づいて色彩を補正することで前記第2画像データとする、
請求項2に記載の遠隔診療システム。 The clinician system includes:
a color chart including at least white, one or more grays, and black, and a color corresponding to the skin color of the examinee;
Further comprising:
The imaging device includes:
Taking an image of the color chart,
The patient terminal or the clinician terminal includes:
the gamma value is corrected based on at least white, black, and one or more intermediate grays among the colors included in the image of the color chart included in the first information, and the color is corrected based on a color corresponding to the skin color of the examinee among the colors included in the image of the color chart, thereby obtaining the second image data.
The remote medical treatment system according to claim 2.
前記第1画像データのガンマ値を補正する第1画像補正手段と、
前記第1画像補正手段により補正された画像データに対して、データ圧縮処理を実行するデータ圧縮処理手段と、
を有し、
前記第1送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第1情報として送信する、
請求項1乃至3のうち何れか1項に記載の遠隔診療システム。 The patient terminal includes:
a first image correction means for correcting a gamma value of the first image data;
a data compression processing means for performing a data compression process on the image data corrected by the first image correction means;
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
The remote medical treatment system according to any one of claims 1 to 3.
前記診療者から画像データの補正指示を受付ける指示受付手段と、
前記補正指示を少なくとも含む第2情報を前記受診者端末に送信する制御を実行する第2送信制御手段と、
を更に有し、
前記受診者端末は、
前記第2情報を受信する制御を実行する第2受信制御手段、
を更に有し、
前記第1画像補正手段は、
前記第2情報に含まれる前記補正指示に基づいて、前記第1画像データの前記ガンマ値を補正する、
請求項4に記載の遠隔診療システム。 The medical practitioner terminal includes:
An instruction receiving means for receiving an instruction to correct the image data from the practitioner;
a second transmission control means for executing control to transmit second information including at least the correction instruction to the patient terminal;
and
The patient terminal includes:
A second reception control means for executing control for receiving the second information;
and
The first image correction means
correcting the gamma value of the first image data based on the correction instruction included in the second information;
The remote medical treatment system according to claim 4.
前記第1画像データの前記ガンマ値を補正する第1画像補正手段と、
前記第1画像補正手段により補正された画像データに対して、データ圧縮処理を実行するデータ圧縮処理手段と、
を有し、
前記第1送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第1情報として送信し、
前記診療者端末は、
前記第1情報に含まれる、前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の1以上の灰色に基づいて白色から黒色の間において均等な階調となるように前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色とは異なる色に基づいて色彩を補正することで標準画像データとする第2画像補正手段、
を更に備え、
前記表示制御手段は、
前記第1情報に含まれる前記第1画像補正手段により補正された画像データ、及び前記標準画像データの夫々に対応する画像を含んで表示する制御を実行する、
請求項3に記載の遠隔診療システム。 The patient terminal includes:
a first image correction means for correcting the gamma value of the first image data;
a data compression processing means for performing a data compression process on the image data corrected by the first image correction means;
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
The medical practitioner terminal includes:
a second image correction means for correcting the gamma value based on at least white, black, and one or more intermediate grays among the colors included in the image of the color chart included in the first information so as to obtain uniform gradation between white and black, and for correcting colors based on colors different from the colors corresponding to the skin color of the examinee among the colors included in the image of the color chart, thereby obtaining standard image data;
Further comprising:
The display control means
executes control to display images corresponding to the image data corrected by the first image correction means and the standard image data, which are included in the first information;
The remote medical treatment system according to claim 3.
前記診療者を照らす光源の波長スペクトルに基づいて、前記第1画像データのガンマ値、及び、色彩のうち少なくとも一方を補正する、
請求項4に記載の遠隔診療システム。 The first image correction means
correcting at least one of a gamma value and a color of the first image data based on a wavelength spectrum of a light source illuminating the clinician;
The remote medical treatment system according to claim 4.
第1方向に7,680ピクセル以上の画素を有し、当該第1方向と直行する第2方向に4,320ピクセル以上の画素を有する、
請求項4に記載の遠隔診療システム。 The imaging device includes:
A pixel having 7,680 pixels or more in a first direction and 4,320 pixels or more in a second direction perpendicular to the first direction.
The remote medical treatment system according to claim 4.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022180436 | 2022-11-10 | ||
JP2022180436 | 2022-11-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024070262A true JP2024070262A (en) | 2024-05-22 |
Family
ID=91121858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023192293A Pending JP2024070262A (en) | 2022-11-10 | 2023-11-10 | Remote medical treatment system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2024070262A (en) |
-
2023
- 2023-11-10 JP JP2023192293A patent/JP2024070262A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7613335B2 (en) | Methods and devices useful for analyzing color medical images | |
US8027533B2 (en) | Method of automated image color calibration | |
JP5594711B2 (en) | Method for enhancing in-vivo image contrast | |
US20090092297A1 (en) | Image processing apparatus, image processing system and image processing program | |
BRPI0609099A2 (en) | biological observation apparatus | |
BRPI0610260A2 (en) | biological observation apparatus | |
JP2001258044A (en) | Medical use image processing unit | |
JP4617470B2 (en) | Image conversion apparatus and image conversion program | |
JP2006254309A (en) | Photographing system | |
CN111568352A (en) | Endoscope system with light source spectrum automatically adjusted and spectrum adjusting method thereof | |
US20220211251A1 (en) | Image processing device, endoscope system, and method of operating image processing device | |
Hsiao et al. | Identified early stage mycosis fungoides from psoriasis and atopic dermatitis using non-invasive color contrast enhancement by LEDs lighting | |
US7433532B2 (en) | Max entropy optimized retinal camera | |
US20230237659A1 (en) | Image processing apparatus, endoscope system, operation method of image processing apparatus, and non-transitory computer readable medium | |
JP2024070262A (en) | Remote medical treatment system | |
CN115736791B (en) | Endoscopic imaging device and method | |
Kurabuchi et al. | Optimal design of illuminant for improving intraoperative color appearance of organs | |
CN111936031A (en) | Medical image processing apparatus | |
Yamaguchi et al. | Color reproducibility of skin lesions in multispectral video: Experimental evaluation | |
Babilon et al. | Spectral reflectance estimation of organic tissue for improved color correction of video-assisted surgery | |
Niu et al. | A comprehensive study on color correction for medical facial images | |
CN113474710B (en) | Color correction device for medical equipment, medical image display system, and recording medium | |
CN113259648B (en) | Endoscope camera image processing equipment and method | |
US12048415B2 (en) | Color correction device for medical apparatus | |
WO2010025122A1 (en) | Method for measuring disease probability |