JP2024070262A

JP2024070262A - Remote medical treatment system

Info

Publication number: JP2024070262A
Application number: JP2023192293A
Authority: JP
Inventors: 敏雄千葉; 権太郎北角; 矢口　博久; 泰市郎栗田
Original assignee: Medical Innovation Consortium ISH
Current assignee: Medical Innovation Consortium ISH
Priority date: 2022-11-10
Filing date: 2023-11-10
Publication date: 2024-05-22

Abstract

【課題】視認性が向上した遠隔診療システムを提供すること。【解決手段】遠隔診療の受診者端末１１の画像補正部１１２は、８Ｋカメラ装置１４により撮像された画像データに基づいて、ガンマ値を補正して、補正された画像データとする。データ圧縮処理部１１３は、補正された画像データに対して、データ圧縮処理を実行する。送信制御部１１４は、データ圧縮処理された補正された画像データを送信する制御を実行する。表示制御部２１３は、補正された画像データ及び、補正された画像データに基づいて生成された標準画像データの夫々に対応する画像を含んで、８Ｋモニタ装置２２に表示する制御を実行する。【選択図】図４[Problem] To provide a remote medical treatment system with improved visibility. [Solution] An image correction unit 112 of a remote medical treatment patient terminal 11 corrects the gamma value based on image data captured by an 8K camera device 14 to generate corrected image data. A data compression processing unit 113 executes data compression processing on the corrected image data. A transmission control unit 114 executes control to transmit the corrected image data that has been subjected to data compression processing. A display control unit 213 executes control to display on an 8K monitor device 22 images including images corresponding to the corrected image data and standard image data generated based on the corrected image data. [Selected Figure] Figure 4

Description

本発明は、遠隔診療システムに関する。 The present invention relates to a remote medical treatment system.

対面診療と同様の遠隔診療を実現するべく、ビデオ通話を用いて遠隔診療をおこない、処方箋や診療録を管理させる技術が提案されている（例えば、特許文献１参照）。 In order to realize remote medical treatment similar to face-to-face medical treatment, technology has been proposed that uses video calls to conduct remote medical treatment and manage prescriptions and medical records (see, for example, Patent Document 1).

特開２０１７－１４６９１４号公報JP 2017-146914 A

特許文献１の技術を含め従来の技術においては、ビデオ通話を用いて口頭での問診等を行うことはできた。しかしながら、診療を行うため、患部や術野の視認性を向上したいという要望が近年挙げられているが、このような要望に十分に応えることができていない状況である。 Conventional technologies, including the technology of Patent Document 1, have made it possible to conduct oral interviews and the like using video calls. However, while there has been a demand in recent years for improved visibility of the affected area and surgical field for medical treatment, the current situation is that such demands have not been adequately met.

本発明は、このような状況を鑑みてなされたものであり、視認性が向上した遠隔診療システムを利用できるようにすることを目的とする。 The present invention was made in consideration of these circumstances, and aims to make it possible to use a remote medical treatment system with improved visibility.

上記目的を達成するため、本発明の一態様の情報処理システムは、
遠隔診療を受診する受診者により利用される受診者システムと、当該受診者を診療する診療者により利用される診療者システムと、を含む遠隔診療システムであって、
前記受診者システムは、
前記受診者を撮像する撮像装置と、
前記撮像装置により撮像された第１画像データを取得する画像データ取得手段と、
前記第１画像データに基づく第１情報を診療者システムに送信する第１送信制御手段と、
を有する受診者端末と、
を含み、
前記診療者システムは、
前記第１情報を受信する制御を実行する第１受信制御手段と、
前記第１情報に基づいて第２画像データを表示する制御を実行する表示制御手段と、
を有する診療者端末と、
前記診療者端末の制御により、前記受診者の像を含む画像を表示するモニタ装置と、
を含み、
前記受診者端末又は前記診療者端末は、
前記第１画像データに基づいて、ガンマ値を補正することで前記第２画像データとする、
遠隔診療システム。 In order to achieve the above object, an information processing system according to one aspect of the present invention comprises:
A remote medical care system including a patient system used by a patient who receives remote medical care and a medical practitioner system used by a medical practitioner who treats the patient,
The patient system includes:
an imaging device for imaging the patient;
an image data acquisition means for acquiring first image data captured by the imaging device;
A first transmission control means for transmitting first information based on the first image data to a medical practitioner system;
A patient terminal having
Including,
The clinician system includes:
a first reception control means for executing control for receiving the first information;
a display control means for controlling the display of second image data based on the first information;
A clinician terminal having
A monitor device that displays an image including an image of the examinee under the control of the medical practitioner terminal;
Including,
The patient terminal or the clinician terminal includes:
correcting a gamma value based on the first image data to obtain the second image data;
Remote medical treatment system.

本発明の一態様の情報処理装置は、本発明の一態様の遠隔診療システムを構成する情報処理装置である。
また、本発明の一態様の情報処理方法及びプログラムの夫々は、本発明の一態様の遠隔診療システムに対応する方法及びプログラムの夫々である。 An information processing device according to one aspect of the present invention is an information processing device constituting a remote medical treatment system according to one aspect of the present invention.
Furthermore, each of an information processing method and a program according to one aspect of the present invention is a method and a program corresponding to a remote medical treatment system according to one aspect of the present invention.

本発明によれば、視認性が向上した遠隔診療システムを利用できるようにすることができる。 The present invention makes it possible to use a remote medical care system with improved visibility.

本発明の一実施形態に係る遠隔診療システムにより実現可能となる本サービスの概要を示す図である。FIG. 1 is a diagram showing an overview of the service that can be realized by a remote medical treatment system according to one embodiment of the present invention. 本発明の一実施形態に係る遠隔診療システムの構成のうち、情報処理に関する構成の一例を示す図である。FIG. 2 is a diagram showing an example of a configuration related to information processing in the configuration of a remote medical treatment system according to one embodiment of the present invention. 図２に示す遠隔診療システムのうち受診者端末のハードウェア構成の一例を示すブロック図である。3 is a block diagram showing an example of a hardware configuration of a patient terminal in the remote medical care system shown in FIG. 2. 図２の遠隔診療システムを構成する受診者端末及び診療者端末の機能的構成の一例を示す機能ブロック図である。FIG. 3 is a functional block diagram showing an example of the functional configuration of a patient terminal and a clinician terminal constituting the remote medical care system of FIG. 2 . 図４の機能的構成を有する遠隔診療システムにより実行される、遠隔診療処理の流れの一例を説明するフローチャートである。5 is a flowchart illustrating an example of the flow of a remote medical treatment process executed by a remote medical treatment system having the functional configuration of FIG. 4 . 図１のカラーチャートに含まれる色の構成の一例を示す図である。FIG. 2 is a diagram showing an example of a configuration of colors included in the color chart of FIG. 1 . 肌の色と皮膚に関する診療の容易性の違いのイメージを示す図である。This figure shows an image of the difference between skin color and the ease of skin-related medical treatment. 図７に示す肌の色のうち、メラノーマ候補に関する診療の容易性が異なる例をより具体的に示す図である。FIG. 8 is a diagram specifically illustrating examples of skin colors shown in FIG. 7 that differ in the ease of medical treatment for melanoma candidates. 図４に示す機能的構成を有する遠隔診療システムにより提供される、診療用画像の一例を示す図である。5 is a diagram showing an example of a diagnostic image provided by a remote medical examination system having the functional configuration shown in FIG. 4. 図９に示す診療用画像が提供される例について説明する図である。FIG. 10 is a diagram for explaining an example in which the diagnostic image shown in FIG. 9 is provided.

以下、本発明の実施形態について、図面を用いて説明する。 The following describes an embodiment of the present invention with reference to the drawings.

まず、図１を参照して、本発明の一実施形態に係る遠隔診療システム（後述する図２参照）により実現可能となるサービス（以下、「本サービス」と呼ぶ）の概要について説明する。
本サービスは、遠隔診療を受診する受診者ＵＥ、及び、受診者ＵＥの遠隔診療をする診療者ＵＴに、より利便性の向上した遠隔診療の環境を提供するものである。ここで、「遠隔診療」とは、健康増進及び医療に関する行為等を、情報通信機器を活用し画像を用いて行うことをいう。 First, with reference to FIG. 1, an overview of a service (hereinafter referred to as "this service") that can be realized by a remote medical treatment system according to one embodiment of the present invention (see FIG. 2 described later) will be described.
This service provides a more convenient remote medical environment for patients UE who receive remote medical treatment and for clinicians UT who provide remote medical treatment to patients UE. Here, "remote medical treatment" refers to the use of information and communication devices to perform health promotion and medical procedures using images.

本サービスにより、受診者ＵＥは、診療者ＵＴの診療を受けることが困難な場所において、診療を受けることができるようになる。また、本サービスにより、診療者ＵＴは、より容易に受診者ＵＥの状態をより視認性の良い状態で診療することが出来るようになる。
そして、診療者ＵＴは、受診者ＵＥに対して診療の結果を伝えたり、処置を行うこともできる。
即ち、診療者ＵＴ及び受診者ＵＥは、より利便性の高い遠隔診療の環境が得られる。 This service enables the patient UE to receive medical treatment in a place where it is difficult for the doctor UT to receive medical treatment. This service also enables the doctor UT to more easily treat the patient UE with better visibility of the patient's condition.
The practitioner UT can then inform the patient UE of the results of the medical treatment and perform treatment.
In other words, the clinician UT and the patient UE can obtain a more convenient remote medical environment.

ここで、遠隔診療の重要性、及び、従来の遠隔診療において診療者に提供される画像における受診者の患部や術野等の視認性が悪かった理由について説明する。 Here, we explain the importance of remote medical care and why visibility of the affected area and surgical field of the patient was poor in images provided to the doctor in conventional remote medical care.

近年、遠隔診療に対するニーズはより一層たかまっている。
先進国においては、大病院や著名な医師による診療を受けるには、受診者又は診療者が相手のもとへ出向く必要がある。また、遠隔診療を用いれば、受診者の交代等の時間が短縮され多くの受診者を診療できる可能性がある。 In recent years, the need for remote medical care has increased.
In developed countries, to receive medical treatment at large hospitals or from renowned doctors, patients or practitioners must travel to the patient's location. However, remote medical care can potentially reduce the time it takes for patients to change places, allowing more patients to be treated.

特に、発展途上国においては、医療従事者等の人数が十分ではない。そこで、近隣国や先進国の医療従事者を診療者ＵＴとして遠隔診療をすることが求められていた。
さらに言えば、診療科毎の医療従事者の比率は異なり、例えば、内科医や外科医と比較して、皮膚科医の人数はいずれの国においても少ないのが通常である。その結果、発展途上国によっては、国内に皮膚科医は数人しかいない、ということもある。 In particular, in developing countries, the number of medical professionals is insufficient. Therefore, there is a demand for remote medical treatment using medical professionals from neighboring countries or developed countries as UTs.
Moreover, the ratio of medical professionals to medical specialties varies – for example, the number of dermatologists is usually low in any country compared to physicians and surgeons – and as a result, some developing countries may have only a few dermatologists in their country.

内科や外科はただちに命に係わる病気も多いが、皮膚科にも命に係わる病気があるのは言うまでもない。具体的には例えば、メラノーマ（悪性黒色腫）は、皮膚のメラニン色素を作る色素細胞ががん化した腫瘍であって、一見、ほくろのように見える。即ち、メラノーマは、最終的に全身へのがんの転移を呼び起こし、死に至らしめる命に係わる病である。 While there are many immediately life-threatening illnesses in internal medicine and surgery, it goes without saying that there are also life-threatening illnesses in dermatology. For example, melanoma (malignant melanoma) is a cancerous tumor of the pigment cells that produce the melanin pigment in the skin, and at first glance it looks like a mole. In other words, melanoma is a life-threatening disease that ultimately causes the cancer to metastasize throughout the body, leading to death.

このように、発展途上国といった医師の少ない環境において、遠隔診療に対するニーズは特に高まっている。
以下、メラノーマの候補（以下、「メラノーマ候補」と呼ぶ）が、メラノーマであるかほくろであるかを判断する診療を例に用いて説明する。
メラノーマは、メラノーマと地肌との色の境界、即ちメラノーマの輪郭がはっきりしていない。また、メラノーマは、単に一様に膨らむのではなく、メラノーマ内に凹凸が発生することがある。一方、ほくろは、ほくろと、地肌との色の境界がはっきりしている。
そこで、診療者は、メラノーマの候補が含まれる診療者の画像を注視して、メラノーマであるかほくろであるかを判断する。 As such, the need for remote medical care is particularly high in environments with few doctors, such as developing countries.
Hereinafter, an example of medical treatment for determining whether a melanoma candidate (hereinafter referred to as a "melanoma candidate") is a melanoma or a mole will be described.
In melanoma, the border between the color of the melanoma and the skin, that is, the outline of the melanoma, is not clear. Also, melanoma does not simply swell uniformly, but may have bumps and depressions within the melanoma. On the other hand, in the case of moles, the border between the color of the mole and the skin is clear.
The practitioner then stares at the image of the practitioner that includes the melanoma candidate and determines whether it is a melanoma or a mole.

ここで、受診者には、各種各様な人種が想定される。特に、従来の対面の診療においても、黒人のメラノーマの候補は、診断が難しいことで知られている。即ち、メラノーマの候補と黒人の地肌との色の境界は視認が難しい。 Patients are expected to be of various races. In particular, even in traditional face-to-face medical examinations, it is known that diagnosing melanoma candidates in black people is difficult. In other words, it is difficult to visually distinguish the color boundary between melanoma candidates and the skin of black people.

このように、遠隔診療においては診療者の画像を視認して得られる情報を活用して診療を行う必要がある。具体的には例えば、その他の皮膚科の疾患はもちろん、内科の疾患における顔色や肌色の判断、外科における患部の外観、色味を視認することは重要である。
本サービスでは、このような黒人のメラノーマの候補に関する診療にも利用可能な、利便性や視認性が向上した遠隔診療システムを提供するものである。 In this way, in remote medical care, it is necessary to use information obtained by visually checking images of the doctor. Specifically, for example, it is important to visually check the complexion and skin color of internal medicine diseases, as well as the appearance and color of the affected area in surgery, as well as other dermatological diseases.
This service provides a remote medical examination system with improved convenience and visibility that can also be used to treat melanoma suspects in black patients.

次に、従来の遠隔診療において診療者に提供される画像における受診者の患部や術野等の視認性が悪かった理由について説明する。 Next, we will explain why visibility of the patient's affected area, surgical field, etc. was poor in images provided to the clinician in conventional remote medical care.

第１に、診療者に提供される画像の画素数は十分ではなかった。例えば、診療者に提供される画像は、ＦｕｌｌＨＤ（ＦｕｌｌＨｉｇｈＤｅｆｉｎｉｓｉｏｎ、横１，９２０ピクセル、縦１，０８０ピクセル）等の画素数であった。また例えば、ＳＤ（ＳｔａｎｄａｒｄＤｅｆｉｎｉｓｉｏｎ、横７２０ピクセル、縦４８０ピクセル）等の画素数のカメラ等も存在する。 First, the number of pixels in the images provided to the practitioner was insufficient. For example, the images provided to the practitioner had a pixel count of Full HD (Full High Definition, 1,920 pixels wide, 1,080 pixels high). There are also cameras with a pixel count of SD (Standard Definition, 720 pixels wide, 480 pixels high).

本サービスでは、８Ｋ（横７，６８０ピクセル、縦４，３２０ピクセル）の画素数のカメラやモニタが利用される。これにより、診療者ＵＴはより高精細な受診者ＵＥの像を得ることが出来る。 This service uses cameras and monitors with a pixel count of 8K (7,680 pixels horizontally, 4,320 pixels vertically). This allows the doctor (UT) to obtain a higher-resolution image of the patient (UE).

なお、適宜、８Ｋより低い画素数の撮像装置を採用することも出来る。
具体的には例えば、４Ｋ（横３，８４０ピクセル、縦２，１６０ピクセル）の画素数のカメラやモニタを採用してもよい。これにより、診療者ＵＴは一般的であるＦｕｌｌＨＤと比較してより高精細な受診者ＵＥの像を得ることができる。
また例えば、８Ｋや４Ｋの画素数のカメラを採用し、ＦｕｌｌＨＤ（横１，９２０ピクセル、縦１，０８０ピクセル）のモニタを用いてもよい。この場合、診療者ＵＴは、補完処理等無しに拡大表示することが出来る。 In addition, an imaging device with a pixel count lower than 8K can also be used as appropriate.
Specifically, for example, a camera or monitor with a pixel count of 4K (3,840 pixels horizontally and 2,160 pixels vertically) may be used. This allows the doctor/clinician UT to obtain a higher-definition image of the examinee UE compared to the general Full HD.
Also, for example, a camera with 8K or 4K pixels may be used, and a monitor with Full HD (1,920 pixels horizontally and 1,080 pixels vertically) may be used. In this case, the practitioner UT can enlarge and display the image without performing any interpolation processing.

また例えば、ＦｕｌｌＨＤ（横１，９２０ピクセル、縦１，０８０ピクセル）の画素数のカメラやモニタを採用してもよい。この場合、拡大表示や画素数による一般的な画像処理装置と比較して高画素数による高精細な画像の提供は実現されない。しかしながら、診療者ＵＴは、後述の明暗の補正や色彩の補正を利用した、遠隔診療に適した受診者ＵＥの像を得ることが出来る。 For example, a camera or monitor with a pixel count of Full HD (1,920 pixels horizontally and 1,080 pixels vertically) may be used. In this case, it is not possible to provide a high-resolution image with a high pixel count compared to general image processing devices that use enlarged display or pixel counts. However, the clinician UT can obtain an image of the patient UE suitable for remote medical treatment by using the brightness and color correction described below.

また、後述するするように、カメラ装置として、スマートフォンに備えられたカメラを用いてもよい。これにより安価にシステムを構築することができ、所定の水準以上の遠隔診療サービスを供することができる。 As described below, a camera installed in a smartphone may be used as the camera device. This allows a system to be built inexpensively and provides remote medical care services at or above a certain level.

第２に、診療者に提供される画像の色彩の再現性は十分ではなかった。例えば、診療者に提供される画像は、受診者が撮像される環境に大きく依存する。具体的には例えば、光源の種類が、太陽光、曇り空の下、白熱電球、蛍光灯、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）灯、カーテン等の所定物を透過した光であるのかにより、その光の波長スペクトルは大きく異なる。なお、いわゆる光の波長スペクトルのグラフは、所定の測定位置に到達する光を構成する数多くの周波数の光の強度の情報を含んでいる。 Secondly, the color reproducibility of the image provided to the practitioner was insufficient. For example, the image provided to the practitioner is highly dependent on the environment in which the patient is imaged. Specifically, the wavelength spectrum of light varies greatly depending on the type of light source, for example, sunlight, cloudy skies, incandescent light bulbs, fluorescent lights, LED (Light Emitting Diode) lights, or light that has passed through a specified object such as a curtain. A graph of the so-called wavelength spectrum of light contains information on the intensity of light at many frequencies that make up the light that reaches a specified measurement position.

そして、受診者の画像は、受診者を照らす光源の光が反射したものである。即ち、光源の種類により、受診者からカメラに入射する光の波長スペクトルは、異なったものとなる。
さらに、通常のカメラは、各ピクセルについて、光の三原色の光の強度の組として記録する。その結果、受診者からカメラに入射した光の波長スペクトルの情報は、光の三原色の光の強度の組の情報に圧縮される。
診療者側で受診者側について完全に再現した画像の再生をすることは困難である。
即ち、診療者は、受診者の肌や患部、術野等の色彩を正確に認識することは困難であった。 The image of the patient is a reflection of the light from the light source that illuminates the patient. That is, the wavelength spectrum of the light that enters the camera from the patient varies depending on the type of light source.
Furthermore, a typical camera records each pixel as a set of light intensities of the three primary colors of light, so that the information of the wavelength spectrum of light incident on the camera from the patient is compressed into information of a set of light intensities of the three primary colors of light.
It is difficult for the doctor to reproduce an image that perfectly matches the patient's appearance.
That is, it has been difficult for the practitioner to accurately recognize the color of the patient's skin, the affected area, the surgical field, and the like.

このため、演色性の高い光源を用い、校正された撮影装置と、校正された表示装置を用いることが望ましい。また、光源、撮影装置及び表示装置、若しくは、標準化された校正の基準に基づいて評価された光源、撮影装置及び表示装置を用いることが望ましい。
しかしながら、受診者ＵＥの置かれた環境によっては、演色性の高い光源、例えば、太陽光や演色性の高い照明器具を用意することも困難であることが多い。 For this reason, it is desirable to use a light source with high color rendering properties, a calibrated image capture device, and a calibrated display device. It is also desirable to use a light source, an image capture device, and a display device, or a light source, an image capture device, and a display device that have been evaluated based on standardized calibration criteria.
However, depending on the environment in which the patient UE is placed, it is often difficult to provide a light source with high color rendering, such as sunlight or a lighting fixture with high color rendering.

そこで、本サービスでは、受診者側及び診療者側にカラーチャートが提供される。これにより、診療者ＵＴはより高精細な受診者ＵＥの色を容易に把握することが出来る。 Therefore, this service provides color charts to both the patient and the practitioner. This allows the practitioner UT to easily grasp the color of the patient UE in higher resolution.

第３に、診療者に提供される画像の色彩のみならず、明暗等の画像の補正の品質も十分ではなかった。即ち、受診者の画像のデータは、診療者まで所定の通信網を用いて授受される。このとき、受診者の画像のデータは、所定の動画圧縮アルゴリズムを用いて圧縮されるのが通常である。特に、動画分野においては、圧縮前のデータと、圧縮・展開を経たデータとが完全には一致しない非可逆圧縮のアルゴリズムが採用されるのが通常である。
具体的には例えば、非可逆圧縮のアルゴリズムは、画像内において非類似の色同士を異なる色として扱い、画像内において類似の色同士を同じ色（あるいは同系色）として扱うことで、色数（階調）を削減することで画像データのデータサイズを削減する。
このような非可逆かつ大きな圧縮率の圧縮は、発展途上国の通信網においては、重要である。 Thirdly, the quality of image correction, such as not only the color of the image provided to the practitioner, but also the brightness and darkness, was insufficient. That is, the image data of the patient is transmitted to the practitioner via a specified communication network. At this time, the image data of the patient is usually compressed using a specified video compression algorithm. Particularly in the field of video, it is common to adopt a lossy compression algorithm in which the data before compression and the data after compression and expansion do not completely match.
Specifically, for example, a lossy compression algorithm treats dissimilar colors within an image as different colors and treats similar colors within an image as the same color (or similar colors), thereby reducing the number of colors (gradations) and thereby reducing the data size of the image data.
Such lossy and high-compression ratio compression is important in the communications networks of developing countries.

非可逆かつ大きな圧縮率の圧縮がなされた場合、診療者が類似の色同士を見分けて診断する際に圧縮された画像データを補正しようとも、既に同じ色として送信されてきているために補正後において荒い階調となってしまう。その結果診療者は見分けることが困難となる。 When lossy compression with a large compression ratio is used, even if a doctor tries to correct the compressed image data in order to distinguish between similar colors when making a diagnosis, the colors will have a coarse gradation after correction because they were already transmitted as the same colors. As a result, it becomes difficult for the doctor to distinguish between them.

そこで、本サービスでは、診療者が、明暗などの画像の補正の要否や程度を、受診者側に指示し、受診者側ではその指示に基づいて補正を行った上で画像の圧縮を行って診療者に画像を送信する。これにより、診療者が見分けやすくなるような、有効な補正が行われた画像を見て診療を行うことが出来るようになる。 In this service, the practitioner instructs the patient on whether or not image corrections such as brightness and darkness are necessary and to what extent. The patient then makes the corrections based on the instructions, compresses the image, and sends it to the practitioner. This allows the practitioner to perform treatment while looking at images that have been effectively corrected so that they are easier to distinguish.

以上、遠隔診療の重要性、及び、従来の遠隔診療において診療者に提供される画像における受診者の患部や術野等の視認性が悪かった理由について説明した。
以下、図１を用いて、本サービスの遠隔診療システムＳＹＳにより、受診者ＵＥの画像が診療者ＵＴに提供され、診療者ＵＴが容易に視認性の良い画像を利用し、診療を行うことが出来るのかについて説明する。 We have explained above the importance of remote medical care and the reasons why visibility of the patient's affected area, surgical field, etc. was poor in images provided to the doctor in conventional remote medical care.
Below, using Figure 1, we will explain how the remote medical treatment system SYS of this service provides images of the patient UE to the practitioner UT, allowing the practitioner UT to easily use the highly visible images to perform medical treatment.

図１に示すように、本サービスは、遠隔診療システムＳＹＳを用いて提供される。
遠隔診療システムＳＹＳは、受診者ＵＥと診療者ＵＴとで画像等を授受するため、受診者ＵＥの側に存在する受診者システム１と、診療者ＵＴの側に存在する診療者システム２とを含む。 As shown in FIG. 1, this service is provided using a remote medical treatment system SYS.
The remote medical examination system SYS includes a patient system 1 located on the side of the patient UE and a medical practitioner system 2 located on the side of the medical practitioner UT in order to transmit and receive images and the like between the patient UE and the medical practitioner UT.

具体的には例えば、受診者システム１として、受診者端末１１と、光源１２と、カラーチャート１３と、８Ｋカメラ装置１４と、マイク１５と、スピーカ１６と、処置装置１７とが受診者ＵＥに提供される。
診療者システム２として、診療者端末２１と、８Ｋモニタ装置２２と、カラーチャート２３と、マイク２４と、スピーカ２５とが診療者ＵＴに提供される。 Specifically, for example, as the patient system 1, a patient terminal 11, a light source 12, a color chart 13, an 8K camera device 14, a microphone 15, a speaker 16, and a treatment device 17 are provided to the patient UE.
As the practitioner system 2, a practitioner terminal 21, an 8K monitor device 22, a color chart 23, a microphone 24, and a speaker 25 are provided to the practitioner UT.

受診者端末１１は、受診者システム１を構成する各装置を制御する情報処理装置である。詳しくは後述するが、受診者端末１１は、診療者ＵＴの指示に基づいて、光源１２の調整を行うことが出来る。 The patient terminal 11 is an information processing device that controls each device that constitutes the patient system 1. As will be described in detail later, the patient terminal 11 can adjust the light source 12 based on instructions from the clinician UT.

光源１２は、受診者ＵＥ及び後述するカラーチャート１３を照らす。光源１２により提供され、受診者ＵＥ及びカラーチャート１３を照らす光を、「一次光ＬＦ」と呼ぶ。
受診者ＵＥ及びカラーチャート１３は、光源１２からの一次光ＬＦを反射する。一次光ＬＦを照らされたものから反射された光を「二次光ＬＳ」と呼ぶ。 The light source 12 illuminates the patient UE and a color chart 13 described below. The light provided by the light source 12 and illuminating the patient UE and the color chart 13 is referred to as "primary light LF."
The patient UE and the color chart 13 reflect the primary light LF from the light source 12. The light reflected from an object illuminated with the primary light LF is called "secondary light LS."

カラーチャート１３は、各種各様な色が付された媒体である。詳しくは図６を用いて後述するが、本実施形態のカラーチャート１３には、白色、黒色、及びその中間の１以上の灰色、各種原色及び間色、並びに、受診者ＵＥ又はその候補の肌の色に関連する色が付されている。 The color chart 13 is a medium that is colored in a variety of different colors. Details will be described later using FIG. 6, but the color chart 13 in this embodiment is colored in white, black, one or more intermediate grays, various primary colors and intermediate colors, and colors that are related to the skin color of the examinee UE or the candidate.

受診者ＵＥ及びカラーチャート１３から反射された二次光ＬＳは、８Ｋカメラ装置１４により撮像される。８Ｋカメラ装置１４は、８Ｋの画素数を有する撮像装置である。これにより、受診者ＵＥ及びカラーチャート１３の像を含む画像データが受診者端末１１に提供される。なお、上述したように、８Ｋではない画素数を有する撮像装置が用いられてもよい。 The secondary light LS reflected from the patient UE and the color chart 13 is captured by the 8K camera device 14. The 8K camera device 14 is an imaging device having a pixel count of 8K. As a result, image data including images of the patient UE and the color chart 13 is provided to the patient terminal 11. As mentioned above, an imaging device having a pixel count other than 8K may also be used.

受診者端末１１は、受診者ＵＥ及びカラーチャート１３の像を含む画像データに対して各種処理を施した上で、診療者端末２１に送信する。
なお、詳しくは後述するが、受診者端末１１は、光源１２や８Ｋカメラ装置１４を制御することにより、８Ｋカメラ装置１４により記録される光の波長スペクトルの補正処理を実行することが出来る。 The patient terminal 11 performs various processes on the image data including the image of the patient UE and the color chart 13 and then transmits the processed data to the medical practitioner terminal 21 .
As will be described in more detail later, the patient terminal 11 can control the light source 12 and the 8K camera device 14 to execute correction processing for the wavelength spectrum of the light recorded by the 8K camera device 14.

診療者端末２１は、診療者システム２を構成する各装置を制御する情報処理装置である。診療者端末２１は、受診者端末１１から送信されてきた画像データを受信し、各種処理を施した上で、８Ｋモニタ装置２２に表示する制御を実行する。 The practitioner terminal 21 is an information processing device that controls each device constituting the practitioner system 2. The practitioner terminal 21 receives image data transmitted from the patient terminal 11, performs various processes on the image data, and then controls the display on the 8K monitor device 22.

なお、詳しくは後述するが、診療者端末２１は、診療者ＵＴから、光源の調整の指示や、画像データの補正の指示や、受診者ＵＥに対する診療内容を受付けることが出来る。即ち例えば、診療者ＵＴは、診療者端末２１を操作したり、マイク２４を用いて光源の調整の指示や、画像データの補正の指示や、受診者ＵＥに対する診療内容を入力する。診療者端末２１により受付けられた診療内容は、スピーカ１６や処置装置１７を介して、受診者ＵＥに提供される。 Although more details will be provided later, the practitioner terminal 21 can receive instructions from the practitioner UT to adjust the light source, to correct image data, and details of medical treatment for the patient UE. That is, for example, the practitioner UT operates the practitioner terminal 21 or uses the microphone 24 to input instructions to adjust the light source, to correct image data, and details of medical treatment for the patient UE. The details of medical treatment received by the practitioner terminal 21 are provided to the patient UE via the speaker 16 and treatment device 17.

また、受診者端末２１は、受診者ＵＥから、診療者ＵＥによる診療のための問いかけへの応答を受付けることが出来る。即ち例えば、受診者ＵＥは、受診者端末２１を操作したり、マイク１５を用いて診療者ＵＥによる診療のための問いかけへの応答を入力する。受診者端末２１により受付けられた診療者ＵＥによる診療のための問いかけへの応答は、スピーカ２５や８Ｋモニタ装置２２を介して、診療者ＵＴに提供される。 The patient terminal 21 can also receive responses from the patient UE to questions posed by the practitioner UE for medical treatment. That is, for example, the patient UE operates the patient terminal 21 or uses the microphone 15 to input a response to a question posed by the practitioner UE for medical treatment. The response to the question posed by the practitioner UE for medical treatment received by the patient terminal 21 is provided to the practitioner UT via the speaker 25 and the 8K monitor device 22.

８Ｋモニタ装置２２は、８Ｋの画素数を有する表示装置である。８Ｋモニタ装置２２は、診療者端末２１の制御により、受診者ＵＥ及びカラーチャート１３の像を含む画像を表示する。
これにより、診療者ＵＴは、高精細な画像で受診者ＵＥの状態を視認することができる。 The 8K monitor device 22 is a display device having 8K pixels. The 8K monitor device 22 displays an image including an image of the examinee UE and the color chart 13 under the control of the medical practitioner terminal 21.
This allows the practitioner UT to visually confirm the condition of the patient UE with a high-definition image.

カラーチャート２３は、上述のカラーチャート１３と基本的に同一の各種各様な色が付された媒体である。カラーチャート２３は、付された色がカラーチャート１３と同一となるように生産や管理されることが望ましい。 The color chart 23 is a medium that is basically the same as the color chart 13 described above, and is colored with a variety of different colors. It is desirable that the color chart 23 is produced and managed so that the colors are the same as those of the color chart 13.

診療者ＵＴは、８Ｋモニタ装置２２に表示された受診者ＵＥ及びカラーチャート１３の像を含む画像を用いて診療を行う。このとき、診療者ＵＴは、自身の手元にあるカラーチャート２３と、８Ｋモニタ装置２２に表示されたカラーチャート１３の像とを比較する。これにより、診療者ＵＴは、より正確に受診者ＵＥの色を把握することが出来る。 The practitioner UT performs medical treatment using an image including an image of the patient UE and the color chart 13 displayed on the 8K monitor device 22. At this time, the practitioner UT compares the color chart 23 in his/her hand with the image of the color chart 13 displayed on the 8K monitor device 22. This allows the practitioner UT to more accurately grasp the color of the patient UE.

なお、詳しくは後述するが、診療者端末２１は、８Ｋモニタ装置２２及び図示せぬモニタキャリブレーション器具等を制御することにより、８Ｋモニタ装置２２から発せられる光の波長スペクトルの補正処理を実行することが出来る。 As will be described in more detail later, the clinician terminal 21 can execute correction processing of the wavelength spectrum of the light emitted from the 8K monitor device 22 by controlling the 8K monitor device 22 and a monitor calibration instrument (not shown).

ここで、診療者ＵＴは、診療者端末２１を介して、受診者端末１１側に、光源調整指示、画像補正指示、及び診療内容提供をすることが出来る。 Here, the practitioner UT can provide light source adjustment instructions, image correction instructions, and medical treatment details to the patient terminal 11 via the practitioner terminal 21.

（光源調整指示）
診療者ＵＴが光源調整指示を行うと、受診者端末１１は、光源調整指示に基づいて、光源１２を調整する。
即ち例えば、光源１２からの一次光ＬＦの波長スペクトルが変化される。具体的には例えば、光源１２を構成する各ＬＥＤ等の発光強度のバランスが変更される。また例えば、一次光ＬＦが極端に青白い光源の場合には、薄黄色のフィルムを光源１２に被せる、或いは、暖色（青白い色の反対色）のＬＥＤ光源を追加で点灯させるなどの光源調整指示が行われる。これにより、二次光ＬＳの波長スペクトルが変化したものが８Ｋカメラ装置１４に入射することで、より色彩の補正が容易となる画像のデータを取得可能となる。
なお、光源調整指示は、受診者端末１１の電子的、機械的な光源１２の制御により実現されてもよく、受診者端末１１を介して受診者ＵＥや図示せぬ受診者ＵＥに付き添う者（例えば看護士）に指示がなされることによって実現されてもよい。 (Light source adjustment instructions)
When the practitioner UT issues a light source adjustment instruction, the patient terminal 11 adjusts the light source 12 based on the light source adjustment instruction.
That is, for example, the wavelength spectrum of the primary light LF from the light source 12 is changed. Specifically, for example, the balance of the light emission intensity of each LED constituting the light source 12 is changed. Also, for example, when the primary light LF is an extremely bluish-white light source, a light source adjustment instruction is given such as covering the light source 12 with a pale yellow film or turning on an additional LED light source of a warm color (the opposite color of the bluish-white color). As a result, the wavelength spectrum of the secondary light LS is changed and incident on the 8K camera device 14, making it possible to acquire image data that makes it easier to correct colors.
In addition, the light source adjustment instruction may be realized by electronic or mechanical control of the light source 12 of the patient terminal 11, or may be realized by giving an instruction via the patient terminal 11 to the patient UE or a person accompanying the patient UE (e.g., a nurse) not shown.

また例えば、各位置に対する光源１２からの一次光ＬＦの強度分布が変化される。具体的には例えば、光源１２の角度が経時的に変更されたり、光源１２を構成する発光部分のうち一部又は全部が明滅する。これにより、受診者ＵＥを照らす光の強度分布が経時的に変化する。その結果、受診者ＵＥの肌の***の影等が経時的に変化するため、診療者ＵＴは、受診者ＵＥの肌の***を容易に把握可能となる。 For example, the intensity distribution of the primary light LF from the light source 12 for each position is changed. Specifically, for example, the angle of the light source 12 is changed over time, or some or all of the light-emitting parts that make up the light source 12 blink. This causes the intensity distribution of the light illuminating the patient UE to change over time. As a result, the shadows of the bumps on the patient UE's skin change over time, allowing the clinician UT to easily grasp the bumps on the patient UE's skin.

（画像補正指示）
診療者ＵＴが画像補正指示を行うと、受診者端末１１及び診療者端末２１のうち少なくとも一方は、画像補正指示に基づいて、画像データの補正を行う。
即ち例えば、受診者端末１１は、画像データの圧縮前に、画像データを補正する。これにより、補正後の画像データが圧縮され、診療者ＵＴが把握したい情報が適切に８Ｋモニタ装置２２で再生される。 (Image correction instructions)
When the practitioner UT issues an image correction instruction, at least one of the patient terminal 11 and the practitioner terminal 21 corrects the image data based on the image correction instruction.
That is, for example, the examinee terminal 11 corrects the image data before compressing the image data. As a result, the corrected image data is compressed, and the information that the examinee UT wants to grasp is appropriately reproduced on the 8K monitor device 22.

また例えば、診療者端末２１は、画像補正指示に基づいて、受診者端末１１から送信されてきた画像データの補正を行う。
即ち例えば、診療者端末２１は、受診者端末１１から送信されてきた画像データを補正して、８Ｋモニタ装置２２で再生する。これにより、上述の画像データの圧縮を行わない場合や、上述の画像データの圧縮が行われている場合にいてもその範囲内において、診療者ＵＴが視認しやすいように画像の補正が行われる。 Also, for example, the clinician terminal 21 corrects the image data transmitted from the patient terminal 11 based on an image correction instruction.
That is, for example, the clinician terminal 21 corrects the image data transmitted from the patient terminal 11 and plays it on the 8K monitor device 22. As a result, even if the image data is not compressed as described above or is compressed as described above, the image is corrected within that range so that it is easily visible to the clinician UT.

（診療内容提供）
診療者ＵＴが診療内容提供を行うと、診療者端末２１から受診者端末１１に、診療内容に対応する情報が送信される。
即ち例えば、診療者ＵＴが診療結果に関する情報を声により提供すると、受診者端末１１の制御によりスピーカ１６からその声が再生され、診療内容が受診者ＵＥに提供される。
また例えば、診療者ＵＴが診療内容として所定の処置を行う場合、受診者端末１１の制御により、処置装置１７が処置を実行する。具体的には例えば、処置装置１７が診療のための器具である場合、当該器具を用いた診療が行われる。また例えば、処置装置１７が遠隔手術用の装置、例えば手術器械を備えたマニピュレータ等である場合、処置として手術を行うことができる。また例えば、処置装置１７が医薬品の提供装置である場合、処置として医薬品の処方を行うことができる。 (Provision of medical treatment details)
When the practitioner UT provides the medical treatment details, information corresponding to the medical treatment details is transmitted from the practitioner terminal 21 to the patient terminal 11 .
That is, for example, when the practitioner UT provides information on the results of medical treatment by voice, the voice is reproduced from the speaker 16 under the control of the patient terminal 11, and the contents of the medical treatment are provided to the patient UE.
For example, when the practitioner UT performs a prescribed treatment as part of the medical treatment, the treatment device 17 executes the treatment under the control of the patient terminal 11. Specifically, for example, when the treatment device 17 is a medical instrument, the medical treatment is performed using the instrument. For example, when the treatment device 17 is a remote surgical device, such as a manipulator equipped with surgical instruments, surgery can be performed as the treatment. For example, when the treatment device 17 is a drug delivery device, the treatment can be a prescription for a drug.

このように、本サービスは、診療者ＵＴ及び受診者ＵＥに、より利便性の高い遠隔診療の環境が提供することができる。 In this way, this service can provide a more convenient remote medical environment for clinicians UT and patients UE.

次に、図２を参照して、上述した本サービスの提供を実現化させる情報処理システム、即ち本発明の一実施形態に係る遠隔診療システムのうち、情報処理に関する構成について説明する。
図２は、本発明の一実施形態に係る遠隔診療システムの構成のうち、情報処理に関する構成の一例を示す図である。 Next, with reference to FIG. 2, a description will be given of the information processing system that realizes the provision of the above-mentioned service, that is, the information processing configuration of the remote medical treatment system according to one embodiment of the present invention.
FIG. 2 is a diagram showing an example of a configuration related to information processing in the configuration of a remote medical treatment system according to an embodiment of the present invention.

図２に示す遠隔診療システムＳＹＳは、受診者システム１と、診療者システム２とを含む。
受診者システム１は、受診者端末１１と、光源１２と、８Ｋカメラ装置１４と、マイク１５と、スピーカ１６と、処置装置１７とを含むように構成されている。
また、診療者システム２は、診療者端末２１と、８Ｋモニタ装置２２と、マイク２４と、スピーカ２５と含むように構成されている。 The remote medical care system SYS shown in FIG. 2 includes a patient system 1 and a medical practitioner system 2.
The patient system 1 is configured to include a patient terminal 11, a light source 12, an 8K camera device 14, a microphone 15, a speaker 16, and a treatment device 17.
The practitioner system 2 is configured to include a practitioner terminal 21 , an 8K monitor device 22 , a microphone 24 , and a speaker 25 .

受診者端末１１と、診療者端末２１とは、インターネット等の所定のネットワークＮＷを介して相互に接続されている。
受診者端末１１と、光源１２、８Ｋカメラ装置１４、マイク１５、スピーカ１６、及び処置装置１７とは、受診者システム１において直接接続されている。
診療者端末２１と、８Ｋモニタ装置２２とは、診療者システム２において直接接続されている。 The patient terminal 11 and the clinician terminal 21 are connected to each other via a predetermined network NW such as the Internet.
The patient terminal 11 , the light source 12 , the 8K camera device 14 , the microphone 15 , the speaker 16 , and the treatment device 17 are directly connected in the patient system 1 .
The practitioner terminal 21 and the 8K monitor device 22 are directly connected in the practitioner system 2 .

受診者システム１は、遠隔診療を受診する受診者ＵＥの側に存在する情報処理システムである。
診療者システム２は、遠隔診療をする診療者ＵＴの側に存在する情報処理システムである。 The patient system 1 is an information processing system present on the side of a patient UE who receives remote medical treatment.
The clinician system 2 is an information processing system that exists on the side of the clinician UT who performs remote medical treatment.

受診者端末１１は、へき地の診療所や訪問診療先の受診者ＵＥの自宅等において利用される情報処理装置である。受診者端末１１は、診療者端末２１と適宜通信をしながら、本サービスを実現するための各種処理を実行する。受診者端末１１は、スマートフォン、タブレット、パーソナルコンピュータ等で構成される。また、受診者端末１１は、正確な遠隔診療のため、本サービスの提供者により各種機能の性能等について適宜認証されたものが採用される。 The patient terminal 11 is an information processing device used in a remote clinic, the home of the patient UE who is the recipient of the visit, etc. The patient terminal 11 executes various processes to realize this service while communicating with the clinician terminal 21 as appropriate. The patient terminal 11 is composed of a smartphone, tablet, personal computer, etc. Furthermore, to ensure accurate remote medical treatment, the patient terminal 11 used is one that has been appropriately certified by the provider of this service regarding the performance of various functions, etc.

診療者端末２１は、診療者ＵＴの確保ができている病院等において利用される情報処理装置である。診療者端末２１は、受診者端末１１と適宜通信をしながら、本サービスを実現するための各種処理を実行する。診療者端末２１は、スマートフォン、タブレット、パーソナルコンピュータ等で構成される。また、診療者端末２１は、正確な遠隔診療のため、本サービスの提供者により各種機能の性能等について適宜認証されたものが採用される。 The practitioner terminal 21 is an information processing device used in hospitals etc. that have secured practitioners UT. The practitioner terminal 21 executes various processes to realize this service while communicating appropriately with the patient terminal 11. The practitioner terminal 21 is composed of a smartphone, tablet, personal computer etc. Furthermore, in order to ensure accurate remote medical treatment, the practitioner terminal 21 employed is one that has been appropriately certified by the provider of this service regarding the performance of various functions etc.

光源１２は、受診者ＵＥ及び後述するカラーチャート１３を照らす、所定方式で発光する照明装置、自然現象、又は光学パーツ、若しくはそれらの組み合わせである。即ち例えば、所定方式として、白熱電球、蛍光灯、ＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）灯が存在する。また例えば、自然現象として、太陽光、曇り空の下、炎の光等が存在する。また例えば、光学パーツとして、光フィルタ、カーテン等が存在する。これらの組み合わせにより、光源１２から発せられる一次光ＬＦの波長スペクトルや各位置における光の強度が決定される。 The light source 12 is a lighting device that emits light in a predetermined manner, a natural phenomenon, or an optical part, or a combination thereof, that illuminates the patient UE and the color chart 13 described below. That is, for example, incandescent light bulbs, fluorescent lights, and LED (Light Emitting Diode) lights are examples of predetermined manners. For example, sunlight, cloudy skies, and the light of a fire are examples of natural phenomena. For example, optical parts include optical filters and curtains. The wavelength spectrum of the primary light LF emitted from the light source 12 and the intensity of the light at each position are determined by the combination of these.

本実施形態の光源１２は、受診者端末１１による制御処理により、一次光ＬＦの波長スペクトルや各位置における光の強度が変更可能となっている。
なお、光源１２の一次光ＬＦの波長スペクトルや各位置における光の強度は、受診者端末１１の制御処理により直接自動で変更されるが、これに限定されるものでなく、例えば後述するスピーカ１６から発せられる音声による指示や、図示せぬ受診者端末１１のディスプレイに表示される指示により、受診者ＵＥ等が光源１２を適宜操作することにより実現されてもよい。 The light source 12 in this embodiment is capable of changing the wavelength spectrum of the primary light LF and the light intensity at each position through control processing by the patient terminal 11 .
The wavelength spectrum of the primary light LF from the light source 12 and the light intensity at each position are changed directly and automatically by the control processing of the patient terminal 11, but this is not limited to the above and may be achieved by the patient UE etc. appropriately operating the light source 12 in response to, for example, audio instructions issued from the speaker 16 described below or instructions displayed on the display of the patient terminal 11 (not shown).

８Ｋカメラ装置１４は、８Ｋの画素数を有する撮像装置である。８Ｋカメラ装置１４により撮像された画像データは、受診者端末１１に提供される。 The 8K camera device 14 is an imaging device with 8K pixels. Image data captured by the 8K camera device 14 is provided to the patient terminal 11.

マイク１５は、受診者端末１１の制御により音声を録音する音響装置である。マイク１５は、受診者ＵＴが発話した診療内容の音声等を受診者ＵＥに提供することが出来る。 The microphone 15 is an audio device that records voice under the control of the patient terminal 11. The microphone 15 can provide the patient UE with the voice of the medical treatment contents spoken by the patient UT.

スピーカ１６は、受診者端末１１の制御により音声を発生する音響装置である。スピーカ１６は、診療者ＵＴが発話した診療内容の音声等を受診者ＵＥに提供することが出来る。 The speaker 16 is an audio device that generates sound under the control of the patient terminal 11. The speaker 16 can provide the patient UE with audio of the medical treatment details spoken by the practitioner UT.

処置装置１７は、受診者端末１１の制御により、診療内容としての所定の処置を行うための装置である。例えば、診療のための器具、遠隔手術用の装置、医薬品の提供装置等が、処置装置１７として採用される。 The treatment device 17 is a device for performing a specific treatment as part of medical treatment under the control of the patient terminal 11. For example, medical instruments, devices for remote surgery, devices for providing medicines, etc. are used as the treatment device 17.

８Ｋモニタ装置２２は、８Ｋの画素数を有する表示装置である。８Ｋモニタ装置２２は、診療者端末２１の制御により、受診者端末１１から送信されてきた受診者ＵＥを含む画像を表示する。 The 8K monitor device 22 is a display device with 8K pixels. The 8K monitor device 22 displays an image including the patient UE transmitted from the patient terminal 11 under the control of the medical practitioner terminal 21.

マイク２４は、診療者端末２１の制御により音声を録音する音響装置である。マイク２４は、受診者ＵＴが発話した診療内容の音声等を診療者ＵＥに提供することが出来る。 The microphone 24 is an audio device that records voice under the control of the clinician terminal 21. The microphone 24 can provide the voice of the medical treatment contents spoken by the patient UT to the clinician UE.

スピーカ２５は、診療者端末２１の制御により音声を発生する音響装置である。スピーカ２５は、受診者ＵＥが発話した声等を診療者ＵＥに提供することが出来る。 The speaker 25 is an audio device that generates sound under the control of the clinician terminal 21. The speaker 25 can provide the voice of the patient UE to the clinician UE.

図３は、図２に示す遠隔診療システムのうち受診者端末のハードウェア構成の一例を示すブロック図である。 Figure 3 is a block diagram showing an example of the hardware configuration of a patient terminal in the remote medical care system shown in Figure 2.

受診者端末１１は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３３と、バス３４と、入出力インターフェース３５と、入力部３６と、出力部３７と、記憶部３８と、通信部３９と、ドライブ４０とを備えている。 The patient terminal 11 includes a CPU (Central Processing Unit) 31, a ROM (Read Only Memory) 32, a RAM (Random Access Memory) 33, a bus 34, an input/output interface 35, an input unit 36, an output unit 37, a memory unit 38, a communication unit 39, and a drive 40.

ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラム、又は、記憶部３８からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。 The CPU 31 executes various processes according to a program recorded in the ROM 32 or a program loaded from the storage unit 38 into the RAM 33 .
The RAM 33 also stores data and the like necessary for the CPU 31 to execute various processes.

ＣＰＵ３１、ＲＯＭ３２及びＲＡＭ３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インターフェース３５も接続されている。入出力インターフェース３５には、入力部３６、出力部３７、記憶部３８、通信部３９及びドライブ４０が接続されている。 The CPU 31, ROM 32, and RAM 33 are interconnected via a bus 34. An input/output interface 35 is also connected to this bus 34. An input unit 36, an output unit 37, a memory unit 38, a communication unit 39, and a drive 40 are connected to the input/output interface 35.

入力部３６は、例えばキーボード等により構成され、各種情報を入力する。
出力部３７は、液晶等のディスプレイやスピーカ等により構成され、各種情報を画像や音声として出力する。
記憶部３８は、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等で構成され、各種データを記憶する。
通信部３９は、インターネットを含むネットワークＮＷを介して他の装置（例えば図２の診療者端末２１）との間で通信を行う。 The input unit 36 is configured with, for example, a keyboard, and is used to input various information.
The output unit 37 is configured with a display such as a liquid crystal display, a speaker, etc., and outputs various information as images and sounds.
The storage unit 38 is configured with a dynamic random access memory (DRAM) or the like, and stores various data.
The communication unit 39 communicates with other devices (for example, the clinician terminal 21 in FIG. 2) via a network NW including the Internet.

ドライブ４０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア５０が適宜装着される。ドライブ４０によってリムーバブルメディア５０から読み出されたプログラムは、必要に応じて記憶部３８にインストールされる。
また、リムーバブルメディア５０は、記憶部３８に記憶されている各種データも、記憶部３８と同様に記憶することができる。 Removable media 50, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, is appropriately loaded into the drive 40. Programs read from the removable media 50 by the drive 40 are installed in the storage unit 38 as necessary.
Further, the removable medium 50 can store various data stored in the storage unit 38 in the same manner as the storage unit 38 .

なお、図示はしないが、図２の診療者端末２１も、図３に示すハードウェア構成と基本的に同様の構成を有することができる。したがって、診療者端末２１のハードウェア構成についての説明は省略する。 Although not shown, the practitioner terminal 21 in FIG. 2 can have a configuration basically similar to the hardware configuration shown in FIG. 3. Therefore, a description of the hardware configuration of the practitioner terminal 21 will be omitted.

このような図３の受診者端末１１を含む図２の情報処理システムを構成する各種ハードウェアと各種ソフトウェアとの協働により、上述の図１の本サービスを実現するための各種処理の実行が可能になる。その結果、サービス提供者は、ユーザに対して上述の本サービスを提供することができる。 The cooperation of the various hardware and software constituting the information processing system of FIG. 2, including the patient terminal 11 of FIG. 3, makes it possible to execute various processes for realizing the present service of FIG. 1 described above. As a result, the service provider can provide the present service described above to the user.

図４は、図２の遠隔診療システムを構成する受診者端末及び診療者端末の機能的構成の一例を示す機能ブロック図である。 Figure 4 is a functional block diagram showing an example of the functional configuration of the patient terminal and the clinician terminal that make up the remote medical care system of Figure 2.

図４に示すように、受診者端末１１のＣＰＵ３１においては、画像データ取得部１１１と、画像補正部１１２と、データ圧縮処理部１１３と、送信制御部１１４と、受信制御部１１５、装置制御部１１６とが機能する。また、診療者端末２１のＣＰＵ６１においては、画像データ受信制御部２１１と、画像補正部２１２と、表示制御部２１３と、指示受付部２１４と、診療内容受付部２１５と、送信制御部２１６とが機能する。 As shown in FIG. 4, the CPU 31 of the patient terminal 11 functions as an image data acquisition unit 111, an image correction unit 112, a data compression processing unit 113, a transmission control unit 114, a reception control unit 115, and an apparatus control unit 116. The CPU 61 of the clinician terminal 21 functions as an image data reception control unit 211, an image correction unit 212, a display control unit 213, an instruction reception unit 214, a medical treatment content reception unit 215, and a transmission control unit 216.

画像データ取得部１１１は、８Ｋカメラ装置１４により撮像された画像データを取得する。８Ｋカメラ装置１４により撮像される画像の一例については、図８を用いて後述する。なお、画像データ取得部１１１は、８Ｋカメラ装置１４により撮像された画像データに加えて、マイク１５により録音された音声データも取得することができる。 The image data acquisition unit 111 acquires image data captured by the 8K camera device 14. An example of an image captured by the 8K camera device 14 will be described later with reference to FIG. 8. Note that the image data acquisition unit 111 can acquire audio data recorded by the microphone 15 in addition to image data captured by the 8K camera device 14.

画像補正部１１２は、８Ｋカメラ装置１４により撮像された画像データに基づいて、ガンマ値を補正して、補正された画像データとすることが出来る。 The image correction unit 112 can correct the gamma value based on the image data captured by the 8K camera device 14 to generate corrected image data.

例えば、画像補正部１１２は、受診者ＵＥの肌の色の近傍において階調が大きくなるようにガンマ値を補正することができる。「受診者ＵＥの肌の色の近傍において階調が大きくなるようにガンマ値を補正する」とは、受診者ＵＥの肌の色の近傍において、明るさの差が誇張されるように補正することを意味する。これにより、受診者ＵＥの肌の変化が視認しやすい画像データが生成される。
受診者ＵＥの肌の色の近傍において階調が大きくなるように補正された画像の一例については、図９を用いて後述する。 For example, the image correction unit 112 can correct the gamma value so that the gradation is increased near the skin color of the examinee UE. "Correcting the gamma value so that the gradation is increased near the skin color of the examinee UE" means correcting the gamma value so that the difference in brightness is exaggerated near the skin color of the examinee UE. This generates image data in which changes in the skin of the examinee UE are easily visible.
An example of an image corrected so that the gradation is increased in the vicinity of the skin color of the examinee UE will be described later with reference to FIG.

また、画像補正部１１２は、８Ｋカメラ装置１４により撮像された画像データに含まれる、カラーチャート１３の像に含まれる色のうち少なくとも白色、黒色、及びその中間の１以上の灰色に基づいてガンマ値を補正することができる。
カラーチャート１３の像に含まれる白色、黒色、及びその中間の１以上の灰色の例については、図６を用いて後述する。 In addition, the image correction unit 112 can correct the gamma value based on at least white, black, and one or more intermediate grays among the colors contained in the image of the color chart 13 contained in the image data captured by the 8K camera device 14.
Examples of white, black, and one or more intermediate grays contained in the image of the color chart 13 will be described later with reference to FIG.

また、画像補正部１１２は、カラーチャート１３の像に含まれる色のうち受診者ＵＥの肌の色に応じた色に基づいて色彩を補正することができる。ここで、「色彩を補正する」とは、８Ｋカメラ装置１４により撮像された画像データにおける原色の夫々を、原色毎に所定の補正をすることで、色相を変化させるような補正をすることをいう。 The image correction unit 112 can also correct the color based on the color that corresponds to the skin color of the examinee UE among the colors contained in the image of the color chart 13. Here, "correcting the color" refers to making a correction that changes the hue by making a predetermined correction for each primary color in the image data captured by the 8K camera device 14.

また、画像補正部１１２は、８Ｋカメラ装置１４を制御することにより、８Ｋカメラ装置１４から出力され、画像データ取得部１１１により取得される画像データを変化させることで、画像データを補正することができる。
具体的には例えば、画像補正部１１２は、８Ｋカメラ装置１４の絞りや感度、ダイナミックレンジ、回路ゲイン等を変更する制御を実行する。また例えば、画像補正部１１２は、８Ｋカメラ装置１４に備えられた光学フィルタを変更する制御を実行する。 In addition, the image correction unit 112 can correct the image data by controlling the 8K camera device 14 to change the image data output from the 8K camera device 14 and acquired by the image data acquisition unit 111.
Specifically, for example, the image correction unit 112 executes control to change the aperture, sensitivity, dynamic range, circuit gain, etc. of the 8K camera device 14. In addition, for example, the image correction unit 112 executes control to change an optical filter provided in the 8K camera device 14.

例えば、光学フィルタとして、ＮＤ（ＮｅｕｔｒａｌＤｅｎｓｉｔｙ）フィルタや、カラーフィルタが採用される。また例えば、カラーフィルタとして、色温度に対応したカラーフィルタが採用される。具体的には例えば、２，８００Ｋ、５，０００Ｋ、６，５００Ｋの色温度に対応する色フィルタが用意される。カラーフィルタは、光学フィルタを変更する制御は、電子制御された機構により実現されてもよく、後述のスピーカ１６により、受診者ＵＥや図示せぬ受診者ＵＥに付き添う者（例えば看護士）に指示がなされることによって実現されてもよい。
このようにして、画像補正部１１２は、診療者ＵＥを照らす光源の波長スペクトルに基づいて、画像データのガンマ値、及び、色彩のうち少なくとも一方を補正することができきる。 For example, an ND (Neutral Density) filter or a color filter is used as the optical filter. Also, for example, a color filter corresponding to a color temperature is used as the color filter. Specifically, for example, color filters corresponding to color temperatures of 2,800 K, 5,000 K, and 6,500 K are prepared. The control of changing the color filter may be realized by an electronically controlled mechanism, or may be realized by an instruction given to the patient UE or a person (e.g., a nurse) accompanying the patient UE (not shown) by a speaker 16 described later.
In this way, the image correction unit 112 can correct at least one of the gamma value and color of the image data based on the wavelength spectrum of the light source that illuminates the clinician UE.

これにより、明暗や色彩の補正を行うことができる。光の段階や光から電気信号に変換する段階において補正を行うことで、取得される画像データに対応する画像の品質の向上が期待される。また、光の段階に限らず、８Ｋカメラ装置１４内で補正されることで、取得される画像データに対応する画像の品質の向上が期待される。 This allows correction of brightness and color. By making corrections at the light stage or at the stage of converting light into an electrical signal, it is expected that the quality of the image corresponding to the acquired image data will improve. Furthermore, not limited to the light stage, by making corrections within the 8K camera device 14, it is expected that the quality of the image corresponding to the acquired image data will improve.

上述したように、診療者側で受診者側について完全に再現した画像の再生をすることは困難である。そこで、本実施形態の画像補正部１１２は、カラーチャート１３に含まれる色（有彩色）のうち、全色を用いて色彩を補正するのではなく、カラーチャート１３に含まれる色（有彩色）のうち、受診者ＵＥの肌の色に応じた色を用いて色彩を補正する。これにより、少なくとも受診者ＵＥの肌の診療に必要な範囲での補正が少なくとも達成されるのである。その結果、補正に用いなかった色（有彩色）の色の再現性は低下する可能性がある。しかしながら、そのような色については診療に影響がないので問題はない。 As mentioned above, it is difficult for the practitioner to reproduce a perfectly reproduced image of the patient. Therefore, the image correction unit 112 of this embodiment does not correct the colors using all of the colors (chromatic colors) included in the color chart 13, but rather corrects the colors using the colors (chromatic colors) included in the color chart 13 that correspond to the skin color of the patient UE. This achieves at least correction to the extent necessary for treating the skin of the patient UE. As a result, the reproducibility of the colors (chromatic colors) that are not used for correction may decrease. However, this is not a problem as such colors do not affect treatment.

なお、受診者ＵＥの肌の色に応じた色は、受診者ＵＥや診療者ＵＴにより指定されてもよいし、ＡＩ（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）技術を用いた画像分析等により自動で指定されてもよい。
カラーチャート１３の像に含まれる受診者ＵＥの肌の色に応じた色の一例については、図６を用いて後述する。 In addition, the color corresponding to the skin color of the patient UE may be specified by the patient UE or the clinician UT, or may be automatically specified by image analysis using AI (Artificial Intelligence) technology.
An example of the colors corresponding to the skin color of the examinee UE contained in the image of the color chart 13 will be described later with reference to FIG.

また、画像補正部１１２は、後述する第２情報が取得されている場合、当該第２情報に含まれる診療者ＵＴからの画像データの補正指示に基づいて、画像データの補正を行うことが出来る。これにより、後述するデータ圧縮処理部１１３によるデータ圧縮処理の前に画像が補正されるため、診療者ＵＴが意図する範囲において階調がつぶれていない画像データが診療者端末２１に提供される。 In addition, when the second information described below has been acquired, the image correction unit 112 can correct the image data based on an instruction to correct the image data from the practitioner UT, which is included in the second information. As a result, the image is corrected before the data compression process by the data compression processing unit 113 described below, and image data with no loss of gradation within the range intended by the practitioner UT is provided to the practitioner terminal 21.

また、画像補正部１１２は、受診者ＵＥを照らす光源１２の波長スペクトルに基づいて、８Ｋカメラ装置１４により撮像された画像データのガンマ値、及び、色彩を補正することができる。 In addition, the image correction unit 112 can correct the gamma value and color of the image data captured by the 8K camera device 14 based on the wavelength spectrum of the light source 12 that illuminates the patient UE.

データ圧縮処理部１１３は、画像データに対して、データ圧縮処理を実行する。
具体的には例えば、データ圧縮処理部１１３は、非可逆圧縮のアルゴリズムを用いて画像データを圧縮する。これにより、受診者端末１１と診療者端末２１との間に必要となる回線のビットレートが削減される。 The data compression processing unit 113 executes data compression processing on the image data.
Specifically, for example, the data compression processing unit 113 compresses the image data using a lossy compression algorithm, thereby reducing the bit rate of the line required between the patient terminal 11 and the clinician terminal 21.

なお、受診者端末１１と診療者端末２１との間に十分なビットレートが確保されている場合、データ圧縮処理部１１３は機能しないものとすることができる。これにより、データ圧縮されていないより精細な画像のデータが診療者端末２１に提供される。 If a sufficient bit rate is ensured between the patient terminal 11 and the medical practitioner terminal 21, the data compression processing unit 113 can be made not to function. This allows uncompressed, more detailed image data to be provided to the medical practitioner terminal 21.

さらに言えば、データ圧縮処理部１１３は、診療者端末２１からの指示に基づいて、所定の色の近傍におけるデータの圧縮率を低下させる制御を実行できるものとしてもよい。これにより、診療者端末２１側において画像の補正を行ったとしても当該所定の色の近傍における階調がつぶれていない、診療者端末２１側において画像の補正を行っても視認できる画像のデータが診療者端末２１に提供される。 Moreover, the data compression processing unit 113 may be capable of executing control to reduce the compression rate of data in the vicinity of a specified color based on an instruction from the practitioner terminal 21. This allows image data to be provided to the practitioner terminal 21, in which the gradation in the vicinity of the specified color is not crushed even if the image is corrected on the practitioner terminal 21 side, and which is visible even if the image is corrected on the practitioner terminal 21 side.

送信制御部１１４は、受診者ＵＥ等が撮像された画像データ等を第１情報として診療者システム２に送信する。
即ち、送信制御部１１４は、画像補正部１１２によりガンマ値及び色彩の補正がなされ、さらに、データ圧縮処理部１１３によりデータ圧縮処理をされた画像データを第１情報として送信する。 The transmission control unit 114 transmits image data captured by the patient UE, etc., to the medical practitioner system 2 as first information.
That is, the transmission control unit 114 transmits, as the first information, the image data that has been subjected to gamma value and color correction by the image correction unit 112 and further subjected to data compression processing by the data compression processing unit 113 .

送信制御部１１４は、受診者端末１１と診療者端末２１との間に十分なビットレートが確保されている場合、複数の画像データを第１情報に含んで送信してもよい。
即ち例えば、送信制御部１１４は、データ圧縮処理部１１３によりデータ圧縮処理をされた画像データも第１情報として送信することができる。 When a sufficient bit rate is ensured between the patient terminal 11 and the clinician terminal 21, the transmission control unit 114 may transmit a plurality of image data pieces included in the first information.
That is, for example, the transmission control unit 114 can also transmit image data that has been subjected to data compression processing by the data compression processing unit 113 as the first information.

受信制御部１１５は、送信制御部２１６の制御により送信されてきた第２情報を受信する制御を実行する。 The receiving control unit 115 executes control to receive the second information transmitted under the control of the transmitting control unit 216.

装置制御部１１６は、光源１２やスピーカ１６、処置装置１７を制御する。 The device control unit 116 controls the light source 12, the speaker 16, and the treatment device 17.

即ち例えば、診療者ＵＴが光源１２からの一次光ＬＦの強度分布の変化を指示した場合、装置制御部１１６は、光源１２の発光部分のうち、一部又は全部を明滅させる制御を実行する。また例えば、診療者ＵＴが光源１２からの一次光ＬＦの色味の変化を指示した場合、装置制御部１１６は、光源１２の色みを変化させる制御を実行する。 That is, for example, when the practitioner UT instructs a change in the intensity distribution of the primary light LF from the light source 12, the device control unit 116 executes control to blink some or all of the light-emitting portion of the light source 12. Also, for example, when the practitioner UT instructs a change in the color of the primary light LF from the light source 12, the device control unit 116 executes control to change the color of the light source 12.

また例えば、装置制御部１１６は、第２情報に診療者ＵＴからの診療内容が含まれる場合、当該診療内容に基づいて、スピーカ１６から診療者ＵＴによる受診者ＵＥへの指示の音声を再生する。また例えば、装置制御部１１６は、当該診療内容に基づいて、診療のための器具、遠隔手術用の装置、医薬品の提供装置の処置装置１７を制御する。 For example, when the second information includes details of medical treatment from the practitioner UT, the device control unit 116 plays audio instructions from the practitioner UT to the patient UE from the speaker 16 based on the details of medical treatment.For example, the device control unit 116 controls the treatment device 17, which includes instruments for medical treatment, a device for remote surgery, and a drug provision device, based on the details of medical treatment.

診療者端末２１の画像データ受信制御部２１１は、受診者端末１１の送信制御部１１４の制御により送信されてきた第１情報を受信する制御を実行する。なお、画像データ受信制御部２２１は、データ圧縮処理に対応するデータ展開処理を適宜実行する。 The image data reception control unit 211 of the clinician terminal 21 executes control to receive the first information transmitted under the control of the transmission control unit 114 of the patient terminal 11. The image data reception control unit 221 appropriately executes data decompression processing corresponding to the data compression processing.

画像補正部２１２は、基本的に上述の受診者端末１１の画像補正部１１２と同様の機能を有する。画像補正部２１２は、受診者端末１１の画像補正部１１２の代わりに、診療者端末２１側で画像の補正を行うことが出来る。
即ち、画像補正部２１２は、受診者端末１１側で受診者ＵＥの肌の色に応じた補正を行っていない場合、受診者端末１１から送信されてきた画像データに基づいて、ガンマ値を補正して、受診者の肌の色に応じて補正された画像データとする補正をすることが出来る。
これにより、受診者端末１１における処理が削減され、受診者端末１１に必要な情報処理装置としてのスペックが低くてもよいものとなる。 The image correction unit 212 basically has the same functions as the image correction unit 112 of the above-mentioned patient terminal 11. The image correction unit 212 can correct images on the medical practitioner terminal 21 side instead of the image correction unit 112 of the patient terminal 11.
In other words, if the patient terminal 11 has not performed correction according to the skin color of the patient UE, the image correction unit 212 can correct the gamma value based on the image data transmitted from the patient terminal 11 to generate image data corrected according to the patient's skin color.
This reduces the amount of processing in the patient terminal 11, and the patient terminal 11 may have low specifications as an information processing device.

また、画像補正部２１２は、受診者端末１１側で受診者ＵＥの肌の色に応じた補正を行っている場合、上述の受診者端末１１の画像補正部１１２による補正と逆の補正を行うことができる。 In addition, when correction based on the skin color of the patient UE is performed on the patient terminal 11 side, the image correction unit 212 can perform a correction that is the opposite of the correction performed by the image correction unit 112 of the patient terminal 11 described above.

画像補正部２１２は、受診者端末１１の画像補正部１１２による補正の内容を受診者端末１１から取得して補正してその逆の補正を行ってもよい。また画像補正部２１２は、補正後の画像データに含まれるカラーチャート１３を用いて標準的なガンマ値及び色彩にする補正をすることもできる。 The image correction unit 212 may obtain the correction contents made by the image correction unit 112 of the patient terminal 11 from the patient terminal 11 and perform the reverse correction. The image correction unit 212 may also perform correction to standard gamma values and colors using the color chart 13 included in the corrected image data.

即ち、画像補正部２１２は、受診者端末１１から送信されてきた第１情報に含まれる、カラーチャート１３の像に含まれる色のうち少なくとも白色、黒色、及びその中間の１以上の灰色に基づいて白色から黒色の間において均等な階調となるようにガンマ値を補正することができる。 In other words, the image correction unit 212 can correct the gamma value so that the gradation between white and black is uniform based on at least white, black, and one or more intermediate grays among the colors contained in the image of the color chart 13 included in the first information transmitted from the patient terminal 11.

また、画像補正部２１２は、受診者端末１１から送信されてきた第１情報に含まれる、カラーチャート１３の像に含まれる色のうち受診者ＵＥの肌の色に応じた色とは異なる色に基づいて色彩を補正することで標準画像データとすることもできる。 The image correction unit 212 can also generate standard image data by correcting the colors based on the colors contained in the image of the color chart 13, which are included in the first information transmitted from the patient terminal 11 and which differ from the colors corresponding to the skin color of the patient UE.

また、画像補正部２１２は、８Ｋモニタ装置２２から出力される光の波長スペクトルに基づいて、８Ｋモニタ装置２２から出力される画像のガンマ値、及び、色彩を補正することができる。なお、画像補正部２１２による８Ｋモニタ装置２２のガンマ値、及び、色彩の補正は、８Ｋモニタ装置２２に入力される画像データを補正することによって行われてもよく、８Ｋモニタ装置２２に備えられた設定項目の設定を変更する制御により実現されてもよい。 The image correction unit 212 can also correct the gamma value and color of the image output from the 8K monitor device 22 based on the wavelength spectrum of the light output from the 8K monitor device 22. The correction of the gamma value and color of the 8K monitor device 22 by the image correction unit 212 may be performed by correcting the image data input to the 8K monitor device 22, or may be achieved by controlling to change the settings of the setting items provided in the 8K monitor device 22.

表示制御部２１３は、第１情報に基づいて、第２画像データを８Ｋモニタ装置２２に表示する制御を実行する。その結果、８Ｋモニタ装置２２は、表示制御部２１３の制御により、受診者ＵＥの像を含む画像を表示する。 Based on the first information, the display control unit 213 executes control to display the second image data on the 8K monitor device 22. As a result, the 8K monitor device 22 displays an image including an image of the examinee UE under the control of the display control unit 213.

また、表示制御部２１３は、受診者端末１１から送信されてきた第１情報に含まれる画像補正部１１２により補正された画像データ及び画像補正部２１２により逆の補正がされた標準画像データの夫々に対応する画像を含んで表示する制御を実行することもできる。 The display control unit 213 can also execute control to display images corresponding to the image data corrected by the image correction unit 112 contained in the first information transmitted from the patient terminal 11 and the standard image data corrected in the opposite manner by the image correction unit 212.

これにより、受診者端末１１から補正後の画像データのみを受信して、診療者端末２１側において補正前の画像データを再現することが出来る。ここで、極端な例をあげると、補正後の画像のみが診療者ＵＴに提供された場合、診療者ＵＴは受診者ＵＥの元の肌の色すら正しく把握することができない。 This allows only the corrected image data to be received from the patient terminal 11, and the image data before correction to be reproduced on the clinician terminal 21 side. As an extreme example, if only the corrected image is provided to the clinician UT, the clinician UT will not even be able to correctly grasp the original skin color of the patient UE.

そこで、画像補正部２１２により、受診者端末１１の画像補正部１１２による補正と逆の補正を行うことにより、補正後の画像を診療に用いることができる。さらに、補正前の標準画像も並行して診療に用いることで、診療者ＵＴは、受診者ＵＥの元の肌の色等も容易に把握することができる。このとき、受診者端末１１からは補正後の画像データのみが送信されるのみで足りるため、２つの画像を表示するために１つの画像の分のビットレートのみで足りる。また、補正前の標準画像は、診療に用いる画像ほどの高精細である必要はないため、画像補正部２１２による逆の補正で十分である。 Therefore, the image correction unit 212 can perform the inverse correction to that performed by the image correction unit 112 of the patient terminal 11, so that the corrected image can be used for medical treatment. Furthermore, by using the standard image before correction in parallel for medical treatment, the practitioner UT can easily grasp the original skin color, etc., of the patient UE. At this time, since only the corrected image data needs to be sent from the patient terminal 11, the bit rate for only one image is sufficient to display two images. Furthermore, since the standard image before correction does not need to be as high-definition as the image used for medical treatment, the inverse correction performed by the image correction unit 212 is sufficient.

指示受付部２１４は、診療者ＵＴからの画像データの補正指示を受付ける。
具体的には例えば、診療者ＵＴは、８Ｋ診療モニタに表示された画像のうち、ガンマ値を補正することで階調が大きくなるようにしたい領域を指定する。これにより、当該領域に含まれる明暗のスペクトルに基づいて、画像データの補正の程度が指定される。 The instruction receiving unit 214 receives an instruction to correct the image data from the practitioner UT.
Specifically, for example, the practitioner UT specifies an area of an image displayed on an 8K diagnostic monitor where the gradation is to be increased by correcting the gamma value. This specifies the degree of correction of the image data based on the light and dark spectrum contained in the area.

診療内容受付部２１５は、診療者ＵＴからの診療内容を受付ける。
具体的には例えば、診療内容受付部２１５は、診療者ＵＴの診療者端末２１の操作やマイク２４に対する発話に基づいて、受診者ＵＥへの指示や診療結果、処方する薬の内容などを、診療内容として受け付ける。 The medical care details receiving section 215 receives medical care details from the practitioner UT.
Specifically, for example, the medical treatment content reception unit 215 receives instructions to the patient UE, medical treatment results, contents of prescribed medication, and the like as medical treatment content based on the operation of the medical practitioner UT's medical practitioner terminal 21 and speech into the microphone 24.

送信制御部２１６は、指示受付部２１４により受付けられた補正指示を少なくとも含む第２情報を、受診者端末１１に送信する制御を実行する。
また、送信制御部２１６は、診療内容受付部２１５により受付けられた診療内容も第２情報として受診者端末１１に送信する制御を実行することができる。 The transmission control unit 216 executes control to transmit the second information including at least the correction instruction received by the instruction receiving unit 214 to the examinee terminal 11 .
The transmission control unit 216 can also execute control to transmit the medical treatment details accepted by the medical treatment details acceptance unit 215 to the patient terminal 11 as second information.

以上のように、図３の受診者端末１１及び診療者端末２１が図４に示す機能的構成を有することにより、図１の本サービスを利用する受診者ＵＥ及び診療者ＵＴに、より利便性の向上した遠隔診療の環境が提供されるのである。 As described above, by having the patient terminal 11 and the practitioner terminal 21 in FIG. 3 have the functional configuration shown in FIG. 4, a more convenient remote medical environment is provided for the patient UE and the practitioner UT who use the present service in FIG. 1.

図５は、図４の機能的構成を有する遠隔診療システムにより実行される、遠隔診療処理の流れの一例を説明するフローチャートである。 Figure 5 is a flowchart illustrating an example of the flow of remote medical treatment processing executed by a remote medical treatment system having the functional configuration of Figure 4.

遠隔診療処理は、診療者ＵＴが受診者ＵＥを診療しようとする際に実行される。 The remote medical treatment process is executed when the medical practitioner UT wishes to treat the patient UE.

ステップＳ１１において、受診者端末１１の画像データ取得部１１１は、８Ｋカメラ装置１４により撮像された画像データを取得する。 In step S11, the image data acquisition unit 111 of the patient terminal 11 acquires image data captured by the 8K camera device 14.

ステップＳ１２において、受診者端末１１の画像補正部１１２は、ステップＳ１４の処理により取得された画像データを、ガンマ値及び色彩を補正する。画像補正部１１２は、標準で設定された補正の条件に基づいて、ガンマ値及び色彩を補正することができる。また、受診者端末１１の画像補正部１１２は、後述のステップＳ２０の処理により取得された補正指示に基づいて、ガンマ値及び色彩を補正することもできる。 In step S12, the image correction unit 112 of the patient terminal 11 corrects the gamma value and color of the image data acquired by the processing of step S14. The image correction unit 112 can correct the gamma value and color based on the correction conditions set as standard. The image correction unit 112 of the patient terminal 11 can also correct the gamma value and color based on the correction instructions acquired by the processing of step S20 described below.

ステップＳ１３において、受診者端末１１のデータ圧縮処理部１１３は、ステップＳ１２の処理により補正された画像データに対して、データ圧縮処理を実行する。 In step S13, the data compression processing unit 113 of the patient terminal 11 performs data compression processing on the image data corrected by the processing in step S12.

ステップＳ１４において、受診者端末１１の送信制御部１１４は、ステップＳ１３の処理によりデータ圧縮処理をされた画像データを第１情報として送信する。 In step S14, the transmission control unit 114 of the patient terminal 11 transmits the image data compressed in step S13 as the first information.

ステップＳ１５において、診療者端末１２の画像データ受信制御部２１１は、ステップＳ１４の処理により受診者端末１１から送信されてきた、画像データを含む第１情報を受信する制御を実行する。 In step S15, the image data reception control unit 211 of the clinician terminal 12 executes control to receive the first information including the image data transmitted from the patient terminal 11 by the processing of step S14.

ステップＳ１６において、診療者端末１２の画像補正部２１２は、ステップＳ１５の処理により受信された画像データに対して、上述の受診者端末１１の画像補正部１１２による補正と逆の補正を行って標準画像データとする。 In step S16, the image correction unit 212 of the clinician terminal 12 performs correction on the image data received by the processing in step S15 in a manner opposite to the correction performed by the image correction unit 112 of the patient terminal 11 described above to generate standard image data.

ステップＳ１７において、診療者端末１２の表示制御部２１３は、ステップＳ１５の処理により受信された画像データ及びステップＳ１６の処理により逆の補正がされた標準画像データの夫々に対応する画像を含んで、８Ｋモニタ装置２２に表示する制御を実行する。 In step S17, the display control unit 213 of the clinician terminal 12 controls the display on the 8K monitor device 22, including images corresponding to the image data received by the processing in step S15 and the standard image data that has been inversely corrected by the processing in step S16.

ステップＳ１８において、診療者端末１２のＣＰＵ６１は、補正の指示が有るか否かを判定する。
例えば、診療者端末１２に診療者ＵＴによる補正の指示のための操作をされなかった場合、診療者端末１２のＣＰＵ６１は補正の指示が無いものとして、ステップＳ１８においてＮＯと判定され、処理はステップ１９に進む。
また例えば、診療者端末１２に診療者ＵＴによる補正の指示のための操作を受付けた場合、診療者端末１２のＣＰＵ６１は補正の指示が有るものとして、ステップＳ１８においてＹＥＳと判定され、処理はステップＳ２０に進む。ステップＳ１８においてＹＥＳと判定された場合におけるステップＳ２０乃至Ｓ２２の処理は、後述する。 In step S18, the CPU 61 of the clinician terminal 12 determines whether or not a correction instruction has been issued.
For example, if the practitioner UT does not operate the practitioner terminal 12 to instruct a correction, the CPU 61 of the practitioner terminal 12 determines that there is no instruction for correction, judges NO in step S18, and the processing proceeds to step S19.
Also, for example, when the practitioner terminal 12 receives an operation for instructing correction by the practitioner UT, the CPU 61 of the practitioner terminal 12 determines that there is an instruction for correction, judges YES in step S18, and the process proceeds to step S20. The process of steps S20 to S22 when the judgement is YES in step S18 will be described later.

ステップＳ１９において、診療者端末１２のＣＰＵ６１は、診療終了であるか否かを判定する。
例えば、診療者端末１２に診療者ＵＴによる診療終了の操作を受付けた場合、診療者端末１２のＣＰＵ６１は診療終了であるものとして、ステップＳ１９においてＹＥＳと判定され、遠隔診療処理は終了する。
また例えば、診療者端末１２に診療者ＵＴによる診療終了の操作をされなかった場合、診療者端末１２のＣＰＵ６１は診療終了ではないものとして、ステップＳ１９においてＮＯと判定され、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。即ち、診療終了とされるまで、ステップＳ１１乃至Ｓ１３、及び後述のステップＳ２０乃至Ｓ２２が繰り返される。診療者ＵＴによる診療終了の操作をされた場合、ステップＳ１９においてＹＥＳと判定され、遠隔診療処理は終了する。 In step S19, the CPU 61 of the practitioner terminal 12 determines whether or not the medical treatment has ended.
For example, when the practitioner terminal 12 receives an operation to end medical treatment from the practitioner UT, the CPU 61 of the practitioner terminal 12 determines that medical treatment has ended, judges YES in step S19, and ends the remote medical treatment process.
Also, for example, if the practitioner UT does not operate the practitioner terminal 12 to end medical treatment, the CPU 61 of the practitioner terminal 12 determines that medical treatment has not ended, judges NO in step S19, returns the process to step S11, and repeats the subsequent processes. That is, steps S11 to S13 and steps S20 to S22 described below are repeated until medical treatment is ended. If the practitioner UT operates to end medical treatment, the judgement is YES in step S19, and the remote medical treatment process ends.

以下、ステップＳ１８においてＹＥＳと判定された場合におけるステップＳ２０乃至Ｓ２２の処理を説明する。
ステップＳ２０において、診療者端末１２の指示受付部２１４は、診療者ＵＴからの画像データの補正指示を受付ける。 The processes in steps S20 to S22 in the case where the determination in step S18 is YES will be described below.
In step S20, the instruction receiving section 214 of the practitioner terminal 12 receives an instruction to correct the image data from the practitioner UT.

ステップＳ２１において、診療者端末１２の送信制御部２１６は、ステップＳ２０の処理により受付けられた補正指示を少なくとも含む第２情報を、受診者端末１１に送信する制御を実行する。 In step S21, the transmission control unit 216 of the clinician terminal 12 executes control to transmit the second information, which includes at least the correction instruction received by the processing of step S20, to the patient terminal 11.

ステップＳ２２において、受信制御部１１５は、ステップＳ２１の処理により診療者端末２１から送信されてきた第２情報を受信する制御を実行する。
ステップＳ２２の処理ののち、処理はステップＳ１１に戻され、それ以降の処理が繰り返される。ステップＳ２２の処理ののち繰り返されるステップＳ１２の処理においては、受診者端末１１の画像補正部１１２は、後述のステップＳ２０の処理により取得された補正指示に基づいて、ガンマ値及び色彩を補正する。そして、処理はステップＳ１３乃至Ｓ１５と進み、診療者端末２１には診療者ＵＥによる補正指示を反映した補正がなされ、さらにデータ圧縮処理がなされた画像が、診療者端末２１に受診されるのである。 In step S22, the reception control unit 115 executes control to receive the second information transmitted from the clinician terminal 21 by the process of step S21.
After step S22, the process returns to step S11, and the subsequent steps are repeated. In step S12, which is repeated after step S22, the image correction unit 112 of the patient terminal 11 corrects the gamma value and color based on the correction instruction acquired in step S20, which will be described later. The process then proceeds to steps S13 to S15, and the image is corrected in accordance with the correction instruction from the practitioner UE at the clinician terminal 21, and the image that has been subjected to data compression processing is received by the clinician terminal 21.

以上、本システムを提供するための遠隔診療処理の一連の流れについて説明した。
以下、図６を参照して、図１のカラーチャート１３及びカラーチャート２３に含まれる色の例について説明する。 The above describes the flow of the remote medical treatment process for providing this system.
Hereinafter, examples of colors included in the color chart 13 and the color chart 23 in FIG. 1 will be described with reference to FIG.

図６は、図１のカラーチャートに含まれる色の構成の一例を示す図である。
なお、図６の例の白色と黒色の二値の割合や配置が異なるハッチングは、書類上の便宜上の表現である。即ち、現実におけるカラーチャート１３の各マスは、夫々均一に塗られている。
また、カラーチャート１３に含まれるマスの数は図６に示す１６個に限定されず任意である。 FIG. 6 is a diagram showing an example of the configuration of colors included in the color chart of FIG.
6, the ratio of white and black tones and the arrangement of the hatching are different, but are merely for convenience in the document. In reality, each square on the color chart 13 is painted uniformly.
Furthermore, the number of squares included in the color chart 13 is not limited to 16 as shown in FIG. 6, but may be any number.

図６に示すように、カラーチャート１３には、各種各様な色が付されている。本実施形態のカラーチャート１３には、無彩色チャート１３１、彩色チャート１３２、肌チャート１３３が含まれている。以下、無彩色チャート１３１、彩色チャート１３２、肌チャート１３３の夫々について説明する。 As shown in FIG. 6, the color chart 13 is provided with a variety of colors. In this embodiment, the color chart 13 includes an achromatic color chart 131, a chromatic color chart 132, and a skin chart 133. Below, the achromatic color chart 131, the chromatic color chart 132, and the skin chart 133 will each be described.

無彩色チャート１３１とは、白色、黒色、及びその中間の１以上の灰色を含むチャートである。
図６の例の無彩色チャート１３１には、１つの白色のハッチングがなされたマスと、１つの黒色のハッチングがなされたマスと、４つの灰色のマスとが含まれている。 The achromatic color chart 131 is a chart that includes white, black, and one or more intermediate gray colors.
The achromatic color chart 131 in the example of FIG. 6 includes one square hatched in white, one square hatched in black, and four gray squares.

画像補正部１１２や画像補正部２１２は、無彩色チャート１３１の夫々のマスの分布に基づいて、ガンマ値を補正する。具体的には例えば、画像補正部１１２や画像補正部２１２は、受診者ＵＥの肌の色に対応する明度の近傍のマス同士が、明度の分布上でより分離するように、ガンマ値を設定する。これにより、受診者ＵＥの肌の色の近傍において階調が大きくなるようにガンマ値が補正される。 The image correction unit 112 and the image correction unit 212 correct the gamma value based on the distribution of each square of the achromatic chart 131. Specifically, for example, the image correction unit 112 and the image correction unit 212 set the gamma value so that the squares in the vicinity of the brightness corresponding to the skin color of the examinee UE are more separated on the brightness distribution. As a result, the gamma value is corrected so that the gradation is increased in the vicinity of the skin color of the examinee UE.

また例えば、画像補正部１１２や画像補正部２１２は、無彩色チャートのマス同士が、明度の分布上で正しく分布するように、ガンマ値を設定する。これにより、受診者ＵＥの肌の色の近傍において階調が大きくなるようにガンマ値が補正される。 For example, the image correction unit 112 or the image correction unit 212 sets the gamma value so that the squares of the achromatic chart are correctly distributed on the brightness distribution. This corrects the gamma value so that the gradation is increased near the skin color of the examinee UE.

なお、各マスがいずれの明度であるかの情報は、予め受診者端末１１や診療者端末２１に記憶されていてもよく、都度入力されて設定されてもよい。 In addition, information regarding the brightness of each square may be stored in advance in the patient terminal 11 or the medical practitioner terminal 21, or may be input and set each time.

彩色チャート１３２は、各種原色及び間色を含むチャートである。
図６の例の彩色チャート１３２には、６つの夫々異なるハッチングがなされたマスが含まれている。具体的には例えば、彩色チャート１３２には、赤色、青色、緑色、シアン、マゼンタ、黄色、茶色、オレンジ色等が含まれていてよい。 The color chart 132 is a chart that includes various primary colors and intermediate colors.
6 includes six differently hatched squares, such as red, blue, green, cyan, magenta, yellow, brown, and orange.

肌チャート１３３は、受診者ＵＥ又はその候補の肌の色を含むチャートである。
図６の例の肌チャート１３３には、４つの夫々異なるハッチングがなされたマスが含まれている。具体的には例えば、肌チャート１３３には、黒人、白人及び黄色人、日焼けをした人等、受診者ＵＥ又はその候補の肌として想定され、また、基準が定められた所定の色が含まれている。
図６の例の肌チャート１３３には、第１肌色１３３－１、第２肌色１３３－２、第３肌色１３３－３、第４肌色１３３－４の夫々のマスが含まれている。 The skin chart 133 is a chart including the skin color of the examinee UE or a candidate for the examinee.
The skin chart 133 in the example of Fig. 6 includes four squares with different hatching. Specifically, for example, the skin chart 133 includes predetermined colors that are assumed to represent the skin of the examinee UE or its candidates, such as black, white, asian, and sunburned, and for which standards have been set.
The skin chart 133 in the example of FIG. 6 includes squares for a first skin color 133-1, a second skin color 133-2, a third skin color 133-3, and a fourth skin color 133-4.

例えば、第１肌色１１３－１は、白人の肌の色である。また例えば、第２肌色１１３－２は、黄色人の肌の色である。また例えば、第３肌色１１３－３は、日焼けした黄色人の肌の色である。また例えば、第４肌色１１３－４は、黒人の肌の色である。
なお、肌チャート１１３に含まれる肌の色は、４つに限定されず異なる数の色が含まれていてよい。また、肌チャート１１３に含まれる肌の色は、上述の人種に限定されず、少なくともその遠隔診療システムＳＹＳを利用しようとする受診者ＵＥの人種が含まれていれば足りる。そのため、肌チャート１１３には、遠隔診療システムＳＹＳが設置される国の人口をよりカバーでききる人種の肌色が含まれることが望ましい。
また、人種毎にカラーチャート１１３を用意してもよい。 For example, the first skin color 113-1 is the skin color of a Caucasian person. Also, for example, the second skin color 113-2 is the skin color of a yellow person. Also, for example, the third skin color 113-3 is the skin color of a tanned yellow person. Also, for example, the fourth skin color 113-4 is the skin color of a black person.
The number of skin colors included in the skin chart 113 is not limited to four, and may be any number. The skin colors included in the skin chart 113 are not limited to the above-mentioned races, and it is sufficient if they include at least the races of the examinees UE who intend to use the remote medical care system SYS. Therefore, it is desirable that the skin chart 113 includes skin colors of races that can better cover the population of the country in which the remote medical care system SYS is installed.
Also, a color chart 113 may be prepared for each race.

なお、受診者ＵＥ又はその候補者の肌の色が特定されている場合、黒人、白人及び黄色人、日焼けをした人等のすべての肌の色がカラーチャート１３に含まれている必要はない。 In addition, if the skin color of the examinee UE or the candidate is specified, it is not necessary for all skin colors, such as black, white, asian, and tanned, to be included in the color chart 13.

画像補正部１１２や画像補正部２１２は、彩色チャート１３２や肌チャート１３３に含まれる色のうち、受診者ＵＥの肌に関連する色を用いて、色彩の補正を行う。
具体的には例えば、受診者ＵＥが黒人の場合、画像補正部１１２や画像補正部２１２は、第４肌色１３３－４や、彩色チャート１３２に含まれる赤色や茶色を用いて、色彩の補正を行うことができる。
また例えば、受診者ＵＥが白人の場合、画像補正部１１２や画像補正部２１２は、第１肌色１３３－１や、彩色チャート１３２に含まれる薄黄色やオレンジ色を用いて、色彩の補正を行うことができる。
また例えば、受診者ＵＥが黄色人の場合、画像補正部１１２や画像補正部２１２は、第２肌色１３３－２や、彩色チャート１３２に含まれる黄色やオレンジ色を用いて、色彩の補正を行うことができる。 The image correction unit 112 and the image correction unit 212 perform color correction using colors related to the skin of the examinee UE among the colors included in the color chart 132 and the skin chart 133.
Specifically, for example, if the examinee UE is black, the image correction unit 112 or the image correction unit 212 can perform color correction using the fourth skin color 133-4 or the red or brown contained in the color chart 132.
Furthermore, for example, if the examinee UE is Caucasian, the image correction unit 112 or the image correction unit 212 can perform color correction using a first skin color 133-1 or a light yellow or orange color included in the color chart 132.
Furthermore, for example, if the examinee UE has a yellow skin color, the image correction unit 112 or the image correction unit 212 can perform color correction using the second skin color 133-2 or the yellow or orange color included in the color chart 132.

一般的な蛍光灯は、紫外線から他の波長の光に変換する蛍光物質を用いており、蛍光灯の波長スペクトルは蛍光物質等に応じた特徴的な形状を有している。その結果、一般的な蛍光灯は、演色性が高いとは言えない。
例えば蛍光灯が光源１２として用いられた場合、黒、白、赤色、青色、緑色、シアン、マゼンタ、黄色、茶色、オレンジ色等の全ての色を再現することは難しい。青、緑のような肌の色になり色については色を合わせることは行わず、肌の色に近い色に絞って色を合わせることが好ましい。これにより、全色を合わせようとする場合に比べて、より良く所定の肌色を再現することが可能である。 General fluorescent lamps use phosphors that convert ultraviolet light into light of other wavelengths, and the wavelength spectrum of the fluorescent lamp has a characteristic shape that depends on the phosphor, etc. As a result, general fluorescent lamps cannot be said to have high color rendering properties.
For example, when a fluorescent lamp is used as the light source 12, it is difficult to reproduce all colors, such as black, white, red, blue, green, cyan, magenta, yellow, brown, and orange. It is preferable to narrow down the color matching to colors close to skin colors, rather than matching colors that become skin colors, such as blue and green. This makes it possible to reproduce a specific skin color better than when trying to match all colors.

また例えば、診察者ＵＴは、８Ｋモニタ装置２２に表示されているカラーチャート１３とカラーチャート２３とを観察して比較し、８Ｋモニタ装置２２の調整を手動で行い、色彩の補正をすることができる。
色彩は、色彩輝度計を用いて自動で調整されてもよい。例えば、まず、画像データ受信制御部２１１は、８Ｋモニタ装置２２に表示されているカラーチャート１３の白と（黄色人の場合）第２肌色１３３－２とを色彩輝度計を制御して測定し、ＣＩＥ１９３１（国際照明委員会１９３１年規定）で規定されるｘｙ座標及びＹを求める。一方で、画像データ受信制御部２１１は、カラーチャート２３の白と第２肌色１３３－２とを色彩輝度計を制御して測定し、ｘｙ座標及びＹを求める。
画像補正部２１２は、白のｘｙ及びＹが一致するように８Ｋモニタ装置２２の全体出力とＲＧＢのバランスとを補正する。次に、画像補正部２１２は、第２肌色１３３－２のｘｙ座標が一致するように、８Ｋモニタ装置２２のＲＧＢ出力のγ特性をそれぞれ補正する。画像補正部２１２は、上述の補正を、その他の色にも基づいて行う。 Also, for example, the examiner UT can observe and compare the color chart 13 and the color chart 23 displayed on the 8K monitor device 22, and manually adjust the 8K monitor device 22 to correct the colors.
The color may be automatically adjusted using a color luminance meter. For example, first, the image data reception control unit 211 controls the color luminance meter to measure the white of the color chart 13 displayed on the 8K monitor device 22 and the second skin color 133-2 (in the case of a yellow person), and obtains the x, y, and Y coordinates defined by CIE1931 (Commission Internationale de Illumination 1931 regulations). On the other hand, the image data reception control unit 211 controls the color luminance meter to measure the white of the color chart 23 and the second skin color 133-2, and obtains the x, y, and Y coordinates.
The image correction unit 212 corrects the overall output of the 8K monitor device 22 and the balance of RGB so that the x, y, and Y of white match. Next, the image correction unit 212 corrects the gamma characteristics of the RGB output of the 8K monitor device 22 so that the x and y coordinates of the second skin color 133-2 match. The image correction unit 212 also performs the above correction based on other colors.

以上、図６を参照して、図１のカラーチャート１３及びカラーチャート２３に含まれる色の例について説明した。
以下、図７乃至図１０を参照して、図４の機能的構成を有する受診者端末１１や診療者端末２１により授受される画像の例について説明する。 Examples of colors included in the color chart 13 and the color chart 23 in FIG. 1 have been described above with reference to FIG.
Hereinafter, examples of images exchanged between the patient terminal 11 and the medical practitioner terminal 21 having the functional configuration of FIG. 4 will be described with reference to FIGS.

図７は、肌の色と皮膚に関する診療の容易性の違いのイメージを示す図である。 Figure 7 shows an image of the difference between skin color and ease of skin-related medical treatment.

図７（Ａ）に示す受診者ＵＥ－１は、第１肌色１３３－１に類似する肌を有している。
図７（Ｂ）に示す受診者ＵＥ－２は、第２肌色１３３－２に類似する肌を有している。
図７（Ｃ）に示す受診者ＵＥ－３は、第３肌色１３３－３に類似する肌を有している。
図７（Ｄ）に示す受診者ＵＥ－４は、第４肌色１３３－４に類似する肌を有している。 A patient UE-1 shown in FIG. 7A has skin similar to a first skin color 133-1.
A patient UE-2 shown in FIG. 7(B) has a skin color similar to a second skin color 133-2.
A patient UE-3 shown in FIG. 7C has skin similar to a third skin color 133-3.
A patient UE-4 shown in FIG. 7(D) has skin similar to a fourth skin color 133-4.

図７に示すように、受診者ＵＥ－１乃至ＵＥ－４は、夫々、肌にメラノーマ候補ＭＣを有している。メラノーマ候補ＭＣは、基本的に黒色又は黒色に近い明度の低い色をしている。
図７に示すように、第４肌色１３３－４に類似する肌の色を有するほど、メラノーマは目立たず、そもそも発見の難易度も異なる。 7, each of examinees UE-1 to UE-4 has a melanoma candidate MC on the skin. The melanoma candidate MC is basically black or has a low brightness color close to black.
As shown in FIG. 7, the closer the skin color is to the fourth skin color 133-4, the less conspicuous melanoma is, and the difficulty of detection is also different.

図８は、図７に示す肌の色のうち、メラノーマ候補に関する診療の容易性が異なる例をより具体的に示す図である。
図８には、８Ｋカメラ装置１４により撮像され、ガンマ値の補正を行っていないオリジナル画像ＰＯ－１及びＰＯ－４が図示されている。 FIG. 8 is a diagram specifically illustrating examples of skin colors shown in FIG. 7 that differ in the ease of diagnosis for melanoma candidates.
FIG. 8 shows original images PO-1 and PO-4 that have been captured by the 8K camera device 14 and have not been subjected to gamma value correction.

図８（Ａ）に示すオリジナル画像ＰＯ－１は、図７（Ａ）に示す、第１肌色１３３－１に類似する肌を有している受診者ＵＥ－１の肌を拡大した画像である。オリジナル画像ＰＯ－１には、２つのメラノーマ候補ＭＣ－１及びＭＣ－２の像が含まれている。 The original image PO-1 shown in FIG. 8(A) is an enlarged image of the skin of examinee UE-1, who has skin similar to the first skin color 133-1 shown in FIG. 7(A). The original image PO-1 includes images of two melanoma candidates, MC-1 and MC-2.

メラノーマ候補ＭＣ－１と地肌との色の境界、即ちメラノーマ候補ＭＣ－１の輪郭は、はっきりとしている。したがって、オリジナル画像ＰＯ－１は、メラノーマ候補ＭＣ－１がほくろであると判断する材料となる。 The boundary between the color of melanoma candidate MC-1 and the skin, i.e., the outline of melanoma candidate MC-1, is clear. Therefore, original image PO-1 serves as the basis for determining that melanoma candidate MC-1 is a mole.

メラノーマ候補ＭＣ－２と地肌との色の境界、即ちメラノーマ候補ＭＣ－２の輪郭は、ぼやけている。具体的には、領域Ｒのように、メラノーマ候補ＭＣ－２と第１肌色１３３－１に類似する色との中間の色が存在している。したがって、オリジナル画像ＰＯ－２は、メラノーマ候補ＭＣ－２がメラノーマであると判断する材料となる。 The boundary between melanoma candidate MC-2 and the skin color, i.e., the outline of melanoma candidate MC-2, is blurred. Specifically, as in region R, there is an intermediate color between melanoma candidate MC-2 and a color similar to first skin color 133-1. Therefore, original image PO-2 serves as material for determining that melanoma candidate MC-2 is melanoma.

図８（Ｂ）に示すオリジナル画像ＰＯ－４は、図７（Ｄ）に示す、第４肌色１３３－４に類似する肌を有している受診者ＵＥ－４の肌を拡大した画像である。オリジナル画像ＰＯ－４には、２つのメラノーマ候補ＭＣ－１及びＭＣ－２の像が含まれている。 The original image PO-4 shown in FIG. 8(B) is an enlarged image of the skin of patient UE-4, whose skin resembles the fourth skin color 133-4 shown in FIG. 7(D). The original image PO-4 includes images of two melanoma candidates, MC-1 and MC-2.

メラノーマ候補ＭＣ－１と地肌との色の境界、即ちメラノーマ候補ＭＣ－１の輪郭は、はっきりとしているものの、その差は少ない。したがって、オリジナル画像ＰＯ－１は、メラノーマ候補ＭＣ－１がほくろであると判断する材料としては、上述のオリジナル画像ＰＯ－１ほど材料としての採用は困難となる。 The boundary between the color of melanoma candidate MC-1 and the skin, i.e., the outline of melanoma candidate MC-1, is clear, but the difference is small. Therefore, original image PO-1 is less suitable as a material for determining that melanoma candidate MC-1 is a mole than the above-mentioned original image PO-1.

メラノーマ候補ＭＣ－２と地肌との色の境界、即ちメラノーマ候補ＭＣ－２の輪郭は、ぼやけている。具体的には、実際には領域Ｒのように、メラノーマ候補ＭＣ－２と第４肌色１３３－４に類似する色との中間の色が存在している。しかしながら、視認するうえではその差は極めて少なく、オリジナル画像ＰＯ－２は、メラノーマ候補ＭＣ－２がメラノーマであると判断する材料としての採用は困難を極める。 The boundary between the color of melanoma candidate MC-2 and the skin, i.e., the outline of melanoma candidate MC-2, is blurred. Specifically, as in region R, there is actually an intermediate color between melanoma candidate MC-2 and a color similar to the fourth skin color 133-4. However, the difference is extremely small when viewed visually, and it is extremely difficult to use original image PO-2 as material for determining that melanoma candidate MC-2 is melanoma.

このように、遠隔診療においては、肌の色の違いにより診療が困難となる事例が存在する。なお、対面診療においては、人間の目の慣れにより、診療は画像と比較して容易である。 As such, there are cases in which differences in skin color make diagnosis difficult in remote medical care. However, in face-to-face medical care, diagnosis is easier than with images because the human eye becomes accustomed to the color.

図９は、図４に示す機能的構成を有する遠隔診療システムにより提供される、診療用画像の一例を示す図である。
図９には、８Ｋカメラ装置１４により撮像され、受診者ＵＥ－４の肌の色の近傍において階調が大きくなるように、図８（ｂ）に示すオリジナル画像ＰＯ－４に対してガンマ値の補正を行った肌補正画像ＰＣが図示されている。
図９に示す肌補正画像ＰＣにおいて、メラノーマ候補ＭＣ－２と地肌との色の境界、即ちメラノーマ候補ＭＣ－２の輪郭は、ぼやけている。具体的には、領域Ｒのように、メラノーマ候補ＭＣ－２と第１肌色１３３－１に類似する色との中間の色が容易に把握可能に存在している。したがって、肌補正画像ＰＣは、メラノーマ候補ＭＣ－２がメラノーマであると判断する材料となる。
なお、図９に示す肌補正画像ＰＣにおいて、メラノーマ候補ＭＣ－１と地肌との色の境界、即ちメラノーマ候補ＭＣ－１の輪郭は、はっきりとしている。したがって、肌補正画像ＰＣにおいても、メラノーマ候補ＭＣ－１がほくろであると判断する材料となる。 FIG. 9 is a diagram showing an example of a diagnostic image provided by the remote medical examination system having the functional configuration shown in FIG.
FIG. 9 shows a skin-corrected image PC that has been captured by an 8K camera device 14 and has undergone gamma value correction on the original image PO-4 shown in FIG. 8(b) so that the gradation is increased near the skin color of the patient UE-4.
9, the boundary between the color of melanoma candidate MC-2 and the skin, i.e., the outline of melanoma candidate MC-2, is blurred. Specifically, as in region R, an intermediate color between melanoma candidate MC-2 and a color similar to first skin color 133-1 is easily grasped. Therefore, the skin corrected image PC serves as material for determining that melanoma candidate MC-2 is melanoma.
9, the boundary between the color of the melanoma candidate MC-1 and the skin, i.e., the outline of the melanoma candidate MC-1, is clear. Therefore, the skin-corrected image PC also provides material for determining that the melanoma candidate MC-1 is a mole.

このように、適切にガンマ補正を行うことにより、肌の色の違いにより診療の困難性を解消することが可能となる。 In this way, by performing appropriate gamma correction, it is possible to eliminate difficulties in medical treatment caused by differences in skin color.

図１０は、図９に示す診療用画像が提供される例について説明する図である。
図１０には、８Ｋモニタ装置２２に表示された診療用画像が示されている。８Ｋモニタ装置２２に表示された診療用画像には、８Ｋカメラ装置１４により撮像され、受診者ＵＥ－４の肌の色の近傍において階調が大きくなるようにガンマ値の補正を行った肌補正画像ＰＣが含まれている。これにより、診療者ＵＴは、診療用画像を用いて、容易に診療を行うことが出来る。 FIG. 10 is a diagram for explaining an example in which the diagnostic image shown in FIG. 9 is provided.
10 shows a diagnostic image displayed on the 8K monitor device 22. The diagnostic image displayed on the 8K monitor device 22 includes a skin-corrected image PC that is captured by the 8K camera device 14 and has undergone gamma value correction so that the gradation is increased near the skin color of the examinee UE-4. This allows the practitioner UT to easily perform diagnosis using the diagnostic image.

また、肌補正画像ＰＣには、ガンマ補正や色彩補正がなされたカラーチャート１３が含まれている。これにより、診療者ＵＴは、肌補正画像ＰＣに含まれるガンマ補正や色彩補正の影響がどのようなものであるかを把握することができる。 The skin correction image PC also includes a color chart 13 that has been gamma corrected and color corrected. This allows the clinician UT to understand the effects of the gamma correction and color correction contained in the skin correction image PC.

また、診療用画像には、画像補正部２１２により逆の補正等が行われた標準画像ＰＯが含まれている。
通常、標準画像ＰＳは、８Ｋカメラ装置１４により撮像され、ガンマ値の補正を行っていないオリジナル画像ＰＯに相当する。これにより、診療者ＵＴは、診療用画像を用いて、補正前の受診者ＵＥの肌等を容易に把握することが出来る。 The diagnostic images also include a standard image PO that has been subjected to inverse correction or the like by the image correction unit 212 .
Typically, the standard image PS corresponds to an original image PO that is captured by the 8K camera device 14 and has not been subjected to gamma value correction. This allows the practitioner UT to easily grasp the skin of the examinee UE before correction using the medical image.

標準画像ＰＳは、画像補正部２１２により、受診者端末１１の画像補正部１１２による補正と逆の補正を行って作成される。即ち、受診者端末１１からは補正後の画像データのみが送信されるのみで足りるため、２つの画像を表示するために１つの画像の分のビットレートのみで足りる。また、補正前の標準画像は、診療に用いる画像ほどの高精細である必要はないため、画像補正部２１２による逆の補正で十分である。 The standard image PS is created by the image correction unit 212 performing the inverse correction to the correction performed by the image correction unit 112 of the patient terminal 11. That is, since only the corrected image data needs to be sent from the patient terminal 11, the bit rate for only one image is sufficient to display two images. Furthermore, since the standard image before correction does not need to be as high-definition as the image used in medical treatment, the inverse correction performed by the image correction unit 212 is sufficient.

以上、本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものとみなす。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-mentioned embodiment, and modifications, improvements, etc. that can achieve the object of the present invention are considered to be included in the present invention.

例えば、上述の本実施形態において、８Ｋモニタ装置２２の仕様は特に設定されていなかったが、標準的なガンマ２．２のＰＣモードに設定されていると好適である。これにより、多くの環境において、一定の品質で画像が再生される。 For example, in the above-described embodiment, the specifications of the 8K monitor device 22 were not specifically set, but it is preferable to set it to the standard gamma 2.2 PC mode. This allows images to be reproduced with a consistent quality in many environments.

例えば、上述の実施形態において、光源１２として任意のものが採用されていたが、以下のようなものであると好適である。
即ち、光源１２は演色性（Ｒａ）が９０より大きな高演色性白色光源であると好適である。また、光源１２の演色性が低い場合、当該光源１２に黄色のフィルムを被せるという手法により光源１２の一次光ＬＦが調整されとよい。 For example, in the above embodiment, any light source is used as the light source 12, but the following is preferable.
That is, it is preferable that the light source 12 is a high color rendering white light source having a color rendering index (Ra) of more than 90. Furthermore, if the color rendering index of the light source 12 is low, the primary light LF of the light source 12 may be adjusted by covering the light source 12 with a yellow film.

また、上述の本実施形態において、色彩の補正を行うものとして説明したが、以下のように行うと好適である。即ち、まず、カラーチャート１３の像を用いて、ホワイトバランスを補正する。次に、茶色、赤色、（黄色人の）肌色、黒人の肌色（Ｒ１５）などの人体に特化した色で補正する。 In the above embodiment, color correction has been described as being performed, but it is preferable to perform it as follows. That is, first, the white balance is corrected using an image of the color chart 13. Next, correction is performed using colors specific to the human body, such as brown, red, (yellow-skinned) skin color, and black skin color (R15).

また、上述の本実施形態において、カラーチャート１３及びカラーチャート２３は、同一となるように生産や管理される、即ち標準品として認定された製品であることが望ましいとしたが、特にこれに限定されない。カラーチャート１３、問診表等に予め印刷されていてもよく、現地のプリンタで印刷されて作成されてもよい。 In the above-described embodiment, it is desirable that the color chart 13 and the color chart 23 are produced and managed to be identical, that is, that they are products certified as standard products, but this is not particularly limited. The color chart 13 may be printed in advance on the questionnaire, etc., or may be printed and created on a local printer.

また、上述の本実施形態において、８Ｋカメラ装置１４により撮像された画像データが適宜ガンマ値や色彩の補正をされるものとしたが補正のタイミングは任意である。具体的には例えば、８Ｋカメラ装置１４と、受診者端末１１とが別個の情報処理装置である場合、８Ｋカメラ装置１４は、露出補正等のガンマ値の補正に相当する機能を有している。さらに言えば、８Ｋカメラ装置１４から所定の圧縮率のデータ圧縮処理がなされたデータが出力されることが多々ある。そこで、受診者端末１１は、８Ｋカメラ装置１４を制御することで撮影時に黒部分が潰れないようにガンマ値の調整を行う。これにより、８Ｋカメラ装置１４からの出力されるデータは、ガンマ値が補正されたものとなる。 In addition, in the above-described embodiment, the image data captured by the 8K camera device 14 is appropriately corrected for gamma value and color, but the timing of the correction is arbitrary. Specifically, for example, when the 8K camera device 14 and the patient terminal 11 are separate information processing devices, the 8K camera device 14 has a function equivalent to gamma value correction such as exposure correction. Furthermore, the 8K camera device 14 often outputs data that has been compressed at a predetermined compression rate. Therefore, the patient terminal 11 controls the 8K camera device 14 to adjust the gamma value so that black areas are not crushed during shooting. As a result, the data output from the 8K camera device 14 has a corrected gamma value.

また、上述の実施形態において、８Ｋカメラ装置１４により撮像された画像データはそのまま補正等されて利用されるものとして説明したが特にこれに限定されない。即ち例えば、撮像された画像データの黒色が潰れないように所定の処理を実行して細かな階調を実現した画像データを生成したうえで、利用されてもよい。例えば、所定の処理として、複数のフレームの画像に基づいて画像を合成することにより、階調深度を上げる処理を採用することができる。 In the above embodiment, the image data captured by the 8K camera device 14 is described as being used as is after correction or the like, but this is not particularly limited. That is, for example, the captured image data may be used after a predetermined process is performed to generate image data that achieves fine gradations so that the black color of the captured image data is not crushed. For example, as the predetermined process, a process of increasing the gradation depth by synthesizing an image based on images of multiple frames can be adopted.

また、上述の実施形態において、カラーチャート１３やカラーチャート２３には、無彩色チャート１３１、彩色チャート１３２、肌チャート１３３が含まれているが含まれているものとして説明したが、図６に示すものに限定されない。
即ち、カラーチャート１３やカラーチャート２３には、上述のガンマ値及び色彩の補正を実現するための色が付されていれば足りる。例えば、演色性の評価のために標準化された試験色が付されたカラーチャートを、カラーチャート１３やカラーチャート２３として採用することができる。具体的には例えば、ＣＩＥ１３．３やＪＩＳＺ８７２６に規定される、各人種の人の肌に対応する色が付された試験職が付されたカラーチャートをカラーチャート１３やカラーチャート２３として採用することができる。 In the above embodiment, the color chart 13 and the color chart 23 are described as including the achromatic color chart 131, the chromatic color chart 132, and the skin chart 133, but are not limited to those shown in FIG. 6.
That is, it is sufficient that the color chart 13 and the color chart 23 are provided with colors for achieving the above-mentioned gamma value and color correction. For example, a color chart provided with standardized test colors for evaluating color rendering properties can be used as the color chart 13 and the color chart 23. Specifically, for example, a color chart provided with test colors corresponding to the skin of people of each race, as specified in CIE 13.3 or JIS Z 8726, can be used as the color chart 13 and the color chart 23.

また、上述の実施形態における画像データの補正には以下のような処理を採用することができる。即ち例えば、受診者端末１１は、画像データの圧縮前に、画像データを補正する。画像データの補正においては、例えば、撮影された画像のγを２．２から２．０に補正する。あるいは、γが２．０以下になるように撮影してもよい。各画素にγ調整回路が設けられる既存技術を用いてもよく、遅いシャッタースピードで撮影した画像と通常のシャッタースピードで撮影した画像とが組み合わされてもよい。これにより、補正後の画像データが圧縮された場合においても、診療者ＵＴが把握したい低階調の情報が適切に８Ｋモニタ装置２２で再生される。 In addition, the following processing can be adopted for correcting image data in the above-mentioned embodiment. That is, for example, the patient terminal 11 corrects the image data before compressing the image data. In correcting the image data, for example, the gamma of the captured image is corrected from 2.2 to 2.0. Alternatively, the image may be captured so that gamma is 2.0 or less. Existing technology in which a gamma adjustment circuit is provided in each pixel may be used, or an image captured at a slow shutter speed may be combined with an image captured at a normal shutter speed. In this way, even if the corrected image data is compressed, the low gradation information that the clinician UT wants to understand is appropriately reproduced on the 8K monitor device 22.

また、上述の実施形態において、ガンマ値の補正は、画像補正部１１２において行われるものとしたが、特にこれに限定されない。即ち例えば、ガンマ値や色彩の補正は、画像補正部１１２及び画像補正部２１２が協働することにより実現されてもよい。これにより、補正の微調整やそれに伴う画像の再送等がなく効率的な運用が可能となる。 In addition, in the above embodiment, gamma value correction is performed in the image correction unit 112, but this is not particularly limited. That is, for example, gamma value and color correction may be achieved by the image correction unit 112 and the image correction unit 212 working together. This allows for efficient operation without fine-tuning the correction and the associated resending of images.

また例えば、受診者システム１は、受診者端末１１と、光源１２と、８Ｋカメラ装置１４と、マイク１５と、スピーカ１６と、処置装置１７とを含むように構成されているものとしたが、特にこれに限定されない。即ち例えば、受診者端末１１は、光源１２と、８Ｋカメラ装置１４と、マイク１５と、スピーカ１６と、処置装置１７とのいずれかに組み込まれていてもよく、光源１２と、８Ｋカメラ装置１４と、マイク１５と、スピーカ１６と、処置装置１７とのうち任意のものを直接受診者端末１１の一部として備えていてもよい。 For example, the patient system 1 is configured to include the patient terminal 11, the light source 12, the 8K camera device 14, the microphone 15, the speaker 16, and the treatment device 17, but is not limited to this. That is, for example, the patient terminal 11 may be incorporated into any of the light source 12, the 8K camera device 14, the microphone 15, the speaker 16, and the treatment device 17, or any of the light source 12, the 8K camera device 14, the microphone 15, the speaker 16, and the treatment device 17 may be directly included as part of the patient terminal 11.

また例えば、診療者システム２は、診療者端末２１と、８Ｋモニタ装置２２とを含むように構成されているものとしたが、特にこれに限定されない。即ち例えば、診療者端末２１は、８Ｋモニタ装置２２に組み込まれていてもよく、８Ｋモニタ装置２２を直接診療者端末２１の一部として備えていてもよい。 For example, the practitioner system 2 is configured to include a practitioner terminal 21 and an 8K monitor device 22, but is not particularly limited to this. That is, for example, the practitioner terminal 21 may be incorporated into the 8K monitor device 22, or the 8K monitor device 22 may be provided directly as a part of the practitioner terminal 21.

また、上述の実施形態において、画像補正部１１２や画像補正部２１２は、ガンマ値の補正により明暗の補正をしたり、色彩の補正のため色相を変化させるものとして説明したが、明暗の補正や色相の補正における具体的な補正のパラメータは特に限定されない。
即ち、補正においては、遠隔診療のため、遠隔診療の対象となる患部や術野の視認性を向上させた画像（例えば、肌補正画像ＰＣ）が得られれば、任意の補正が採用されてよい。
具体的には例えば、明暗の補正として、ガンマ値の変更する手法の他、明るさやコントラストを変更する手法、ガンマカーブを任意の形状に変更させる手法等、任意の手法を用いることができる。
また例えば、色彩の補正として、色相の変化量を指定する手法の他、原色毎のトーンカーブを任意の形状に変化させる手法等、任意の手法を用いることが出来る。 In addition, in the above-described embodiment, the image correction unit 112 and the image correction unit 212 have been described as correcting brightness and darkness by correcting the gamma value, and changing the hue to correct color, but the specific correction parameters for the brightness and darkness correction and the hue correction are not particularly limited.
That is, in the correction, any correction may be adopted so long as an image (for example, a skin-corrected image PC) that improves the visibility of the affected area or surgical field that is the subject of the remote medical examination can be obtained for the remote medical examination.
Specifically, for example, in order to correct brightness, any method can be used, such as changing the gamma value, changing the brightness or contrast, or changing the gamma curve to a desired shape.
Further, for example, color correction can be performed by any method, such as a method of specifying the amount of change in hue, or a method of changing the tone curve for each primary color into an arbitrary shape.

また、図２に示すシステム構成、及び図３に示す受診者端末１１のハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。 Furthermore, the system configuration shown in FIG. 2 and the hardware configuration of the patient terminal 11 shown in FIG. 3 are merely examples for achieving the objectives of the present invention and are not particularly limited.

また、図４に示す機能ブロック図は、例示に過ぎず、特に限定されない。即ち、上述した各種処理を全体として実行できる機能が図２の遠隔診療システムＳＹＳに備えられていれば足り、この機能を実現するためにどのような機能ブロック及びデータベースを用いるのかは、特に図４の例に限定されない。 The functional block diagram shown in FIG. 4 is merely an example and is not particularly limited. In other words, it is sufficient that the remote medical treatment system SYS in FIG. 2 is provided with the functionality to execute the various processes described above as a whole, and the functional blocks and databases used to realize this functionality are not particularly limited to the example in FIG. 4.

また、機能ブロック及びデータベースの存在場所も、図４に限定されず、任意でよい。
例えば受診者端末１１側に配置された機能ブロック及びデータベースの少なくとも一部を、診療者端末２１側、８Ｋカメラ装置１４側、又は図示せぬ他の情報処理装置等に移譲してもよい。 Furthermore, the locations of the functional blocks and databases are not limited to those shown in FIG. 4 and may be arbitrary.
For example, at least a portion of the functional blocks and database arranged on the patient terminal 11 side may be transferred to the clinician terminal 21 side, the 8K camera device 14 side, or another information processing device not shown.

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。 Furthermore, the above-described series of processes can be executed by hardware or software.
Furthermore, one functional block may be configured as a single piece of hardware, a single piece of software, or a combination of both.

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。 When the series of processes is executed by software, the program constituting the software is installed into a computer or the like from a network or a recording medium.
The computer may be a computer implemented with dedicated hardware.
Furthermore, the computer may be a computer capable of executing various functions by installing various programs, such as a server, a general-purpose smartphone, or a personal computer.

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。 The recording medium containing such a program may be configured not only as a removable medium (not shown) that is distributed separately from the device body in order to provide the program to the user, but also as a recording medium that is provided to the user in a state where it is already installed in the device body.

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In this specification, the steps of describing a program to be recorded on a recording medium include not only processes that are performed chronologically according to the order, but also processes that are not necessarily performed chronologically but are executed in parallel or individually.

以上をまとめると、本発明が適用される遠隔診療システムは、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。
即ち、本発明が適用される遠隔診療システムは、
遠隔診療を受診する受診者（例えば図１の受診者ＵＥ）により利用される受診者システム（例えば図１や図２の受診者システム１）と、当該受診者を診療する診療者（例えば図１の診療者ＵＴ）により利用される診療者システム（例えば図１や図２の診療者システム２）と、を含む遠隔診療システムであって、
前記受診者システムは、
前記受診者を撮像する撮像装置（例えば図１や図４の８Ｋカメラ装置１４）と、
前記撮像装置により撮像された第１画像データ（例えば図８のオリジナル画像ＰＯ－４のデータ）を取得する画像データ取得手段（例えば図４の画像データ取得部１１１）と、
前記第１画像データに基づく第１情報を診療者システムに送信する第１送信制御手段（例えば図４の送信制御部１１４）と、
を有する受診者端末（例えば図１や図４の受診者端末１１）と、
を含み、
前記診療者システムは、
前記第１情報を受信する制御を実行する第１受信制御手段（例えば図４の画像データ受信制御部２１１）と、
前記第１情報に基づいて、第２画像データを表示する制御を実行する表示制御手段（例えば図４の表示制御部２１３）と、
を有する診療者端末（例えば図１や図４の診療者端末２１）と、
前記診療者端末の制御により、前記受診者の像を含む画像を表示するモニタ装置（例えば図１や図４の８Ｋモニタ装置２２）と、
を含み、
前記受診者端末又は前記診療者端末は、
前記第１画像データに基づいて、ガンマ値を補正することで前記第２画像データ（例えば図９の肌補正画像ＰＣのデータ）とする。
これにより、視認性が向上した遠隔診療システムを利用できるようにすることができる。 In summary, the remote medical treatment system to which the present invention is applied is sufficient as long as it has the following configuration, and can take a variety of different forms.
That is, the remote medical treatment system to which the present invention is applied is as follows:
A remote medical care system including a patient system (e.g., a patient system 1 in FIG. 1 or FIG. 2) used by a patient who receives remote medical care (e.g., a patient UE in FIG. 1) and a practitioner system (e.g., a practitioner system 2 in FIG. 1 or FIG. 2) used by a practitioner who treats the patient (e.g., a practitioner UT in FIG. 1),
The patient system includes:
An imaging device (for example, the 8K camera device 14 in FIG. 1 or FIG. 4) that images the patient;
An image data acquisition unit (e.g., the image data acquisition unit 111 in FIG. 4) that acquires first image data (e.g., data of the original image PO-4 in FIG. 8) captured by the imaging device;
A first transmission control means (e.g., the transmission control unit 114 in FIG. 4 ) for transmitting first information based on the first image data to a medical practitioner system;
A patient terminal (e.g., the patient terminal 11 in FIG. 1 or FIG. 4) having
Including,
The clinician system includes:
a first reception control means (e.g., the image data reception control unit 211 in FIG. 4) for controlling reception of the first information;
A display control unit (e.g., the display control unit 213 in FIG. 4 ) that executes control to display the second image data based on the first information;
A medical practitioner terminal (for example, the medical practitioner terminal 21 in FIG. 1 or FIG. 4 ) having
A monitor device (e.g., the 8K monitor device 22 in FIG. 1 or FIG. 4 ) that displays an image including an image of the patient under the control of the medical practitioner terminal;
Including,
The patient terminal or the clinician terminal includes:
The gamma value is corrected based on the first image data to obtain the second image data (for example, data of the skin correction image PC in FIG. 9).
This makes it possible to use a remote medical treatment system with improved visibility.

また、前記受診者端末又は前記診療者端末は、
前記受診者の肌の色の近傍において階調が大きくなるように前記ガンマ値を補正することで前記第２画像データとする、
ことができる。 In addition, the patient terminal or the medical practitioner terminal
The gamma value is corrected so that the gradation is increased in the vicinity of the skin color of the examinee, thereby obtaining the second image data.
be able to.

また、前記受診者端末又は前記診療者端末は、
前記受診者の肌の色の近傍において階調が大きくなるように、前記ガンマ値を補正すること及び前記撮像装置を制御することで感度を補正することのうち少なくとも一方により前記第２画像データとする、
ことができる。 In addition, the patient terminal or the medical practitioner terminal
The second image data is obtained by at least one of correcting the gamma value and correcting the sensitivity by controlling the imaging device so that gradation is increased in the vicinity of the skin color of the examinee.
be able to.

また、前記診療者システムは、
白色、１以上の灰色、及び黒色、並びに、前記受診者の肌の色に応じた色、を少なくとも含むカラーチャート（例えば図１や図６のカラーチャート１３）、
をさらに含み、
前記撮像装置は、
前記カラーチャートを像として含んで撮像し、
前記受診者端末又は前記診療者端末は、
前記第１情報に含まれる、前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の１以上の灰色（例えば図６の無彩色チャート１３１）に基づいて前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色（例えば図６の肌チャート１３３や彩色チャート１３２に含まれる肌に近い色）に基づいて色彩を補正することで前記第２画像データとする、
ことができる。 In addition, the medical practitioner system includes:
A color chart including at least white, one or more grays, and black, as well as a color corresponding to the skin color of the examinee (e.g., color chart 13 in FIG. 1 or FIG. 6 );
Further comprising:
The imaging device includes:
Taking an image of the color chart,
The patient terminal or the clinician terminal includes:
The gamma value is corrected based on at least white, black, and one or more intermediate grays (e.g., achromatic color chart 131 in FIG. 6 ) among the colors contained in the image of the color chart included in the first information, and the colors are corrected based on colors corresponding to the skin color of the examinee among the colors contained in the image of the color chart (e.g., skin-like colors contained in the skin chart 133 and color chart 132 in FIG. 6 ), thereby obtaining the second image data.
be able to.

前記受診者端末は、
前記第１画像データに基づいて、前記第１画像データの前記ガンマ値を補正する第１画像補正手段（例えば図４の画像補正部１１２）と、
前記第１画像補正手段により補正された画像データ（例えば図９の肌補正画像ＰＣのデータ）に対して、データ圧縮処理を実行するデータ圧縮処理手段（例えば図４のデータ圧縮処理部１１３）と、
を有し、
前記第１送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第１情報として送信する、
ことができる。 The patient terminal includes:
a first image correction unit (e.g., the image correction unit 112 in FIG. 4 ) that corrects the gamma value of the first image data based on the first image data;
a data compression processing unit (e.g., the data compression processing unit 113 in FIG. 4 ) that performs data compression processing on image data corrected by the first image correction unit (e.g., data of the skin correction image PC in FIG. 9 );
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
be able to.

前記診療者端末は、
前記診療者から画像データの補正指示を受付ける指示受付手段（例えば図４の指示受付部２１４）と、
前記補正指示を少なくとも含む第２情報を前記受診者端末に送信する制御を実行する第２送信制御手段（例えば図４の送信制御部２１６）と、
を更に有し、
前記受診者端末は、
前記第２情報を受信する制御を実行する第２受信制御手段（例えば図４の受信制御部１１５）、
を更に有し、
前記第１画像補正手段は、
前記第２情報に含まれる前記補正指示に基づいて、前記第１画像データの前記ガンマ値を補正する、
ことができる。 The medical practitioner terminal includes:
An instruction receiving unit (e.g., the instruction receiving unit 214 in FIG. 4) that receives an instruction to correct the image data from the practitioner;
A second transmission control means (e.g., the transmission control unit 216 in FIG. 4 ) that executes control to transmit second information including at least the correction instruction to the patient terminal;
Further comprising:
The patient terminal includes:
A second reception control means (e.g., the reception control unit 115 in FIG. 4 ) that executes control for receiving the second information;
and
The first image correction means
correcting the gamma value of the first image data based on the correction instruction included in the second information;
be able to.

前記受診者端末は、
前記第１画像データの前記ガンマ値を補正する第１画像補正手段と、
前記第１画像補正手段により補正された画像データに対して、データ圧縮処理を実行するデータ圧縮処理手段と、
を有し、
前記第１送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第１情報として送信し、
前記診療者端末は、
前記第１情報に含まれる、前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の１以上の灰色に基づいて白色から黒色の間において均等な階調となるように前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色とは異なる色に基づいて色彩を補正することで標準画像データとする第２画像補正手段（例えば図４の画像補正部２１２）、
を更に備え、
前記表示制御手段は、
前記第１情報に含まれる前記第１画像補正手段により補正された画像データ（例えば図９の肌補正画像ＰＣのデータ）、及び前記標準画像データ（例えば図９の肌補正画像ＰＣのデータから補正して再現された図８のオリジナル画像ＰＯ－４に相当するデータ）の夫々に対応する画像を含んで表示する制御を実行する、
ことができる。 The patient terminal includes:
a first image correction means for correcting the gamma value of the first image data;
a data compression processing means for performing a data compression process on the image data corrected by the first image correction means;
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
The medical practitioner terminal includes:
a second image correction means (e.g., the image correction unit 212 in FIG. 4 ) for correcting the gamma value based on at least white, black, and one or more intermediate grays among the colors included in the image of the color chart included in the first information so as to obtain uniform gradation between white and black, and for correcting colors based on colors different from the colors corresponding to the skin color of the examinee among the colors included in the image of the color chart, thereby obtaining standard image data;
Further comprising:
The display control means
Execute control to display images corresponding to the image data corrected by the first image correction means included in the first information (e.g., data of the skin correction image PC in FIG. 9) and the standard image data (e.g., data corresponding to the original image PO-4 in FIG. 8 reproduced by correcting the data of the skin correction image PC in FIG. 9),
be able to.

前記第１画像補正手段は、
前記診療者を照らす光源の波長スペクトルに基づいて、前記第１画像データのガンマ値、及び、前記色彩を補正する、
ことができる。 The first image correction means
correcting the gamma value and the color of the first image data based on the wavelength spectrum of a light source illuminating the clinician;
be able to.

前記撮像装置は、
第１方向に７，６８０ピクセル以上の画素を有し、当該第１方向と直行する第２方向に４，３２０ピクセル以上の画素を有する、
ことができる。 The imaging device includes:
A pixel having 7,680 pixels or more in a first direction and 4,320 pixels or more in a second direction perpendicular to the first direction.
be able to.

ＳＹＳ・・・遠隔診療システム、１・・・受診者システム、１１・・・受診者端末、１２・・・光源、１３・・・カラーチャート、１３１・・・無彩色チャート、１３２・・・彩色チャート、１３３・・・肌チャート、１３３－１・・・第１肌色、１３３－２・・・第２肌色、１３３－３・・・第３肌色、１３３－４・・・第４肌色、１４・・・カメラ装置、１５・・・マイク、１６・・・スピーカ、１７・・・処置装置、２・・・診療者システム、２１・・・診療者端末、２２・・・モニタ装置、２３・・・カラーチャート、２４・・・マイク、２５・・・スピーカ、１１１・・・画像データ取得部、１１２・・・画像補正部、１１３・・・データ圧縮処理部、１１４・・・送信制御部、１１５・・・受信制御部、１１６・・・装置制御部、２１１・・・画像データ受信制御部、２１２・・・画像補正部、２１３・・・表示制御部、２１４・・・指示受付部、２１５・・・診療内容受付部、２１６・・・送信制御部、３１，６１・・・ＣＰＵ、４０・・・ドライブ、５０・・・リムーバブルメディア、Ｓ１１乃至Ｓ２０・・・ステップ SYS... Remote medical treatment system, 1... Patient system, 11... Patient terminal, 12... Light source, 13... Color chart, 131... Achromatic color chart, 132... Color chart, 133... Skin chart, 133-1... First skin color, 133-2... Second skin color, 133-3... Third skin color, 133-4... Fourth skin color, 14... Camera device, 15... Microphone, 16... Speaker, 17... Treatment device, 2... Clinician system, 21... Clinician terminal, 22... Monitor device, 23... Color chart chart, 24... microphone, 25... speaker, 111... image data acquisition unit, 112... image correction unit, 113... data compression processing unit, 114... transmission control unit, 115... reception control unit, 116... device control unit, 211... image data reception control unit, 212... image correction unit, 213... display control unit, 214... instruction reception unit, 215... medical treatment content reception unit, 216... transmission control unit, 31, 61... CPU, 40... drive, 50... removable media, S11 to S20... steps

Claims

遠隔診療を受診する受診者により利用される受診者システムと、当該受診者を診療する診療者により利用される診療者システムと、を含む遠隔診療システムであって、
前記受診者システムは、
前記受診者を撮像する撮像装置と、
前記撮像装置により撮像された第１画像データを取得する画像データ取得手段と、
前記第１画像データに基づく第１情報を診療者システムに送信する第１送信制御手段と、
を有する受診者端末と、
を含み、
前記診療者システムは、
前記第１情報を受信する制御を実行する第１受信制御手段と、
前記第１情報に基づいて第２画像データを表示する制御を実行する表示制御手段と、
を有する診療者端末と、
前記診療者端末の制御により、前記受診者の像を含む画像を表示するモニタ装置と、
を含み、
前記受診者端末又は前記診療者端末は、
前記第１画像データに基づいて、ガンマ値を補正することで前記第２画像データとする、
遠隔診療システム。 A remote medical care system including a patient system used by a patient who receives remote medical care and a medical practitioner system used by a medical practitioner who treats the patient,
The patient system includes:
an imaging device for imaging the patient;
an image data acquisition means for acquiring first image data captured by the imaging device;
A first transmission control means for transmitting first information based on the first image data to a medical practitioner system;
A patient terminal having
Including,
The clinician system includes:
a first reception control means for executing control for receiving the first information;
a display control means for controlling display of second image data based on the first information;
A clinician terminal having
A monitor device that displays an image including an image of the examinee under the control of the medical practitioner terminal;
Including,
The patient terminal or the medical practitioner terminal,
correcting a gamma value based on the first image data to obtain the second image data;
Remote medical treatment system.

前記受診者端末又は前記診療者端末は、
前記受診者の肌の色の近傍において階調が大きくなるように、前記ガンマ値を補正すること及び前記撮像装置を制御することで感度を補正することのうち少なくとも一方により前記第２画像データとする、
請求項１に記載の遠隔診療システム。 The patient terminal or the clinician terminal includes:
The second image data is obtained by at least one of correcting the gamma value and correcting the sensitivity by controlling the imaging device so that gradation is increased in the vicinity of the skin color of the examinee.
The remote medical treatment system according to claim 1 .

前記診療者システムは、
白色、１以上の灰色、及び黒色、並びに、前記受診者の肌の色に応じた色、を少なくとも含むカラーチャート、
をさらに含み、
前記撮像装置は、
前記カラーチャートを像として含んで撮像し、
前記受診者端末又は前記診療者端末は、
前記第１情報に含まれる前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の１以上の灰色に基づいて前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色に基づいて色彩を補正することで前記第２画像データとする、
請求項２に記載の遠隔診療システム。 The clinician system includes:
a color chart including at least white, one or more grays, and black, and a color corresponding to the skin color of the examinee;
Further comprising:
The imaging device includes:
Taking an image of the color chart,
The patient terminal or the clinician terminal includes:
the gamma value is corrected based on at least white, black, and one or more intermediate grays among the colors included in the image of the color chart included in the first information, and the color is corrected based on a color corresponding to the skin color of the examinee among the colors included in the image of the color chart, thereby obtaining the second image data.
The remote medical treatment system according to claim 2.

前記受診者端末は、
前記第１画像データのガンマ値を補正する第１画像補正手段と、
前記第１画像補正手段により補正された画像データに対して、データ圧縮処理を実行するデータ圧縮処理手段と、
を有し、
前記第１送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第１情報として送信する、
請求項１乃至３のうち何れか１項に記載の遠隔診療システム。 The patient terminal includes:
a first image correction means for correcting a gamma value of the first image data;
a data compression processing means for performing a data compression process on the image data corrected by the first image correction means;
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
The remote medical treatment system according to any one of claims 1 to 3.

前記診療者端末は、
前記診療者から画像データの補正指示を受付ける指示受付手段と、
前記補正指示を少なくとも含む第２情報を前記受診者端末に送信する制御を実行する第２送信制御手段と、
を更に有し、
前記受診者端末は、
前記第２情報を受信する制御を実行する第２受信制御手段、
を更に有し、
前記第１画像補正手段は、
前記第２情報に含まれる前記補正指示に基づいて、前記第１画像データの前記ガンマ値を補正する、
請求項４に記載の遠隔診療システム。 The medical practitioner terminal includes:
An instruction receiving means for receiving an instruction to correct the image data from the practitioner;
a second transmission control means for executing control to transmit second information including at least the correction instruction to the patient terminal;
and
The patient terminal includes:
A second reception control means for executing control for receiving the second information;
and
The first image correction means
correcting the gamma value of the first image data based on the correction instruction included in the second information;
The remote medical treatment system according to claim 4.

前記受診者端末は、
前記第１画像データの前記ガンマ値を補正する第１画像補正手段と、
前記第１画像補正手段により補正された画像データに対して、データ圧縮処理を実行するデータ圧縮処理手段と、
を有し、
前記第１送信制御手段は、
前記データ圧縮処理手段により前記データ圧縮処理をされた画像データを前記第１情報として送信し、
前記診療者端末は、
前記第１情報に含まれる、前記カラーチャートの像に含まれる色のうち少なくとも白色、黒色、及びその中間の１以上の灰色に基づいて白色から黒色の間において均等な階調となるように前記ガンマ値を補正するとともに、前記カラーチャートの像に含まれる色のうち前記受診者の肌の色に応じた色とは異なる色に基づいて色彩を補正することで標準画像データとする第２画像補正手段、
を更に備え、
前記表示制御手段は、
前記第１情報に含まれる前記第１画像補正手段により補正された画像データ、及び前記標準画像データの夫々に対応する画像を含んで表示する制御を実行する、
請求項３に記載の遠隔診療システム。 The patient terminal includes:
a first image correction means for correcting the gamma value of the first image data;
a data compression processing means for performing a data compression process on the image data corrected by the first image correction means;
having
The first transmission control means
transmitting the image data compressed by the data compression processing means as the first information;
The medical practitioner terminal includes:
a second image correction means for correcting the gamma value based on at least white, black, and one or more intermediate grays among the colors included in the image of the color chart included in the first information so as to obtain uniform gradation between white and black, and for correcting colors based on colors different from the colors corresponding to the skin color of the examinee among the colors included in the image of the color chart, thereby obtaining standard image data;
Further comprising:
The display control means
executes control to display images corresponding to the image data corrected by the first image correction means and the standard image data, which are included in the first information;
The remote medical treatment system according to claim 3.

前記第１画像補正手段は、
前記診療者を照らす光源の波長スペクトルに基づいて、前記第１画像データのガンマ値、及び、色彩のうち少なくとも一方を補正する、
請求項４に記載の遠隔診療システム。 The first image correction means
correcting at least one of a gamma value and a color of the first image data based on a wavelength spectrum of a light source illuminating the clinician;
The remote medical treatment system according to claim 4.

前記撮像装置は、
第１方向に７，６８０ピクセル以上の画素を有し、当該第１方向と直行する第２方向に４，３２０ピクセル以上の画素を有する、
請求項４に記載の遠隔診療システム。 The imaging device includes:
A pixel having 7,680 pixels or more in a first direction and 4,320 pixels or more in a second direction perpendicular to the first direction.
The remote medical treatment system according to claim 4.