JP2022188611A - Diagnosis support system - Google Patents

Abstract

To grasp a symptom of a disease of a patient at an early stage.SOLUTION: A diagnosis support system according to an embodiment comprises an acquisition unit, an expression recognition unit, an index generation unit and a display control unit. The acquisition unit continuously acquires recorded face information regarding the face of a patient. The expression recognition unit recognizes an expression of the patient on the basis of the face information. The index generation unit generates an index showing time-series variation of the expression by using the face information and medical care data of the patient. The display control unit displays the index and the expression on a display unit with time-series variation of the medical data of the patient.SELECTED DRAWING: Figure 1

Description

本明細書及び図面に開示の実施形態は、診断支援システムに関する。 The embodiments disclosed in the specification and drawings relate to a diagnostic support system.

患者の診療では、重大な疾患の兆候を早期に把握することが求められている。例えば、心不全は、早期の段階で処置を行うことができるかどうかで予後が大きく左右されることが知られている。このため、早期の段階で心不全の処置を行うことが、心不全による死亡率の低下には重要である。従来、集中治療室（Intensive Care Unit：ＩＣＵ）や新生児集中治療室（Neonatal Intensive Care Unit：ＮＩＣＵ）、病棟などでは、呼吸数上昇、心拍上昇、血圧上昇などのバイタルサインの変化が心不全の兆候として利用されている。しかし、バイタルサインの変化だけでは、心不全などの疾患の兆候を確実に検出することは困難である。 Early recognition of signs of serious disease is required in patient care. For example, it is known that the prognosis of heart failure is highly dependent on whether it can be treated at an early stage. Therefore, treating heart failure at an early stage is important for reducing mortality from heart failure. Conventionally, in intensive care units (ICUs), neonatal intensive care units (NICUs), and hospital wards, changes in vital signs such as increased respiratory rate, increased heart rate, and increased blood pressure have been identified as signs of heart failure. It's being used. However, it is difficult to reliably detect signs of diseases such as heart failure only from changes in vital signs.

特開２０１８－４３００３号公報Japanese Patent Application Laid-Open No. 2018-43003

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、患者の疾患の兆候を早期に把握することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。 One of the problems to be solved by the embodiments disclosed in the present specification and drawings is early detection of signs of disease in patients. However, the problems to be solved by the embodiments disclosed in this specification and drawings are not limited to the above problems. A problem corresponding to each effect of each configuration shown in the embodiments described later can be positioned as another problem.

実施形態に係る診断支援システムは、取得部と、表情認識部と、指標生成部と、表示制御部とを備える。取得部は、継続的に記録された患者の顔に関する顔情報を取得する。表情認識部は、顔情報に基づいて患者の表情を認識する。指標生成部は、顔情報と患者の診療データとを用いて、表情の時系列変化を示す指標を生成する。表示制御部は、指標と表情を、患者の診療データの時系列変化とともに表示部に表示させる。 A diagnosis support system according to an embodiment includes an acquisition unit, an expression recognition unit, an index generation unit, and a display control unit. The acquisition unit acquires face information about the patient's face that is continuously recorded. The facial expression recognition unit recognizes the patient's facial expression based on the facial information. The index generation unit uses the face information and the medical care data of the patient to generate an index indicating a time-series change in facial expression. The display control unit causes the display unit to display the index and the facial expression along with the chronological change in the medical data of the patient.

図１は、第１の実施形態に係る診断支援システムの構成の一例を示す図である。FIG. 1 is a diagram showing an example of the configuration of a diagnosis support system according to the first embodiment. 図２は、第１の実施形態に係る診断支援システムによる診断支援処理の処理手順を例示するフローチャートである。FIG. 2 is a flowchart illustrating a processing procedure of diagnostic support processing by the diagnostic support system according to the first embodiment. 図３は、第１の実施形態に係る診断支援システムにより表示される診断支援画面の一例を示す図である。FIG. 3 is a diagram showing an example of a diagnostic support screen displayed by the diagnostic support system according to the first embodiment. 図４は、第１の実施形態の第１の変形例に係る診断支援システムにより表示される表示画面の一例を示す図である。FIG. 4 is a diagram showing an example of a display screen displayed by the diagnosis support system according to the first modification of the first embodiment. 図５は、第２の実施形態に係る診断支援システムの構成の一例を示す図である。FIG. 5 is a diagram showing an example of the configuration of a diagnostic support system according to the second embodiment. 図６は、第２の実施形態に係る診断支援システムによる診断支援処理の処理手順を例示するフローチャートである。FIG. 6 is a flowchart illustrating a processing procedure of diagnostic support processing by the diagnostic support system according to the second embodiment. 図７は、第２の実施形態に係る診断支援システムにより表示される表示画面の一例を示す図である。FIG. 7 is a diagram showing an example of a display screen displayed by the diagnostic support system according to the second embodiment. 図８は、第２の実施形態の第１の変形例に係る診断支援システムの構成の一例を示す図である。FIG. 8 is a diagram showing an example of the configuration of a diagnosis support system according to the first modification of the second embodiment. 図９は、第２の実施形態の第１の変形例に係る学習済みモデルの入力と出力との組合せの一例を示す図である。FIG. 9 is a diagram showing an example of combinations of inputs and outputs of a trained model according to the first modification of the second embodiment. 図１０は、第２の実施形態の第１の変形例に係る診断支援システムによる診断支援処理の処理手順を例示するフローチャートである。FIG. 10 is a flowchart exemplifying the procedure of diagnostic support processing by the diagnostic support system according to the first modification of the second embodiment. 図１１は、第２の実施形態の第１の変形例に係る診断支援システムにより表示される表示画面の一例を示す図である。FIG. 11 is a diagram showing an example of a display screen displayed by the diagnosis support system according to the first modification of the second embodiment.

以下、図面を参照しながら、医用情報処理装置の実施形態について詳細に説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。 Hereinafter, embodiments of the medical information processing apparatus will be described in detail with reference to the drawings. In the following description, components having substantially the same functions and configurations are denoted by the same reference numerals, and redundant description will be given only when necessary.

（第１の実施形態）
図１は、診断支援システム１００の構成を示す図である。診断支援システム１００は、ネットワーク２００を介して、病院情報システム（Hospital Information System：以下、ＨＩＳと呼ぶ）３００、検査装置４００、及び放射線科情報システム（Radiology Information System：以下、ＲＩＳと呼ぶ）５００と接続されている。診断支援システム１００は、ネットワーク２００を介して、ワークステーション、画像保存通信システム（Picture Archiving and Communication System：ＰＡＣＳ）等に接続されてもよい。 (First embodiment)
FIG. 1 is a diagram showing the configuration of a diagnosis support system 100. As shown in FIG. The diagnosis support system 100 includes a hospital information system (hereinafter referred to as HIS) 300, an examination apparatus 400, and a radiology information system (hereinafter referred to as RIS) 500 via a network 200. It is connected. The diagnosis support system 100 may be connected to a workstation, a picture archiving and communication system (PACS), etc. via a network 200 .

ネットワーク２００は、例えば、ＬＡＮ（Local Area Network）である。なお、ネットワーク２００への接続は、有線接続、及び無線接続を問わない。また、ＶＰＮ（Virtual Private Network）等によりセキュリティが確保されるのであれば、接続される回線はＬＡＮに限定されない。インターネット等、公衆の通信回線に接続するようにしても構わない。 The network 200 is, for example, a LAN (Local Area Network). The connection to the network 200 may be wired connection or wireless connection. Also, the line to be connected is not limited to a LAN as long as security is ensured by a VPN (Virtual Private Network) or the like. It may be connected to a public communication line such as the Internet.

ＨＩＳ３００は、例えば、病院等の医用施設に係る情報を管理する。ＨＩＳ３００では、電子医療記録（Electronic Medical Record：ＥＭＲ）、個人の健康情報（Personal Health Record：ＰＨＲ）等が記憶装置に記録されている。また、ＨＩＳ３００には、患者に関する情報（以下、患者情報と呼ぶ）や、患者の医用画像等が記録されている。患者情報は、患者の名前、性別、年齢、国籍、既往歴、検査に関する情報、診察結果等を含む。医用画像は、一般的なカメラを用いて撮影された画像や、検査で得られた検査画像等を含む。 The HIS 300 manages, for example, information related to medical facilities such as hospitals. In the HIS 300, electronic medical records (EMR), personal health records (PHR), etc. are recorded in a storage device. The HIS 300 also records patient-related information (hereinafter referred to as patient information), patient's medical images, and the like. The patient information includes the patient's name, sex, age, nationality, medical history, information on examinations, examination results, and the like. Medical images include images captured using a general camera, inspection images obtained in inspections, and the like.

検査装置４００は、例えば、Ｘ線コンピュータ断層撮影装置（Computed Tomography：ＣＴ装置）、磁気共鳴イメージング装置（Magnetic Resonance Imaging：ＭＲＩ装置）、超音波診断装置、Ｘ線診断装置などの医用画像診断装置や、血液検査装置等である。 The inspection device 400 includes, for example, an X-ray computed tomography (CT) device, a magnetic resonance imaging (MRI) device, an ultrasonic diagnostic device, a medical image diagnostic device such as an X-ray diagnostic device, , blood test equipment, etc.

ＲＩＳ５００は、放射線検査業務に係る情報を管理する。放射線検査業務に係る情報には、患者情報、オーダ情報及び画像データ等が含まれる。画像データは、検査装置４００を用いた検査により過去に取得された画像（以下、検査画像と呼ぶ）についての情報を含む。検査画像には、撮像条件等が関連付けられる。 The RIS 500 manages information related to radiological examination work. Information related to radiological examination work includes patient information, order information, image data, and the like. The image data includes information about images obtained in the past through inspection using the inspection apparatus 400 (hereinafter referred to as inspection images). Imaging conditions and the like are associated with the inspection image.

診断支援システム１００は、ネットワーク２００を介して、各種情報をＨＩＳ３００、検査装置４００及びＲＩＳ５００等との間で送受信することができる。診断支援システム１００は、患者の表情を認識する手段を用いて患者の表情に関する情報（以下、顔情報と呼ぶ）を継続的に記録し、患者の表情の推移に関する情報を他の診療データとともに時系列で表示する。医師は、表示された表情の推移を確認することで、心不全などの重大な疾患の兆候を早期に把握することができる。以下、診断支援システム１００を心不全の兆候の把握に用いる場合を例に説明する。 The diagnosis support system 100 can transmit and receive various information to and from the HIS 300, the inspection device 400, the RIS 500, and the like via the network 200. FIG. The diagnosis support system 100 continuously records information about the patient's facial expression (hereafter referred to as face information) using means for recognizing the patient's facial expression, and timely records the information about the transition of the patient's facial expression together with other medical data. Display in series. By checking the transition of the displayed facial expression, the doctor can quickly grasp the signs of a serious disease such as heart failure. A case where the diagnosis support system 100 is used to grasp signs of heart failure will be described below as an example.

診断支援システム１００は、診断支援装置１０を備える。診断支援装置１０は、例えば、集中治療室（Intensive Care Unit：ＩＣＵ）、新生児集中治療室（Neonatal Intensive Care Unit：ＮＩＣＵ）、病棟などで医師が診断に用いる端末装置である。診断支援装置１０は、メモリ１１、通信インタフェース１２、ディスプレイ１３、入力インタフェース１４及び処理回路１５を備えている。なお、以下、診断支援装置１０は、単一の装置にて複数の機能を実行するものとして説明するが、複数の機能を別々の装置が実行することにしても構わない。例えば、診断支援装置１０が実行する各機能は、異なるコンソール装置又はワークステーション装置に分散して搭載されても構わない。 A diagnosis support system 100 includes a diagnosis support device 10 . The diagnosis support device 10 is, for example, a terminal device used for diagnosis by a doctor in an intensive care unit (ICU), a neonatal intensive care unit (NICU), a hospital ward, or the like. The diagnosis support device 10 has a memory 11 , a communication interface 12 , a display 13 , an input interface 14 and a processing circuit 15 . Although the diagnostic support apparatus 10 is described below as a single apparatus that performs a plurality of functions, the plurality of functions may be performed by separate apparatuses. For example, each function executed by the diagnosis support device 10 may be distributed and installed in different console devices or workstation devices.

メモリ１１は、種々の情報を記憶するＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、集積回路等の記憶装置である。また、メモリ１１は、ＨＤＤやＳＳＤ等以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬性記憶媒体であってもよい。なお、メモリ１１は、フラッシュメモリ、ＲＡＭ（Random Access Memory）等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ１１の保存領域は、診断支援装置１０内にあってもよいし、ネットワークで接続された外部記憶装置内にあってもよい。 The memory 11 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or an integrated circuit that stores various information. Moreover, the memory 11 may be a portable storage medium such as a CD (Compact Disc), a DVD (Digital Versatile Disc), a flash memory, or the like, in addition to an HDD, an SSD, or the like. Note that the memory 11 may be a driving device that reads and writes various information with semiconductor memory elements such as flash memory and RAM (Random Access Memory). Moreover, the storage area of the memory 11 may be in the diagnosis support apparatus 10 or in an external storage device connected via a network.

メモリ１１は、処理回路１５によって実行されるプログラム、処理回路１５の処理に用いられる各種データ等を記憶する。プログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、処理回路１５の各機能を当該コンピュータに実現させるプログラムが用いられる。なお、本明細書において扱う各種データは、典型的にはデジタルデータである。メモリ１１は、記憶部の一例である。 The memory 11 stores a program executed by the processing circuit 15, various data used for processing of the processing circuit 15, and the like. As the program, for example, a program that is installed in the computer in advance from a network or a non-transitory computer-readable storage medium and causes the computer to implement each function of the processing circuit 15 is used. Various data handled in this specification are typically digital data. The memory 11 is an example of a storage unit.

通信インタフェース１２は、ネットワーク２００を介してＨＩＳ３００、検査装置４００及びＲＩＳ５００や、その他の外部機器との通信を伝送制御するネットワークインタフェースである。 The communication interface 12 is a network interface that controls transmission of communication with the HIS 300, the inspection apparatus 400, the RIS 500, and other external devices via the network 200. FIG.

ディスプレイ１３は、各種の情報を表示する。例えば、ディスプレイ１３は、処理回路１５によって生成された医用情報や、操作者からの各種操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を出力する。例えば、ディスプレイ１３は、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイである。 The display 13 displays various information. For example, the display 13 outputs medical information generated by the processing circuit 15, a GUI (Graphical User Interface) for accepting various operations from the operator, and the like. For example, the display 13 is a liquid crystal display or a CRT (Cathode Ray Tube) display.

また、ディスプレイ１３は、患者の表情の推移に関する情報を他の診療データとともに時系列で表示する。この際、ディスプレイ１３は、診療データが表示された画面上に、患者の表情の推移に関する情報を時系列で表示する。ディスプレイ１３は、表示部の一例である。 In addition, the display 13 displays information about changes in the patient's facial expressions in chronological order along with other medical data. At this time, the display 13 displays information about the transition of the patient's facial expression in chronological order on the screen on which the medical care data is displayed. The display 13 is an example of a display section.

入力インタフェース１４は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１５に出力する。例えば、入力インタフェース１４は、医用情報の入力、各種コマンド信号の入力等を操作者から受け付ける。入力インタフェース１４は、処理回路１５の各種処理等を行うためのマウスやキーボード、トラックボール、スイッチボタン、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インタフェース１４は、処理回路１５に接続されており、操作者から受け取った入力操作を電気信号へ変換し制御回路へと出力する。なお、本明細書において、入力インタフェースは、マウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１５へ出力する電気信号の処理回路も入力インタフェースの例に含まれる。入力インタフェース１４は、入力部の一例である。 The input interface 14 receives various input operations from the operator, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 15 . For example, the input interface 14 receives input of medical information, input of various command signals, and the like from the operator. The input interface 14 includes a mouse, a keyboard, a trackball, switch buttons, a touch screen in which a display screen and a touch pad are integrated, a non-contact input circuit using an optical sensor, and the like. and an audio input circuit or the like. The input interface 14 is connected to the processing circuit 15, converts an input operation received from an operator into an electrical signal, and outputs the electrical signal to the control circuit. In this specification, the input interface is not limited to those having physical operation components such as a mouse and keyboard. For example, an electrical signal processing circuit that receives an electrical signal corresponding to an input operation from an external input device provided separately from the device and outputs the electrical signal to the processing circuit 15 is also included in the input interface. The input interface 14 is an example of an input unit.

処理回路１５は、診断支援装置１０全体の動作を制御する。処理回路１５は、メモリ１１内のプログラムを呼び出し実行することにより、取得機能１５１、表情認識機能１５２及び表示制御機能１５３を実行するプロセッサである。取得機能１５１、表情認識機能１５２及び表示制御機能１５３の各機能を実現する処理回路１５は、それぞれ取得部、表情認識部、表示制御部の一例である。 The processing circuit 15 controls the operation of the diagnostic support device 10 as a whole. The processing circuit 15 is a processor that executes an acquisition function 151 , a facial expression recognition function 152 and a display control function 153 by calling and executing programs in the memory 11 . The processing circuit 15 that implements the acquisition function 151, facial expression recognition function 152, and display control function 153 is an example of an acquisition unit, facial expression recognition unit, and display control unit, respectively.

なお、図１においては、単一の処理回路１５にて取得機能１５１、表情認識機能１５２及び表示制御機能１５３が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、取得機能１５１、表情認識機能１５２及び表示制御機能１５３は、それぞれ個別のハードウェア回路として実装してもよい。処理回路１５が実行する各機能についての上記説明は、以下の各実施形態及び変形例でも同様である。 1, the acquisition function 151, the facial expression recognition function 152, and the display control function 153 are realized by the single processing circuit 15, but the processing circuit is configured by combining a plurality of independent processors. However, each function may be implemented by each processor executing a program. Also, the acquisition function 151, the facial expression recognition function 152, and the display control function 153 may be implemented as individual hardware circuits. The above description of each function executed by the processing circuit 15 is the same for each of the following embodiments and modifications.

また、診断支援装置１０は単一のコンソールにて複数の機能を実行するものとして説明するが、複数の機能を別々の装置が実行することにしても構わない。例えば、処理回路１５の機能は、異なる装置に分散して搭載されても構わない。 Further, although the diagnostic support device 10 is described as performing multiple functions on a single console, separate devices may perform the multiple functions. For example, the functions of the processing circuit 15 may be distributed and installed in different devices.

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、ＡＳＩＣ、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１１に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ１１にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。上記「プロセッサ」の説明は、以下の各実施形態及び変形例でも同様である。 The term "processor" used in the above description includes, for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an ASIC, a programmable logic device (e.g., Simple Programmable Logic Device (SPLD) , Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA)). The processor implements its functions by reading and executing programs stored in the memory 11 . Instead of storing the program in the memory 11, the program may be directly incorporated into the circuit of the processor. In this case, the processor implements its functions by reading and executing the program embedded in the circuit. Note that each processor of the present embodiment is not limited to being configured as a single circuit for each processor, and may be configured as one processor by combining a plurality of independent circuits to realize its function. good. Furthermore, a plurality of components in FIG. 1 may be integrated into one processor to realize its functions. The above description of the "processor" also applies to each of the following embodiments and modifications.

処理回路１５は、取得機能１５１により、患者の診療データを取得する。診療データは、例えば、ネットワーク２００を介して、ＨＩＳ３００、ＲＩＳ５００等から取得される。診療データは、患者の生命活動に関する情報（以下、バイタル情報と呼ぶ）、過去に投与した薬剤に関する情報（以下、薬剤情報と呼ぶ）、及び、検査に関する情報（以下、検査情報と呼ぶ）を含む。バイタル情報は、例えば、心拍数、呼吸数、血圧、体温、経皮的動脈血酸素飽和度（ＳｐＯ２）などのバイタルサインに関する情報である。薬剤情報は、例えば、過去に投与した薬の名前、投与期間、投与量などを含む。検査情報は、例えば、過去に行った検査の名前、検査条件、検査日時、検査結果などを含む。取得機能１５１を実現する処理回路１５は、バイタル記録取得手段、投薬記録取得手段、検査記録取得手段などと呼ばれてもよい。 The processing circuit 15 acquires the patient's medical data by the acquisition function 151 . Medical data is acquired from the HIS 300, RIS 500, etc. via the network 200, for example. The medical data includes information on the patient's life activities (hereinafter referred to as vital information), information on drugs administered in the past (hereinafter referred to as drug information), and information on examinations (hereinafter referred to as examination information). . Vital information is, for example, information about vital signs such as heart rate, respiration rate, blood pressure, body temperature, and percutaneous arterial oxygen saturation (SpO2). The drug information includes, for example, the name of the drug administered in the past, the administration period, the dosage, and the like. The inspection information includes, for example, the names of inspections performed in the past, inspection conditions, inspection dates and times, inspection results, and the like. The processing circuit 15 that implements the acquisition function 151 may be called vital record acquisition means, medication record acquisition means, examination record acquisition means, or the like.

また、処理回路１５は、取得機能１５１により、継続的に記録された患者の顔に関する情報（以下、顔情報と呼ぶ）を取得する。顔情報は、例えば、ネットワーク２００を介して、ＨＩＳ３００等から取得される。顔情報は、例えば、患者の顔を撮影した画像（以下、顔画像と呼ぶ）と、顔画像の撮影日時を含む。顔画像は、公知の表情識別ソフトを使用して顔色等の表情が識別できるものであればよい。顔画像は、例えば、一般的な汎用カメラを使用して得られた写真等の静止画であってもよく、動画であってもよい。また、顔画像は、サーモグラフィ画像であってもよい。顔画像は、例えば、入院患者に対して一定期間ごとに撮影されてもよく、通院患者に対して来院の度に撮影されてもよい。 The processing circuit 15 also acquires continuously recorded information about the patient's face (hereinafter referred to as face information) by means of an acquisition function 151 . Face information is acquired from the HIS 300 or the like via the network 200, for example. The face information includes, for example, an image of the patient's face (hereinafter referred to as a face image) and the photographing date and time of the face image. The facial image may be any image that allows facial expressions such as facial color to be identified using known facial expression identification software. The facial image may be, for example, a still image such as a photograph obtained using a general-purpose camera, or may be a moving image. Also, the face image may be a thermography image. For example, the face image may be taken for an inpatient at regular intervals, or may be taken for an outpatient at each visit.

処理回路１５は、表情認識機能１５２により、顔情報に基づいて患者の表情を認識する。具体的には、処理回路１５は、継続的に記録された顔画像のそれぞれに対して、顔画像から患者の顔つきと顔色を検出し、検出結果に基づいて表情が不機嫌を示すか否かを判定する。顔つきとは、例えば、笑い顔やしかめ面などを示す。例えば、処理回路１５は、患者の顔つきと顔色に基づいて不機嫌度を判定することにより、表情が不機嫌を示すか否かを判定する。不機嫌であるとは、機嫌が悪いことや、体長が悪いことや、不快に感じていることを意味する。不機嫌度は、不機嫌の程度を示す指標である。不機嫌度の判定結果は、例えば、不機嫌であるか否かの２種類でもよい。また、不機嫌度の判定結果は、不機嫌の度合いに応じて３種類以上に分類されてもよい。例えば、顔色が悪く、しかめ面の表情が検出された場合、処理回路１５は、患者の表情が不機嫌な表情であると判断し、顔画像の撮影時において患者が不機嫌であったと判断する。顔画像から不機嫌度を判定する方法としては、例えば、顔画像から表情を判定する公知の表情検出アルゴリズムが用いられる。不機嫌度に関する判定結果は、顔画像に関連付けて、メモリ１１に記憶される。 The processing circuit 15 uses the facial expression recognition function 152 to recognize the patient's facial expression based on the facial information. Specifically, the processing circuit 15 detects the facial features and complexion of the patient from the facial images for each of the continuously recorded facial images, and determines whether or not the facial expression indicates displeased based on the detection results. judge. A facial expression indicates, for example, a smiling face, a frowning face, or the like. For example, processing circuitry 15 determines whether the facial expression indicates displeasure by determining the degree of displeasure based on the patient's facial expression and complexion. Being in a bad mood means being in a bad mood, having a bad body length, or feeling uncomfortable. The degree of bad mood is an index indicating the degree of bad mood. The determination result of the degree of bad mood may be, for example, two types of whether or not the person is in a bad mood. Further, the determination result of the degree of bad mood may be classified into three or more types according to the degree of bad mood. For example, when the patient has a bad complexion and a frowning expression is detected, the processing circuit 15 determines that the patient's expression is a sullen expression, and determines that the patient was sullen when the face image was taken. As a method of determining the degree of displeasure from the face image, for example, a known expression detection algorithm for determining the expression from the face image is used. The determination result regarding the bad mood level is stored in the memory 11 in association with the face image.

処理回路１５は、表示制御機能１５３により、種々の情報をディスプレイ１３に表示させる。また、処理回路１５は、医師の診断を支援する画面（以下、診断支援画面と呼ぶ）を生成し、生成した診断支援画面をディスプレイ１３に表示させる。診断支援画面には、患者の診断に必要な情報が表示される。例えば、ＩＣＵ、ＮＩＣＵ、または病棟において使用される診断支援画面には、診療データとして、バイタル情報と、薬剤情報と、検査情報等が表示される。また、診断支援画面には、主訴、経過情報、看護記録、現在患っている病気の名前、病歴、家族構成、及び社会歴などが表示されてもよい。 The processing circuit 15 causes the display 13 to display various information using the display control function 153 . The processing circuit 15 also generates a screen for assisting the doctor's diagnosis (hereinafter referred to as a diagnosis support screen), and causes the display 13 to display the generated diagnosis support screen. Information necessary for diagnosing a patient is displayed on the diagnosis support screen. For example, a diagnostic support screen used in an ICU, NICU, or hospital ward displays vital information, drug information, test information, and the like as medical data. In addition, the diagnosis support screen may display the chief complaint, progress information, nursing record, name of the disease currently suffering from, medical history, family composition, social history, and the like.

また、処理回路１５は、表示制御機能１５３により、ディスプレイ１３の診断支援画面に、患者の診療データとともに患者の表情を時系列で表示させる。例えば、処理回路１５は、表情が不機嫌を示すか否かについての判定結果を時間軸上に時系列で表示させる。あるいは、処理回路１５は、患者の不機嫌の度合いの判定結果を時間軸上に時系列で表示させる。 In addition, the processing circuit 15 causes the display control function 153 to display the patient's facial expression along with the patient's clinical data on the diagnosis support screen of the display 13 in chronological order. For example, the processing circuit 15 displays the result of determination as to whether or not the facial expression indicates a bad mood in chronological order on the time axis. Alternatively, the processing circuit 15 displays the determination result of the degree of the patient's bad mood in chronological order on the time axis.

次に、診断支援システム１００により実行される診断支援処理の動作について説明する。診断支援処理とは、顔情報に基づいて患者の表情の推移を認識し、表情の推移を患者の診療データとともに時系列で表示する処理である。図２は、診断支援処理の手順の一例を示すフローチャートである。図２では、一例として、顔情報として患者の顔画像を用い、医師による心不全の兆候の診断を支援する場合を例に説明する。なお、以下で説明する各処理における処理手順は一例に過ぎず、各処理は可能な限り適宜変更可能である。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。 Next, the operation of diagnostic support processing executed by the diagnostic support system 100 will be described. The diagnosis support process is a process of recognizing changes in a patient's facial expression based on face information and displaying the changes in the patient's facial expression in chronological order together with the patient's medical data. FIG. 2 is a flow chart showing an example of the procedure of diagnostic support processing. In FIG. 2, as an example, a case will be described in which a patient's face image is used as face information to assist a doctor in diagnosing signs of heart failure. It should be noted that the processing procedure in each processing described below is merely an example, and each processing can be changed as appropriate as possible. Further, in the processing procedures described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.

（診断支援処理）
（ステップＳ１０１）
処理回路１５は、取得機能１５１により、過去に取得された患者の顔画像と顔画像の撮影日を、ＨＩＳ３００から取得する。 (Diagnosis support processing)
(Step S101)
The processing circuit 15 uses the acquisition function 151 to acquire from the HIS 300 the patient's facial image acquired in the past and the photographing date of the facial image.

（ステップＳ１０２）
処理回路１５は、取得機能１５１により、患者の診療データとして、バイタル情報、薬剤情報、及び検査情報をＨＩＳ３００から取得する。 (Step S102)
The processing circuit 15 uses the acquisition function 151 to acquire vital information, drug information, and examination information from the HIS 300 as patient medical data.

（ステップＳ１０３）
処理回路１５は、表情認識機能１５２により、取得した複数の顔画像のそれぞれについて、患者の顔色と表情を検出し、検出結果に基づいて、患者の不機嫌度を判定する。判定結果は、対応する顔画像の撮影日と対応付けてメモリ１１に記憶される。 (Step S103)
The processing circuit 15 uses the facial expression recognition function 152 to detect the patient's complexion and facial expression for each of the acquired facial images, and based on the detection results, determines the patient's degree of displeasure. The determination result is stored in the memory 11 in association with the photographing date of the corresponding face image.

（ステップＳ１０４）
処理回路１５は、表示制御機能１５３により、診断支援画面を生成し、ディスプレイ１３に表示させる。図３は、診断支援画面の一例を示す図である。図３に示すように、診断支援画面は、患者情報表示部６１０と、診療の流れを管理するための管理画面表示部６２０と、バイタル情報表示部６３０と、薬剤情報表示部６４０と、検査結果表示部６５０とを備える。患者情報表示部６１０には、患者情報が表示される。表示される患者情報は、患者ＩＤ、患者氏名、年齢、性別、疾患名等である。管理画面表示部６２０には、例えば、イベントに関する情報、検査に関する情報、書類データに関する情報、看護に関する情報等が、時間軸上に表示される。バイタル情報表示部６３０には、例えば、患者のバイタルサインの推移が表示される。薬剤情報表示部６４０には、例えば、投与した薬剤の名前や投与期間が表示される。検査結果表示部６５０には、例えば、検体検査等の検査結果が表示される。 (Step S104)
The processing circuit 15 uses the display control function 153 to generate a diagnostic support screen and display it on the display 13 . FIG. 3 is a diagram showing an example of a diagnosis support screen. As shown in FIG. 3, the diagnosis support screen includes a patient information display section 610, a management screen display section 620 for managing the flow of medical care, a vital information display section 630, a drug information display section 640, and an examination result display section. and a display unit 650 . Patient information is displayed on the patient information display section 610 . The displayed patient information includes patient ID, patient name, age, sex, disease name, and the like. On the management screen display section 620, for example, information on events, information on examinations, information on document data, information on nursing care, etc. are displayed on the time axis. The vital information display section 630 displays, for example, changes in the patient's vital signs. The drug information display section 640 displays, for example, the name of the administered drug and the administration period. The test result display section 650 displays, for example, test results such as sample tests.

また、診断支援画面は、表情表示部６６０を備える。表情表示部６６０には、患者の表情の推移が表示される。患者の表情の推移として、例えば、患者の不機嫌度の判定結果の推移が表示される。不機嫌度の判定結果として、図３では、患者の不機嫌度を示すアイコンが時間軸上に表示されている。ここでは、患者が不機嫌でないことを示すアイコン６６１と、患者が不機嫌であることを示すアイコン６６２のうちのいずれかが、顔画像の撮影日に対応する位置に表示されている。医師は、診断支援画面に表示された不機嫌度を示すアイコン６６１、６６２を確認することで、患者の表情の推移を把握することができる。 The diagnosis support screen also includes an expression display section 660 . The facial expression display section 660 displays the transition of the patient's facial expression. As the transition of the patient's facial expression, for example, the transition of the determination result of the patient's displeasure level is displayed. In FIG. 3, icons indicating the patient's moodiness level are displayed on the time axis as the determination result of the moodiness level. Here, either an icon 661 indicating that the patient is not in a bad mood or an icon 662 indicating that the patient is in a bad mood is displayed at a position corresponding to the shooting date of the face image. The doctor can grasp the transition of the patient's facial expression by confirming the icons 661 and 662 indicating the degree of displeasure displayed on the diagnosis support screen.

なお、不機嫌度の判定結果の表示方法としては、アイコン６６１、６６２のような視認性が高い方法が好ましいが、これに限るものではない。例えば、アイコン６６１、６６２の代わりに、不機嫌度の判定結果が文字で表示されてもよく、判定結果を示す記号が表示されてもよい。 It should be noted that, as a method for displaying the determination result of the bad mood level, a highly visible method such as the icons 661 and 662 is preferable, but the method is not limited to this. For example, instead of the icons 661 and 662, the determination result of the bad mood level may be displayed in characters, or a symbol indicating the determination result may be displayed.

以下、本実施形態に係る診断支援システム１００の効果について説明する。 Effects of the diagnosis support system 100 according to the present embodiment will be described below.

患者の診療では、重大な疾患の兆候を早期に把握することが求められている。例えば、心不全は、早期の段階で処置を行うことができるかどうかで予後が大きく左右されることが知られている。このため、早期の段階で心不全の処置を行うことが、心不全による死亡率の低下には重要である。従来、集中治療室（Intensive Care Unit：ＩＣＵ）や新生児集中治療室（Neonatal Intensive Care Unit：ＮＩＣＵ）、病棟などでは、呼吸数の上昇、心拍数の上昇、血圧の上昇などのバイタルサインの変化が心不全の兆候として利用されている。しかし、バイタルサインの変化だけでは、心不全などの疾患の兆候を確実に検出することは困難である。 Early recognition of signs of serious disease is required in patient care. For example, it is known that the prognosis of heart failure is highly dependent on whether it can be treated at an early stage. Therefore, treating heart failure at an early stage is important for reducing mortality from heart failure. Conventionally, in intensive care units (ICU), neonatal intensive care units (NICU), hospital wards, etc., changes in vital signs such as increased breathing rate, increased heart rate, and increased blood pressure Used as a sign of heart failure. However, it is difficult to reliably detect signs of diseases such as heart failure only from changes in vital signs.

このため、診察において、患者の表情の変化が主訴として重要である。特に、言語コミュニケーションがとれない患者の診察では、主訴を顔情報から得るしかないため、患者の表情の変化が特に重要となる。例えば、患者が発語のできない乳幼児や知的障害者であったり、神経疾患を有する患者であったり、患者が人工呼吸器を装着している場合、医師は患者との言語コミュニケーションを取ることができない。また、外国籍の患者である場合も、医師は患者との言語コミュニケーションを取ることができない。このため、患者の表情や顔色から推測される重篤度も、重要な所見として診療情報に活用されることが好ましい。 Therefore, changes in the patient's facial expression are important as a chief complaint in medical examination. In particular, when examining a patient who cannot communicate verbally, changes in the patient's facial expression are particularly important because the chief complaint can only be obtained from facial information. For example, if the patient is a nonverbal infant, an intellectually disabled patient, or has a neurological disorder, or if the patient is on a ventilator, the doctor may not be able to communicate verbally with the patient. Can not. In addition, even if the patient is a foreign national, the doctor cannot communicate verbally with the patient. For this reason, it is preferable that the degree of severity estimated from the patient's facial expression and complexion is also used as an important finding in medical information.

しかし、患者の担当医ではない医師が診察を行う場合、患者の表情の変化に気づくことができない可能性がある。このため、非担当医が診察を行った場合、心不全の兆候を見逃す可能性がある。例えば、患者の表情に問題がないと非担当医が判断した場合でも、実際の患者の表情は普段の表情よりも不機嫌な表情である可能性がある。 However, when a doctor who is not the doctor in charge of the patient examines the patient, there is a possibility that the change in the patient's facial expression cannot be noticed. For this reason, when a non-attending doctor performs the examination, there is a possibility that the signs of heart failure may be overlooked. For example, even if the non-attending doctor determines that there is no problem with the patient's facial expression, the patient's actual facial expression may be more sullen than usual.

本実施形態に係る診断支援システム１００は、継続的に記録された患者の顔に関する顔情報を取得し、顔情報に基づいて患者の表情を認識し、認識した表情を患者の診療データとともに時系列で表示することができる。診療データは、例えば、バイタル情報、薬剤情報、及び検査情報を含むことができる。 The diagnosis support system 100 according to the present embodiment acquires continuously recorded face information about the patient's face, recognizes the patient's facial expression based on the facial information, and displays the recognized facial expression along with the patient's clinical data in chronological order. can be displayed with Medical data can include, for example, vital information, medication information, and laboratory information.

上記構成により、本実施形態に係る診断支援システム１００によれば、主訴が得にくい患者に対しても、画面上に表示された患者の表情の推移を確認することで、主訴の定性的変化を確認し、重要な所見を得ることができる。また、表情の推移を他の診療データとともに時系列で表示することで表示画面の一覧性や視認性が向上するため、医師は患者の病態の経過を容易に把握することができる。そして、医師は、主訴を念頭に一覧表示された診療データを確認し、総合的な判断を実施することにより、適切な診療を行うことができる。すなわち、医師は、患者の表情変化を確認することにより、表情の変化の後に生じるバイタル変化への対応を早く行うことができるため、より迅速な医療を実現することができる。 With the above configuration, the diagnosis support system 100 according to the present embodiment can detect qualitative changes in the patient's chief complaint by checking the transition of the patient's facial expression displayed on the screen, even for a patient whose chief complaint is difficult to obtain. can be checked and important findings can be obtained. In addition, by displaying changes in facial expressions along with other medical data in chronological order, the listability and visibility of the display screen are improved, so the doctor can easily grasp the progress of the patient's condition. Then, the doctor can perform appropriate medical care by checking the listed medical data with the main complaint in mind and making a comprehensive judgment. In other words, by confirming the change in the patient's facial expression, the doctor can quickly respond to the change in vitals that occurs after the change in facial expression, so that more rapid medical care can be achieved.

また、本実施形態に係る診断支援システム１００によれば、患者の表情の推移をデータとして確認できるため、患者の担当医以外の医師であっても、患者の表情の変化に気付くことができる。そして、患者の表情が普段から変化していることを契機として心不全などの重大な疾患に関する検査を実行することにより、早期に疾患を発見できる可能性が大きくなる。このように、担当医が不在時であっても、患者のバイタル情報に加えて、顔情報の推移も時系列で確認可能となることにより、非担当医が担当医と同じ質で判断を行うことが可能になる。これにより、適切な診療が可能となり、疾患の回避率が高くなる。 Further, according to the diagnosis support system 100 according to the present embodiment, changes in the patient's facial expression can be confirmed as data, so even a doctor other than the doctor in charge of the patient can notice the change in the patient's facial expression. Then, by executing examinations for serious diseases such as heart failure on the occasion of changes in the patient's facial expression from usual, the possibility of early detection of the disease increases. In this way, even when the attending physician is absent, in addition to the patient's vital information, changes in facial information can also be checked in chronological order, allowing the non-attending physician to make decisions with the same quality as the attending physician. becomes possible. This enables appropriate medical care and increases the disease avoidance rate.

このように、本実施形態に係る診断支援システム１００によれば、患者の表情の推移を確認要素として表示することで、患者の疾患の兆候を早期に把握することが可能になる。 As described above, according to the diagnosis support system 100 according to the present embodiment, by displaying the change in the patient's facial expression as a confirmation element, it is possible to grasp the symptoms of the patient's disease at an early stage.

また、近年、患者の不機嫌な表情が患者の不調の兆候を示す指標の一つとして活用可能であることが分かってきている。本実施形態に係る診断支援システム１００では、顔情報として、患者の顔が撮影された顔画像を用いることができる。また、顔画像から患者の顔つきと患者の顔色を検出し、顔つきと顔色の検出結果に基づいて表情が不機嫌を示すか否かを判定し、判定結果を時系列で表示することができる。 Moreover, in recent years, it has been found that a displeased facial expression of a patient can be utilized as one of the indicators showing signs of a patient's ill health. In the diagnosis support system 100 according to this embodiment, a face image obtained by photographing the patient's face can be used as the face information. In addition, it is possible to detect the patient's facial expression and the patient's complexion from the face image, determine whether or not the facial expression indicates a bad mood based on the facial expression and facial color detection results, and display the determination results in chronological order.

このため、本実施形態に係る診断支援システム１００によれば、患者の顔画像から患者の表情を認識し、患者が不機嫌であるか否かの判断を行うことができる。そして、不機嫌であるか否かに関する判定結果の推移を確認することにより、患者の担当医以外の医師であっても、患者がいつもより不機嫌であることに気付くことができる。そして、患者がいつもより不機嫌であることを契機として検査を実行することにより、早期に心不全などの重大な疾患を早期に発見することができる。 Therefore, according to the diagnosis support system 100 according to the present embodiment, it is possible to recognize the patient's facial expression from the patient's face image and determine whether the patient is in a bad mood. By confirming the transition of the determination result regarding whether or not the patient is in a bad mood, even a doctor other than the doctor in charge of the patient can notice that the patient is in a more bad mood than usual. By executing the test when the patient is in a more bad mood than usual, a serious disease such as heart failure can be detected at an early stage.

また、本実施形態に係る診断支援システム１００によれば、表情が不機嫌を示す場合、顔画像に基づいて表情の不機嫌の度合いをさらに判定し、不機嫌の度合いの判定結果を時系列で表示することができる。 Further, according to the diagnosis support system 100 according to the present embodiment, when the facial expression indicates a bad mood, the degree of bad mood of the facial expression is further determined based on the face image, and the determination result of the bad mood degree is displayed in chronological order. can be done.

このため、本実施形態に係る診断支援システム１００によれば、患者の不機嫌の度合いの推移が表示されることにより、患者の表情の変化をより正確に把握することができる。例えば、普段から不機嫌と判定されるような表情の患者に対しても、不機嫌の度合いの推移を観察することで、非担当医であっても、患者がいつもより不機嫌であることに気付くことができる。 Therefore, according to the diagnosis support system 100 according to the present embodiment, by displaying changes in the degree of displeasure of the patient, changes in the patient's facial expression can be more accurately grasped. For example, by observing the changes in the degree of displeasure of a patient whose facial expression is normally determined to be sullen, even a non-attending doctor can notice that the patient is in a more sullen state than usual. can.

（第１の実施形態の第１の変形例）
第１の実施形態の第１の変形例について説明する。本変形例は、第１の実施形態の構成を以下の通りに変形したものである。実施形態と同様の構成、動作、及び効果については、説明を省略する。本変形例に係る診断支援システム１００では、処理回路１５は、表示制御機能１５３により、判定結果のうち、表情が不機嫌を示す場合の判定結果のみを表示する。 (First Modification of First Embodiment)
A first modification of the first embodiment will be described. This modification is obtained by modifying the configuration of the first embodiment as follows. Descriptions of configurations, operations, and effects that are the same as those of the embodiment are omitted. In the diagnosis support system 100 according to this modified example, the processing circuit 15 uses the display control function 153 to display only the determination result when the facial expression indicates displeased among the determination results.

図４は、本変形例の診断支援システム１００により実行される診断支援処理において、ディスプレイ１３に表示される診断支援画面の一例を示す図である。図４に示すように、診断支援画面の表情表示部６６０には、患者が不機嫌であることを示すアイコン６６２のみが、顔画像の撮影日に対応する位置に表示されている。 FIG. 4 is a diagram showing an example of a diagnostic support screen displayed on the display 13 in the diagnostic support processing executed by the diagnostic support system 100 of this modified example. As shown in FIG. 4, in the facial expression display portion 660 of the diagnosis support screen, only an icon 662 indicating that the patient is in a bad mood is displayed at a position corresponding to the shooting date of the face image.

本変形例においても、医師は、診断支援画面に表示された不機嫌度を示すアイコン６６２を確認することにより、患者の表情の推移を把握することができる。また、本変形例では、不機嫌である場合にのみ不機嫌であるか否かに関する判定結果が表示されるため、医師は、患者の表情が不機嫌に変化したことに気付きやすくなり、診断に有用な情報を効率的に確認することができる。 In this modified example as well, the doctor can grasp the transition of the patient's facial expression by checking the icon 662 indicating the degree of displeasure displayed on the diagnosis support screen. In addition, in this modification, since the determination result regarding whether the patient is in a bad mood is displayed only when the patient is in a bad mood, the doctor can easily notice that the patient's facial expression has changed to be in a bad mood, which is useful information for diagnosis. can be checked efficiently.

（第２の実施形態）
第２の実施形態について説明する。本実施形態は、第１の実施形態の構成を以下の通りに変形したものである。実施形態と同様の構成、動作、及び効果については、説明を省略する。本実施形態に係る診断支援システム１００は、患者の表情の推移と診療データに基づいて心不全などの重大な疾患の兆候を検出し、兆候が検出された場合に警告する。 (Second embodiment)
A second embodiment will be described. This embodiment is obtained by modifying the configuration of the first embodiment as follows. Descriptions of configurations, operations, and effects that are the same as those of the embodiment are omitted. The diagnosis support system 100 according to this embodiment detects a sign of a serious disease such as heart failure based on changes in the patient's facial expression and medical data, and issues a warning when the sign is detected.

図５は、本実施形態の診断支援システム１００の構成を示す図である。処理回路１５は、第１の実施形態で説明した各機能に加えて、指標生成機能１５４を実行する。指標生成機能１５４を実現する処理回路１５は、指標生成部の一例である。 FIG. 5 is a diagram showing the configuration of the diagnostic support system 100 of this embodiment. The processing circuit 15 executes an index generation function 154 in addition to each function described in the first embodiment. The processing circuit 15 that implements the index generation function 154 is an example of an index generation unit.

処理回路１５は、指標生成機能１５４により、顔情報と患者の診療データとを用いて患者の表情の時系列変化を示す指標を生成する。具体的には、処理回路１５は、想定病名や入院時の病名等の診療データに基づいて発症する可能性がある症状を予測し、予測した症状に関する情報を患者の表情の時系列変化を示す指標として生成する。例えば、処理回路１５は、想定病名や入院時の病名と発症する可能性がある症状との組み合わせを示すテーブルをメモリ１１から読み出すことにより、発症する可能性がある症状を予測する。患者の表情の時系列変化を示す指標は、例えば、症状の兆候が検出されたことを示す警告である。 The processing circuit 15 uses the index generation function 154 to generate an index indicating a time-series change in the patient's facial expression using the face information and the patient's clinical data. Specifically, the processing circuit 15 predicts possible symptoms based on clinical data such as an assumed disease name and a disease name at the time of admission, and displays information about the predicted symptoms as time-series changes in the patient's facial expression. Generate as index. For example, the processing circuit 15 predicts possible symptoms by reading out from the memory 11 a table showing possible disease names or combinations of disease names at the time of admission and possible symptoms. An index indicating a time-series change in the patient's facial expression is, for example, a warning indicating that a symptom symptom has been detected.

予測される症状は、発生が懸念される症状である。発生が懸念される症状は、例えば、心不全等の疾患である。あるいは、発生が懸念される症状は、嘔吐、吐血、失神、痙攣等の、特定の疾患の兆候である。以下、一例として、発生が懸念される症状として心不全が予測され、心不全の兆候が検出されたことを示す警告を、患者の表情の時系列変化を示す指標として生成する場合について説明する。この場合、処理回路１５は、まず、顔情報と診療データとを用いて心不全の兆候を検出する。この際、処理回路１５は、まず、例えば、表情の変化、バイタル値の低下、特定薬剤の投与、検査値の変化、及び検査画像の変化を検出要素として、心不全の兆候を検出する。具体的には、処理回路１５は、顔画像における患者の表情が不機嫌を示すと判定された場合に、診療データを用いて心不全の兆候を検出する。心不全の兆候を検出する方法としては、バイタル情報、薬剤情報、及び検査情報を入力することにより、心不全の兆候が見られるか否かを判定する公知の心不全兆候検出アルゴリズムが用いられる。例えば、心不全の兆候として、体内体液量の増加が挙げられる。この場合、投薬変更等の代謝に影響を及ぼす原因がない場合であっても、比較的短期に継続して体重が増加する兆候が発現する。また、心不全の兆候として、心機能拍出量低下に伴う酸素飽和度不足への補償症状安静時呼吸量増加が挙げられる。この場合、安静時の呼吸量の増加が兆候として発現する。 Predicted symptoms are symptoms that are feared to occur. Symptoms that may occur are, for example, diseases such as heart failure. Alternatively, the symptoms of concern are symptoms of a particular disease, such as vomiting, hematemesis, fainting, convulsions, and the like. As an example, a case will be described below in which heart failure is predicted as a symptom that is likely to occur, and a warning indicating that a symptom of heart failure has been detected is generated as an index indicating a time-series change in the patient's facial expression. In this case, processing circuitry 15 first detects signs of heart failure using facial information and medical data. At this time, the processing circuit 15 first detects signs of heart failure using, for example, changes in facial expressions, decreases in vital values, administration of specific drugs, changes in test values, and changes in test images as detection elements. Specifically, the processing circuit 15 detects a symptom of heart failure using the medical data when it is determined that the patient's expression in the face image indicates a bad mood. As a method for detecting signs of heart failure, a well-known heart failure sign detection algorithm is used to determine whether signs of heart failure are observed by inputting vital information, drug information, and examination information. For example, signs of heart failure include increased body fluid volume. In this case, signs of continued weight gain in a relatively short period of time appear even in the absence of a cause that affects metabolism, such as a change in medication. Signs of heart failure include compensatory symptoms of oxygen saturation deficiency and increased resting respiratory volume associated with decreased cardiac output. In this case, an increase in resting respiratory volume is manifested as a symptom.

その後、処理回路１５は、心不全の兆候が検出された場合に警告する。例えば、処理回路１５は、ディスプレイ１３に表示された診断支援画面上に、心不全の兆候が検出されたことを示す警告を表示させる。警告する方法としては、警告文をディスプレイ１３に表示させてもよく、心不全の兆候が検出されたことを示すアイコンをディスプレイ１３に表示させてもよく、心不全の兆候が検出されたことを音声により通知してもよい。また、警告する方法としては、心不全の兆候が検出されたことを示す警告バーを、ディスプレイ１３に表示される時間軸上において検出日時に対応する位置に重畳表示させてもよい。
処理回路１５は、表示制御機能１５３により、ディスプレイ１３の診断支援画面に、生成した指標と患者の表情とを、患者の診療データの時系列変化とともに表示させる。例えば、処理回路１５は、時間軸上に、診療データの時系列変化とともに、表情が不機嫌を示すか否かについての判定結果と、心不全の兆候が検出されたことを示す警告を表示させる。 Processing circuitry 15 then alerts if an indication of heart failure is detected. For example, the processing circuitry 15 causes the diagnostic support screen displayed on the display 13 to display a warning indicating that a symptom of heart failure has been detected. As a warning method, a warning message may be displayed on the display 13, an icon indicating that a symptom of heart failure has been detected may be displayed on the display 13, or the detection of a symptom of heart failure may be announced by voice. may notify you. As a warning method, a warning bar indicating that a symptom of heart failure has been detected may be superimposed on a position corresponding to the date and time of detection on the time axis displayed on the display 13 .
The processing circuit 15 causes the display control function 153 to display the generated index and the patient's facial expression on the diagnosis support screen of the display 13 along with the chronological changes in the patient's medical data. For example, the processing circuit 15 displays, on the time axis, a time-series change in medical care data, a determination result as to whether or not the facial expression indicates a bad mood, and a warning indicating that a symptom of heart failure has been detected.

（診断支援処理）
次に、本実施形態の診断支援システム１００により実行される診断支援処理の動作について説明する。図６は、本実施形態に係る診断支援処理の手順の一例を示すフローチャートである。 (Diagnosis support processing)
Next, the operation of diagnostic support processing executed by the diagnostic support system 100 of this embodiment will be described. FIG. 6 is a flow chart showing an example of the procedure of diagnostic support processing according to the present embodiment.

ステップＳ２０１－Ｓ２０４の処理は、それぞれ図２のステップＳ１０１－Ｓ１０４の処理と同様のため、説明を省略する。 The processing of steps S201-S204 is the same as the processing of steps S101-S104 in FIG. 2, respectively, and therefore the description thereof is omitted.

（ステップＳ２０５）
処理回路１５は、指標生成機能１５４により、ステップＳ２０３の処理において患者が不機嫌であると判定された顔画像があるか否かを判断する。不機嫌であると判定された顔画像がない場合（ステップＳ２０５－Ｎｏ）、処理回路１５は、診断支援処理の一連の処理を終了する。 (Step S205)
The processing circuit 15 uses the index generation function 154 to determine whether or not there is a face image in which the patient is determined to be in a bad mood in the process of step S203. If there is no face image determined to be in a bad mood (step S205-No), the processing circuit 15 terminates the series of diagnostic support processing.

（ステップＳ２０６）
不機嫌であると判定された顔画像がある場合（ステップＳ２０５－Ｙｅｓ）、処理回路１５は、指標生成機能１５４により、バイタル情報、薬剤情報、及び検査情報を取得し、心不全兆候の検出処理を実行する。 (Step S206)
If there is a face image determined to be in a bad mood (step S205-Yes), the processing circuit 15 acquires vital information, drug information, and examination information by the index generation function 154, and executes heart failure symptom detection processing. do.

（ステップＳ２０７）
処理回路１５は、指標生成機能１５４により、心不全兆候が検出されたか否かを判断する。心不全兆候が検出されていない場合（ステップＳ２０７－Ｎｏ）、処理回路１５は、診断支援処理の一連の処理を終了する。 (Step S207)
Processing circuitry 15 determines whether or not a heart failure symptom has been detected by index generation function 154 . If no symptom of heart failure is detected (step S207-No), the processing circuit 15 terminates the series of diagnostic support processing.

（ステップＳ２０８）
心不全兆候が検出された場合（ステップＳ２０７－Ｙｅｓ）、処理回路１５は、指標生成機能１５４により、心不全兆候が検出されたことを診断支援画面上に表示する。図７は、本実施形態において表示される診断支援画面の一例を示す図である。図７では、診断支援画面の各表示部において、心不全兆候が検出されたことを示す警告バー６７０が、心不全兆候が検出された日時に対応する位置に表示されている。医師は、警告バー６７０の表示を確認することにより、心不全兆候が検出されたことを容易に把握することができる。 (Step S208)
If a symptom of heart failure is detected (step S207-Yes), the processing circuit 15 causes the indicator generation function 154 to display that a symptom of heart failure has been detected on the diagnosis support screen. FIG. 7 is a diagram showing an example of a diagnosis support screen displayed in this embodiment. In FIG. 7, a warning bar 670 indicating that a symptom of heart failure was detected is displayed at a position corresponding to the date and time when the symptom of heart failure was detected in each display portion of the diagnosis support screen. By confirming the display of the warning bar 670, the doctor can easily grasp that a symptom of heart failure has been detected.

以下、本実施形態に係る診断支援システム１００の効果について説明する。本実施形態に係る診断支援システム１００によれば、第１の実施形態で説明した効果に加えて以下の効果を有する。 Effects of the diagnosis support system 100 according to the present embodiment will be described below. The diagnosis support system 100 according to this embodiment has the following effects in addition to the effects described in the first embodiment.

本実施形態に係る診断支援システム１００は、顔情報と前記診療データとを用いて継続的に取得された顔情報と診療データとを用いて患者の症状を予測し、予測した症状に関する情報を患者の表情の時系列変化を示す指標として生成することができる。具体的には、症状の兆候を検出し、兆候が検出されたことを示す警告を診断画面上に表示することができる。例えば、表情が不機嫌であると判定された場合に、診療データを用いて心不全の兆候を検出することができる。 The diagnosis support system 100 according to the present embodiment predicts a patient's symptoms using the face information and the medical care data continuously acquired using the face information and the medical care data, and provides information on the predicted symptoms to the patient. It can be generated as an index showing the time-series change of facial expressions. Specifically, a symptom symptom can be detected and a warning can be displayed on the diagnostic screen indicating that the symptom has been detected. For example, clinical data can be used to detect signs of heart failure if the facial expression is determined to be displeased.

上記構成により、本実施形態に係る診断支援システム１００によれば、関連する診療データに表情変化に関する情報を加えた情報を、１つの重要な時系列指標として診断に利活用することができる。例えば、患者が不機嫌であると判定された場合に心不全兆候の検出が実行されることにより、表情の変化の後に生じるバイタル変化を確実に捉えることができ、より迅速な医療を実現することができる。 With the above configuration, according to the diagnosis support system 100 according to the present embodiment, information obtained by adding information about expression changes to related medical data can be utilized for diagnosis as an important time-series index. For example, by detecting signs of heart failure when it is determined that the patient is in a bad mood, it is possible to reliably capture changes in vital signs that occur after changes in facial expression, and to realize faster medical care. .

また、本実施形態に係る診断支援システム１００は、心不全の兆候が検出された場合に警告することができる。 Further, the diagnosis support system 100 according to this embodiment can issue a warning when a symptom of heart failure is detected.

（第２の実施形態の第１の変形例）
第２の実施形態の第１の変形例について説明する。本変形例は、第２の実施形態の構成を以下の通りに変形したものである。実施形態と同様の構成、動作、及び効果については、説明を省略する。本変形例に係る診断支援システム１００は、患者の表情の推移と診療データに基づいて、発生が懸念される症状が発生する確率を指標として算出し、算出結果を診療データとともに表示する。 (First Modification of Second Embodiment)
A first modification of the second embodiment will be described. This modification is obtained by modifying the configuration of the second embodiment as follows. Descriptions of configurations, operations, and effects that are the same as those of the embodiment are omitted. The diagnosis support system 100 according to this modified example calculates the probability of occurrence of a symptom that is feared to occur as an index based on changes in the patient's facial expression and medical data, and displays the calculation result together with the medical data.

図８は、本実施形態の診断支援システム１００の構成を示す図である。本変形例では、メモリ１１は、複数の学習済みモデル１１１を記憶する。学習済みモデル１１１のそれぞれは、学習済みの機械学習モデルである。学習済みモデル１１１のそれぞれは、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。学習済みモデル１１１のそれぞれは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデルであるとする。 FIG. 8 is a diagram showing the configuration of the diagnostic support system 100 of this embodiment. In this modified example, the memory 11 stores a plurality of trained models 111 . Each of the trained models 111 is a trained machine learning model. Each of the trained models 111 is a parameterized synthesized function obtained by synthesizing a plurality of functions. A parameterized composite function is defined by a combination of multiple adjustable functions and parameters. Each of the trained models 111 can be any parameterized composite function that satisfies the above requirements, but is assumed to be a multi-layered network model.

学習済みモデル１１１は、発生が懸念される症状ごとに用意されている。学習済みモデル１１１は、診療データから想定される病名や入院時の病名から推測される症状について、症状が発生する確率（以下、発生確率と呼ぶ）を算出する。具体的には、学習済みモデル１１１は、顔画像、患者情報及び診療データの入力を受け付け、対応する症状の発生確率を出力する。学習済みモデル１１１に入力される診療データは、例えば、入院時の病名、バイタル情報、看護記録等を含む。図９は、心不全に対応する学習済みモデル１１１の入力と出力との組合せを示す図である。例えば、心不全に対応する学習済みモデル１１１は、顔画像、患者情報及び診療データの入力を受け付け、心不全の発生確率を出力する。また、嘔吐に対応する学習済みモデル１１１は、顔画像、患者情報、及び診療データの入力を受け付け、嘔吐の発生確率を出力する。 A trained model 111 is prepared for each symptom that is likely to occur. The learned model 111 calculates the probability of occurrence of symptoms (hereinafter referred to as occurrence probability) for symptoms assumed from the disease name assumed from the medical data and the disease name at the time of hospitalization. Specifically, the trained model 111 receives inputs of face images, patient information, and medical care data, and outputs the probability of occurrence of corresponding symptoms. The medical data input to the trained model 111 includes, for example, the name of the disease at admission, vital information, nursing records, and the like. FIG. 9 is a diagram showing combinations of inputs and outputs of the trained model 111 corresponding to heart failure. For example, the trained model 111 corresponding to heart failure receives input of face images, patient information, and medical care data, and outputs the probability of occurrence of heart failure. Also, the trained model 111 corresponding to vomiting receives input of a face image, patient information, and medical care data, and outputs the occurrence probability of vomiting.

学習済みモデル１１１を学習させる際には、例えば、過去の患者に関する顔画像、患者情報及び診療データと、その患者が発症した症状の継続期間を入力データとして、強化学習を実施する。 When the trained model 111 is trained, for example, reinforcement learning is performed using, as input data, facial images, patient information, and clinical data relating to past patients, and the duration of symptoms developed by the patient.

処理回路１５は、指標生成機能１５４により、想定病名や入院時の病名等の診療データに基づいて、発症する可能性がある症状を予測し、メモリ１１に保存された複数の学習済みモデル１１１の中から、予測した症状に対応する学習済みモデルを読み出す。次に、処理回路１５は、読み出した学習済みモデル１１１に顔画像、患者情報及び診療データを入力することにより、学習済みモデル１１１に症状の発生確率を出力させる。そして、処理回路１５は、学習済みモデル１１１から出力された発生確率を指標として生成する。 The processing circuit 15 uses the index generation function 154 to predict possible symptoms based on clinical data such as the assumed disease name and the name of the disease at the time of admission. A trained model corresponding to the predicted symptom is read out from inside. Next, the processing circuit 15 causes the learned model 111 to output the symptom occurrence probability by inputting the face image, the patient information, and the medical data to the read-out learned model 111 . Then, the processing circuit 15 generates the probability of occurrence output from the trained model 111 as an index.

処理回路１５は、表示制御機能１５３により、ディスプレイ１３の診断支援画面に、算出した発生確率を患者の診療データとともに表示させる。 The processing circuit 15 causes the display control function 153 to display the calculated occurrence probability on the diagnosis support screen of the display 13 together with the medical data of the patient.

（診断支援処理）
次に、本変形例の診断支援システム１００により実行される診断支援処理の動作について説明する。図１０は、本変形例に係る診断支援処理の手順の一例を示すフローチャートである。ステップＳ３０１－Ｓ３０３の処理は、それぞれ図２のステップＳ１０１－Ｓ１０３の処理と同様のため、説明を省略する。 (Diagnosis support processing)
Next, the operation of diagnostic support processing executed by the diagnostic support system 100 of this modified example will be described. FIG. 10 is a flow chart showing an example of the procedure of diagnosis support processing according to this modification. The processing of steps S301-S303 is the same as the processing of steps S101-S103 in FIG. 2, respectively, and thus the description thereof is omitted.

（ステップＳ３０４）
処理回路１５は、指標生成機能１５４により、患者の診療データに基づいて、発症する可能性がある症状を選択し、メモリ１１に保存された複数の学習済みモデル１１１の中から、予測した症状に対応する学習済みモデルを読み出す。ここでは、心不全に対応する学習済みモデル１１１が選択され、メモリ１１から読み出された場合について説明する。処理回路１５は、心不全に対応する学習済みモデル１１１に顔画像、患者情報及び診療データを入力することにより、心不全に対応する学習済みモデル１１１に心不全の発生確率を出力させる。 (Step S304)
The processing circuit 15 uses the index generation function 154 to select a symptom that may develop based on the patient's clinical data, and select the predicted symptom from among the plurality of learned models 111 stored in the memory 11. Read the corresponding trained model. Here, a case where a trained model 111 corresponding to heart failure is selected and read from the memory 11 will be described. The processing circuit 15 inputs the face image, patient information, and medical data to the trained model 111 for heart failure, and causes the trained model 111 for heart failure to output the probability of occurrence of heart failure.

（ステップＳ３０５）
処理回路１５は、表示制御機能１５３により、心不全の発生確率と患者の表情とを、患者の診療データの時系列変化が表示された診断支援画面上に表示する。図１１は、本変形例において表示される診断支援画面の一例を示す図である。図１１に示すように、本変形例では、診断支援画面は、確率表示部６８０をさらに備える。確率表示部６８０には、算出された心不全の発生確率が、時間軸上に表示される。 (Step S305)
The processing circuit 15 uses the display control function 153 to display the probability of occurrence of heart failure and the patient's facial expression on a diagnosis support screen on which chronological changes in the patient's clinical data are displayed. FIG. 11 is a diagram showing an example of a diagnosis support screen displayed in this modified example. As shown in FIG. 11 , in this modified example, the diagnosis support screen further includes a probability display section 680 . The probability display section 680 displays the calculated probability of occurrence of heart failure on the time axis.

なお、ステップＳ３０４の処理において複数の症状が予測された場合、複数の症状のそれぞれに対応する複数の学習済みモデル１１１が読み出され、複数の学習済みモデル１１１のそれぞれにおいて対応する症状の発生確率が算出される。この場合、確率表示部６８０には、複数の症状
の発生確率が時間軸上に表示される。 Note that when a plurality of symptoms are predicted in the process of step S304, a plurality of learned models 111 corresponding to each of the plurality of symptoms are read, and the probability of occurrence of the corresponding symptom in each of the plurality of learned models 111 is calculated. is calculated. In this case, probability display section 680 displays the probability of occurrence of a plurality of symptoms on the time axis.

以下、本変形例に係る診断支援システム１００の効果について説明する。本変形例に係る診断支援システム１００によれば、第２の実施形態で説明した効果に加えて以下の効果を有する。 The effect of the diagnosis support system 100 according to this modified example will be described below. The diagnosis support system 100 according to this modified example has the following effects in addition to the effects described in the second embodiment.

本変形例に係る診断支援システム１００は、顔情報と患者の診療データとを用いて患者の表情の時系列変化を示す指標を生成することができる。具体的には、顔情報と患者の診療データとを用いて患者の症状を予測し、予測した症状の発生確率を算出し、算出結果を患者の表情の時系列変化を示す指標として生成することができる。そして、予測した症状の発生確率と顔情報を、患者の診療データとともに表示することができる。 The diagnosis support system 100 according to this modified example can generate an index indicating a time-series change in a patient's facial expression using face information and patient's medical data. Specifically, the patient's symptoms are predicted using facial information and the patient's clinical data, the probability of occurrence of the predicted symptoms is calculated, and the calculation results are generated as an index that indicates the time-series changes in the patient's facial expression. can be done. Then, the predicted probability of occurrence of symptoms and face information can be displayed together with the patient's clinical data.

上記構成により、本変形例に係る診断支援システム１００によれば、顔情報、患者情報及び診療データを解析し、想定病名または入院時病名から予測される症状が発生する可能性を算出し、算出結果を顔情報及び診療データとともに表示することができる。医師は、予測される症状の発生確率を患者の顔情報とともに確認することにより、患者の容体が急変する前に発生が懸念される症状に関する情報を取得することができる。これにより、発生が懸念される症状への対応を早く行うことができ、より迅速な医療を実現することができる。 With the above configuration, the diagnosis support system 100 according to the present modification analyzes face information, patient information, and clinical data, calculates the possibility of occurrence of a symptom predicted from an assumed disease name or a disease name at the time of admission, and calculates Results can be displayed along with facial information and clinical data. By confirming the probability of occurrence of the predicted symptoms together with the patient's face information, the doctor can obtain information about symptoms that are feared to occur before the patient's condition suddenly changes. As a result, it is possible to quickly respond to symptoms that are feared to occur, and to realize more rapid medical care.

上記構成により、本実施形態に係る診断支援システム１００によれば、医師は、警告を確認することにより、心不全の兆候が検出されたことを容易に確認することができる。このため、心不全の兆候が見逃されることを防止することができる。 According to the diagnosis support system 100 according to the present embodiment, with the above configuration, the doctor can easily confirm that a symptom of heart failure has been detected by confirming the warning. Therefore, it is possible to prevent symptoms of heart failure from being overlooked.

以上説明した少なくとも１つの実施形態によれば、患者の疾患の兆候を早期に把握することができる。 According to at least one embodiment described above, signs of a patient's disease can be grasped at an early stage.

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 While several embodiments have been described, these embodiments are provided by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, changes, and combinations of embodiments can be made without departing from the scope of the invention. These embodiments and their modifications are included in the scope and spirit of the invention, as well as the scope of the invention described in the claims and equivalents thereof.

１００…診断支援システム
２００…ネットワーク
３００…病院情報システム（ＨＩＳ）
４００…検査装置
５００…放射線科情報システム（ＲＩＳ）
１０…診断支援装置
１１…メモリ
１１１…学習済みモデル
１２…通信インタフェース
１３…ディスプレイ
１４…入力インタフェース
１５…処理回路
１５１…取得機能
１５２…表情認識機能
１５３…表示制御機能
１５４…指標生成機能
６１０…患者情報表示部
６２０…管理画面表示部
６３０…バイタル情報表示部
６４０…薬剤情報表示部
６５０…検査結果表示部
６６０…表情表示部
６６１、６６２…アイコン
６７０…警告バー
６８０…確率表示部

100... Diagnosis support system 200... Network 300... Hospital information system (HIS)
400... Inspection device 500... Radiology information system (RIS)
DESCRIPTION OF SYMBOLS 10... Diagnosis support apparatus 11... Memory 111... Trained model 12... Communication interface 13... Display 14... Input interface 15... Processing circuit 151... Acquisition function 152... Facial expression recognition function 153... Display control function 154... Index generation function 610... Patient Information display unit 620 Management screen display unit 630 Vital information display unit 640 Medicine information display unit 650 Inspection result display unit 660 Expression display units 661 and 662 Icon 670 Warning bar 680 Probability display unit

Claims (10)

継続的に記録された患者の顔に関する顔情報を取得する取得部と、
前記顔情報に基づいて患者の表情を認識する表情認識部と、
前記顔情報と患者の診療データとを用いて、前記表情の時系列変化を示す指標を生成する指標生成部と、
前記指標と前記表情とを、患者の診療データの時系列変化とともに表示部に表示させる表示制御部と、
を備える、診断支援システム。 an acquisition unit for acquiring face information about the continuously recorded patient's face;
a facial expression recognition unit that recognizes facial expressions of the patient based on the facial information;
an index generation unit that generates an index indicating the time-series change of the facial expression using the face information and the medical care data of the patient;
a display control unit for displaying the index and the facial expression on a display unit along with the chronological changes in medical care data of the patient;
A diagnostic support system. 前記診療データは、バイタル情報、薬剤情報、及び検査情報を含む、
請求項１に記載の診断支援システム。 The medical data includes vital information, drug information, and test information,
The diagnosis support system according to claim 1. 前記顔情報は、患者の顔が撮影された顔画像を含む、
請求項１または２に記載の診断支援システム。 The face information includes a face image in which the patient's face is captured,
The diagnostic support system according to claim 1 or 2. 前記表情認識部は、前記顔画像から患者の顔つきと顔色を検出し、検出結果に基づいて前記表情が不機嫌を示すか否かを判定し、
前記指標は、不機嫌の判定結果の時系列変化を示す、
請求項３に記載の診断支援システム。 The facial expression recognition unit detects the patient's facial expression and facial color from the facial image, and determines whether the facial expression indicates displeased based on the detection result,
The index indicates a time-series change in the result of determination of bad mood,
The diagnosis support system according to claim 3. 前記表情認識部は、前記表情が不機嫌を示す場合、前記顔画像に基づいて前記表情の不機嫌の度合いをさらに判定し、
前記指標は、不機嫌の度合いの時系列変化を示す、
請求項４に記載の診断支援システム。 The facial expression recognition unit further determines the degree of displeasure of the facial expression based on the facial image when the facial expression indicates a displeasure,
The index indicates a time-series change in the degree of bad mood,
The diagnosis support system according to claim 4. 前記表示制御部は、前記不機嫌を示す場合の表情のみを前記表示部に表示させる、
請求項４または５に記載の診断支援システム。 The display control unit causes the display unit to display only the expression indicating the displeased mood.
The diagnostic support system according to claim 4 or 5. 前記指標生成部は、前記顔情報と前記診療データとを用いて患者の症状を予測し、予測した症状に関する情報を前記指標として生成する、
請求項１から６までのいずれか１項に記載の診断支援システム。 The index generation unit predicts a patient's symptom using the face information and the medical care data, and generates information about the predicted symptom as the index.
A diagnosis support system according to any one of claims 1 to 6. 前記指標は、前記症状の兆候が検出されたことを示す警告である、
請求項７に記載の診断支援システム。 said indication is a warning that an indication of said symptom has been detected;
The diagnosis support system according to claim 7. 前記顔情報は、患者の顔が撮影された顔画像を含み、
前記表情認識部は、前記顔画像から患者の顔つきと顔色を検出し、検出結果に基づいて前記表情が不機嫌を示すか否かを判定し、
前記指標生成部は、前記表情が不機嫌を示すと判定された場合に、前記指標を生成する、
請求項８に記載の診断支援システム。 The face information includes a face image in which the patient's face is captured,
The facial expression recognition unit detects the patient's facial expression and facial color from the facial image, and determines whether the facial expression indicates displeased based on the detection result,
The index generation unit generates the index when it is determined that the facial expression indicates a bad mood.
The diagnosis support system according to claim 8. 前記指標は、前記症状が発生する確率である、
請求項７に記載の診断支援システム。 wherein the indicator is the probability that the symptom will occur;
The diagnosis support system according to claim 7.

Images