WO2016203985A1 - 医療支援装置および方法、並びに、医療支援システム - Google Patents

医療支援装置および方法、並びに、医療支援システム Download PDF

Info

Publication number
WO2016203985A1
WO2016203985A1 PCT/JP2016/066544 JP2016066544W WO2016203985A1 WO 2016203985 A1 WO2016203985 A1 WO 2016203985A1 JP 2016066544 W JP2016066544 W JP 2016066544W WO 2016203985 A1 WO2016203985 A1 WO 2016203985A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
temperature
warning
notification information
surgical
Prior art date
Application number
PCT/JP2016/066544
Other languages
English (en)
French (fr)
Inventor
高橋　康昭
一木　洋
菊地　大介
幸弘 中村
恒生 林
貴美 水倉
岳志 宮井
鶴　大輔
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112016002762.1T priority Critical patent/DE112016002762T5/de
Priority to US15/577,826 priority patent/US20180160910A1/en
Publication of WO2016203985A1 publication Critical patent/WO2016203985A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/08—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by means of electrically-heated probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00005—Cooling or heating of the probe or tissue immediately surrounding the probe
    • A61B2018/00041—Heating, e.g. defrosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00642—Sensing and controlling the application of energy with feedback, i.e. closed loop control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00636—Sensing and controlling the application of energy
    • A61B2018/00773—Sensed parameters
    • A61B2018/00791—Temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B2018/00982—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body combined with or comprising means for visual or photographic inspections inside the body, e.g. endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care

Definitions

  • the present technology relates to a medical support apparatus and method, and a medical support system, and more particularly, to a medical support apparatus and method and a medical support system that enable notification of various events.
  • This technology has been proposed in view of such a situation, and enables notification of more various events.
  • the medical support device includes a detection unit that detects an in vivo event based on a temporal change in the temperature of the surgical site or the vicinity of the surgical site, and a response to the in vivo event detected by the detection unit And a notification information generation unit that generates notification information for performing notification.
  • the detection unit can detect an event in the living body based on a temporal change in the temperature distribution image around the surgical site or the surgical site.
  • the detection unit detects a state to be warned as an event in the living body based on a time change of the temperature distribution image, and the notification information generation unit generates a warning image for performing a warning regarding the state. be able to.
  • the notification information generation unit can generate the warning image to be displayed in a superimposed manner on a captured image around the surgical part or the surgical part.
  • the detection unit detects the occurrence of bleeding based on a time change of the temperature distribution image, and the notification information generation unit calculates an image for notifying the occurrence of bleeding and the number of occurrences of bleeding as the warning image.
  • the bleeding occurrence location is located in the captured image range, the image indicating the occurrence location, and the bleeding occurrence location is located outside the captured image range, the direction of the occurrence location
  • One or more of the images showing can be generated.
  • the detection unit detects that the surgical instrument after use is in a state of a predetermined temperature or more based on a time change of the temperature distribution image, and the notification information generation unit uses the predetermined image as the warning image.
  • An image notifying that there is a surgical instrument in a state of a temperature equal to or higher than the temperature an image notifying the number of surgical instruments, an image indicating the surgical instrument when the surgical instrument is located within the captured image range, and When the surgical instrument is located outside the captured image range, one or more of the images indicating the direction of the surgical instrument can be generated.
  • the detection unit detects a result of hemostasis based on a temporal change of the temperature distribution image
  • the notification information generation unit is an image that notifies the hemostasis result as the warning image, and the place where the hemostasis is performed.
  • An image for reporting the number of the images, an image showing the place where the hemostasis is performed when the hemostasis is performed within the captured image range, and the hemostasis when the hemostasis is performed outside the captured image range One or more of the images indicating the direction in which the image was performed can be generated.
  • the detection unit detects, based on a time change of the temperature distribution image, a damaged site around the surgical site or the surgical site due to contact with a surgical tool when not in use, and the notification information generation unit includes the warning image As an image for notifying the occurrence of the damaged part, an image for notifying the number of damaged parts, an image showing the damaged part when the damaged part is located in the captured image range, and the damaged part is the When located outside the captured image range, one or more of the images indicating the direction of the damaged portion can be generated.
  • the detection unit detects a location where the surgical site or the surgical site surroundings due to the use of a surgical tool is in a state of a predetermined temperature or more based on a time change of the temperature distribution image, and the notification information generation unit, As the warning image, an image for notifying that a portion in a state of the predetermined temperature or higher has occurred, an image for notifying the number of portions in a state of the predetermined temperature or higher, and a state of the predetermined temperature or higher.
  • an image showing the location where the location is at or above the predetermined temperature, and a location at or above the predetermined temperature is outside the captured image range In this case, one or more of the images indicating the direction of occurrence of the location at the predetermined temperature or higher can be generated.
  • the detection unit detects a state change of the living body as an event in the living body based on a time change of the temperature distribution image, and the notification information generation unit notifies a diagnosis result based on the state change.
  • a diagnostic image can be generated.
  • a heating unit for heating the living body is further provided, and the detection unit can detect a change in the state of the living body after being heated by the heating unit.
  • the detection unit performs detection of a sub-region of the liver, detection of a lesion, detection of blood vessels, detection of lymph vessels, identification of bones and nerves, or detection of cancer cells, and the notification information generation unit is used as the diagnostic image.
  • the subsection, the lesion, the blood vessel, the lymphatic vessel, the bone, the nerve, or the cancer cell detected by the detection unit can be identified by being superimposed on the captured image of the surgical site. Can be generated.
  • the detection unit can further detect an event in the living body based on a sensing result other than the temporal change of the temperature around the surgical site or the surgical site.
  • the detection unit can detect an event in the living body based on a temporal change in temperature of the surgical part or the vicinity of the surgical part and a stereo image of the surgical part or the vicinity of the surgical part.
  • a temperature sensor for detecting the temperature of the surgical site or the vicinity of the surgical site is further provided, and the detection unit is based on a time change of the temperature of the surgical site or the vicinity of the surgical site detected by the temperature sensor. Event can be detected.
  • a display unit that displays an image of the notification information generated by the notification information generation unit may be further provided.
  • It may further include a control unit that controls a surgical instrument in accordance with the in-vivo event detected by the detection unit.
  • the controller can control the temperature of the gas supplied into the living body or the brightness of illumination light irradiated into the living body.
  • the medical support device detects an event in the living body based on a temporal change in the temperature of the surgical part or the vicinity of the surgical part, and notifies the detected event in the living body.
  • This is a medical support method for generating notification information to be performed.
  • the medical support system of the present technology is a medical support system including a temperature sensor, a medical support device, and a display device, and the temperature sensor is configured to measure a temperature at or around the surgical site.
  • the medical support device includes: a detection unit that detects an event in a living body based on a temporal change in temperature of the surgical unit or the vicinity of the surgical unit measured by the temperature sensor; and the detection unit that detects the detection unit
  • a notification information generation unit that generates notification information for performing notification according to an event in a living body
  • the display device is configured to display an image of the notification information generated by the notification information generation unit. This is a medical support system.
  • an event in the living body is detected based on a temporal change in the temperature of the surgical site or the vicinity of the surgical site, and a notification corresponding to the detected event in the living body is performed. Notification information is generated.
  • the temperature at the surgical site or around the surgical site is measured by the temperature sensor, and the temperature at the surgical site or around the surgical site measured by the temperature sensor at the detection unit of the medical support device.
  • An event in the living body is detected based on the time change, and notification information for performing notification according to the detected event in the living body is generated, and an image of the notification information is displayed on the display device.
  • This technology can support medical care.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • First Embodiment> ⁇ Monitoring of abnormalities occurring in and around the surgical site> Conventionally, in an endoscopic operation (for example, laparoscopic surgery, etc.) in which an operation is performed using an endoscope, and a microscopic operation in which an operation is performed using a microscope, We were working while confirming the captured image of the visual field (including a certain surgical site) on the monitor.
  • an endoscopic operation for example, laparoscopic surgery, etc.
  • a microscopic operation in which an operation is performed using a microscope
  • FIG. 1 is a diagram illustrating a main configuration example of an endoscopic surgery support system that is an embodiment of a medical support system to which the present technology is applied.
  • an endoscopic surgery support system 100 is a system that supports surgery used by an operator or the like in endoscopic surgery (for example, laparoscopic surgery).
  • Endoscopic surgery is an operation in which several small holes are made in the human body (for example, the abdomen) of a patient who performs the operation, an endoscope or the like is inserted from there, and the operation is performed while looking at a monitor.
  • Endoscopic surgery is less invasive compared to laparotomy, has a feature such as less burden on the patient and hope for early recovery.
  • a small hole is made near the surgical site, and a trocar, which is an opening instrument, is attached to the hole so that the hole is kept open ( An opening is formed).
  • a trocar which is an opening instrument
  • the living body of the patient 151 has five holes, and the trocars 131-1 to 131-5 are attached to them to form openings.
  • the trocars 131-1 to 131-5 are referred to as the trocar 131 when there is no need to distinguish them from each other.
  • surgical tools for example, an electric knife, scissors, scissors, forceps, etc.
  • surgical tools for example, an electric knife, scissors, scissors, forceps, etc.
  • an endoscope 121, an energy device 122, forceps 123, an insufflation needle 124, and a monitoring sensor 125 are used as surgical tools.
  • the endoscope 121 is a device that images an operation site or the like as described above.
  • the endoscope 121 has an image sensor (imaging device), irradiates light (supplied from the light source device 112) in the living body of the patient 151 (surgical site and the vicinity of the surgical site), and uses the light. To take an image.
  • the endoscope 121 supplies information related to a captured image obtained by imaging (for example, captured image data) to the CCU 111.
  • the endoscope 121 is inserted into the living body of the patient 151 through the opening formed by the trocar 131-1.
  • the energy device 122 is a surgical instrument that uses electrical energy, such as an electric knife.
  • the energy device 122 can generate a Joule heat by flowing a high-frequency current through the surgical site and using a load or contact resistance at this time. This heat instantly heats the cells, causing them to explode and evaporate, creating an incision action. In addition, this heat causes a coagulation effect by evaporating the moisture of the cells and coagulating the protein.
  • the energy device 122 is inserted into the living body of the patient 151 through the opening formed by the trocar 131-2.
  • the forceps 123 is an instrument that holds a living body (for example, a tissue) or the like.
  • the forceps 123 looks like scissors.
  • the forceps 123 has a stopper at hand, and can maintain a state in which a living body or the like is sandwiched.
  • the forceps 123 is used for various purposes such as pinching, pulling, crushing, opening, scooping, and blocking.
  • the forceps 123 is inserted into the living body of the patient 151 through an opening formed by the trocar 131-3.
  • the pneumoperitoneum needle 124 supplies gas (carbon dioxide gas or the like) into the living body of the patient 151 (such as a space around the surgical site) or inhales the gas in the living body of the patient 151.
  • the pneumoperitoneum needle 124 is connected to the pneumoperitoneum device 116 via a predetermined tube, and the gas supplied into the living body of the patient 151 is supplied from the pneumoperitoneum device 116, for example.
  • the gas inhaled from the living body of the patient 151 is supplied to the insufflation apparatus 116, for example.
  • the pneumoperitoneum needle 124 is inserted into the body of the patient 151 through an opening formed by the trocar 131-4.
  • the monitoring sensor 125 performs sensing (measurement) for a parameter to be monitored for the target area.
  • a region where the sensing is performed is also referred to as a sensing region.
  • the monitoring sensor 125 uses at least the surgical site or the vicinity of the surgical site as a sensing region, and measures its temperature for an arbitrary period. More specifically, the monitoring sensor 125 measures at least a planar or spatial temperature distribution around the surgical site or around the surgical site for an arbitrary period. That is, it can be said that the monitoring sensor 125 measures a temporal change in the temperature of the surgical site where the medical treatment is performed or the temperature around the surgical site (more specifically, a planar or spatial temperature distribution).
  • the monitoring sensor 125 supplies information (for example, data obtained by sensing) regarding the measurement result (sensing result) to the monitoring device 113.
  • the monitoring sensor 125 supplies at least the planar or spatial temperature distribution during the measurement period (that is, the temporal change in the planar or spatial temperature distribution during the period) to the monitoring device 113.
  • the monitoring sensor 125 is inserted into the living body of the patient 151 through the opening formed by the trocar 131-5.
  • an endoscopic surgery support system 100 includes, for example, a CCU (CameraCamControl Unit) 111, a light source device 112, a monitoring device 113, an output device 114, a surgical instrument control device 115, an insufflation device 116, and the like.
  • the CCU 111 controls the driving of the endoscope 121.
  • the CCU 111 supplies information related to control to the endoscope 121 and controls driving of an observation optical system (for example, a lens, a diaphragm, an image sensor, etc.) of the endoscope 121.
  • the CCU 111 can also acquire information regarding a captured image captured through the observation optical system of the endoscope 121.
  • the CCU 111 can acquire information related to a captured image of the patient 151 in the living body (surgical site and the vicinity of the surgical site) captured by the endoscope 121.
  • the CCU 111 can also perform signal processing such as image processing on the captured image data included in the acquired information.
  • the light source device 112 is connected to the endoscope 121 via a light guide cable or the like, and supplies a light source required for imaging by the endoscope 121 to the endoscope 121 via the light guide cable or the like. To do.
  • the monitoring device 113 is an embodiment of a medical support device to which the present technology is applied.
  • the monitoring device 113 detects an event in the living body based on information regarding a sensing result obtained through the monitoring sensor 125.
  • the monitoring device 113 generates notification information for performing notification according to the detected event in the living body. For example, the monitoring device 113 detects the temperature in the sensing area during the period of time measured by the monitoring sensor 125 (that is, the temporal change in the temperature distribution of the sensing area during the period) in the living body to be warned. The event of is detected.
  • the monitoring apparatus 113 produces
  • the output device 114 includes, for example, a monitor that displays an image, a speaker that outputs sound, and the like, and outputs information supplied from another device such as the monitoring device 113 as an image or sound.
  • the output device 114 outputs a captured image captured by the endoscope 121, notification information (image or sound) generated by the monitoring device 113, or the like (image display or sound output).
  • the surgical instrument control device 115 controls driving of the energy device 122.
  • the surgical instrument control apparatus 115 supplies a high-frequency current or the like to the energy device 122 so that the energy device 122 can excise the affected part by the electric heat.
  • the pneumoperitoneum 116 supplies gas (for example, carbon dioxide gas) to the pneumoperitoneum needle 124 via a predetermined tube, and supplies the gas to the patient 151 in the living body (surgical part or peripheral part) from the pneumoperitoneal needle 124. Then (inhale) expands the living body (surrounding the surgical site). As a result, a workable space can be secured in the living body (around the surgical site).
  • the pneumoperitoneum 116 can also suck (inhale) gas (for example, carbon dioxide) in the living body of the patient 151 from the pneumoperitoneum needle 124 through the predetermined tube.
  • the configuration of the endoscopic surgery support system 100 shown in FIG. 1 is an example, and the configuration of the endoscopic surgery support system 100 is not limited to the example of FIG.
  • the type of surgical instrument used for endoscopic surgery is arbitrary.
  • the endoscopic surgery support system 100 may include a surgical instrument other than the endoscope 121, the energy device 122, the forceps 123, the pneumothorax needle 124, and the monitoring sensor 125 described above. Moreover, it is not necessary to use a part of the surgical instrument described above.
  • the endoscope 121, the energy device 122, the forceps 123, the pneumoperitoneum needle 124, and the monitoring sensor 125 are shown one by one, but these numbers are arbitrary.
  • the endoscopic surgery support system 100 may include a plurality of at least one of these.
  • the number of various surgical tools such as the endoscope 121, the energy device 122, the forceps 123, the pneumothorax needle 124, and the monitoring sensor 125 may not be the same.
  • the endoscope 121 is connected to the CCU 111 so as to communicate with each other. This communication may be wired communication, wireless communication, or both.
  • the endoscope 121 may have a plurality of image sensors (imaging elements). In that case, some image sensors may sense light of a different type (for example, frequency band) from at least some other image sensors.
  • the endoscope 121 may include an image sensor that senses visible light and an image sensor that senses infrared light.
  • the endoscope 121 may include an image sensor that obtains a color (for example, RGB) captured image and an image sensor that obtains a monochrome captured image.
  • the characteristics such as the number of pixels and the pixel size of some image sensors may be different from at least some other image sensors.
  • the endoscope 121 may include an image sensor capable of sensing a plurality of types (frequency bands) of light.
  • the endoscope 121 may include one or more image sensors that can sense a plurality of types of light.
  • the endoscope 121 may include a plurality of image sensors, and one or more of the image sensors may be capable of sensing a plurality of types of light.
  • the endoscope 121 includes a plurality of image sensors capable of sensing a plurality of types of light, at least one of the image sensors may sense a different type of light from the other image sensors. You may be able to do it.
  • the endoscope 121 may further include a sensor other than the image sensor.
  • the endoscope 121 may further include a gyro sensor that measures the posture of the endoscope 121, or may include other sensors.
  • the endoscope 121 may have functions and configurations other than the sensor.
  • all the endoscopes 121 may not have the same specifications as each other, and the specifications (configurations and functions) of some endoscopes 121 may be used. Etc.) may be different from at least some other endoscopes 121.
  • the energy device 122 is electrically connected to the surgical instrument control device 115 via a predetermined cable, and a high-frequency current or the like is supplied from the surgical instrument control device 115 via the predetermined cable. May be. Further, the energy device 122 may be connected to the surgical instrument control device 115 so as to be able to communicate, and may be able to exchange control information and the like. This communication may be wired communication, wireless communication, or both.
  • all the energy devices 122 may not have the same specifications as each other, and the specifications (configuration, function, etc.) of some of the energy devices 122 are not included. However, it may be different from at least some other energy devices 122.
  • all the forceps 123 do not have to have the same specification, and the specifications (size, shape, function, etc.) of some forceps 123 are at least other. May be different from some of the forceps 123.
  • the monitoring sensor 125 is connected to the monitoring device 113 so that communication is possible. This communication may be wired communication, wireless communication, or both.
  • the monitoring sensor 125 may further measure parameters other than the temperature distribution. This parameter may be anything.
  • the monitoring sensor 125 measures an image, light, electricity, sound, vibration, acceleration, velocity, angular velocity, force, temperature (not temperature distribution), humidity, flow rate, magnetism, chemical substance, odor, or the like. It may be.
  • the monitoring sensor 125 may measure a plurality of parameters among these. Further, the monitoring sensor 125 may measure parameters other than these.
  • One monitoring sensor 125 may measure a plurality of parameters, or a plurality of monitoring sensors 125 may be provided.
  • one monitoring sensor 125 may include both a thermosensor that measures a temperature distribution and another sensor that measures other parameters. Further, a thermosensor that measures the temperature distribution and another sensor that measures other parameters may be provided as different monitoring sensors 125.
  • a plurality of monitoring sensors 125 are provided in the endoscopic surgery support system 100
  • other configurations are arbitrary as long as the temperature distribution can be measured in any one of them.
  • the specifications of the plurality of monitoring sensors 125 may be unified or may not be unified.
  • the CCU 111, the light source device 112, the monitoring device 113, the output device 114, the surgical instrument control device 115, and the insufflation device 116 are shown one by one, but this configuration example is an example,
  • the configuration of the endoscopic surgery support system 100 is not limited to this example.
  • a plurality of at least a part of the CCU 111, the light source device 112, the monitoring device 113, the output device 114, the surgical instrument control device 115, and the pneumoperitoneum device 116 may be provided. In that case, the specifications of the plurality of devices may be unified or may not be unified.
  • the number of endoscopes 121 that one CCU 111 controls to acquire a captured image may be one or plural. When a plurality of CCUs 111 are provided, the CCUs 111 may correspond to different endoscopes 121, or at least a part of them may overlap. In addition, the number of endoscopes 121 corresponding to each CCU 111 may be the same, or the number of endoscopes 121 corresponding to some CCUs 111 may be endoscopes corresponding to at least some other CCUs 111. The number of mirrors 121 may be different.
  • the light source device 112 can emit light in an arbitrary frequency band.
  • the light source device 112 can emit normal light such as visible light, or can emit special light (for example, narrow-band light, infrared light, or the like) that can particularly identify the affected part.
  • one light source device 112 can supply (correspond to) light to the plurality of endoscopes 121. In that case, light in the same frequency band can be supplied to each endoscope 121, or light in different frequency bands can be supplied.
  • the endoscopes 121 corresponding to the light source devices 112 may be different from each other, or at least a part of them may overlap. Also, the number of endoscopes 121 corresponding to each light source device 112 may be the same, or the number of endoscopes 121 corresponding to some light source devices 112 is at least some other light source devices. The number of endoscopes 121 corresponding to 112 may be different.
  • one monitoring apparatus 113 may acquire (correspond) information from a plurality of monitoring sensors 125.
  • the monitoring sensors 125 corresponding to the monitoring devices 113 may be different from each other, or at least a part of them may overlap.
  • the number of monitoring sensors 125 corresponding to each monitoring device 113 may be the same, or the number of monitoring sensors 125 corresponding to some monitoring devices 113 may be at least some other monitoring devices.
  • the number of monitoring sensors 125 corresponding to 113 may be different.
  • the output device 114 is connected to the monitoring device 113 so that communication is possible. This communication may be wired communication, wireless communication, or both.
  • one output device 114 may acquire (correspond) information from a plurality of monitoring devices 113.
  • the monitoring devices 113 corresponding to the output devices 114 may be different from each other, or at least a part of them may overlap.
  • the number of monitoring devices 113 corresponding to each output device 114 may be the same, or the number of monitoring devices 113 corresponding to some output devices 114 is at least equal to some other output devices 114. It may be different from the number of corresponding monitoring devices 113.
  • one surgical instrument control device 115 may control (corresponding to) driving of a plurality of energy devices 122.
  • the energy devices 122 corresponding to the surgical instrument control devices 115 may be different from each other, or at least partially overlap. Also good. Further, the number of energy devices 122 corresponding to each surgical instrument control device 115 may be the same, or the number of energy devices 122 corresponding to some surgical instrument control devices 115 may be at least some other. The number of energy devices 122 corresponding to the surgical instrument control device 115 may be different.
  • one insufflation apparatus 116 may supply (correspond) to a plurality of insufflation needles 124.
  • the pneumothorax needles 124 corresponding to the respective pneumothorax devices 116 may be different from each other, or at least a part of them may overlap. Good.
  • the number of insufflation needles 124 corresponding to each insufflation device 116 may be the same, or the number of insufflation needles 124 corresponding to some insufflation devices 116 is at least the other part.
  • the number of pneumoperitoneum needles 124 corresponding to the pneumoperitoneum 116 may be different.
  • the monitoring sensor 125 sets a predetermined area (for example, around the installation position) according to the installation position and orientation of the monitoring sensor 125 as a sensing area.
  • the installation position of the monitoring sensor 125 is arbitrary. For example, there is a high possibility that contact between the surgical tool and a living body (such as an organ), bleeding, or the like occurs in an operation part (for example, an affected part that is an operation target) where the operator performs an operation, and it is necessary to monitor Higher than other positions. Therefore, such a surgical part and the periphery of the surgical part may be used as a sensing region.
  • the monitoring sensor 125 is installed in a position and posture such that the surgical site and the periphery of the surgical site are used as a sensing region.
  • the monitoring sensor 125 is installed in a state where it is inserted into the living body of the patient 151 as shown in FIG.
  • the affected area 161 that is an operation site and its periphery are set as an imaging area 162 that is an area captured by the image sensor of the endoscope 121, and a range including the imaging area 162 is monitored.
  • the sensing area 163 of the sensor 125 is used.
  • the outer periphery of the imaging region 162 and the sensing region 163 is shown in a circular shape, but the shape of these regions is arbitrary and is not limited to the example of FIG. 2.
  • the sensing area 163 is shown in a planar shape, but the sensing area 163 may be a three-dimensional space or more.
  • the space around the surgical site in the patient's living body may be used as the sensing region.
  • the monitoring device 113 can obtain a temperature distribution in a three-dimensional space or more. By doing in this way, the dead angle by an organ etc. can be reduced and more exact temperature distribution can be calculated
  • the imaging region 162 and the sensing region 163 may not overlap each other, or only a part thereof may overlap.
  • the affected area 161 may not be included in the sensing area 163, or the affected area 161 may not be included in the imaging area 162.
  • the sensing area 163 can be set wider than the imaging area 162 as in the example of FIG.
  • the sizes of the imaging region 162 and the sensing region 163 are arbitrary.
  • FIG. 3 is a block diagram illustrating a main configuration example of the monitoring device 113 and the like.
  • the endoscope 121 includes an image sensor 171.
  • the image sensor 171 includes a so-called image sensor and includes a plurality of pixels that photoelectrically convert incident light.
  • the endoscope 121 irradiates the light irradiation area with light supplied from the light source device 112.
  • the image sensor 171 obtains an image of the subject (a captured image of the imaging region) by photoelectrically converting the irradiation light reflected by the subject at a plurality of pixels. That is, the light irradiation region and the imaging region are regions at substantially the same position. Of course, the width and shape of the imaging region and the light irradiation region do not have to coincide with each other.
  • the image sensor 171 captures an image of a subject and obtains an image signal (captured image data) of the image of the subject.
  • Information regarding the captured image obtained by the image sensor 171 is supplied to the CCU 111 through communication between the endoscope 121 and the CCU 111.
  • the image sensor 171 is controlled and driven by the CCU 111 to perform such imaging.
  • the CCU 111 performs predetermined signal processing on the captured image data supplied from the image sensor 171 as necessary, and performs the signal processing on the monitoring device 113 (the warning target detection unit 182, the notification information generation unit 183, and the output control unit 184). ).
  • thermo sensor 125 ⁇ / b> A is provided as the monitoring sensor 125.
  • the thermosensor 125A measures a change over time in temperature (temperature distribution) in the sensing area.
  • the installation position of the thermosensor 125A which is the monitoring sensor 125, is arbitrary as described above.
  • the thermosensor 125A is installed in a position and posture such that the surgical site and the periphery of the surgical site are used as a sensing region.
  • the thermosensor 125A is installed in a state where it is inserted into the living body of the patient 151 as shown in FIG. 1, and senses the temperature (temperature distribution) of the sensing region 163 in FIG.
  • the temperature (temperature distribution) may be an absolute value or a value relative to a predetermined reference.
  • Information regarding the sensing result obtained by the thermosensor 125 ⁇ / b> A is supplied to the monitoring device 113.
  • thermosensor 125A may be controlled and driven by an external device (for example, the monitoring device 113), or may be controlled and driven by an operator or the like. You may make it drive without.
  • an external device for example, the monitoring device 113
  • the monitoring device 113 includes a temperature image generation unit 181, a warning target detection unit 182, a notification information generation unit 183, and an output control unit 184.
  • the temperature image generation unit 181 acquires information related to the sensing result from the thermosensor 125A, and generates a temperature image based on the information.
  • the temperature image is an image indicating the temperature (or temperature distribution) for the sensing region.
  • the temperature image generation unit 181 supplies the generated temperature image to the warning target detection unit 182.
  • the thermosensor 125A performs sensing for a predetermined period, and the temperature image generation unit 181 generates a temperature image as a moving image for the predetermined period. That is, the temperature image generated by the temperature image generation unit 181 indicates a temporal change in temperature (or temperature distribution) during the predetermined period.
  • the warning target detection unit 182 detects a predetermined event to be a warning target based on the temperature image (that is, a time change of temperature (or temperature distribution) in a predetermined period). This warning target event is set in advance. That is, a change pattern of temperature (or temperature distribution) is set in advance.
  • the warning target detection unit 182 detects an event corresponding to the pattern by detecting a change pattern of the preset temperature (or temperature distribution) in the temperature image.
  • the warning target detection unit 182 notifies the notification information generation unit 183 of the detected event.
  • the warning target detection unit 182 may also refer to the captured image supplied via the CCU 111 when such an event is detected.
  • the notification information generation unit 183 generates notification information for performing notification according to the event detected by the warning target detection unit 182. For example, the notification information generation unit 183 generates, as notification information, a warning image that is image information for giving a warning regarding the detected event. In addition, for example, the notification information generation unit 183 generates warning sound, which is sound information for performing a warning regarding the detected event, as the notification information. The notification information generation unit 183 supplies the notification information generated in this way to the output control unit 184. Note that the notification information generation unit 183 may generate notification information with reference to a captured image supplied via the CCU 111. For example, the notification information generation unit 183 may set the layout of the warning image according to the pattern of the captured image.
  • the output control unit 184 controls information output. For example, the output control unit 184 generates a display image (that is, an image of the imaging region) from the captured image supplied from the CCU 111, and supplies the display image to the output device 114 for display. Further, for example, the output control unit 184 supplies the notification information (image, sound, etc.) supplied from the notification information generation unit 183 to the output device 114 for output. At that time, the output control unit 184 generates a display image by superimposing the warning image supplied from the notification information generation unit 183 on the captured image supplied from the CCU 111, and supplies the display image to the output device 114. It can also be displayed. Note that the output control unit 184 may be able to supply various types of information to devices other than the output device 114.
  • the output device 114 has a monitor 191 and a speaker 192.
  • the monitor 191 displays a display image supplied from the output control unit 184, for example.
  • the speaker 192 outputs a warning sound or the like supplied from the output control unit 184.
  • the configuration of the output device 114 is arbitrary.
  • the monitor 191 or the speaker 192 may be omitted.
  • the output device 114 may include a plurality of monitors 191 or a plurality of speakers 192. Further, for example, the output device 114 may include an output device other than the monitor 191 and the speaker 192.
  • the monitoring device 113 since the monitoring device 113 includes the warning target detection unit 182 and the notification information generation unit 183, the monitoring device 113 can perform notifications about various events that occur in or around the surgical site. Therefore, the monitoring apparatus 113 can perform more various medical support.
  • This warning process is a notification information for detecting a predetermined event to be warned based on a temporal change in the temperature (or temperature distribution) of the sensing region obtained as a result of sensing by the thermosensor 125A and notifying the event. Is generated and output.
  • step S101 the image sensor 171 of the endoscope 121 captures an image within the field of view of the endoscope 121 (that is, the imaging region 162). More specifically, the light source device 112 emits light (illumination light) emitted from the endoscope 121 and supplies the light to the endoscope 121. Thereby, light is irradiated from the endoscope 121 toward the imaging angle of view (subject). In this state, the CCU 111 controls the image sensor 171 to perform imaging. The image sensor 171 supplies captured image data to the CCU 111.
  • step S102 the thermosensor 125A performs sensing and obtains information on the temperature (temperature distribution) of the sensing region.
  • the thermosensor 125A supplies the sensing result to the temperature image generation unit 181.
  • step S103 the temperature image generation unit 181 generates a temperature image of the sensing region based on the sensing result of the thermosensor 125A obtained by the process of step S102.
  • step S104 the warning target detection unit 182 detects the warning target using the temperature image obtained by the process in step S103.
  • step S105 the warning target detection unit 182 determines whether a warning target is detected. If it is determined that a warning target has been detected, the process proceeds to step S106.
  • the notification information generation unit 183 generates, as notification information, warning information for performing a warning regarding the event to be warned.
  • the warning information includes a warning image that is image information, a warning voice that is audio information, and the like.
  • step S107 the output control unit 184 generates a display image by superimposing the warning image generated by the process of step S106 on the captured image obtained by the process of step S101 supplied from the CCU 111, and outputs the output device 114. Are displayed on the monitor 191.
  • step S108 the output control unit 184 causes the warning sound generated by the process in step S106 to be output from the speaker 192 of the output device 114.
  • step S109 the output control unit 184 generates a display image that displays the captured image obtained by the process of step S101 supplied from the CCU 111. And displayed on the monitor 191 of the output device 114.
  • step S110 the output control unit 184 determines whether or not to end the warning process. If it is determined not to end the warning process, the process returns to step S101, and the subsequent processes are repeated. That is, while the warning process is being executed, each process from step S101 to step S110 is executed. If it is determined in step S110 that the warning process is to be terminated, the warning process is terminated.
  • steps S101 to S110 are executed in parallel. That is, processing such as generation of a temperature image, detection of a warning target, generation of notification information, output of notification information, and the like is performed while performing imaging with the image sensor 171 and sensing with the thermosensor 125A.
  • the warning target detection unit 182 obtains a temperature image as a moving image. Therefore, the warning target detection unit 182 detects a temporal change pattern of temperature corresponding to the event that is the warning target in the moving image.
  • the event to be warned is arbitrary.
  • the occurrence of bleeding may be an event to be warned.
  • FIG. 5 shows an example of a temperature image.
  • FIG. 5A shows an example of a temperature image at a certain time. In the case of the example of FIG. 5A, in the organ 211 located in the sensing region 163, a region 212 having a higher temperature than the surroundings is detected.
  • FIG. 5B shows an example of a temperature image after a predetermined time has elapsed from the state of FIG. As shown in FIG. 5B, at this point in time, the region 212 is larger than the point in FIG. 5A. That is, as time elapses, the region 212 having a higher temperature than the surroundings expands.
  • the warning target detection unit 182 determines that this region 212 is blood that has been bleeding, and detects the occurrence of bleeding.
  • ⁇ Bleeding detection process flow> When detecting the occurrence of bleeding, the warning target detection unit 182 performs such processing as event detection processing in step S104 of warning processing. An example of the flow of this bleeding detection process will be described with reference to the flowchart of FIG.
  • the warning target detection unit 182 determines in step S131 whether or not a region having a deep body temperature higher than the surrounding temperature has occurred in the temperature image. When it is determined that an area having a temperature higher than the deep body temperature, such as the area 212 in FIG. 5A, has occurred, the process proceeds to step S132.
  • step S132 the warning target detection unit 182 determines whether or not the area has expanded with time. When it is determined in the temperature image that the area is enlarged with the passage of time as in the area 212 in FIG. 5B, the process proceeds to step S133.
  • step S133 the warning target detection unit 182 determines that the area is blood that has been bleeding, and detects the occurrence of bleeding.
  • step S134 the warning target detection unit 182 determines whether or not to terminate the bleeding detection process. If it is determined not to end, the process returns to step S131, and the subsequent processes are repeated.
  • Step S131 If it is determined in step S131 that no region having a deep body temperature higher than the surrounding temperature has occurred in the temperature image, the bleeding detection process ends, and the process returns to FIG.
  • Step S132 when it is determined that the region having a temperature higher than the deep body temperature is not expanded, the warning target detection unit 182 determines that the region is not bleeding blood, and the bleeding detection process ends. Then, the process returns to FIG. If determined to end in step S134, the bleeding detection process ends, and the process returns to FIG.
  • the monitoring device 113 can detect the occurrence of bleeding using the time change of temperature (temperature distribution). Therefore, the monitoring device 113 can detect more various events than when detecting the occurrence of bleeding from a simple temperature distribution (temperature distribution at a certain time). In addition, the monitoring device 113 can detect the occurrence of bleeding more accurately than the case of detecting the occurrence of bleeding from a simple temperature distribution (temperature distribution at a certain time).
  • FIG. 7 shows an example of a display image displayed on the monitor 191.
  • a display image 220 illustrated in FIG. 7 illustrates an example of a display image including a warning image when the occurrence of bleeding is detected by performing the above-described bleeding detection process.
  • various warning images are superimposed on the captured image 221 including the organ 211.
  • a bleeding warning message image 222 that is an image for notifying the occurrence of bleeding may be displayed as a warning image.
  • the bleeding warning message image 222 in FIG. 7 includes a message “with bleeding” and a number “(2)”.
  • the message “with bleeding” is a message notifying the occurrence of bleeding. Thereby, the surgeon who saw the display image 220 can grasp the occurrence of bleeding more easily.
  • the number “(2)” indicates the number of locations where bleeding has occurred. Therefore, an operator who has viewed the display image 220 can more easily grasp the number of places where bleeding has occurred.
  • the notification information generation unit 183 may generate such a bleeding warning message image 222 as a warning image.
  • the display position of the bleeding warning message image 222 is arbitrary, and may not be the upper left of the display image as in the example of FIG.
  • the notification information generation unit 183 may set the display position of the bleeding warning message image 222 based on the pattern of the captured image 221.
  • a bleeding position presentation image 223 that is an image showing the occurrence location is displayed as a warning image. May be.
  • the bleeding position presentation image 223 in FIG. 7 is a dotted circle image.
  • the bleeding occurrence location region 212 is surrounded by this dotted circle to indicate the location where the bleeding has occurred.
  • the surgeon etc. who looked at the display image 220 can grasp
  • the notification information generation unit 183 may generate such a bleeding position presentation image 223 as a warning image. If the sensing area of the thermosensor 125A and the imaging area of the image sensor 171 do not match, the bleeding occurrence position in the sensing area cannot be applied to the captured image 221 as it is. In such a case, the notification information generation unit 183 specifies the position of the site where bleeding has occurred in the captured image 221 based on both the captured image 221 and the temperature image. That is, the display position of the bleeding position presentation image 223 in the display image 220 is set.
  • a bleeding direction presentation image 224 that is an image indicating the direction of the occurrence location may be displayed as a warning image.
  • the bleeding direction presentation image 224 in FIG. 7 is an arrow image. That is, the direction of the bleeding occurrence location located outside the display image 220 is indicated by an arrow. Thereby, the surgeon who saw the display image 220 can grasp the direction in which bleeding has occurred more easily.
  • the notification information generation unit 183 may generate such a bleeding direction presentation image 224 as a warning image.
  • the sensing area of the thermosensor 125A and the imaging area of the image sensor 171 do not match, the bleeding occurrence position in the sensing area viewed from the captured image 221 is not specified.
  • the notification information generation unit 183 identifies the positional relationship between the captured image and the temperature image based on both the captured image 221 and the temperature image, and identifies the direction of the location where bleeding has occurred in the captured image 221. . That is, the direction of the arrow of the bleeding direction presentation image 224 in the display image 220 is set.
  • the display position of the bleeding direction presentation image 224 is arbitrary, and may not be the upper right of the display image as in the example of FIG.
  • the display position may be determined according to the direction of the arrow, or the notification information generation unit 183 may set the display position based on the pattern of the captured image 221.
  • the content of the warning image generated by the notification information generation unit 183 is arbitrary.
  • the notification information generation unit 183 provides the above-described image for notifying the occurrence of bleeding, the image for notifying the number of bleeding occurrences, and the image indicating the occurrence location when the occurrence location of the bleeding is located within the captured image range. If the bleeding occurrence location is located outside the captured image range, one or more of the images indicating the direction of the occurrence location may be generated. Further, the notification information generation unit 183 may include other information in the warning image.
  • the monitoring device 113 can notify the detected event using the temporal change in temperature (temperature distribution). That is, the monitoring apparatus 113 can perform notifications about more various events.
  • the temperature of the surgical instrument such as the energy device 122 or the usage status (switch on / off) may also be detected and used for bleeding determination. That is, for example, the determination of bleeding may be performed only when the energy device 122 is in use or when the temperature near the tip of the energy device 122 is high.
  • the monitoring device 113 can more accurately detect the occurrence of bleeding.
  • weighting of the determination is performed using conditions such as the likelihood of bleeding, such as making it easy to determine bleeding. May be performed. By doing in this way, the monitoring apparatus 113 can detect the occurrence of bleeding more accurately.
  • Second Embodiment> ⁇ Detection of residual heat after using the surgical tool>
  • the events that can be detected by the monitoring device 113 are not limited to the above-described example.
  • the monitoring device 113 may monitor the temperature (residual heat) of a surgical instrument such as the energy device 122 after use.
  • the temperature near the tip of the energy device 122 changes, for example, as shown in FIG.
  • a dangerous temperature which is a predetermined temperature that may affect a living body (such as an organ) when touched.
  • the vicinity of the tip becomes very hot. Therefore, the vicinity of the tip of the energy device 122-2 in use is equal to or higher than a predetermined temperature (temperature in use) higher than the dangerous temperature.
  • the temperature near the tip decreases, but the temperature is high for a while and care should be taken to avoid contact with a living body (such as an organ). State). That is, the temperature in the vicinity of the tip of the energy device 122-3 in the state requiring caution after use is lower than the temperature during use and equal to or higher than the dangerous temperature. Thereafter, as time elapses, the temperature near the tip of the energy device 122 further decreases, and a safe state is obtained. That is, the temperature near the tip of the energy device 122-4 after use is lower than the dangerous temperature, and returns to the same state as the energy device 122-1 before use.
  • the living body When the temperature near the tip of the energy device 122 is higher than the dangerous temperature, if the vicinity of the tip of the energy device 122 is in contact with or close to a living body (such as an organ), the living body may be affected. is there. That is, in the in-use state and the cautionary state after use, the vicinity of the tip of the energy device 122 is in a high-temperature state that may affect a living body (such as an organ).
  • the energy device 122-2 in use is in a state where the surgeon intends to operate it, the surgeon's attention is directed to the tip of the energy device 122 without warning. . Rather, since medical work is being performed, the display of warning images and the output of warning voices may hinder the surgeon's visual field and concentration.
  • the monitoring device 113 does not give a warning during use, but only gives a warning in a state requiring attention after use.
  • the warning target detection unit 182 performs a post-use caution state detection process as an event detection process in step S104 of the warning process.
  • An example of the flow of the caution state detection process after use will be described with reference to the flowchart of FIG.
  • the warning target detection unit 182 determines whether or not the temperature of the tip of the energy device 122 is equal to or higher than the use temperature in step S151. If it is determined that the temperature is lower than the operating temperature, since the energy device 122 is in the state before use in FIG. 8, the processing from step S152 to step S154 is omitted, and the processing proceeds to step S155.
  • step S151 If it is determined in step S151 that the temperature at the tip of the energy device 122 is equal to or higher than the temperature during use, the process proceeds to step S152. In other words, the energy device 122 is in use as shown in FIG. In this state, no warning is given as described above.
  • step S152 the warning target detection unit 182 determines whether or not the temperature of the tip of the energy device 122 has become lower than the operating temperature. If it is determined that the temperature at the tip of the energy device 122 is equal to or higher than the temperature during use, the energy device 122 is still in use in FIG. 8, and thus the process of step S152 is repeated.
  • step S152 If it is determined in step S152 that the temperature at the tip of the energy device 122 has become lower than the operating temperature, the process proceeds to step S153. That is, the energy device 122 is in a state after the use-needed state shown in FIG.
  • step S153 the warning target detection unit 182 determines whether or not the temperature of the tip of the energy device 122 has become lower than the dangerous temperature. When it is determined that the temperature at the tip of the energy device 122 is higher than the dangerous temperature, the energy device 122 is in a state of caution after use in FIG. Therefore, in step S154, the warning target detection unit 182 detects that the energy device 122 is in a state requiring caution after use as a warning target.
  • the warning information is generated and the image, sound, and the like are output by the processing from step S106 to step S108 in FIG.
  • step S154 when the process of step S154 is completed, the process returns to step S152, and the subsequent processes are repeated. That is, the caution state after use is detected until the temperature at the tip of the energy device 122 becomes lower than the dangerous temperature.
  • step S153 If it is determined in step S153 that the temperature of the tip of the energy device 122 has become lower than the dangerous temperature, the energy device 122 is in the state after use shown in FIG. Then, the process proceeds to step S155.
  • step S155 the warning target detection unit 182 determines whether to end the post-use caution state detection process. If it is determined not to end, the process returns to step S151, and the subsequent processes are repeated. That is, the energy device 122 returns to the state before use in FIG. 8, and each process described above is repeated.
  • step S155 when it determines with complete
  • the monitoring device 113 uses the temporal change in temperature (temperature distribution) to change the surgical instrument after use to a predetermined temperature (lower than the operating temperature). It is possible to detect that the temperature is higher than (hazardous temperature) (cautionary state after use). Therefore, the monitoring device 113 can issue a warning only for the state requiring attention after use, without warning during use of the surgical instrument. Therefore, the monitoring device 113 can perform a warning more appropriately without interfering with the operator's work. From a simple temperature distribution (temperature distribution at a certain time), it is difficult to determine whether it is in use or a state of caution after use, and thus it is difficult to perform such control.
  • FIG. 10 shows an example of a display image displayed on the monitor 191 in this case.
  • a display image 230 illustrated in FIG. 10 illustrates an example of a display image including a warning image that is displayed only in a state requiring attention after use.
  • various warning images are superimposed on a captured image 231 including an image near the tip of the energy device 122.
  • the warning image indicates that there is a surgical tool in a state requiring attention after use (that is, there is a post-use surgical tool in a state of a predetermined temperature or higher).
  • a residual heat warning message image 232 that is an image for notifying the user may be displayed.
  • the residual heat warning message image 232 in FIG. 10 includes a message “There is a high temperature device” and a number “(2)”.
  • the message “With high-temperature device” is a message notifying that there is a surgical instrument in a state requiring attention after use. Thereby, the surgeon who has seen the display image 230 can more easily grasp that there is a surgical instrument in a state requiring attention after use.
  • the number “(2)” indicates the number of surgical tools that are in a state of caution after use. Therefore, the surgeon who sees the display image 230 can more easily grasp how many surgical tools are in a state of caution after use.
  • the notification information generation unit 183 may generate such a residual heat warning message image 232 as a warning image.
  • the display position of this residual heat warning message image 232 is arbitrary, and may not be the upper left of the display image as in the example of FIG.
  • the notification information generation unit 183 may set the display position of the residual heat warning message image 232 based on the pattern of the captured image 231.
  • the surgical instrument (energy device 122) is shown as a warning image.
  • the remaining heat warning image 233 may be displayed.
  • the residual heat warning image 233 includes, for example, a temperature image near the tip of the surgical instrument (energy device 122). That is, the temperature image near the distal end of the surgical instrument in the state requiring caution after use is displayed superimposed on the same portion of the captured image 231 (near the distal end of the surgical instrument in the state requiring caution after use).
  • the surgeon or the like who has viewed the display image 230 intuitively knows which surgical instrument is at what temperature (at least the surgical instrument in a state requiring caution after use is a temperature to which attention should be paid). I can grasp it.
  • the notification information generation unit 183 can easily obtain the vicinity of the tip of the energy device 122 from the temperature difference from the surroundings in the temperature image.
  • the notification information generation unit 183 can easily obtain the vicinity of the tip of the energy device 122 from the characteristic (picture) of the image in the captured image 231.
  • the notification information generation part 183 can obtain
  • the residual heat warning image 233 a predetermined image for highlighting the surgical instrument may be superimposed instead of the temperature image. If the sensing area of the thermosensor 125A does not match the imaging area of the image sensor 171, the position of the surgical tool in the sensing area cannot be applied to the captured image 231 as it is. In such a case, the notification information generation unit 183 specifies the position of the surgical tool in the captured image 221 based on both the captured image 231 and the temperature image. That is, the display position of the residual heat warning image 233 in the display image 230 is set.
  • an image indicating the direction of the surgical instrument may be displayed as a warning image.
  • the direction of the surgical instrument may be indicated by an arrow.
  • the notification information generation unit 183 may specify the direction near the distal end of the surgical instrument that is in a state requiring attention after use based on both the captured image 221 and the temperature image.
  • the notification information generation unit 183 provides, as a warning image, the above-described image for notifying that there is a used surgical tool in a state of a predetermined temperature or higher, an image for notifying the number of surgical tools, and the surgical tool.
  • a warning image the above-described image for notifying that there is a used surgical tool in a state of a predetermined temperature or higher
  • an image for notifying the number of surgical tools and the surgical tool.
  • One or more of an image indicating the surgical tool when positioned within the captured image range and an image indicating the direction of the surgical tool when the surgical tool is positioned outside the captured image range may be generated.
  • the notification information generation unit 183 may include other information in the warning image.
  • the monitoring device 113 can notify the detected event using the temporal change in temperature (temperature distribution). That is, the monitoring apparatus 113 can perform notifications about more various events.
  • the operating state of the surgical instrument such as the energy device 122 may be detected from the on / off state of the switch of the energy device 122 or the like. By doing in this way, the operation state of the energy device 122 can be detected more accurately, and the monitoring device 113 can detect the state requiring attention after use more accurately.
  • a device such as an LED may be provided in the handle of the energy device 122 and light may be emitted so that the warning about the remaining heat as described above may be performed. Further, such a warning may be used in combination with the warning by the display image 230 described above. By doing in this way, a warning can be more reliably given to an operator or the like.
  • the monitoring device 113 can also issue a warning for events other than those described above in the same manner as the warning processing described above.
  • the warning target detection unit 182 of the monitoring device 113 detects the result of hemostasis (success or failure) as an event based on a temporal change in the temperature image such as a decrease in the temperature of the bleeding region or an increase in the temperature of the blood vessel portion. It may be. Then, the notification information generation unit 183 generates, as a warning image, an image that notifies the hemostasis result or an image that notifies the number of locations where hemostasis has been performed, and the output control unit 184 captures the warning image as a captured image. And may be displayed on the monitor 191 in a superimposed manner.
  • the notification information generation unit 183 when hemostasis is performed within the range of the captured image, the notification information generation unit 183 generates an image indicating the location where the hemostasis has been performed as a warning image, and the output control unit 184 captures the warning image. You may make it display on the monitor 191 superimposed on an image. Further, when the hemostasis is performed outside the range of the captured image, the notification information generation unit 183 generates an image indicating the direction in which the hemostasis is performed as a warning image, and the output control unit 184 captures the warning image. You may make it display on the monitor 191 superimposed on an image.
  • the notification information generation unit 183 uses the above-described image for notifying the hemostasis result, the image for notifying the number of places where the hemostasis has been performed, and the hemostasis when the hemostasis is performed within the range of the captured image as the warning image.
  • One or more of an image showing a place where the hemostasis is performed and an image showing the direction in which the hemostasis is performed when the hemostasis is performed outside the range of the captured image may be generated. Further, the notification information generation unit 183 may include other information in the warning image.
  • the warning target detection unit 182 of the monitoring device 113 may perform the above-described contact with a surgical tool (such as the energy device 122) when not in use, based on a time change such as a temperature rise of a living body due to inflammation or the like in a temperature image.
  • a damaged part of a living body may be detected as an event.
  • the notification information generation unit 183 generates, as a warning image, an image that notifies the occurrence of the damaged portion or an image that notifies the number of damaged portions, and the output control unit 184 superimposes the warning image on the captured image. Then, it may be displayed on the monitor 191.
  • the notification information generation unit 183 when the damaged part is located within the range of the captured image, the notification information generation unit 183 generates an image indicating the damaged part as a warning image, and the output control unit 184 superimposes the warning image on the captured image. May be displayed on the monitor 191. Further, when the damaged part is located outside the range of the captured image, the notification information generation unit 183 generates an image indicating the direction of the damaged part as a warning image, and the output control unit 184 displays the warning image as the captured image. And may be displayed on the monitor 191 in a superimposed manner.
  • the notification information generation unit 183 uses the above-described image for notifying the occurrence of the damaged portion, the image for notifying the number of the damaged portions, and the damaged portion when the damaged portion is located within the range of the captured image as the warning image. If the image to be shown and the damaged part are located outside the range of the captured image, one or more of the images showing the direction of the damaged part may be generated. Further, the notification information generation unit 183 may include other information in the warning image.
  • the warning target detection unit 182 of the monitoring device 113 uses the surgical tool based on the temporal change such as a temperature rise around the contact portion of the surgical tool (such as the energy device 122) in the temperature image. Alternatively, it may be detected as an event that the periphery of the surgical site is in a state of a predetermined temperature or higher. Then, the notification information generation unit 183 displays, as a warning image, an image that notifies that a location that is in a state of the predetermined temperature or higher has occurred, or an image that notifies the number of locations that are in a state of the predetermined temperature or higher. Then, the output control unit 184 may display the warning image on the monitor 191 in a superimposed manner with the captured image.
  • the temporal change such as a temperature rise around the contact portion of the surgical tool (such as the energy device 122) in the temperature image.
  • the notification information generation unit 183 displays, as a warning image, an image that notifies that a location that is in a state of the predetermined temperature or higher
  • the notification information generation unit 183 uses the image indicating the occurrence position of the location where the temperature is higher than the predetermined temperature as a warning image. Then, the output control unit 184 may display the warning image on the monitor 191 in a superimposed manner with the captured image. Further, when a location that is in a state of a predetermined temperature or higher is located outside the range of the captured image, the notification information generation unit 183 uses an image that indicates the direction of occurrence of the location in a state of the predetermined temperature or higher as a warning image. Then, the output control unit 184 may display the warning image on the monitor 191 in a superimposed manner with the captured image.
  • FIG. 11 shows an example of the display image.
  • various warning images are superimposed on a captured image 241 including an image near the tip of the energy device 122.
  • a biological temperature abnormality warning message image 242 that is an image for notifying a biological temperature abnormality may be displayed as a warning image.
  • the biological temperature abnormality warning message image 242 in FIG. 11 includes a message “with heat diffusion”.
  • the message “with heat diffusion” is a message notifying that a temperature abnormality of the living body has occurred. Thereby, an operator who has viewed the display image 240 can more easily grasp that a temperature abnormality of the living body has occurred.
  • the biological temperature abnormality warning message image 242 may include a number indicating the number of biological temperature abnormalities. By doing in this way, the surgeon who looked at the display image 240 can grasp
  • the notification information generation unit 183 may generate such a biological temperature abnormality warning message image 242 as a warning image.
  • the display position of the biological temperature abnormality warning message image 242 is arbitrary, and may not be the upper left of the display image as in the example of FIG.
  • the notification information generation unit 183 may set the display position of the biological temperature abnormality warning message image 242 based on the pattern of the captured image 241.
  • a biological temperature abnormality warning image 243 is displayed as an image indicating a location where the temperature abnormality has occurred as a warning image. It may be displayed. For example, a dangerous region approaching 42 ° C. of a living body may be highlighted with a color or a pattern as shown in the biological temperature abnormality warning image 243. Thereby, the surgeon who saw the display image 240 can intuitively know where the temperature abnormality occurred.
  • the notification information generation unit 183 provides, as a warning image, an image for notifying that the above-described location at a predetermined temperature or higher has occurred, an image for notifying the number of locations at a predetermined temperature or higher, a predetermined image When a location at a temperature or higher is located within the range of the captured image, an image showing the occurrence position of a location at or above the predetermined temperature, and a location at or above the predetermined temperature is the range of the captured image When located outside, one or more of the images indicating the direction of occurrence of a location at a temperature equal to or higher than the predetermined temperature may be generated. Further, the notification information generation unit 183 may include other information in the warning image.
  • the monitoring device 113 can detect more various events based on the time change of temperature (temperature distribution), and can further notify the various events.
  • the monitoring device 113 may detect an event using information other than the temperature image.
  • the depth may be detected using a stereo image obtained by using a stereo image sensor, and a state in which the surgical instrument and the living body are likely to contact may be detected as an event.
  • FIG. 12 is a block diagram illustrating a main configuration example of the monitoring device 113 and the like in this case.
  • the endoscopic surgery support system 100 basically has the same configuration as that of FIG.
  • the endoscopic surgery support system 100 includes a stereo image sensor 125B as the monitoring sensor 125 in addition to the thermosensor 125A.
  • the monitoring device 113 includes a warning target detection unit 251 instead of the warning target detection unit 182.
  • the stereo image sensor 125B includes a plurality of image sensors, and generates a stereo image that is a plurality of captured images having parallax with each other by capturing an image of a subject.
  • the stereo image sensor 125B uses a region substantially similar to the sensing region of the thermosensor 125A as a sensing region.
  • the stereo image sensor 125B is installed in a state where it is inserted into the living body of the patient 151 as shown in FIG. 1, and senses the sensing region 163 (surgical site and the vicinity of the surgical site) in FIG. 2 as with the thermosensor 125A. .
  • the stereo image sensor 125B supplies the generated stereo image to the warning target detection unit 251.
  • the warning target detection unit 251 acquires a temperature image from the temperature image generation unit 181.
  • the warning target detection unit 251 detects an event in the living body that is a warning target, using the temperature image (temporal change in temperature (temperature distribution)) and the stereo image acquired from the stereo image sensor 125B.
  • the warning target detection unit 251 can also obtain a captured image of the image sensor 171 via the CCU 111, and the captured image can also be used for detection of an event in a living body that is a warning target.
  • the warning target detection unit 251 notifies the detected information to the notification information generation unit 183 as in the case of the warning target detection unit 182.
  • step S171 and step S172 are performed similarly to each process of step S101 and step S102 of FIG.
  • step S173 the stereo image sensor 125B performs sensing and generates a stereo image.
  • the stereo image sensor 125B supplies the sensing result (stereo image) to the warning target detection unit 251.
  • step S174 the temperature image generation unit 181 generates a temperature image of the sensing region based on the sensing result of the thermosensor 125A obtained by the process of step S172, as in the case of step S103 of FIG.
  • step S175 the warning target detection unit 251 detects an event to be a warning target using the temperature image obtained by the process of step S174 and the stereo image obtained by the process of step S173.
  • step S176 to step S181 is executed in the same manner as each process from step S105 to step S110 in FIG.
  • steps S171 to S181 are executed in parallel. That is, processing such as generation of a temperature image, detection of a warning target, generation of notification information, output of notification information, and the like is performed while imaging by the image sensor 171 and sensing by the thermosensor 125A and the stereo image sensor 125B.
  • the warning target detection unit 251 obtains a temperature image as a moving image. Therefore, the warning target detection unit 251 detects a temporal change pattern of the temperature corresponding to the event in the living body that is the warning target in the moving image.
  • or step S204 is performed similarly to each process of step S151 thru
  • the warning target detection unit 251 obtains the spatial position of the surgical instrument (energy device 122) or living body (organ) using the stereo image in step S205. For example, the warning target detection unit 251 obtains the depth positions of the tool (energy device 122) and the living body (organ) from the stereo image.
  • step S206 the warning target detection unit 251 determines whether or not the surgical instrument (energy device 122) is close to the living body (organ) based on the obtained spatial position.
  • the warning target detection unit 251 makes the surgical instrument (energy device 122) contact the living body (organ) in step S207. It is detected as a warning target that it is in a state requiring attention, which is a likely state.
  • steps S177 to S179 in FIG. 13 generates warning information not only for the state requiring attention after use but also for the state requiring attention after contact, and the image and Audio etc. are output.
  • step S207 when the process of step S207 is completed, the process returns to step S202, and the subsequent processes are repeated.
  • step S206 If it is determined in step S206 that the surgical instrument (energy device 122) is not close to the living body (organ), the process in step S207 is omitted, the process returns to step S202, and the subsequent processes are performed. Repeated. In other words, in this case, it is not a contact-sensitive state.
  • the warning information is generated and the image, the sound, and the like are output only for the caution state after use by the processing in steps S177 to S179 in FIG.
  • step S208 is executed in the same manner as the process of step S155 of FIG.
  • the monitoring device 113 can issue a warning about the state of residual heat after using the surgical instrument by using the time change of the temperature (temperature distribution). Furthermore, the monitoring device 113 can warn about the possibility of contact between the surgical instrument and the living body based on the stereo image.
  • a warning about contact between the surgical instrument and the living body is given only in the case of a cautionary state after use that may damage the living body when the surgical instrument and the living body come into contact with each other. It can be carried out. In other words, it is possible to suppress the visibility and concentration of an operator or the like from being disturbed by suppressing notification of unnecessary warnings and performing warnings only when more appropriate.
  • the monitoring device 113 may perform a process other than a warning on an in-vivo event detected from a temperature image or the like.
  • the detected event in the living body may be evaluated to diagnose the living body.
  • a change in the state of the living body may be detected as an event in the living body, and a diagnostic image for notifying a diagnosis result based on the state change may be generated.
  • the monitoring device 113 performs a stimulus (that is, heating) that causes a temperature change on the living body, and detects an event in the living body as a diagnosis result based on a temporal change in temperature (temperature distribution) thereafter. Then, diagnosis information regarding the event (diagnosis result) may be output. That is, the living body may be heated by the heating unit, and a change in the state of the living body after the heating may be detected.
  • a stimulus that is, heating
  • diagnosis information regarding the event diagnosis result
  • diagnosis information regarding the event diagnosis result
  • the living body may be heated by the heating unit, and a change in the state of the living body after the heating may be detected.
  • FIG. 15 is a block diagram illustrating a main configuration example of the monitoring device 113 and the like in this case.
  • the endoscopic surgery support system 100 basically has the same configuration as that of FIG. However, in the case of FIG. 15, the endoscopic surgery support system 100 further includes a heater 261.
  • the monitoring device 113 includes a heating control unit 271 and includes a diagnosis unit 272 instead of the warning target detection unit 182 of FIG.
  • the heater 261 is a heating unit that generates heat at a predetermined temperature.
  • the heater 261 is operated by an operator or the like to apply (heat) the generated heat to the living body.
  • the thermosensor 125 ⁇ / b> A senses a progress (temperature change over time) after the heating of a sensing region including a portion of the living body heated by the heater 261.
  • the heating control unit 271 controls the temperature of heat generated by the heater 261. In addition, the heating control unit 271 supplies information regarding the heating to the diagnosis unit 272.
  • the diagnosis unit 272 diagnoses a living body or the like based on the temperature image supplied from the temperature image generation unit 181. In addition, the diagnosis unit 272 confirms the heating status and the like based on information from the heating control unit 271. The diagnosis unit 272 supplies the diagnosis result to the notification information generation unit 183.
  • ⁇ Identification of sub-area> Using such an endoscopic surgery support system 100, for example, a sub-section of the liver can be detected and the area can be displayed.
  • the liver is divided into a “left lobe” and a “right lobe” based on the portal blood flow, and the left lobe is further divided into an “outer area” and an “inner area”. Is divided into “front area” and “rear area”. These four areas are further divided into two areas, and eight “sub-areas” are defined. Such functional divisions are used for excision surgery and the like. For example, “sub-region” is used as one of the units of ablation.
  • each subsection is specified.
  • a portal branch or a hepatic artery branch
  • the heat is transferred to blood in the portal branch, and a specific sub-zone along the portal branch is Temperature rises over other sub-areas. That is, the sub-region is specified by the expansion of the region where such a temperature rise has occurred.
  • the “8” sub-area formed along the portal vein is more than the other sub-areas. Temperature rises. However, since the other sub-regions are formed along other portal branches, this temperature rise is difficult to spread to other sub-regions. Therefore, in the temperature image, a change in the temperature increase region is observed, and when the expansion of the temperature increase region becomes dull, the region in which the temperature has increased is specified as a sub-region of “8”. By changing the heated portal branch, the range of other sub-regions can be specified as well. That is, each sub-region can be identified.
  • ⁇ Diagnosis process flow> the endoscopic surgery support system 100 executes a diagnosis process instead of the warning process.
  • An example of the flow of this diagnostic process will be described with reference to the flowchart of FIG.
  • the image sensor 171 images the imaging region 162 in step S221.
  • the heating control unit 271 controls the heater 261 to heat a predetermined part of the living body at a temperature that is harmless to the living body.
  • the thermosensor 125A performs sensing in the sensing area.
  • step S224 the temperature image generation unit 181 generates a temperature image using the sensing result of the thermosensor 125A.
  • the diagnosis unit 272 diagnoses the temporal change in temperature using the temperature image.
  • the notification information generation unit 183 generates diagnosis information indicating the diagnosis result as notification information.
  • the diagnostic information includes, for example, a diagnostic image that is an image indicating a diagnostic result, a diagnostic voice that indicates the diagnostic result by voice, and the like.
  • step S227 the output control unit 184 causes the diagnostic image generated in step S226 to be superimposed on the captured image of the living body (surgical unit) generated in step S221 and displayed on the monitor 191.
  • step S229 the output control unit 184 determines whether or not to end the diagnostic process. If it is determined not to end the diagnosis process, the process returns to step S221, and the subsequent processes are repeated. That is, while the diagnosis process is being executed, each process of step S221 to step S229 is executed. If it is determined in step S229 that the diagnostic process is to be terminated, the diagnostic process is terminated.
  • steps S221 to S229 are executed in parallel. That is, processing such as temperature image generation, temperature change diagnosis, notification information generation, and notification information output is performed while performing heating using the heater 261, imaging by the image sensor 171 and sensing by the thermosensor 125A.
  • the diagnosis unit 272 detects a temporal change pattern of the temperature corresponding to the event to be diagnosed in the moving image.
  • ⁇ Display image> For example, in the case of the above-described sub-region, the diagnosis unit 272 observes the expansion of the temperature increase region in the temperature image, and when the expansion becomes dull, the temperature increase region is changed to the heated portal vein branch. Identify as corresponding sub-region. By changing the heating position, each sub-area can be identified in the same way.
  • the notification information generation part 183 produces
  • FIG. 19 is a diagram showing an example of a display image for displaying the diagnostic image.
  • a display image 290 illustrated in FIG. 19 illustrates an example of a display image including a diagnostic image when the above-described diagnostic processing is performed to diagnose the expansion of the temperature increase region.
  • a sub-region identification image 292-1 to a sub-region identification image 292- showing the position of each sub-region on the captured image 291 of the living body (surgical site) including the liver. 8 is superimposed.
  • the sub-region identification image 292-1 to the sub-region identification image 292-8 are referred to as sub-region identification images 292 when it is not necessary to distinguish them from each other.
  • the monitoring device 113 can make the operator more easily perform subsection excision and the like.
  • the present technology may be used for detecting a lung lesion.
  • a method has been used in which a lesion is marked with barium, a needle or the like before surgery, and the excised part is grasped by X-ray.
  • this method is not non-invasive and has a heavy load on the patient (living body).
  • this marking is performed with the heater 261 or a similar heat-generating object (for example, an object having a mechanism such as a portable body warmer).
  • a similar heat-generating object for example, an object having a mechanism such as a portable body warmer.
  • the present technology may be used for blood vessel detection.
  • cold physiological saline / glucose may be administered, and the temperature change event of the blood vessel may be detected from the temperature image.
  • cold physiological saline or the like may be administered to the lymphatic vessel, and a temperature change event of the lymphatic vessel may be detected.
  • the living body may be heated by a heater 261 or the like, and an event of a difference in cooling due to a difference in the thermal conductivity may be detected from the temperature image.
  • the heating described above includes both heating at a temperature higher than the body temperature of the living body and heating at a temperature lower than the body temperature (whichever may be used).
  • the state of temperature change includes both a state of temperature rise and a state of temperature decrease (whichever is acceptable).
  • the diagnosis may be performed by selecting from a plurality of diagnosis candidates.
  • the diagnosis unit 272 performs detection of a sub-region of the liver, detection of a lesion, detection of blood vessels, detection of lymphatic vessels, identification of bones and nerves, or detection of cancer cells, and a notification information generation unit detects a diagnosis image
  • an image may be generated that is displayed in a superimposed manner on a captured image of a living body and that is identifiable from sub-regions, lesions, blood vessels, lymphatic vessels, bones, nerves, or cancer cells detected by the detection unit. Good.
  • the monitoring device 113 may perform not only notification of information such as a warning but also device control such as a surgical instrument based on an in vivo event detected from a temperature image or the like.
  • the temperature of the gas supplied into the living body or the brightness of the illumination light irradiated into the living body may be controlled based on the temperature image measured in the living body.
  • FIG. 20 is a block diagram illustrating a main configuration example of the monitoring device 113 and the like in this case. Also in this case, the endoscopic surgery support system 100 basically has the same configuration as that of FIG. However, in the case of FIG. 20, the monitoring device 113 includes a control unit 312, and further includes a warning control target detection unit 311 instead of the warning target detection unit 182 of FIG. 3.
  • the warning control target detection unit 311 detects a warning and an event subject to device control based on the temperature image supplied from the temperature image generation unit 181. When an event subject to device control is detected, the warning control target detection unit 311 notifies the control unit 312 to that effect. Further, when an event to be warned is detected, the warning control target detection unit 311 supplies the notification information generation unit 183 to that effect.
  • control unit 312 When the control unit 312 is notified by the warning control target detection unit 311 that an event subject to device control has been detected, the control unit 312 performs an operation on the surgical tool and the like via the surgical tool control device 115 and the pneumoperitoneum device 116. Control according to the event.
  • step S244 the warning control target detection unit 311 detects the warning control target using the temperature image generated in step S243.
  • step S245 the warning control target detection unit 311 determines whether a warning control target is detected.
  • step S246 the control unit 312 controls the device according to the detected event.
  • step S247 the notification information generation unit 183 generates abnormality occurrence notification information for notifying that an abnormality has occurred as notification information.
  • the output control unit 184 causes the monitor 191 to display an abnormality occurrence notification image, which is an image of the abnormality occurrence notification information, superimposed on the captured image acquired via the CCU 111.
  • step S249 the output control unit 184 supplies the speaker 192 with an abnormality occurrence notification sound that is the sound of the abnormality occurrence notification information, and causes the speaker 192 to output it.
  • step S245 If it is determined in step S245 that no warning control target has been detected, the output control unit 184 causes the monitor 191 to display the captured image acquired via the CCU 111 in step S250.
  • step S251 the output control unit 184 determines whether or not to end the warning control process. If it is determined not to end the warning control process, the process returns to step S241, and the subsequent processes are repeated. That is, while the warning process is being executed, each process from step S241 to step S251 is executed. If it is determined in step S251 that the warning process is to be terminated, the warning process is terminated.
  • steps S241 to S251 are executed in parallel. That is, processing such as generation of a temperature image, detection of a warning target, generation of notification information, device control, and output of notification information is performed while imaging by the image sensor 171 and sensing by the thermosensor 125A.
  • the warning control target detection unit 311 obtains a temperature image as a moving image. Therefore, the warning control target detection unit 311 detects a temporal change pattern of the temperature corresponding to the event that is the warning control target in the moving image.
  • FIG. 22 shows an example of a display image in this case displayed on the monitor 191.
  • a display image 320 illustrated in FIG. 22 illustrates an example of a display image including the above-described abnormality occurrence notification image. As shown in FIG. 22, in this display image 320, an abnormality occurrence notification image is superimposed on the captured image 321.
  • a warning message image 222 that is an image for notifying the occurrence of a biological abnormality may be displayed as the abnormality occurrence notification image.
  • the warning object indicating the position where the abnormality has occurred is displayed as the abnormality occurrence notification image.
  • the position presentation image 323 may be displayed.
  • the warning control target detection unit 311 may detect a temperature generated in the living body or higher.
  • a temperature region that is harmful to an organ may be detected using a temperature image.
  • step S271 the warning control target detection unit 311 determines whether or not a location higher than the dangerous temperature exists. When it is determined that there is a location higher than the dangerous temperature, the warning control target detection unit 311 determines whether or not the temperature increase is due to heating in step S272. When it determines with it being based on a heating, the warning control object detection part 311 determines whether it is outside a heating area
  • step S275 the warning control target detection unit 311 determines whether or not to terminate the temperature abnormality detection process. If it is determined not to end, the processing returns to step S271 and the subsequent processing is repeated. If it is determined in step S275 that the temperature abnormality detection process is to be terminated, the temperature abnormality detection process is terminated.
  • control unit 312 controls the insufflation apparatus 116 to lower the temperature of the insufflation gas in step S291.
  • the control unit 312 reduces the temperature in the living body by weakening the illumination based on the surgical instrument control device 115.
  • the monitoring device 113 can detect more various events based on the time change of the temperature (temperature distribution), and can control the device and notify the various events. can do.
  • temperature control may be performed by controlling illumination that reduces brightness, or intensified illumination instead. Further, the temperature control of the energy device (detection of a temperature rise event in the surrounding area) may be performed in the same manner.
  • the monitoring device 113 can notify various events such as warning, diagnosis, control, and the like according to the event detected using the time change of temperature (temperature distribution).
  • an endoscopic surgery support system has been described as an example of a medical support system to which the present technology is applied.
  • the present technology is not limited to an endoscopic surgery support system, and is optional.
  • the present invention can be applied to a microscopic surgery support system that supports microscopic surgery that is a laparotomy performed using a microscope.
  • a microscope is used instead of an endoscope.
  • This microscope also has an image sensor, and irradiates the operation part and the periphery of the operation part with light supplied from the light source device 112, similarly to the endoscope. Then, the surgical part and the periphery of the surgical part are imaged under the control of the CCU 111.
  • the series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 25 is a block diagram illustrating an example of a hardware configuration of a computer that executes the above-described series of processes using a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 914 includes a network interface, for example.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program, for example. Is performed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable medium 921 to the drive 915.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
  • each step described above can be executed in each device described above or any device other than each device described above.
  • the device that executes the process may have the functions (functional blocks and the like) necessary for executing the process described above.
  • Information necessary for processing may be transmitted to the apparatus as appropriate.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • the present technology is not limited to this, and any configuration mounted on such a device or a device constituting the system, for example, a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • a processor as a system LSI (Large Scale Integration)
  • a module using a plurality of processors a plurality of It is also possible to implement as a unit using other modules, a set obtained by further adding other functions to the unit (that is, a partial configuration of the apparatus), and the like.
  • the present technology can be applied to a medical support device, an endoscope device, a microscope device, a computer that controls these devices, a medical support system including a plurality of devices, or a software module thereof.
  • this technique can also take the following structures.
  • a detection unit that detects an event in the living body based on a temporal change in temperature of the surgical site or the vicinity of the surgical site;
  • a medical support apparatus comprising: a notification information generation unit that generates notification information for performing notification according to the in-vivo event detected by the detection unit.
  • the medical support device according to (1) wherein the detection unit detects an event in the living body based on a temporal change of a temperature distribution image around the surgical part or the surgical part.
  • the detection unit detects a state to be warned as an event in the living body based on a time change of the temperature distribution image,
  • the medical support device according to (2), wherein the notification information generation unit generates a warning image for performing a warning regarding the state.
  • the medical support device wherein the notification information generation unit generates the warning image to be displayed by being superimposed on the image of the operation part or the periphery of the operation part.
  • the detection unit detects the occurrence of bleeding based on the time change of the temperature distribution image,
  • the notification information generation unit includes, as the warning image, an image that notifies the occurrence of bleeding, an image that notifies the number of occurrences of bleeding, and the occurrence location when the occurrence location of bleeding is located within the captured image range. When the bleeding occurrence location is located outside the captured image range, one or more of the images indicating the direction of the occurrence location are generated.
  • the medical support device according to (4).
  • the detection unit detects that the surgical instrument after use is in a state of a predetermined temperature or more based on a time change of the temperature distribution image
  • the notification information generation unit as the warning image, an image for notifying that there is a surgical instrument in a state of the predetermined temperature or higher, an image for notifying the number of surgical instruments, and the surgical instrument being in the captured image range If the position is within, an image indicating the surgical tool, and if the surgical tool is positioned outside the captured image range, generate one or more of the images indicating the direction of the surgical tool (4) or The medical support device according to (5).
  • the detection unit detects a hemostasis result based on a temporal change of the temperature distribution image
  • the notification information generation unit as the warning image, an image that notifies the hemostasis result, an image that notifies the number of locations where the hemostasis has been performed, and the hemostasis when the hemostasis is performed within the captured image range
  • the hemostasis is performed outside the captured image range, at least one of an image indicating the direction in which the hemostasis is performed is generated.
  • the medical support device according to any one of the above.
  • the detection unit Based on the time change of the temperature distribution image, the detection unit detects a damage site around the surgical site or the surgical site due to contact with a surgical tool when not in use,
  • the notification information generation unit as the warning image, an image for notifying the occurrence of the damaged portion, an image for notifying the number of damaged portions, and when the damaged portion is located within the captured image range, When the image to show and the damaged part are located outside the captured image range, one or more of the images showing the direction of the damaged part are generated.
  • Support device Support device.
  • the detection unit detects a location where the surgical site or the surgical site surroundings due to use of a surgical tool is in a state of a predetermined temperature or more based on a time change of the temperature distribution image
  • the notification information generation unit as the warning image, an image for notifying that a location in a state of the predetermined temperature or higher has occurred, an image for notifying the number of locations in the state of the predetermined temperature or higher, the predetermined image
  • a location that is at or above the temperature is located within the captured image range, an image that indicates the location where the location is at or above the predetermined temperature, and a location that is at or above the predetermined temperature is The medical support device according to any one of (4) to (8), wherein when the image is located outside the captured image range, one or more of images indicating a generation direction of a portion at a temperature equal to or higher than the predetermined temperature are generated.
  • the detection unit detects a change in state of the living body as an event in the living body based on a time change of the temperature distribution image, The medical support device according to any one of (2) to (9), wherein the notification information generation unit generates a diagnostic image that notifies a diagnostic result based on the state change.
  • a heating unit for heating the living body is further provided, The medical support device according to (10), wherein the detection unit detects a state change of the living body after being heated by the heating unit.
  • the detection unit performs detection of a subsection of the liver, detection of a lesion, detection of a blood vessel, detection of a lymphatic vessel, identification of bones and nerves, or detection of cancer cells
  • the notification information generation unit is displayed as the diagnostic image superimposed on a captured image of the surgical site, and is detected by the detection unit, the sub-region, the lesion, the blood vessel, the lymph vessel, the bone
  • the medical support device according to (11), wherein an image indicating that the nerve or the cancer cell is distinguishable is generated.
  • the detection unit further detects an event in the living body based on a sensing result other than the temporal change of the temperature around the surgical site or the surgical site.
  • the detection unit detects an event in the living body based on a temporal change in temperature of the surgical part or the vicinity of the surgical part and a stereo image of the surgical part or the vicinity of the surgical part.
  • Medical support device It further comprises a temperature sensor for detecting the temperature of the surgical site or the periphery of the surgical site, The detection unit detects an event in the living body based on a temporal change in temperature of the surgical part or the vicinity of the surgical part detected by the temperature sensor.
  • Medical support device Medical support device.
  • the medical support device according to any one of (1) to (15), further including a display unit that displays an image of the notification information generated by the notification information generation unit.
  • the medical support apparatus according to any one of (1) to (16), further including a control unit that controls a surgical instrument in accordance with an event in the living body detected by the detection unit.
  • the control unit controls the temperature of the gas supplied into the living body or the brightness of the illumination light irradiated into the living body (1) to (17).
  • Medical support device (19) The medical support device Detecting events in the living body based on temporal changes in temperature around the surgical site or the surgical site, A medical support method for generating notification information for performing notification according to the detected event in the living body.
  • a medical support system having a temperature sensor, a medical support device, and a display device
  • the temperature sensor is configured to measure a temperature at or around a surgical site
  • the medical support device includes: A detection unit for detecting an event in a living body based on a temporal change in temperature around the surgical site or the surgical site measured by the temperature sensor; A notification information generation unit that generates notification information for performing notification according to the event in the living body detected by the detection unit;
  • the display device is configured to display an image of the notification information generated by the notification information generation unit.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Signal Processing (AREA)
  • Gynecology & Obstetrics (AREA)
  • Otolaryngology (AREA)
  • Plasma & Fusion (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本技術は、より多様なイベントについての通知を行うことができるようにする医療支援装置および方法、並びに、医療支援システムに関する。 本技術は、術部若しくはその術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、検出された生体内でのイベントに応じた通知を行う通知情報を生成する。本技術は、例えば、医療支援装置、内視鏡装置、顕微鏡装置、それらの装置を制御するコンピュータ、または、複数の装置からなる医療支援システム等に適用することができる。

Description

医療支援装置および方法、並びに、医療支援システム
　本技術は、医療支援装置および方法、並びに、医療支援システムに関し、特に、より多様なイベントについての通知を行うことができるようにした医療支援装置および方法、並びに、医療支援システムに関する。
　従来、手術等の医療行為の際に、医療の対象となる生体内の温度分布を測定し、その温度分布画像を生成して利用することが考えられた（例えば特許文献１参照）。
特開２００１－２８６４３６号公報
　しかしながら、特許文献１に記載の方法では、温度分布画像が得られるのみであった。したがって、術者等の利用者は、表示された温度分布画像を解析する等して情報を得なければならず、そのためには煩雑な作業が必要になり、医療の作業効率が低減してしまうおそれがあった。また、温度分布画像から正しく情報を得るための知識や技術が必要になるおそれがあった。
　さらに、手術等の医療の際には多様な事象が発生する可能性があるため、特許文献１に記載のように温度分布画像を表示するのみでは、術者等がそれらの事象を十分に容易かつ正確に把握することが困難であるおそれがあった。つまり、医療を十分に支援することができないおそれがあった。
　本技術は、このような状況に鑑みて提案されたものであり、より多様なイベントについての通知を行うことができるようにするものである。
　本技術の医療支援装置は、術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部とを備える医療支援装置である。
　前記検出部は、前記術部若しくは前記術部周辺の温度分布画像の時間変化に基づいて前記生体内でのイベントを検出することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、警告すべき状態を検出し、前記通知情報生成部は、前記状態に関する警告を行う警告画像を生成することができる。
　前記通知情報生成部は、前記術部若しくは前記術部周辺の撮像画像に重畳されて表示する前記警告画像を生成することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、出血の発生を検出し、前記通知情報生成部は、前記警告画像として、前記出血の発生を通知する画像、前記出血の発生数を通知する画像、前記出血の発生箇所が前記撮像画像範囲内に位置する場合、前記発生箇所を示す画像、および、前記出血の発生箇所が前記撮像画像範囲外に位置する場合、前記発生箇所の方向を示す画像の内の１つ以上を生成することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、使用後の術具が、所定の温度以上の状態にあることを検出し、前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある術具が存在することを通知する画像、前記術具の数を通知する画像、前記術具が前記撮像画像範囲内に位置する場合、前記術具を示す画像、および、前記術具が前記撮像画像範囲外に位置する場合、前記術具の方向を示す画像の内の１つ以上を生成することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、止血の結果を検出し、前記通知情報生成部は、前記警告画像として、前記止血結果を通知する画像、前記止血が行われた箇所の数を通知する画像、前記止血が前記撮像画像範囲内において行われた場合、前記止血が行われた箇所を示す画像、および、前記止血が前記撮像画像範囲外において行われた場合、前記止血が行われた方向を示す画像の内の１つ以上を生成することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、不使用時の術具の接触による前記術部若しくは前記術部周辺の損傷箇所を検出し、前記通知情報生成部は、前記警告画像として、前記損傷箇所の発生を通知する画像、前記損傷箇所の数を通知する画像、前記損傷箇所が前記撮像画像範囲内に位置する場合、前記損傷箇所を示す画像、および、前記損傷箇所が前記撮像画像範囲外に位置する場合、前記損傷箇所の方向を示す画像の内の１つ以上を生成することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、術具の使用による前記術部若しくは前記術部周辺が所定の温度以上の状態にある箇所を検出し、前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある箇所が発生したことを通知する画像、前記所定の温度以上の状態にある箇所の数を通知する画像、前記所定の温度以上の状態にある箇所が前記撮像画像範囲内に位置する場合、前記所定の温度以上の状態にある箇所の発生位置を示す画像、および、前記所定の温度以上の状態にある箇所が前記撮像画像範囲外に位置する場合、前記所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成することができる。
　前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、前記生体の状態変化を検出し、前記通知情報生成部は、前記状態変化に基づく診断結果を通知する診断画像を生成することができる。
　前記生体に加熱する加熱部をさらに備え、前記検出部は、前記加熱部による加熱後の前記生体の状態変化を検出することができる。
　前記検出部は、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、前記通知情報生成部は、前記診断画像として、前記術部の撮像画像に重畳されて表示される、前記検出部により検出された、前記亜区域、前記病変、前記血管、前記リンパ管、前記骨、前記神経、若しくは前記癌細胞を識別可能に示す画像を生成することができる。
　前記検出部は、さらに、前記術部若しくは前記術部周辺の前記温度の時間変化以外のセンシング結果に基づいて前記生体内でのイベントを検出することができる。
　前記検出部は、前記術部若しくは前記術部周辺の温度の時間変化と、前記術部若しくは前記術部周辺のステレオ画像とに基づいて、前記生体内でのイベントを検出することができる。
　前記術部若しくは前記術部周辺の温度を検出する温度センサをさらに備え、前記検出部は、前記温度センサにより検出される前記術部若しくは前記術部周辺の温度の時間変化に基づいて前記生体内でのイベントを検出することができる。
　前記通知情報生成部により生成される前記通知情報の画像を表示する表示部をさらに備えることができる。
　前記検出部により検出された前記生体内でのイベントに応じて術具を制御する制御部をさらに備えることができる。
　前記制御部は、前記生体内に送気される気体の温度、若しくは、前記生体内に照射される照明光の明るさを制御することができる。
　本技術の医療支援方法は、医療支援装置が、術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する医療支援方法である。
　本技術の医療支援システムは、温度センサと、医療支援装置と、表示装置とを有する医療支援システムであって、前記温度センサは、術部若しくは前記術部周辺の温度を測定するように構成され、前記医療支援装置は、前記温度センサにより測定された前記術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部とを備え、前記表示装置は、前記通知情報生成部により生成された前記通知情報の画像を表示するように構成される医療支援システムである。
　本技術の医療支援装置および方法においては、術部若しくはその術部周辺の温度の時間変化に基づいて生体内でのイベントが検出され、その検出された生体内でのイベントに応じた通知を行う通知情報が生成される。
　本技術の医療支援システムにおいては、温度センサにより、術部若しくはその術部周辺の温度が測定され、医療支援装置の検出部により、その温度センサにより測定された術部若しくはその術部周辺の温度の時間変化に基づいて生体内でのイベントが検出され、その検出された生体内でのイベントに応じた通知を行う通知情報が生成され、表示装置により、その通知情報の画像が表示される。
　本技術によれば、医療を支援することが出来る。また本技術によれば、より多様なイベントについての通知を行うことができる。
内視鏡手術支援システムの主な構成例を示す図である。 センシングの範囲について説明する図である。 監視装置等の主な構成例を示すブロック図である。 警告処理の流れの例を説明するフローチャートである。 温度分布の時間変化の例を説明する図である。 出血検出処理の流れの例を説明するフローチャートである。 表示画像の例を説明する図である。 温度分布の時間変化の例を説明する図である。 使用後要注意状態検出処理の流れの例を説明するフローチャートである。 表示画像の例を説明する図である。 表示画像の例を説明する図である。 監視装置等の主な構成例を示すブロック図である。 警告処理の流れの例を説明するフローチャートである。 使用後要注意状態検出処理の流れの例を説明するフローチャートである。 監視装置等の主な構成例を示すブロック図である。 肝臓の主な構成例を説明する図である。 亜区域検出方法の例を説明する図である。 診断処理の流れの例を説明するフローチャートである。 表示画像の例を説明する図である。 監視装置等の主な構成例を示すブロック図である。 警告制御処理の流れの例を説明するフローチャートである。 表示画像の例を説明する図である。 温度異常検出処理の流れの例を説明するフローチャートである。 制御処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態（内視鏡手術支援システム）
　２．第２の実施の形態（内視鏡手術支援システム）
　３．第３の実施の形態（内視鏡手術支援システム）
　４．第４の実施の形態（内視鏡手術支援システム）
　５．第５の実施の形態（内視鏡手術支援システム）
　６．第６の実施の形態（コンピュータ）
　＜１．第１の実施の形態＞
　　＜術部および術部周辺において発生する異常等の監視＞
　従来、内視鏡を用いて手術を行う内視鏡手術（例えば腹腔鏡手術等）や、顕微鏡を用いて手術を行う顕微鏡手術では、手術を行う術者は、術野（作業を行う場所である術部を含む視野）の撮像画像をモニタで確認しながら作業を行っていた。
　術者等は、作業に集中するため、術部や術部周辺における異常の発生や状態変化等を目視で全て把握することは困難であった。
　特許文献１に記載の温度分布画像のように、撮像画像以外を術者等に提供し、より多くの情報を与えることが考えられたが、温度分布画像から情報を得るには解析等の煩雑な作業が必要になるおそれがあるだけでなく、温度分布画像解析の為の知識や技術が必要になるおそれもあった。
　また、手術等においては多様な事象が発生する可能性があるが、温度分布のみから得られる情報は限られており、術者等がそれらの事象を十分に容易かつ正確に把握することが困難であるおそれがあった。つまり、温度分布画像を提示するのみでは、医療を十分に支援することができないおそれがあった。
　そこで、手術等の医療において、より多様なイベントについての通知を行うことができるようにする。
　　＜内視鏡手術支援システム＞
　図１は、本技術を適用した医療支援システムの一実施の形態である内視鏡手術支援システムの主な構成例を示す図である。
　図１において、内視鏡手術支援システム１００は、内視鏡手術（例えば腹腔鏡手術等）において術者等により用いられる、手術を支援するシステムである。内視鏡手術は、手術を行う患者の人体（例えば腹部等）に小さな穴を数箇所あけて、そこから内視鏡等を入れて、モニタを見ながら作業を行う手術である。内視鏡手術は、開腹手術と比較して低侵襲であり、患者への負荷が少なく、早期回復を望める等の特徴を有する。
　患者ベッド１４１の上の患者１５１の体表には、術部付近に小さな穴があけられ、その穴に開孔器具であるトロッカが取り付けられて、その穴が開いた状態に保たれている（開口部が形成される）。図１の例の場合、患者１５１の生体には穴が５箇所あけられ、それらにトロッカ１３１－１乃至トロッカ１３１－５が取り付けられて開口部が形成されている。以下において、トロッカ１３１－１乃至トロッカ１３１－５を互いに区別して説明する必要が無い場合、トロッカ１３１と称する。
　内視鏡手術では、手術に用いる術具（例えば、電気メス、剪刀、鑷子、鉗子等）がこのトロッカ１３１による開口部から患者１５１の生体内に挿入される。図１の例では、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５が術具として使用されている。
　内視鏡１２１は、上述したように、術部等を撮像する装置である。内視鏡１２１は、イメージセンサ（撮像素子）を有しており、光源装置１１２から供給される光を患者１５１の生体内（術部およびその術部周辺）に照射し、その光を利用して撮像を行う。内視鏡１２１は、撮像して得られた撮像画像に関する情報（例えば撮像画像データ等）をCCU１１１に供給する。図１の例では、内視鏡１２１は、トロッカ１３１－１により形成される開口部から患者１５１の生体内に挿入されている。
　エナジーデバイス１２２は、例えば電気メス等の、電気エネルギーを利用する術具である。例えば電気メスの場合、エナジーデバイス１２２は、術部に高周波電流を流して、このときの負荷もしくは接触抵抗によってジュール熱を発生させることができる。この熱が瞬時に細胞を加熱し爆発・蒸散することによって切開作用を生じさせる。また、この熱が細胞の水分を蒸発させタンパク質を凝固させることによって凝固作用を生じさせる。図１の例では、エナジーデバイス１２２は、トロッカ１３１－２により形成される開口部から患者１５１の生体内に挿入されている。
　鉗子１２３は、生体（例えば組織）等を把持する器具である。鉗子１２３は、はさみのような外見で、例えば、手元にストッパがついており、生体等を挟んだ状態を維持することができる。この鉗子１２３は、挟む、牽引する、つぶす、開く、すくう、遮断する、など様々な用途に用いられる。図１の例では、鉗子１２３は、トロッカ１３１－３により形成される開口部から患者１５１の生体内に挿入されている。
　気腹針１２４は、気体（炭酸ガス等）を患者１５１の生体内（術部周辺の空間等）に送気したり、患者１５１の生体内の気体を吸気したりする。気腹針１２４は、所定の管を介して気腹装置１１６に接続されており、患者１５１の生体内に送気する気体は、例えば、気腹装置１１６から供給される。また、患者１５１の生体内から吸気した気体は、例えば、気腹装置１１６に供給される。図１の例では、気腹針１２４は、トロッカ１３１－４により形成される開口部から患者１５１の体内に挿入されている。
　監視用センサ１２５は、対象領域について監視対象とするパラメータについてのセンシング（計測）を行う。このセンシングを行う領域（対象領域）をセンシング領域とも称する。監視用センサ１２５は、少なくとも、術部若しくはその術部周辺をセンシング領域とし、その温度を任意の期間計測する。より具体的には、監視用センサ１２５は、少なくとも、術部若しくはその術部周辺の、面状若しくは空間状の温度分布を任意の期間計測する。つまり、監視用センサ１２５は、医療が行われる術部若しくはその術部周辺の温度（より具体的には、面状若しくは空間状の温度分布）の時間変化を計測するともいえる。
　監視用センサ１２５は、その計測結果（センシング結果）に関する情報（例えばセンシングにより得られたデータ等）を監視装置１１３に供給する。つまり、監視用センサ１２５は、少なくとも、計測が行われた期間の面状若しくは空間状の温度分布（すなわち、その期間の面状若しくは空間状の温度分布の時間変化）を監視装置１１３に供給する。図１の例では、監視用センサ１２５は、トロッカ１３１－５により形成される開口部から患者１５１の生体内に挿入されている。
　図１に示されるように、内視鏡手術支援システム１００は、例えば、CCU（Camera Control Unit）１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、気腹装置１１６等を有する。
　CCU１１１は、内視鏡１２１の駆動を制御する。例えば、CCU１１１は、内視鏡１２１に対して制御に関する情報を供給し、内視鏡１２１の観察光学系（例えばレンズ、絞り、撮像素子等）の駆動を制御する。また、CCU１１１は、内視鏡１２１の観察光学系を通じて撮像された撮像画像に関する情報を取得することもできる。例えば、CCU１１１は、内視鏡１２１により撮像される患者１５１の生体内（術部およびその術部周辺）の撮像画像に関する情報を取得することができる。また、CCU１１１は、取得した情報に含まれる撮像画像データに対して画像処理等の信号処理を施すこともできる。
　光源装置１１２は、ライトガイドケーブル等を介して内視鏡１２１に接続されており、内視鏡１２１による撮像に必要とされる光源を、そのライトガイドケーブル等を介して内視鏡１２１に供給する。
　監視装置１１３は、本技術を適用した医療支援装置の一実施の形態である。監視装置１１３は、監視用センサ１２５を介して得られるセンシング結果に関する情報に基づいて生体内でのイベントを検出する。また、監視装置１１３は、検出された生体内でのイベントに応じた通知を行う通知情報を生成する。例えば、監視装置１１３は、監視用センサ１２５により計測が行われた期間のセンシング領域の温度分布（すなわち、その期間のセンシング領域の温度分布の時間変化）に基づいて、警告対象とする生体内でのイベントを検出する。また、監視装置１１３は、その通知情報として、生体内でのイベントに関する警告を行う警告情報を生成する。
　出力装置１１４は、例えば、画像を表示するモニタや、音声を出力するスピーカ等を有し、監視装置１１３等の他の装置から供給される情報を画像や音声として出力する。例えば、出力装置１１４は、内視鏡１２１において撮像された撮像画像や、監視装置１１３において生成された通知情報（画像や音声）等を出力（画像表示や音声出力）する。
　術具制御装置１１５は、エナジーデバイス１２２の駆動を制御する。例えば、術具制御装置１１５は、高周波電流等をエナジーデバイス１２２に供給し、エナジーデバイス１２２がその電気熱によって患部を切除等することができるようにする。
　気腹装置１１６は、気体（例えば炭酸ガス等）を、所定の管を介して気腹針１２４に供給し、その気腹針１２４から患者１５１の生体内（術部若しくは術部周辺）に供給して（送気して）生体内（術部周辺）を膨張させる。これにより、生体内（手術部位周辺）に作業可能な空間を確保することができる。また、気腹装置１１６は、その所定の管を介して、その気腹針１２４から患者１５１の生体内の気体（例えば炭酸ガス等）を吸い取る（吸気する）こともできる。
　なお、図１に示される内視鏡手術支援システム１００の構成は一例であり、内視鏡手術支援システム１００の構成は、図１の例に限定されない。例えば、内視鏡手術に用いる術具の種類は任意である。例えば、内視鏡手術支援システム１００が、上述した内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５以外の術具を備えるようにしてもよい。また、上述した術具の一部を用いなくてもよい。
　また、図１においては、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５が１つずつ示されているが、これらの数は任意である。例えば、内視鏡手術支援システム１００が、これらの内、少なくとも１つ以上を複数備えるようにしてもよい。また、内視鏡１２１、エナジーデバイス１２２、鉗子１２３、気腹針１２４、および監視用センサ１２５等、各種術具の数が互いに同一でなくてもよい。
　内視鏡１２１は、通信可能にCCU１１１と接続されている。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
　また、内視鏡１２１が複数のイメージセンサ（撮像素子）を有するようにしてもよい。その場合、一部のイメージセンサが、少なくとも他の一部のイメージセンサと異なる種類（例えば周波数帯域）の光をセンシングするようにしてもよい。例えば、内視鏡１２１が、可視光をセンシングするイメージセンサと赤外光をセンシングするイメージセンサとを有するようにしてもよい。また、例えば、内視鏡１２１が、カラー（例えばRGB）の撮像画像を得るイメージセンサと、白黒の撮像画像を得るイメージセンサとを有するようにしてもよい。また、内視鏡１２１が有する複数のイメージセンサの内、一部のイメージセンサの画素数や画素サイズ等の特性が、少なくとも他の一部のイメージセンサと異なるようにしてもよい。また、内視鏡１２１が、複数種類（周波数帯域）の光をセンシングすることができるイメージセンサを有するようにしてもよい。例えば、内視鏡１２１が、複数種類の光をセンシングすることができるイメージセンサを１つ以上有するようにしてもよい。また、内視鏡１２１が複数のイメージセンサを有し、その内の１つ以上のイメージセンサが、複数種類の光をセンシングすることができるようにしてもよい。さらに、内視鏡１２１が複数種類の光をセンシングすることができるイメージセンサを複数有する場合、その内の少なくとも１つ以上のイメージセンサが、他のイメージセンサと異なる種類の光をセンシングすることができるようにしてもよい。
　また、内視鏡１２１が、さらに、イメージセンサ以外のセンサを有するようにしてもよい。例えば、内視鏡１２１が、内視鏡１２１の姿勢を計測するジャイロセンサをさらに備えるようにしてもよいし、その他のセンサを有するようにしてもよい。さらに、内視鏡１２１がセンサ以外の機能や構成を有するようにしてもよい。
　なお、内視鏡手術支援システム１００に内視鏡１２１が複数設けられる場合、全ての内視鏡１２１が互いに同一の仕様でなくてもよく、一部の内視鏡１２１の仕様（構成や機能等）が、少なくとも他の一部の内視鏡１２１と異なるようにしてもよい。
　エナジーデバイス１２２は、例えば、所定のケーブルを介して術具制御装置１１５に電気的に接続され、その術具制御装置１１５から、その所定のケーブルを介して、高周波電流等が供給されるようにしてもよい。また、エナジーデバイス１２２が、術具制御装置１１５と通信可能に接続され、制御情報等を授受することができるようにしてもよい。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
　なお、内視鏡手術支援システム１００にエナジーデバイス１２２が複数設けられる場合、全てのエナジーデバイス１２２が互いに同一の仕様でなくてもよく、一部のエナジーデバイス１２２の仕様（構成や機能等）が、少なくとも他の一部のエナジーデバイス１２２と異なるようにしてもよい。
　内視鏡手術支援システム１００に鉗子１２３が複数設けられる場合、全ての鉗子１２３が互いに同一の仕様でなくてもよく、一部の鉗子１２３の仕様（サイズ、形状、機能等）が、少なくとも他の一部の鉗子１２３と異なるようにしてもよい。気腹針１２４も同様である。
　監視用センサ１２５は、通信可能に監視装置１１３と接続されている。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
　また、監視用センサ１２５が、さらに温度分布以外のパラメータも計測することができるようにしてもよい。このパラメータはどのようなものであってもよい。例えば、監視用センサ１２５が、画像、光、電気、音、振動、加速度、速度、角速度、力、温度（温度分布ではない）、湿度、流量、磁気、化学物質、または匂い等を計測するようにしてもよい。また、監視用センサ１２５が、これらの内、複数のパラメータを計測するようにしてもよい。また、監視用センサ１２５が、これら以外のパラメータを計測するようにしてもよい。なお、１つの監視用センサ１２５が複数のパラメータを計測することができるようにしてもよいし、複数の監視用センサ１２５が設けられるようにしてもよい。例えば、１つの監視用センサ１２５が、温度分布を計測するサーモセンサと、それ以外のパラメータを計測する他のセンサとの両方を備えるようにしてもよい。また、温度分布を計測するサーモセンサと、それ以外のパラメータを計測する他のセンサとが、互いに異なる監視用センサ１２５として設けられるようにしてもよい。
　つまり、内視鏡手術支援システム１００に監視用センサ１２５が複数設けられる場合、その内のいずれか１つにおいて温度分布を計測することができれば、それ以外の構成等は任意である。例えば、複数の監視用センサ１２５の仕様が統一されていてもよいし、統一されていなくてもよい。
　また、図１においては、CCU１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、および気腹装置１１６を1台ずつ示されているが、この構成例は一例であり、内視鏡手術支援システム１００の構成はこの例に限定されない。例えば、CCU１１１、光源装置１１２、監視装置１１３、出力装置１１４、術具制御装置１１５、および気腹装置１１６の内の少なくとも一部が複数設けられるようにしてもよい。その場合、複数設けられた装置のそれぞれの仕様が統一されていてもよいし、統一されていなくてもよい。
　１台のCCU１１１が制御して撮像画像を取得する（対応する）内視鏡１２１は、１つであってもよいし、複数であってもよい。また、CCU１１１が複数設けられる場合、各CCU１１１が互いに異なる内視鏡１２１に対応するようにしてもよいし、少なくとも一部が重複するようにしてもよい。また、各CCU１１１に対応する内視鏡１２１の数が全て同一であってもよいし、一部のCCU１１１に対応する内視鏡１２１の数が、少なくとも他の一部のCCU１１１に対応する内視鏡１２１の数と異なるようにしてもよい。
　光源装置１１２は、任意の周波数帯域の光を発することができる。例えば、光源装置１１２は、可視光等の通常光を発することもできるし、患部を特に識別できるような特殊光（例えば、狭帯域光や赤外光等）を発することもできる。また、１台の光源装置１１２が、複数の内視鏡１２１に対して光を供給する（対応する）ことができる。その場合、各内視鏡１２１に対して、互いに同一の周波数帯域の光を供給することもできるし、互いに異なる周波数帯域の光を供給することもできる。
　また、内視鏡手術支援システム１００が光源装置１１２を複数備える場合、各光源装置１１２に対応する内視鏡１２１が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各光源装置１１２に対応する内視鏡１２１の数が全て同一であってもよいし、一部の光源装置１１２に対応する内視鏡１２１の数が、少なくとも他の一部の光源装置１１２に対応する内視鏡１２１の数と異なるようにしてもよい。
　また、１台の監視装置１１３が、複数の監視用センサ１２５から情報を取得する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が監視装置１１３を複数備える場合、各監視装置１１３に対応する監視用センサ１２５が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各監視装置１１３に対応する監視用センサ１２５の数が全て同一であってもよいし、一部の監視装置１１３に対応する監視用センサ１２５の数が、少なくとも他の一部の監視装置１１３に対応する監視用センサ１２５の数と異なるようにしてもよい。
　出力装置１１４は、通信可能に監視装置１１３と接続されている。この通信は、有線通信であってもよいし、無線通信であってもよいし、その両方であってもよい。
　また、１台の出力装置１１４が、複数の監視装置１１３から情報を取得する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が出力装置１１４を複数備える場合、各出力装置１１４に対応する監視装置１１３が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各出力装置１１４に対応する監視装置１１３の数が全て同一であってもよいし、一部の出力装置１１４に対応する監視装置１１３の数が、少なくとも他の一部の出力装置１１４に対応する監視装置１１３の数と異なるようにしてもよい。
　また、１台の術具制御装置１１５が、複数のエナジーデバイス１２２の駆動を制御する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が術具制御装置１１５を複数備える場合、各術具制御装置１１５に対応するエナジーデバイス１２２が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各術具制御装置１１５に対応するエナジーデバイス１２２の数が全て同一であってもよいし、一部の術具制御装置１１５に対応するエナジーデバイス１２２の数が、少なくとも他の一部の術具制御装置１１５に対応するエナジーデバイス１２２の数と異なるようにしてもよい。
　また、１台の気腹装置１１６が、複数の気腹針１２４に気体を供給する（対応する）ようにしてもよい。また、内視鏡手術支援システム１００が気腹装置１１６を複数備える場合、各気腹装置１１６に対応する気腹針１２４が互いに異なっていてもよいし、少なくとも一部が重複するようにしてもよい。また、各気腹装置１１６に対応する気腹針１２４の数が全て同一であってもよいし、一部の気腹装置１１６に対応する気腹針１２４の数が、少なくとも他の一部の気腹装置１１６に対応する気腹針１２４の数と異なるようにしてもよい。
　　＜センシングの範囲＞
　次に、センシングの範囲について説明する。監視用センサ１２５は、監視用センサ１２５の設置位置や姿勢に応じた所定の領域（例えば設置位置周辺）をセンシング領域とする。この監視用センサ１２５の設置位置は任意である。例えば、術者が作業を行う術部（例えば作業対象である患部）およびその周辺は、術具と生体（臓器等）との接触や出血等が発生する可能性が高く、監視する必要性が他の位置よりも高い。そこで、このような術部およびその術部周辺をセンシング領域としてもよい。つまり、監視用センサ１２５は、その術部および術部周辺をセンシング領域とするような位置および姿勢で設置される。例えば監視用センサ１２５は、図１のように、患者１５１の生体内に挿入された状態で設置される。
　例えば、図２の場合、術部となる患部１６１およびその周辺が、内視鏡１２１のイメージセンサにより撮像される範囲である撮像領域１６２とされており、さらにその撮像領域１６２を含む範囲が監視用センサ１２５のセンシング領域１６３とされている。なお、図２においては、撮像領域１６２およびセンシング領域１６３の外周が円形状に示されているが、これらの領域の形状は任意であり、図２の例に限定されない。
　また、図２においては、センシング領域１６３が面状に示されているが、センシング領域１６３は、３次元以上の空間であってもよい。例えば、腹腔鏡手術の場合、患者の生体内の術部周辺の空間をセンシング領域としてもよい。例えば、複数の監視用センサ１２５を用いて、複数の位置・方向からセンシングを行うことにより、監視装置１１３は、３次元以上の空間における温度分布を求めることができる。このようにすることにより、臓器等による死角を低減し、より正確な温度分布を求めることができる。
　なお、撮像領域１６２およびセンシング領域１６３が互いに重ならないようにしてもよいし、一部のみが重なるようにしてもよい。また、センシング領域１６３に患部１６１が含まれないようにしてもよいし、撮像領域１６２に患部１６１が含まれないようにしてもよい。
　一般的に、温度分布画像の解像度は、撮像画像よりも低くても良いので、図２の例のように、センシング領域１６３は、撮像領域１６２よりも広く設定することができる。ただし、撮像領域１６２およびセンシング領域１６３の大きさはそれぞれ任意である。
　　＜監視装置等の主な構成例＞
　図３は、監視装置１１３等の主な構成例を示すブロック図である。図３の例において、内視鏡１２１は、イメージセンサ１７１を有する。
　イメージセンサ１７１は、所謂撮像素子を有し、入射光を光電変換する画素を複数有する。内視鏡１２１は、光源装置１１２から供給される光を光照射領域に対して照射する。イメージセンサ１７１は、被写体で反射したその照射光を複数の画素において光電変換することにより、被写体の画像（撮像領域の撮像画像）を得る。つまり、光照射領域と撮像領域は略同位置の領域である。もちろん、撮像領域と光照射領域の広さや形状が互いに一致していなくてもよい。このように、イメージセンサ１７１は、被写体を撮像し、その被写体の画像の画像信号（撮像画像データ）を得る。イメージセンサ１７１により得られた撮像画像に関する情報は、内視鏡１２１とCCU１１１との通信により、CCU１１１に供給される。イメージセンサ１７１は、CCU１１１に制御されて駆動し、このような撮像を行う。
　CCU１１１は、イメージセンサ１７１から供給される撮像画像データに対して必要に応じて所定の信号処理を施し、それを監視装置１１３（警告対象検出部１８２、通知情報生成部１８３、および出力制御部１８４）に供給する。
　また、図３に示されるように、監視用センサ１２５として、サーモセンサ１２５Ａが設けられている。
　サーモセンサ１２５Ａは、センシング領域の温度（温度分布）の時間変化を計測する。監視用センサ１２５であるサーモセンサ１２５Ａの設置位置は、上述したように任意である。例えば、サーモセンサ１２５Ａは、術部および術部周辺をセンシング領域とするような位置および姿勢で設置される。例えば、サーモセンサ１２５Ａは、図１のように患者１５１の生体内に挿入された状態で設置され、図２のセンシング領域１６３の温度（温度分布）をセンシングする。なお、この温度（温度分布）は、絶対値でもよいし、所定の基準に対する相対的な値であってもよい。サーモセンサ１２５Ａにより得られたセンシングの結果に関する情報は、監視装置１１３に供給される。
　サーモセンサ１２５Ａは、例えば、外部の装置（例えば、監視装置１１３）により制御されて駆動するようにしてもよいし、術者等により制御されて駆動するようにしてもよいし、それらに制御されずに駆動するようにしてもよい。
　図３の例において、監視装置１１３は、温度画像生成部１８１、警告対象検出部１８２、通知情報生成部１８３、および出力制御部１８４を有する。
　温度画像生成部１８１は、サーモセンサ１２５Ａからセンシングの結果に関する情報を取得し、その情報に基づいて、温度画像を生成する。温度画像は、センシング領域について温度（若しくは温度分布）を示す画像である。温度画像生成部１８１は、生成した温度画像を警告対象検出部１８２に供給する。サーモセンサ１２５Ａは、所定の期間センシングを行い、温度画像生成部１８１は、その所定の期間の動画像として温度画像を生成する。つまり、温度画像生成部１８１が生成する温度画像は、その所定の期間における温度（若しくは温度分布）の時間変化を示す。
　警告対象検出部１８２は、その温度画像（つまり、所定の期間における温度（若しくは温度分布）の時間変化）に基づいて、警告対象となる所定のイベントを検出する。この警告対象となるイベントは予め設定されている。つまり、温度（若しくは温度分布）の変化のパターンが予め設定されている。警告対象検出部１８２は、温度画像において、その予め設定された温度（若しくは温度分布）の変化のパターンを検出することにより、そのパターンに対応するイベントを検出する。警告対象検出部１８２は、検出したイベントを通知情報生成部１８３に通知する。なお、警告対象検出部１８２が、このようなイベント検出の際に、CCU１１１を介して供給される撮像画像も参考にするようにしてもよい。
　通知情報生成部１８３は、警告対象検出部１８２により検出されたイベントに応じた通知を行う通知情報を生成する。例えば、通知情報生成部１８３は、通知情報として、検出されたイベントに関する警告を行う画像情報である警告画像を生成する。また、例えば、通知情報生成部１８３は、通知情報として、検出されたイベントに関する警告を行う音声情報である警告音声を生成する。通知情報生成部１８３は、このように生成した通知情報を出力制御部１８４に供給する。なお、通知情報生成部１８３が、CCU１１１を介して供給される撮像画像を参考にして通知情報を生成するようにしてもよい。例えば、通知情報生成部１８３が、撮像画像の絵柄に応じて警告画像のレイアウトを設定するようにしてもよい。
　出力制御部１８４は、情報の出力を制御する。例えば、出力制御部１８４は、CCU１１１から供給される撮像画像から表示画像（つまり撮像領域の画像）を生成し、その表示画像を、出力装置１１４に供給して表示させる。また、例えば、出力制御部１８４は、通知情報生成部１８３から供給される通知情報（画像や音声等）を出力装置１１４に供給し、出力させる。その際、出力制御部１８４は、通知情報生成部１８３から供給される警告画像を、CCU１１１から供給される撮像画像に重畳させて表示画像を生成し、その表示画像を出力装置１１４に供給して表示させることもできる。なお、出力制御部１８４が、各種情報を出力装置１１４以外の装置に供給することができるようにしてもよい。
　出力装置１１４は、モニタ１９１およびスピーカ１９２を有する。モニタ１９１は、例えば、出力制御部１８４から供給される表示画像等を表示する。スピーカ１９２は、出力制御部１８４から供給される警告音声等を出力する。出力装置１１４の構成は任意である。例えば、モニタ１９１若しくはスピーカ１９２が省略されるようにしてもよい。また、例えば、出力装置１１４が、モニタ１９１を複数備えるようにしてもよいし、スピーカ１９２を複数備えるようにしてもよい。さらに、例えば、出力装置１１４が、モニタ１９１およびスピーカ１９２以外の出力デバイスを備えるようにしてもよい。
　以上のように、監視装置１１３は、警告対象検出部１８２および通知情報生成部１８３を有するので、術部若しくはその術部周辺において発生する、より多様なイベントについての通知を行うことができる。したがって、監視装置１１３は、より多様な医療支援を行うことができる。
　　＜警告処理の流れ＞
　次に、図４のフローチャートを参照して、以上のような内視鏡手術支援システム１００において実行される警告処理の流れの例を説明する。この警告処理は、サーモセンサ１２５Ａのセンシングの結果得られたセンシング領域の温度（若しくは温度分布）の時間変化に基づいて、警告対象となる所定のイベントを検出し、そのイベントに関する通知を行う通知情報を生成し、出力する処理である。
　警告処理が開始されると、ステップＳ１０１において、内視鏡１２１のイメージセンサ１７１は、内視鏡１２１の視野内（すなわち、撮像領域１６２）を撮像する。より具体的には、光源装置１１２が、内視鏡１２１から照射される光（照明光）を発光し、内視鏡１２１に供給する。これにより、内視鏡１２１から撮像の画角内（被写体）に向かって光が照射される。その状態において、CCU１１１がイメージセンサ１７１を制御し、撮像を行わせる。イメージセンサ１７１は、撮像画像のデータをCCU１１１に供給する。
　ステップＳ１０２において、サーモセンサ１２５Ａは、センシングを行い、センシング領域の温度（温度分布）の情報を得る。サーモセンサ１２５Ａは、そのセンシング結果を温度画像生成部１８１に供給する。
　ステップＳ１０３において、温度画像生成部１８１は、ステップＳ１０２の処理により得られたサーモセンサ１２５Ａのセンシング結果に基づいて、センシング領域の温度画像を生成する。
　ステップＳ１０４において、警告対象検出部１８２は、ステップＳ１０３の処理により得られた温度画像を用いて警告対象の検出を行う。
　ステップＳ１０５において、警告対象検出部１８２は、警告対象が検出されたか否かを判定する。警告対象が検出されたと判定された場合、処理はステップＳ１０６に進む。
　ステップＳ１０６において、通知情報生成部１８３は、通知情報として、警告対象のイベントに関する警告を行う警告情報を生成する。警告情報は、画像情報である警告画像や音声情報である警告音声等よりなる。
　ステップＳ１０７において、出力制御部１８４は、ステップＳ１０６の処理により生成された警告画像を、CCU１１１から供給されるステップＳ１０１の処理により得られた撮像画像に重畳して表示画像を生成し、出力装置１１４のモニタ１９１に表示させる。
　ステップＳ１０８において、出力制御部１８４は、ステップＳ１０６の処理により生成された警告音声を、出力装置１１４のスピーカ１９２から出力させる。
　なお、ステップＳ１０５において警告対象が検出されなかったと判定された場合、ステップＳ１０９において、出力制御部１８４は、CCU１１１から供給されるステップＳ１０１の処理により得られた撮像画像を表示する表示画像を生成し、出力装置１１４のモニタ１９１に表示させる。
　ステップＳ１１０において、出力制御部１８４は、警告処理を終了するか否かを判定する。警告処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、それ以降の処理が繰り返される。つまり、警告処理が実行中の間、ステップＳ１０１乃至ステップＳ１１０の各処理が実行される。そして、ステップＳ１１０において、警告処理を終了すると判定された場合、警告処理が終了する。
　警告処理が実行中の間、ステップＳ１０１乃至ステップＳ１１０の各処理は、並行して実行される。つまり、イメージセンサ１７１による撮像や、サーモセンサ１２５Ａによるセンシングを行いながら、温度画像の生成、警告対象の検出、通知情報生成、通知情報の出力等の処理が行われる。
　したがって、警告対象検出部１８２においては、動画像としての温度画像が得られる。したがって、警告対象検出部１８２は、その動画像において、警告対象となるイベントに対応する温度の時間変化のパターンの検出を行う。
　　＜出血の発生＞
　この警告対象となるイベントは任意である。例えば、出血の発生を、警告対象となるイベントとしてもよい。
　一般的に、出血したての血液は、臓器外部の温度（深部体温）よりも高い。したがって、温度画像において、出血した血液の部分は周囲より高温に示される。図５に温度画像の例を示す。図５のＡは、ある時刻の温度画像の例を示している。図５のＡの例の場合、センシング領域１６３内に位置する臓器２１１において、そのような周囲よりも高温の領域２１２が検出されている。
　図５のＢは、図５のＡの状態から所定時間が経過した温度画像の例を示している。図５のＢに示されるように、この時点で、領域２１２が図５のＡの時点よりも拡大している。つまり、時間が経過するとともに、周囲よりも高温の領域２１２が拡大している。
　警告対象検出部１８２は、温度画像においてこのような時間変化が検出された場合、この領域２１２を出血した血液であると判定し、出血の発生を検出する。
　　＜出血検出処理の流れ＞
　出血の発生を検出する場合、警告対象検出部１８２は、警告処理のステップＳ１０４においてイベント検出処理としてこのような処理を行う。この出血検出処理の流れの例を、図６のフローチャートを参照して説明する。
　出血検出処理が開始されると、警告対象検出部１８２は、ステップＳ１３１において、温度画像において周辺より温度の高い深部体温以上の領域が発生したか否かを判定する。図５のＡの領域２１２のような、周辺より温度の高い深部体温以上の領域が発生したと判定された場合、処理はステップＳ１３２に進む。
　ステップＳ１３２において、警告対象検出部１８２は、その領域が時間の経過とともに拡大しているか否かを判定する。図５のＢの領域２１２のように、温度画像において、その領域が時間の経過とともに拡大していると判定された場合、処理はステップＳ１３３に進む。
　ステップＳ１３３において、警告対象検出部１８２は、その領域を出血した血液と判定し、出血の発生を検出する。
　ステップＳ１３４において、警告対象検出部１８２は、出血検出処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１３１に戻り、それ以降の処理が繰り返される。
　なお、ステップＳ１３１において、温度画像において周辺より温度の高い深部体温以上の領域が発生していないと判定された場合、出血検出処理が終了し、処理は図４に戻る。また、ステップＳ１３２において、周辺より温度の高い深部体温以上の領域が拡大していないと判定された場合、警告対象検出部１８２はその領域が出血した血液では無いと判定し、出血検出処理が終了し、処理は図４に戻る。また、ステップＳ１３４において、終了すると判定された場合、出血検出処理が終了し、処理は図４に戻る。
　以上のように各処理を行うことにより、監視装置１１３は、温度（温度分布）の時間変化を用いて、出血の発生を検出することができる。したがって、監視装置１１３は、単なる温度分布（ある時刻の温度分布）から出血の発生を検出する場合よりも、より多様なイベントを検出することができる。また、監視装置１１３は、単なる温度分布（ある時刻の温度分布）から出血の発生を検出する場合よりも、より正確に出血の発生を検出することができる。
　図７にモニタ１９１に表示される表示画像の例を示す。図７に示される表示画像２２０は、上述した出血検出処理を行って出血の発生を検出した場合の警告画像を含む表示画像の例を示している。図７に示されるように、この表示画像２２０においては、臓器２１１を含む撮像画像２２１に各種警告画像が重畳されている。
　図７に示される表示画像２２０のように、警告画像として、出血の発生を通知する画像である出血警告メッセージ画像２２２が表示されるようにしてもよい。図７の出血警告メッセージ画像２２２は、メッセージ「出血あり」と、数字「（２）」とを含む。メッセージ「出血あり」は、出血の発生を通知するメッセージである。これにより、表示画像２２０を見た術者等は、より容易に出血の発生を把握することができる。また、数字「（２）」は、出血が発生した箇所の数を示す。したがって、表示画像２２０を見た術者等は、いくつの箇所で出血が発生しているかを、より容易に把握することができる。
　つまり、通知情報生成部１８３は、警告画像として、このような出血警告メッセージ画像２２２を生成するようにしてもよい。なお、この出血警告メッセージ画像２２２の表示位置は任意であり、図７の例のように表示画像の左上でなくてもよい。通知情報生成部１８３が、撮像画像２２１の絵柄に基づいて、この出血警告メッセージ画像２２２の表示位置を設定するようにしてもよい。
　また、図７に示される表示画像２２０のように、出血の発生箇所が撮像画像２２１内に位置する場合、警告画像として、その発生箇所を示す画像である出血位置提示画像２２３を表示させるようにしてもよい。図７の出血位置提示画像２２３は、点線円の画像である。表示画像２２０において、出血発生箇所（領域２１２）をこの点線円で囲むことにより、出血が発生した箇所を示している。これにより、表示画像２２０を見た術者等は、より容易に出血が発生した箇所を把握することができる。
　つまり、通知情報生成部１８３は、警告画像として、このような出血位置提示画像２２３を生成するようにしてもよい。なお、サーモセンサ１２５Ａのセンシング領域と、イメージセンサ１７１の撮像領域とが一致しない場合、センシング領域における出血の発生位置を、そのまま撮像画像２２１に適用することができない。このような場合、通知情報生成部１８３は、撮像画像２２１と温度画像の両方に基づいて、撮像画像２２１における出血が発生した箇所の位置を特定する。つまり、表示画像２２０におけるこの出血位置提示画像２２３の表示位置が設定される。
　なお、出血の発生箇所が撮像画像２２１外に位置する場合、警告画像として、その発生箇所の方向を示す画像である出血方向提示画像２２４を表示させるようにしてもよい。図７の出血方向提示画像２２４は、矢印の画像である。つまり、表示画像２２０の外部に位置する出血の発生箇所の方向が、矢印で示されている。これにより、表示画像２２０を見た術者等は、より容易に出血が発生した方向を把握することができる。
　つまり、通知情報生成部１８３は、警告画像として、このような出血方向提示画像２２４を生成するようにしてもよい。なお、サーモセンサ１２５Ａのセンシング領域と、イメージセンサ１７１の撮像領域とが一致しない場合、撮像画像２２１から見たセンシング領域における出血の発生位置が特定されない。このような場合、通知情報生成部１８３は、撮像画像２２１と温度画像の両方に基づいて、撮像画像と温度画像の位置関係を特定し、撮像画像２２１における出血が発生した箇所の方向を特定する。つまり、表示画像２２０におけるこの出血方向提示画像２２４の矢印の向きが設定される。なお、この出血方向提示画像２２４の表示位置は任意であり、図７の例のように表示画像の右上でなくてもよい。この表示位置は、矢印の向きに応じて決定されるようにしてもよいし、通知情報生成部１８３が、撮像画像２２１の絵柄に基づいてこの表示位置を設定するようにしてもよい。
　なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、出血の発生を通知する画像、出血の発生数を通知する画像、出血の発生箇所が撮像画像範囲内に位置する場合その発生箇所を示す画像、および、出血の発生箇所が撮像画像範囲外に位置する場合その発生箇所の方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
　以上のように、各処理を実行することにより、監視装置１１３は、温度（温度分布）の時間変化を用いて検出されたイベントについての通知を行うことができる。つまり、監視装置１１３は、より多様なイベントについての通知を行うことができるようにする。
　なお、エナジーデバイス１２２等の術具が使用されている間は、このような出血の発生の可能性が高くなる。そこで、エナジーデバイス１２２等の術具の温度や使用状況（スイッチのオンオフ）等の検出も行い、出血の判定に利用するようにしてもよい。つまり、例えば、エナジーデバイス１２２が使用中の場合や、エナジーデバイス１２２の先端付近の温度が高い場合のみ、出血の判定が行われるようにしてもよい。このように、出血の起こりやすさ等の条件を、出血の判定基準に付加することにより、監視装置１１３は、出血の発生をより正確に検出することができる。
　また、例えば、エナジーデバイス１２２が使用中の場合や、エナジーデバイス１２２の先端付近の温度が高い場合は、出血が判定され易くする等、出血の起こりやすさ等の条件を用いて、判定の重み付けを行うようにしてもよい。このようにすることにより、監視装置１１３は、出血の発生をより正確に検出することができる。
　＜２．第２の実施の形態＞
　　＜術具の使用後の余熱の検出＞
　なお、監視装置１１３が検出することができるイベントは、上述の例に限定されない。例えば、監視装置１１３が、使用後のエナジーデバイス１２２等の術具の温度（余熱）の監視を行うようにしてもよい。
　エナジーデバイス１２２の先端付近の温度は、例えば、図８に示されるように変化する。つまり、使用前のエナジーデバイス１２２－１の先端付近は、接触すると生体（臓器等）に影響を及ぼす可能性のある所定の温度である危険温度よりも低い。このエナジーデバイスが使用されると、その先端付近は非常に高温になる。したがって、使用中のエナジーデバイス１２２－２の先端付近は、危険温度よりも高い所定の温度（使用時温度）以上となる。
　エナジーデバイス１２２の使用が済むと、先端付近の温度（余熱）は低下するが、暫くはその温度が高く、生体（臓器等）への接触を避けるように注意すべき温度状態（使用後要注意状態）となる。つまり、この使用後要注意状態のエナジーデバイス１２２－３の先端付近の温度は、使用時温度よりも低く、かつ、危険温度以上となる。その後、時間が経過すると、エナジーデバイス１２２の先端付近の温度はさらに低下し、安全な状態となる。つまり、使用後のエナジーデバイス１２２－４の先端付近の温度は、危険温度よりも低く、使用前のエナジーデバイス１２２－１と同じ状態に戻る。
　エナジーデバイス１２２の先端付近の温度が危険温度よりも高い状態にある場合、そのエナジーデバイス１２２の先端付近が生体（臓器等）に接触したり近接したりすると、その生体に影響を及ぼす可能性がある。つまり、使用中と使用後要注意状態において、エナジーデバイス１２２の先端付近は、生体（臓器等）に影響を及ぼす可能性のある高温状態となる。しかしながら、使用中のエナジーデバイス１２２－２は、術者が意図して操作している状態であるため、警告しなくても術者の注意がエナジーデバイス１２２の先端に向けられている状態である。むしろ、医療作業中であるので、警告画像の表示や警告音声の出力は、術者の視野や集中力の妨げとなってしまうおそれがある。
　したがって、監視装置１１３は、使用中は警告を行わずに、使用後要注意状態においてのみ警告を行うようにする。
　　＜使用後要注意状態検出処理の流れ＞
　この場合、警告対象検出部１８２は、警告処理のステップＳ１０４においてイベント検出処理として使用後要注意状態検出処理を行う。この使用後要注意状態検出処理の流れの例を、図９のフローチャートを参照して説明する。
　使用後要注意状態検出処理の開始時は、エナジーデバイス１２２が、図８の使用前（エナジーデバイス１２２－１）の状態であるとする。使用後要注意状態検出処理が開始されると、警告対象検出部１８２は、ステップＳ１５１において、エナジーデバイス１２２の先端の温度が使用時温度以上であるか否かを判定する。使用時温度より低いと判定された場合、エナジーデバイス１２２が図８の使用前の状態であるので、ステップＳ１５２乃至ステップＳ１５４の処理が省略され、処理はステップＳ１５５に進む。
　また、ステップＳ１５１において、エナジーデバイス１２２の先端の温度が使用時温度以上であると判定された場合、処理はステップＳ１５２に進む。つまり、エナジーデバイス１２２が図８の使用中の状態となった。この状態においては上述したように警告は行わない。
　ステップＳ１５２において、警告対象検出部１８２は、エナジーデバイス１２２の先端の温度が使用時温度よりも低くなったか否かを判定する。エナジーデバイス１２２の先端の温度が使用時温度以上であると判定された場合、エナジーデバイス１２２は、まだ図８の使用中の状態であるので、ステップＳ１５２の処理が繰り返される。
　また、ステップＳ１５２において、エナジーデバイス１２２の先端の温度が使用時温度よりも低くなったと判定された場合、処理はステップＳ１５３に進む。つまり、エナジーデバイス１２２が図８の使用後要注意状態以降の状態となった。
　ステップＳ１５３において、警告対象検出部１８２は、エナジーデバイス１２２の先端の温度が危険温度よりも低くなったか否かを判定する。エナジーデバイス１２２の先端の温度が危険温度以上であると判定された場合、エナジーデバイス１２２は、図８の使用後要注意状態である。したがって、警告対象検出部１８２は、ステップＳ１５４において、エナジーデバイス１２２がその使用後要注意状態であることを警告対象として検出する。
　したがって、図４のステップＳ１０６乃至ステップＳ１０８の処理により、警告情報が生成されてその画像や音声等が出力される。
　図９に戻り、ステップＳ１５４の処理が終了すると、処理はステップＳ１５２に戻り、それ以降の処理が繰り返される。つまり、エナジーデバイス１２２の先端の温度が危険温度よりも低くなるまで、使用後要注意状態が検出される。
　ステップＳ１５３において、エナジーデバイス１２２の先端の温度が危険温度よりも低くなったと判定された場合、エナジーデバイス１２２が図８の使用後の状態となったので、使用後要注意状態の検出が終了して、処理はステップＳ１５５に進む。
　ステップＳ１５５において、警告対象検出部１８２は、使用後要注意状態検出処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１５１に戻り、それ以降の処理が繰り返される。つまり、エナジーデバイス１２２が図８の使用前の状態に戻り、上述した各処理が繰り返される。
　そして、ステップＳ１５５において、終了すると判定された場合、使用後要注意状態検出処理が終了し、処理は図４に戻る。
　以上のように各処理を行うことにより、監視装置１１３は、温度（温度分布）の時間変化を用いて、使用後の術具が、（使用時温度よりも低く、かつ、）所定の温度（危険温度）以上の状態（使用後要注意状態）にあることを検出することができる。したがって、監視装置１１３は、術具の使用中は警告せずに、この使用後要注意状態のみ警告を行うようにすることができる。したがって、監視装置１１３は、術者の作業を妨げることなく、より適切に警告を行うことができる。単なる温度分布（ある時刻の温度分布）からでは、使用中であるのか、使用後要注意状態であるかの判定は困難であるので、このような制御を行うことは困難である。
　図１０にこの場合のモニタ１９１に表示される表示画像の例を示す。図１０に示される表示画像２３０は、使用後要注意状態においてのみ表示される警告画像を含む表示画像の例を示している。図１０に示されるように、この表示画像２３０においては、エナジーデバイス１２２の先端付近の画像を含む撮像画像２３１に各種警告画像が重畳されている。
　図１０に示される表示画像２３０のように、警告画像として、使用後要注意状態である術具が存在する旨（すなわち、所定の温度以上の状態にある使用後の術具が存在すること）を通知する画像である余熱警告メッセージ画像２３２が表示されるようにしてもよい。図１０の余熱警告メッセージ画像２３２は、メッセージ「高温デバイスあり」と、数字「（２）」とを含む。メッセージ「高温デバイスあり」は、使用後要注意状態である術具が存在することを通知するメッセージである。これにより、表示画像２３０を見た術者等は、使用後要注意状態にある術具が存在することをより容易に把握することができる。また、数字「（２）」は、使用後要注意状態である術具の数を示す。したがって、表示画像２３０を見た術者等は、使用後要注意状態である術具がいくつ存在するかを、より容易に把握することができる。
　つまり、通知情報生成部１８３は、警告画像として、このような余熱警告メッセージ画像２３２を生成するようにしてもよい。なお、この余熱警告メッセージ画像２３２の表示位置は任意であり、図１０の例のように表示画像の左上でなくてもよい。通知情報生成部１８３が、撮像画像２３１の絵柄に基づいて、この余熱警告メッセージ画像２３２の表示位置を設定するようにしてもよい。
　また、図１０に示される表示画像２３０のように、使用後要注意状態である術具の先端付近が撮像画像２３１内に位置する場合、警告画像として、その術具（エナジーデバイス１２２）を示す余熱警告画像２３３を表示させるようにしてもよい。図１０に示されるように、この余熱警告画像２３３は、例えば、この術具（エナジーデバイス１２２）の先端付近の温度画像よりなる。つまり、使用後要注意状態である術具の先端付近の温度画像が、撮像画像２３１の同じ部分（その使用後要注意状態にある術具の先端付近）に重畳されて表示されている。これにより、表示画像２３０を見た術者等は、どの術具がどのような温度であるか（少なくとも使用後要注意状態である術具が、注意すべき温度であること）を直感的に把握することができる。
　なお、通知情報生成部１８３は、温度画像において、エナジーデバイス１２２の先端付近を、周囲との温度差により容易に求めることができる。また、通知情報生成部１８３は、撮像画像２３１において、エナジーデバイス１２２の先端付近を、その画像の特徴（絵柄）から容易に求めることができる。また、通知情報生成部１８３は、温度画像と撮像画像２３１の両方を用いることにより、エナジーデバイス１２２の先端付近を、さらに容易に求めることができる。
　なお、余熱警告画像２３３として、温度画像の代わりに、その術具を強調表示する所定の画像を重畳させるようにしてもよい。なお、サーモセンサ１２５Ａのセンシング領域と、イメージセンサ１７１の撮像領域とが一致しない場合、センシング領域における術具の位置を、そのまま撮像画像２３１に適用することができない。このような場合、通知情報生成部１８３は、撮像画像２３１と温度画像の両方に基づいて、撮像画像２２１における術具の位置を特定する。つまり、表示画像２３０におけるこの余熱警告画像２３３の表示位置が設定される。
　なお、使用後要注意状態にある術具の先端付近が撮像画像２３１外に位置する場合、警告画像として、その術具の方向を示す画像を表示させるようにしてもよい。例えば、術具の方向を矢印で示すようにしてもよい。これにより、表示画像２３０を見た術者等は、より容易に使用後要注意状態にある術具の先端付近の方向を把握することができる。なお、通知情報生成部１８３が、撮像画像２２１と温度画像の両方に基づいて、使用後要注意状態にある術具の先端付近の方向を特定するようにしてもよい。
　なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、所定の温度以上の状態にある使用後の術具が存在することを通知する画像、その術具の数を通知する画像、その術具が撮像画像範囲内に位置する場合その術具を示す画像、および、その術具が撮像画像範囲外に位置する場合その術具の方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
　以上のように、各処理を実行することにより、監視装置１１３は、温度（温度分布）の時間変化を用いて検出されたイベントについての通知を行うことができる。つまり、監視装置１１３は、より多様なイベントについての通知を行うことができるようにする。
　なお、エナジーデバイス１２２等の術具の動作状態は、エナジーデバイス１２２等のスイッチのオンオフ状態等から検出するようにしてもよい。このようにすることにより、エナジーデバイス１２２の動作状態をより正確に検出することができ、監視装置１１３は、使用後要注意状態をより正確に検出することができる。
　なお、例えば、エナジーデバイス１２２の持ち手にLED等のデバイスを設け、それを発光させることで、以上のような余熱についての警告を行うようにしてもよい。また、このような警告を、上述した表示画像２３０による警告と併用するようにしてもよい。このようにすることにより、術者等に対して、より確実に警告を行うことができる。
　　＜その他の警告例＞
　また、監視装置１１３は、上述した警告処理と同様にして、上述した以外のイベントについて警告を行うようにすることもできる。
　例えば、監視装置１１３の警告対象検出部１８２が、温度画像における、出血領域の温度低下や血管部分の温度上昇等の時間変化に基づいて、止血の結果（成功若しくは失敗）をイベントとして検出するようにしてもよい。そして、通知情報生成部１８３が、警告画像として、その止血結果を通知する画像や、止血が行われた箇所の数を通知する画像を生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。また、止血が撮像画像の範囲内において行われた場合、通知情報生成部１８３が、止血が行われた箇所を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。さらに、止血が撮像画像の範囲外において行われた場合、通知情報生成部１８３が、止血が行われた方向を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。
　なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、止血結果を通知する画像、その止血が行われた箇所の数を通知する画像、その止血が撮像画像の範囲内において行われた場合その止血が行われた箇所を示す画像、および、その止血が撮像画像の範囲外において行われた場合その止血が行われた方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
　また、例えば、監視装置１１３の警告対象検出部１８２が、温度画像における、炎症等による生体の温度上昇等の時間変化に基づいて、不使用時の術具（エナジーデバイス１２２等）の接触による前記生体の損傷箇所をイベントとして検出するようにしてもよい。そして、通知情報生成部１８３が、警告画像として、その損傷箇所の発生を通知する画像や、損傷箇所の数を通知する画像を生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。また、損傷箇所が撮像画像の範囲内に位置する場合、通知情報生成部１８３が、その損傷箇所を示す画像を警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。さらに、損傷箇所が撮像画像の範囲外に位置する場合、通知情報生成部１８３が、その損傷箇所の方向を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。
　なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、損傷箇所の発生を通知する画像、その損傷箇所の数を通知する画像、その損傷箇所が撮像画像の範囲内に位置する場合その損傷箇所を示す画像、および、その損傷箇所が撮像画像の範囲外に位置する場合その損傷箇所の方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
　また、例えば、監視装置１１３の警告対象検出部１８２が、温度画像における、術具（エナジーデバイス１２２等）の接触部分の周囲の温度上昇等の時間変化に基づいて、術具の使用による術部若しくは術部周辺が所定の温度以上の状態にあることをイベントとして検出するようにしてもよい。そして、通知情報生成部１８３が、警告画像として、その所定の温度以上の状態にある箇所が発生したことを通知する画像や、その所定の温度以上の状態にある箇所の数を通知する画像を生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。また、その所定の温度以上の状態にある箇所が撮像画像の範囲内に位置する場合、通知情報生成部１８３が、その所定の温度以上の状態にある箇所の発生位置を示す画像を警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。さらに、所定の温度以上の状態にある箇所が撮像画像の範囲外に位置する場合、通知情報生成部１８３が、その所定の温度以上の状態にある箇所の発生方向を示す画像を、警告画像として生成し、出力制御部１８４がその警告画像を、撮像画像と重畳してモニタ１９１に表示させるようにしてもよい。
　図１１にその表示画像の例を示す。図１１に示される表示画像２４０において、エナジーデバイス１２２の先端付近の画像を含む撮像画像２４１に各種警告画像が重畳されている。図１１に示される表示画像２４０のように、警告画像として、生体の温度異常を通知する画像である生体温度異常警告メッセージ画像２４２が表示されるようにしてもよい。図１１の生体温度異常警告メッセージ画像２４２は、メッセージ「熱拡散あり」を含む。メッセージ「熱拡散あり」は、生体の温度異常が発生したことを通知するメッセージである。これにより、表示画像２４０を見た術者等は、生体の温度異常が発生したことをより容易に把握することができる。なお、この生体温度異常警告メッセージ画像２４２に、生体の温度異常が発生した数を示す数字を含めるようにしてもよい。このようにすることにより、表示画像２４０を見た術者等は、生体の温度以上が発生した箇所の数を、より容易に把握することができる。
　つまり、通知情報生成部１８３は、警告画像として、このような生体温度異常警告メッセージ画像２４２を生成するようにしてもよい。なお、この生体温度異常警告メッセージ画像２４２の表示位置は任意であり、図１１の例のように表示画像の左上でなくてもよい。通知情報生成部１８３が、撮像画像２４１の絵柄に基づいて、この生体温度異常警告メッセージ画像２４２の表示位置を設定するようにしてもよい。
　また、図１１に示される表示画像２４０のように、生体の温度異常が撮像画像２４１内に位置する場合、警告画像として、その温度異常が発生した箇所を示す画像として生体温度異常警告画像２４３を表示されるようにしてもよい。例えば、生体の４２℃に近づく危険な領域に対して、この生体温度異常警告画像２４３のように、色や模様を付す等して強調表示するようにしてもよい。これにより、表示画像２４０を見た術者等は、どこで温度異常が発生したかを直感的に把握することができる。
　なお、通知情報生成部１８３が生成する警告画像の内容は任意である。通知情報生成部１８３が、警告画像として、上述した、所定の温度以上の状態にある箇所が発生したことを通知する画像、所定の温度以上の状態にある箇所の数を通知する画像、所定の温度以上の状態にある箇所が撮像画像の範囲内に位置する場合その所定の温度以上の状態にある箇所の発生位置を示す画像、および、所定の温度以上の状態にある箇所が撮像画像の範囲外に位置する場合その所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成するようにしてもよい。さらに、通知情報生成部１８３が、その他の情報を警告画像に含めるようにしてもよい。
　以上のように、監視装置１１３は、温度（温度分布）の時間変化に基づいて、より多様なイベントを検出することができ、さらに、その多様なイベントについての通知を行うことができる。
　＜３．第３の実施の形態＞
　　＜奥行き検出＞
　なお、監視装置１１３が、温度画像以外の情報も用いてイベントを検出するようにしてもよい。例えば、ステレオイメージセンサを用いて得られるステレオ画像を用いて奥行きを検出し、術具と生体とが接触しそうな状態をイベントとして検出するようにしてもよい。
　　＜監視装置等の主な構成例＞
　図１２は、この場合の監視装置１１３等の主な構成例を示すブロック図である。この場合も、内視鏡手術支援システム１００は、基本的に図３の場合と同様の構成を有する。ただし、図１２の場合、内視鏡手術支援システム１００は、監視用センサ１２５として、サーモセンサ１２５Ａの他に、ステレオイメージセンサ１２５Ｂを有する。また、監視装置１１３は、警告対象検出部１８２の代わりに、警告対象検出部２５１を有する。
　ステレオイメージセンサ１２５Ｂは、複数のイメージセンサよりなり、それらにより被写体を撮像することにより、互いに視差を有する複数の撮像画像であるステレオ画像を生成する。ステレオイメージセンサ１２５Ｂは、サーモセンサ１２５Ａのセンシング領域と略同様の領域をセンシング領域とする。例えば、ステレオイメージセンサ１２５Ｂは、図１のように患者１５１の生体内に挿入された状態で設置され、サーモセンサ１２５Ａと同様に図２のセンシング領域１６３（術部および術部周辺）をセンシングする。ステレオイメージセンサ１２５Ｂは、生成したステレオ画像を警告対象検出部２５１に供給する。
　警告対象検出部２５１は、温度画像生成部１８１から温度画像を取得する。警告対象検出部２５１は、その温度画像（温度（温度分布）の時間変化）と、ステレオイメージセンサ１２５Ｂから取得したステレオ画像とを用いて、警告対象となる生体内でのイベントを検出する。また、警告対象検出部２５１は、CCU１１１を介してイメージセンサ１７１の撮像画像も得ることができ、その撮像画像も警告対象となる生体内でのイベントの検出に利用することができる。警告対象検出部２５１は、警告対象検出部１８２の場合と同様に、検出したイベントを通知情報生成部１８３に通知する。
　　＜警告処理の流れ＞
　この場合の警告処理の流れの例を、図１３のフローチャートを参照して説明する。
　ステップＳ１７１およびステップＳ１７２の各処理は、図４のステップＳ１０１およびステップＳ１０２の各処理と同様に実行される。
　ステップＳ１７３において、ステレオイメージセンサ１２５Ｂは、センシングを行い、ステレオ画像を生成する。ステレオイメージセンサ１２５Ｂは、そのセンシング結果（ステレオ画像）を警告対象検出部２５１に供給する。
　ステップＳ１７４において、温度画像生成部１８１は、図４のステップＳ１０３の場合と同様に、ステップＳ１７２の処理により得られたサーモセンサ１２５Ａのセンシング結果に基づいて、センシング領域の温度画像を生成する。
　ステップＳ１７５において、警告対象検出部２５１は、ステップＳ１７４の処理により得られた温度画像と、ステップＳ１７３の処理により得られたステレオ画像を用いて警告対象となるイベントの検出を行う。
　ステップＳ１７６乃至ステップＳ１８１の各処理は、図４のステップＳ１０５乃至ステップＳ１１０の各処理と同様に実行される。
　この場合も警告処理が実行中の間、ステップＳ１７１乃至ステップＳ１８１の各処理は、並行して実行される。つまり、イメージセンサ１７１による撮像や、サーモセンサ１２５Ａやステレオイメージセンサ１２５Ｂによるセンシングを行いながら、温度画像の生成、警告対象の検出、通知情報生成、通知情報の出力等の処理が行われる。
　したがって、警告対象検出部２５１においては、動画像としての温度画像が得られる。したがって、警告対象検出部２５１は、その動画像において、警告対象となる生体内でのイベントに対応する温度の時間変化のパターンの検出を行う。
　　＜使用後要注意状態検出処理の流れ＞
　このように、ステレオ画像を用いて生体内でのイベントを検出する場合について、術具の使用後の余熱の検出を行う使用後要注意状態検出処理を例に説明する。この場合、単に、術具の使用後の余熱が危険温度以上であることだけでなく、さらにその術具が生体に接触しそう（近接している）ことも警告する。
　このような場合の、使用後要注意状態検出処理の流れの例を図１４のフローチャートを参照して説明する。
　ステップＳ２０１乃至ステップＳ２０４の各処理は、図９のステップＳ１５１乃至ステップＳ１５４の各処理と同様に実行される。
　ステップＳ２０４において使用後要注意状態が検出されると、警告対象検出部２５１は、ステップＳ２０５において、ステレオ画像を用いて、術具（エナジーデバイス１２２）や生体（臓器）の空間位置を求める。例えば、警告対象検出部２５１は、ステレオ画像から、具（エナジーデバイス１２２）や生体（臓器）のそれぞれの奥行き位置を求める。
　ステップＳ２０６において、警告対象検出部２５１は、その求めた空間位置に基づいて、術具（エナジーデバイス１２２）が、生体（臓器）に近接するか否かを判定する。
　術具（エナジーデバイス１２２）が、生体（臓器）に近接していると判定された場合、警告対象検出部２５１は、ステップＳ２０７において、術具（エナジーデバイス１２２）が、生体（臓器）に接触しそうな状態である接触要注意状態であることを警告対象として検出する。
　したがって、この場合、図１３のステップＳ１７７乃至ステップＳ１７９の処理により、使用後要注意状態であることについてだけでなく、この接触要注意状態であることについても、警告情報が生成されてその画像や音声等が出力される。
　図１４に戻り、ステップＳ２０７の処理が終了すると、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。
　また、ステップＳ２０６において、術具（エナジーデバイス１２２）が、生体（臓器）に近接していないと判定された場合、ステップＳ２０７の処理が省略され、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。つまり、この場合、接触要注意状態ではない。
　したがって、この場合、図１３のステップＳ１７７乃至ステップＳ１７９の処理により、使用後要注意状態であることについてのみ、警告情報が生成されてその画像や音声等が出力される。
　ステップＳ２０８の処理は、図９のステップＳ１５５の処理と同様に実行される。
　以上のように各処理を行うことにより、監視装置１１３は、温度（温度分布）の時間変化を用いて、術具の使用後の余熱の状態についての警告を行うことができる。さらに、監視装置１１３は、ステレオ画像に基づいて、術具と生体との接触の可能性についても警告を行うことができる。なお、上述したように処理を行うことにより、術具と生体とが接触すると、生体が損傷する可能性がある使用後要注意状態の場合についてのみ、術具と生体との接触についての警告を行うことができる。つまり、不要な警告の通知を抑制し、より適切な場合のみ警告を行うことにより、術者等の視界や集中力を妨げることを抑制することができる。
　＜４．第４の実施の形態＞
　　＜診断＞
　なお、監視装置１１３が、温度画像等から検出した生体内でのイベントに対して、警告以外の処理を行うようにしてもよい。例えば、検出された生体内でのイベントを評価し、生体についての診断を行うようにしてもよい。つまり、温度画像の時間変化に基づいて、生体内でのイベントとして、生体の状態変化を検出し、その状態変化に基づく診断結果を通知する診断画像を生成するようにしてもよい。
　例えば、監視装置１１３が、生体に対して温度変化を生じさせる刺激（つまり加熱等）を行い、その後の温度（温度分布）の時間変化の様子に基づいて生体内でのイベントを診断結果として検出し、そのイベント（診断結果）に関する診断情報を出力するようにしてもよい。つまり、加熱部により生体に加熱し、その加熱後の生体の状態変化を検出するようにしてもよい。
　　＜監視装置等の主な構成例＞
　図１５は、この場合の監視装置１１３等の主な構成例を示すブロック図である。この場合も、内視鏡手術支援システム１００は、基本的に図３の場合と同様の構成を有する。ただし、図１５の場合、内視鏡手術支援システム１００は、ヒータ２６１をさらに備える。また、監視装置１１３は、加熱制御部２７１を備え、図３の警告対象検出部１８２の代わりに、診断部２７２を有する。
　ヒータ２６１は、所定の温度の熱を発生する加熱部である。ヒータ２６１は、術者等に操作されて、発生した熱を生体に印加（加熱）する。サーモセンサ１２５Ａは、生体の、そのヒータ２６１により加熱が行われた部分を含むセンシング領域について、その加熱が行われた後の経過（温度の時間変化）をセンシングする。
　加熱制御部２７１は、ヒータ２６１が発生する熱の温度を制御する。また、加熱制御部２７１は、その加熱に関する情報を診断部２７２に供給する。
　診断部２７２は、温度画像生成部１８１から供給される温度画像に基づいて生体等を診断する。また、診断部２７２は、加熱制御部２７１からの情報に基づいて加熱の状況等を確認する。診断部２７２は、その診断結果を通知情報生成部１８３に供給する。
　　＜亜区域の識別＞
　このような内視鏡手術支援システム１００を用いて、例えば、肝臓の亜区域を検出し、その領域を表示させることができる。
　図１６に示すように、肝臓は、門脈血流に基づいて「左葉」と「右葉」に分けられ、その左葉はさらに「外側区域」と「内側区域」に分けられ、右葉は「前区域」と「後区域」に分けられる。また、これらの４区域はさらに２区域ずつに分けられ、８つの「亜区域」が定義されている。切除手術等の際には、このような機能的区分が利用される。例えば、「亜区域」は、切除の単位の１つとして用いられている。
　したがって、例えば肝臓の亜区域切除を行う場合、各亜区域の特定が行われる。門脈枝（若しくは肝動脈枝でもよい）をヒータ２６１で生体に無害な程度に加熱すると、その熱が、その門脈枝内の血液を伝い、その門脈枝に沿った特定の亜区域が他の亜区域よりも温度上昇する。つまり、このような温度上昇が発生した領域の拡がりによって亜区域が特定される。
　例えば、図１７のように、術者等がヒータ２６１を用いて、門脈の所定の位置２８１を加熱すると、その門脈に沿って形成される「８」の亜区域が他の亜区域よりも温度上昇する。ただし、他の亜区域は他の門脈枝に沿って形成されるため、この温度上昇は他の亜区域に拡がり難い。そこで、温度画像において、温度上昇の領域の変化を観察し、その温度上昇領域の拡がりが鈍くなった時点で、温度が上昇した領域を「８」の亜区域として特定する。加熱する門脈枝を変えることにより、他の亜区域の範囲も同様に特定することができる。つまり、各亜区域の識別を行うことができる。
　このような方法により亜区域を特定することにより、薬品や特殊光を用いる場合よりも、極力患者の生体に負荷をかけずに、より非侵襲に亜区域を特定することができる。
　　＜診断処理の流れ＞
　この場合の内視鏡手術支援システム１００は、警告処理の代わりに診断処理を実行する。この診断処理の流れの例を、図１８のフローチャートを参照して説明する。
　診断処理が開始されると、ステップＳ２２１において、イメージセンサ１７１は、撮像領域１６２を撮像する。ステップＳ２２２において、加熱制御部２７１は、ヒータ２６１を制御して、生体に無害な温度で生体の所定の部分を加熱する。ステップＳ２２３において、サーモセンサ１２５Ａは、センシング領域のセンシングを行う。
　ステップＳ２２４において、温度画像生成部１８１は、サーモセンサ１２５Ａのセンシング結果を用いて温度画像を生成する。
　ステップＳ２２５において、診断部２７２は、温度画像を用いて温度の時間変化の様子を診断する。ステップＳ２２６において、通知情報生成部１８３は、通知情報として、その診断結果を示す診断情報を生成する。この診断情報は、例えば、診断結果を示す画像である診断画像や、診断結果を音声で示す診断音声等を含む。
　ステップＳ２２７において、出力制御部１８４は、ステップＳ２２６において生成した診断画像を、ステップＳ２２１において生成した生体（術部）の撮像画像に重畳してモニタ１９１に表示させる。
　ステップＳ２２８において、出力制御部１８４は、ステップＳ２２６において生成した診断音声を、スピーカ１９２から出力させる。
　ステップＳ２２９において、出力制御部１８４は、診断処理を終了するか否かを判定する。診断処理を終了しないと判定された場合、処理はステップＳ２２１に戻り、それ以降の処理が繰り返される。つまり、診断処理が実行中の間、ステップＳ２２１乃至ステップＳ２２９の各処理が実行される。そして、ステップＳ２２９において、診断処理を終了すると判定された場合、診断処理が終了する。
　診断処理が実行中の間、ステップＳ２２１乃至ステップＳ２２９の各処理は、並行して実行される。つまり、ヒータ２６１を用いた加熱、イメージセンサ１７１による撮像、サーモセンサ１２５Ａによるセンシング等を行いながら、温度画像の生成、温度変化の診断、通知情報生成、通知情報の出力等の処理が行われる。
　したがって、診断部２７２においては、動画像としての温度画像が得られる。したがって、診断部２７２は、その動画像において、診断対象となるイベントに対応する温度の時間変化のパターンの検出を行う。
　　＜表示画像＞
　例えば、上述した亜区域の特定の場合、診断部２７２は、温度画像において、温度上昇領域の拡がりを観察し、その拡がりが鈍くなった時点で、その温度上昇領域を、加熱した門脈枝に対応する亜区域として特定する。加熱位置を変えることにより、各亜区域を同様に特定することができる。
　そして、通知情報生成部１８３は、例えば、各亜区域を識別する画像を診断画像として生成し、表示させる。
　図１９は、その診断画像を表示する表示画像の例を示す図である。図１９に示される表示画像２９０は、上述した診断処理を行って温度上昇領域の拡がりを診断した場合の診断画像を含む表示画像の例を示している。図１９に示されるように、この表示画像２９０においては、肝臓を含む生体（術部）の撮像画像２９１に、各亜区域の位置を示す亜区域識別画像２９２－１乃至亜区域識別画像２９２－８が重畳されている。なお以下において、亜区域識別画像２９２－１乃至亜区域識別画像２９２－８を互いに区別して説明する必要が無い場合、亜区域識別画像２９２と称する。
　このような亜区域識別画像２９２を表示することにより、この表示画像を見た術者等は、各亜区域の位置をより容易に把握することができる。したがって、監視装置１１３は、術者に、亜区域切除等をより容易に行わせることができる。
　　＜その他の診断例＞
　なお、診断の内容は任意であり、上述した亜区域の例に限定されない。
　例えば、肺の病変検出に本技術を利用するようにしてもよい。従来は、病変の部分にバリウム、針などによるマーキングを術前に行い、X線で切除部分を把握する方法が用いられていた。しかしながらこの方法は、非浸襲でなく、患者（生体）への負荷が大きかった。
　そこで、このマーキングを、ヒータ２６１や同様の発熱する物体（例えば携帯カイロのような仕組みの物）で行うようにする。このようにすることで、サーモセンサ１２５Ａを用いて、そのマーキングした部分を容易に検出することができる。つまり、術者等は、切除する部分をより容易に把握することができる。また、そのマーキングの為の患者への負荷を低減させることができる。さらに、Ｘ線の照射が不要になるので、患者のみならず、医師の被ばくも防ぐことができる。
　その他、例えば、血管検出に本技術を利用するようにしてもよい。その場合、例えば、冷たい生理食塩水・ブドウ糖などの投与し、血管の温度変化イベントを温度画像から検出するようにすればよい。また、リンパ管検出に本技術を利用するようにしてもよい。その場合、例えば、リンパ管に冷たい生理食塩水などの投与し、リンパ管の温度変化イベントを検出するようにしてもよい。また、骨と神経の区別に本技術を利用するようにしてもよい。さらに、癌の検出に本技術を利用するようにしてもよい。その場合、例えば、ヒータ２６１などにより生体に熱を与え、その熱伝導率の違いによる冷め方の違いというイベントを温度画像から癌細胞を検出するようにしてもよい。
　なお、上述した加熱には、生体の体温よりも高い温度の加熱と、体温よりも低い温度の加熱との両方を含む（どちらでもよい）。また、温度の時間変化の様子には、温度上昇の様子と温度低下の様子との両方を含む（どちらでもよい）。
　また、診断は、複数の診断候補の中から選択して行うことができるようにしてもよい。例えば、診断部２７２が、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、通知情報生成部が、診断画像として、生体の撮像画像に重畳されて表示される、検出部により検出された、亜区域、病変、血管、リンパ管、骨、神経、若しくは癌細胞を識別可能に示す画像を生成するようにしてもよい。
　＜５．第５の実施の形態＞
　　＜制御＞
　なお、監視装置１１３が、温度画像等から検出した生体内でのイベントに基づいて、警告等の情報の通知だけでなく、術具などの機器制御を行うようにしてもよい。例えば、生体内において計測された温度画像に基づいて、生体内に送気される気体の温度、若しくは、生体内に照射される照明光の明るさを制御するようにしてもよい。
　　＜監視装置等の主な構成例＞
　図２０は、この場合の監視装置１１３等の主な構成例を示すブロック図である。この場合も、内視鏡手術支援システム１００は、基本的に図３の場合と同様の構成を有する。ただし、図２０の場合、監視装置１１３は、制御部３１２を備え、さらに、図３の警告対象検出部１８２の代わりに、警告制御対象検出部３１１を有する。
　警告制御対象検出部３１１は、温度画像生成部１８１から供給される温度画像に基づいて、警告と機器制御の対象となるイベントを検出する。機器制御の対象となるイベントが検出された場合、警告制御対象検出部３１１は、その旨を制御部３１２に通知する。また、警告制御対象検出部３１１は、警告の対象となるイベントが検出された場合、その旨を通知情報生成部１８３に供給する。
　制御部３１２は、警告制御対象検出部３１１から機器制御の対象となるイベントが検出されたことが通知されると、術具制御装置１１５や気腹装置１１６を介して、術具などに対してそのイベントに応じた制御を行う。
　　＜警告制御処理の流れ＞
　この場合の内視鏡手術支援システム１００は、警告処理の代わりに警告制御処理を実行する。この警告制御処理の流れの例を、図２１のフローチャートを参照して説明する。
　警告制御処理が開始されると、ステップＳ２４１乃至ステップＳ２４３の各処理は、図４のステップＳ１０１乃至ステップＳ１０３の各処理と同様に実行される。
　ステップＳ２４４において、警告制御対象検出部３１１は、ステップＳ２４３において生成された温度画像を用いて警告制御対象を検出する。そして、ステップＳ２４５において、警告制御対象検出部３１１は、警告制御対象が検出されたか否かを判定する。
　警告制御対象が検出されたと判定された場合、ステップＳ２４６において、制御部３１２は、検出されたイベントに応じて機器を制御する。
　ステップＳ２４７において、通知情報生成部１８３は、通知情報として、異常が発生したことを通知する異常発生通知情報を生成する。ステップＳ２４８において、出力制御部１８４は、異常発生通知情報の画像である異常発生通知画像を、CCU１１１を介して取得した撮像画像に重畳してモニタ１９１に表示させる。また、ステップＳ２４９において、出力制御部１８４は、異常発生通知情報の音声である異常発生通知音声を、スピーカ１９２に供給し、出力させる。
　また、ステップＳ２４５において、警告制御対象が検出されていないと判定された場合、ステップＳ２５０において、出力制御部１８４は、CCU１１１を介して取得した撮像画像をモニタ１９１に表示させる。
　ステップＳ２５１において、出力制御部１８４は、警告制御処理を終了するか否かを判定する。警告制御処理を終了しないと判定された場合、処理はステップＳ２４１に戻り、それ以降の処理が繰り返される。つまり、警告処理が実行中の間、ステップＳ２４１乃至ステップＳ２５１の各処理が実行される。そして、ステップＳ２５１において、警告処理を終了すると判定された場合、警告処理が終了する。
　警告処理が実行中の間、ステップＳ２４１乃至ステップＳ２５１の各処理は、並行して実行される。つまり、イメージセンサ１７１による撮像や、サーモセンサ１２５Ａによるセンシングを行いながら、温度画像の生成、警告対象の検出、通知情報生成、機器制御、通知情報の出力等の処理が行われる。
　したがって、警告制御対象検出部３１１においては、動画像としての温度画像が得られる。したがって、警告制御対象検出部３１１は、その動画像において、警告制御対象となるイベントに対応する温度の時間変化のパターンの検出を行う。
　　＜表示画像＞
　図２２にモニタ１９１に表示されるこの場合の表示画像の例を示す。図２２に示される表示画像３２０は、上述した異常発生通知画像を含む表示画像の例を示している。図２２に示されるように、この表示画像３２０においては、撮像画像３２１に異常発生通知画像が重畳されている。
　図２２に示される表示画像３２０のように、異常発生通知画像として、生体の異常の発生を通知する画像である警告メッセージ画像２２２が表示されるようにしてもよい。これにより、表示画像３２０を見た術者等は、より容易に以上の発生を把握することができるまた、表示画像３２０のように、異常発生通知画像として、異常が発生した位置を示す警告対象位置提示画像３２３が表示されるようにしてもよい。
　　＜温度異常検出処理の流れ＞
　例えば、警告制御対象検出部３１１は、生体に発生する温度以上を検出するようにしてもよい。例えば、温度画像を用いて、臓器に害を及ぼす温度の領域検出を行うようにしてもよい。図２１のステップＳ２４４において実行される、この温度異常検出処理の流れの例を図２３のフローチャートを参照して説明する。
　温度異常検出処理が開始されると、ステップＳ２７１において、警告制御対象検出部３１１は、危険温度よりも高い箇所が存在するか否かを判定する。危険温度よりも高い箇所が存在すると判定された場合、警告制御対象検出部３１１は、ステップＳ２７２において、その温度上昇が加熱によるものであるか否かを判定する。加熱によるものであると判定された場合、警告制御対象検出部３１１は、ステップＳ２７３において、加熱領域外であるか否かが判定される。加熱領域外であると判定された場合、警告制御対象検出部３１１は、ステップＳ２７４において、温度異常を検出する。また、ステップＳ２７１において、危険温度よりも高い箇所が存在しないと判定された場合、処理はステップＳ２７５に進む。また、ステップＳ２７２において、加熱によるものでないと判定された場合、ステップＳ２７３の処理が省略され、処理はステップＳ２７４に進む。また、ステップＳ２７４の処理が終了すると、処理はステップＳ２７５に進む。
　ステップＳ２７５において、警告制御対象検出部３１１は、温度異常検出処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ２７１に戻りそれ以降の処理を繰り返す。また、ステップＳ２７５において、温度異常検出処理を終了すると判定された場合、温度異常検出処理を終了する。
　　＜制御処理の流れ＞
　次に図２１のステップＳ２４６において実行される、この制御処理の流れの例を図２４のフローチャートを参照して説明する。
　制御処理が開始されると、制御部３１２は、ステップＳ２９１において、気腹装置１１６を制御して、送気ガスの温度を下げる。また、ステップＳ２９２において、制御部３１２は、術具制御装置１１５に基づいて、照明を弱めて、生体内の温度を低減させる。
　以上のように、監視装置１１３は、温度（温度分布）の時間変化に基づいて、より多様なイベントを検出することができ、さらに、その多様なイベントについて機器を制御したり、通知を行ったりすることができる。
　なお、複数の光源を持つシステムの場合には、明るさを落とす照明、代わりに強める照明などの制御により温度制御が行われるようにしてもよい。また、同様なやり方でエナジーデバイスの温度制御（周辺部位の温度上昇イベント検出）を行うようにしてもよい。
　以上のように、監視装置１１３は、温度（温度分布）の時間変化を用いて検出されたイベントに応じて、警告、診断、制御等、より多様なイベントについての通知を行うことができる。
　　＜その他のシステム＞
　なお、以上においては、各実施の形態において、本技術を適用した医療支援システムとして、内視鏡手術支援システムを例に説明したが、本技術は、内視鏡手術支援システムに限らず、任意のシステムに適用することができる。例えば、顕微鏡を利用して行う開腹手術である顕微鏡手術を支援する顕微鏡手術支援システムにも適用することができる。顕微鏡手術支援システムでは内視鏡の代わりに顕微鏡が用いられるが、この顕微鏡も内視鏡と同様に、イメージセンサを有し、光源装置１１２から供給される光を術部および術部周辺に照射し、CCU１１１に制御されて術部および術部周辺を撮像する。
　したがって、各実施の形態において上述した本技術は、このような顕微鏡手術支援システムにも、内視鏡手術支援システムの場合と同様に適用することができ、同様の作用効果を奏することができる。
　＜６．第６の実施の形態＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
　また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　例えば、本技術は、医療支援装置、内視鏡装置、顕微鏡装置、それらの装置を制御するコンピュータ、複数の装置からなる医療支援システム、またはそのソフトウェア・モジュール等に適用することができる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
　前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
　を備える医療支援装置。
　（２）　前記検出部は、前記術部若しくは前記術部周辺の温度分布画像の時間変化に基づいて前記生体内でのイベントを検出する
　（１）に記載の医療支援装置。
　（３）　前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、警告すべき状態を検出し、
　前記通知情報生成部は、前記状態に関する警告を行う警告画像を生成する
　（２）に記載の医療支援装置。
　（４）　前記通知情報生成部は、前記術部若しくは前記術部周辺の撮像画像に重畳されて表示する前記警告画像を生成する
　（３）に記載の医療支援装置。
　（５）　前記検出部は、前記温度分布画像の時間変化に基づいて、出血の発生を検出し、
　前記通知情報生成部は、前記警告画像として、前記出血の発生を通知する画像、前記出血の発生数を通知する画像、前記出血の発生箇所が前記撮像画像範囲内に位置する場合、前記発生箇所を示す画像、および、前記出血の発生箇所が前記撮像画像範囲外に位置する場合、前記発生箇所の方向を示す画像の内の１つ以上を生成する
　（４）に記載の医療支援装置。
　（６）　前記検出部は、前記温度分布画像の時間変化に基づいて、使用後の術具が、所定の温度以上の状態にあることを検出し、
　前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある術具が存在することを通知する画像、前記術具の数を通知する画像、前記術具が前記撮像画像範囲内に位置する場合、前記術具を示す画像、および、前記術具が前記撮像画像範囲外に位置する場合、前記術具の方向を示す画像の内の１つ以上を生成する
　（４）または（５）に記載の医療支援装置。
　（７）　前記検出部は、前記温度分布画像の時間変化に基づいて、止血の結果を検出し、
　前記通知情報生成部は、前記警告画像として、前記止血結果を通知する画像、前記止血が行われた箇所の数を通知する画像、前記止血が前記撮像画像範囲内において行われた場合、前記止血が行われた箇所を示す画像、および、前記止血が前記撮像画像範囲外において行われた場合、前記止血が行われた方向を示す画像の内の１つ以上を生成する
　（４）乃至（６）のいずれかに記載の医療支援装置。
　（８）　前記検出部は、前記温度分布画像の時間変化に基づいて、不使用時の術具の接触による前記術部若しくは前記術部周辺の損傷箇所を検出し、
　前記通知情報生成部は、前記警告画像として、前記損傷箇所の発生を通知する画像、前記損傷箇所の数を通知する画像、前記損傷箇所が前記撮像画像範囲内に位置する場合、前記損傷箇所を示す画像、および、前記損傷箇所が前記撮像画像範囲外に位置する場合、前記損傷箇所の方向を示す画像の内の１つ以上を生成する
　（４）乃至（７）のいずれかに記載の医療支援装置。
　（９）　前記検出部は、前記温度分布画像の時間変化に基づいて、術具の使用による前記術部若しくは前記術部周辺が所定の温度以上の状態にある箇所を検出し、
　前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある箇所が発生したことを通知する画像、前記所定の温度以上の状態にある箇所の数を通知する画像、前記所定の温度以上の状態にある箇所が前記撮像画像範囲内に位置する場合、前記所定の温度以上の状態にある箇所の発生位置を示す画像、および、前記所定の温度以上の状態にある箇所が前記撮像画像範囲外に位置する場合、前記所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成する
　（４）乃至（８）のいずれかに記載の医療支援装置。
　（１０）　前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、前記生体の状態変化を検出し、
　前記通知情報生成部は、前記状態変化に基づく診断結果を通知する診断画像を生成する
　（２）乃至（９）のいずれかに記載の医療支援装置。
　（１１）　前記生体に加熱する加熱部をさらに備え、
　前記検出部は、前記加熱部による加熱後の前記生体の状態変化を検出する
　（１０）に記載の医療支援装置。
　（１２）　前記検出部は、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、
　前記通知情報生成部は、前記診断画像として、前記術部の撮像画像に重畳されて表示される、前記検出部により検出された、前記亜区域、前記病変、前記血管、前記リンパ管、前記骨、前記神経、若しくは前記癌細胞を識別可能に示す画像を生成する
　（１１）に記載の医療支援装置。
　（１３）　前記検出部は、さらに、前記術部若しくは前記術部周辺の前記温度の時間変化以外のセンシング結果に基づいて前記生体内でのイベントを検出する
　（１）乃至（１２）のいずれかに記載の医療支援装置。
　（１４）　前記検出部は、前記術部若しくは前記術部周辺の温度の時間変化と、前記術部若しくは前記術部周辺のステレオ画像とに基づいて、前記生体内でのイベントを検出する
　（１３）に記載の医療支援装置。
　（１５）　前記術部若しくは前記術部周辺の温度を検出する温度センサをさらに備え、
　前記検出部は、前記温度センサにより検出される前記術部若しくは前記術部周辺の温度の時間変化に基づいて前記生体内でのイベントを検出する
　（１）乃至（１４）のいずれかに記載の医療支援装置。
　（１６）　前記通知情報生成部により生成される前記通知情報の画像を表示する表示部をさらに備える
　（１）乃至（１５）のいずれかに記載の医療支援装置。
　（１７）　前記検出部により検出された前記生体内でのイベントに応じて術具を制御する制御部をさらに備える
　（１）乃至（１６）のいずれかに記載の医療支援装置。
　（１８）　前記制御部は、前記生体内に送気される気体の温度、若しくは、前記生体内に照射される照明光の明るさを制御する
　（１）乃至（１７）のいずれかに記載の医療支援装置。
　（１９）　医療支援装置が、
　術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、
　検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する
　医療支援方法。
　（２０）　温度センサと、医療支援装置と、表示装置とを有する医療支援システムであって、
　前記温度センサは、術部若しくは前記術部周辺の温度を測定するように構成され、
　前記医療支援装置は、
　　前記温度センサにより測定された前記術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
　　前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
　を備え、
　前記表示装置は、前記通知情報生成部により生成された前記通知情報の画像を表示するように構成される
　医療支援システム。
　１００　内視鏡手術支援システム，　１１１　CCU，　１１２　光源装置，　１１３　監視装置，　１１４　出力装置，　１１５　術具制御装置，　１１６　気腹装置，　１２１　内視鏡，　１２２　エナジーデバイス，　１２３　鉗子，　１２４　気腹針，　１２５　監視用センサ，　１２５Ａ　サーモセンサ，　１２５Ｂ　ステレオイメージセンサ，　１３１　トロッカ，　１４１　患者ベッド，　１５１　患者，　１６１　患部，　１６２　撮像領域，　１６３　センシング領域，　１７１　イメージセンサ，　１８１　温度画像生成部，　１８２　警告対象検出部，　１８３　通知情報生成部，　１８４　出力制御部，　１９１　モニタ，　１９２　スピーカ，　２１１　臓器，　２１２　領域，　２２０　表示画像，　２２１　撮像画像，　２２２　出血警告メッセージ画像，　２２３　出血位置提示画像，　２２４　出血方向提示画像，　２３０　表示画像，　２３１　撮像画像，　２３２　余熱警告メッセージ画像，　２３３　余熱警告画像，　２４０　表示画像，　２４１　撮像画像，　２４２　生体温度異常警告メッセージ画像，　２４３　生体温度異常警告画像　２５１　警告対象検出部，　２６１　ヒータ，　２７１　加熱制御部，　２７２　診断部，　２９０　表示画像，　２９１　撮像画像，　２９２　亜区域識別画像　３１１　警告制御対象検出部，　３１２　制御部，　３２０　表示画像，　３２１　撮像画像，　３２２　警告メッセージ画像，　３２３　警告対象位置提示画像　９００　コンピュータ

Claims (20)

  1. 　術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
    　前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
    　を備える医療支援装置。
  2. 　前記検出部は、前記術部若しくは前記術部周辺の温度分布画像の時間変化に基づいて前記生体内でのイベントを検出する
    　請求項１に記載の医療支援装置。
  3. 　前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、警告すべき状態を検出し、
    　前記通知情報生成部は、前記状態に関する警告を行う警告画像を生成する
    　請求項２に記載の医療支援装置。
  4. 　前記通知情報生成部は、前記術部若しくは前記術部周辺の撮像画像に重畳されて表示する前記警告画像を生成する
    　請求項３に記載の医療支援装置。
  5. 　前記検出部は、前記温度分布画像の時間変化に基づいて、出血の発生を検出し、
    　前記通知情報生成部は、前記警告画像として、前記出血の発生を通知する画像、前記出血の発生数を通知する画像、前記出血の発生箇所が前記撮像画像範囲内に位置する場合、前記発生箇所を示す画像、および、前記出血の発生箇所が前記撮像画像範囲外に位置する場合、前記発生箇所の方向を示す画像の内の１つ以上を生成する
    　請求項４に記載の医療支援装置。
  6. 　前記検出部は、前記温度分布画像の時間変化に基づいて、使用後の術具が、所定の温度以上の状態にあることを検出し、
    　前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある術具が存在することを通知する画像、前記術具の数を通知する画像、前記術具が前記撮像画像範囲内に位置する場合、前記術具を示す画像、および、前記術具が前記撮像画像範囲外に位置する場合、前記術具の方向を示す画像の内の１つ以上を生成する
    　請求項４に記載の医療支援装置。
  7. 　前記検出部は、前記温度分布画像の時間変化に基づいて、止血の結果を検出し、
    　前記通知情報生成部は、前記警告画像として、前記止血結果を通知する画像、前記止血が行われた箇所の数を通知する画像、前記止血が前記撮像画像範囲内において行われた場合、前記止血が行われた箇所を示す画像、および、前記止血が前記撮像画像範囲外において行われた場合、前記止血が行われた方向を示す画像の内の１つ以上を生成する
    　請求項４に記載の医療支援装置。
  8. 　前記検出部は、前記温度分布画像の時間変化に基づいて、不使用時の術具の接触による前記術部若しくは前記術部周辺の損傷箇所を検出し、
    　前記通知情報生成部は、前記警告画像として、前記損傷箇所の発生を通知する画像、前記損傷箇所の数を通知する画像、前記損傷箇所が前記撮像画像範囲内に位置する場合、前記損傷箇所を示す画像、および、前記損傷箇所が前記撮像画像範囲外に位置する場合、前記損傷箇所の方向を示す画像の内の１つ以上を生成する
    　請求項４に記載の医療支援装置。
  9. 　前記検出部は、前記温度分布画像の時間変化に基づいて、術具の使用による前記術部若しくは前記術部周辺が所定の温度以上の状態にある箇所を検出し、
    　前記通知情報生成部は、前記警告画像として、前記所定の温度以上の状態にある箇所が発生したことを通知する画像、前記所定の温度以上の状態にある箇所の数を通知する画像、前記所定の温度以上の状態にある箇所が前記撮像画像範囲内に位置する場合、前記所定の温度以上の状態にある箇所の発生位置を示す画像、および、前記所定の温度以上の状態にある箇所が前記撮像画像範囲外に位置する場合、前記所定の温度以上の状態にある箇所の発生方向を示す画像の内の１つ以上を生成する
    　請求項４に記載の医療支援装置。
  10. 　前記検出部は、前記温度分布画像の時間変化に基づいて、前記生体内でのイベントとして、前記生体の状態変化を検出し、
    　前記通知情報生成部は、前記状態変化に基づく診断結果を通知する診断画像を生成する
    　請求項２に記載の医療支援装置。
  11. 　前記生体に加熱する加熱部をさらに備え、
    　前記検出部は、前記加熱部による加熱後の前記生体の状態変化を検出する
    　請求項１０に記載の医療支援装置。
  12. 　前記検出部は、肝臓の亜区域の検出、病変の検出、血管の検出、リンパ管の検出、骨および神経の識別、若しくは癌細胞の検出を行い、
    　前記通知情報生成部は、前記診断画像として、前記術部の撮像画像に重畳されて表示される、前記検出部により検出された、前記亜区域、前記病変、前記血管、前記リンパ管、前記骨、前記神経、若しくは前記癌細胞を識別可能に示す画像を生成する
    　請求項１１に記載の医療支援装置。
  13. 　前記検出部は、さらに、前記術部若しくは前記術部周辺の前記温度の時間変化以外のセンシング結果に基づいて前記生体内でのイベントを検出する
    　請求項１に記載の医療支援装置。
  14. 　前記検出部は、前記術部若しくは前記術部周辺の温度の時間変化と、前記術部若しくは前記術部周辺のステレオ画像とに基づいて、前記生体内でのイベントを検出する
    　請求項１３に記載の医療支援装置。
  15. 　前記術部若しくは前記術部周辺の温度を検出する温度センサをさらに備え、
    　前記検出部は、前記温度センサにより検出される前記術部若しくは前記術部周辺の温度の時間変化に基づいて前記生体内でのイベントを検出する
    　請求項１に記載の医療支援装置。
  16. 　前記通知情報生成部により生成される前記通知情報の画像を表示する表示部をさらに備える
    　請求項１に記載の医療支援装置。
  17. 　前記検出部により検出された前記生体内でのイベントに応じて術具を制御する制御部をさらに備える
    　請求項１に記載の医療支援装置。
  18. 　前記制御部は、前記生体内に送気される気体の温度、若しくは、前記生体内に照射される照明光の明るさを制御する
    　請求項１に記載の医療支援装置。
  19. 　医療支援装置が、
    　術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出し、
    　検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する
    　医療支援方法。
  20. 　温度センサと、医療支援装置と、表示装置とを有する医療支援システムであって、
    　前記温度センサは、術部若しくは前記術部周辺の温度を測定するように構成され、
    　前記医療支援装置は、
    　　前記温度センサにより測定された前記術部若しくは前記術部周辺の温度の時間変化に基づいて生体内でのイベントを検出する検出部と、
    　　前記検出部により検出された前記生体内でのイベントに応じた通知を行う通知情報を生成する通知情報生成部と
    　を備え、
    　前記表示装置は、前記通知情報生成部により生成された前記通知情報の画像を表示するように構成される
    　医療支援システム。
PCT/JP2016/066544 2015-06-19 2016-06-03 医療支援装置および方法、並びに、医療支援システム WO2016203985A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112016002762.1T DE112016002762T5 (de) 2015-06-19 2016-06-03 Medizinische Unterstützungsvorrichtung, ihr medizinisches Unterstützungssystem
US15/577,826 US20180160910A1 (en) 2015-06-19 2016-06-03 Medical support device, method thereof, and medical support system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-124106 2015-06-19
JP2015124106A JP2017006337A (ja) 2015-06-19 2015-06-19 医療支援装置および方法、並びに、医療支援システム

Publications (1)

Publication Number Publication Date
WO2016203985A1 true WO2016203985A1 (ja) 2016-12-22

Family

ID=57544905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/066544 WO2016203985A1 (ja) 2015-06-19 2016-06-03 医療支援装置および方法、並びに、医療支援システム

Country Status (4)

Country Link
US (1) US20180160910A1 (ja)
JP (1) JP2017006337A (ja)
DE (1) DE112016002762T5 (ja)
WO (1) WO2016203985A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207456A1 (ja) * 2017-05-08 2018-11-15 ソニー株式会社 画像取得システム、画像取得方法、制御装置および制御方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018105020A1 (ja) * 2016-12-05 2018-06-14 オリンパス株式会社 内視鏡装置
JP7140139B2 (ja) * 2017-03-29 2022-09-21 ソニーグループ株式会社 医療撮像システム及びコンピュータプログラム
CA3102508A1 (en) * 2018-06-12 2019-12-19 H.T Bioimaging Ltd. A system, method and computer product for differentiating between tissue states and types
US20200015899A1 (en) * 2018-07-16 2020-01-16 Ethicon Llc Surgical visualization with proximity tracking features
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
EP3636159B1 (de) * 2018-10-09 2024-04-24 Ivoclar Vivadent AG Dentalwerkzeugsteuerungssystem
JP7413215B2 (ja) * 2020-09-09 2024-01-15 英敏 太田 消化器内視鏡
US20220211276A1 (en) * 2021-01-05 2022-07-07 Quest Medical, Inc. Thermal imaging detection
WO2022244105A1 (ja) * 2021-05-18 2022-11-24 リバーフィールド株式会社 力覚表示装置、力覚表示方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07500757A (ja) * 1991-11-08 1995-01-26 イーピー　テクノロジーズ，インコーポレイテッド 組織のインピーダンスをモニタしながら組織を切除するシステム及び方法
JP2004097519A (ja) * 2002-09-10 2004-04-02 Hitachi Medical Corp 超音波診断装置
JP2013544131A (ja) * 2010-10-25 2013-12-12 メドトロニック アーディアン ルクセンブルク ソシエテ ア レスポンサビリテ リミテ 腎ニューロモジュレーションのためのマルチ電極アレイを有するカテーテル装置ならびに関連のシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07500757A (ja) * 1991-11-08 1995-01-26 イーピー　テクノロジーズ，インコーポレイテッド 組織のインピーダンスをモニタしながら組織を切除するシステム及び方法
JP2004097519A (ja) * 2002-09-10 2004-04-02 Hitachi Medical Corp 超音波診断装置
JP2013544131A (ja) * 2010-10-25 2013-12-12 メドトロニック アーディアン ルクセンブルク ソシエテ ア レスポンサビリテ リミテ 腎ニューロモジュレーションのためのマルチ電極アレイを有するカテーテル装置ならびに関連のシステムおよび方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018207456A1 (ja) * 2017-05-08 2018-11-15 ソニー株式会社 画像取得システム、画像取得方法、制御装置および制御方法
CN110545709A (zh) * 2017-05-08 2019-12-06 索尼公司 图像获取***、图像获取方法、控制装置和控制方法
JPWO2018207456A1 (ja) * 2017-05-08 2020-03-12 ソニー株式会社 画像取得システム、画像取得方法、制御装置および制御方法
EP3610780A4 (en) * 2017-05-08 2020-04-01 Sony Corporation IMAGE ACQUISITION SYSTEM AND METHOD, AND CONTROL DEVICE AND METHOD
US10849486B2 (en) 2017-05-08 2020-12-01 Sony Corporation Image acquisition system, image acquisition method, control device, and control method
CN110545709B (zh) * 2017-05-08 2022-04-26 索尼公司 图像获取***、图像获取方法、控制装置和控制方法
JP7234920B2 (ja) 2017-05-08 2023-03-08 ソニーグループ株式会社 画像取得システム、画像取得方法、制御装置および制御方法

Also Published As

Publication number Publication date
DE112016002762T5 (de) 2018-03-29
US20180160910A1 (en) 2018-06-14
JP2017006337A (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
WO2016203985A1 (ja) 医療支援装置および方法、並びに、医療支援システム
US10966590B2 (en) Surgical system, information processing device, and method
US10624663B1 (en) Controlled dissection of biological tissue
US11963683B2 (en) Method for operating tiered operation modes in a surgical system
JP7166809B2 (ja) リアルタイム３次元（３ｄ）心臓撮像におけるガラス状態ビューのためのシステム及び方法
JP2021079117A (ja) レーザ光凝固の最適化のためのシステム、装置、および方法
JP2023544593A (ja) 協働的外科用ディスプレイ
JP2023544594A (ja) 容量及びユーザ操作に基づく階層化されたシステムの表示制御
CN105125279B (zh) 心脏消融位点之间的间隙的识别和可视化
JP2023544360A (ja) 複数の外科用ディスプレイ上へのインタラクティブ情報オーバーレイ
WO2019116593A1 (ja) 手術支援装置
JP7235912B2 (ja) 医療画像処理システム、内視鏡システム
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
CN113662594B (zh) 乳腺穿刺定位/活检方法、装置、计算机设备和存储介质
CA3022355A1 (en) Systems and methods facilitating application of an appropriate thermal dosage in microwave ablation procedures
WO2020036091A1 (ja) 情報処理装置および情報処理方法
EP3666217B1 (en) Composite visualization of body part
KR101855461B1 (ko) 최소 침습 수술을 위한 자동 니들링 시스템 및 그 방법
JP7348386B2 (ja) 医療画像処理システム、認識処理用プロセッサ装置、及び医療画像処理システムの作動方法
JP2015188559A (ja) 医療用イメージング装置
JP2017200516A (ja) 統合化システム
US20230360216A1 (en) Systems and methods for detecting perfusion in surgery
US20230404652A1 (en) System, information storage medium, and information processing method
JP2022010852A (ja) 手術支援システム及び手術支援方法
WO2021111472A1 (en) Device for detecting and treating tissue abnormalities

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16811460

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15577826

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016002762

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16811460

Country of ref document: EP

Kind code of ref document: A1