WO2024042721A1 - 手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム - Google Patents

手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム Download PDF

Info

Publication number
WO2024042721A1
WO2024042721A1 PCT/JP2022/032262 JP2022032262W WO2024042721A1 WO 2024042721 A1 WO2024042721 A1 WO 2024042721A1 JP 2022032262 W JP2022032262 W JP 2022032262W WO 2024042721 A1 WO2024042721 A1 WO 2024042721A1
Authority
WO
WIPO (PCT)
Prior art keywords
angio
image
corrected
surgical support
acquisition unit
Prior art date
Application number
PCT/JP2022/032262
Other languages
English (en)
French (fr)
Inventor
修 加藤
駿平 吉武
聖真 岡本
舜 大和田
Original Assignee
朝日インテック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 朝日インテック株式会社 filed Critical 朝日インテック株式会社
Priority to PCT/JP2022/032262 priority Critical patent/WO2024042721A1/ja
Publication of WO2024042721A1 publication Critical patent/WO2024042721A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/12Arrangements for detecting or locating foreign bodies

Definitions

  • the present invention relates to technology for supporting surgery.
  • FPDs Felat Panel Detectors
  • An FPD is a device that has an X-ray tube device and an X-ray plane detector and acquires X-ray images of blood vessels.
  • An X-ray image acquired by an FPD is also called an "angiography image,” and an imaging device equipped with an FPD is also called an "angiography device.”
  • a corrected image is generated by adding a corrected image and at least one corrected image generated before the corrected image, and is displayed sequentially, so that the image moves with pulsation. It has been described that the stent can be controlled with a fixed video display in real time.
  • CTO chronic total occlusion
  • the inside of the blood vessel may be occluded by an occluder.
  • the intravascular occlusion can be removed using a subintimal approach, etc. in which the medical device is introduced from the true lumen to the false lumen and then re-entered from the false lumen to the true lumen. Blood vessels are recanalized.
  • the operator proceeds with the procedure while checking the position and orientation of the distal end of the medical device within the blood vessel while visually checking the angio image captured by the angio apparatus.
  • Patent Document 1 describes a technology for controlling fixed video display in real time of a stent that moves due to pulsation using additive correction images, there is still room for improvement in the technology described in Patent Document 1. was there.
  • issues are not limited to recanalization of the CTO, but also include insertion of medical devices into biological lumens such as the lymphatic system, biliary tract system, urinary tract system, respiratory tract system, digestive system, secretory glands, and reproductive organs.
  • biological lumens such as the lymphatic system, biliary tract system, urinary tract system, respiratory tract system, digestive system, secretory glands, and reproductive organs.
  • this is common to all examinations and treatments in which procedures are performed while referring to medical devices shown in angio images.
  • such issues are not limited to the tip of the medical device, but also to the general technology that can reduce the blurring of the position of the specific part of the medical device on the angio image.
  • An object of the present invention is to reduce the blurring of the position of a medical device identification part on an angio image.
  • the present invention has been made to solve at least part of the above-mentioned problems, and can be realized as the following forms.
  • a surgical support device includes an angio image acquisition unit that sequentially acquires angio images representing a target blood vessel into which a medical device has been inserted at predetermined time intervals corresponding to the heartbeat cycle; An image correction unit that sequentially corrects the angio images sequentially acquired by the angio image acquisition unit, wherein the position of the specific part of the medical device included in the angio image to be corrected is lower than the angio image to be corrected. an image correction unit that generates a corrected angio image by correcting the angio image to be corrected so as to approach the position of the specific part of the medical device included in the angio image acquired temporally earlier;
  • the angio image acquisition unit sequentially acquires angio images at each predetermined interval, with the time interval corresponding to the heartbeat cycle being the predetermined interval. Since the heart repeats regular expansion and contraction (hereinafter also referred to as "expansion/contraction") according to the pulsation cycle, it is possible to measure the expansion and contraction of the heart by acquiring angio images at predetermined intervals according to the pulsation cycle. Angio images with equal (uniform) conditions can be obtained. As a result, the angio image acquisition section can reduce blurring of the position of the medical device identification section on the angio image due to pulsation.
  • the image correction unit is configured such that, among the angio images sequentially acquired by the angio image acquisition unit, the position of the specific part of the medical device included in the angio image to be corrected is longer than the position of the specific part of the medical device included in the angio image to be corrected.
  • a corrected angio image is generated by correcting the angio image to be corrected so that the angio image to be corrected approaches the position of the specific part of the medical device included in the previously acquired angio image. Therefore, the image correction section can reduce blurring of the position of the medical device identification section on the angio image, which is mainly caused by factors other than heart beats.
  • the surgical support device of this embodiment separates (separately) the reduction of blur caused by pulsations by the angio image acquisition unit and the reduction of blur caused by factors other than pulsations by the image correction unit. ), it is possible to reduce the positional blur of the medical device identification part on the angio image with high precision. As a result, according to the surgical support device of this embodiment, it becomes possible for the operator to correctly grasp the position of the medical device identification part within the target blood vessel, thereby improving the accuracy of the procedure, shortening the time required for the procedure, It is also possible to reduce the burden on patients.
  • the angio image acquisition unit adjusts the time interval between two temporally consecutive electrocardiogram data acquired in the past by the electrocardiogram measuring device according to the heart beat cycle.
  • the angio images may be acquired sequentially at time intervals.
  • the predetermined interval is calculated from the time interval between two temporally consecutive electrocardiogram data acquired in the past by the electrocardiogram measuring device. Therefore, the angio image acquisition unit can acquire an angio image in which blur caused by pulsation is accurately reduced according to the pulsation cycle of each patient's heart.
  • the angio image acquisition unit adjusts the time interval between two temporally consecutive electrocardiogram data acquired immediately before by the electrocardiogram measuring device according to the heart beat cycle.
  • the angio images may be acquired sequentially at time intervals.
  • the predetermined interval is calculated from the time interval between two temporally consecutive electrocardiogram data acquired immediately before by the electrocardiogram measuring device. For this reason, the angio image acquisition unit acquires an angio image that accurately reduces blur caused by the heartbeat, based on the previous heartbeat cycle that is close to the current heartbeat cycle of each patient. Images can be obtained.
  • the electrocardiogram data is electrocardiogram waveform data
  • the data acquired relatively later among the two consecutive electrocardiogram waveform data is set as the n-th electrocardiogram waveform data
  • the electrocardiogram data is electrocardiogram waveform data.
  • the angio image acquisition unit is configured to determine the time point (tn-1) at which a specific waveform appears in the (n-1)th electrocardiogram waveform data and the n-1st electrocardiogram waveform data.
  • the angio images may be sequentially acquired in which the time interval between the time tn at which the specific waveform appears in the n electrocardiogram waveform data is a time interval corresponding to the heartbeat cycle.
  • the predetermined interval is the time point tn-1 at which a specific waveform appears in the n-1st electrocardiogram waveform data, and the time point tn-1 when a specific waveform appears in the It is calculated from the time interval between the time point tn at which a specific waveform appears in the n electrocardiogram waveform data.
  • the angio image acquisition unit can determine the expansion/contraction state of the heart. It is possible to obtain an angio image when the image is in an enlarged/reduced state suitable for viewing the medical device. As a result, the visibility of the medical device in the angio image can be improved.
  • the image correction unit may be configured such that the position of the specific part of the medical device included in the angioimage to be corrected is the same as the angioimage acquired immediately before the angioimage to be corrected.
  • the angio image to be corrected may be corrected so as to approach the position of the specific portion of the medical device included in the corrected angio image after the image is corrected.
  • the angio image to be corrected is corrected using the position of the specific portion of the medical device included in the corrected angio image obtained immediately before the angio image to be corrected.
  • the surgical support device of the above configuration further includes an electrocardiogram information acquisition unit that acquires electrocardiogram data from an electrocardiogram measurement device, and an FPD (flat panel detector) that continuously captures images at intervals shorter than the predetermined interval.
  • the image forming apparatus may further include a target image acquisition unit that extracts the angio images at the predetermined intervals from the continuous angio images representing the target blood vessel.
  • the surgical support device further extracts angio images at predetermined intervals, which are time intervals corresponding to the heart beat cycle, from the continuous angio images representing the target blood vessel continuously imaged by the FPD.
  • An image acquisition unit is provided. In this way, the angio device equipped with the FPD only needs to continuously supply angio images of the target blood vessel to the surgical support device (in other words, supply continuous angio images); The expandability of the system consisting of devices can be improved.
  • the surgical support device of the above embodiment further includes a true lumen information acquisition unit that acquires three-dimensional position information of a true lumen existing in the target blood vessel, and a true lumen information acquisition unit that generates a true lumen image representing the true lumen.
  • an image generation unit an image synthesis unit that generates a composite image by combining the corrected angio image and the true lumen image; and outputs the composite image;
  • An angio image obtained by imaging the target blood vessel with an FPD (flat panel detector) placed at a position, the corrected angio image for the angio image at each predetermined interval is obtained from the image correction unit,
  • a true lumen image representing the true lumen in a position and orientation corresponding to the corrected angio image may be generated using position information of an arbitrary imaging position and three-dimensional position information of the true lumen.
  • the true lumen image generation section uses the positional information of the arbitrary imaging position where the angio image was acquired and the three-dimensional positional information of the true lumen acquired by the true lumen information acquisition section, A true lumen image representing the true lumen at a position and posture corresponding to the corrected angio image can be generated.
  • the true lumen image generation unit generates an image of the true lumen based on the three-dimensional position information of the true lumen, even when the contrast agent does not flow into the target true lumen or when the contrast agent is not flowing into the blood vessel.
  • the image synthesis unit generates a composite image by combining the corrected angio image at an arbitrary imaging position and a true lumen image representing an image of the true lumen, and in order to output the composite image, the corrected angio image is combined with the true image of the blood vessel.
  • An image of the cavity can be displayed. Therefore, by checking the composite image, the operator can proceed with the procedure while checking the positional relationship between the medical device on the corrected angiography image and the true lumen on the true lumen image. As a result, the operator can accurately grasp the position of the true lumen within the target blood vessel, thereby improving the precision of the procedure, shortening the time required for the procedure, and reducing the burden on the patient.
  • the angio image acquisition unit is configured to collect the angio images at the predetermined intervals, the first angio image acquired by imaging by the FPD disposed at a first position; , a second angio image obtained by imaging by the FPD disposed at a second position different from the first position, and the image correction unit corrects the corrected angio image with respect to the first angio image. and a second corrected angio image that is the corrected angio image with respect to the second angio image, and the true lumen information acquisition unit uses an ultrasonic sensor to generate an image inside the target blood vessel. an ultrasound image obtained by imaging at the predetermined intervals, position information of the first position, the first corrected angio image, and a position of the second position.
  • the information and the second corrected angio image may be used to obtain three-dimensional position information of the true lumen.
  • the true cavity information acquisition unit can reduce blur caused by heart beats and blur caused by factors other than heart beats (such as changes in thorax volume associated with breathing).
  • Three-dimensional position information of the true lumen is obtained using the first and second corrected angio images. Therefore, three-dimensional positional information of the true lumen can be acquired with high precision compared to the case of using an angio image in which blur is not reduced. Further, since the imaging interval between the ultrasound image and the first and second corrected angio images can be synchronized using a predetermined interval, three-dimensional positional information of the true lumen can be acquired with higher precision.
  • an angio apparatus consists of an FPD (flat panel detector) that has an X-ray tube device and an A target image acquisition unit that acquires an angio image representing the target blood vessel by causing the FPD to image the blood vessel and outputs the acquired image.
  • FPD flat panel detector
  • a target image acquisition unit that acquires an angio image representing the target blood vessel by causing the FPD to image the blood vessel and outputs the acquired image.
  • the target image acquisition unit sets the time interval according to the heartbeat cycle to a predetermined interval, and captures an image of the target blood vessel into which the medical device is inserted at each predetermined interval. Acquire an image and output the acquired image. Since the heart repeats expansion and contraction regularly according to the heartbeat cycle, by acquiring angioimages at predetermined intervals according to the heartbeat cycle, it is possible to obtain angioimages in which the expansion and contraction state of the heart is equal (uniform). can be obtained. As a result, the target image acquisition section can reduce blurring of the position of the medical device identification section on the angio image due to pulsation.
  • angio apparatus of this embodiment it becomes possible for the operator to correctly grasp the position of the medical device identification part within the target blood vessel, thereby improving the precision of the procedure, shortening the time required for the procedure, and It is possible to reduce the burden on patients.
  • the angio apparatus of the above embodiment further includes an electrocardiogram information acquisition unit that acquires electrocardiogram data from the electrocardiogram measurement device, and the target image acquisition unit includes a temporally continuous image that has been acquired in the past by the electrocardiogram information acquisition unit.
  • the time interval between the two pieces of electrocardiogram data may be the predetermined interval that corresponds to the heartbeat cycle.
  • the predetermined interval is calculated from the time interval between two temporally consecutive electrocardiogram data acquired in the past by the electrocardiogram measuring device. Therefore, the target image acquisition unit can output an angio image in which blur caused by pulsation is accurately reduced according to the pulsation cycle of each patient's heart.
  • the angio apparatus of the above embodiment further includes an electrocardiogram information acquisition unit that acquires electrocardiogram data from the electrocardiogram measurement device, and the target image acquisition unit includes a temporally continuous image that has been acquired immediately before by the electrocardiogram information acquisition unit.
  • the time interval between the two pieces of electrocardiogram data may be the predetermined interval that corresponds to the heartbeat cycle.
  • the predetermined interval is calculated from the time interval between two temporally consecutive electrocardiogram data acquired immediately before by the electrocardiogram measuring device. Therefore, the target image acquisition unit acquires an angiograph that accurately reduces blur caused by the heartbeat, based on the previous heartbeat cycle that is close to the current heartbeat cycle of each patient. Images can be output.
  • the electrocardiogram data is electrocardiogram waveform data
  • the data acquired relatively later among the two consecutive electrocardiogram waveform data is set as the n-th electrocardiogram waveform data
  • the electrocardiogram data is electrocardiogram waveform data.
  • the target image acquisition unit is configured to determine the time point tn-1 at which a specific waveform appears in the n-1st electrocardiogram waveform data and the n-th electrocardiogram waveform data.
  • the time interval between the time point tn at which the specific waveform appears in the electrocardiogram waveform data may be the predetermined interval, which is a time interval according to the heartbeat cycle.
  • a surgical support system includes the surgical support device of the above-mentioned form and the angio device of the above-described form, and the target image acquisition unit of the angio device sequentially sends the angio images at the predetermined intervals to the surgical support device. and the angio image acquisition unit of the surgical support device sequentially acquires the angio images at the predetermined intervals from the angio device, and the image correction unit of the surgery support device acquires the angio image acquisition unit by the angio image acquisition unit.
  • the latest angio image is set as the angio image to be corrected.
  • the target image acquisition unit of the angio device sequentially transmits angio images at predetermined intervals to the surgical support device at predetermined time intervals corresponding to the heartbeat cycle, and Since the image acquisition unit sequentially acquires angio images from the angio device at predetermined intervals, the processing load in the system can be distributed between the angio device and the surgical support device, thereby eliminating processing delays caused by high processing loads. can suppress the occurrence of
  • the image correction unit of the surgical support device uses the latest angio image as the angio image to be corrected among the plurality of angio images acquired by the angio image acquisition unit, so that the corrected angio image for the latest angio image is delayed. It can be output without any problem.
  • the surgical support device further includes a true lumen information acquisition unit that acquires three-dimensional positional information of a true lumen existing in the target blood vessel, and a true lumen representing the true lumen.
  • the true lumen image generation unit includes a true lumen image generation unit that generates an image, an image synthesis unit that generates a composite image by combining the corrected angio image and the true lumen image, and outputs the composite image.
  • the unit is an angio image obtained by imaging the target blood vessel by the FPD disposed at an arbitrary imaging position, and the corrected angio image for the angio image at each predetermined interval is obtained from the image correction unit.
  • a true lumen image representing the true lumen in a position and orientation corresponding to the corrected angioimage may be generated using the positional information of the arbitrary imaging position and the three-dimensional positional information of the true lumen. According to this configuration, by checking the composite image, the operator can proceed with the procedure while checking the positional relationship between the medical device on the corrected angio image and the true lumen on the true lumen image. As a result, the operator can accurately grasp the position of the true lumen within the target blood vessel, thereby improving the precision of the procedure, shortening the time required for the procedure, and reducing the burden on the patient.
  • the angio image acquisition unit is configured to collect the angio images at the predetermined intervals, the first angio image acquired by imaging by the FPD disposed at a first position; , a second angio image obtained by imaging by the FPD disposed at a second position different from the first position, and the image correction unit corrects the corrected angio image with respect to the first angio image. and a second corrected angio image that is the corrected angio image with respect to the second angio image, and the true lumen information acquisition unit uses an ultrasonic sensor to generate an image inside the target blood vessel. an ultrasound image obtained by imaging at the predetermined intervals, position information of the first position, the first corrected angio image, and a position of the second position.
  • the information and the second corrected angio image may be used to obtain three-dimensional position information of the true lumen.
  • three-dimensional positional information of the true lumen can be acquired with high precision compared to the case of using an angio image in which blur is not reduced.
  • the imaging interval between the ultrasound image and the first and second corrected angio images can be synchronized using a predetermined interval, three-dimensional positional information of the true lumen can be acquired with higher precision.
  • the present invention has been made to solve at least part of the above-mentioned problems, and can be realized as the following forms.
  • angio equipment, surgical support equipment, server devices or robots that realize the functions of these devices, systems that include these devices, computer programs that realize the functions of these devices and systems, and servers that distribute the computer programs.
  • It can be realized in the form of a device, a non-transitory storage medium storing a computer program thereof, or the like.
  • FIG. 1 is an explanatory diagram illustrating the configuration of a surgical support system.
  • 5 is a flowchart illustrating an example of a processing procedure of a first process executed by a target image acquisition unit. It is a figure explaining a 1st process and a 2nd process. It is a flowchart which shows an example of the processing procedure of the 2nd process performed by a surgery support device. It is a figure explaining the 2nd processing. It is a figure explaining the 2nd processing.
  • FIG. 2 is an explanatory diagram illustrating the configuration of a surgical support system according to a second embodiment.
  • FIG. 7 is a diagram illustrating an angio image acquisition unit according to a second embodiment.
  • FIG. 3 is a diagram illustrating an example of a method by which a true lumen information acquisition unit acquires three-dimensional position information of a true lumen. It is a figure explaining a true lumen image generation part and an image composition part.
  • FIG. 3 is an explanatory diagram illustrating the configuration of a surgical support system according to a third embodiment. It is a flowchart which shows an example of the processing procedure of the 1st process in 3rd Embodiment.
  • FIG. 12 is an explanatory diagram illustrating the configuration of a surgical support system according to a fourth embodiment. 12 is a flowchart illustrating an example of a processing procedure of a first process in a fourth embodiment. It is a figure explaining the 1st processing and the 2nd processing of a 4th embodiment.
  • FIG. 1 is an explanatory diagram illustrating the configuration of a surgical support system 1.
  • the surgical support system 1 is a system that supports examinations and treatments.
  • the surgical support system 1 includes a surgical support device 10, an angio device 20 having an FPD (Flat Panel Detector), a display device 30, a table 40, an operation unit 50, and an electrocardiogram measuring device 60.
  • FPD Fluor Deformation Deformation
  • the captured image of the target blood vessel captured by the FPD will also be referred to as an "angiographic image" hereinafter.
  • the surgical support system 1 of the present embodiment can obtain an angio image in which the positional blur of the medical device identification unit on the angio image, which is caused by heart beats, is reduced through "first processing" described later.
  • the surgical support system 1 generates a corrected angio image in which the positional blur of the medical device identification part on the angio image, which is mainly caused by factors other than the heart beat, is reduced through "second processing" which will be described later.
  • factors other than heart beats are a general term for factors other than heart beats, such as the movement of the patient's body in response to changes in the volume of the thoracic cage associated with breathing, and the movement of the patient's body in response to swallowing movements. It is.
  • the second process aims to reduce blur caused by factors other than pulsation, but also reduces blur caused by pulsation (that is, blur caused by pulsation that remains after the first processing). can be achieved.
  • medical device refers to any device used in a procedure, such as a guide wire, a penetrating guide wire, a plasma guide wire, a catheter, and an imaging sensor.
  • Medical device specific part means a certain specific part of a medical device.
  • the medical device identification part can be arbitrarily defined, and may be, for example, a part of the medical device that is important for testing or treatment (for example, the tip), or a part that is characteristic of the medical device (for example, a protruding part). (or a portion where a marker is placed, etc.).
  • the medical device specifying section is also simply referred to as a "specific section.”
  • a catheter will be exemplified as a medical device, and a distal tip of the catheter will be exemplified as a specific part.
  • target blood vessel means a blood vessel that is the target of examination or treatment, but the surgical support system 1 is applicable not only to the vascular system but also to the lymph gland system, biliary tract system, urinary tract system, respiratory tract system, and digestive system. It may be used within the lumen of a living body, such as the system, secretory glands, and reproductive organs.
  • FIG. 1 mutually orthogonal XYZ axes are illustrated.
  • the X axis corresponds to the width direction of the angio device 20
  • the Y axis corresponds to the height direction of the angio device 20
  • the Z axis corresponds to the depth direction of the angio device 20.
  • the direction in which the head 92 of the patient (FIG. 1: human body 90) is located is also simply referred to as the "Z-axis direction" and simply expressed as "Z”.
  • a three-dimensional space formed by three-dimensional coordinates (XYZ coordinates) consisting of the X, Y, and Z axes is called an XYZ three-dimensional space. Note that the origin O of the XYZ three-dimensional space (XYZ coordinates) is the position of the heart 91 of the human body 90.
  • the surgical support device 10 is a device that generates and outputs a corrected angio image by executing a second process described below.
  • the "corrected angiography image” is an image in which blurring of the position of the medical device identification part on the angiography image, which is mainly caused by factors other than heart beats, is reduced.
  • the surgical support device 10 is configured to include a CPU, ROM, and RAM, and the CPU executes a computer program stored in the ROM or RAM to control the main control unit 11, the angio image acquisition unit 12, The functions of the image correction section 13 and the display control section 14 are realized.
  • the surgical support device 10 also includes a storage unit (not shown).
  • the storage unit is composed of a hard disk, flash memory, memory card, etc.
  • the surgical support device 10 is electrically connected to each of the control device 29, display device 30, and operation unit 50 of the angio device 20.
  • the main control unit 11 transmits and receives information to and from the control device 29, display device 30, and operation unit 50 of the angio apparatus 20, and controls the entire surgical support device 10.
  • the angio image acquisition unit 12 sets the time interval according to the heartbeat cycle to a predetermined interval, and generates an angio image representing the target blood vessel into which the medical device is inserted (in other words, an angio image obtained by the first process) at a predetermined time interval corresponding to the heart beat cycle. angiography images) are sequentially acquired.
  • the process (step) performed by the angio image acquisition unit 12 is also referred to as an angio image acquisition process (step).
  • the image correction unit 13 executes a “second process” of sequentially correcting the angio images sequentially acquired by the angio image acquisition unit 12.
  • the second process is the process shown in the following a1 and a2. Details will be described later.
  • (a1) The position of the specific part of the medical device included in the angio image K to be corrected is (a2)
  • the process (step) performed by the image correction unit 13 is also referred to as an image correction process (step).
  • the display control unit 14 causes the display device 30 to output the corrected angio image K' generated by the image correction unit 13.
  • the process (step) executed by the display control unit 14 is also called a display control process (step).
  • the angio device 20 has an FPD and acquires an image (angio image) by acquiring X-rays that have passed through the human body and converting them into digital signals.
  • the angio device 20 includes a first FPD 21, a first X-ray tube device 22, a first C-arm 23, a first support section 24, a second FPD 25, a second X-ray tube device 26, a second C-arm 27, and a second It has a support part 28 and a control device 29.
  • the first FPD 21 includes an X-ray flat detector, converts the X-rays incident from the first X-ray tube device 22 into electrical signals, performs A/D (analog/digital) conversion, and generates an X-ray image. do.
  • the first X-ray tube device 22 receives a high voltage output from an X-ray high voltage device (not shown) and irradiates an X-ray beam. As shown by the thick broken line extending in the Y-axis direction in FIG. 1, the X-ray beam irradiated from the first X-ray tube device 22 enters the first FPD 21 via the human body 90.
  • the first C-arm 23 is a C-shaped arm (supporting tool) that fixes the first FPD 21 and the first X-ray tube device 22 at opposing positions.
  • the first support portion 24 rotatably supports the first C-arm 23. That is, the first FPD 21 and the first X-ray tube device 22 can be moved to any imaging position around the human body 90 lying on the bed 41 while being fixed at opposing positions by the first C-arm 23.
  • first FPD 21 and the first X-ray tube device 22 fixed to the first C-arm 23 will also be simply referred to as "first FPD 21.”
  • the configuration of the second FPD 25 is similar to that of the first FPD 21.
  • the configuration of the second X-ray tube device 26 is similar to that of the first X-ray tube device 22.
  • the second C-arm 27 is a C-shaped arm (supporting tool) that fixes the second FPD 25 and the second X-ray tube device 26 in opposing positions.
  • the second support part 28 rotatably supports the second C-arm 27.
  • the second FPD 25 and the second X-ray tube device 26 can be moved to any imaging position around the human body 90 while being fixed at opposing positions by the second C-arm 27.
  • the second FPD 25 and the second X-ray tube device 26 fixed to the second C-arm 27 will also be simply referred to as "second FPD 25.”
  • the second FPD 25 is generally arranged in the normal direction of the first FPD 21.
  • the first FPD 21 when the first FPD 21 is set at the imaging position in the front direction of the human body 90 (the vertical direction of the human body 90, the longitudinal direction of the human body 90), the second FPD 25 is positioned in the horizontal direction of the human body 90 (the vertical direction of the human body 90). (lateral direction) imaging position.
  • the angio device 20 may also be simply called an “FPD” or “FPD device”.
  • the control device 29 is configured to include a CPU, ROM, and RAM, and the CPU controls the entire angio device 20 by executing a computer program stored in the ROM or RAM.
  • the control device 29 electrically connects each of the surgical support device 10, the first FPD 21, the second FPD 25, the first support section 24, the second support section 28, the display device 30, the table 40, the operation section 50, and the electrocardiogram measurement device 60. It is connected to the.
  • the control device 29 transmits and receives information to and from the surgical support device 10, the display device 30, the table 40, the operation unit 50, and the electrocardiogram measuring device 60.
  • the control device 29 drives the first support section 24 to rotate the first C-arm 23 and drives the second support section 28 to rotate the second C-arm 27 in accordance with the operation from the operation section 50 .
  • the control device 29 changes the height of the bed 41 by expanding and contracting the extendable part 42 and changes the position of the bed 41 by moving the table 40 in the Z-axis direction according to the operation from the operation unit 50. .
  • the control device 29 further realizes each function of the target image acquisition section 291 and the electrocardiogram information acquisition section 292 by the CPU executing a computer program stored in the ROM or RAM.
  • the target image acquisition unit 291 sets a time interval according to the heartbeat cycle to a predetermined interval, causes the first FPD 21 (or second FPD 25) to image the target blood vessel at each predetermined interval, and performs angiographing of the target blood vessel acquired by imaging.
  • a “first process” of outputting the image to the surgical support device 10 is executed. Details of the first process will be described later.
  • the electrocardiogram information acquisition unit 292 acquires electrocardiogram data measured by the electrocardiogram measurement device 60 from the electrocardiogram measurement device 60.
  • the "electrocardiogram data" of this embodiment includes both information shown in b1 and b2 below.
  • the electrocardiogram information acquisition unit 292 may acquire only one of the electrocardiogram waveform data b1 and the trigger signal b2 from the electrocardiogram measuring device 60.
  • (b1) Electrocardiogram waveform data including P wave, Q wave, R wave, S wave, T wave, and U wave
  • a trigger signal that becomes 1 (ON) at the timing when any specific waveform (for example, R wave) among the electrocardiogram waveform data appears, and becomes 0 (OFF) at the timing when other waveforms appear.
  • the electrocardiogram measurement device 60 may be configured to be able to change a specific waveform to be set to 1 (ON).
  • the display device 30 is connected to the surgical support device 10 and the control device 29 of the angio device 20, and functions as an output interface for the surgical support device 10 and the angio device 20.
  • the display device 30 includes a monitor 31 and an arm 32.
  • the monitor 31 is a "display unit" configured by a well-known means such as a liquid crystal display, smart glasses, or a projector.
  • the arm 32 supports and fixes the monitor 31.
  • the table 40 is a stand on which the human body 90 is placed near the first FPD 21 and the second FPD 25.
  • the table 40 has a bed 41, an extendable portion 42, and leg portions 43.
  • the bed 41 includes a mattress on which the human body 90 lies.
  • the bed 41 is supported by the table 40 so as to be movable in the Z-axis direction.
  • the extensible portion 42 is configured to be able to change the height of the bed 41 by expanding and contracting in the Y-axis direction.
  • the leg portions 43 support the bed 41 and the extendable portion 42. As shown by the broken line in FIG.
  • the human body 90 is placed facing upward on the bed 41, with the head 92 placed on the side closer to the first FPD 21 and the second FPD 25, and the feet 93 placed on the side farther from the first FPD 21 and second FPD 25. is laid to rest. In this way, it is easy to obtain an image of the target blood vessel in the heart 91 using the first FPD 21 and the second FPD 25.
  • the operation unit 50 is connected to the surgery support device 10 and the control device 29 of the angio device 20, and functions as an input interface for the surgery support device 10 and the angio device 20.
  • the operation unit 50 is an "input unit" that includes a touch panel, an operation button, an operation lever, an operation switch, a keyboard, a mouse, a voice input unit, a foot switch, and other known means. In the illustrated example, the operation unit 50 is fixed to the table 40.
  • the electrocardiogram measurement device 60 is a device that collects and measures electrocardiogram data by inducing minute electromotive force generated by the activity of the heart 91 through electrodes attached to the human body 90 and amplifying the electromotive force. As described above, the electrocardiogram measurement device 60 transmits both the electrocardiogram waveform data b1 and the trigger signal b2 to the angio device 20.
  • FIG. 2 is a flowchart illustrating an example of the procedure of the first process executed by the target image acquisition unit 291.
  • the first process is to obtain an angio image representing the target blood vessel by imaging the target blood vessel into which the medical device has been inserted at a predetermined time interval corresponding to the heartbeat cycle, at each predetermined interval. It is processing.
  • the first process shown in FIG. 2 is started at any timing. The arbitrary timing may be, for example, simultaneous with turning on the power of the angio apparatus 20, starting of a predetermined application provided by the control device 29, or the second processing in the surgical support apparatus 10 (in FIG. 4). (described later) may be started in conjunction with the start of (described later).
  • the FPD first FPD 21 or second FPD 25
  • FPD the FPD
  • FIG. 3 is a diagram explaining the first process and the second process.
  • the trigger signal S2 of b2 is illustrated in time series among the electrocardiogram data acquired by the control device 29 from the electrocardiogram measurement device 60.
  • the control device 29 illustrates the electrocardiogram waveform data S1 of b1 among the electrocardiogram data acquired from the electrocardiogram measuring device 60 in chronological order.
  • the timing at which the trigger signal S2 becomes 1, that is, the timing at which the R wave appears in the electrocardiogram waveform data S1 is also referred to as "Wn time point (n is a natural number)."
  • Wn time point n is a natural number
  • each Wn time point is marked with a broken line extending vertically in the paper, and the same time point as each Wn time point is referred to as a "time point tn" (n is a natural number).
  • time point tn n is a natural number.
  • the electrocardiogram waveform data S1 in FIG. 3 the calculation of predetermined intervals in the control device 29 and the timing t at which the control device 29 causes the FPD to image the target blood vessel to obtain an angio image are illustrated in chronological order.
  • angio images Vn (n is a natural number) acquired by imaging using the FPD are illustrated in chronological order.
  • corrected angio images Vn' that have been corrected by the surgical support device 10 through second processing to be described later are shown in chronological order.
  • FIG. 3 illustrates a case where the interval between Wn and Wn-1 (in other words, the interval between time tn and time tn-1) is constant. However, in the actual human body 90, the distance between Wn and Wn-1 may be slightly different.
  • the target image acquisition unit 291 detects the W1 time point and the W2 time point using one of the trigger signal S2 of the electrocardiogram data and the electrocardiogram waveform data S1.
  • the target image acquisition unit 291 performs pattern matching and peak value detection processing on the electrocardiogram waveform data S1 to detect a specific waveform (R waveform). ) can be detected.
  • the processing load on the target image acquisition unit 291 (the processing load for detecting a specific waveform) can be reduced.
  • Angio image V1 is acquired.
  • step S104 the target image acquisition unit 291 transmits the acquired angio image V1 to the surgery support apparatus 10.
  • step S106 the target image acquisition unit 291 assigns 3 to the variable n, 2 to the variable m (m is a natural number), and transitions the process to step S108. Note that steps S100 to S106 are initial processing.
  • step S108 the target image acquisition unit 291 detects the Wn time point using one of the trigger signal S2 of the electrocardiogram data and the electrocardiogram waveform data S1.
  • step S110 the target image acquisition unit 291 determines whether the absolute value of ⁇ tn obtained in step S108
  • ⁇ tn tn ⁇ tn ⁇ 1
  • This predetermined value is a threshold value for determining whether or not the heart 91 of the human body 90 is causing arrhythmia or bradycardia. It is stored in the device 29. Note that in step S110, comparison may be made with respect to both a first threshold value for determining the presence or absence of arrhythmia and a second threshold value for determining the presence or absence of bradycardia.
  • step S110 it may be determined whether the absolute value of ⁇ tn obtained in step S108
  • ⁇ tn tn - tn-1
  • step S110: YES If the absolute value of ⁇ tn is larger than the predetermined value (step S110: YES), the target image acquisition unit 291 transmits a warning to the surgical support device 10 in step S112. The surgical support device 10 that has received the warning displays a warning message on the display device 30 to alert the surgeon. On the other hand, if the absolute value of ⁇ tn is less than or equal to the predetermined value (step S110: NO), the target image acquisition unit 291 shifts the process to step S114.
  • the target image acquisition unit 291 controls the FPD so that imaging of the FPD (that is, X-ray irradiation by the first X-ray tube device 22 and X-ray detection and conversion by the first FPD 21) is performed accurately at timing t.
  • the operation command is sent to the FPD a little before timing t, taking into account the preparation time required for startup, etc. in advance. This point also applies to step S102 described above.
  • step S116 the target image acquisition unit 291 transmits the acquired angio image Vm to the surgical support device 10.
  • step S118 the target image acquisition unit 291 adds 1 to each of the variables n and m, moves the process to step S108, and repeats the process described above.
  • the target image acquisition unit 291 of the angio apparatus 20 sequentially transmits the angio images V1, V2, V3, . . . , Vm shown in FIG. 3 to the surgical support apparatus 10.
  • a second process is performed using the angio images V1, V2, V3, . . . , Vm sequentially acquired from the angio device 20.
  • the process of FIG. 2 is repeatedly continued until a predetermined termination condition is satisfied.
  • the termination condition may be, for example, turning off the power of the angio apparatus 20, or termination of an application started at the start of the process.
  • the target image acquisition unit 291 of the angio apparatus 20 causes the FPD to image the target blood vessel and acquires the angio images V1, V2, V3, ..., Vm (in other words, the target image acquisition unit 291 of the angio apparatus 20 images the target blood vessel).
  • the angio images V1, V2, V3, ..., Vm) acquired by the angio image acquisition unit 12 of the device 10 are based on the time interval ⁇ tn between two temporally consecutive electrocardiogram data acquired immediately before by the electrocardiogram measuring device 60.
  • the heart 91 of the human body 90 repeatedly expands and contracts in accordance with the pulsation cycle. Therefore, the target image acquisition unit 291 of the present embodiment determines that after ⁇ tn from time tn, the pulsation cycle of the heart 91 is in the same phase as the time tn-1 (in other words, the expansion/contraction state of the heart 91 is the same as the time tn). -1) and causes the FPD to acquire the angio image Vm.
  • the specific waveform is the R wave that appears at the end of the diastole
  • the target image acquisition unit 291 detects the heart when the diastole has finished, the movement is gradual, and there are few changes (movements) in the blood vessels.
  • An angio image Vm capturing 91 can be obtained.
  • FIG. 4 is a flowchart illustrating an example of the procedure of the second process executed by the surgical support device 10.
  • the second process is the process shown in the following a1 and a2.
  • (a1) The position of the specific part of the medical device included in the angio image K to be corrected is (a2)
  • the second process shown in FIG. 4 is started at any timing.
  • An arbitrary trigger may be, for example, simultaneous with turning on the power of the surgical support device 10, or simultaneous with activation of a predetermined application provided by the surgical support device 10, or the first processing in the angio device 20 (FIG. 2). may be started in conjunction with the start of.
  • FIG. 5 and 6 are diagrams explaining the second process.
  • the angio image acquisition unit 12 acquires the angio image V1 (the image transmitted in step S104 in FIG. 2) from the angio apparatus 20.
  • FIG. 5A shows an example of an angio image V1.
  • step S202 the display control unit 14 causes the display device 30 to display the angio image V1 acquired in step S200. Thereafter, the image correction unit 13 guides the operator to select a specific part (a specific part: a tip, a protrusion, a marker part, etc.) of the medical device. Guidance may be performed by displaying characters or images including a message prompting selection on the display device 30, or may be performed by outputting a message prompting selection from the display device 30 by voice. Following this guidance, the operator selects a specific portion of the medical device that appears in the angio image V1 displayed on the display device 30.
  • Guidance may be performed by displaying characters or images including a message prompting selection on the display device 30, or may be performed by outputting a message prompting selection from the display device 30 by voice. Following this guidance, the operator selects a specific portion of the medical device that appears in the angio image V1 displayed on the display device 30.
  • the selection can be performed by selecting a range of a portion of the angio image V1 displayed on the display device 30 that corresponds to a specific portion of the medical device, as shown by a rectangular frame indicated by a dashed-dotted line in FIG. 5(A).
  • the “distal tip” of the medical device MD for example, a catheter
  • Selection may also be performed by other well-known means such as tapping, clicking, etc.
  • the image correction unit 13 calculates the coordinates x, y of the center of gravity position of the specific part FP on the angio image V1, and , y is the center C(x,y) of the specific part FP.
  • the image correction unit 13 extracts an image in a predetermined range including the selected specific portion FP (for example, an image corresponding to the rectangular frame in FIG. 5(A)) from the angio image V1, and x, y) coordinate information is stored in a storage unit (not shown).
  • the image stored here will also be referred to as a "specific portion image” hereinafter. Note that steps S200 and S202 are initial processing.
  • the angio image acquisition unit 12 acquires the angio image Vm (FIG. 2: the image transmitted in step S116) from the angio apparatus 20.
  • step S208 the image correction unit 13 performs image correction.
  • Image correction is performed along the above-mentioned a1 and a2.
  • step S208 executed for the first time, the image correction unit 13 determines that the positions x2, y2 of the specific part FP2 of the medical device MD included in the angio image V2 to be corrected are (a2)
  • the angio image V2 to be corrected is parallelized so that it approaches the position x, y of the specific part FP of the medical device MD included in the angio image V1 acquired temporally earlier than the angio image V2 to be corrected.
  • the image is corrected by moving to generate a corrected angio image V2'.
  • step S208 executed for the second time, the image correction unit 13 determines that the positions x3, y3 of the specific part FP3 of the medical device MD included in the angio image V3 to be corrected are (a2') Correcting the angioimage V2 acquired immediately before the angioimage V2 to be corrected so as to approach the position x2, y2 of the specific part FP2 of the medical device MD included in the corrected angioimage V2' after correction.
  • the target angio image V3 is corrected by moving the range in parallel to generate a corrected angio image V3'.
  • the image correction unit 13 uses the position of the specific part FP in the reference angio image V1 to correct the angio image to be corrected.
  • the image correction unit 13 performs a specific process in the "corrected angio image after correction" for the angio image acquired immediately before the angio image to be corrected, as explained in a2' above.
  • the angio image to be corrected is corrected using the position of the portion FP.
  • step S210 of FIG. 4 the display control unit 14 displays (outputs) the corrected angioimage Vm' corrected in step S208 on the display device 30.
  • the display control unit 14 shifts the process to step S204 and repeats the process described above.
  • the display device 30 displays the corrected angio images V2', which are sequentially acquired by the angio image acquisition unit 12 from the angio apparatus 20 and corrected by the image correction unit 13, V3', . . . , Vm' are output to the display device 30 (see bottom row of FIG. 3).
  • the process in FIG. 4 is repeatedly continued until a predetermined termination condition is met.
  • the termination condition may be, for example, turning off the power of the surgical support device 10, or termination of an application started at the start of the process.
  • the angioimage acquisition unit 12 sequentially acquires angioimages Vm at each predetermined interval ⁇ tn, which is a time interval corresponding to the pulsation cycle of the heart 91. . Since the heart 91 regularly repeats expansion and contraction (expansion/contraction) according to the pulsation cycle, the expansion/contraction state of the heart 91 can be determined by acquiring angio images Vm at predetermined intervals ⁇ tn according to the pulsation cycle. It is possible to obtain an angioimage Vm in which the values are equal (uniform).
  • the angio image acquisition unit 12 can reduce blurring of the position of the medical device identification unit on the angio image due to pulsation. Furthermore, the patient's body (human body 90) is constantly moving due to factors such as changes in the volume of the thorax due to breathing, in addition to the heartbeat 91.
  • the image correction unit 13 includes a specific part FP2 of a medical device included in the angioimage V2 to be corrected among the angioimages Vm sequentially acquired by the angioimage acquisition unit 12.
  • a correction angio image V2 to be corrected is corrected so that the position of the angio image V2 to be corrected is closer to the position of the specific part FP of the medical device included in the angio image V1 acquired temporally earlier than the angio image V2 to be corrected.
  • Image V2' is generated (FIG. 5). Therefore, the image correction unit 13 can reduce blurring of the position of the medical device identification unit on the angio image, which is mainly caused by factors other than the heartbeat 91. In this way, the surgical support device 10 of the first embodiment separates the reduction of blur caused by pulsations by the angio image acquisition unit 12 from the reduction of blur caused by factors other than pulsations by the image correction unit 13.
  • the image correction unit 13 includes medical devices included in the corrected angio image V2' after correction for the angio image V2 acquired immediately before the angio image V3 to be corrected.
  • the target image acquisition unit 291 detects the target blood vessel into which the medical device has been inserted into the FPD at every predetermined interval ⁇ tn, which is a time interval corresponding to the pulsation cycle of the heart 91.
  • An angio image Vm representing the target blood vessel is acquired by imaging the target blood vessel, and the acquired image is output to the surgical support device 10. Since the heart 91 repeats expansion and contraction regularly according to the pulsation cycle, by acquiring angio images Vm at predetermined intervals ⁇ tn according to the pulsation cycle, it is possible to ensure that the expansion and contraction state of the heart 91 is equal (uniform). ) An angio image Vm can be obtained.
  • the target image acquisition unit 291 can reduce blurring of the position of the medical device identification unit on the angio image due to pulsation.
  • the angio apparatus 20 of the first embodiment it becomes possible for the operator to correctly grasp the position of the medical device identification part within the target blood vessel, thereby improving the accuracy of the procedure and shortening the time required for the procedure. , and the burden on the patient can be reduced.
  • the predetermined interval ⁇ tn is calculated from the time interval tn - tn-1 of two temporally consecutive electrocardiogram data acquired immediately before by the electrocardiogram measurement apparatus 60. ( Figure 3). Therefore, the target image acquisition unit 291 accurately reduces blur caused by the pulsation according to the pulsation period of the heart 91 of each patient, which is the previous pulsation period that is close to the current pulsation period.
  • the angio image Vm can be obtained by imaging and output.
  • the angio image acquisition unit 12 of the surgical support device 10 can acquire an angio image Vm in which blur caused by pulsation is accurately reduced.
  • the predetermined interval ⁇ tn is specified in the (n-1)th electrocardiogram waveform data among the two temporally continuous electrocardiogram waveform data S1 acquired by the electrocardiogram measuring device 60. It is calculated from the time interval tn - tn-1 between the time tn-1 when the waveform appears and the time tn when the specific waveform appears in the n-th electrocardiogram waveform data (FIG. 3).
  • the target image acquisition unit 291 can An angio image Vm can be obtained by imaging and output when the enlargement/reduction state is suitable for visually recognizing the medical device. As a result, the visibility of the medical device in the angio image can be improved.
  • the angio image acquisition unit 12 of the surgical support device 10 can acquire an angio image Vm when the expansion/contraction state of the heart 91 is suitable for visually recognizing a medical device.
  • the target image acquisition unit 291 of the angio apparatus 20 receives angio images Vm at predetermined intervals ⁇ tn, which are time intervals corresponding to the pulsation cycle of the heart 91, for surgical support.
  • the images are sequentially transmitted to the device 10 (FIG. 2: Step S116), and the angio image acquisition unit 12 of the surgical support device 10 sequentially acquires angio images Vm at predetermined intervals ⁇ tn from the angio device (FIG. 4: Step S204). Therefore, the processing load in the surgical support system 1 can be distributed between the angio apparatus 20 and the surgical support apparatus 10, and it is possible to suppress the occurrence of processing delays due to an increase in the processing load.
  • the image correction unit 13 of the surgical support device 10 sets the latest angio image among the plurality of angio images acquired by the angio image acquisition unit 12 as an angio image to be corrected (FIG. 4: step S204).
  • the corrected angio image Vm' for the latest angio image Vm can be output without delay (FIG. 4: step S210).
  • FIG. 7 is an explanatory diagram illustrating the configuration of a surgical support system 1A according to the second embodiment.
  • a true lumen image representing a true lumen in the target blood vessel having a position and orientation corresponding to the corrected angio image is generated, and the corrected angio image and the true lumen image are generated.
  • a configuration for displaying a composite image obtained by combining the following will be described.
  • a surgery support system 1A of the second embodiment includes a surgery support device 10A instead of the surgery support device 10.
  • the surgical support device 10A includes an angio image acquisition section 12A instead of the angio image acquisition section 12, an image correction section 13A instead of the image correction section 13, and further includes an angio image acquisition section 12A instead of the angio image acquisition section 12, an image correction section 13A instead of the image correction section 13, It includes an information acquisition section 15, a true lumen image generation section 16, and an image synthesis section 17.
  • FIG. 8 is a diagram illustrating the angio image acquisition unit 12A of the second embodiment.
  • the angio image acquisition unit 12A performs the first process described in FIG.
  • a second angio image Vb captured by the first FPD 21 disposed at a second position different from the second angio image Vb is acquired.
  • the first angio image Va and the second angio image Vb are images in which the pulsation cycle of the heart 91 is in the same phase, that is, the enlargement/contraction state of the heart 91 is the same. It is the same as V1 and V2.
  • the first angio image Va and the second angio image Vb are different in the position of the first FPD 21 where the images Va and Vb are captured.
  • the second angio image Vb (FIG. 8: dot hatching) is arranged in the imaging direction perpendicular to the first angio image Va (FIG. 8: diagonal hatching).
  • This is an image acquired by the first FPD 21.
  • a vector representing the first view which is the imaging direction for the heart 91 of the first FPD 21 disposed at the first position
  • an imaging direction for the heart 91 of the first FPD 21 disposed at the second position is expressed as a first view vector Vw1.
  • the image correction unit 13A performs the second process described in FIG. 4 to generate a first corrected angio image Va', which is a corrected angio image for the first angio image Va, and a second corrected angio image, which is a corrected angio image for the second angio image Vb.
  • Angio images Vb' are generated and transmitted to the true lumen information acquisition section 15.
  • the true lumen information acquisition unit 15 uses the corrected angio images (specifically, the first corrected angio image Va′ and the second corrected angio image Vb′) obtained from the image correction unit 13A to identify the information that exists within the target blood vessel. Obtain three-dimensional position information of the true lumen. Note that the process (step) executed by the true lumen information acquisition unit 15 is also referred to as a true lumen information acquisition process (step).
  • FIG. 9 is a diagram illustrating an example of a method by which the true lumen information acquisition unit 15 acquires three-dimensional position information of the true lumen.
  • FIG. 9 is a longitudinal section of a target blood vessel BV in which CTO has occurred, and an imaging sensor 300 (ultrasonic sensor 300) as a medical device and a guide wire 500 are placed in a false lumen created under the intima of the target blood vessel BV.
  • An example is shown in which a wire catheter 400 is inserted.
  • the true lumen information acquisition unit 15 obtains the position information of the first position (FIG. 8), the first corrected angio image Va', the position information of the second position (FIG. 8), and the second corrected angio image.
  • a method of acquiring three-dimensional positional information of the true lumen using Vb' and an ultrasound image will be described.
  • the image of the imaging sensor 300 is included in the first corrected angio image Va' and the second corrected angio image Vb'.
  • the ultrasound image includes an image of the guide wire 500 and an image of the true lumen.
  • the true lumen information acquisition unit 15 acquires three-dimensional positional information of the true lumen according to the following steps c1 to c11.
  • (c1) Using the position information of the first position and the first corrected angio image Va' at the first position, the position information of the second position and the second corrected angio image Vb' at the second position, The position vector of the transducer 301 of the imaging sensor 300 and the axis vector T1 of the transducer 301 are determined.
  • (c2) Determine the position ⁇ of the first FPD 21 where the corrected angio image V ⁇ ' where the transducer 301 of the imaging sensor 300 and the guide wire 500 overlap (intersect) is obtained, and calculate the view vector Vw ⁇ from the position ⁇ .
  • the corrected angio image V ⁇ ′ is generated by the image correction unit 13A through the second process explained in FIG. This is a corrected angio image.
  • the rotation axis R is calculated from the cross product of the axis vector T1 of the transducer 301 calculated in step c1 and the view vector Vw ⁇ calculated in step c2.
  • a vector CV1 is calculated by rotating the axis vector T1 of the transducer 301 calculated in step c1 by 90 degrees around the rotation axis R calculated in step c3.
  • the imaging sensor 300 is caused to acquire an ultrasound image inside the target blood vessel in a direction perpendicular to the axis vector T1 of the transducer 301 (360° full circumferential direction of T1).
  • the ultrasound images include the first angio image Va, the second angio image Vb, and the timing t at which the angio image V ⁇ was captured (the timing t at each predetermined interval, which is a time interval according to the heart beat cycle). ) at the same timing t.
  • the ultrasound image obtained in step c5 is used to correlate the direction from the transducer 301 to the guide wire 500.
  • (c7) Correlate the number of pixels of the ultrasound image with the actual dimensions.
  • a true lumen vector S1 (perpendicular to the transducer axis T1 and extending from the transducer 301 to the true lumen) is determined in the XYZ three-dimensional space. vector).
  • (c9) Calculate the actual width and length of the true lumen using the true lumen vector S1 and the associated dimensions.
  • the above process is repeated for the desired number of landmarks i (i is a natural number) to calculate the true lumen vectors S1 to Si in the XYZ three-dimensional space and the width and length.
  • the true lumen information acquisition unit 15 acquires three-dimensional position information of the true lumen.
  • the imaging sensor 300 is not used, and the true lumen information acquisition unit 15 uses a first corrected angio image Va' and a second corrected angio image Vb', which are images of the true lumen captured from different angles.
  • a method for acquiring three-dimensional positional information of the true lumen will be explained.
  • the first corrected angio image Va' includes an image of the distal end of the wire catheter 400 and an image of the true lumen.
  • the second corrected angio image Vb' includes an image of the distal end of the wire catheter 400 and an image of the true lumen.
  • the true lumen information acquisition unit 15 obtains true lumen vectors S1 to Si using the images of the true lumen shown in the first corrected angio image Va' and the second corrected angio image Vb', respectively.
  • FIG. 10 is a diagram illustrating the true lumen image generation section 16 and the image composition section 17.
  • FIG. 10A shows an example of a corrected angio image Vx' acquired from the image correction unit 13A.
  • FIG. 10(B) shows an example of a true lumen image Vy generated by the true lumen image generation unit 16.
  • FIG. 10C shows an example of a composite image Vx'+Vy generated by the image composition unit 17.
  • the true lumen image generation unit 16 generates a true lumen image representing the true lumen. Specifically, first, the true lumen image generation unit 16 generates an angio image Vx imaged of the target blood vessel BV from the first FPD 21 disposed at an arbitrary imaging position A, and generates angio images at predetermined intervals ⁇ tn. A corrected angio image Vx' for Vx is acquired from the image correction unit 13A. An example of the corrected angio image Vx' acquired by the true lumen image generation unit 16 is shown in FIG. 10(A). The imaging position A is an arbitrary position different from the above-described first position, second position, and position ⁇ .
  • the true lumen image generation unit 16 uses the orthogonal projection vector obtained from the positional information of the arbitrary imaging position A and the three-dimensional positional information of the true lumen acquired by the true lumen information acquisition unit 15.
  • a true lumen image Vy representing the true lumen at a position and posture corresponding to the corrected angioimage Vx' is generated.
  • the true lumen image Vy includes an image of the true lumen TC at a position and orientation corresponding to the corrected angioimage Vx' (in other words, when viewed from the imaging position A). It is.
  • the process (step) executed by the true lumen image generation section 16 is also referred to as a true lumen image generation process (step).
  • the image synthesis unit 17 generates a composite image Vx'+Vy by combining the corrected angio image Vx' shown in FIG. 10(A) and the true lumen image Vy shown in FIG. .
  • the composite image Vx'+Vy is an image in which the true lumen image Vy is displayed superimposed on the corrected angiography image Vx'.
  • the process (step) executed by the image synthesis unit 17 is also referred to as an image synthesis process (step).
  • the corrected angio images Va', Vb', and Vx' corrected by the image correction unit 13A are designed to reduce blur caused by pulsation and blur caused by factors other than pulsation.
  • the accuracy of subsequent processing can be improved.
  • the surgical support device 10A and the surgical support system 1A of the second embodiment described above can also provide the same effects as the first embodiment described above.
  • the true lumen image generation unit 16 generates the position information of the arbitrary imaging position A where the angio image Vx was acquired, and the position information of the arbitrary imaging position A where the angio image Vx was acquired, Using the three-dimensional position information of the true lumen, a true lumen image Vy representing the true lumen TC in a position and posture corresponding to the corrected angioimage Vx' can be generated.
  • the true lumen image generation unit 16 calculates the true lumen based on the three-dimensional position information of the true lumen even when the contrast agent does not flow to the target true lumen or when the contrast agent is not flowing into the blood vessel.
  • a true lumen image Vy representing the image TC can be generated.
  • the image synthesis unit 17 also generates a composite image Vx'+Vy by combining the corrected angio image Vx' at an arbitrary imaging position A and the true lumen image Vy representing the true lumen image TC, and generates a composite image Vx'+Vy.
  • the image Vy of the true lumen of the blood vessel can be displayed on the corrected angio image Vx'. Therefore, by checking the composite image Vx'+Vy, the operator can perform the procedure while checking the positional relationship between the medical devices 300, 500 on the corrected angio image Vx' and the true lumen TC on the true lumen image Vy. can proceed. As a result, the operator can accurately grasp the position of the true lumen within the target blood vessel, thereby improving the precision of the procedure, shortening the time required for the procedure, and reducing the burden on the patient.
  • the true lumen information acquisition unit 15 is capable of reducing vibration caused by the pulsation of the heart 91 and by factors other than the pulsation of the heart 91 (such as vibration of the thorax due to breathing).
  • Three-dimensional positional information of the true lumen is obtained using the first and second corrected angio images Va' and Vb' in which blur caused by volume changes, etc.) is reduced. Therefore, three-dimensional positional information of the true lumen can be acquired with high precision compared to the case of using an angio image in which blur is not reduced.
  • the imaging interval between the ultrasound image and the first and second corrected angio images Va' and Vb' can be synchronized using the predetermined interval ⁇ tn, the three-dimensional position information of the true lumen can be obtained with higher precision. can be obtained.
  • FIG. 11 is an explanatory diagram illustrating the configuration of a surgical support system 1B according to the third embodiment.
  • the surgery support system 1B of the third embodiment includes a surgery support device 10B instead of the surgery support device 10, and an angio device 20B instead of the angio device 20.
  • the surgical support device 10B includes an angio image acquisition section 12B instead of the angio image acquisition section 12, and further includes a target image acquisition section 18 and an electrocardiogram information acquisition section 19. There is.
  • the target image acquisition unit 18 executes a first process (described later in FIG. 12) similarly to the target image acquisition unit 291 of the first embodiment.
  • the surgical support device 10B is electrically connected to the electrocardiogram measuring device 60, and the electrocardiogram information acquisition unit 19 has the same function as the electrocardiogram information acquisition unit 292 of the first embodiment.
  • the angio device 20B includes a control device 29B instead of the control device 29 in the configuration described in the first embodiment.
  • the angio device 20B is not connected to the electrocardiogram measuring device 60.
  • the control device 29B of the angio device 20B does not have the functions of the target image acquisition unit 291 and the electrocardiogram information acquisition unit 292 described in the first embodiment, and the control device 29B does not have the functions of the target image acquisition unit 291 and the electrocardiogram information acquisition unit 292 described in the first embodiment.
  • Imaging is performed continuously at intervals shorter than ⁇ tn, and the continuous angio images acquired by imaging are transmitted to the surgical support apparatus 10B.
  • continuous angio images refers to moving images or still images that are smoothly continuous at intervals shorter than the predetermined interval ⁇ tn described in the first embodiment.
  • FIG. 12 is a flowchart illustrating an example of the processing procedure of the first process in the third embodiment.
  • the first process of the third embodiment is executed in the surgical support device 10B.
  • the first process shown in FIG. 12 is started at any timing.
  • the arbitrary trigger may be, for example, at the same time as the power of the surgical support device 10B is turned on, or at the same time as the activation of a predetermined application provided by the surgical support device 10B.
  • step S100B the target image acquisition unit 18 uses one of the trigger signal S2 and the electrocardiogram waveform data S1 of the electrocardiogram data acquired by the electrocardiogram information acquisition unit 19 to detect the W1 time point and the W2 time point, Find ⁇ t2.
  • step S106B the target image acquisition unit 18 assigns 3 to the variable n and 2 to the variable m.
  • step S108B the target image acquisition unit 18 uses one of the trigger signal S2 and the electrocardiogram waveform data S1 of the electrocardiogram data acquired by the electrocardiogram information acquisition unit 19 to detect the Wn time point and calculate ⁇ tn.
  • the target image acquisition unit 18 determines whether the absolute value of ⁇ tn is larger than a predetermined value, and if it is larger than the predetermined value (step S110B: YES), outputs a warning to the display device 30 in step S112B. If the value is less than or equal to the predetermined value (step S110B: NO), the process transitions to step S114B.
  • step S110B YES
  • step S120 the angio image acquisition unit 12 acquires the angio image Vm extracted by the target image acquisition unit 18, and executes the second process described in FIG. 4.
  • the second process is executed as a subroutine of the first process.
  • step S118B the target image acquisition unit 18 adds 1 to each of the variables n and m, moves the process to step S108B, and repeats the above-described process.
  • the process of FIG. 12 is repeatedly continued until a predetermined termination condition is satisfied.
  • the termination condition may be, for example, turning off the power of the surgical support device 10B, or terminating the application started at the start of the process.
  • the configuration of the surgical support system 1B can be modified in various ways, and the angio apparatus 20B is configured to simply continuously image the target blood vessel to obtain continuous angio images, and the surgical support system 10B has the following configuration: It may be configured to execute a first process of sequentially acquiring angio images Vm at predetermined intervals ⁇ tn, which are time intervals corresponding to the pulsation cycle of the heart 91.
  • the surgical support system 1B of the third embodiment as described above can also have the same effects as the first embodiment described above.
  • the surgical support apparatus 10B further calculates the pulsation cycle of the heart 91 from the angio images (continuous angio images) representing the target blood vessels continuously imaged by the FPD.
  • the target image acquisition unit 18 extracts angio images Vm at predetermined intervals ⁇ tn corresponding to the time intervals. Then, the angio device 20B including the FPD only needs to continuously supply angio images of the target blood vessel (in other words, supply continuous angio images) to the surgical support device 10B. It is possible to improve the expandability of the surgical support system 1B including the angiography device 10B and the angio device 20B.
  • the target image acquisition unit 18 issues an "FPD imaging command" to the control device 29B of the angio apparatus 20B instead of extracting the angio images V1 and Vm at timing t from the continuous angio images. You can also send it.
  • This FPD imaging command is used to transmit and receive commands so that FPD imaging (that is, X-ray irradiation by the first X-ray tube device 22, and X-ray detection and conversion by the first FPD 21) is performed accurately at timing t. It is preferable that the information be transmitted a little earlier than the timing t, taking into consideration the preparation time required for starting the FPD, etc. in advance.
  • the control device 29B that has received the FPD imaging command drives the FPD to image the target blood vessel at timing t to obtain angio images V1, Vm, and transmits the obtained angio images V1, Vm to the surgical support device 10B. Even in this case, a system having the same functions as the third embodiment described above can be constructed.
  • FIG. 13 is an explanatory diagram illustrating the configuration of a surgical support system 1C according to the fourth embodiment.
  • the surgery support system 1C of the fourth embodiment includes a surgery support device 10C instead of the surgery support device 10, and an angio device 20C instead of the angio device 20.
  • the surgical support device 10C has an image correction section 13C instead of the image correction section 13 in the configuration described in the first embodiment.
  • the angio apparatus 20C includes a target image acquisition section 291C instead of the target image acquisition section 291 in the configuration described in the first embodiment.
  • FIG. 14 is a flowchart illustrating an example of the processing procedure of the first process in the fourth embodiment.
  • FIG. 15 is a diagram illustrating the first process and second process of the fourth embodiment. The contents shown in each stage of FIG. 15 are the same as those described in FIG. 3.
  • the target image acquisition unit 291C does not use "two temporally consecutive electrocardiogram data acquired immediately before” as described in the first embodiment, but uses "a certain past electrocardiogram data".
  • Angio images Vm are sequentially acquired at predetermined intervals ⁇ t2 (time intervals according to the heart beat cycle) calculated using two temporally continuous electrocardiogram data acquired at a time. In this way, the processing load on the control device 29C can be reduced compared to the case where ⁇ tn is calculated every time using the immediately preceding electrocardiogram data.
  • the target image acquisition unit 291C updates the reference time interval ( ⁇ t2 in FIGS. 14 and 15) every predetermined cycle (for example, every 10 cycles), and uniformly updates the reference time interval ( ⁇ t2 in FIGS. 14 and 15) after the update until the next update. Then, the angio image Vm may be acquired using the updated time interval.
  • the image correction unit 13C performs the process a1, which is explained in FIGS. 5A and 5B of the first embodiment, every time.
  • a corrected angio image Vm' is generated by the procedure a2.
  • the image correction unit 13C determines that the positions x2, y2 of the specific part FP2 of the medical device included in the angio image Vm to be corrected are (a2) Angio image to be corrected so as to approach position x, y of specific part FP of the medical device included in single angio image V1 acquired temporally earlier than angio image Vm to be corrected.
  • a corrected angio image Vm' is generated by correcting Vm by moving it in parallel. In other words, the image correction unit 13C does not perform the process a2' described in FIGS. 6A and 6B of the first embodiment.
  • the contents of the first process and the second process can be changed in various ways, and in addition to the above-mentioned modifications, the execution order of each step to be executed can be changed in the first process and the second process. At least some steps may be omitted, and other steps not described may be performed.
  • the surgical support device 10C and angio device 20C of the fourth embodiment as described above can also provide the same effects as those of the first embodiment.
  • the predetermined interval ⁇ t2 is calculated from the time interval between two temporally consecutive electrocardiogram data acquired in the past by the electrocardiogram measurement apparatus 60.
  • the target image acquisition unit 291C can capture an angio image Vm in which blur caused by the pulsation is accurately reduced according to the pulsation cycle of the heart 91 of each patient, and output the angio image Vm. Similarly, the angio image acquisition unit 12 of the surgical support device 10C can acquire an angio image Vm in which blur caused by pulsation is accurately reduced.
  • the configurations of the surgical support systems 1, 1A to 1C were illustrated.
  • the configuration of the surgical support system 1 can be modified in various ways.
  • the display device 30 may be a monitor or a touch panel built into the surgical support devices 10, 10A to 10C.
  • the angio apparatuses 20, 20B, and 20C may have a configuration having a single FPD (in other words, a configuration not including the second FPD 25).
  • the surgical support system 1 may include other medical devices (for example, a CT device, an MRI device), etc. that are not shown.
  • the predetermined interval ⁇ tn ( ⁇ t2 in the fourth embodiment) that determines the timing t in the first process is the average time calculated from three or more temporally consecutive electrocardiogram data acquired immediately before or in the past. It may be an interval (or a time interval obtained by statistics, such as a most frequent time interval). Further, the predetermined interval ⁇ tn ( ⁇ t2 in the case of the fourth embodiment) may be calculated from two or more temporally discontinuous electrocardiogram data acquired immediately before or in the past.
  • step S206 of the second process shown in FIG. 4 template matching may be performed using the image of the specific part of the medical device included in the immediately previous specific part image.
  • the image correction unit 13 matches the image of the medical device included in the angio image V2 with the specific part image generated using the angio image V1, and performs the angio image. A specific portion FP2 of the medical device appearing in the image V2 is detected. After that, the image correction unit 13 extracts an image in a predetermined range including the specific part FP2 in the angio image V2, and updates the specific part image in the storage unit along with the coordinate information of the center C2 (x2, y2) of the specific part FP2. .
  • step S206 the image correction unit 13 matches the image of the medical device included in the angio image V3 with the specific part image generated using the angio image V2, and adjusts the image of the medical device included in the angio image V3.
  • the device identification part FP3 is detected.
  • the image correction unit 13 extracts an image in a predetermined range including the specific part FP3 in the angio image V3, and updates the specific part image in the storage unit along with the coordinate information of the center C3 (x3, y3) of the specific part FP3. .
  • the image correction unit 13 can perform template matching using the image of the specific part of the medical device included in the immediately previous specific part image.
  • the image correction unit 13 detects the specific portion of the angioimage Vm to be corrected using the image of the specific portion reflected in the immediately previous angioimage that is temporally closest to the angioimage Vm to be corrected. Therefore, the detection accuracy of the specific part can be improved.
  • template matching may be performed using a specific part pattern instead of the specific part image.
  • a specific part pattern is a data group that includes multiple images obtained by capturing specific parts of multiple medical devices used in examinations and treatment procedures from various angles, and is prepared in advance. It is stored in the storage unit.
  • the image correction unit 13 reads the specific part pattern, and compares the specific part FP of the medical device selected in step S202 with images of the specific parts of various medical devices included in the specific part pattern. and identify the one that is actually used in the procedure.
  • step S206 the image correction unit 13 matches the image of the medical device shown in the angio image Vm with the one piece of data identified in step S202, thereby adjusting the specific part FPm of the medical device shown in the angio image Vm. To detect.
  • step S210 of the second process shown in FIG. 4 it is assumed that the reference angio image V1 is used in the image correction a1 of step S208 and output to the display device 30 without any correction.
  • the image correction unit 13 may correct the angio image V1 by moving the image in parallel so that the specific portion FP of the angio image V1 is located at the center of the image V1 (angio image V1 after correction). (also referred to as the "corrected angiography image V1a").
  • the image correction unit 13 uses the corrected angio image V1a as a reference in the image correction a1 performed in step S208.
  • the display control unit 14 causes the display device 30 to output the corrected angio image V1a in step S210.
  • the specific parts FP to FPm of the images displayed on the display device 30 can be positioned at the center of the screen, so that the operator can confirm the positions of the specific parts FP to FPm.
  • the display control unit 14 may display only a portion (specific region image R) of the angio images V1 to Vm on the display device 30.
  • the display control unit 14 trims (cuts out) a portion (specific region image R) of the angio images V1 to Vm and displays it on the display device 30.
  • the specific area image R is selected together with the selection of the specific portion FP, for example, in step S202 of the second process.
  • the image correction unit 13 may move the trimming range (cutting range) of the image in parallel instead of moving the image in parallel in step S208.
  • the configurations of the surgical support devices 10, 10A to 10C of the first to fourth embodiments, the configurations of the angio devices 20, 20B, and 20C, and the configurations of the first to third variations may be combined as appropriate.
  • the surgery support apparatus 10 may be configured to be capable of outputting the composite image described in the second embodiment and executing the first process described in the third embodiment.
  • the surgical support system 1C that performs the first processing and the second processing described in the fourth embodiment it may be possible to output the composite image described in the second embodiment.
  • the modification of step S206, the modification of step S208, and the modification of step S210 described in modification example 3 may be adopted.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

手術支援装置は、心臓の拍動周期に応じた時間間隔を所定間隔とし、所定間隔ごとの、医療デバイスが挿入された対象血管を表すアンギオ画像を順次取得するアンギオ画像取得部と、アンギオ画像取得部によって順次取得されたアンギオ画像を順次補正する画像補正部であって、補正対象のアンギオ画像に含まれる医療デバイスの特定部の位置が、補正対象のアンギオ画像よりも時間的に前に取得されたアンギオ画像に含まれる医療デバイスの特定部の位置に近づくように、補正対象のアンギオ画像を補正した補正アンギオ画像を生成する画像補正部と、を備える。

Description

手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム
 本発明は、手術を支援する技術に関する。
 近年、検査や治療のために行う血管撮像において、FPD(フラットパネルディテクタ、Flat Panel Detector)が用いられている。FPDは、X線管装置とX線平面検出器とを有し、血管のX線画像を取得するデバイスである。FPDにより取得されたX線画像は「アンギオ画像」とも呼ばれ、FPDを備える撮像装置は「アンギオ装置」とも呼ばれる。例えば、特許文献1には、補正画像と、その補正画像よりも前に生成された少なくとも1枚の補正画像とが加算された加算補正画像を生成し、順次表示することで、拍動によって動くステントをリアルタイムで固定動画表示制御することが記載されている。
特開2015-165942号公報
 ここで、慢性完全閉塞(CTO:Chronic Total Occlusion)のように、血管内が閉塞物によって閉塞されてしまう場合がある。このような場合、真腔から偽腔へと医療デバイスを進入させた後、偽腔から真腔へと医療デバイスを再入させる内膜下アプローチ等によって血管内の閉塞物を除去することで、血管の再開通が図られる。このような手技を行う場合、術者は、アンギオ装置によって撮像されたアンギオ画像を視認しながら、血管内での医療デバイス先端部の位置や向きを確認しつつ手技を進める。
 しかし、患者の身体は、心臓の拍動や、呼吸に伴う胸郭の容積変化等の要因によって絶えず動いている。そして、医療デバイスは患者の体内に挿入されているため、アンギオ画像上の医療デバイス先端部も静止しておらず、患者の身体の動きに伴って絶えず動いてしまう(換言すれば、アンギオ画像上における医療デバイス先端部の位置にぶれが生じる)。このようなアンギオ画像上の医療デバイス先端部のぶれは、術者が、血管内における医療デバイス先端部の位置や向きを把握することを困難にするという課題があった。このような課題は、CTOが、拍動の影響を強く受ける心臓の冠動脈に生じた場合に、特に顕著である。この点、特許文献1には、加算補正画像を用いて拍動によって動くステントをリアルタイムで固定動画表示制御する技術が記載されているものの、特許文献1に記載の技術には、依然として改善の余地があった。
 なお、このような課題は、CTOの再開通に限らず、リンパ腺系、胆道系、尿路系、気道系、消化器官系、分泌腺及び生殖器官といった、生体管腔内に医療デバイスを挿入し、アンギオ画像に写る医療デバイスを参照しつつ手技を行う検査や治療の全般に共通する。また、このような課題は、医療デバイスの先端部に限らず、医療デバイスの特定部(ある特定の部分)について、アンギオ画像上における医療デバイス特定部の位置のぶれを低減可能とする技術の全般に共通する。
 本発明は、アンギオ画像上における医療デバイス特定部の位置のぶれを低減することを目的とする。
 本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。
(1)本発明の一形態によれば、手術支援装置が提供される。この手術支援装置は、心臓の拍動周期に応じた時間間隔を所定間隔とし、前記所定間隔ごとの、医療デバイスが挿入された対象血管を表すアンギオ画像を順次取得するアンギオ画像取得部と、前記アンギオ画像取得部によって順次取得された前記アンギオ画像を順次補正する画像補正部であって、補正対象の前記アンギオ画像に含まれる前記医療デバイスの特定部の位置が、補正対象の前記アンギオ画像よりも時間的に前に取得された前記アンギオ画像に含まれる前記医療デバイスの特定部の位置に近づくように、補正対象の前記アンギオ画像を補正した補正アンギオ画像を生成する画像補正部と、を備える。
 この構成によれば、アンギオ画像取得部は、心臓の拍動周期に応じた時間間隔を所定間隔とし、所定間隔ごとのアンギオ画像を順次取得する。心臓は、拍動周期に応じて規則的に拡張及び収縮(以下「拡縮」とも呼ぶ)を繰り返しているため、拍動周期に応じた所定間隔ごとのアンギオ画像を取得することによって、心臓の拡縮状態が等しい(均一な)アンギオ画像を取得することができる。この結果、アンギオ画像取得部は、拍動に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減できる。また、患者の身体は、心臓の拍動以外にも、呼吸に伴う胸郭の容積変化等の要因によって絶えず動いている。本構成によれば、画像補正部は、アンギオ画像取得部によって順次取得されたアンギオ画像のうち、補正対象のアンギオ画像に含まれる医療デバイスの特定部の位置が、補正対象のアンギオ画像よりも時間的に前に取得されたアンギオ画像に含まれる医療デバイスの特定部の位置に近づくように、補正対象のアンギオ画像を補正した補正アンギオ画像を生成する。このため、画像補正部は、主に心臓の拍動以外の要因に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減できる。このように、本実施形態の手術支援装置は、アンギオ画像取得部による拍動に起因したぶれの低減と、画像補正部による拍動以外の要因に起因したぶれの低減とを分離して(個別に)行うため、アンギオ画像上における医療デバイス特定部の位置のぶれを高精度に低減できる。この結果、本実施形態の手術支援装置によれば、術者が対象血管内における医療デバイス特定部の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
(2)上記形態の手術支援装置において、前記アンギオ画像取得部は、心電図計測装置によって過去に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔とした前記アンギオ画像を順次取得してもよい。
 この構成によれば、所定間隔は、心電図計測装置によって過去に取得された時間的に連続する2つの心電図データの時間間隔から算出されている。このため、アンギオ画像取得部は、患者それぞれの心臓の拍動周期に応じて、拍動に起因したぶれが精度よく低減されたアンギオ画像を取得できる。
(3)上記形態の手術支援装置において、前記アンギオ画像取得部は、心電図計測装置によって直前に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔とした前記アンギオ画像を順次取得してもよい。
 この構成によれば、所定間隔は、心電図計測装置によって直前に取得された時間的に連続する2つの心電図データの時間間隔から算出されている。このため、アンギオ画像取得部は、患者それぞれの心臓の拍動周期であって、現在の拍動周期に近い直前の拍動周期に応じて、拍動に起因したぶれが精度よく低減されたアンギオ画像を取得できる。
(4)上記形態の手術支援装置において、前記心電図データは心電図波形データであり、前記連続する2つの心電図波形データのうち、相対的に後に取得されたデータを、第n心電図波形データとし、相対的に前に取得されたデータを、第n-1心電図波形データとしたとき、前記アンギオ画像取得部は、前記第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、前記第n心電図波形データにおいて前記特定波形が出現した時点tnと、の時間間隔を、前記心臓の拍動周期に応じた時間間隔とした前記アンギオ画像を順次取得してもよい。
 この構成によれば、所定間隔は、心電図計測装置によって取得された時間的に連続する2つの心電図波形データのうち、第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、第n心電図波形データにおいて特定波形が出現した時点tnと、の時間間隔から算出されている。このため、特定波形を、心臓の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時(例えば、特定波形=R波)に定めることによって、アンギオ画像取得部は、心臓の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時の、アンギオ画像を取得することができる。この結果、アンギオ画像における医療デバイスの視認性を向上できる。
(5)上記形態の手術支援装置において、前記画像補正部は、補正対象の前記アンギオ画像に含まれる前記医療デバイスの特定部の位置が、補正対象の前記アンギオ画像の直前に取得された前記アンギオ画像に対する補正後の前記補正アンギオ画像に含まれる前記医療デバイスの特定部の位置に近づくように、補正対象の前記アンギオ画像を補正してもよい。
 この構成によれば、補正対象のアンギオ画像の直前に取得されたアンギオ画像に対する補正後の補正アンギオ画像に含まれる医療デバイスの特定部の位置を用いて補正対象のアンギオ画像を補正する。このため、最新の補正結果(補正対象のアンギオ画像Kに対する補正アンギオ画像K´)と、直前の補正結果(補正対象のアンギオ画像の直前に取得されたアンギオ画像K-1に対する補正アンギオ画像K-1´)と、における医療デバイスの特定部の位置移動を小さくでき、より自然な補正アンギオ画像を提供できる。
(6)上記形態の手術支援装置では、さらに、心電図計測装置から心電図データを取得する心電図情報取得部と、FPD(フラットパネルディテクタ)によって、前記所定間隔よりも短い間隔で連続的に撮像された前記対象血管を表す連続アンギオ画像から、前記所定間隔ごとの前記アンギオ画像を抜き出す対象画像取得部と、を備えていてもよい。
 この構成によれば、手術支援装置はさらに、FPDによって連続的に撮像された対象血管を表す連続アンギオ画像から、心臓の拍動周期に応じた時間間隔である所定間隔ごとのアンギオ画像を抜き出す対象画像取得部を備える。そうすれば、FPDを備えるアンギオ装置は、手術支援装置に対して対象血管のアンギオ画像を連続的に供給する(換言すれば、連続アンギオ画像を供給する)のみで足りるため、手術支援装置やアンギオ装置からなるシステムの拡張性を向上できる。
(7)上記形態の手術支援装置では、さらに、前記対象血管内に存在する真腔の三次元位置情報を取得する真腔情報取得部と、前記真腔を表す真腔画像を生成する真腔画像生成部と、前記補正アンギオ画像と、前記真腔画像とを合成した合成画像を生成し、前記合成画像を出力させる画像合成部と、を備え、前記真腔画像生成部は、任意の撮像位置に配置されたFPD(フラットパネルディテクタ)による前記対象血管の撮像により取得されたアンギオ画像であって、前記所定間隔ごとの前記アンギオ画像に対する前記補正アンギオ画像を前記画像補正部から取得し、前記任意の撮像位置の位置情報と、前記真腔の三次元位置情報とを用いて、前記補正アンギオ画像に対応する位置及び姿勢の前記真腔を表す真腔画像を生成してもよい。
 この構成によれば、真腔画像生成部は、アンギオ画像が取得された任意の撮像位置の位置情報と、真腔情報取得部により取得された真腔の三次元位置情報と、を用いて、補正アンギオ画像に対応する位置及び姿勢の真腔を表す真腔画像を生成できる。すなわち、真腔画像生成部は、造影剤が目的とする真腔まで流れ込まない場合や、血管に造影剤を流していない場合であっても、真腔の三次元位置情報に基づき真腔の像を表す真腔画像を生成できる。また、画像合成部は、任意の撮像位置における補正アンギオ画像と、真腔の像を表す真腔画像とを合成した合成画像を生成し、合成画像を出力させるため、補正アンギオ画像に血管の真腔の画像を表示させることができる。このため術者は、合成画像を確認することで、補正アンギオ画像上の医療デバイスと、真腔画像上の真腔と、の位置関係を確認しつつ手技を進めることができる。この結果、術者が対象血管内における真腔の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
(8)上記形態の手術支援装置において、前記アンギオ画像取得部は、前記所定間隔ごとの前記アンギオ画像であって、第1位置に配置された前記FPDによる撮像で取得された第1アンギオ画像と、前記第1位置とは異なる第2位置に配置された前記FPDによる撮像で取得された第2アンギオ画像と、を順次取得し、前記画像補正部は、前記第1アンギオ画像に対する前記補正アンギオ画像である第1補正アンギオ画像と、前記第2アンギオ画像に対する前記補正アンギオ画像である第2補正アンギオ画像と、を順次生成し、前記真腔情報取得部は、超音波センサによって前記対象血管の内部を撮像することで取得された超音波画像であって前記所定間隔ごとに取得された超音波画像と、前記第1位置の位置情報と、前記第1補正アンギオ画像と、前記第2位置の位置情報と、前記第2補正アンギオ画像と、を用いて、前記真腔の三次元位置情報を取得してもよい。
 この構成によれば、真腔情報取得部は、心臓の拍動に起因したぶれの低減と、心臓の拍動以外の要因(呼吸に伴う胸郭の容積変化等)に起因したぶれの低減とが図られた第1,2補正アンギオ画像を用いて真腔の三次元位置情報を取得する。このため、ぶれの低減が図られていないアンギオ画像を用いる場合と比較して、真腔の三次元位置情報を高精度に取得できる。また、超音波画像と、第1,2補正アンギオ画像との撮像間隔を、所定間隔を利用して同期させることができるため、真腔の三次元位置情報をより高精度に取得できる。
(9)本発明の一形態によれば、アンギオ装置が提供される。このアンギオ装置は、X線管装置とX線平面検出器とを有するFPD(フラットパネルディテクタ)と、心臓の拍動周期に応じた時間間隔である所定間隔ごとに、医療デバイスが挿入された対象血管を前記FPDに撮像させることで対象血管を表すアンギオ画像を取得し、取得した画像を出力する対象画像取得部と、を備える。
 この構成によれば、対象画像取得部は、心臓の拍動周期に応じた時間間隔を所定間隔とし、所定間隔ごとに、医療デバイスが挿入された対象血管を撮像させることで対象血管を表すアンギオ画像を取得し、取得した画像を出力する。心臓は、拍動周期に応じて規則的に拡縮を繰り返しているため、拍動周期に応じた所定間隔ごとのアンギオ画像を取得することによって、心臓の拡縮状態が等しい(均一な)アンギオ画像を取得することができる。この結果、対象画像取得部は、拍動に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減できる。この結果、本実施形態のアンギオ装置によれば、術者が対象血管内における医療デバイス特定部の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
(10)上記形態のアンギオ装置では、さらに、心電図計測装置から心電図データを取得する心電図情報取得部を備え、前記対象画像取得部は、前記心電図情報取得部によって過去に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔である前記所定間隔としてもよい。
 この構成によれば、所定間隔は、心電図計測装置によって過去に取得された時間的に連続する2つの心電図データの時間間隔から算出されている。このため、対象画像取得部は、患者それぞれの心臓の拍動周期に応じて、拍動に起因したぶれが精度よく低減されたアンギオ画像を出力できる。
(11)上記形態のアンギオ装置では、さらに、心電図計測装置から心電図データを取得する心電図情報取得部を備え、前記対象画像取得部は、前記心電図情報取得部によって直前に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔である前記所定間隔としてもよい。
 この構成によれば、所定間隔は、心電図計測装置によって直前に取得された時間的に連続する2つの心電図データの時間間隔から算出されている。このため、対象画像取得部は、患者それぞれの心臓の拍動周期であって、現在の拍動周期に近い直前の拍動周期に応じて、拍動に起因したぶれが精度よく低減されたアンギオ画像を出力できる。
(12)上記形態のアンギオ装置において、前記心電図データは心電図波形データであり、前記連続する2つの心電図波形データのうち、相対的に後に取得されたデータを、第n心電図波形データとし、相対的に前に取得されたデータを、第n-1心電図波形データとしたとき、前記対象画像取得部は、前記第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、前記第n心電図波形データにおいて前記特定波形が出現した時点tnと、の時間間隔を、前記心臓の拍動周期に応じた時間間隔である前記所定間隔としてもよい。
 この構成によれば、所定間隔は、心電図計測装置によって取得された時間的に連続する2つの心電図波形データのうち、第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、第n心電図波形データにおいて特定波形が出現した時点tnと、の時間間隔から算出されている。このため、特定波形を、心臓の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時(例えば、特定波形=R波)に定めることによって、対象画像取得部は、心臓の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時の、アンギオ画像を出力できる。この結果、アンギオ画像における医療デバイスの視認性を向上できる。
(13)本発明の一形態によれば、手術支援システムが提供される。この手術支援システムは、上記形態の手術支援装置と、上記形態のアンギオ装置と、を備え、前記アンギオ装置の前記対象画像取得部は、前記所定間隔ごとの前記アンギオ画像を前記手術支援装置へ順次送信し、前記手術支援装置の前記アンギオ画像取得部は、前記所定間隔ごとの前記アンギオ画像を前記アンギオ装置から順次取得し、前記手術支援装置の前記画像補正部は、前記アンギオ画像取得部によって取得された複数の前記アンギオ画像のうち、最新の前記アンギオ画像を補正対象の前記アンギオ画像とする。
 この構成によれば、アンギオ装置の対象画像取得部は、心臓の拍動周期に応じた時間間隔を所定間隔とし、所定間隔ごとのアンギオ画像を手術支援装置へ順次送信し、手術支援装置のアンギオ画像取得部は、所定間隔ごとのアンギオ画像をアンギオ装置から順次取得するため、システムにおける処理負荷をアンギオ装置と手術支援装置とに分散させることができ、処理負荷が高くなることに起因した処理遅滞の発生を抑制できる。また、手術支援装置の画像補正部は、アンギオ画像取得部によって取得された複数のアンギオ画像のうち、最新のアンギオ画像を補正対象のアンギオ画像とするため、最新のアンギオ画像に対する補正アンギオ画像を遅滞なく出力できる。
(14)上記形態の手術支援システムにおいて、前記手術支援装置は、さらに、前記対象血管内に存在する真腔の三次元位置情報を取得する真腔情報取得部と、前記真腔を表す真腔画像を生成する真腔画像生成部と、前記補正アンギオ画像と、前記真腔画像とを合成した合成画像を生成し、前記合成画像を出力させる画像合成部と、を備え、前記真腔画像生成部は、任意の撮像位置に配置された前記FPDによる前記対象血管の撮像により取得されたアンギオ画像であって、前記所定間隔ごとの前記アンギオ画像に対する前記補正アンギオ画像を前記画像補正部から取得し、前記任意の撮像位置の位置情報と、前記真腔の三次元位置情報とを用いて、前記補正アンギオ画像に対応する位置及び姿勢の前記真腔を表す真腔画像を生成してもよい。
 この構成によれば、術者は、合成画像を確認することで、補正アンギオ画像上の医療デバイスと、真腔画像上の真腔と、の位置関係を確認しつつ手技を進めることができる。この結果、術者が対象血管内における真腔の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
(15)上記形態の手術支援システムにおいて、前記アンギオ画像取得部は、前記所定間隔ごとの前記アンギオ画像であって、第1位置に配置された前記FPDによる撮像で取得された第1アンギオ画像と、前記第1位置とは異なる第2位置に配置された前記FPDによる撮像で取得された第2アンギオ画像と、を順次取得し、前記画像補正部は、前記第1アンギオ画像に対する前記補正アンギオ画像である第1補正アンギオ画像と、前記第2アンギオ画像に対する前記補正アンギオ画像である第2補正アンギオ画像と、を順次生成し、前記真腔情報取得部は、超音波センサによって前記対象血管の内部を撮像することで取得された超音波画像であって前記所定間隔ごとに取得された超音波画像と、前記第1位置の位置情報と、前記第1補正アンギオ画像と、前記第2位置の位置情報と、前記第2補正アンギオ画像と、を用いて、前記真腔の三次元位置情報を取得してもよい。
 この構成によれば、ぶれの低減が図られていないアンギオ画像を用いる場合と比較して、真腔の三次元位置情報を高精度に取得できる。また、超音波画像と、第1,2補正アンギオ画像との撮像間隔を、所定間隔を利用して同期させることができるため、真腔の三次元位置情報をより高精度に取得できる。
 本発明は、上述した課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。例えば、アンギオ装置、手術支援装置、これら装置の機能を実現するサーバ装置またはロボット、これらの装置を含むシステム、これらの装置及びシステムの機能を実現するコンピュータプログラム、そのコンピュータプログラムを配布するためのサーバ装置、そのコンピュータプログラムを記憶した一時的でない記憶媒体等の形態で実現することができる。
手術支援システムの構成を例示した説明図である。 対象画像取得部によって実行される第1処理の処理手順の一例を示すフローチャートである。 第1処理及び第2処理について説明する図である。 手術支援装置によって実行される第2処理の処理手順の一例を示すフローチャートである。 第2処理について説明する図である。 第2処理について説明する図である。 第2実施形態の手術支援システムの構成を例示した説明図である。 第2実施形態のアンギオ画像取得部について説明する図である。 真腔情報取得部が真腔の三次元位置情報を取得する方法の一例について説明する図である。 真腔画像生成部及び画像合成部について説明する図である。 第3実施形態の手術支援システムの構成を例示した説明図である。 第3実施形態における第1処理の処理手順の一例を示すフローチャートである。 第4実施形態の手術支援システムの構成を例示した説明図である。 第4実施形態における第1処理の処理手順の一例を示すフローチャートである。 第4実施形態の第1処理及び第2処理について説明する図である。
<第1実施形態>
 図1は、手術支援システム1の構成を例示した説明図である。手術支援システム1は、検査や治療を支援するシステムである。手術支援システム1は、手術支援装置10と、FPD(フラットパネルディテクタ、Flat Panel Detector)を有するアンギオ装置20と、表示装置30と、テーブル40と、操作部50と、心電図計測装置60と、を備えている。FPDにより撮像された対象血管の撮像画像を、以降「アンギオ画像」とも呼ぶ。
 本実施形態の手術支援システム1は、後述する「第1処理」によって、心臓の拍動に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減したアンギオ画像を取得できる。また、手術支援システム1は、後述する「第2処理」によって、主に心臓の拍動以外の要因に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減した補正アンギオ画像を生成できる。なお、心臓の拍動以外の要因とは、例えば、呼吸に伴う胸郭の容積変化に応じた患者の身体の動きや、嚥下動作に応じた患者の身体の動き等、拍動以外の要因の総称である。第2処理では、上述の通り、拍動以外の要因に起因したぶれの低減を図るものの、拍動に起因したぶれ(すなわち、第1処理後に残存した拍動に起因したぶれ)の低減をも図ることができる。
 なお、「医療デバイス」とは、例えば、ガイドワイヤ、貫通ガイドワイヤ、プラズマガイドワイヤ、カテーテル、イメージングセンサ等の手技に使用される任意のデバイスを意味する。「医療デバイス特定部」は、医療デバイスのうちの、ある特定の一部分を意味する。医療デバイス特定部は、任意に定めることができ、例えば、医療デバイスのうちの検査や治療に重要な部分(例えば、先端部)としてもよく、医療デバイスのうちの特徴的な部分(例えば、突出部や、マーカーが配置された部分等)としてもよい。医療デバイス特定部を、単に「特定部」とも呼ぶ。以降の説明では、医療デバイスとしてカテーテルを例示し、特定部としてカテーテルの先端チップを例示する。なお、「対象血管」とは、検査または治療の対象となる血管を意味するが、手術支援システム1は、血管系に限らず、リンパ腺系、胆道系、尿路系、気道系、消化器官系、分泌腺及び生殖器官といった生体管腔内に対して使用されてもよい。
 図1では、相互に直交するXYZ軸を図示する。X軸はアンギオ装置20の幅方向に対応し、Y軸はアンギオ装置20の高さ方向に対応し、Z軸はアンギオ装置20の奥行方向に対応する。以降の説明では、患者(図1:人体90)の頭92がある方向を、単に「Z軸方向」とも呼び、単に「Z」として表す。このX,Y,Z軸からなる三次元座標(XYZ座標)によって形成される三次元空間をXYZ三次元空間と呼ぶ。なお、XYZ三次元空間(XYZ座標)の原点Oは、人体90の心臓91の位置としている。
 手術支援装置10は、後述する第2処理を実行することで、補正アンギオ画像を生成し、出力させる装置である。「補正アンギオ画像」とは、主に心臓の拍動以外の要因に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれが低減された画像である。手術支援装置10は、CPU、ROM、RAMを含んで構成されており、CPUがROMやRAMに記憶されているコンピュータプログラムを実行することにより、主制御部11と、アンギオ画像取得部12と、画像補正部13と、表示制御部14との各機能を実現する。また、手術支援装置10は、図示しない記憶部を備えている。記憶部は、ハードディスク、フラッシュメモリ、メモリカードなどで構成されている。手術支援装置10は、アンギオ装置20の制御装置29、表示装置30、及び操作部50のそれぞれと、電気的に接続されている。
 主制御部11は、アンギオ装置20の制御装置29、表示装置30、及び操作部50と情報を送受すると共に、手術支援装置10の全体を制御する。
 アンギオ画像取得部12は、心臓の拍動周期に応じた時間間隔を所定間隔とし、所定間隔ごとの、医療デバイスが挿入された対象血管を表すアンギオ画像(換言すれば、第1処理によって得られたアンギオ画像)を、順次取得する。アンギオ画像取得部12が実行する工程(ステップ)を、アンギオ画像取得工程(ステップ)とも呼ぶ。
 画像補正部13は、アンギオ画像取得部12によって順次取得されたアンギオ画像を、順次補正する「第2処理」を実行する。第2処理は、次のa1,a2に示す処理である。詳細は後述する。
(a1)補正対象のアンギオ画像Kに含まれる医療デバイスの特定部の位置が、
(a2)補正対象のアンギオ画像Kよりも時間的に前に取得されたアンギオ画像K-x(xは自然数)に含まれる医療デバイスの特定部の位置に近づくように、補正対象のアンギオ画像Kを補正して、補正アンギオ画像K´を生成する。画像補正部13が実行する工程(ステップ)を、画像補正工程(ステップ)とも呼ぶ。
 表示制御部14は、画像補正部13によって生成された補正アンギオ画像K´を、表示装置30に出力させる。表示制御部14が実行する工程(ステップ)を、表示制御工程(ステップ)とも呼ぶ。
 アンギオ装置20は、FPDを有しており、人体を透過させたX線を取得し、デジタル信号に変換することによって、画像(アンギオ画像)を取得する。アンギオ装置20は、第1FPD21と、第1X線管装置22と、第1Cアーム23と、第1支持部24と、第2FPD25と、第2X線管装置26と、第2Cアーム27と、第2支持部28と、制御装置29を有している。
 第1FPD21は、X線平面検出器を含んでおり、第1X線管装置22から入光したX線を電気信号に変換し、A/D(アナログ/デジタル)変換して、X線画像を生成する。第1X線管装置22は、図示しないX線高電圧装置からの高電圧出力の供給を受けて、X線ビームを照射する。図1においてY軸方向に延びる太い破線で示すように、第1X線管装置22から照射されたX線ビームは、人体90を介して、第1FPD21へと入光する。第1Cアーム23は、第1FPD21と第1X線管装置22とを対向する位置に固定するC字状のアーム(支持具)である。第1支持部24は、第1Cアーム23を回転可能に支持している。すなわち、第1FPD21及び第1X線管装置22は、第1Cアーム23により対向する位置に固定された状態で、寝台41に横たわる人体90の周囲において、任意の撮像位置へと移動できる。以降、第1Cアーム23に固定された第1FPD21及び第1X線管装置22を、単に「第1FPD21」とも呼ぶ。
 第2FPD25の構成は、第1FPD21と同様である。第2X線管装置26の構成は、第1X線管装置22と同様である。図1においてX軸方向に延びる太い破線で示すように、第2X線管装置26から照射されたX線ビームは、人体90を介して、第2FPD25へと入光する。第2Cアーム27は、第2FPD25と第2X線管装置26とを対向する位置に固定するC字状のアーム(支持具)である。第2支持部28は、第2Cアーム27を回転可能に支持している。すなわち、第2FPD25及び第2X線管装置26は、第2Cアーム27により対向する位置に固定された状態で、人体90の周囲において、任意の撮像位置へと移動できる。以降、第2Cアーム27に固定された第2FPD25及び第2X線管装置26を、単に「第2FPD25」とも呼ぶ。
 第2FPD25は一般に、第1FPD21の法線方向に配置される。例えば、図1に示すように、第1FPD21を人体90の正面方向(人体90の垂直方向、人体90の縦方向)の撮像位置とした場合、第2FPD25は、人体90の水平方向(人体90の横方向)の撮像位置とされる。なお、アンギオ装置20は、単に「FPD」、「FPD装置」などとも呼ばれることがある。
 制御装置29は、CPU、ROM、RAMを含んで構成されており、CPUがROMやRAMに記憶されているコンピュータプログラムを実行することにより、アンギオ装置20の全体を制御する。制御装置29は、手術支援装置10、第1FPD21、第2FPD25、第1支持部24、第2支持部28、表示装置30、テーブル40、操作部50、及び心電図計測装置60のそれぞれと、電気的に接続されている。制御装置29は、手術支援装置10、表示装置30、テーブル40、操作部50、及び心電図計測装置60と情報を送受する。制御装置29は、操作部50からの操作に従って、第1支持部24を駆動して第1Cアーム23を回転させ、第2支持部28を駆動して第2Cアーム27を回転させる。さらに、制御装置29は、操作部50からの操作に従って、伸縮部42を伸縮させることで寝台41の高さを変更し、テーブル40をZ軸方向に移動させることで寝台41の位置を変更する。
 制御装置29は、さらに、CPUがROMやRAMに記憶されているコンピュータプログラムを実行することにより、対象画像取得部291と、心電図情報取得部292との各機能を実現する。
 対象画像取得部291は、心臓の拍動周期に応じた時間間隔を所定間隔とし、当該所定間隔ごとに、第1FPD21(または第2FPD25)に対象血管を撮像させ、撮像により取得した対象血管のアンギオ画像を手術支援装置10に出力する「第1処理」を実行する。第1処理の詳細は後述する。
 心電図情報取得部292は、心電図計測装置60から、心電図計測装置60によって計測された心電図データを取得する。本実施形態の「心電図データ」には、次のb1,b2に示す両方の情報が含まれる。なお、心電図情報取得部292は、b1の心電図波形データと、b2のトリガ信号とのいずれか一方のみを、心電図計測装置60から取得してもよい。
(b1)P波、Q波、R波、S波、T波、U波を含む心電図波形データ、
(b2)心電図波形データのうちの任意の特定波形(例えばR波)が出現したタイミングで1(ON)となり、他の波形が出現したタイミングでは0(OFF)となるトリガ信号。なお、心電図計測装置60は、1(ON)とする特定波形を変更できるように構成されていてもよい。
 表示装置30は、手術支援装置10と、アンギオ装置20の制御装置29とに接続されており、手術支援装置10及びアンギオ装置20に対する出力インタフェースとして機能する。表示装置30は、モニタ31と、アーム32とを有している。モニタ31は、液晶ディスプレイ、スマートグラス、プロジェクタ等の周知の手段により構成された「表示部」である。アーム32は、モニタ31を支持し、固定している。
 テーブル40は、人体90を横たえて、第1FPD21及び第2FPD25の近傍に位置させるための台である。テーブル40は、寝台41と、伸縮部42と、脚部43とを有している。寝台41は、人体90を横たえるためのマットレスを備える。寝台41は、Z軸方向に移動可能な状態で、テーブル40に支持されている。伸縮部42は、Y軸方向に伸縮することで、寝台41の高さを変更可能に構成されている。脚部43は、寝台41及び伸縮部42を支えている。図1において破線で示すように、人体90は、頭92を、第1FPD21及び第2FPD25に近い側に載せ、足93を、第1FPD21及び第2FPD25から遠い側に載せた状態で、寝台41に上向きに横たえられる。このようにすれば、第1FPD21及び第2FPD25によって、心臓91にある対象血管の像を取得しやすい。
 操作部50は、手術支援装置10と、アンギオ装置20の制御装置29とに接続されており、手術支援装置10及びアンギオ装置20に対する入力インタフェースとして機能する。操作部50は、タッチパネル、操作ボタン、操作レバー、操作スイッチ、キーボード、マウス、音声入力部、フットスイッチ等の周知の手段により構成された「入力部」である。図示の例では、操作部50は、テーブル40に固定されている。
 心電図計測装置60は、心臓91の活動に伴って発生した微小な起電力を人体90に取り付けられた電極によって誘導し、これを増幅した心電図データを収集、計測する装置である。上述の通り、心電図計測装置60は、b1の心電図波形データと、b2のトリガ信号との両方を、アンギオ装置20へと送信する。
 図2は、対象画像取得部291によって実行される第1処理の処理手順の一例を示すフローチャートである。第1処理は、心臓の拍動周期に応じた時間間隔を所定間隔とし、当該所定間隔ごとに、医療デバイスが挿入された対象血管を撮像させることで対象血管を表すアンギオ画像を取得するための処理である。図2に示す第1処理は、任意の契機で開始される。任意の契機とは、例えば、アンギオ装置20の電源ONと同時としてもよく、制御装置29が提供する所定のアプリケーションの起動と同時としてもよく、手術支援装置10における第2処理(図4にて後述)の開始と連動して開始されてもよい。なお、以降の説明では、対象血管を撮像してアンギオ画像を取得するFPD(第1FPD21または第2FPD25)を、単にFPDと呼ぶ。
 図3は、第1処理及び第2処理について説明する図である。図3の最上段には、制御装置29が、心電図計測装置60から取得した心電図データのうち、b2のトリガ信号S2を時系列に沿って図示している。図3のトリガ信号S2の下には、制御装置29が、心電図計測装置60から取得した心電図データのうち、b1の心電図波形データS1を時系列に沿って図示している。トリガ信号S2が1になるタイミング、すなわち、心電図波形データS1にR波が出現したタイミングを「Wn時点(nは自然数)」とも呼ぶ。図3では、各Wn時点に、紙面上下方向に延びる破線を付すと共に、各Wn時点と同じ時点を「時点tn(nは自然数)」と呼ぶ。図3の心電図波形データS1の下には、制御装置29における所定間隔の計算と、制御装置29がFPDに対象血管を撮像させてアンギオ画像を取得するタイミングtを時系列に沿って図示している。図3のタイミングtの下には、FPDによる撮像によって取得したアンギオ画像Vn(nは自然数)を時系列に沿って図示している。図3のアンギオ画像Vnの下には、後述する第2処理を経て、手術支援装置10によって補正された補正アンギオ画像Vn´を時系列に沿って図示している。なお、図3では、WnとWn-1との間隔(換言すれば、時点tnと時点tn-1との間隔)は一定である場合を例示している。しかし、実際の人体90では、WnとWn-1との間隔は小さくずれる場合もある。
 以降、図2と図3を用いて、第1処理について説明する。図2のステップS100において対象画像取得部291は、心電図データのうちのトリガ信号S2と心電図波形データS1との一方を用いて、W1時点と、W2時点とを検出する。なお、心電図波形データS1を用いてW1,W2時点を検出する場合、対象画像取得部291は、心電図波形データS1に対して、パターンマッチングやピーク値検出処理を施すことによって、特定波形(R波)を検出すればよい。トリガ信号S2を用いれば、対象画像取得部291の処理負荷(特定波形を検出するための処理負荷)を低減できる。W1,W2時点を検出した後、対象画像取得部291は、W2に対応する時点t2から、W1に対応する時点t1を減じたΔt2を求める(Δt2 = t2 - t1)。
 ステップS102において対象画像取得部291は、W2に対応する時点t2から、ステップS100で求めたΔt2後のタイミングt(t = t2 + Δt2)で、FPDに対象血管を撮像させることで、対象血管のアンギオ画像V1を取得する。ステップS104において対象画像取得部291は、取得したアンギオ画像V1を手術支援装置10に送信する。
 ステップS106において対象画像取得部291は、変数nに3を代入し、変数m(mは自然数)に2を代入して、処理をステップS108に遷移させる。なお、ステップS100~S106は初期処理である。
 ステップS108において対象画像取得部291は、心電図データのうちのトリガ信号S2と心電図波形データS1との一方を用いて、Wn時点を検出する。対象画像取得部291は、Wnに対応する時点tnから、Wn-1に対応する時点tn-1を減じたΔtnを求める(Δtn = tn - tn-1)。
 例えば、n=3の場合、tn = t3であり、tn-1 = t2である。このため、Δt3 = t3 - t2となる。すなわち、tnとtn-1のうちのtnは、連続する2つの心電図データのうち、相対的に後に取得された心電図データにおいてトリガ信号S2=1(ON)の時点であり、相対的に後に取得された心電図データにおいて心電図波形データS1に特定波形が出現した時点である。他方、tn-1は、連続する2つの心電図データのうち、相対的に前に取得された心電図データにおいてトリガ信号S2=1(ON)の時点であり、相対的に前に取得された心電図データにおいて心電図波形データS1に特定波形が出現した時点である。
 ステップS110において対象画像取得部291は、ステップS108で求めたΔtnの絶対値|Δtn = tn - tn-1|が、所定値よりも大きいか否かを判定する。この所定値は、人体90の心臓91が、不整脈や徐脈を生じていないかを判定するための閾値であり、不整脈や徐脈の有無を判定するために適切な値が予め定められ、制御装置29に記憶されている。なお、ステップS110では、不整脈の有無を判定するための第1閾値と、徐脈の有無を判定するための第2閾値と、の両方に対して比較が行われてもよい。また、ステップS110では、ステップS108で求めたΔtnの絶対値|Δtn = tn - tn-1|が、頻脈の有無を判定するための第3閾値よりも小さいか否かを判定していもよい。
 Δtnの絶対値が所定値よりも大きい場合(ステップS110:YES)、ステップS112において対象画像取得部291は、手術支援装置10に対して、警告を送信する。警告を受信した手術支援装置10は、表示装置30に対して警告メッセージを表示させることで、術者に注意喚起を行う。一方、Δtnの絶対値が所定値以下である場合(ステップS110:NO)、対象画像取得部291は処理をステップS114に遷移させる。
 ステップS114において対象画像取得部291は、Wnに対応する時点tnから、ステップS108で求めたΔtn後のタイミングt(t = tn + Δtn)で、FPDに対象血管を撮像させることで、対象血管のアンギオ画像Vmを取得する。ここで、対象画像取得部291は、FPDの撮像(すなわち、第1X線管装置22によるX線照射、及び、第1FPD21によるX線検出と変換)がタイミングtに正確に行われるよう、FPDの起動に要する準備時間等を予め加味して、タイミングtよりも少し前にFPDに動作指令を送る。この点は、上述したステップS102においても同様である。
 ステップS116において対象画像取得部291は、取得したアンギオ画像Vmを手術支援装置10に送信する。
 ステップS118において対象画像取得部291は、変数nと、変数mとにそれぞれ1を加算し、処理をステップS108に遷移させて、上述した処理を繰り返す。この結果、アンギオ装置20の対象画像取得部291は、図3に示すアンギオ画像V1,V2,V3,・・・,Vmを、順次、手術支援装置10へと送信する。手術支援装置10では、アンギオ装置20から順次取得したアンギオ画像V1,V2,V3,・・・,Vmを用いて第2処理が行われる。図2の処理は、所定の終了条件が成立するまで繰り返し継続される。終了条件とは、例えば、アンギオ装置20の電源OFFとしてもよく、処理開始時に起動されたアプリケーションの終了としてもよい。
 このように、図3の例では、アンギオ装置20の対象画像取得部291がFPDに対象血管を撮像させて取得するアンギオ画像V1,V2,V3,・・・,Vm(換言すれば、手術支援装置10のアンギオ画像取得部12が取得するアンギオ画像V1,V2,V3,・・・,Vm)は、心電図計測装置60によって直前に取得された時間的に連続する2つの心電図データの時間間隔Δtn(Δtn = tn - tn-1)を心臓の拍動周期に応じた所定間隔とし、この所定間隔ごとに取得したアンギオ画像である。人体90の心臓91は、拍動周期に応じて規則的に拡縮を繰り返している。このため、本実施形態の対象画像取得部291は、時点tnからΔtn後には、心臓91の拍動周期が時点tn-1と同じフェーズである(換言すれば、心臓91の拡縮状態が時点tn-1と等しい)と予測して、FPDにアンギオ画像Vmを取得させる。なお、本実施形態では、特定波形を、拡張期の終わりに現れるR波としているため、対象画像取得部291は、拡張が終わって動きが緩やかとなり、血管の変化(動き)が少ない状態の心臓91を捉えたアンギオ画像Vmを取得できる。
 また、上述の例では、対象画像取得部291は、算出したタイミングt(t = tn + Δtn)ごとに、FPDに対象血管を撮像させてアンギオ画像Vm(静止画)を取得している。このため、FPDにΔtnよりも短い間隔で対象血管を撮像させてアンギオ画像の動画を取得する場合と比較して、人体90にX線を照射する時間を短くすることができ、人体90の被ばく量を低減できる。
 図4は、手術支援装置10によって実行される第2処理の処理手順の一例を示すフローチャートである。第2処理は、上述した通り、次のa1,a2に示す処理である。
(a1)補正対象のアンギオ画像Kに含まれる医療デバイスの特定部の位置が、
(a2)補正対象のアンギオ画像Kよりも時間的に前に取得されたアンギオ画像K-x(xは自然数)に含まれる医療デバイスの特定部の位置に近づくように、補正対象のアンギオ画像Kを補正して、補正アンギオ画像K´を生成する。
 図4に示す第2処理は、任意の契機で開始される。任意の契機とは、例えば、手術支援装置10の電源ONと同時としてもよく、手術支援装置10が提供する所定のアプリケーションの起動と同時としてもよく、アンギオ装置20における第1処理(図2)の開始と連動して開始されてもよい。
 図5及び図6は、第2処理について説明する図である。図4のステップS200においてアンギオ画像取得部12は、アンギオ装置20から、アンギオ画像V1(図2:ステップS104において送信された画像)を取得する。図5(A)には、アンギオ画像V1の一例を示している。
 ステップS202において表示制御部14は、ステップS200で取得したアンギオ画像V1を表示装置30に表示させる。その後、画像補正部13は、術者が医療デバイスの特定部(特定の一部分:先端部、突出部、マーカー部分等)を選択するよう誘導する。誘導は、表示装置30に選択を促すメッセージを含む文字あるいは画像を表示することで行ってもよく、表示装置30から選択を促すメッセージを音声出力することで行ってもよい。術者は、この誘導に従って、表示装置30に表示されたアンギオ画像V1に写る医療デバイスの特定部を選択する。選択は、図5(A)において一点鎖線の矩形枠で示すように、表示装置30に表示されたアンギオ画像V1のうち、医療デバイスの特定部に相当する部分を範囲選択することで実施できる。図5(A)の例では、医療デバイスMD(例えばカテーテル)の「先端チップ」を、特定部FPとして例示している。選択は、タップ、クリック等の周知の他の手段で実施されてもよい。
 アンギオ画像V1に写る医療デバイスの特定部FPが選択された後、画像補正部13は、アンギオ画像V1上の特定部FPの重心位置の座標x,yを算出し、算出した重心位置の座標x,yを、特定部FPの中心C(x,y)とする。画像補正部13は、アンギオ画像V1から、選択された特定部FPを含む所定範囲の画像(例えば、図5(A)の矩形枠内に対応する画像)を抜き出し、特定部FPの中心C(x,y)の座標情報と共に、図示しない記憶部に記憶させる。ここで記憶された画像を、以降「特定部画像」とも呼ぶ。なお、ステップS200,S202は初期処理である。
 ステップS204においてアンギオ画像取得部12は、アンギオ装置20から、アンギオ画像Vm(図2:ステップS116において送信された画像)を取得する。図5(B)には、アンギオ画像V1よりも時間的に後に取得されたアンギオ画像Vmの一例としての、アンギオ画像Vm(m=2)の一例を示している。
 ステップS206において画像補正部13は、ステップS204で取得されたアンギオ画像Vmを用いて、医療デバイスの特定部のテンプレートマッチングを行う。具体的には、画像補正部13は、アンギオ画像Vmに写る医療デバイスの像と、特定部画像に含まれる医療デバイスの特定部FPの像と、をマッチングさせることで、図5(B)に示すように、アンギオ画像Vmに写る医療デバイスの特定部FPm(m=2)を検出する。さらに画像補正部13は、アンギオ画像Vm上の特定部FPmの中心Cm(xm,ym:m=2)、すなわち、重心位置の座標xm,ymを算出する。
 ステップS208において画像補正部13は、画像補正を行う。画像補正は、上述したa1,a2に沿って行う。以降、図5及び図6を用いて、画像補正の具体例について説明する。なお、図6(A)には、アンギオ画像V1よりも時間的に後に取得されたアンギオ画像Vmの一例としての、アンギオ画像Vm(m=2)の一例を示し、図6(B)には、アンギオ画像V1よりも時間的に後に取得されたアンギオ画像Vmの一例としての、アンギオ画像Vm(m=3)の一例を示している。
 図5(A),(B)の具体例について説明する。
(a1)1回目に実行されるステップS208において、画像補正部13は、補正対象のアンギオ画像V2に含まれる医療デバイスMDの特定部FP2の位置x2,y2が、
(a2)補正対象のアンギオ画像V2よりも時間的に前に取得されたアンギオ画像V1に含まれる医療デバイスMDの特定部FPの位置x,yに近づくように、補正対象のアンギオ画像V2を平行移動させることで補正して、補正アンギオ画像V2´を生成する。ここで、「位置x2,y2が、位置x,yに近づくように、画像を平行移動させる」とは、座標(x2,y2)が、座標(x,y)に近づく、すなわち、x2とxとの差が小さく、かつ、y2とyとの差が小さくなるように、画像の左上端C0(0,0)を平行移動させる、という意味である。この結果、補正前後のアンギオ画像における画像の表示範囲が変更されることに伴い、画像内における医療デバイスMDの位置が変更される。
 図6(A),(B)の具体例について説明する。
(a1)2回目に実行されるステップS208において、画像補正部13は、補正対象のアンギオ画像V3に含まれる医療デバイスMDの特定部FP3の位置x3,y3が、
(a2´)補正対象のアンギオ画像V2の直前に取得されたアンギオ画像V2に対する、補正後の補正アンギオ画像V2´に含まれる医療デバイスMDの特定部FP2の位置x2,y2に近づくように、補正対象のアンギオ画像V3の範囲を平行移動させることで補正して、補正アンギオ画像V3´を生成する。
 このように、1回目(初回)の画像補正では、画像補正部13は、基準となるアンギオ画像V1における特定部FPの位置を用いて、補正対象のアンギオ画像を補正する。また、2回目以降の画像補正では、画像補正部13は、上記のa2´で説明したように、補正対象のアンギオ画像の直前に取得されたアンギオ画像に対する「補正後の補正アンギオ画像」における特定部FPの位置を用いて、補正対象のアンギオ画像を補正する。
 図4に戻り説明を続ける。図4のステップS210において表示制御部14は、ステップS208で補正された補正アンギオ画像Vm´を表示装置30に表示(出力)させる。その後、表示制御部14は、処理をステップS204に遷移させて、上述した処理を繰り返す。これにより、表示装置30には、基準となったアンギオ画像V1の後は、アンギオ画像取得部12がアンギオ装置20から順次取得し、画像補正部13によって順次補正された補正後アンギオ画像V2´,V3´,・・・,Vm´が、表示装置30に出力される(図3:最下段参照)。術者は、表示装置30に出力された補正後アンギオ画像V2´,V3´,・・・,Vm´を参照することで、医療デバイスの特定部の位置を把握し、手技を進めることができる。
 図4の処理は、所定の終了条件が成立するまで繰り返し継続される。終了条件とは、例えば、手術支援装置10の電源OFFとしてもよく、処理開始時に起動されたアプリケーションの終了としてもよい。
 以上のように、第1実施形態の手術支援装置10によれば、アンギオ画像取得部12は、心臓91の拍動周期に応じた時間間隔である所定間隔Δtnごとのアンギオ画像Vmを順次取得する。心臓91は、拍動周期に応じて規則的に拡張及び収縮(拡縮)を繰り返しているため、拍動周期に応じた所定間隔Δtnごとのアンギオ画像Vmを取得することによって、心臓91の拡縮状態が等しい(均一な)アンギオ画像Vmを取得することができる。このようなアンギオ画像Vmを取得することにより、アンギオ画像取得部12は、拍動に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減できる。また、患者の身体(人体90)は、心臓91の拍動以外にも、呼吸に伴う胸郭の容積変化等の要因によって絶えず動いている。第1実施形態の手術支援装置10によれば、画像補正部13は、アンギオ画像取得部12によって順次取得されたアンギオ画像Vmのうち、補正対象のアンギオ画像V2に含まれる医療デバイスの特定部FP2の位置が、補正対象のアンギオ画像V2よりも時間的に前に取得されたアンギオ画像V1に含まれる医療デバイスの特定部FPの位置に近づくように、補正対象のアンギオ画像V2を補正した補正アンギオ画像V2´を生成する(図5)。このため、画像補正部13は、主に心臓91の拍動以外の要因に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減できる。このように、第1実施形態の手術支援装置10は、アンギオ画像取得部12による拍動に起因したぶれの低減と、画像補正部13による拍動以外の要因に起因したぶれの低減とを分離して(個別に)行うため、アンギオ画像上における医療デバイス特定部の位置のぶれを高精度に低減できる。この結果、第1実施形態の手術支援装置10によれば、術者が対象血管内における医療デバイス特定部の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
 また、第1実施形態の手術支援装置10によれば、画像補正部13は、補正対象のアンギオ画像V3の直前に取得されたアンギオ画像V2に対する補正後の補正アンギオ画像V2´に含まれる医療デバイスの特定部FP2の位置を用いて補正対象のアンギオ画像V3を補正する(図6)。このため、最新の補正結果(補正対象のアンギオ画像K=V3に対する補正アンギオ画像K´=V3´)と、直前の補正結果(補正対象のアンギオ画像の直前に取得されたアンギオ画像K-1=V2に対する補正アンギオ画像K-1´=V2´)と、における医療デバイスの特定部の位置移動を小さくでき、より自然な補正アンギオ画像を提供できる。
 さらに、第1実施形態のアンギオ装置20によれば、対象画像取得部291は、心臓91の拍動周期に応じた時間間隔である所定間隔Δtnごとに、医療デバイスが挿入された対象血管をFPDに撮像させることで対象血管を表すアンギオ画像Vmを取得し、取得した画像を手術支援装置10へと出力する。心臓91は、拍動周期に応じて規則的に拡縮を繰り返しているため、拍動周期に応じた所定間隔Δtnごとのアンギオ画像Vmを取得することによって、心臓91の拡縮状態が等しい(均一な)アンギオ画像Vmを取得することができる。この結果、対象画像取得部291は、拍動に起因した、アンギオ画像上における医療デバイス特定部の位置のぶれを低減できる。この結果、第1実施形態のアンギオ装置20によれば、術者が対象血管内における医療デバイス特定部の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
 さらに、第1実施形態のアンギオ装置20によれば、所定間隔Δtnは、心電図計測装置60によって直前に取得された時間的に連続する2つの心電図データの時間間隔tn - tn-1から算出されている(図3)。このため、対象画像取得部291は、患者それぞれの心臓91の拍動周期であって、現在の拍動周期に近い直前の拍動周期に応じて、拍動に起因したぶれが精度よく低減されたアンギオ画像Vmを撮像により取得して出力できる。同様に、手術支援装置10のアンギオ画像取得部12は、拍動に起因したぶれが精度よく低減されたアンギオ画像Vmを取得できる。
 さらに、第1実施形態のアンギオ装置20によれば、所定間隔Δtnは、心電図計測装置60によって取得された時間的に連続する2つの心電図波形データS1のうち、第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、第n心電図波形データにおいて特定波形が出現した時点tnと、の時間間隔tn - tn-1から算出されている(図3)。このため、特定波形を、心臓91の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時(例えば、特定波形=R波)に定めることによって、対象画像取得部291は、心臓91の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時の、アンギオ画像Vmを撮像により取得して出力できる。この結果、アンギオ画像における医療デバイスの視認性を向上できる。同様に、手術支援装置10のアンギオ画像取得部12は、心臓91の拡縮状態が医療デバイスを視認するのに適した拡縮状態である時の、アンギオ画像Vmを取得できる。
 さらに、第1実施形態の手術支援システム1によれば、アンギオ装置20の対象画像取得部291は、心臓91の拍動周期に応じた時間間隔である所定間隔Δtnごとのアンギオ画像Vmを手術支援装置10へ順次送信し(図2:ステップS116)、手術支援装置10のアンギオ画像取得部12は、所定間隔Δtnごとのアンギオ画像Vmをアンギオ装置から順次取得する(図4:ステップS204)。このため、手術支援システム1における処理負荷をアンギオ装置20と手術支援装置10とに分散させることができ、処理負荷が高くなることに起因した処理遅滞の発生を抑制できる。また、手術支援装置10の画像補正部13は、アンギオ画像取得部12によって取得された複数のアンギオ画像のうち、最新のアンギオ画像を補正対象のアンギオ画像とするため(図4:ステップS204)、最新のアンギオ画像Vmに対する補正アンギオ画像Vm´を遅滞なく出力できる(図4:ステップS210)。
<第2実施形態>
 図7は、第2実施形態の手術支援システム1Aの構成を例示した説明図である。第2実施形態では、対象血管の補正アンギオ画像に対して、当該補正アンギオ画像に対応する位置及び姿勢を有する対象血管内の真腔を表す真腔画像を生成し、補正アンギオ画像と真腔画像とを合成した合成画像を表示する構成について説明する。第2実施形態の手術支援システム1Aは、手術支援装置10に代えて手術支援装置10Aを備えている。手術支援装置10Aは、第1実施形態で説明した構成において、アンギオ画像取得部12に代えてアンギオ画像取得部12Aを備え、画像補正部13に代えて画像補正部13Aを備え、さらに、真腔情報取得部15と、真腔画像生成部16と、画像合成部17とを備えている。
 図8は、第2実施形態のアンギオ画像取得部12Aについて説明する図である。アンギオ画像取得部12Aは、図2で説明した第1処理によって、所定間隔Δtnごとのアンギオ画像であって、第1位置に配置された第1FPD21によって撮像された第1アンギオ画像Vaと、第1位置とは異なる第2位置に配置された第1FPD21によって撮像された第2アンギオ画像Vbと、を取得する。第1アンギオ画像Vaと、第2アンギオ画像Vbとは、心臓91の拍動周期が同じフェーズである画像、すなわち、心臓91の拡縮状態が等しい画像である点は、第1実施形態のアンギオ画像V1,V2と同じである。
 一方、第1アンギオ画像Vaと、第2アンギオ画像Vbとは、画像Va,Vbが撮像される第1FPD21の位置がそれぞれ異なる。具体的には、図8に示すように、第2アンギオ画像Vb(図8:ドットハッチング)は、第1アンギオ画像Va(図8:斜線ハッチング)に対して垂直となる撮像方向に配置された第1FPD21により取得された画像である。図8では、第1位置に配置された第1FPD21の心臓91に対する撮像方向である第1ビューを表すベクトルを第1ビューベクトルVw1と表し、第2位置に配置された第1FPD21の心臓91に対する撮像方向である第2ビュー(=BNV)を表すベクトルを第2ビューベクトルVw2と表している。
 画像補正部13Aは、図4で説明した第2処理によって、第1アンギオ画像Vaに対する補正アンギオ画像である第1補正アンギオ画像Va´と、第2アンギオ画像Vbに対する補正アンギオ画像である第2補正アンギオ画像Vb´と、をそれぞれ生成し、真腔情報取得部15へと送信する。
 真腔情報取得部15は、画像補正部13Aから取得した補正アンギオ画像(具体的には、第1補正アンギオ画像Va´と第2補正アンギオ画像Vb´)を用いて、対象血管内に存在する真腔の三次元位置情報を取得する。なお、真腔情報取得部15が実行する工程(ステップ)を、真腔情報取得工程(ステップ)とも呼ぶ。
 図9は、真腔情報取得部15が真腔の三次元位置情報を取得する方法の一例について説明する図である。図9は、CTOが生じた対象血管BVの縦断面であって、対象血管BVの内膜下に生じた偽腔に、医療デバイスとしてのイメージングセンサ300(超音波センサ300)と、ガイドワイヤ500が挿入されたワイヤ用カテーテル400と、が挿入された例を示している。この例では、真腔情報取得部15が、第1位置(図8)の位置情報と、第1補正アンギオ画像Va´と、第2位置(図8)の位置情報と、第2補正アンギオ画像Vb´と、超音波画像と、を用いて、真腔の三次元位置情報を取得する方法について説明する。ここで、第1補正アンギオ画像Va´及び第2補正アンギオ画像Vb´には、イメージングセンサ300の像が含まれている。超音波画像には、ガイドワイヤ500の像と、真腔の像とが含まれている。
 真腔情報取得部15は、次に示す手順c1~c11によって、真腔の三次元位置情報を取得する。
(c1)第1位置の位置情報、及び第1位置での第1補正アンギオ画像Va´と、第2位置の位置情報、及び第2位置での第2補正アンギオ画像Vb´とを用いて、イメージングセンサ300のトランスデューサ301の位置ベクトルと、トランスデューサ301の軸ベクトルT1とを求める。
(c2)イメージングセンサ300のトランスデューサ301とガイドワイヤ500とが重なる(交差する)補正アンギオ画像Vα´が得られる、第1FPD21の位置αを決定し、位置αからビューベクトルVwαを算出する。なお、補正アンギオ画像Vα´は、アンギオ画像取得部12Aが、第1処理によって取得した所定間隔Δtnごとのアンギオ画像Vαに対し、画像補正部13Aが、図4で説明した第2処理によって生成した補正アンギオ画像である。
(c3)手順c1で算出したトランスデューサ301の軸ベクトルT1と、手順c2で算出したビューベクトルVwαの外積から、回転軸Rを算出する。
(c4)手順c3で算出した回転軸Rを軸として、手順c1で算出したトランスデューサ301の軸ベクトルT1を90度回転させたベクトルCV1を算出する。
(c5)イメージングセンサ300に、トランスデューサ301の軸ベクトルT1に垂直な方向(T1の360°全周方向)にある対象血管内部の超音波画像を撮像により取得させる。このとき、超音波画像は、第1アンギオ画像Va,第2アンギオ画像Vb、及び、アンギオ画像Vαが撮像されたタイミングt(心臓の拍動周期に応じた時間間隔である所定間隔ごとのタイミングt)と同じタイミングtで取得する。
(c6)手順c5で得られた超音波画像を用いて、トランスデューサ301からガイドワイヤ500へ向かう方向への関連付けをする。
(c7)超音波画像のピクセル数と、実際の寸法とを関連付ける。
(c8)超音波画像に写るガイドワイヤ500の像と、真腔の像とを用いて、XYZ三次元空間における真腔ベクトルS1(トランスデューサ軸T1に垂直であって、トランスデューサ301から真腔まで延びるベクトル)を算出する。
(c9)真腔ベクトルS1と、関連付けられた寸法を用いて、真腔の実際の幅と長さを算出する。
(c10)上記の処理を目的の目印数i(iは自然数)だけ繰り返し、XYZ三次元空間における真腔ベクトルS1~Siの算出、及び、幅と長さの算出を行う。
(c11)得られた真腔ベクトルS1~Siの向きと、真腔ベクトルS1~Siの長さ(mm)と、真腔ベクトルS1~Siに対応する部分の真腔幅の実寸(mm)とを、真腔の三次元位置情報(XYZ三次元空間における位置情報)として記憶する。
 真腔情報取得部15が真腔の三次元位置情報を取得する方法の他の例について説明する。この例では、イメージングセンサ300は用いず、真腔情報取得部15が、真腔を異なる角度から捉えた像である第1補正アンギオ画像Va´と、第2補正アンギオ画像Vb´とを用いて、真腔の三次元位置情報を取得する方法について説明する。ここで、第1補正アンギオ画像Va´には、ワイヤ用カテーテル400の先端部の像と、真腔の像とが含まれている。第2補正アンギオ画像Vb´には、ワイヤ用カテーテル400の先端部の像と、真腔の像とが含まれている。真腔情報取得部15は、第1補正アンギオ画像Va´と、第2補正アンギオ画像Vb´と、にそれぞれ写る真腔の像を用いて、真腔ベクトルS1~Siを求める。
 図10は、真腔画像生成部16及び画像合成部17について説明する図である。図10(A)は、画像補正部13Aから取得した補正アンギオ画像Vx´の一例を示す。図10(B)は、真腔画像生成部16によって生成された真腔画像Vyの一例を示す。図10(C)は、画像合成部17によって生成される合成画像Vx´+Vyの一例を示す。
 真腔画像生成部16は、真腔を表す真腔画像を生成する。具体的には、まず、真腔画像生成部16は、任意の撮像位置Aに配置された第1FPD21から対象血管BVに対して撮像されたアンギオ画像Vxであって、所定間隔Δtnごとのアンギオ画像Vxに対する補正アンギオ画像Vx´を画像補正部13Aから取得する。真腔画像生成部16が取得した補正アンギオ画像Vx´の一例を図10(A)に示す。撮像位置Aは、上述した第1位置、第2位置、及び位置αとは異なる任意の位置である。その後、真腔画像生成部16は、任意の撮像位置Aの位置情報と、真腔情報取得部15により取得された真腔の三次元位置情報と、から得られた正射影ベクトルを用いて、補正アンギオ画像Vx´に対応する位置及び姿勢の真腔を表す真腔画像Vyを生成する。図10(B)に示すように、真腔画像Vyには、補正アンギオ画像Vx´に対応する(換言すれば、撮像位置Aから見た場合の)位置及び姿勢の真腔TCの像が含まれている。なお、真腔画像生成部16が実行する工程(ステップ)を、真腔画像生成工程(ステップ)とも呼ぶ。
 画像合成部17は、図10(A)に示す補正アンギオ画像Vx´と、図10(B)に示す真腔画像Vyとを合成した合成画像Vx´+Vyを生成し、表示装置30に出力させる。図10(C)に示すように、合成画像Vx´+Vyとは、補正アンギオ画像Vx´に対して、真腔画像Vyを重畳表示させた画像である。なお、画像合成部17が実行する工程(ステップ)を、画像合成工程(ステップ)とも呼ぶ。
 なお、真腔情報取得部15、真腔画像生成部16、及び画像合成部17における処理の詳細は、国際出願PCT/JP2022/28524号に開示されている。
 このように、画像補正部13Aによって補正された補正アンギオ画像Va´,Vb´,Vx´を利用して、更なる処理を行ってもよい。第1実施形態で説明した通り、補正アンギオ画像Va´,Vb´,Vx´は、拍動に起因したぶれの低減と、拍動以外の要因に起因したぶれの低減とが図られている。このような補正アンギオ画像Va´,Vb´,Vx´を用いて更なる処理を行うことによって、後続する処理の精度を向上できる。以上のような第2実施形態の手術支援装置10A及び手術支援システム1Aによっても、上述した第1実施形態と同様の効果を奏することができる。
 さらに、第2実施形態の手術支援装置10Aによれば、真腔画像生成部16は、アンギオ画像Vxが取得された任意の撮像位置Aの位置情報と、真腔情報取得部15により取得された真腔の三次元位置情報と、を用いて、補正アンギオ画像Vx´に対応する位置及び姿勢の真腔TCを表す真腔画像Vyを生成できる。すなわち、真腔画像生成部16は、造影剤が目的とする真腔まで流れ込まない場合や、血管に造影剤を流していない場合であっても、真腔の三次元位置情報に基づき真腔の像TCを表す真腔画像Vyを生成できる。また、画像合成部17は、任意の撮像位置Aにおける補正アンギオ画像Vx´と、真腔の像TCを表す真腔画像Vyとを合成した合成画像Vx´+Vyを生成し、合成画像Vx´+Vyを出力させるため、補正アンギオ画像Vx´に血管の真腔の画像Vyを表示させることができる。このため術者は、合成画像Vx´+Vyを確認することで、補正アンギオ画像Vx´上の医療デバイス300,500と、真腔画像Vy上の真腔TCと、の位置関係を確認しつつ手技を進めることができる。この結果、術者が対象血管内における真腔の位置を正しく把握することが可能となるため、手技の精度向上、手技に要する時間の短縮、及び患者の負担低減を図ることができる。
 さらに、第2実施形態の手術支援装置10Aによれば、真腔情報取得部15は、心臓91の拍動に起因したぶれの低減と、心臓91の拍動以外の要因(呼吸に伴う胸郭の容積変化等)に起因したぶれの低減とが図られた第1,2補正アンギオ画像Va´,Vb´を用いて真腔の三次元位置情報を取得する。このため、ぶれの低減が図られていないアンギオ画像を用いる場合と比較して、真腔の三次元位置情報を高精度に取得できる。また、超音波画像と、第1,2補正アンギオ画像Va´,Vb´との撮像間隔を、所定間隔Δtnを利用して同期させることができるため、真腔の三次元位置情報をより高精度に取得できる。
<第3実施形態>
 図11は、第3実施形態の手術支援システム1Bの構成を例示した説明図である。第3実施形態では、第2処理に加えて、第1処理も手術支援装置10Bが行う構成について説明する。第3実施形態の手術支援システム1Bは、手術支援装置10に代えて手術支援装置10Bを備え、アンギオ装置20に代えてアンギオ装置20Bを備えている。手術支援装置10Bは、第1実施形態で説明した構成において、アンギオ画像取得部12に代えてアンギオ画像取得部12Bを備え、さらに、対象画像取得部18と、心電図情報取得部19とを備えている。対象画像取得部18は、第1実施形態の対象画像取得部291と同様に、第1処理(図12において後述)を実行する。手術支援装置10Bは、心電図計測装置60と電気的に接続されており、心電図情報取得部19は、第1実施形態の心電図情報取得部292と同様の機能を有している。
 アンギオ装置20Bは、第1実施形態で説明した構成において、制御装置29に代えて制御装置29Bを備えている。アンギオ装置20Bは、心電図計測装置60とは接続されていない。アンギオ装置20Bの制御装置29Bは、第1実施形態で説明した対象画像取得部291及び心電図情報取得部292の機能は有しておらず、FPDに対象血管を第1実施形態で説明した所定間隔Δtnよりも短い間隔で連続的に撮像させて、撮像により取得した連続アンギオ画像を手術支援装置10Bへと送信する。なお「連続アンギオ画像」とは、動画、あるいは、第1実施形態で説明した所定間隔Δtnよりも短い間隔で、滑らかに連続した静止画を意味する。
 図12は、第3実施形態における第1処理の処理手順の一例を示すフローチャートである。第3実施形態の第1処理は、手術支援装置10Bにおいて実行される。図12に示す第1処理は、任意の契機で開始される。任意の契機とは、例えば、手術支援装置10Bの電源ONと同時としてもよく、手術支援装置10Bが提供する所定のアプリケーションの起動と同時としてもよい。
 ステップS100Bにおいて対象画像取得部18は、心電図情報取得部19によって取得された心電図データのうちのトリガ信号S2と心電図波形データS1との一方を用いて、W1時点と、W2時点とを検出し、Δt2を求める。詳細は、図2のステップS100と同様である。ステップS102Bにおいて対象画像取得部18は、アンギオ装置20Bから受信した連続アンギオ画像から、時点t2からΔt2後のタイミングt(t = t2 + Δt2)のアンギオ画像V1を抜き出す。ステップS106Bにおいて対象画像取得部18は、変数nに3を代入し、変数mに2を代入する。
 ステップS108Bにおいて対象画像取得部18は、心電図情報取得部19によって取得された心電図データのうちのトリガ信号S2と心電図波形データS1との一方を用いて、Wn時点を検出し、Δtnを求める。詳細は、図2のステップS108と同様である。ステップS110Bにおいて対象画像取得部18は、Δtnの絶対値が所定値よりも大きいか否かを判定し、所定値よりも大きい場合(ステップS110B:YES)、ステップS112Bにおいて表示装置30に警告を出力させ、所定値以下である場合(ステップS110B:NO)、処理をステップS114Bに遷移させる。詳細は、図2のステップS110~S112と同様である。
 ステップS114Bにおいて対象画像取得部18は、アンギオ装置20Bから受信した連続アンギオ画像から、時点tnからΔtn後のタイミングt(t = tn + Δtn)のアンギオ画像Vmを抜き出す。ステップS120においてアンギオ画像取得部12は、対象画像取得部18によって抜き出されたアンギオ画像Vmを取得し、図4で説明した第2処理を実行する。このように、第3実施形態では、第2処理は第1処理のサブルーチンとして実行される。ステップS118Bにおいて対象画像取得部18は、変数nと、変数mとにそれぞれ1を加算し、処理をステップS108Bに遷移させて、上述した処理を繰り返す。図12の処理は、所定の終了条件が成立するまで繰り返し継続される。終了条件とは、例えば、手術支援装置10Bの電源OFFとしてもよく、処理開始時に起動されたアプリケーションの終了としてもよい。
 このように、手術支援システム1Bの構成は種々の変更が可能であり、アンギオ装置20Bは単に対象血管を連続的に撮像して連続アンギオ画像を取得するのみの構成とし、手術支援装置10Bにおいて、心臓91の拍動周期に応じた時間間隔である所定間隔Δtnごとのアンギオ画像Vmを順次取得する第1処理を実行させる構成にしてもよい。以上のような第3実施形態の手術支援システム1Bにおいても、上述した第1実施形態と同様の効果を奏することができる。さらに、第3実施形態の手術支援システム1Bによれば、手術支援装置10Bはさらに、FPDによって連続的に撮像された対象血管を表すアンギオ画像(連続アンギオ画像)から、心臓91の拍動周期に応じた時間間隔である所定間隔Δtnごとのアンギオ画像Vmを抜き出す対象画像取得部18を備える。そうすれば、FPDを備えるアンギオ装置20Bは、手術支援装置10Bに対して対象血管のアンギオ画像を連続的に供給する(換言すれば、連続アンギオ画像を供給する)のみで足りるため、手術支援装置10Bやアンギオ装置20Bからなる手術支援システム1Bの拡張性を向上できる。
 なお、図12のステップS102B,S114Bにおいて対象画像取得部18は、連続アンギオ画像からタイミングtのアンギオ画像V1,Vmを抜き出すことに代えて、アンギオ装置20Bの制御装置29Bに「FPD撮像指令」を送信してもよい。このFPD撮像指令は、FPDの撮像(すなわち、第1X線管装置22によるX線照射、及び、第1FPD21によるX線検出と変換)がタイミングtに正確に行われるよう、指令の送受信、及び、FPDの起動に要する準備時間等を予め加味して、タイミングtよりも少し前に送信されることが好ましい。FPD撮像指令を受信した制御装置29Bは、FPDを駆動してタイミングtで対象血管を撮像させてアンギオ画像V1,Vmを取得し、取得したアンギオ画像V1,Vmを手術支援装置10Bに送信する。このようにしても、上述した第3実施形態と同様の機能を有するシステムを構築できる。
<第4実施形態>
 図13は、第4実施形態の手術支援システム1Cの構成を例示した説明図である。第4実施形態では、第1処理及び第2処理の処理内容が、第1実施形態とは一部相違する構成について説明する。第4実施形態の手術支援システム1Cは、手術支援装置10に代えて手術支援装置10Cを備え、アンギオ装置20に代えてアンギオ装置20Cを備えている。手術支援装置10Cは、第1実施形態で説明した構成において、画像補正部13に代えて画像補正部13Cを備えている。アンギオ装置20Cは、第1実施形態で説明した構成において、対象画像取得部291に代えて対象画像取得部291Cを備えている。
 図14は、第4実施形態における第1処理の処理手順の一例を示すフローチャートである。図15は、第4実施形態の第1処理及び第2処理について説明する図である。図15の各段における図示内容は、図3での説明と同様である。図14に示すように、ステップS108Cにおいて対象画像取得部291Cは、Wn(=tn)の検出のみを行い、Δtnの算出は行わない。また、対象画像取得部291Cは、図2で説明したステップS110,S112は実行しない。さらに、ステップS114Cにおいて対象画像取得部291Cは、Wnに対応する時点tnから、ステップS100で求めたΔt2後のタイミングt(t = tn + Δt2)で、FPDに対象血管を撮像させることで、アンギオ画像Vmを取得する。
 すなわち、第4実施形態では、対象画像取得部291Cは、第1実施形態で説明したように「直前に取得された時間的に連続する2つの心電図データ」を用いるのではなく、「過去のある時点に取得された時間的に連続する2つの心電図データ」を用いて算出された所定間隔Δt2(心臓の拍動周期に応じた時間間隔)ごとのアンギオ画像Vmを、順次取得する。このようにすれば、直前の心電図データを用いて毎回Δtnを算出する場合と比べて、制御装置29Cにおける処理負荷を低減できる。なお、対象画像取得部291Cは、所定のサイクルごと(例えば10サイクルごと)に、基準となる時間間隔(図14,図15のΔt2)を更新し、更新後、次の更新までの間は一律に、更新された時間間隔を用いてアンギオ画像Vmを取得してもよい。
 図15に示すように、画像補正部13Cは、第2処理の画像補正(図3:ステップS208)において、毎回、第1実施形態の図5(A),(B)で説明した処理a1,a2の手順で補正アンギオ画像Vm´を生成する。
(a1)具体的には、画像補正部13Cは、補正対象のアンギオ画像Vmに含まれる医療デバイスの特定部FP2の位置x2,y2が、
(a2)補正対象のアンギオ画像Vmよりも時間的に前に取得された、単一のアンギオ画像V1に含まれる医療デバイスの特定部FPの位置x,yに近づくように、補正対象のアンギオ画像Vmを平行移動させることで補正して、補正アンギオ画像Vm´を生成する。換言すれば、画像補正部13Cは、第1実施形態の図6(A),(B)で説明した処理a2´を行わない。
 このように、第1処理及び第2処理の内容は種々の変更が可能であり、上述の変形のほかにも、第1処理及び第2処理では、実行される各ステップの実行順序を変更してもよく、少なくとも一部のステップを省略してもよく、説明しない他のステップを実行してもよい。以上のような第4実施形態の手術支援装置10C及びアンギオ装置20Cによっても、上述した第1実施形態と同様の効果を奏することができる。また、第4実施形態のアンギオ装置20Cによれば、所定間隔Δt2は、心電図計測装置60によって過去に取得された時間的に連続する2つの心電図データの時間間隔から算出されている。このため、対象画像取得部291Cは、患者それぞれの心臓91の拍動周期に応じて、拍動に起因したぶれが精度よく低減されたアンギオ画像Vmを撮像して、当該アンギオ画像Vmを出力できる。同様に、手術支援装置10Cのアンギオ画像取得部12は、拍動に起因したぶれが精度よく低減されたアンギオ画像Vmを取得できる。
<本実施形態の変形例>
 本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。そのほか、例えば次のような変形も可能である。
 [変形例1]
 上記第1~4実施形態では、手術支援システム1,1A~1Cの構成を例示した。しかし、手術支援システム1の構成は種々の変更が可能である。例えば、表示装置30は、手術支援装置10,10A~10Cに内蔵されたモニタやタッチパネルであってもよい。例えば、アンギオ装置20,20B,20Cは、単一のFPDを有する構成(換言すれば、第2FPD25を備えない構成)であってもよい。例えば、手術支援システム1は、図示しない他の医療装置(例えば、CT装置、MRI装置)等を有していてもよい。
 [変形例2]
 上記第1~4実施形態では、手術支援装置10,10A~10Cの構成を示した。しかし、手術支援装置10の構成は種々の変更が可能である。例えば、ネットワークを介して接続された複数の装置が協働することで、手術支援装置10が備える各機能部の機能を実現してもよい。
 [変形例3]
 上記第1~4実施形態では、第1処理及び第2処理の手順の一例を示した。しかし、上述した第1処理及び第2処理の手順はあくまで一例であり、種々の変更が可能である。例えば、各ステップの実行順序を変更してもよく、少なくとも一部のステップは省略してもよく、説明しない他のステップを実行してもよい。
 例えば、第1処理におけるタイミングtを決定付ける所定間隔Δtn(第4実施形態の場合はΔt2)は、直前あるいは過去に取得された時間的に連続する3つ以上の心電図データから算出された平均時間間隔(あるいは最頻時間間隔等、統計により得られた時間間隔)であってもよい。また、所定間隔Δtn(第4実施形態の場合はΔt2)は、直前あるいは過去に取得された時間的に連続しない2つ以上の心電図データから算出されてもよい。
 例えば、図4に示す第2処理のステップS206では、直前の特定部画像に含まれる医療デバイスの特定部の像を用いて、テンプレートマッチングを行ってもよい。具体的には、1回目に実行されるステップS206において画像補正部13は、アンギオ画像V2に含まれる医療デバイスの像と、アンギオ画像V1を用いて生成された特定部画像とをマッチングさせてアンギオ画像V2に写る医療デバイスの特定部FP2を検出する。その後、画像補正部13は、アンギオ画像V2内の特定部FP2を含む所定範囲の画像を抜き出し、特定部FP2の中心C2(x2,y2)の座標情報と共に、記憶部内の特定部画像を更新する。2回目に実行されるステップS206において画像補正部13は、アンギオ画像V3に含まれる医療デバイスの像と、アンギオ画像V2を用いて生成された特定部画像とをマッチングさせてアンギオ画像V3に写る医療デバイスの特定部FP3を検出する。その後、画像補正部13は、アンギオ画像V3内の特定部FP3を含む所定範囲の画像を抜き出し、特定部FP3の中心C3(x3,y3)の座標情報と共に、記憶部内の特定部画像を更新する。画像補正部13は、この処理を繰り返すことで、直前の特定部画像に含まれる医療デバイスの特定部の像を用いたテンプレートマッチングを実施できる。このようにすれば、画像補正部13は、補正対象のアンギオ画像Vmと時間的に最も近い直前のアンギオ画像に写る特定部の像を用いて、補正対象のアンギオ画像Vmの特定部を検出するため、特定部の検出精度を向上できる。
 例えば、図4に示す第2処理のステップS206では、特定部画像に代えて、特定部パターンを用いてテンプレートマッチングを行ってもよい。特定部パターンは、検査や治療の手技に用いられる複数の医療デバイスの特定部を、それぞれ、様々な角度から撮像して得られた複数の画像が含まれたデータ群であり、予め準備されて記憶部に記憶されている。この場合、ステップS202において画像補正部13は、特定部パターンを読み込み、ステップS202で選択された医療デバイスの特定部FPと、特定部パターンに含まれている種々の医療デバイスの特定部の像とを照合して、実際に手技に使用されている1つを特定しておく。そして、ステップS206において画像補正部13は、アンギオ画像Vmに写る医療デバイスの像と、ステップS202で特定された1つのデータとをマッチングさせることで、アンギオ画像Vmに写る医療デバイスの特定部FPmを検出する。
 図4に示す第2処理のステップS210では、基準となったアンギオ画像V1は、何らの補正をせずに、ステップS208の画像補正a1で使用されると共に、表示装置30に出力されるとした。しかし、画像補正部13は、アンギオ画像V1の特定部FPが、画像V1の中央に位置するように画像を平行移動することで、アンギオ画像V1を補正してもよい(補正後のアンギオ画像V1を「補正後アンギオ画像V1a」とも呼ぶ)。この場合、画像補正部13は、ステップS208で行う画像補正a1において、補正後アンギオ画像V1aを基準として使用する。また、表示制御部14は、ステップS210において、補正後アンギオ画像V1aを表示装置30に出力させる。そうすれば、アンギオ画像V1a~Vm´について、表示装置30に表示される像の特定部FP~FPmを画面中央に位置させることができるため、術者が特定部FP~FPmの位置を確認しやすい。
 例えば、図4に示す第2処理のステップS210において、表示制御部14は、アンギオ画像V1~Vmのうちの一部分(特定領域画像R)のみを表示装置30に表示させてもよい。この場合、表示制御部14は、アンギオ画像V1~Vmのうちから、一部分(特定領域画像R)をトリミングした(切り抜いた)後で表示装置30に表示させる。特定領域画像Rは、例えば、第2処理のステップS202において、特定部FPの選択と共に選択される。特定領域画像Rのみを表示装置30に表示させる場合、ステップS208において画像補正部13は、画像を平行移動させることに代えて、画像のトリミング範囲(切り抜き範囲)を平行移動させればよい。
 [変形例4]
 上記第1~4実施形態の手術支援装置10,10A~10Cの構成、アンギオ装置20,20B,20Cの構成、及び、上記変形例1~3の各構成は、適宜組み合わせてもよい。例えば、第2実施形態で説明した合成画像の出力と、第3実施形態で説明した第1処理の実行と、が可能な手術支援装置10を構成してもよい。例えば、第4実施形態で説明した第1処理及び第2処理を行う手術支援システム1Cにおいて、第2実施形態で説明した合成画像の出力を可能としてもよい。例えば、第2~4実施形態で説明した手術支援システム1A~1Cにおいて、変形例3で説明したステップS206の変形や、ステップS208の変形や、ステップS210の変形を採用してもよい。
 以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。
  1,1A~1C…手術支援システム
  10,10A~10C…手術支援装置
  11…主制御部
  12,12A,12B…アンギオ画像取得部
  13,13A,13C…画像補正部
  14…表示制御部
  15…真腔情報取得部
  16…真腔画像生成部
  17…画像合成部
  18…対象画像取得部
  19…心電図情報取得部
  20,20B,20C…アンギオ装置
  21…第1FPD
  22…第1X線管装置
  23…第1Cアーム
  24…第1支持部
  25…第2FPD
  26…第2X線管装置
  27…第2Cアーム
  28…第2支持部
  29,29B,29C…制御装置
  30…表示装置
  31…モニタ
  32…アーム
  40…テーブル
  41…寝台
  42…伸縮部
  43…脚部
  50…操作部
  60…心電図計測装置
  90…人体
  91…心臓
  92…頭
  93…足
  291,291C…対象画像取得部
  292…心電図情報取得部
  300…イメージングセンサ
  301…トランスデューサ
  400…ワイヤ用カテーテル
  500…ガイドワイヤ

Claims (21)

  1.  手術支援装置であって、
     心臓の拍動周期に応じた時間間隔を所定間隔とし、前記所定間隔ごとの、医療デバイスが挿入された対象血管を表すアンギオ画像を順次取得するアンギオ画像取得部と、
     前記アンギオ画像取得部によって順次取得された前記アンギオ画像を順次補正する画像補正部であって、補正対象の前記アンギオ画像に含まれる前記医療デバイスの特定部の位置が、補正対象の前記アンギオ画像よりも時間的に前に取得された前記アンギオ画像に含まれる前記医療デバイスの特定部の位置に近づくように、補正対象の前記アンギオ画像を補正した補正アンギオ画像を生成する画像補正部と、
    を備える、手術支援装置。
  2.  請求項1に記載の手術支援装置であって、
     前記アンギオ画像取得部は、心電図計測装置によって過去に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔とした前記アンギオ画像を順次取得する、手術支援装置。
  3.  請求項1に記載の手術支援装置であって、
     前記アンギオ画像取得部は、心電図計測装置によって直前に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔とした前記アンギオ画像を順次取得する、手術支援装置。
  4.  請求項2または請求項3に記載の手術支援装置であって、
     前記心電図データは心電図波形データであり、前記連続する2つの心電図波形データのうち、
      相対的に後に取得されたデータを、第n心電図波形データとし、
      相対的に前に取得されたデータを、第n-1心電図波形データとしたとき、
     前記アンギオ画像取得部は、
      前記第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、
      前記第n心電図波形データにおいて前記特定波形が出現した時点tnと、
    の時間間隔を、前記心臓の拍動周期に応じた時間間隔とした前記アンギオ画像を順次取得する、手術支援装置。
  5.  請求項1から請求項4のいずれか一項に記載の手術支援装置であって、
     前記画像補正部は、補正対象の前記アンギオ画像に含まれる前記医療デバイスの特定部の位置が、補正対象の前記アンギオ画像の直前に取得された前記アンギオ画像に対する補正後の前記補正アンギオ画像に含まれる前記医療デバイスの特定部の位置に近づくように、補正対象の前記アンギオ画像を補正する、手術支援装置。
  6.  請求項1から請求項5のいずれか一項に記載の手術支援装置であって、さらに、
     心電図計測装置から心電図データを取得する心電図情報取得部と、
     FPD(フラットパネルディテクタ)によって、前記所定間隔よりも短い間隔で連続的に撮像された前記対象血管を表す連続アンギオ画像から、前記所定間隔ごとの前記アンギオ画像を抜き出す対象画像取得部と、
    を備える、手術支援装置。
  7.  請求項1から請求項6のいずれか一項に記載の手術支援装置であって、さらに、
     前記対象血管内に存在する真腔の三次元位置情報を取得する真腔情報取得部と、
     前記真腔を表す真腔画像を生成する真腔画像生成部と、
     前記補正アンギオ画像と、前記真腔画像とを合成した合成画像を生成し、前記合成画像を出力させる画像合成部と、
    を備え、
     前記真腔画像生成部は、
      任意の撮像位置に配置されたFPD(フラットパネルディテクタ)による前記対象血管の撮像により取得されたアンギオ画像であって、前記所定間隔ごとの前記アンギオ画像に対する前記補正アンギオ画像を前記画像補正部から取得し、
      前記任意の撮像位置の位置情報と、前記真腔の三次元位置情報とを用いて、前記補正アンギオ画像に対応する位置及び姿勢の前記真腔を表す真腔画像を生成する、手術支援装置。
  8.  請求項7に記載の手術支援装置であって、
     前記アンギオ画像取得部は、前記所定間隔ごとの前記アンギオ画像であって、
      第1位置に配置された前記FPDによる撮像で取得された第1アンギオ画像と、
      前記第1位置とは異なる第2位置に配置された前記FPDによる撮像で取得された第2アンギオ画像と、を順次取得し、
     前記画像補正部は、
      前記第1アンギオ画像に対する前記補正アンギオ画像である第1補正アンギオ画像と、
      前記第2アンギオ画像に対する前記補正アンギオ画像である第2補正アンギオ画像と、を順次生成し、
     前記真腔情報取得部は、超音波センサによって前記対象血管の内部を撮像することで取得された超音波画像であって前記所定間隔ごとに取得された超音波画像と、前記第1位置の位置情報と、前記第1補正アンギオ画像と、前記第2位置の位置情報と、前記第2補正アンギオ画像と、を用いて、前記真腔の三次元位置情報を取得する、手術支援装置。
  9.  手術支援装置の制御方法であって、
     心臓の拍動周期に応じた時間間隔を所定間隔とし、前記所定間隔ごとの、医療デバイスが挿入された対象血管を表すアンギオ画像を順次取得するアンギオ画像取得工程と、
     前記アンギオ画像取得工程によって順次取得された前記アンギオ画像を順次補正する画像補正工程であって、補正対象の前記アンギオ画像に含まれる前記医療デバイスの特定部の位置が、補正対象の前記アンギオ画像よりも時間的に前に取得された前記アンギオ画像に含まれる前記医療デバイスの特定部の位置に近づくように、補正対象の前記アンギオ画像を補正した補正アンギオ画像を生成する画像補正工程と、
    を備える、手術支援装置の制御方法。
  10.  手術支援装置において実行されるコンピュータプログラムであって、
     心臓の拍動周期に応じた時間間隔を所定間隔とし、前記所定間隔ごとの、医療デバイスが挿入された対象血管を表すアンギオ画像を順次取得するアンギオ画像取得ステップと、
     前記アンギオ画像取得ステップによって順次取得された前記アンギオ画像を順次補正する画像補正ステップであって、補正対象の前記アンギオ画像に含まれる前記医療デバイスの特定部の位置が、補正対象の前記アンギオ画像よりも時間的に前に取得された前記アンギオ画像に含まれる前記医療デバイスの特定部の位置に近づくように、補正対象の前記アンギオ画像を補正した補正アンギオ画像を生成する画像補正ステップと、
    を備える、コンピュータプログラム。
  11.  アンギオ装置であって、
     X線管装置とX線平面検出器とを有するFPD(フラットパネルディテクタ)と、
     心臓の拍動周期に応じた時間間隔である所定間隔ごとに、医療デバイスが挿入された対象血管を前記FPDに撮像させることで対象血管を表すアンギオ画像を取得し、取得した画像を出力する対象画像取得部と、
    を備える、アンギオ装置。
  12.  請求項11に記載のアンギオ装置であって、さらに、
     心電図計測装置から心電図データを取得する心電図情報取得部を備え、
     前記対象画像取得部は、前記心電図情報取得部によって過去に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔である前記所定間隔とする、アンギオ装置。
  13.  請求項11に記載のアンギオ装置であって、さらに、
     心電図計測装置から心電図データを取得する心電図情報取得部を備え、
     前記対象画像取得部は、前記心電図情報取得部によって直前に取得された時間的に連続する2つの心電図データの時間間隔を、前記心臓の拍動周期に応じた時間間隔である前記所定間隔とする、アンギオ装置。
  14.  請求項12または請求項13に記載のアンギオ装置であって、
     前記心電図データは心電図波形データであり、前記連続する2つの心電図波形データのうち、
      相対的に後に取得されたデータを、第n心電図波形データとし、
      相対的に前に取得されたデータを、第n-1心電図波形データとしたとき、
     前記対象画像取得部は、
      前記第n-1心電図波形データにおいて特定波形が出現した時点tn-1と、
      前記第n心電図波形データにおいて前記特定波形が出現した時点tnと、
    の時間間隔を、前記心臓の拍動周期に応じた時間間隔である前記所定間隔とする、アンギオ装置。
  15.  アンギオ装置の制御方法であって、
     心臓の拍動周期に応じた時間間隔である所定間隔ごとに、医療デバイスが挿入された対象血管を撮像させることで対象血管を表すアンギオ画像を取得し、取得した画像を出力する対象画像取得工程を備える、アンギオ装置の制御方法。
  16.  アンギオ装置において実行されるコンピュータプログラムであって、
     心臓の拍動周期に応じた時間間隔である所定間隔ごとに、医療デバイスが挿入された対象血管を撮像させることで対象血管を表すアンギオ画像を取得し、取得した画像を出力する対象画像取得ステップを備える、コンピュータプログラム。
  17.  手術支援システムであって、
     請求項1から請求項5のいずれか一項に記載の手術支援装置と、
     請求項11から請求項14のいずれか一項に記載のアンギオ装置と、を備え、
     前記アンギオ装置の前記対象画像取得部は、前記所定間隔ごとの前記アンギオ画像を前記手術支援装置へ順次送信し、
     前記手術支援装置の前記アンギオ画像取得部は、前記所定間隔ごとの前記アンギオ画像を前記アンギオ装置から順次取得し、
     前記手術支援装置の前記画像補正部は、前記アンギオ画像取得部によって取得された複数の前記アンギオ画像のうち、最新の前記アンギオ画像を補正対象の前記アンギオ画像とする、手術支援システム。
  18.  請求項17に記載の手術支援システムであって、
     前記手術支援装置は、さらに、
      前記対象血管内に存在する真腔の三次元位置情報を取得する真腔情報取得部と、
      前記真腔を表す真腔画像を生成する真腔画像生成部と、
      前記補正アンギオ画像と、前記真腔画像とを合成した合成画像を生成し、前記合成画像を出力させる画像合成部と、
    を備え、
     前記真腔画像生成部は、
      任意の撮像位置に配置された前記FPDによる前記対象血管の撮像により取得されたアンギオ画像であって、前記所定間隔ごとの前記アンギオ画像に対する前記補正アンギオ画像を前記画像補正部から取得し、
      前記任意の撮像位置の位置情報と、前記真腔の三次元位置情報とを用いて、前記補正アンギオ画像に対応する位置及び姿勢の前記真腔を表す真腔画像を生成する、手術支援システム。
  19.  請求項18に記載の手術支援システムであって、
     前記アンギオ画像取得部は、前記所定間隔ごとの前記アンギオ画像であって、
      第1位置に配置された前記FPDによる撮像で取得された第1アンギオ画像と、
      前記第1位置とは異なる第2位置に配置された前記FPDによる撮像で取得された第2アンギオ画像と、を順次取得し、
     前記画像補正部は、
      前記第1アンギオ画像に対する前記補正アンギオ画像である第1補正アンギオ画像と、
      前記第2アンギオ画像に対する前記補正アンギオ画像である第2補正アンギオ画像と、を順次生成し、
     前記真腔情報取得部は、超音波センサによって前記対象血管の内部を撮像することで取得された超音波画像であって前記所定間隔ごとに取得された超音波画像と、前記第1位置の位置情報と、前記第1補正アンギオ画像と、前記第2位置の位置情報と、前記第2補正アンギオ画像と、を用いて、前記真腔の三次元位置情報を取得する、手術支援システム。
  20.  請求項1から請求項5のいずれか一項に記載の手術支援装置と、請求項11から請求項14のいずれか一項に記載のアンギオ装置、を備える手術支援システムの制御方法であって、
     前記アンギオ装置は、前記所定間隔ごとの前記アンギオ画像を前記手術支援装置へ順次送信し、
     前記手術支援装置は、前記所定間隔ごとの前記アンギオ画像を前記アンギオ装置から順次取得し、
     前記手術支援装置は、取得された複数の前記アンギオ画像のうち、最新の前記アンギオ画像を補正対象の前記アンギオ画像とする、手術支援システムの制御方法。
  21.  請求項1から請求項5のいずれか一項に記載の手術支援装置と、請求項11から請求項14のいずれか一項に記載のアンギオ装置と、を備える手術支援システムにおいて実行されるコンピュータプログラムであって、
     前記アンギオ装置は、前記所定間隔ごとの前記アンギオ画像を前記手術支援装置へ順次送信し、
     前記手術支援装置は、前記所定間隔ごとの前記アンギオ画像を前記アンギオ装置から順次取得し、
     前記手術支援装置は、取得された複数の前記アンギオ画像のうち、最新の前記アンギオ画像を補正対象の前記アンギオ画像とする、コンピュータプログラム。
PCT/JP2022/032262 2022-08-26 2022-08-26 手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム WO2024042721A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032262 WO2024042721A1 (ja) 2022-08-26 2022-08-26 手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/032262 WO2024042721A1 (ja) 2022-08-26 2022-08-26 手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2024042721A1 true WO2024042721A1 (ja) 2024-02-29

Family

ID=90012905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/032262 WO2024042721A1 (ja) 2022-08-26 2022-08-26 手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2024042721A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189502A (ja) * 2008-02-13 2009-08-27 Toshiba Corp X線診断システム及びその画像表示方法並びに画像表示プログラム
JP2012217671A (ja) * 2011-04-11 2012-11-12 Shimadzu Corp X線透視撮影装置
US8957894B2 (en) * 2009-08-17 2015-02-17 Mistretta Medical, Llc System and method for four dimensional angiography and fluoroscopy
JP2015231493A (ja) * 2014-06-10 2015-12-24 株式会社東芝 X線診断装置
JP2018046922A (ja) * 2016-09-20 2018-03-29 株式会社島津製作所 放射線画像処理装置および放射線画像処理方法
JP2018164739A (ja) * 2017-03-28 2018-10-25 キヤノンメディカルシステムズ株式会社 X線診断装置、画像処理装置、及び画像処理プログラム
JP2018192247A (ja) * 2017-05-12 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像診断装置
JP2019166107A (ja) * 2018-03-23 2019-10-03 コニカミノルタ株式会社 放射線撮影システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009189502A (ja) * 2008-02-13 2009-08-27 Toshiba Corp X線診断システム及びその画像表示方法並びに画像表示プログラム
US8957894B2 (en) * 2009-08-17 2015-02-17 Mistretta Medical, Llc System and method for four dimensional angiography and fluoroscopy
JP2012217671A (ja) * 2011-04-11 2012-11-12 Shimadzu Corp X線透視撮影装置
JP2015231493A (ja) * 2014-06-10 2015-12-24 株式会社東芝 X線診断装置
JP2018046922A (ja) * 2016-09-20 2018-03-29 株式会社島津製作所 放射線画像処理装置および放射線画像処理方法
JP2018164739A (ja) * 2017-03-28 2018-10-25 キヤノンメディカルシステムズ株式会社 X線診断装置、画像処理装置、及び画像処理プログラム
JP2018192247A (ja) * 2017-05-12 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像診断装置
JP2019166107A (ja) * 2018-03-23 2019-10-03 コニカミノルタ株式会社 放射線撮影システム

Similar Documents

Publication Publication Date Title
JP6744440B2 (ja) 画像処理装置及びx線診断装置
JP6559934B2 (ja) X線診断装置
JP2009022733A (ja) 医用診断支援装置、医用診断支援方法、及び放射線診断装置
US9613289B2 (en) X-ray diagnosis apparatus and image processing apparatus
JP6419425B2 (ja) 血流機能検査装置、及び、x線診断装置
JP2012075950A (ja) 画像処理装置
JP2016034451A (ja) X線診断装置
JP2016221054A (ja) X線血管撮影装置
EP2213236B1 (en) X-ray diagnosis apparatus
JP7049325B6 (ja) 体外画像における器具に関連する画像オブジェクトの可視化
JP2007260391A (ja) 画像処理装置
US10478140B2 (en) Nearest available roadmap selection
US8467850B2 (en) System and method to determine the position of a medical instrument
WO2024042721A1 (ja) 手術支援装置、アンギオ装置、手術支援システム、これらの制御方法、及びコンピュータプログラム
JP6750424B2 (ja) 放射線画像処理装置および放射線画像処理方法
JP6373654B2 (ja) X線診断装置
WO2023233676A1 (ja) 手術支援装置、手術支援方法、及びコンピュータプログラム
JP7112140B1 (ja) 撮像支援方法、撮像支援プログラム、撮像支援システム
JP2022152890A (ja) 画像処理システム、画像処理装置、画像処理方法、移動体およびプログラム
JP6351994B2 (ja) X線装置
JP2022081316A (ja) Fpdナビゲーション装置、及び、fpdシステム
KR20200055213A (ko) 실시간 오차 보상을 위한 시술 보조 시스템
JP2006000422A (ja) X線診断装置、画像データ処理装置及び画像データ処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22956547

Country of ref document: EP

Kind code of ref document: A1