WO2014038322A1 - 医療装置 - Google Patents
医療装置 Download PDFInfo
- Publication number
- WO2014038322A1 WO2014038322A1 PCT/JP2013/070878 JP2013070878W WO2014038322A1 WO 2014038322 A1 WO2014038322 A1 WO 2014038322A1 JP 2013070878 W JP2013070878 W JP 2013070878W WO 2014038322 A1 WO2014038322 A1 WO 2014038322A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- image
- predetermined
- unit
- position information
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2676—Bronchoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
Definitions
- the present invention relates to a medical device for imaging the inside of a subject.
- BACKGROUND ART Endoscopes are widely used in the medical field and other fields as a medical device that is inserted into a subject and provided with imaging means at the distal end.
- medical devices combined with information such as CT devices so that an endoscope can be inserted into a luminal organ of a subject and treatment or the like using a treatment tool can be performed smoothly according to the examination or examination result.
- a surgery support apparatus disclosed in Japanese Patent Application Laid-Open No. 2007-7041 as a first conventional example is superimposed on a three-dimensional position detection apparatus that sequentially detects the position of an endoscope and an image of the endoscope.
- the image creating means creates a surgical support image to be superimposed on the endoscope image using the three-dimensional volume image data of the subject imaged by MRI or the like. Even if the position and orientation of the endoscope are changed by the coordinate integration means, it is possible to superimpose and display a surgery support image that matches the orientation of the endoscope in real time while maintaining its relative position. ing.
- Japanese Patent Application Laid-Open No. 2005-131042 as a second conventional example generates virtual endoscopic images at a plurality of branch points of the bronchus and inserts that support the endoscope inserted into the bronchi A support device is disclosed.
- the first conventional example when a deviation (such as a positional deviation) occurs in coordinate integration between the coordinates of the three-dimensional position detection device that sequentially detects the position of the endoscope and the coordinates of the surgery support image. No coping means or coping method is considered. If a positional shift occurs between the two coordinates, the endoscope image and the surgical support information are shifted by a shift amount, so that it is impossible to perform smooth surgical support as before the shift occurs.
- the positional information of the imaging means mounted on the distal end portion of the endoscope inserted into the bronchus as a luminal organ is matched with the three-dimensional positional information of the bronchus by the CT apparatus. A configuration to be (matched) is not disclosed.
- the position between the position information of the distal end portion of the endoscope or the imaging means and the position information of the luminal organ into which the imaging means is inserted is more than an allowable level.
- the present invention has been made in view of the above points, and in the case where a deviation occurs between imaging means mounted on an endoscope or the like and information on a luminal organ into which the imaging means is inserted, An object of the present invention is to provide a medical device capable of presenting information that can be easily handled.
- a medical device includes a storage unit configured to store three-dimensional image information of a subject acquired in advance, an imaging unit configured to image the inside of the subject, and the three-dimensional image.
- a hollow organ extraction unit configured to extract image information of a three-dimensional shape of a predetermined luminal organ in the subject from information, and position information of the imaging means inserted into the predetermined luminal organ
- An association image generation unit configured to generate an image in which the feature information is associated with image information of a three-dimensional shape, and the predetermined tube in the vicinity of position information of the imaging unit in the predetermined lumen organ Displays feature information of cavity organs And a display unit configured to.
- FIG. 1 is a diagram showing an overall configuration of a medical device according to a first embodiment of the present invention.
- FIG. 2A is a block diagram illustrating a configuration of a feature information acquisition unit.
- FIG. 2B is a diagram illustrating a bronchial virtual image representing a three-dimensional shape of the bronchi.
- FIG. 3 is a diagram showing details around one branch portion in FIG. 2.
- FIG. 4 is a flowchart showing processing contents of insertion support by the medical device when the insertion portion of the endoscope is inserted into the bronchus.
- FIG. 5 is an explanatory diagram in a case where the same positions in two coordinate systems are associated with each other.
- FIG. 5 is an explanatory diagram in a case where the same positions in two coordinate systems are associated with each other.
- FIG. 6 is an explanatory diagram in a case where it is determined whether or not the position of the imaging device whose position is measured when the insertion portion of the endoscope is inserted into the bronchus is in a lumen under a predetermined condition.
- FIG. 7 is an explanatory diagram for correcting the position association information by newly setting a reference position on the restart screen.
- FIG. 8 is a flowchart showing processing for specifying a reference position and correcting position association information.
- FIG. 9 is an explanatory diagram illustrating a state in which position matching is performed by setting the distal end portion of the endoscope at a predetermined position in the bronchus.
- FIG. 10 is a diagram showing an overall configuration of a medical device according to a second embodiment of the present invention.
- FIG. 10 is a diagram showing an overall configuration of a medical device according to a second embodiment of the present invention.
- FIG. 11 is a flowchart showing the processing content of insertion support by the medical device when the insertion portion of the endoscope is inserted into the bronchus according to the second embodiment.
- FIG. 12 is an explanatory diagram of a state in which measurement information is selectively set for each region set in the bronchus.
- FIG. 13 is an explanatory diagram illustrating the current position of the imaging apparatus according to a seventh modification of the second embodiment.
- FIG. 14 is a diagram illustrating each position of the imaging device when the operation of acquiring measurement information from the state of FIG. 13 is continued.
- FIG. 15 is a diagram illustrating a display example of the association image when the position of the imaging device is displayed on the CT tomographic image in the ninth modification example of the second embodiment.
- FIG. 12 is an explanatory diagram of a state in which measurement information is selectively set for each region set in the bronchus.
- FIG. 13 is an explanatory diagram illustrating the current position of the imaging apparatus according to a seventh modification of the second
- FIG. 16 is a diagram illustrating a display example when the image capturing apparatus is displayed in different shapes depending on whether the position of the imaging device is on the cut surface or not in FIG. 15.
- FIG. 17 is a diagram showing a display example of an associated image that displays the position of the imaging device on the CT tomographic image in the ninth modification of the second embodiment and also displays a virtual endoscopic image.
- the medical device 1 As shown in FIG. 1, the medical device 1 according to the first embodiment of the present invention has a bronchus 2 as a predetermined luminal organ in a patient as a subject to be examined (see FIGS. 2 and 7, FIG. 2). Is a part of the endoscope apparatus 4 provided with the endoscope 3 to be inserted into the inside (shown by a dotted line), and an insertion for use with the endoscope apparatus 4 to support insertion of the endoscope And the support device 5.
- the endoscope apparatus 4 performs signal processing on the endoscope 3, a light source device 6 that supplies illumination light to the endoscope 3, and an image sensor 7 that constitutes an imaging unit mounted on the endoscope 3. It has a camera control unit (abbreviated as CCU) 8 as a signal processing device, and a monitor 9 that displays an endoscopic image generated by the CCU 8.
- CCU camera control unit
- the endoscope 3 includes an elongated insertion portion 11 having flexibility and an operation portion 12 provided at the rear end of the insertion portion 11, and an illumination window and an observation are provided at a distal end portion 13 of the insertion portion 11.
- a window is provided.
- a light guide 14 that transmits illumination light is inserted into the insertion unit 11 and the operation unit 12, and an incident end of the light guide 14 is connected to the light source device, and is generated by a light source lamp or LED (not shown) in the light source device 6. Illumination light is incident on the incident end.
- the illumination light transmitted by the light guide 14 is emitted forward from an emission end (tip surface) attached to the illumination window.
- an objective lens 15 is attached to the observation window, and an imaging element 7 such as a CCD is disposed at the image formation position.
- An imaging device 16 is formed as imaging means for imaging the inside of the bronchus 2 as an organ.
- the image sensor 7 is connected to the CCU 8 through a signal line inserted through the insertion unit 11 and the operation unit 12.
- the CCU 8 generates an image signal of a captured image corresponding to an optical image formed on the imaging surface of the image sensor 7 by an image signal generation circuit (not shown) therein, and outputs the image signal to the monitor 9.
- the monitor 9 displays an image (moving image) of the image signal as an endoscopic image (also referred to as a captured image). Further, a position sensor 17 is provided in the vicinity of the image sensor 7 in the distal end portion 13.
- a measurement processing apparatus or a measurement processing unit 18 that performs a process of measuring (detecting) a three-dimensional position (also simply referred to as a position) of the position sensor 17 at a predetermined position outside the endoscope 3 and the subject. Is provided.
- the measurement processing unit 18 measures the position of the position sensor 17, and the position can be approximated to the position of the distal end portion 13 or the imaging device 16 (the imaging device 7 thereof).
- the measurement processing unit 18 uses a position sensor 17 to generate position information of the position of the imaging device 16 that constitutes the imaging means inserted into the bronchus 2 as a predetermined luminal organ.
- a position detection method a method using magnetism can be used.
- the position sensor 17 composed of a coil detects an alternating magnetic field generated from the antenna 18a connected to the measurement processing unit 18, and the amplitude and phase of the signal in the signal detected by the position sensor 17 (amplitude detection circuit)
- the distance from the antenna 18a to the position sensor 17 is measured by the measurement processing unit 18 (including a phase detection circuit).
- the measurement processing unit 18 specifies the three-dimensional position of the position sensor 17 by providing three or more antennas 18a at different known positions.
- an AC signal may be applied to a coil constituting the position sensor 17 to generate an AC magnetic field around the coil, and the position of the position sensor 17 may be detected by detecting the AC magnetic field on the antenna 18a side.
- a magnetic position detection device using a coil has been described.
- the configurations of the position sensor 17 and the measurement processing unit 18 are not limited to those described above.
- a plurality of coils for position detection are arranged at predetermined intervals along the longitudinal direction of the insertion portion 11, the shape of the insertion portion 11 is estimated from the positions of the plurality of coils, and the position of the distal end portion 13 or the like is detected. You may be able to do that.
- the insertion portion 11 of the endoscope 3 is provided with a bendable bending portion 19 at the rear end of the distal end portion 13, and the operator performs an operation of rotating a bending operation knob 25 c provided on the operation portion 12.
- the bending portion 19 can be bent in any direction, up and down, left and right.
- the insertion support device 5 is configured to transfer CT image data as three-dimensional image information of a patient generated by a known CT device to a patient to be examined by the endoscope 3, such as a DVD, a Blu-ray disc, or a flash memory.
- a CT image data capturing unit 21 that captures via a portable storage medium, and a CT image data storage unit 22 that stores the CT image data captured by the CT image data capturing unit 21.
- the CT image data storage unit 22 may store CT image data (of a patient as a subject) generated by the CT apparatus via a communication line, the Internet, or the like.
- the CT image data storage unit 22 includes a hard disk device, a flash memory, a DVD, and the like. Further, the CT image data storage unit 22 stores association information that stores CT image data and association information that associates three-dimensional position data using the first coordinate system corresponding to the CT image data. Part 22a.
- the insertion support apparatus 5 also extracts a bronchial organ extracting unit or a bronchial organ extracting circuit that extracts three-dimensional image data of the bronchi 2 as a predetermined luminal organ from the CT image data in the CT image data storage unit 22.
- An extraction unit 23 is included.
- the bronchi extraction unit 23 generates three-dimensional image information (image data) representing the hollow shape of the bronchus 2 from the extracted three-dimensional image data of the bronchi 2 (more specifically, three-dimensional volume data). . That is, the bronchial extraction unit 23 includes a bronchus virtual image generation circuit that generates a bronchus virtual image as a hollow three-dimensional virtual image of the bronchial shape from the extracted three-dimensional image data of the bronchi 2.
- the bronchi extraction unit 23 extracts the image data in association with the three-dimensional position data in the first coordinate system corresponding to the three-dimensional image data.
- the bronchi extracting unit 23 then associates information such as a memory that stores association information in which 3D image data of the bronchi 2 (that is, bronchial shape virtual image data) and 3D position data are associated with each other. It has a storage unit 23b.
- the insertion support device 5 generates a virtual endoscopic image (referred to as a VBS image) when the inside of the bronchus 2 is imaged by the imaging device 16 based on position information where the imaging device 16 is located.
- a VBS image processing unit 24 that performs image processing is included.
- the VBS image processing unit 24 includes a VBS image generation unit 24a that generates a VBS image and a VBS image storage unit 24b that stores the generated VBS image.
- the VBS image storage unit 24b may be provided outside the VBS image processing unit 24.
- the insertion support apparatus 5 performs a feature information acquisition unit that performs image processing for acquiring feature information for acquiring feature information in the image information of the three-dimensional shape of the bronchus 2 as the predetermined luminal organ extracted by the bronchi extraction unit 23. 25a and an image processing unit 25 including an image processing circuit including an association image generation unit 25b that generates a feature information association image as an image in which the feature information is associated with the image information of the three-dimensional shape of the bronchus 2 Have
- the feature information acquisition unit 25 a includes a two-dimensional image information acquisition unit 33 a that acquires two-dimensional image information related to the branch in the bronchi 2, and measurement information that mainly acquires measurement information related to the branch in the bronchus 2. And an acquisition unit 33b.
- the two-dimensional image information acquisition unit 33a acquires two-dimensional image information related to the branching in the bronchus 2, thereby obtaining a virtual endoscopic image of a branching portion branched in the bronchus 2 based on the acquired information. This is used to generate a VBS image.
- the VBS image generation unit 24 generates a VBS image including a branched portion and a portion that is not branched.
- a two-dimensional image information acquisition unit 33a may be provided in the VBS image processing unit 24.
- the image processing unit 25 and the VBS image processing unit 24 are shown as separate units.
- the image processing unit 25 includes a VBS image generation unit 24 a in the VBS image processing unit 24. good.
- the measurement information acquisition unit 33b is the measurement information related to the branch in the bronchus 2, and is the position (in the first coordinate system corresponding to the position of the imaging device 16 in the second coordinate system). And a position / bronchial diameter / distance measurement information acquisition unit for acquiring measurement information of the bronchial diameter and the distance to a predetermined position of the bronchus 2.
- the measurement information acquisition unit 33b is not limited to acquiring three pieces of measurement information of position, bronchus diameter, and distance, and may be configured to acquire two or at least one of them.
- the feature information acquisition unit 25a is not limited to the case where both the two-dimensional image information acquisition unit 33a and the measurement information acquisition unit 33b are provided, and may be configured to have only one.
- the measurement information acquisition unit 33b is not limited to being provided in the feature information acquisition unit 25a in the image processing unit 25, and may be provided outside the image processing unit 25, for example, in the measurement processing unit 18 or image processing.
- the unit 25 and the measurement processing unit 18 may be provided as separate units.
- the feature information is used as insertion support information and forms information to be easily handled when position estimation fails under a predetermined condition.
- the image processing unit 25 performs image processing for synthesizing the bronchial shape virtual image, the virtual endoscopic image (VBS image) inside the bronchus 2, the endoscopic image (captured image) by the image sensor 7, and the like.
- An image composition processing unit 25c is included.
- the image composition processing unit 25c outputs the synthesized image (image signal thereof) to the monitor 26 as a display unit, and the monitor 26 displays the synthesized image.
- FIG. 2B shows the bronchial shape virtual image 2a generated by the bronchial virtual image generation unit 23a.
- the bronchial shape virtual image 2a is stored in the association information storage unit 23b in association with the three-dimensional position information corresponding to the image data.
- the feature information acquisition unit 25 a is shown in the case where it is provided in the image processing unit 25, but inside the VBS image processing unit 24 outside the image processing unit 25, inside the bronchus extraction unit 23, or other
- the feature information acquisition unit 25a may be provided at the position.
- the feature information acquired by the feature information acquisition unit 25a is input to the image generation unit 25b of the image processing unit 25.
- the image signal including the case of the composite image generated by the image processing unit 25 is output to a monitor 26 as an image display unit, and the image of the image signal is displayed on the monitor 26.
- the insertion support apparatus 5 generates a control unit 27 including a CPU that controls image processing and the like by the image processing unit 25, an image to be displayed on the monitor 26, and CT image data, and generates a bronchial shape virtual image 2a. And the position of the coordinate system (second coordinate system) used for measuring the position of the imaging device 16 by the position sensor 17 and the measurement processing unit 18. And a storage unit 28 that stores position association information and the like associated with each other.
- the control unit 27 has a function of an image display control unit 27 a that performs display control of an image displayed on the monitor 26.
- control unit 27 performs control so that the feature information of the bronchus 2 near the position information of the imaging device 16 in the bronchus 2 as a predetermined luminal organ is displayed on the monitor 26 as a display unit (position (Information neighborhood) has a feature information display control unit 27b. Then, the monitor 26 displays the characteristic information of the bronchus 2 in the vicinity of the position information.
- the first coordinate system that manages the image data of the three-dimensional shape of the bronchus 2 so that the insertion operation of the endoscope 3 (by the operator) into the bronchus 2 can be smoothly supported.
- the position (position information) in the second coordinate system of the imaging device 16 of the distal end portion 13 of the insertion portion 11 of the endoscope 3 inserted into the bronchus 2 Alternatively, registration (registration) is performed.
- the control unit 27 has a function of a position association control unit 27c that performs position association control in both coordinate systems.
- the position association information associated with this position is stored in, for example, the position association information storage unit 28a of the storage unit 28.
- the control unit 27 has a function of a determination unit 27d that determines whether or not the position estimation has succeeded when the position information in both coordinate systems is within a predetermined condition after the position association.
- the insertion support apparatus 5 includes an MPR image generation unit 29 that generates a multi-section reconstructed image (referred to as an MPR image) based on CT image data stored in the CT image data storage unit 22, and an MPR image generation unit 29 generates A route setting unit 30 that generates a support route (simply referred to as a route) having the MPR image or a route setting screen (or route setting screen) as a route setting screen and sets a route to the bronchus 2 of the endoscope 3. And have.
- MPR image generation unit 29 that generates a multi-section reconstructed image (referred to as an MPR image) based on CT image data stored in the CT image data storage unit 22, and an MPR image generation unit 29 generates A route setting unit 30 that generates a support route (simply referred to as a route) having the MPR image or a route setting screen (or route setting screen) as a route setting screen and sets a route to the bronchus 2 of the endoscope 3.
- a route setting unit 30 that
- the medical device 1 includes an input device 31 including a keyboard and a pointing device for inputting setting information to the route setting unit 30. Further, the operator can input parameters and data when performing image processing from the input device 31 to the image processing unit 25, and can select and instruct the control operation to the control unit 27. .
- the route setting unit 30 sends information on the set route (route) to the VBS image processing unit 24, the MPR image generation unit 29, and the control unit 27.
- the VBS image processing unit 24 and the MPR image generation unit 29 generate a VBS image and an MPR image along the route, respectively, and the control unit 27 controls the operation of each unit along the route.
- the feature information acquisition unit 25a is configured as 2 for bifurcation of the bronchus 2 in the three-dimensional image data of the bronchus 2 extracted by the bronchi extraction unit 23 based on the position information of the imaging device 16 inserted into the bronchus 2.
- Dimensional image information or measurement information such as a position corresponding to the position of the imaging device 16 in the bronchus 2, the bronchial diameter, and the distance to a predetermined position of the bronchus 2 is acquired as feature information related to the bronchus 2.
- the hollow lumen of the three-dimensional shape in the bronchial shape virtual image 2a (which virtually displays the shape of the bronchus 2 based on the CT image data) has many branched portions.
- FIG. 2B shows branching portions B1-B5 corresponding to the case where the insertion portion 11 of the endoscope 3 is inserted from the distal end side along the route set by the route setting portion 30.
- the branch portions B1-B5 are shown, but the present invention is not limited to the branch portions B1-B5, and can be applied to B1-Bn (n is a natural number of 2 or more).
- the imaging device 16 of the endoscope 3 is virtually arranged, and the two-dimensional VBS image corresponding to the case where the branch portion Bi is imaged is taken as the two-dimensional image information, and the VBS image is (VBS image processing). Obtained from the VBS image storage unit 24b.
- the association image generation unit 25b captures the branching portion as the two-dimensional image information acquired by the feature information acquisition unit 25a in the bronchial shape virtual image 2a as the three-dimensional shape image information of the bronchi 2. Is generated associating image J.
- the monitor 26 displays the association image J as shown in FIG. 2B, for example.
- each branch part Bi is shown in a state of being associated with a VBS image Ii obtained by imaging the branch part Bi.
- the center line of the lumen of the bronchus 2 (bronchial shape virtual image 2a) is indicated by symbol C.
- FIG. 3 shows in more detail the contents associated with the VBS image Ii obtained by imaging the branch portion Bi in the vicinity of one branch portion Bi.
- FIG. 3 shows a peripheral part of the branch part Bi that forms a branch part Bi in which one lumen shape (in the bronchi 2) branches from the branch boundary position PBi into two lumen shapes. Further, FIG.
- FIG. 3 shows that the imaging device 16 (or the bronchus 2 or the bronchus shape virtual image 2a is separated from the branch boundary position PBi as a predetermined position by a predetermined distance ai at a position Pi on the center line C of the lumen.
- a state in which the distal end portion 13 or the position sensor 17) is arranged is shown.
- a description of specifying the position Pi on the center line C of the lumen path by separating the distance ai will be described later with reference to FIG.
- the correspondence image generation unit 25c has a correspondence image Ji in which the VBS image Ii corresponding to the case where the branching portion Bi side is imaged by the imaging device 16 is associated with the branching portion Bi of the bronchus 2.
- the association image J is generated.
- the feature information acquisition unit 25a uses the bronchial diameter Di as the inner diameter of the bronchus 2 as measurement information at each position Pi in FIG. get.
- the display control unit 27a controls to display the bronchial diameter Di on the monitor 26.
- the storage unit 28 stores measurement information of the bronchial diameter Di.
- the bronchial diameter Di is not limited to being acquired from the image information of the three-dimensional shape of the bronchus 2, and the measurement information of the bronchial diameter Di may be acquired using stereoscopic measurement described later.
- the determination unit 27d of the control unit 27 uses the position information of the three-dimensional shape of the bronchus 2 and the measurement information such as the bronchial diameter Di stored in the storage unit 28 to determine the intrabronchi 2 position measured by the measurement processing unit 18. It is determined whether or not the position information of the imaging device 16 inserted into the position can be estimated within a predetermined condition allowed in the state of being actually inserted in the bronchus 2. When the control unit 27 determines that the estimation can be performed within the predetermined condition, the control unit 27 continues the operation of the insertion support. When the control unit 27 determines that the positional deviation has occurred within the predetermined condition (in other words, the position estimation has failed), A control operation is performed so as to calculate information of the bifurcation of the bronchus 2 near the failed position.
- control unit 27 controls the image processing unit 25 so as to synthesize the bronchial shape virtual image 2a including the calculated branching unit and the VBS image for supporting the insertion, and the monitor 26 displays a display screen at the time of restart. Control to display the restart screen.
- the control unit 27 displays the position of the imaging device 16 to be restarted (that is, the position of the imaging device 16 when the position estimation has failed) on the bronchial shape virtual image 2a, and VBS in the vicinity of the position. An image is displayed, and an image that makes it easy to correct the position association information stored in the storage unit 28 is presented.
- the VBS image to be displayed is a branch portion that satisfies the conditional expression using at least one of the following conditions.
- (V) Branching part on route Further, the distance from the endoscope tip to the branching may be calculated from the endoscopic image, and a VBS image separated by the same distance from the branching part that satisfies the above conditions may be generated. The distance under these conditions may be a linear distance between two points or a path on the center line of the lumen.
- the medical device 1 having such a configuration includes a CT image data storage unit 22 that constitutes a storage unit that stores three-dimensional image information of a subject acquired in advance, and an imaging device that constitutes an imaging unit that images the inside of the subject.
- a bronchus extraction unit 23 constituting a luminal organ extraction means for extracting three-dimensional image information of the bronchus 2 as a predetermined luminal organ in the subject from the three-dimensional image information
- Feature information acquisition for acquiring feature information in the three-dimensional shape image information of the predetermined luminal organ extracted by the luminal organ extraction unit based on position information of the imaging unit inserted into the luminal organ
- the feature information acquisition unit 25a constituting the means and the correspondence constituting the correspondence image generating means for generating an image in which the feature information is associated with the image information of the three-dimensional shape of the predetermined luminal organ
- An image generation unit 25b; and a monitor 26 constituting display means for displaying characteristic information of the predetermined luminal organ in the vicinity of position information of the imaging means
- FIG. 4 shows the main processing of each part of the medical device 1 when the insertion part 11 of the endoscope 3 is inserted into the bronchus 2.
- the control unit 27 of the medical device 1 performs a process of performing position association (registration) in both coordinate systems.
- the control unit 27 includes the CT image data, the first coordinate system used for extracting the image data of the three-dimensional shape of the bronchi 2 from the CT image data, and the position of the distal end portion 13.
- position association (registration) processing is performed for associating at a plurality of three or more positions.
- FIG. 5 is an explanatory diagram of the position association operation.
- the operator sequentially sets the distal end portion 13 (or the position sensor 17) of the endoscope 3 at, for example, four points Q0-Q3 in the vicinity of the entrance of the bronchus 2, and the first coordinate system O-XYZ and the second coordinate system
- An instruction or instruction input for associating positions in the coordinate system o-xyz is performed from the input device 31.
- the input device 31 forms an instruction input unit or an instruction input unit that gives an instruction for position association.
- the tip 13 (or the position sensor 17) is moved to a position Q0 (0, 0, 0) of the origin O in the first coordinate system O-XYZ, a position Q1 (1, 0, 0) on the X coordinate, Y
- the operator sequentially sets the position Q2 (0, 1, 0) on the coordinates and the position Q3 (0, 0, 1) on the Z coordinates, and the surgeon instructs the position association.
- the positions measured by the measurement processing unit 18 at each position are (x0, y0, z0), (x1, y1, z1), (x2, y2, z2), (x3, y3, z3).
- the control unit 27 performs position association and controls to store the position association information in the storage unit 28.
- Position association information in this case (specifically, Q0 (0, 0, 0), Q1 (1, 0, 0), Q2 (0, 1, 0), Q3 in the first coordinate system O-XYZ) (0, 0, 1) is (x0, y0, z0), (x1, y1, z1), (x2, y2, z2), (x3, y3, z3) in the second coordinate system o-xyz.
- the control unit 27 uses the position association information stored in the storage unit 28 to determine conversion information that associates arbitrary positions in both coordinate systems. The control unit 27 stores this conversion information in the storage unit 28.
- the coordinate positions Q0 (0, 0, 0), Q1 (1, 0, 0), Q2 (0, 1, 0), Q3 (0, 0, 1) and the corresponding coordinate positions ( x0, y0, z0), (x1, y1, z1), (x2, y2, z2), (x3, y3, z3) are simplified to Q0 ⁇ (x0, y0, z0), Q1 ⁇ (x1, y1, z1), Q2 ⁇ (x2, y2, z2), and Q3 ⁇ (x3, y3, z3).
- position association may be performed (determined) with three points from which one point is omitted.
- the operator inputs an instruction from the input device 31 so that the three-dimensional bronchus shape virtual image 2a of the bronchi 2 is displayed on the monitor 26, causes the monitor 26 to display the three-dimensional bronchus virtual image of the bronchi 2, and A route (path) for inserting the insertion portion 11 of the endoscope 3 into the bronchus 2 is set.
- the imaging device 16 of the distal end portion 13 images the bronchus 2 as shown in step S2 of FIG.
- the captured image is displayed on the monitor 9 and also on the monitor 26.
- the measurement processing unit 18 measures the position of the position sensor 17 or the distal end portion 13 (or the imaging device 16), and outputs the position data obtained by the position measurement to the control unit 27.
- step S4 the control unit 27 determines that the position data of the second coordinate system input from the measurement processing unit 18 is the position data of the first coordinate system representing the three-dimensional shape of the bronchus 2 and the position of a predetermined condition. A determination is made as to whether the estimation is successful. As one determination method for position estimation under a predetermined condition, for example, as shown in FIG. 6, the measurement position Pmi in the second coordinate system measured, for example, by the measurement processing unit 18 is the first coordinate. Whether or not it exists inside the lumen shape of bronchus 2 in the system is adopted. As shown in FIG.
- a bronchial shape virtual image (as a virtual image of the three-dimensional shape of the bronchus 2) in the first coordinate system.
- the determination unit 27d determines that the position estimation under the predetermined condition is successful.
- the outer side of the lumen shape is indicated by oblique lines.
- the control unit 27 performs the measurement position Pm (i ⁇ 1) in a state where the position estimation under the predetermined condition is successful. Then, control is performed so as to store the image captured by the imaging device 16, the posture information of the distal end portion 13, and the time information during measurement in the storage unit 28.
- the storage unit 28 stores the position information of the imaging device 16 inserted into the bronchi 2, the captured image captured by the imaging device 16, and the posture information of the distal end portion 13 in time series. It has an image storage unit 28b. Note that the storage unit 28 may store the above information in time series not only when the position estimation is successful but also when the position estimation is not successful and fails.
- step S5 After the process of step S5, the process returns to the process of step S2, and the processes of steps S2-S5 are repeated.
- the determination unit 27d Determines that position estimation under a predetermined condition has failed. In this case, the process proceeds to step S6 in FIG. 4, and in this step S6, the control unit 27 controls the measurement processing unit 18 to perform measurement.
- step S7 the measurement processing unit 18 obtains a branching portion around the measurement position Pmi from the three-dimensional shape image data of the bronchus extraction unit 23, and acquires the bronchial diameter from the feature information acquisition unit 25a.
- the bronchial diameter Ri at the branching portion is obtained by stereoscopic measurement from the endoscopic images at the measurement positions Pmi and Pmi-1, and the difference from the bronchial diameter acquired from the feature information acquisition unit 25a among the peripheral branches is a threshold value. Calculate what is below.
- control unit 27 is not limited to the case of one branch part Bi, and the controller 27 may calculate a plurality of branch parts in order to widen options for the operator.
- control unit 27 generates a virtual endoscopic image in the vicinity of the branch portion Bi, that is, a VBS image.
- control unit 27 controls the association image generation unit 25b of the image processing unit 25 to generate an association image and display it on the monitor 26 as a restart screen. As an image on this restart screen, for example, a correspondence image Ji as shown in FIG. 3 is displayed.
- the surgeon uses the association image Ji as shown in step S10 to cope with the position estimation failure, for example, the position association correction. Process. After step S10, the process returns to step S2. In addition, as shown to FIG. 2B, you may make it display a some branch part and a VBS image. Further, the operator may selectively set the number of branch portions and the number of VBS images for display. Next, the processing operation for correcting the position association information on the association image Ji or the restart screen will be described.
- the control unit 27 when the measurement position Pmi is outside the lumen, the control unit 27 performs control so as to calculate the bifurcation Bi near the measurement position Pmi, and associates the monitor 26 with the correspondence as shown in FIG. Control to display the image Ji.
- the surgeon can smoothly continue the insertion operation of the endoscope 3 by correcting the position association information set in the initial state from the display of the association image Ji as follows.
- FIG. 7 corrects the position association information by specifying the position Pi as the reference position in the state of the bronchus 2 corresponding to the state of FIG. 3 and the state of the distal end of the endoscope 3 inserted into the bronchus 2.
- FIG. FIG. 8 shows operations and processes for correcting the position association information. The surgeon performs an operation (work) for specifying the reference position as shown in step S11 of FIG. In order to correct the position association information set in the initial state, an operation for newly setting a reference position is performed. In the first coordinate system, the three-dimensional position of the branch boundary position PBi is a vertex position that protrudes inside the lumen in the three-dimensional shape image data of the bronchus 2, and thus is a specific position that can be easily specified. .
- the operator performs the operation of the endoscope 3 as shown in step S12.
- the branch boundary position PBi with the imaging device 16 as a predetermined position is set to a state for three-dimensional measurement.
- the operator curves the bending portion 19 of the endoscope 3 to the inner wall of the lumen.
- the two states St1 and St2 in contact with each other are sequentially set.
- the branch boundary position PBi is captured by the imaging device 16 in each of the states St1 and St2, and the captured images are stored in the storage unit 28, for example.
- step S ⁇ b> 14 the operator designates the branch boundary position PBi as the same predetermined position from the input device 31 on the two captured images.
- step S15 based on this designation, the control unit 27 uses the information such as the focal length of the objective lens 15 of the endoscope 3, the size of the imaging surface of the imaging device 7, the number of pixels, and the like to determine the distance ai. While calculating, the three-dimensional position of the position Pi as a reference position in the first coordinate system is calculated.
- step S ⁇ b> 16 the surgeon sets the distal end portion 13 to the position Pi and gives an instruction for position association from the input device 31.
- step S ⁇ b> 17 the control unit 27 performs a new position association process between the first coordinate system and the second coordinate system at the position Pi as the reference position.
- control unit 27 performs processing for associating the position Pri when the position Pi of the first coordinate system is measured with the second coordinate system. Further, in step S18, the control unit 27 corrects the position association information in the initial state based on the position association information. For example, the control unit 27 generates corrected position association information from the position association information in FIG. 7 and the three pieces of position association information in the position association information set in the initial state. Also, the conversion formula for converting or associating the position in the first coordinate system and the position in the second coordinate system is corrected (updated).
- the position association information acquired at the position Pi shown in FIG. 7 is compared with the position association information in the initial state set near the entrance of the bronchus 2, and the position association on the deep side along the duct of the bronchus 2 Since it is information, when the insertion portion 11 of the endoscope 3 is actually inserted, it is considered to be position information with higher reliability. Then, by correcting the position association information set in the initial state with this position association information, it is possible to correct the correction error due to the position association information on the deep side along the duct of the bronchus 2. Then, using this corrected position association information, the surgeon continues the insertion operation. For example, when the surgeon gives an instruction to restart position measurement from the input device 31 on the restart screen, the process after step S2 in FIG. 4 is restarted using the corrected position association information.
- the distal end surface of the distal end portion 13 is located at the branch boundary position PBi.
- the position of both coordinate systems may be associated with each other at the branch boundary position PBi.
- the surgeon sets the distal end surface of the distal end portion 13 in contact with the branch boundary position PBi as a predetermined position, and inputs an instruction for position association from the input device 31 to the control unit 27.
- the input support apparatus 5 can perform the position association process of FIG. Further, using the method described in Japanese Patent Application Laid-Open No. 2009-279251, that is, the method for obtaining the position and orientation of the endoscope tip by searching for a VBS image similar to the endoscope image, the position association information May be corrected. Or, select 3 points from the endoscope tip position calculated from the above method and the 4 points used when calculating the initial position association information, and correct the position association information using the method described above. May be.
- a plurality of position sensors 17 provided at the distal end portion 13 may be arranged as shown in FIG.
- the direction in which the imaging device 16 images in this case is also referred to as the line-of-sight direction.
- the position estimation determination under the predetermined condition in step S4 in FIG. 4 is based on whether the position of the second coordinate system whose position is measured is within the bronchial diameter of the first coordinate system. You may combine within the distance set beforehand from the position which matched as a determination condition.
- step S6 when the predetermined distance R is exceeded from the position of the position association performed in the past, it is determined in step S4 in FIG. 4 that it does not meet the determination condition for performing position estimation under the predetermined condition, and step S6 is performed. You may make it move to the process of. Further, another determination condition may be adopted as the determination condition in step S4.
- a position sensor for measuring the position of the distal end portion 13 of the endoscope 3
- a position sensor for correcting the movement of the organ due to patient breathing has moved in an unexpected direction.
- the extracorporeal marker detects a certain amount of movement or more
- the determination unit 27d of the control unit 27 proceeds to the process of step S6 because it does not correspond to the predetermined condition of the position estimation determination condition in step S4. May be.
- two or more conditions may be combined based on the above-described determination method, that is, bronchial diameter, distance, and a certain amount of movement.
- the medical device 1 is provided at the distal end portion 13 of the insertion portion 11. Since the position of the imaging device 16 is measured, the virtual endoscopic image in the bronchus 2 near the position, the bronchial diameter, the distance to the predetermined position of the bronchus 2 and the like are displayed on the monitor 26.
- the position estimation of the imaging device 16 fails, information that can easily cope with the position estimation failure can be presented to the surgeon.
- the restart screen is displayed.
- the position association information can be corrected by bringing the distal end surface of the distal end portion 13 of the endoscope 3 into contact with a branch boundary position that is a predetermined position of the bronchus 2.
- step S4 there exists the following effect by combining several conditions in step S4 mentioned above.
- step S9 the VBS image displayed on the restart screen is narrowed down using measurement information such as “bronchial diameter” and “distance to the bifurcation” to facilitate selection of the VBS image by the operator.
- the image processing unit 25 generates an image in which the feature information is associated with the image information of the three-dimensional shape of the bronchus 2 as a predetermined luminal organ.
- the control unit 27 may control the monitor 26 to display the feature information (obtained by the feature information acquisition unit 25a) of the bronchus 2 in the vicinity of the position information of the imaging device 16.
- the surgeon when displaying, for example, a VBS image of a branching portion in the vicinity of the imaging device 16 as the feature information, the surgeon can perform the operation while confirming whether the distal end portion 13 is inserted into the branching portion at the branching portion. It becomes easy to perform the work of insertion.
- the measurement information for measuring the distance to the predetermined position as the measurement information in the case described above, the example of the distance from the position of the imaging device 16 to the predetermined position of the branch portion Bj has been described, but in the following embodiment As will be described, the distance from the position of the imaging device 16 to the branch point where the center line C of the duct of the bronchus 2 branches at the branch portion Bj may be set in the measurement information.
- the medical device 1B of the present embodiment shown in FIG. 10 has a configuration in which a selection unit that performs selection for setting an area in the bronchi 2 and switching measurement information for each area in the configuration of the medical apparatus 1 shown in FIG. 1 is provided. .
- this selection means is not used, the configuration and operation are the same as those of the first embodiment.
- the input device 31 has a setting / selection instructing unit 31a for setting a region and performing setting / selection instruction for selecting measurement information for each region, and the control unit 27 performs this setting / selection instruction.
- FIG. 11 shows the processing contents of this embodiment. Note that steps S31-S33 and S35-37 in FIG. 11 are substantially the same as those in the first embodiment.
- the control unit 27 performs the process of associating the positions in the two coordinate systems as in step S1 of FIG.
- the imaging device 16 performs imaging
- the measurement processing unit 18 measures the position of the distal end portion 13 (or the imaging device 16).
- the setting / measurement information selection unit 27e of the control unit 27 selects a measurement method according to the region where the distal end portion 13 (or the imaging device 16) is located by position measurement.
- FIG. 12 shows a setting example when the measurement method is set to be selected according to the region where the distal end portion 13 (or the imaging device 16) is located.
- regions Aj, Aj + 1 within a certain distance from the branch points Bpj, Bpj + 1 at the branch portions Bj, Bj + 1, and regions Aj, j + 1,... are set.
- the branch point Bpj or Bpj + 1 is defined as a point where one center line C branches into a plurality such as two near the branch part Bj or Bj + 1.
- the measurement information is the position.
- the measurement information is When the distance is within the area Aj + 1, the measurement information is set to the bronchial diameter.
- the measurement processing unit 18 performs position measurement.
- the measurement information is a bronchial diameter
- the bronchial diameter is measured by the three-dimensional measurement described in FIG.
- the illustrated example of FIG. 12 shows one setting example, and the surgeon can perform a setting different from the illustrated example of FIG. 12 from the setting / selection instruction unit 31a of the input device 31. That is, measurement information can be acquired or displayed by a measurement method desired by the surgeon.
- FIG. 12 one setting example of the area for switching the measurement information is shown.
- the setting may be made as follows including the setting example of FIG. (A) Up to a position a certain distance away from the bifurcation point on the center line and others (example shown in FIG. 12) (B) A region included in a sphere having a certain radius around the bifurcation point and other regions (C) A distance from a specific position (for example, Kalina shown in FIG.
- step S35 subsequent to step S34, the measurement processing unit 18 and the like perform measurement according to the region where the distal end portion 13 (or the imaging device 16) is located.
- step S36 the determination unit 27d of the control unit 27 determines whether or not the position estimation when measured in step S35 is successful.
- the position measured in the second coordinate system exists within (a) the bronchus diameter, or (b) within a certain distance from the position of the position association performed in the past. In other words, (c) at least one condition within a certain amount of movement in the patient by a sensor other than the position sensor 17 or the like is used. If the position is successfully estimated under the conditions (a), (b), and (c) in step S36, the process proceeds to step S37. On the other hand, if the position estimation is not successful, the process returns to step S32 after performing the process of steps S38-S41.
- step S38 the branch calculation is performed in step S38, the VBS image is calculated in step S39, the restart screen is displayed in step S40, and the position association information is corrected in step S41.
- the process returns to S32. Note that the processing in steps S38 to S41 is the same as that in steps S7 to S10 in FIG.
- step S37 the control unit 27 determines the position of the distal end portion 13 (or the imaging device 16) measured in the second coordinate system, the captured image captured by the imaging device 16, and the attitude of the distal end portion 13 (the axis of the distal end portion 13).
- Step S32 (Direction or imaging direction) is controlled so as to be stored in the storage unit 28 together with time information, and then the process returns to step S32.
- the storage unit 38 may also store the acquired measurement information. According to this embodiment which performs such an operation, it has the same effect as the first embodiment, and also has the effect that measurement can be performed by selecting a measurement method.
- modifications of the second embodiment will be sequentially described.
- Bronchial diameter is calculated from the endoscopic image.
- Branch on path (g) Combination of two or more of the above conditions may be used.
- the branch condition to be compared in the first modification is set for each region as in the second embodiment.
- the branch condition generated in the second modification is set for each region as in the second embodiment.
- all branches that satisfy the condition are displayed, but are displayed according to the conditions as in the following fifth to eighth modifications.
- the position information to be limited may be limited.
- the reference value is the value of the measurement information at the position closest to the current position among the measurement information at the position determined to be displayed.
- the measurement information is the distance to the branch point.
- positions P0, P1, and P2 in the vicinity of the branch portion Bj are positions where position estimation has been successful in the past.
- a position P0 indicated by a black circle indicates a position where the measurement information has changed by a threshold value or more
- P1 and P2 indicated by white circles indicate positions where the measurement information is within the threshold value.
- a position P0 indicated by a black circle is displayed.
- the measurement information at the current position P3 is a distance P3Bpj + 1 from the current position P3 to the branch point Bpj + 1 on the distal side of the bronchus. Since the reference measurement information is the measurement information of the position P1 nearest to the current position P3, the measurement information is the distance P1Bpj + 1. If the difference between the distance P3Bpj + 1 and the distance P2Bpj + 1 is greater than or equal to the threshold value, the position P3 is displayed on the restart screen. Similarly, if the processing is continued, the result is as shown in FIG. In FIG. 14, positions P4, P5, P6, and P8 indicated by white circles (in addition to the position P1 shown in FIG.
- positions P3, P7, and P9 shown are positions where the position estimation has succeeded and the measurement information has changed by a threshold value or more, that is, positions displayed on the restart screen.
- the association image generation unit 25b generates an association image that combines the three-dimensional bronchial shape image of the bronchi 2 and the VBS image, and the monitor 26 displays the association image.
- the association image generation unit 25b generates an association image obtained by combining the position information of the imaging device 16 with the tomographic image image (MPR image) including the bronchi 2 as in the present modification. An attached image may be displayed on the monitor 26.
- FIG. 15 shows a correspondence image displayed on the monitor 26 in this modification.
- the upper left of FIG. 15 shows a CT tomogram of a transverse section including the patient's bronchi
- the upper right of FIG. 15 shows a CT tomogram of a longitudinal section parallel to the front of the patient
- the lower left of FIG. 15 is perpendicular to the front of the patient.
- a CT tomogram of a longitudinal section is shown
- the lower right of FIG. 15 shows a menu screen for setting coordinates to the operator.
- the position (point) measured by the imaging device 16 is displayed on the tomographic image, for example, in the same color circle or other shape.
- the four positions are displayed in a color (for example, blue) different from the display color of the tomographic image.
- the position measured is shown in the same color and shape in the case where it is on the cut surface and in other cases, but as shown in FIG. 16, it is on the cut surface And a different shape (for example, the former is a circle and the latter is a square) depending on whether it is not on the cut surface, or the color may be changed.
- FIG. 17 displays the position measured by the imaging device 16 on the tomographic image and the VBS image at each position in the ninth modification shown in FIG.
- character information is used so that the correspondence with the VBS image corresponding to the position of the imaging device 16 can be seen on the tomographic image.
- the position of the imaging device 16 is four points, four characters are used.
- the association between the position of the imaging device 16 and the corresponding VBS image may be displayed by connecting with a line or the like as shown in FIG. 2B.
- the VBS image corresponding to all the positions of the imaging device 16 is displayed.
- the VBS image is displayed only on the position selected by the operator on the tomographic image. It may be displayed.
- corresponding VBS images may be displayed for all positions of the imaging device 16, and only positions corresponding to the VBS images selected by the operator may be displayed on the tomographic image.
- a case where different embodiments are configured by partially combining the above-described embodiments (including modifications) also belongs to the present invention.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Pulmonology (AREA)
- Otolaryngology (AREA)
- Physiology (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
医療装置は、予め取得した被検体における3次元画像情報を記憶する記憶部と、被検体内を撮像する撮像部と、3次元画像情報から被検体内の所定の管腔臓器の3次元形状の画像情報を抽出する管腔臓器抽出部と、所定の管腔臓器内に挿入される撮像部の位置情報に基づいて、抽出された所定の管腔臓器の3次元形状の画像情報における特徴情報を取得する特徴情報取得部と、所定の管腔臓器の3次元形状の画像情報に、特徴情報を対応付けた画像を生成する対応付け画像生成部と、所定の管腔臓器内における撮像部の位置情報近傍の所定の管腔臓器の特徴情報を表示する表示部と、を備える。
Description
本発明は、被検体内を撮像する医療装置に関する。
被検体内に挿入され、先端部に撮像手段を設けた医療装置として内視鏡は、医療分野及びその他の分野において広く用いられるようになっている。
また、内視鏡を被検体の管腔臓器内に挿入して検査又は検査結果に応じて処置具による処置等を円滑に行うことができるように、CT装置等の情報と組み合わせた医療装置も提案されている。
例えば第1の従来例としての日本国特開2007-7041号公報に開示された手術支援装置は、内視鏡の位置を逐次検出する3次元位置検出装置と、内視鏡の映像に重畳される手術支援画像を作成する画像作成手段と、3次元位置検出装置の座標と画像作成手段が有する画像座標とを統合する座標統合手段とを備えている。
また、内視鏡を被検体の管腔臓器内に挿入して検査又は検査結果に応じて処置具による処置等を円滑に行うことができるように、CT装置等の情報と組み合わせた医療装置も提案されている。
例えば第1の従来例としての日本国特開2007-7041号公報に開示された手術支援装置は、内視鏡の位置を逐次検出する3次元位置検出装置と、内視鏡の映像に重畳される手術支援画像を作成する画像作成手段と、3次元位置検出装置の座標と画像作成手段が有する画像座標とを統合する座標統合手段とを備えている。
画像作成手段は、MRI等で撮像された被検体の3次元ボリューム画像データを用いて内視鏡の映像に重畳される手術支援画像を作成する。座標統合手段により、内視鏡の位置や向きが変更されても、それと相対位置が保たれた状態で、リアルタイムで内視鏡の向きに合わせた手術支援画像を重畳表示することができるようにしている。
また、第2の従来例としての日本国特開2005-131042号公報は、気管支の複数の分岐点での仮想内視鏡画像を生成し、気管支内に挿入される内視鏡を支援する挿入支援装置を開示している。
また、第2の従来例としての日本国特開2005-131042号公報は、気管支の複数の分岐点での仮想内視鏡画像を生成し、気管支内に挿入される内視鏡を支援する挿入支援装置を開示している。
しかしながら、上記第1の従来例は、内視鏡の位置を逐次検出する3次元位置検出装置による座標と、手術支援画像による座標との座標統合に(位置ずれ等の)ずれが発生した場合の対処手段ないしは対処方法が考慮されていない。両座標に位置ずれが発生すると、内視鏡の映像と手術支援情報とがずれ量だけずれてしまうため、ずれが発生する前のような円滑な手術支援を行うことができなくなる。
また、第2の従来例は、管腔臓器としての気管支内に挿入される内視鏡の先端部に搭載される撮像手段の位置情報と、CT装置による気管支の3次元の位置情報とを整合(マッチング)させる構成を開示していない。
このため、より有効に挿入支援することができるように内視鏡の先端部又は撮像手段の位置情報と、撮像手段が挿入される管腔臓器の位置情報との間に、許容される程度以上のずれが発生した場合、術者等がずれを解消する事に対処し易い情報の提示等ができる構成が望まれる。
本発明は上述した点に鑑みてなされたもので、内視鏡等に搭載された撮像手段と、撮像手段が挿入される管腔臓器の情報との間でずれが発生した場合に対して、対処し易い情報の提示が可能な医療装置を提供することを目的とする。
また、第2の従来例は、管腔臓器としての気管支内に挿入される内視鏡の先端部に搭載される撮像手段の位置情報と、CT装置による気管支の3次元の位置情報とを整合(マッチング)させる構成を開示していない。
このため、より有効に挿入支援することができるように内視鏡の先端部又は撮像手段の位置情報と、撮像手段が挿入される管腔臓器の位置情報との間に、許容される程度以上のずれが発生した場合、術者等がずれを解消する事に対処し易い情報の提示等ができる構成が望まれる。
本発明は上述した点に鑑みてなされたもので、内視鏡等に搭載された撮像手段と、撮像手段が挿入される管腔臓器の情報との間でずれが発生した場合に対して、対処し易い情報の提示が可能な医療装置を提供することを目的とする。
本発明の一態様の医療装置は、予め取得した被検体における3次元画像情報を記憶するよう構成された記憶部と、前記被検体内を撮像するよう構成された撮像部と、前記3次元画像情報から前記被検体内の所定の管腔臓器の3次元形状の画像情報を抽出するよう構成された管腔臓器抽出部と、前記所定の管腔臓器内に挿入される前記撮像手段の位置情報に基づいて、前記管腔臓器抽出部により抽出された前記所定の管腔臓器の3次元形状の画像情報における特徴情報を取得するよう構成された特徴情報取得部と、前記所定の管腔臓器の3次元形状の画像情報に、前記特徴情報を対応付けた画像を生成するよう構成された対応付け画像生成部と、前記所定の管腔臓器内における前記撮像部の位置情報近傍の前記所定の管腔臓器の特徴情報を表示するよう構成された表示部と、を備える。
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の医療装置1は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支2(図2、図7参照、図2においては、その一部を点線で示す)内に挿入される内視鏡3を備えた内視鏡装置4と、この内視鏡装置4と共に使用され、内視鏡の挿入支援を行うための挿入支援装置5と、から主に構成される。
内視鏡装置4は、内視鏡3と、この内視鏡3に照明光を供給する光源装置6と、内視鏡3に搭載された撮像手段を構成する撮像素子7に対する信号処理を行う信号処理装置としてのカメラコントロールユニット(CCUと略記)8と、CCU8により生成され内視鏡画像を表示するモニタ9と、を有する。
(第1の実施形態)
図1に示すように本発明の第1の実施形態の医療装置1は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支2(図2、図7参照、図2においては、その一部を点線で示す)内に挿入される内視鏡3を備えた内視鏡装置4と、この内視鏡装置4と共に使用され、内視鏡の挿入支援を行うための挿入支援装置5と、から主に構成される。
内視鏡装置4は、内視鏡3と、この内視鏡3に照明光を供給する光源装置6と、内視鏡3に搭載された撮像手段を構成する撮像素子7に対する信号処理を行う信号処理装置としてのカメラコントロールユニット(CCUと略記)8と、CCU8により生成され内視鏡画像を表示するモニタ9と、を有する。
内視鏡3は、可撓性を有する細長の挿入部11と、この挿入部11の後端に設けられた操作部12とを有し、挿入部11の先端部13には照明窓と観察窓とが設けられる。挿入部11,操作部12内には照明光を伝達するライトガイド14が挿通され、このライトガイド14の入射端は光源装置に接続され、光源装置6内の図示しない光源ランプ又はLEDにより発生した照明光が入射端に入射される。このライトガイド14により伝達された照明光は、照明窓に取り付けられた出射端(先端面)から前方に出射される。
また、観察窓には、対物レンズ15が取り付けられ、その結像位置にCCD等の撮像素子7が配置され、対物レンズ15と撮像素子7とにより、挿入部11が挿入される所定の管腔臓器としての気管支2内を撮像する撮像手段としての撮像装置16が形成される。
また、観察窓には、対物レンズ15が取り付けられ、その結像位置にCCD等の撮像素子7が配置され、対物レンズ15と撮像素子7とにより、挿入部11が挿入される所定の管腔臓器としての気管支2内を撮像する撮像手段としての撮像装置16が形成される。
撮像素子7は、挿入部11,操作部12内を挿通された信号線を介してCCU8に接続される。CCU8は、その内部の図示しない画像信号生成回路により撮像素子7の撮像面に結像された光学像に対応する撮像画像の画像信号を生成し、この画像信号をモニタ9に出力する。モニタ9は、画像信号の画像(動画像)を、内視鏡画像(撮像画像とも言う)として表示する。
また、先端部13内には、撮像素子7の近傍位置に、位置センサ17が設けてある。また、内視鏡3及び被検体の外部となる所定の位置には、この位置センサ17の3次元位置(単に位置とも記す)を計測(検出)する処理を行う計測処理装置又は計測処理部18が設けてある。
計測処理部18は、位置センサ17の位置を計測するが、その位置は先端部13又は撮像装置16(の撮像素子7)の位置と近似することができる。
また、先端部13内には、撮像素子7の近傍位置に、位置センサ17が設けてある。また、内視鏡3及び被検体の外部となる所定の位置には、この位置センサ17の3次元位置(単に位置とも記す)を計測(検出)する処理を行う計測処理装置又は計測処理部18が設けてある。
計測処理部18は、位置センサ17の位置を計測するが、その位置は先端部13又は撮像装置16(の撮像素子7)の位置と近似することができる。
この計測処理部18は、位置センサ17を用いて所定の管腔臓器としての気管支2内に挿入される撮像手段を構成する撮像装置16が位置する位置情報を生成する位置情報生成部18bの機能を有する。
位置検出方法としては、磁気を利用したものを利用できる。例えば、計測処理部18に接続されたアンテナ18aから発せられる交流磁場をコイルで構成された位置センサ17が検知し、位置センサ17で検知した信号における、その信号の振幅及び位相を(振幅検出回路及び位相検出回路を備えた)計測処理部18が検出することによりアンテナ18aから位置センサ17までの距離を計測する。計測処理部18は、3つ以上となる複数のアンテナ18aをそれぞれ異なる既知の位置に設けることにより、位置センサ17の3次元位置を特定する。
位置検出方法としては、磁気を利用したものを利用できる。例えば、計測処理部18に接続されたアンテナ18aから発せられる交流磁場をコイルで構成された位置センサ17が検知し、位置センサ17で検知した信号における、その信号の振幅及び位相を(振幅検出回路及び位相検出回路を備えた)計測処理部18が検出することによりアンテナ18aから位置センサ17までの距離を計測する。計測処理部18は、3つ以上となる複数のアンテナ18aをそれぞれ異なる既知の位置に設けることにより、位置センサ17の3次元位置を特定する。
なお、位置センサ17を構成するコイルに交流信号を印加して、その周囲に交流磁場を発生させ、アンテナ18a側で交流磁場を検知して位置センサ17の位置を検出する構成にしても良い。一例としてコイルを用いた磁気式位置検出装置を説明したが、位置センサ17及び計測処理部18の構成は、上記説明の場合に限定されるものでない。例えば、挿入部11の長手方向に沿って所定間隔で位置検出のための複数のコイルを配置し、複数のコイルの位置から挿入部11の形状を推定し、先端部13等の位置を検出することができるようにしても良い。
なお、内視鏡3の挿入部11には、先端部13の後端に湾曲自在の湾曲部19が設けてあり、術者は操作部12に設けた湾曲操作ノブ25cを回転する操作を行うことにより、湾曲部19を上下、左右の任意の方向に湾曲することができる。
なお、内視鏡3の挿入部11には、先端部13の後端に湾曲自在の湾曲部19が設けてあり、術者は操作部12に設けた湾曲操作ノブ25cを回転する操作を行うことにより、湾曲部19を上下、左右の任意の方向に湾曲することができる。
上記挿入支援装置5は、内視鏡3による検査が行われる患者に対して、公知のCT装置で生成された患者の3次元画像情報としてのCT画像データを、DVD、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むCT画像データ取込部21と、このCT画像データ取込部21によって取り込まれたCT画像データを記憶するCT画像データ記憶部22とを有する。
なお、CT画像データ記憶部22は、CT装置で生成された(被検体としての患者の)CT画像データを通信回線、インタネット等を経由して記憶しても良い。このCT画像データ記憶部22は、ハードディスク装置や、フラッシュメモリ、DVD等により構成される。
また、CT画像データ記憶部22は、CT画像データと、該CT画像データに対応する第1の座標系を用いた3次元の位置データとを対応付けた対応付け情報として記憶する対応付け情報記憶部22aを有する。
なお、CT画像データ記憶部22は、CT装置で生成された(被検体としての患者の)CT画像データを通信回線、インタネット等を経由して記憶しても良い。このCT画像データ記憶部22は、ハードディスク装置や、フラッシュメモリ、DVD等により構成される。
また、CT画像データ記憶部22は、CT画像データと、該CT画像データに対応する第1の座標系を用いた3次元の位置データとを対応付けた対応付け情報として記憶する対応付け情報記憶部22aを有する。
また、挿入支援装置5は、CT画像データ記憶部22のCT画像データから所定の管腔臓器としての気管支2の3次元画像データを抽出する管腔臓器抽出部又は管腔臓器抽出回路としての気管支抽出部23を有する。
この気管支抽出部23は、抽出した気管支2の3次元画像データ(より具体的には3次元のボリュームデータ)から、気管支2の中空形状を表す3次元形状の画像情報(画像データ)を生成する。つまり、気管支抽出部23は、抽出した気管支2の3次元画像データから中空の3次元形状の気管支形状の仮想画像としての気管支形状仮想画像を生成する気管支仮想画像生成回路を備えた気管支仮想画像生成部23aを有する。
また、この気管支抽出部23は、気管支2の3次元形状の画像データを抽出する際、3次元画像データに対応する第1の座標系での3次元の位置データと対応付けて抽出する。そして、この気管支抽出部23は、気管支2の3次元形状の画像データ(つまり気管支形状仮想画像データ)と3次元の位置データとを対応付けした対応付け情報を記憶するメモリなどからなる対応付け情報記憶部23bを有する。
この気管支抽出部23は、抽出した気管支2の3次元画像データ(より具体的には3次元のボリュームデータ)から、気管支2の中空形状を表す3次元形状の画像情報(画像データ)を生成する。つまり、気管支抽出部23は、抽出した気管支2の3次元画像データから中空の3次元形状の気管支形状の仮想画像としての気管支形状仮想画像を生成する気管支仮想画像生成回路を備えた気管支仮想画像生成部23aを有する。
また、この気管支抽出部23は、気管支2の3次元形状の画像データを抽出する際、3次元画像データに対応する第1の座標系での3次元の位置データと対応付けて抽出する。そして、この気管支抽出部23は、気管支2の3次元形状の画像データ(つまり気管支形状仮想画像データ)と3次元の位置データとを対応付けした対応付け情報を記憶するメモリなどからなる対応付け情報記憶部23bを有する。
また、挿入支援装置5は、撮像装置16が位置する位置情報に基づいて、撮像装置16により気管支2内を撮像した場合の仮想的な内視鏡画像(VBS画像と言う)を生成するための画像処理を行うVBS画像処理部24を有する。
このVBS画像処理部24は、VBS画像を生成するVBS画像生成部24aと、生成したVBS画像を格納するVBS画像格納部24bとを備える。なお、VBS画像格納部24bをVBS画像処理部24の外部に設けるようにしても良い。
また、挿入支援装置5は、気管支抽出部23により抽出された所定の管腔臓器としての気管支2の3次元形状の画像情報における特徴情報を取得する特徴情報取得する画像処理を行う特徴情報取得部25aと、気管支2の3次元形状の画像情報に、特徴情報を対応付けた画像としての特徴情報対応付け画像を生成する対応付け画像生成部25bとを備えた画像処理回路からなる画像処理部25を有する。
このVBS画像処理部24は、VBS画像を生成するVBS画像生成部24aと、生成したVBS画像を格納するVBS画像格納部24bとを備える。なお、VBS画像格納部24bをVBS画像処理部24の外部に設けるようにしても良い。
また、挿入支援装置5は、気管支抽出部23により抽出された所定の管腔臓器としての気管支2の3次元形状の画像情報における特徴情報を取得する特徴情報取得する画像処理を行う特徴情報取得部25aと、気管支2の3次元形状の画像情報に、特徴情報を対応付けた画像としての特徴情報対応付け画像を生成する対応付け画像生成部25bとを備えた画像処理回路からなる画像処理部25を有する。
特徴情報取得部25aは、図2Aに示すように気管支2における分岐に関する2次元の画像情報を取得する2次元の画像情報取得部33aと、主に気管支2における分岐に関する計測情報を取得する計測情報取得部33bとを有する。
2次元の画像情報取得部33aは、気管支2における分岐に関する2次元の画像情報を取得することにより、取得した情報に基づいて気管支2における分岐している分岐部分の仮想的な内視鏡画像としてのVBS画像を生成するのに利用する。なお、VBS画像生成部24は、分岐部分及び分岐していない部分を含めたVBS画像を生成する。このため、2次元の画像情報取得部33aをVBS画像処理部24内に設けるようにしても良い。
また、図1においては、画像処理部25とVBS画像処理部24とを別ユニットで示しているが、例えば画像処理部25がVBS画像処理部24におけるVBS画像生成部24aを含む構成にしても良い。
2次元の画像情報取得部33aは、気管支2における分岐に関する2次元の画像情報を取得することにより、取得した情報に基づいて気管支2における分岐している分岐部分の仮想的な内視鏡画像としてのVBS画像を生成するのに利用する。なお、VBS画像生成部24は、分岐部分及び分岐していない部分を含めたVBS画像を生成する。このため、2次元の画像情報取得部33aをVBS画像処理部24内に設けるようにしても良い。
また、図1においては、画像処理部25とVBS画像処理部24とを別ユニットで示しているが、例えば画像処理部25がVBS画像処理部24におけるVBS画像生成部24aを含む構成にしても良い。
計測情報取得部33bは、気管支2における分岐に関する計測情報として、より具体的には(第2の座標系での撮像装置16の位置と、この位置に対応した第1の座標系での)位置、気管支径、気管支2の所定位置までの距離、の計測情報を取得する位置/気管支径/距離計測情報取得部を有する。
なお、計測情報取得部33bが位置、気管支径、距離の3つの計測情報を取得する場合に限定されるものでなく、これらの内の2つ又は少なくとも1つを取得する構成にしても良い。また、特徴情報取得部25aは、2次元の画像情報取得部33aと、計測情報取得部33bとの両方を有する場合に限定されるものでなく、一方のみを有する構成にしても良い。また、計測情報取得部33bを画像処理部25内の特徴情報取得部25a内に設ける場合に限定されるものでなく、画像処理部25の外部、例えば計測処理部18内に設けたり、画像処理部25と計測処理部18とは別ユニットとして設けるようにしても良い。
なお、計測情報取得部33bが位置、気管支径、距離の3つの計測情報を取得する場合に限定されるものでなく、これらの内の2つ又は少なくとも1つを取得する構成にしても良い。また、特徴情報取得部25aは、2次元の画像情報取得部33aと、計測情報取得部33bとの両方を有する場合に限定されるものでなく、一方のみを有する構成にしても良い。また、計測情報取得部33bを画像処理部25内の特徴情報取得部25a内に設ける場合に限定されるものでなく、画像処理部25の外部、例えば計測処理部18内に設けたり、画像処理部25と計測処理部18とは別ユニットとして設けるようにしても良い。
上記特徴情報は、挿入支援の情報として利用されると共に、所定条件での位置推定が失敗した場合に対処し易くするために提示される情報を形成する。
また、この画像処理部25は、気管支形状仮想画像と、気管支2内部の仮想内視鏡画像(VBS画像)と、撮像素子7による内視鏡画像(撮像画像)等を合成する画像処理を行う画像合成処理部25cを有する。画像合成処理部25cは、合成した合成画像(の画像信号)を表示手段としてのモニタ26に出力し、モニタ26には合成画像が表示される。
図2Bは気管支仮想画像生成部23aにより生成された気管支形状仮想画像2aを示す。なお、この気管支形状仮想画像2aは、その画像データがそれぞれ対応する3次元の位置情報と対応付けして対応付け情報記憶部23bに記憶されている。
また、この画像処理部25は、気管支形状仮想画像と、気管支2内部の仮想内視鏡画像(VBS画像)と、撮像素子7による内視鏡画像(撮像画像)等を合成する画像処理を行う画像合成処理部25cを有する。画像合成処理部25cは、合成した合成画像(の画像信号)を表示手段としてのモニタ26に出力し、モニタ26には合成画像が表示される。
図2Bは気管支仮想画像生成部23aにより生成された気管支形状仮想画像2aを示す。なお、この気管支形状仮想画像2aは、その画像データがそれぞれ対応する3次元の位置情報と対応付けして対応付け情報記憶部23bに記憶されている。
図1においては、特徴情報取得部25aは、画像処理部25内に設けた場合で示しているが、画像処理部25の外部のVBS画像処理部24内部、又は気管支抽出部23内部やその他の位置に特徴情報取得部25aを設けるようにしても良い。この場合には、特徴情報取得部25aにより取得した特徴情報は、画像処理部25の画像生成部25bに入力される。
この画像処理部25により生成された合成画像の場合を含む画像信号は、画像表示手段としてのモニタ26に出力され、モニタ26にはこの画像信号の画像が表示される。
この画像処理部25により生成された合成画像の場合を含む画像信号は、画像表示手段としてのモニタ26に出力され、モニタ26にはこの画像信号の画像が表示される。
また、挿入支援装置5は、画像処理部25による画像処理等を制御するCPU等から構成される制御部27と、モニタ26に表示する画像や、CT画像データを生成し、気管支形状仮想画像2aの生成にも利用された座標系(第1の座標系)の位置と、位置センサ17及び計測処理部18により撮像装置16の位置の計測に用いられる座標系(第2の座標系)の位置とを対応付けた位置対応付け情報等を記憶する記憶部28とを有する。
制御部27は、モニタ26に表示する画像の表示制御を行う画像表示制御部27aの機能を有する。
制御部27は、モニタ26に表示する画像の表示制御を行う画像表示制御部27aの機能を有する。
また、この制御部27は、所定の管腔臓器としての気管支2内における撮像装置16の位置情報近傍の前記気管支2の特徴情報を、表示手段としてのモニタ26に表示するように制御する(位置情報近傍)特徴情報表示制御部27bを有する。そして、モニタ26は、当該位置情報近傍の前記気管支2の特徴情報を表示することになる。
また、本実施形態においては、気管支2内への(術者による)内視鏡3の挿入作業を円滑に支援できるように、気管支2の3次元形状の画像データを管理する第1の座標系での位置(位置情報)と、気管支2内に挿入される内視鏡3の挿入部11の先端部13の撮像装置16の第2の座標系での位置(位置情報)との位置対応付け又は位置合わせ(レジストレーション)を行う。
また、本実施形態においては、気管支2内への(術者による)内視鏡3の挿入作業を円滑に支援できるように、気管支2の3次元形状の画像データを管理する第1の座標系での位置(位置情報)と、気管支2内に挿入される内視鏡3の挿入部11の先端部13の撮像装置16の第2の座標系での位置(位置情報)との位置対応付け又は位置合わせ(レジストレーション)を行う。
制御部27は、両座標系での位置対応付けの制御を行う位置対応付け制御部27cの機能を持つ。
この位置対応付けした位置対応付け情報は、例えば記憶部28の位置対応付け情報記憶部28aに記憶される。
また、制御部27は、位置対応付け後において、両座標系での位置情報が所定条件以内で位置推定が成功したか否かの判定を行う判定部27dの機能を有する。
また、挿入支援装置5は、CT画像データ記憶部22に記憶されたCT画像データに基づき多断面再構築画像(MPR画像という)を生成するMPR画像生成部29と、MPR画像生成部29が生成したMPR画像を有する支援ルート(単にルートと言う)又は経路の設定画面としてのルート設定画面(又は経路設定画面)を生成し、内視鏡3の気管支2へのルートを設定するルート設定部30とを有する。
この位置対応付けした位置対応付け情報は、例えば記憶部28の位置対応付け情報記憶部28aに記憶される。
また、制御部27は、位置対応付け後において、両座標系での位置情報が所定条件以内で位置推定が成功したか否かの判定を行う判定部27dの機能を有する。
また、挿入支援装置5は、CT画像データ記憶部22に記憶されたCT画像データに基づき多断面再構築画像(MPR画像という)を生成するMPR画像生成部29と、MPR画像生成部29が生成したMPR画像を有する支援ルート(単にルートと言う)又は経路の設定画面としてのルート設定画面(又は経路設定画面)を生成し、内視鏡3の気管支2へのルートを設定するルート設定部30とを有する。
また、医療装置1は、ルート設定部30に対して設定情報を入力するキーボード及びポインティングデバイス等からなる入力装置31を有する。また、術者は、この入力装置31から画像処理部25に対して、画像処理を行う際のパラメータや、データを入力したり、制御部27に対して制御動作を選択、指示することができる。
また、術者がルート設定を行った場合、ルート設定部30は設定されたルート(経路)の情報をVBS画像処理部24、MPR画像生成部29、制御部27に送る。VBS画像処理部24及びMPR画像生成部29は、それぞれルートに沿ったVBS画像、MPR画像を生成し、制御部27はルートに沿って各部の動作の制御を行う。
また、術者がルート設定を行った場合、ルート設定部30は設定されたルート(経路)の情報をVBS画像処理部24、MPR画像生成部29、制御部27に送る。VBS画像処理部24及びMPR画像生成部29は、それぞれルートに沿ったVBS画像、MPR画像を生成し、制御部27はルートに沿って各部の動作の制御を行う。
上記特徴情報取得部25aは、気管支2内に挿入される撮像装置16の位置情報に基づいて、気管支抽出部23により抽出された気管支2の3次元形状の画像データにおける、気管支2の分岐に関する2次元の画像情報又は気管支2における撮像装置16の位置に対応する位置、気管支径、気管支2の所定位置までの距離等の計測情報を、上記気管支2に関する特徴情報として取得する。
例えば、図2Bに示すように(気管支2の形状をCT画像データに基づいて仮想的に表示する)気管支形状仮想画像2aにおける3次元形状の中空の管腔は、多数に分岐した分岐部が存在する。図2Bでは、ルート設定部30により設定したルートに沿って内視鏡3の挿入部11を先端側から挿入した場合に対応した分岐部B1-B5を示している。なお、図2Bでは分岐部B1-B5を示しているが、分岐部B1-B5の場合に限定されるものでなく、B1-Bn(nは2以上の自然数)に適用できる。
例えば、図2Bに示すように(気管支2の形状をCT画像データに基づいて仮想的に表示する)気管支形状仮想画像2aにおける3次元形状の中空の管腔は、多数に分岐した分岐部が存在する。図2Bでは、ルート設定部30により設定したルートに沿って内視鏡3の挿入部11を先端側から挿入した場合に対応した分岐部B1-B5を示している。なお、図2Bでは分岐部B1-B5を示しているが、分岐部B1-B5の場合に限定されるものでなく、B1-Bn(nは2以上の自然数)に適用できる。
本実施形態においては挿入支援を円滑に行うために、特徴情報取得部25bは、気管支2の3次元形状の画像データを利用して、各分岐部Bi(i=1,2,…,n)近傍の位置において、内視鏡3の撮像装置16を仮想的に配置して分岐部Biを撮像した場合に対応する2次元のVBS画像を2次元の画像情報として、VBS画像を(VBS画像処理部24の)VBS画像格納部24bから取得する。
そして、対応付け画像生成部25bは、気管支2の3次元形状の画像情報としての気管支形状仮想画像2aに、特徴情報取得部25aが取得した2次元の画像情報として分岐部を撮像するVBS画像Iiを対応付けた対応付け画像Jを生成する。そして、モニタ26は、この対応付け画像Jが例えば図2Bに示すように表示する。
そして、対応付け画像生成部25bは、気管支2の3次元形状の画像情報としての気管支形状仮想画像2aに、特徴情報取得部25aが取得した2次元の画像情報として分岐部を撮像するVBS画像Iiを対応付けた対応付け画像Jを生成する。そして、モニタ26は、この対応付け画像Jが例えば図2Bに示すように表示する。
図2Bでは、各分岐部Biに、分岐部Biを撮像したVBS画像Iiを対応付けた状態で示している。なお、図2Bにおいて気管支2(気管支形状仮想画像2a)の管腔の中心線を符号Cで示している。
図3は、1つの分岐部Bi付近における該分岐部Biを撮像したVBS画像Iiを対応付けた内容をより詳細に示す。
図3は、(気管支2における)1つの管腔形状が分岐境界位置PBiから2つの管腔形状に分岐する分岐部Biを形成する分岐部Bi周辺部を示している。
また、図3は、(気管支2又は)気管支形状仮想画像2a上において所定位置としての分岐境界位置PBiから所定距離aiだけ離し、管腔の中心線C上の位置Piに、撮像装置16(又は先端部13又は位置センサ17)を配置した状態を示している。なお、所定距離aiだけ離し、管腔路の中心線C上の位置Piを特定する説明は、図7において後述する。
図3は、1つの分岐部Bi付近における該分岐部Biを撮像したVBS画像Iiを対応付けた内容をより詳細に示す。
図3は、(気管支2における)1つの管腔形状が分岐境界位置PBiから2つの管腔形状に分岐する分岐部Biを形成する分岐部Bi周辺部を示している。
また、図3は、(気管支2又は)気管支形状仮想画像2a上において所定位置としての分岐境界位置PBiから所定距離aiだけ離し、管腔の中心線C上の位置Piに、撮像装置16(又は先端部13又は位置センサ17)を配置した状態を示している。なお、所定距離aiだけ離し、管腔路の中心線C上の位置Piを特定する説明は、図7において後述する。
そして、対応付け画像生成部25cは、この撮像装置16により分岐部Bi側を撮像した場合に対応するVBS画像Iiを、この気管支2の分岐部Biに対応付けた対応付け画像Jiを有するように、対応付け画像Jを生成する。
また、本実施形態においては、特徴情報取得部25aは、図3における各位置Pi等における計測情報として気管支2の内径としての気管支径Diを、気管支2の3次元形状の画像情報から計測情報として取得する。そして、表示制御部27aは、気管支径Diをモニタ26で表示するように制御する。また、例えば記憶部28は、気管支径Diの計測情報を記憶する。なお、気管支径Diを、気管支2の3次元形状の画像情報から取得する場合に限らず、後述する立体計測を利用して気管支径Diの計測情報を取得しても良い。
また、本実施形態においては、特徴情報取得部25aは、図3における各位置Pi等における計測情報として気管支2の内径としての気管支径Diを、気管支2の3次元形状の画像情報から計測情報として取得する。そして、表示制御部27aは、気管支径Diをモニタ26で表示するように制御する。また、例えば記憶部28は、気管支径Diの計測情報を記憶する。なお、気管支径Diを、気管支2の3次元形状の画像情報から取得する場合に限らず、後述する立体計測を利用して気管支径Diの計測情報を取得しても良い。
制御部27の判定部27dは、気管支2の3次元形状の位置情報と、記憶部28に記憶された気管支径Di等の計測情報を用いて、計測処理部18により位置計測された気管支2内に挿入された撮像装置16の位置情報が、気管支2内において実際に挿入された状態において許容される所定条件以内で推定できているか否かを判定する。
制御部27は、所定条件以内で推定できると判定した場合には、挿入支援の動作を続行し、所定条件以内で位置ずれが発生(換言すると位置推定が失敗した)と判定した場合には、失敗した位置近傍の気管支2の分岐部の情報を算出するように制御動作を行う。
制御部27は、所定条件以内で推定できると判定した場合には、挿入支援の動作を続行し、所定条件以内で位置ずれが発生(換言すると位置推定が失敗した)と判定した場合には、失敗した位置近傍の気管支2の分岐部の情報を算出するように制御動作を行う。
また、制御部27は、算出した分岐部を含む気管支形状仮想画像2aと挿入支援するためのVBS画像とを合成するように画像処理部25を制御し、モニタ26にリスタート時の表示画面としてのリスタート画面を表示するように制御する。
リスタート時には、制御部27は、リスタートする撮像装置16の位置(つまり、位置推定に失敗した時の撮像装置16の位置)を気管支形状仮想画像2a上に表示すると共に、その位置近傍のVBS画像を表示し、記憶部28に記憶された位置対応付け情報を補正し易くする画像を提示する。
なお、表示するVBS画像は、以下の条件の少なくとも1つを使用した条件式を満たす分岐部である。
(I)内視鏡画像から気管支径を算出し、その気管支径と事前にCT画像上から算出していた分岐位置での気管支径との差分がしきい値以下の分岐のVBS画像。
(II)最後に位置推定に成功した位置から一定の範囲内にある分岐部に対してのVBS画像。
(III)位置推定に失敗した位置から一定の範囲内にある分岐部に対してのVBS画像。
(IV)位置推定に失敗した時点から過去一定期間内に記憶部28に記録された位置近傍の分岐部に対してのVBS画像。
(V)ルート上の分岐部
さらに、内視鏡先端から分岐までの距離を内視鏡画像から算出し、上記条件を満たす分岐部に対して同じ距離離れたVBS画像を生成してもよい。
これらの条件での距離とは、2点間の直線距離でもよいし、管腔の中心線上の道のりでもよい。
リスタート時には、制御部27は、リスタートする撮像装置16の位置(つまり、位置推定に失敗した時の撮像装置16の位置)を気管支形状仮想画像2a上に表示すると共に、その位置近傍のVBS画像を表示し、記憶部28に記憶された位置対応付け情報を補正し易くする画像を提示する。
なお、表示するVBS画像は、以下の条件の少なくとも1つを使用した条件式を満たす分岐部である。
(I)内視鏡画像から気管支径を算出し、その気管支径と事前にCT画像上から算出していた分岐位置での気管支径との差分がしきい値以下の分岐のVBS画像。
(II)最後に位置推定に成功した位置から一定の範囲内にある分岐部に対してのVBS画像。
(III)位置推定に失敗した位置から一定の範囲内にある分岐部に対してのVBS画像。
(IV)位置推定に失敗した時点から過去一定期間内に記憶部28に記録された位置近傍の分岐部に対してのVBS画像。
(V)ルート上の分岐部
さらに、内視鏡先端から分岐までの距離を内視鏡画像から算出し、上記条件を満たす分岐部に対して同じ距離離れたVBS画像を生成してもよい。
これらの条件での距離とは、2点間の直線距離でもよいし、管腔の中心線上の道のりでもよい。
このような構成の医療装置1は、予め取得した被検体における3次元画像情報を記憶する記憶手段を構成するCT画像データ記憶部22と、前記被検体内を撮像する撮像手段を構成する撮像装置16と、前記3次元画像情報から前記被検体内の所定の管腔臓器としての気管支2の3次元形状の画像情報を抽出する管腔臓器抽出手段を構成する気管支抽出部23と、前記所定の管腔臓器内に挿入される前記撮像手段の位置情報に基づいて、前記管腔臓器抽出手段により抽出された前記所定の管腔臓器の3次元形状の画像情報における特徴情報を取得する特徴情報取得手段を構成する特徴情報取得部25aと、前記所定の管腔臓器の3次元形状の画像情報に、前記特徴情報を対応付けた画像を生成する対応付け画像生成手段を構成する対応付け画像生成部25bと、前記所定の管腔臓器内における前記撮像手段の位置情報近傍の前記所定の管腔臓器の特徴情報を表示する表示手段を構成するモニタ26と、を備えることを特徴とする。
次に本実施形態の動作を図4を参照して説明する。図4は、内視鏡3の挿入部11を気管支2内に挿入する場合の医療装置1各部の主要な処理を示す。
気管支2内に内視鏡3の挿入部11を挿入する場合、ステップS1に示すように医療装置1の制御部27は、両座標系での位置対応付け(レジストレーション)を行う処理を行う。
制御部27(の位置対応付け制御部27d)は、CT画像データ及びこのCT画像データから気管支2の3次元形状の画像データの抽出に用いられた第1の座標系と、先端部13の位置センサ17の計測処理部18による計測に用いられる第2の座標系とで、3つ以上となる複数の位置で対応付ける位置対応付け(レジストレーション)の処理を行う。
気管支2内に内視鏡3の挿入部11を挿入する場合、ステップS1に示すように医療装置1の制御部27は、両座標系での位置対応付け(レジストレーション)を行う処理を行う。
制御部27(の位置対応付け制御部27d)は、CT画像データ及びこのCT画像データから気管支2の3次元形状の画像データの抽出に用いられた第1の座標系と、先端部13の位置センサ17の計測処理部18による計測に用いられる第2の座標系とで、3つ以上となる複数の位置で対応付ける位置対応付け(レジストレーション)の処理を行う。
図5は位置対応付けの動作の説明図を示す。例えば気管支2の入り口付近における例えば4点Q0-Q3に、術者は内視鏡3の先端部13(又は位置センサ17)を順次設定して、第1の座標系O-XYZと第2の座標系o-xyzにおいてそれぞれ位置対応付けする指示又は指示入力を入力装置31から行う。このため、入力装置31は、位置対応付けの指示を行う指示入力部又は指示入力手段を形成する。
例えば、先端部13(又は位置センサ17)を、第1の座標系O-XYZにおける原点Oの位置Q0(0,0,0),X座標上の位置Q1(1,0,0)、Y座標上の位置Q2(0,1,0)、Z座標上の位置Q3(0,0,1)、に順次設定して、術者が位置対応付けの指示を行う。この指示において、各位置において計測処理部18が順次計測した位置を(x0,y0,z0)、(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)とすると、制御部27は位置対応付けを行い、位置対応付け情報を記憶部28に記憶するように制御する。
例えば、先端部13(又は位置センサ17)を、第1の座標系O-XYZにおける原点Oの位置Q0(0,0,0),X座標上の位置Q1(1,0,0)、Y座標上の位置Q2(0,1,0)、Z座標上の位置Q3(0,0,1)、に順次設定して、術者が位置対応付けの指示を行う。この指示において、各位置において計測処理部18が順次計測した位置を(x0,y0,z0)、(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)とすると、制御部27は位置対応付けを行い、位置対応付け情報を記憶部28に記憶するように制御する。
この場合の位置対応付け情報(具体的には、第1の座標系O-XYZにおけるQ0(0,0,0)、Q1(1,0,0)、Q2(0,1,0)、Q3(0,0,1)は、第2の座標系o-xyzにおいては(x0,y0,z0)、(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)がそれぞれ対応する情報)を記憶部28は記憶する。
また、制御部27は、記憶部28に記憶した位置対応付け情報を用いて両座標系の任意の位置を対応つける変換情報を決定する。制御部27は、この変換情報を記憶部28に記憶する。
また、制御部27は、記憶部28に記憶した位置対応付け情報を用いて両座標系の任意の位置を対応つける変換情報を決定する。制御部27は、この変換情報を記憶部28に記憶する。
図5においては、座標位置Q0(0,0,0),Q1(1,0,0),Q2(0,1,0),Q3(0,0,1)と、それぞれ対応する座標位置(x0,y0,z0)、(x1,y1,z1)、(x2,y2,z2)、(x3,y3,z3)とを簡略化してQ0⇔(x0,y0,z0)、Q1⇔(x1,y1,z1)、Q2⇔(x2,y2,z2)、Q3⇔(x3,y3,z3)で示している。なお、図5に示す4点でなく、そのうちの1点を省略した3点で位置対応付けを行う(決定する)ようにしても良い。
このように位置対応付けの処理が終了した後、術者は、内視鏡2の挿入部11を気管支2内に挿入して内視鏡検査を行うことを開始する。
このように位置対応付けの処理が終了した後、術者は、内視鏡2の挿入部11を気管支2内に挿入して内視鏡検査を行うことを開始する。
術者は、気管支2の3次元形状の気管支形状仮想画像2aをモニタ26に表示させるように入力装置31から指示入力し、モニタ26に気管支2の3次元形状の気管支仮想画像を表示させ、さらに内視鏡3の挿入部11を気管支2内に挿入するルート(経路)の設定等を行う。
術者は、内視鏡3の挿入部11をその先端部13側から気管支2内に挿入すると、図4のステップS2に示すように先端部13の撮像装置16は気管支2内を撮像し、撮像画像をモニタ9に表示すると共に、モニタ26においても表示する。
また、ステップS3に示すように計測処理部18は、位置センサ17ないしは先端部13(又は撮像装置16)の位置計測を行い、位置計測した位置データを制御部27に出力する。
術者は、内視鏡3の挿入部11をその先端部13側から気管支2内に挿入すると、図4のステップS2に示すように先端部13の撮像装置16は気管支2内を撮像し、撮像画像をモニタ9に表示すると共に、モニタ26においても表示する。
また、ステップS3に示すように計測処理部18は、位置センサ17ないしは先端部13(又は撮像装置16)の位置計測を行い、位置計測した位置データを制御部27に出力する。
ステップS4に示すように制御部27は、計測処理部18から入力された第2の座標系の位置データが、気管支2の3次元形状を表す第1の座標系の位置データと所定条件の位置推定が成功か否かの判定を行う。
所定条件の位置推定の1つの判定法としては、例えば図6に示すように、計測処理部18により、例えばi番目に計測された第2の座標系での計測位置Pmiが、第1の座標系における気管支2の管腔形状の内側に存在するか否かを採用する。
図6に示すように(i-1)番目に計測された計測位置Pm(i-1)においては、第1の座標系では(気管支2の3次元形状の仮想画像としての)気管支形状仮想画像2aにおける管腔内側となる領域内に存在するとして算出された場合には、判定部27dは所定条件の位置推定が成功と判定する。なお、図6においては、管腔形状の外側を斜線で示している。
所定条件の位置推定の1つの判定法としては、例えば図6に示すように、計測処理部18により、例えばi番目に計測された第2の座標系での計測位置Pmiが、第1の座標系における気管支2の管腔形状の内側に存在するか否かを採用する。
図6に示すように(i-1)番目に計測された計測位置Pm(i-1)においては、第1の座標系では(気管支2の3次元形状の仮想画像としての)気管支形状仮想画像2aにおける管腔内側となる領域内に存在するとして算出された場合には、判定部27dは所定条件の位置推定が成功と判定する。なお、図6においては、管腔形状の外側を斜線で示している。
このように判定部27dが所定条件の位置推定が成功と判定した場合には、次のステップS5において制御部27は、所定条件の位置推定が成功した状態での計測位置Pm(i-1)、撮像装置16による撮像画像、先端部13の姿勢の情報、計測時の時間の情報を記憶部28に記憶するように制御する。
このように、記憶部28は、気管支2内に挿入された撮像装置16の位置情報と、撮像装置16により撮像した撮像画像と、先端部13の姿勢の情報とを、時系列に記憶する位置・画像記憶部28bを有する。なお、位置推定が成功した場合に限らず、位置推定が成功しないで失敗した場合にも、記憶部28は上記の情報を時系列に記憶するようにしても良い。
このように、記憶部28は、気管支2内に挿入された撮像装置16の位置情報と、撮像装置16により撮像した撮像画像と、先端部13の姿勢の情報とを、時系列に記憶する位置・画像記憶部28bを有する。なお、位置推定が成功した場合に限らず、位置推定が成功しないで失敗した場合にも、記憶部28は上記の情報を時系列に記憶するようにしても良い。
ステップS5の処理の後、ステップS2の処理に戻り、ステップS2-S5の処理を繰り返す。
これに対して、図6において示すようにi番目に計測された計測位置Pmiが、第1の座標系では管腔の外側となる斜線で示す領域内として算出された場合には、判定部27dは所定条件の位置推定が失敗したと判定する。
この場合には、図4のステップS6の処理に移り、このステップS6において制御部27は、計測処理部18が計測を行うように制御する。そして、ステップS7において計測処理部18は、上記計測位置Pmi周辺の分岐部を気管支抽出部23の3次元形状の画像データから求め、気管支径を特徴情報取得部25aから取得しておく。さらに、計測位置PmiとPmi―1の内視鏡画像により立体計測により分岐部での気管支径Riを求め、周辺の分岐のうち特徴情報取得部25aから取得した気管支径との差分がしきい値以下であるものを算出する。
これに対して、図6において示すようにi番目に計測された計測位置Pmiが、第1の座標系では管腔の外側となる斜線で示す領域内として算出された場合には、判定部27dは所定条件の位置推定が失敗したと判定する。
この場合には、図4のステップS6の処理に移り、このステップS6において制御部27は、計測処理部18が計測を行うように制御する。そして、ステップS7において計測処理部18は、上記計測位置Pmi周辺の分岐部を気管支抽出部23の3次元形状の画像データから求め、気管支径を特徴情報取得部25aから取得しておく。さらに、計測位置PmiとPmi―1の内視鏡画像により立体計測により分岐部での気管支径Riを求め、周辺の分岐のうち特徴情報取得部25aから取得した気管支径との差分がしきい値以下であるものを算出する。
なお、上述したように、1つの分岐部Biの場合に限定されるものでなく、制御部27は、術者に対する選択肢を広げるために、複数の分岐部を算出するようにしても良い。
また、ステップS8において制御部27は、上記分岐部Bi近傍の仮想内視鏡画像、つまりVBS画像を生成する。そして、次のステップS9において制御部27は、画像処理部25の対応付け画像生成部25bに対して、対応付け画像を生成してモニタ26にリスタート画面として表示するように制御する。このリスタート画面における画像としては、例えば図3に示すような対応付け画像Jiを表示する。
また、ステップS8において制御部27は、上記分岐部Bi近傍の仮想内視鏡画像、つまりVBS画像を生成する。そして、次のステップS9において制御部27は、画像処理部25の対応付け画像生成部25bに対して、対応付け画像を生成してモニタ26にリスタート画面として表示するように制御する。このリスタート画面における画像としては、例えば図3に示すような対応付け画像Jiを表示する。
術者は、対応付け画像Jiがモニタ26での表示によって提示されるので、ステップS10に示すように対応付け画像Jiを用いて、位置推定が失敗した場合の対応、例えば位置対応付けの補正の処理を行う。ステップS10の処理後にステップS2の処理に戻る。なお、図2Bに示すように複数の分岐部及びVBS画像を表示するようにしても良い。また、表示する場合の分岐部の数、VBS画像の数を術者が選択的に設定できるようにしても良い。
次に対応付け画像Ji又はリスタート画面における位置対応付け情報を補正する処理動作を説明する。
図6において計測位置Pmiが管腔の外側となった場合には、制御部27はその計測位置Pmi近傍の分岐部Biを算出するように制御し、モニタ26に図3に示すような対応付け画像Jiを表示するように制御する。
術者は、対応付け画像Jiの表示から、以下のようにして初期状態で設定した位置対応付け情報を補正することによって、内視鏡3の挿入作業を円滑に続行することが可能になる。
次に対応付け画像Ji又はリスタート画面における位置対応付け情報を補正する処理動作を説明する。
図6において計測位置Pmiが管腔の外側となった場合には、制御部27はその計測位置Pmi近傍の分岐部Biを算出するように制御し、モニタ26に図3に示すような対応付け画像Jiを表示するように制御する。
術者は、対応付け画像Jiの表示から、以下のようにして初期状態で設定した位置対応付け情報を補正することによって、内視鏡3の挿入作業を円滑に続行することが可能になる。
図3の画像から位置対応付けの誤差が大きくなった位置対応付け情報を補正する動作を説明する。
図7は、図3の状態に対応した気管支2とその気管支2内に挿入された内視鏡3の先端側の状態において、基準位置としての位置Piを特定して、位置対応付け情報を補正すための説明図を示す。また、図8は位置対応付け情報を補正する操作や処理を示す。
術者は、図8のステップS11に示すように基準位置を特定するための操作(作業)を行う。初期状態で設定した位置対応付け情報を補正するために、新たに基準位置を設定する操作を行う。第1の座標系において、分岐境界位置PBiの3次元位置は、気管支2の3次元形状の画像データにおいて管腔の内側に突出する頂点位置となるため、特定することが容易な特定位置となる。
図7は、図3の状態に対応した気管支2とその気管支2内に挿入された内視鏡3の先端側の状態において、基準位置としての位置Piを特定して、位置対応付け情報を補正すための説明図を示す。また、図8は位置対応付け情報を補正する操作や処理を示す。
術者は、図8のステップS11に示すように基準位置を特定するための操作(作業)を行う。初期状態で設定した位置対応付け情報を補正するために、新たに基準位置を設定する操作を行う。第1の座標系において、分岐境界位置PBiの3次元位置は、気管支2の3次元形状の画像データにおいて管腔の内側に突出する頂点位置となるため、特定することが容易な特定位置となる。
また、この分岐境界位置PBiから所定距離aiとなる気管支2の管腔の中心線C上の位置Piを基準位置として特定するために、術者は、ステップS12に示すように内視鏡3の撮像装置16を所定位置としての分岐境界位置PBiを立体計測する状態に設定する。
内視鏡3が1つの撮像装置16のみを有する場合には、図7に示すように気管支2の管腔内で、術者は内視鏡3の湾曲部19を湾曲させ、管腔内壁に当接させた2つの状態St1,St2に順次設定する。
そして、ステップS13に示すように各状態St1,St2で分岐境界位置PBiを撮像装置16で撮像し、それぞれ撮像画像を例えば、記憶部28に記憶させる。
内視鏡3が1つの撮像装置16のみを有する場合には、図7に示すように気管支2の管腔内で、術者は内視鏡3の湾曲部19を湾曲させ、管腔内壁に当接させた2つの状態St1,St2に順次設定する。
そして、ステップS13に示すように各状態St1,St2で分岐境界位置PBiを撮像装置16で撮像し、それぞれ撮像画像を例えば、記憶部28に記憶させる。
ステップS14に示すように2つの撮像画像上において、術者は同じ所定位置としての分岐境界位置PBiを、入力装置31から指定する。
ステップS15に示すように制御部27は、この指定に基づいて、内視鏡3の対物レンズ15の焦点距離、撮像素子7の撮像面のサイズ、画素数等の情報を用いて、距離aiを算出すると共に、第1の座標系における基準位置としての位置Piの3次元位置を算出する。
次のステップS16において術者は、先端部13を位置Piに設定して、位置対応付けの指示を入力装置31から行う。
この指示を受けて、ステップS17において制御部27は、基準位置としての位置Piにおいて、第1の座標系と、第2の座標系とで新たな位置対応付けの処理を行う。
ステップS15に示すように制御部27は、この指定に基づいて、内視鏡3の対物レンズ15の焦点距離、撮像素子7の撮像面のサイズ、画素数等の情報を用いて、距離aiを算出すると共に、第1の座標系における基準位置としての位置Piの3次元位置を算出する。
次のステップS16において術者は、先端部13を位置Piに設定して、位置対応付けの指示を入力装置31から行う。
この指示を受けて、ステップS17において制御部27は、基準位置としての位置Piにおいて、第1の座標系と、第2の座標系とで新たな位置対応付けの処理を行う。
つまり制御部27は、第1の座標系の位置Piを第2の座標系で位置計測した場合の位置Priを対応付ける処理を行う。
更に、ステップS18において制御部27は、位置対応付けの情報により、初期状態の位置対応付け情報を補正する。
例えば、制御部27は、図7の位置の対応付け情報と、初期状態で設定した位置対応付け情報における3つの位置対応付け情報とから補正した位置対応付け情報を生成する。また、第1の座標系での位置と、第2の座標系での位置とを変換する、或いは対応つける変換式も補正(更新)する。
更に、ステップS18において制御部27は、位置対応付けの情報により、初期状態の位置対応付け情報を補正する。
例えば、制御部27は、図7の位置の対応付け情報と、初期状態で設定した位置対応付け情報における3つの位置対応付け情報とから補正した位置対応付け情報を生成する。また、第1の座標系での位置と、第2の座標系での位置とを変換する、或いは対応つける変換式も補正(更新)する。
図7に示した位置Piにおいて取得した位置対応付け情報は、気管支2の入り口付近で設定した初期状態の位置対応付け情報に比較すると、気管支2の管路に沿った深部側での位置対応付け情報であるので、内視鏡3の挿入部11を実際に挿入した場合においては、より信頼性が高い位置情報と考えられる。そして、この位置対応付け情報で、初期状態で設定した位置対応付け情報を補正することにより、気管支2の管路に沿った深部側での位置対応付け情報による補正の誤差を補正できる。
そして、このようにして、補正された位置対応付け情報を用いて、術者は、挿入操作を続行する。例えば、術者は、リスタート画面において、入力装置31から位置計測を再開させる指示を行うことにより、補正された位置対応付け情報を用いて図4のステップS2以後の処理が再開する。
そして、このようにして、補正された位置対応付け情報を用いて、術者は、挿入操作を続行する。例えば、術者は、リスタート画面において、入力装置31から位置計測を再開させる指示を行うことにより、補正された位置対応付け情報を用いて図4のステップS2以後の処理が再開する。
このようにして、医療装置1における挿入支援の情報を利用することにより、術者が気管支2の深部側に内視鏡3を円滑に挿入する作業を支援することができる。
なお、上述の説明においては、立体計測を利用して基準位置において両座標系の位置対応付けを行った例を説明したが、図9に示すように分岐境界位置PBiに先端部13の先端面を当接させた状態で、この分岐境界位置PBiにおいて両座標系の位置対応付けを行うようにして良い。
この場合には、術者は先端部13の先端面を、所定位置としての分岐境界位置PBiに当接させる状態に設定して、入力装置31から制御部27に対して位置対応付けの指示入力を行うだけで、入力支援装置5が図8の位置対応付けの処理を行うようにできる。また、日本国特開2009-279251号公報に記載の方法、つまり内視鏡画像に似ているVBS画像を探し出すことにより内視鏡先端の位置姿勢を求める方法を使用して、位置対応付け情報を補正してもよい。または、上記方法から算出される内視鏡先端の位置と、初期の位置対応付け情報を算出する際に使用した4点より3点を選択し、前述の方法にて位置対応付け情報を補正してもよい。
なお、上述の説明においては、立体計測を利用して基準位置において両座標系の位置対応付けを行った例を説明したが、図9に示すように分岐境界位置PBiに先端部13の先端面を当接させた状態で、この分岐境界位置PBiにおいて両座標系の位置対応付けを行うようにして良い。
この場合には、術者は先端部13の先端面を、所定位置としての分岐境界位置PBiに当接させる状態に設定して、入力装置31から制御部27に対して位置対応付けの指示入力を行うだけで、入力支援装置5が図8の位置対応付けの処理を行うようにできる。また、日本国特開2009-279251号公報に記載の方法、つまり内視鏡画像に似ているVBS画像を探し出すことにより内視鏡先端の位置姿勢を求める方法を使用して、位置対応付け情報を補正してもよい。または、上記方法から算出される内視鏡先端の位置と、初期の位置対応付け情報を算出する際に使用した4点より3点を選択し、前述の方法にて位置対応付け情報を補正してもよい。
また、先端部13に設ける位置センサ17を、図9に示すように複数配置しても良い。位置センサ17を複数配置する場合、図9に示すように挿入部11の軸方向(長手方向)に沿って配置したもの(17a,17b)の他に、軸方向と例えば直交する方向に配置したもの(17c)を設けることにより、先端部13における撮像装置16が撮像する方向(方位)を検出することができる。この場合の撮像装置16が撮像する方向を視線方向とも言う。そして、撮像装置16の位置を記憶部28に記憶する場合、その視線方向の情報も記憶するようにしても良い。
なお、図4におけるステップS4の所定条件の位置推定の判定は、位置計測された第2の座標系の位置が第1の座標系の気管支径の内部となるかを判定条件としていたが、位置対応付けを行った位置から事前に設定された距離以内を判定条件として組み合わせても良い。
なお、図4におけるステップS4の所定条件の位置推定の判定は、位置計測された第2の座標系の位置が第1の座標系の気管支径の内部となるかを判定条件としていたが、位置対応付けを行った位置から事前に設定された距離以内を判定条件として組み合わせても良い。
この場合には、過去に行った位置対応付けの位置から一定距離Rを超えた場合には、図4におけるステップS4で所定条件の位置推定を行う判定条件に該当しないと判定して、ステップS6の処理に移るようにしても良い。
また、ステップS4の判定条件としてさらに別の判定条件を採用しても良い。
内視鏡3の先端部13の位置計測を行うための位置センサ17の他に、例えば患者の呼吸による臓器の移動を補正するための位置センサ(体外マーカ)が想定していない方向に動いたとき、又は体外マーカが一定以上の移動量を検出した場合には、制御部27の判定部27dは、ステップS4において所定条件の位置推定の判定条件に該当しないとしてステップS6の処理に移るようにしても良い。
また、ステップS4の判定条件としてさらに別の判定条件を採用しても良い。
内視鏡3の先端部13の位置計測を行うための位置センサ17の他に、例えば患者の呼吸による臓器の移動を補正するための位置センサ(体外マーカ)が想定していない方向に動いたとき、又は体外マーカが一定以上の移動量を検出した場合には、制御部27の判定部27dは、ステップS4において所定条件の位置推定の判定条件に該当しないとしてステップS6の処理に移るようにしても良い。
また、上述した判定法、つまり気管支径、距離、一定以上の移動量より2つ以上の条件を組み合わせるようにしても良い。
上述した第1の実施形態によれば、内視鏡3の挿入部11を所定の管腔臓器としての気管支2内に挿入した場合、医療装置1は、挿入部11の先端部13に設けた撮像装置16の位置を計測して、その位置近傍における気管支2内での仮想内視鏡画像や、気管支径や、気管支2の所定位置までの距離等をモニタ26に表示するようにしているので、撮像装置16の位置推定に失敗したような場合に、術者に対して位置推定の失敗に対処し易い情報を提示することができる。
上述した第1の実施形態によれば、内視鏡3の挿入部11を所定の管腔臓器としての気管支2内に挿入した場合、医療装置1は、挿入部11の先端部13に設けた撮像装置16の位置を計測して、その位置近傍における気管支2内での仮想内視鏡画像や、気管支径や、気管支2の所定位置までの距離等をモニタ26に表示するようにしているので、撮像装置16の位置推定に失敗したような場合に、術者に対して位置推定の失敗に対処し易い情報を提示することができる。
例えば、位置推定が失敗した場合のモニタ26に表示されるリスタート画面において図8で説明した立体計測を利用して2つの座標系での位置対応付け情報を補正することにより、そのリスタート画面から再び内視鏡3の挿入部11を気管支2の深部側に挿入する操作を続行することができるように支援できる。より簡便な方法として、内視鏡3の先端部13の先端面を気管支2の所定位置となる分岐境界位置に当接させて位置対応付け情報を補正することもできる。
なお、上述したステップS4において複数の条件を組み合わせることにより、以下の効果がある。具体的には「気管支から飛び出ていること」、「過去に行った位置対応付けの位置からある距離以内」、「一定以上の移動量」における2つ以上の条件をorで組み合わせて判定式とした場合には、位置対応付け情報による補正の誤差が小さくても検出が可能になり、精度の高い内視鏡先端の位置表示が可能となる。また、2つ以上の条件をandで組み合わせた場合には、判定のロバスト性が向上するため、ノイズなどにより位置センサの精度が悪化してもリスタートの回数が増加することを防ぐことができる。
また、ステップS9において「気管支径」や「分岐部までの距離」という計測情報を使用してリスタート画面に表示されるVBS画像を絞り込むことにより、術者によるVBS画像の選択を容易にする。
なお、上述した実施形態において、位置推定が失敗しない場合においても、画像処理部25は、所定の管腔臓器としての気管支2の3次元形状の画像情報に、特徴情報を対応付けた画像を生成し、制御部27が、モニタ26に撮像装置16の位置情報近傍の気管支2の(特徴情報取得部25aが取得した)特徴情報を表示するように制御しても良い。この場合、特徴情報として、撮像装置16の近傍の例えば分岐部のVBS画像を表示すると、術者は分岐部において先端部13をいずれの管路側に挿入するか否かを確認しながら行えるため、挿入の作業が行い易くなる。
また、上述した場合の計測情報としての所定位置までの距離を計測する計測情報としては、撮像装置16の位置から分岐部Bjの所定位置までの距離の例で説明したが、以下の実施形態で説明するように撮像装置16の位置から気管支2の管路の中心線Cが分岐部Bjにおいて分岐する分岐点までの距離を計測情報に設定しても良い。
なお、上述したステップS4において複数の条件を組み合わせることにより、以下の効果がある。具体的には「気管支から飛び出ていること」、「過去に行った位置対応付けの位置からある距離以内」、「一定以上の移動量」における2つ以上の条件をorで組み合わせて判定式とした場合には、位置対応付け情報による補正の誤差が小さくても検出が可能になり、精度の高い内視鏡先端の位置表示が可能となる。また、2つ以上の条件をandで組み合わせた場合には、判定のロバスト性が向上するため、ノイズなどにより位置センサの精度が悪化してもリスタートの回数が増加することを防ぐことができる。
また、ステップS9において「気管支径」や「分岐部までの距離」という計測情報を使用してリスタート画面に表示されるVBS画像を絞り込むことにより、術者によるVBS画像の選択を容易にする。
なお、上述した実施形態において、位置推定が失敗しない場合においても、画像処理部25は、所定の管腔臓器としての気管支2の3次元形状の画像情報に、特徴情報を対応付けた画像を生成し、制御部27が、モニタ26に撮像装置16の位置情報近傍の気管支2の(特徴情報取得部25aが取得した)特徴情報を表示するように制御しても良い。この場合、特徴情報として、撮像装置16の近傍の例えば分岐部のVBS画像を表示すると、術者は分岐部において先端部13をいずれの管路側に挿入するか否かを確認しながら行えるため、挿入の作業が行い易くなる。
また、上述した場合の計測情報としての所定位置までの距離を計測する計測情報としては、撮像装置16の位置から分岐部Bjの所定位置までの距離の例で説明したが、以下の実施形態で説明するように撮像装置16の位置から気管支2の管路の中心線Cが分岐部Bjにおいて分岐する分岐点までの距離を計測情報に設定しても良い。
(第2の実施形態)
次に本発明の第2の実施形態を説明する。図10に示す本実施形態の医療装置1Bは、図1に示す医療装置1の構成において、気管支2に領域を設定し、領域毎に計測情報を切り替える選択を行う選択手段を設けた構成である。この選択手段を使用しない場合には、第1の実施形態と同様の構成及び作用となる。
上記選択手段としては、例えば入力装置31は領域の設定と、領域毎に計測情報を選択する設定・選択指示を行う設定・選択指示部31aを有し、制御部27は、この設定・選択指示に対して領域の設定と、領域毎に計測情報を選択する制御とを行う設定・計測情報選択部27eを備える。その他の構成は、第1の実施形態と同様である。
図11は、本実施形態の処理内容を示す。なお、図11におけるステップS31-S33,S35-37は、第1の実施形態の場合とほぼ同様の処理となる。
次に本発明の第2の実施形態を説明する。図10に示す本実施形態の医療装置1Bは、図1に示す医療装置1の構成において、気管支2に領域を設定し、領域毎に計測情報を切り替える選択を行う選択手段を設けた構成である。この選択手段を使用しない場合には、第1の実施形態と同様の構成及び作用となる。
上記選択手段としては、例えば入力装置31は領域の設定と、領域毎に計測情報を選択する設定・選択指示を行う設定・選択指示部31aを有し、制御部27は、この設定・選択指示に対して領域の設定と、領域毎に計測情報を選択する制御とを行う設定・計測情報選択部27eを備える。その他の構成は、第1の実施形態と同様である。
図11は、本実施形態の処理内容を示す。なお、図11におけるステップS31-S33,S35-37は、第1の実施形態の場合とほぼ同様の処理となる。
図11に示すように最初のステップS31において制御部27は、図4のステップS1と同様に2つの座標系での位置対応付けの処理を行う。
次のステップS32において撮像装置16は撮像を行い、さらにステップS33において計測処理部18は、先端部13(又は撮像装置16)の位置計測を行う。
次のステップS34において制御部27の設定・計測情報選択部27eは、位置計測により先端部13(又は撮像装置16)が位置する領域に応じて計測方法を選択する。
次のステップS32において撮像装置16は撮像を行い、さらにステップS33において計測処理部18は、先端部13(又は撮像装置16)の位置計測を行う。
次のステップS34において制御部27の設定・計測情報選択部27eは、位置計測により先端部13(又は撮像装置16)が位置する領域に応じて計測方法を選択する。
図12は、先端部13(又は撮像装置16)が位置する領域に応じて計測方法を選択するように設定した場合の設定例を示す。
図12に示すように気管支2の管腔の中心線Cに沿って、例えば分岐部Bj、Bj+1における分岐点Bpj、Bpj+1から一定距離以内となる領域Aj,Aj+1と,それらの間の領域Aj,j+1,…が設定される。なお、分岐点Bpj、又はBpj+1は、1本の中心線Cが分岐部Bj又はBj+1付近において2本など、複数に分岐する点として定義される。
図12に示すように気管支2の管腔の中心線Cに沿って、例えば分岐部Bj、Bj+1における分岐点Bpj、Bpj+1から一定距離以内となる領域Aj,Aj+1と,それらの間の領域Aj,j+1,…が設定される。なお、分岐点Bpj、又はBpj+1は、1本の中心線Cが分岐部Bj又はBj+1付近において2本など、複数に分岐する点として定義される。
そして、先端部13(又は撮像装置16)が、気管支2の管腔内における、例えば領域Aj内に位置する場合には計測情報は位置、領域Aj,j+1内に位置する場合には計測情報は距離、領域Aj+1内に位置する場合には計測情報は気管支径に設定されている。なお、計測情報が位置、又は距離の場合には計測処理部18による位置計測により行われる。
一方、計測情報が気管支径の場合には、図7において説明した立体計測で気管支径を計測する。
また、図12の図示例は、1つの設定例を示し、術者は入力装置31の設定・選択指示部31aから図12の図示例と異なる設定を行うことができる。つまり、術者が望む計測方法で計測情報を取得したり、表示させることができる。
一方、計測情報が気管支径の場合には、図7において説明した立体計測で気管支径を計測する。
また、図12の図示例は、1つの設定例を示し、術者は入力装置31の設定・選択指示部31aから図12の図示例と異なる設定を行うことができる。つまり、術者が望む計測方法で計測情報を取得したり、表示させることができる。
なお、図12においては、計測情報を切り替える領域の1つの設定例を示しているが、図12の設定例を含めて以下のように設定しても良い。
(A)分岐点から中心線上で一定の距離離れた位置までとそれ以外(図12の図示例)
(B)分岐点を中心とした一定の半径の球に含まれる領域とそれ以外の領域
(C)特定の位置(例えば図2BにおいてKで示すカリーナ)からの距離
(D)気管支の次数、または気管支の入り口側から順次数えた分岐数の数
(E)CT断層像画像から算出した気管支径
(F)前回リスタート(又はスタート)した位置からの距離
ここで、A、C、Fに記載した距離とは、2点間の直線距離でもよいし、管腔の中心線上の道のりでもよい。
また、これらの条件は2つ以上を組み合わせても良い。
ステップS34の次のステップS35において計測処理部18等は先端部13(又は撮像装置16)が位置する領域に応じた計測を行う。
(A)分岐点から中心線上で一定の距離離れた位置までとそれ以外(図12の図示例)
(B)分岐点を中心とした一定の半径の球に含まれる領域とそれ以外の領域
(C)特定の位置(例えば図2BにおいてKで示すカリーナ)からの距離
(D)気管支の次数、または気管支の入り口側から順次数えた分岐数の数
(E)CT断層像画像から算出した気管支径
(F)前回リスタート(又はスタート)した位置からの距離
ここで、A、C、Fに記載した距離とは、2点間の直線距離でもよいし、管腔の中心線上の道のりでもよい。
また、これらの条件は2つ以上を組み合わせても良い。
ステップS34の次のステップS35において計測処理部18等は先端部13(又は撮像装置16)が位置する領域に応じた計測を行う。
次のステップS36において制御部27の判定部27dは、ステップS35で計測した場合の位置推定が成功したか否かの判定を行う。
第1の実施形態において説明したように、第2の座標系で計測された位置が(a)気管支径以内に存在するか、(b)過去に行った位置対応付けの位置からある距離以内となるか、(c)位置センサ17以外のセンサ等により患者において一定量の移動量以内、の少なくとも1つの条件を用いる。
ステップS36において(a)、(b)、(c)の条件で位置推定に成功した場合には、ステップS37の処理に移る。一方、位置推定に成功しない場合には、ステップS38-S41の処理を行った後、ステップS32の処理に戻る。
第1の実施形態において説明したように、第2の座標系で計測された位置が(a)気管支径以内に存在するか、(b)過去に行った位置対応付けの位置からある距離以内となるか、(c)位置センサ17以外のセンサ等により患者において一定量の移動量以内、の少なくとも1つの条件を用いる。
ステップS36において(a)、(b)、(c)の条件で位置推定に成功した場合には、ステップS37の処理に移る。一方、位置推定に成功しない場合には、ステップS38-S41の処理を行った後、ステップS32の処理に戻る。
位置推定に成功しない場合には、ステップS38において分岐の算出、ステップS39のVBS画像の算出、ステップS40のリスタート画面の表示、ステップS41の位置対応付け情報の補正の処理を行った後、ステップS32の処理に戻る。なお、ステップS38-S41の処理は図4のステップS7-S10と同様の処理である。
一方、ステップS36において、(a)、(b)、(c)の条件で位置推定に成功する場合には、ステップS37の処理に移る。
このステップS37において制御部27は、第2の座標系で計測された先端部13(又は撮像装置16)の位置、撮像装置16で撮像した撮像画像、先端部13の姿勢(先端部13の軸方向又は撮像方向)の情報を時間の情報と共に記憶部28に記憶するように制御した後、ステップS32の処理に戻る。なお、記憶部38は、取得した計測情報も記憶するようにしても良い。
このような動作を行う本実施形態によれば、第1の実施形態と同様の効果を有すると共に、計測方法を選択して計測を行うことができる効果を有する。以下、第2の実施形態の変形例を順次説明する。
一方、ステップS36において、(a)、(b)、(c)の条件で位置推定に成功する場合には、ステップS37の処理に移る。
このステップS37において制御部27は、第2の座標系で計測された先端部13(又は撮像装置16)の位置、撮像装置16で撮像した撮像画像、先端部13の姿勢(先端部13の軸方向又は撮像方向)の情報を時間の情報と共に記憶部28に記憶するように制御した後、ステップS32の処理に戻る。なお、記憶部38は、取得した計測情報も記憶するようにしても良い。
このような動作を行う本実施形態によれば、第1の実施形態と同様の効果を有すると共に、計測方法を選択して計測を行うことができる効果を有する。以下、第2の実施形態の変形例を順次説明する。
(第1変形例)
第2の実施形態における上記ステップS40のリスタート画面の表示の処理に対して本変形例は以下のようにする。
第2の実施形態における上記ステップS40のリスタート画面の表示の処理に対して本変形例は以下のようにする。
内視鏡画像から気管支径を算出する。
その気管支径と事前にCT画像上から算出していた分岐での気管支径を比較し、同じ(ぐらい)の径を持つ分岐のVBS画像でリスタート画面を生成する。
また、すべての分岐に対して径を比較するのではなく、
(d)位置推定が失敗した位置近傍の分岐
(e)位置推定に最後に成功した位置近傍の分岐
(f)経路上の分岐
(g)上記条件の2つ以上の組み合わせ
でもよい。
(d)位置推定が失敗した位置近傍の分岐
(e)位置推定に最後に成功した位置近傍の分岐
(f)経路上の分岐
(g)上記条件の2つ以上の組み合わせ
でもよい。
(第2変形例)
本変形例は、分岐までの距離を内視鏡画像から算出し、全ての分岐に対して同じ距離離れたVBS画像を生成し、リスタート画面を生成する。
本変形例は、分岐までの距離を内視鏡画像から算出し、全ての分岐に対して同じ距離離れたVBS画像を生成し、リスタート画面を生成する。
また、すべての分岐ではなく、
(d)位置推定が失敗した位置近傍の分岐
(e)位置推定に最後に成功した位置近傍の分岐
(f)経路上の分岐
(g)上記条件の2つ以上の組み合わせ
でもよい。
(第3変形例)
本変形例は、第1変形例での比較する分岐の条件を第2の実施形態のように領域毎に設定する。
(第4変形例)
本変形例は、第2変形例での生成する分岐の条件を第2の実施形態のように領域毎に設定する。
また、上述した第2の実施形態の第1変形例と第2変形例においては、条件を満たした分岐全てを表示するが、以下の第5変形例から第8変形例のように条件により表示する位置情報を限定しても良い。
(d)位置推定が失敗した位置近傍の分岐
(e)位置推定に最後に成功した位置近傍の分岐
(f)経路上の分岐
(g)上記条件の2つ以上の組み合わせ
でもよい。
(第3変形例)
本変形例は、第1変形例での比較する分岐の条件を第2の実施形態のように領域毎に設定する。
(第4変形例)
本変形例は、第2変形例での生成する分岐の条件を第2の実施形態のように領域毎に設定する。
また、上述した第2の実施形態の第1変形例と第2変形例においては、条件を満たした分岐全てを表示するが、以下の第5変形例から第8変形例のように条件により表示する位置情報を限定しても良い。
(第5変形例)
第2の実施形態の第1変形例から第4変形例において、位置推定に失敗した瞬間から一定時間以内の過去の位置のみを表示する。
(第6変形例)
第2の実施形態の第1変形例から第4変形例において、位置推定に失敗した位置から一定の範囲以内の過去の位置のみを表示する。
第2の実施形態の第1変形例から第4変形例において、位置推定に失敗した瞬間から一定時間以内の過去の位置のみを表示する。
(第6変形例)
第2の実施形態の第1変形例から第4変形例において、位置推定に失敗した位置から一定の範囲以内の過去の位置のみを表示する。
(第7変形例)
第2の実施形態の第1変形例から第4変形例において、計測情報が、基準とする値よりも閾値以上変化した位置のみ表示する。
この場合、基準とする値とは、表示すると判定された位置での計測情報の内、現在位置に最も近傍の位置での計測情報の値である。
例えば、計測情報を分岐点までの距離とした場合で説明する。図13において、分岐部Bj付近における位置P0、P1、P2は過去において位置推定が成功した位置である。また、黒丸で示す位置P0は計測情報が閾値以上変化した位置を示し、白丸で示すP1、P2は計測情報が閾値以内の位置を示している。そして、リスタート画面においては、黒丸で示す位置P0が表示されるようにする。
第2の実施形態の第1変形例から第4変形例において、計測情報が、基準とする値よりも閾値以上変化した位置のみ表示する。
この場合、基準とする値とは、表示すると判定された位置での計測情報の内、現在位置に最も近傍の位置での計測情報の値である。
例えば、計測情報を分岐点までの距離とした場合で説明する。図13において、分岐部Bj付近における位置P0、P1、P2は過去において位置推定が成功した位置である。また、黒丸で示す位置P0は計測情報が閾値以上変化した位置を示し、白丸で示すP1、P2は計測情報が閾値以内の位置を示している。そして、リスタート画面においては、黒丸で示す位置P0が表示されるようにする。
また、図13において現在位置をP3で示すと、現在位置P3での計測情報は、現在位置P3から気管支の末梢側にある分岐点Bpj+1までの距離P3Bpj+1となる。基準とする計測情報は、現在位置P3に最近傍の位置P1の計測情報であるから、その計測情報は距離P1Bpj+1となる。
そして、距離P3Bpj+1と距離P2Bpj+1との差分が閾値以上ならば、位置P3をリスタート画面において表示する。同様に処理を続行すると、図14のようになる。図14において白丸で示す(図13で示して位置P1の他に)位置P4,P5,P6,P8は位置推定に成功した位置(但し、計測情報が閾値以内の変化量)を示し、黒丸で示す位置P3,P7,P9は位置推定に成功し、かつ計測情報が閾値以上変化した位置、つまりリスタート画面で表示する位置となる。
そして、距離P3Bpj+1と距離P2Bpj+1との差分が閾値以上ならば、位置P3をリスタート画面において表示する。同様に処理を続行すると、図14のようになる。図14において白丸で示す(図13で示して位置P1の他に)位置P4,P5,P6,P8は位置推定に成功した位置(但し、計測情報が閾値以内の変化量)を示し、黒丸で示す位置P3,P7,P9は位置推定に成功し、かつ計測情報が閾値以上変化した位置、つまりリスタート画面で表示する位置となる。
(第8変形例)
第1変形例から第7変形例において、少なくとも2つを組み合わせるようにしても良い。
(第9変形例)
また、上述した実施形態においては、対応付け画像生成部25bは、気管支2の3次元形状の気管支形状画像と、VBS画像とを組み合わせた対応付け画像を生成し、モニタ26は対応付け画像を表示するように説明した。
これに対して、対応付け画像生成部25bは、本変形例のように撮像装置16の位置情報を気管支2を含む断層像画像(MPR画像)とを合成した対応付け画像を生成し、この対応付け画像をモニタ26上に表示するようにしても良い。
第1変形例から第7変形例において、少なくとも2つを組み合わせるようにしても良い。
(第9変形例)
また、上述した実施形態においては、対応付け画像生成部25bは、気管支2の3次元形状の気管支形状画像と、VBS画像とを組み合わせた対応付け画像を生成し、モニタ26は対応付け画像を表示するように説明した。
これに対して、対応付け画像生成部25bは、本変形例のように撮像装置16の位置情報を気管支2を含む断層像画像(MPR画像)とを合成した対応付け画像を生成し、この対応付け画像をモニタ26上に表示するようにしても良い。
図15は、本変形例におけるモニタ26に表示する対応付け画像を示す。図15の左上は患者の気管支を含む横断面のCT断層像を示し、図15の右上は患者の正面に平行な縦断面のCT断層像を示し、図15の左下は患者の正面に垂直な縦断面のCT断層像を示し、図15の右下は術者に座標を設定する場合のメニュー画面を示す。
図15に示すように本変形例においては、撮像装置16の位置計測した位置(点)を断層像画像上に、例えば同じ色の円その他の形状で表示する。図15では、4つの位置を、断層像画像の表示色と異なる色(例えば青色)で表示する。
また、図15では、位置計測された位置が、切断面上に有る場合と、それ以外の場合とで同じ色、形状で示しているが、図16に示すように、切断面上に有る場合と、切断面上に無い場合とで、異なる形状(例えば前者を円、後者を四角)で表示するようにしても良いし、(色を変えるようにしても良い)。また、切断面上に有る場合のみを表示するようにしても良い。
図15に示すように本変形例においては、撮像装置16の位置計測した位置(点)を断層像画像上に、例えば同じ色の円その他の形状で表示する。図15では、4つの位置を、断層像画像の表示色と異なる色(例えば青色)で表示する。
また、図15では、位置計測された位置が、切断面上に有る場合と、それ以外の場合とで同じ色、形状で示しているが、図16に示すように、切断面上に有る場合と、切断面上に無い場合とで、異なる形状(例えば前者を円、後者を四角)で表示するようにしても良いし、(色を変えるようにしても良い)。また、切断面上に有る場合のみを表示するようにしても良い。
(第10変形例)
第9変形例においては、撮像装置16の位置計測した位置を断層像画像に表示する対応付け画像を生成する場合を説明したが、断層像画像と、仮想内視鏡画像としてのVBS画像とを組み合わせて表示するようにしても良い。
図17は、図15に示した第9変形例の場合において、撮像装置16の位置計測した位置を断層像画像上で表示すると共に、各位置でのVBS画像を表示するようにしている。
また、図17においては、撮像装置16の位置に対応するVBS画像との対応が断層像画像上で分かるように、例えば文字情報を用いて示している。図17においては、撮像装置16の位置を4点としているので、4つの文字を用いて示している。
第9変形例においては、撮像装置16の位置計測した位置を断層像画像に表示する対応付け画像を生成する場合を説明したが、断層像画像と、仮想内視鏡画像としてのVBS画像とを組み合わせて表示するようにしても良い。
図17は、図15に示した第9変形例の場合において、撮像装置16の位置計測した位置を断層像画像上で表示すると共に、各位置でのVBS画像を表示するようにしている。
また、図17においては、撮像装置16の位置に対応するVBS画像との対応が断層像画像上で分かるように、例えば文字情報を用いて示している。図17においては、撮像装置16の位置を4点としているので、4つの文字を用いて示している。
なお、撮像装置16の位置と、対応するVBS画像との対応付けを図2Bで示したような線等で結ぶ等して表示するようにしても良い。
また、図17の例では、撮像装置16の位置、全てに対して対応するVBS画像を表示する場合を示しているが、断層像画像上で術者が選択した位置のみに対してVBS画像を表示するようにしても良い。
また、撮像装置16の全ての位置に対して、対応するVBS画像を表示し、術者により選択されたVBS画像に対応する位置のみを断層像画像上で表示するようにしても良い。
また、上述した(変形例を含む)実施形態を部分的に組み合わせる等して異なる実施形態を構成した場合も本発明に属する。
また、図17の例では、撮像装置16の位置、全てに対して対応するVBS画像を表示する場合を示しているが、断層像画像上で術者が選択した位置のみに対してVBS画像を表示するようにしても良い。
また、撮像装置16の全ての位置に対して、対応するVBS画像を表示し、術者により選択されたVBS画像に対応する位置のみを断層像画像上で表示するようにしても良い。
また、上述した(変形例を含む)実施形態を部分的に組み合わせる等して異なる実施形態を構成した場合も本発明に属する。
本出願は、2012年9月7日に日本国に出願された特願2012-197405号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
Claims (12)
- 予め取得した被検体における3次元画像情報を記憶するよう構成された記憶部と、
前記被検体内を撮像するよう構成された撮像部と、
前記3次元画像情報から前記被検体内の所定の管腔臓器の3次元形状の画像情報を抽出するよう構成された管腔臓器抽出部と、
前記所定の管腔臓器内に挿入される前記撮像部の位置情報に基づいて、前記管腔臓器抽出部により抽出された前記所定の管腔臓器の3次元形状の画像情報における特徴情報を取得するよう構成された特徴情報取得部と、
前記所定の管腔臓器の3次元形状の画像情報に、前記特徴情報を対応付けた画像を生成するよう構成された対応付け画像生成部と、
前記所定の管腔臓器内における前記撮像部の位置情報近傍の前記所定の管腔臓器の特徴情報を表示するよう構成された表示部と、
を備えることを特徴とする医療装置。 - 前記特徴情報取得部は、前記所定の管腔臓器における分岐に関する2次元の画像情報を取得、又は前記所定の管腔臓器内における前記撮像部の位置、前記撮像部の位置近傍の前記所定の管腔臓器の内径、前記撮像部の位置から前記所定の管腔臓器の所定位置までの距離のいずれかの計測情報を取得することを特徴とする請求項1に記載の医療装置。
- 前記対応付け画像生成部は、前記特徴情報を対応付けた画像として、前記所定の管腔臓器内における前記撮像部の位置情報近傍の前記所定の管腔臓器の分岐画像を生成することを特徴とする請求項1に記載の医療装置。
- 更に、前記所定の管腔臓器内に挿入される前記撮像部が位置する位置情報を生成するよう構成された位置情報生成部を有することを特徴とする請求項1に記載の医療装置。
- 前記記憶部は、前記被検体における前記3次元画像情報と共に、該3次元画像情報に対応付けして、前記被検体の3次元の位置情報を第1の座標系で記憶し、
前記管腔臓器抽出部は、前記3次元画像情報から抽出した前記所定の管腔臓器の3次元形状の画像情報に対応付けして該所定の管腔臓器における3次元の位置情報を抽出し、
前記第1の座標系を用いた前記管腔臓器の位置情報と、前記位置情報生成部による第2の座標系を用いた前記撮像部の位置情報とが所定条件の位置推定が整合するか否かの判定を行うよう構成された判定部を備えることを特徴とする請求項1に記載の医療装置。 - 更に、前記第1の座標系を用いた前記管腔臓器の位置情報と、前記第2の座標系を用いた前記撮像部の位置情報との両座標系での位置対応付けした対応付け情報を記憶するよう構成された対応付け情報記憶部を備えることを特徴とする請求項5に記載の医療装置。
- 前記位置情報生成部は、前記撮像部の近傍に設けた位置センサを用いて構成されることを特徴とする請求項4に記載の医療装置。
- 前記判定部が前記管腔臓器の位置情報と、前記撮像部の位置情報とが前記所定条件以内で整合しない第1の判定をした場合には、更に、前記表示部が、当該第1の判定に該当する前記撮像手段の位置に近い所定距離以内で、前記管腔臓器の位置情報と前記撮像部の位置情報とを対応付け易い所定位置を含むように前記特徴情報としての第1の特徴情報を表示するように制御するよう構成された制御部を有することを特徴とする請求項5に記載の医療装置。
- 更に、前記所定の管腔臓器内に挿入される前記撮像部の位置情報と、該撮像部により撮像した撮像画像とを、時系列に記憶するよう構成された情報記憶部を有することを特徴とする請求項5に記載の医療装置。
- 更に、前記所定位置において、前記管腔臓器の位置情報と前記撮像部の位置情報との対応付け指示を行うよう構成された指示入力部を有し、
前記対応付け指示に基づいて、前記制御部は、前記所定位置において、前記管腔臓器の位置情報と前記撮像部の位置情報との対応付け情報を生成するように制御することを特徴とする請求項8に記載の医療装置。 - 前記判定部が前記管腔臓器の位置情報と、前記撮像部の位置情報とが前記所定条件以内で整合しない第1の判定をした場合には、更に、前記表示部が、当該第1の判定に該当する前記撮像手段の位置に近い所定距離以内で、前記管腔臓器の位置情報と前記撮像部の位置情報とを対応付け易い所定位置を含むように前記特徴情報としての第1の特徴情報を表示するように制御するよう構成された制御部を有することを特徴とする請求項6に記載の医療装置。
- 更に、前記所定位置において、前記管腔臓器の位置情報と前記撮像部の位置情報との対応付け指示を行うよう構成された指示入力部を有し、
前記対応付け指示に基づいて、前記制御部は、前記所定位置において、前記管腔臓器の位置情報と前記撮像部の位置情報との対応付け情報を生成するように制御すると共に、該対応付け情報により前記対応付け情報記憶部に記憶された前記位置対応付け情報を補正するように制御することを特徴とする請求項11に記載の医療装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP13835529.2A EP2837326A4 (en) | 2012-09-07 | 2013-08-01 | MEDICAL APPARATUS |
JP2014512977A JP5613353B2 (ja) | 2012-09-07 | 2013-08-01 | 医療装置 |
CN201380028672.7A CN104321007B (zh) | 2012-09-07 | 2013-08-01 | 医疗装置 |
US14/245,075 US9345394B2 (en) | 2012-09-07 | 2014-04-04 | Medical apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012197405 | 2012-09-07 | ||
JP2012-197405 | 2012-09-07 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/245,075 Continuation US9345394B2 (en) | 2012-09-07 | 2014-04-04 | Medical apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014038322A1 true WO2014038322A1 (ja) | 2014-03-13 |
Family
ID=50236940
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/070878 WO2014038322A1 (ja) | 2012-09-07 | 2013-08-01 | 医療装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9345394B2 (ja) |
EP (1) | EP2837326A4 (ja) |
JP (1) | JP5613353B2 (ja) |
WO (1) | WO2014038322A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017068650A1 (ja) * | 2015-10-20 | 2018-08-09 | オリンパス株式会社 | 挿入体支援システム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102332023B1 (ko) * | 2013-10-24 | 2021-12-01 | 아우리스 헬스, 인크. | 로봇-보조식 내강 내부 수술용 시스템 및 이와 관련된 방법 |
JP6284439B2 (ja) * | 2014-06-16 | 2018-02-28 | オリンパス株式会社 | 医療情報処理システム |
JP6828465B2 (ja) * | 2017-01-30 | 2021-02-10 | セイコーエプソン株式会社 | 内視鏡操作支援システム |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004089483A (ja) * | 2002-08-30 | 2004-03-25 | Olympus Corp | 内視鏡装置 |
JP2005131046A (ja) * | 2003-10-29 | 2005-05-26 | Olympus Corp | 挿入支援システム |
JP2005131042A (ja) | 2003-10-29 | 2005-05-26 | Olympus Corp | 挿入支援システム |
JP2007007041A (ja) | 2005-06-29 | 2007-01-18 | Hitachi Medical Corp | 手術支援装置 |
JP2009056239A (ja) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | 内視鏡装置 |
JP2009279251A (ja) | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008093517A1 (ja) * | 2007-01-31 | 2008-08-07 | National University Corporation Hamamatsu University School Of Medicine | 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム |
JP5372407B2 (ja) * | 2008-05-23 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
CN102428496B (zh) * | 2009-05-18 | 2015-08-26 | 皇家飞利浦电子股份有限公司 | 用于em跟踪内窥镜***的无标记物跟踪的配准和校准 |
-
2013
- 2013-08-01 WO PCT/JP2013/070878 patent/WO2014038322A1/ja active Application Filing
- 2013-08-01 EP EP13835529.2A patent/EP2837326A4/en not_active Withdrawn
- 2013-08-01 JP JP2014512977A patent/JP5613353B2/ja active Active
-
2014
- 2014-04-04 US US14/245,075 patent/US9345394B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004089483A (ja) * | 2002-08-30 | 2004-03-25 | Olympus Corp | 内視鏡装置 |
JP2005131046A (ja) * | 2003-10-29 | 2005-05-26 | Olympus Corp | 挿入支援システム |
JP2005131042A (ja) | 2003-10-29 | 2005-05-26 | Olympus Corp | 挿入支援システム |
JP2007007041A (ja) | 2005-06-29 | 2007-01-18 | Hitachi Medical Corp | 手術支援装置 |
JP2009056239A (ja) * | 2007-09-03 | 2009-03-19 | Olympus Medical Systems Corp | 内視鏡装置 |
JP2009279251A (ja) | 2008-05-23 | 2009-12-03 | Olympus Medical Systems Corp | 医療機器 |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP2012165838A (ja) * | 2011-02-10 | 2012-09-06 | Nagoya Univ | 内視鏡挿入支援装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2837326A4 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2017068650A1 (ja) * | 2015-10-20 | 2018-08-09 | オリンパス株式会社 | 挿入体支援システム |
Also Published As
Publication number | Publication date |
---|---|
CN104321007A (zh) | 2015-01-28 |
EP2837326A4 (en) | 2016-02-24 |
EP2837326A1 (en) | 2015-02-18 |
US9345394B2 (en) | 2016-05-24 |
JP5613353B2 (ja) | 2014-10-22 |
US20140253685A1 (en) | 2014-09-11 |
JPWO2014038322A1 (ja) | 2016-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5718537B2 (ja) | 内視鏡システム | |
EP2888991B1 (en) | Endoscope system | |
JP5160699B2 (ja) | 医療機器 | |
US9516993B2 (en) | Endoscope system | |
JP5380348B2 (ja) | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム | |
WO2011102012A1 (ja) | 医療機器 | |
US20130281821A1 (en) | Intraoperative camera calibration for endoscopic surgery | |
WO2013111535A1 (ja) | 内視鏡画像診断支援装置および方法並びにプログラム | |
JP2019511931A (ja) | 輪郭シグネチャを用いた手術画像獲得デバイスの位置合わせ | |
JPWO2014136576A1 (ja) | 内視鏡システム | |
EP3127470A1 (en) | Image-processing device | |
JP5613353B2 (ja) | 医療装置 | |
JP4728456B1 (ja) | 医療機器 | |
EP3782529A1 (en) | Systems and methods for selectively varying resolutions | |
WO2024107628A1 (en) | Systems and methods for robotic endoscope system utilizing tomosynthesis and augmented fluoroscopy | |
WO2016039292A1 (ja) | 内視鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2014512977 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13835529 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2013835529 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |