WO2018180250A1 - 計測支援装置、内視鏡システム、及びプロセッサ - Google Patents
計測支援装置、内視鏡システム、及びプロセッサ Download PDFInfo
- Publication number
- WO2018180250A1 WO2018180250A1 PCT/JP2018/008356 JP2018008356W WO2018180250A1 WO 2018180250 A1 WO2018180250 A1 WO 2018180250A1 JP 2018008356 W JP2018008356 W JP 2018008356W WO 2018180250 A1 WO2018180250 A1 WO 2018180250A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- measurement
- spot
- image
- imaging
- subject
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/005—Flexible endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00195—Optical arrangements with eyepieces
- A61B1/00197—Optical arrangements with eyepieces characterised by multiple eyepieces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
- A61B1/015—Control of fluid supply or evacuation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0062—Arrangements for scanning
- A61B5/0064—Body surface scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
- A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6844—Monitoring or controlling distance between sensor and tissue
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Definitions
- the present invention relates to a measurement support apparatus, an endoscope system, and a processor (processor of an endoscope system), and more particularly, a measurement support apparatus that measures the size of a subject using measurement auxiliary light, an endoscope system, and Regarding the processor.
- Patent Document 2 describes a technique for obtaining the distance to the observation unit (observation target) and the size of the observation unit using measurement light.
- the measurement light is obliquely irradiated with respect to the illumination light irradiation direction, thereby improving the distance from the distal end of the endoscope insertion portion to the observation portion and the resolution of the position of the observation portion.
- Patent Document 2 describes that an image of a ruler is superimposed on an acquired image and used for measurement.
- the measurement index is the most accurate as a size index at the position where the spot of the measurement light hits, and the measurement index becomes inaccurate as the distance from the spot position increases. Moving and rotating to an arbitrary position and angle tends to be inaccurate as an index. Further, when the spot of the measurement light is far from the measurement target, it is difficult to know how to operate the endoscope in order to position the spot near the measurement target, and it is difficult to perform quick measurement.
- the present invention has been made in view of such circumstances, and an object thereof is to provide a measurement support apparatus, an endoscope system, and a processor (processor of an endoscope system) that can perform measurement quickly and easily. And
- a measurement support apparatus includes a head that emits measurement auxiliary light, and an imaging optical system and an imaging element that capture an image of a subject in which spots are formed by the measurement auxiliary light.
- An image capturing unit that captures an image via an image, a measurement unit that measures the position of a spot in the image, and an index graphic that indicates an actual size of a specific area in the subject, and an index of a size that is set according to the position of the spot in the image
- a display control unit that displays a figure, information indicating a trajectory of the spot moving the image when the imaging distance of the image is changed, and a position near the spot position in the image of the subject.
- measurement auxiliary light that has an inclination angle other than 0 degrees with respect to the optical axis of the imaging optical system and crosses the angle of view of the imaging optical system is emitted.
- the spot is measured by changing the imaging distance by the head and imaging unit advancing / retreating or the like (for example, a tumor or the like). It is easy to move to the vicinity of a specific area), and measurement can be performed quickly and easily.
- an index figure (marker) having a size set according to the spot position is displayed, distance measurement is unnecessary, the configuration is simple, and the processing load is low.
- information indicating the index graphic and the locus is displayed in the vicinity of the spot (for example, the index graphic is displayed around the spot position and the trajectory passing through the spot position is displayed), so that the spot position and the position of the index graphic are
- the index is small and accurate as an index, and the index graphic is not displayed over a wide range (such as the entire image), so the processing load is small.
- information indicating the image of the subject, the index graphic, and the movement trajectory of the spot can be displayed on a display device such as various monitors or displays.
- the optical axis of the measurement auxiliary light has an inclination angle other than 0 degrees with respect to the optical axis of the imaging optical system when projected onto a plane including the optical axis of the imaging optical system, and the imaging optical Since the angle of view of the system is crossed, the measurement auxiliary light can be placed in the field of view of the imaging optical system even when the observation distance is short by appropriately setting the tilt angle. Furthermore, since the optical axis of the measurement auxiliary light has a tilt angle other than 0 degrees with respect to the optical axis of the imaging optical system when projected onto a plane including the optical axis of the imaging optical system, the position change of the spot with respect to the change of the observation distance High sensitivity and high measurement accuracy.
- the trajectory of the spot moving through the image is uniquely determined according to the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light. What is necessary is just to obtain
- the indicator graphic may be displayed in real time (for each frame from which a spot image is acquired or once for a plurality of frames) or offline. If an image in which a spot is formed is acquired, information indicating the index graphic and the movement locus of the spot can be displayed afterwards.
- the display control unit includes an area in which the measurement of the specific area by the index graphic displayed near the spot position in the trajectory is effective and an area ineffective.
- the information indicating the trajectory is displayed in a different manner. Since the measurement support apparatus according to the present invention performs measurement using the imaging optical system, depending on the characteristics of the imaging optical system, distortion may increase at the periphery of the angle of view, and accurate measurement may be difficult. When the distance is too close and the index figure becomes large and protrudes from the image display range, or the imaging distance is too long and the index figure becomes small and measurement may be difficult.
- the information indicating the trajectory is displayed in a different mode between the area where the measurement of the specific area by the index graphic is effective and the area where it is not effective, and thereby, the area near the spot position is displayed.
- the effectiveness of measurement can be easily determined.
- the measurement support apparatus is the second aspect, in which the display control unit performs measurement of the specific area with the index graphic when the spot position is inside the measurable area set with respect to the image. Judged to be valid.
- the third aspect shows one aspect of the determination criteria for the measurement effectiveness, and the “measurable area” can be set, for example, at a part of the spot movement locus (such as the central part of the angle of view).
- the display control unit specifies the index graphic when the imaging distance of the image calculated based on the spot position is within the measurable range. It is determined that the area measurement is effective.
- the fourth aspect shows another aspect of the criteria for determining the measurement effectiveness. For example, the relationship between the imaging distance and the spot position is obtained in advance by acquiring an image in which spots are formed while changing the imaging distance. The distance can be calculated by measuring and referring to this relationship according to the measured spot position.
- the measurement support device is configured so that the display control unit displays a trajectory when the measurement of the specific area by the index graphic is effective and when it is not effective. At least one of a character, a figure, a symbol, and a color used for displaying information to be shown is changed. According to the fifth aspect, it is possible to easily determine whether or not the measurement is effective based on a change in the information display form.
- the measurement support device is configured so that the display control unit determines that the spot area is not effective when the measurement of the specific area by the index graphic is not effective at the measured spot position.
- Information for guiding the position to a range where the measurement of the specific area by the index graphic is effective is output.
- the information for guiding the spot position to the range where the measurement of the specific area by the index graphic is effective By outputting, effective measurement can be performed quickly and easily.
- the information may be output by characters, figures, symbols, colors, and changes thereof, or by voice.
- the display support unit includes a case where the measurement of the size of the specific area by the index graphic is effective and a case where the measurement is not effective.
- the indicator graphic is displayed in a different manner.
- distortion may increase at the periphery of the angle of view, and accurate measurement may be difficult in such a region.
- the imaging figure becomes too large due to the imaging distance being too large and protrudes from the image display range, or the indexing figure becomes too small and the measurement becomes difficult.
- the index graphic is displayed in a different mode between the area where the measurement of the specific area using the index graphic is effective and the area where the measurement is not effective, thereby enabling measurement in the vicinity of the spot position. Effectiveness can be easily determined.
- the measurement support apparatus includes an image recording unit that records an image of the subject on which the spot is formed, and the display control unit records in the image recording unit The read subject image is read out, and an index figure is superimposed on the read subject image and displayed.
- the image of the subject on which the spot is formed is recorded in the image recording unit, and the index graphic is superimposed and displayed on the image of the subject read from the image recording unit. Measurement and offline measurement are possible. Thereby, the usage time of the measurement auxiliary device for the subject can be shortened, and the burden on the subject can be reduced.
- the eighth aspect by storing the image of the subject in association with the position of the spot, it is possible to display the index graphic superimposed on the image read from the image recording unit.
- the indicator graphic can be displayed by referring to the relationship between the spot position and the points constituting the indicator graphic.
- the image recording unit records the subject image and the index graphic in association with each other
- the display control unit records the subject image and the index graphic recorded in the image recording unit.
- the read index graphic is displayed superimposed on the read subject image.
- the image of the subject and the points constituting the indicator graphic can be stored in association with each other as “association between the subject image and the indicator graphic”, thereby quickly and easily displaying the indicator graphic. be able to.
- an endoscope system includes a measurement support apparatus according to any one of the first to ninth aspects, and an insertion portion that is inserted into a subject.
- An insertion portion having a distal end hard portion, a bending portion connected to the proximal end side of the distal end hard portion, a flexible portion connected to the proximal end side of the bending portion, and a proximal end side of the insertion portion
- An endoscope having an operation unit, and a head and an imaging lens that forms an optical image of a spot on an imaging device are provided in the front end rigid portion.
- the measurement support apparatus according to any one of the first to ninth aspects is provided, so that the measurement can be performed quickly and easily.
- the endoscope system includes an information storage unit that stores information indicating a trajectory. Since the spot movement trajectory is determined by the configuration and characteristics of the imaging unit and the head, the information indicating the spot movement trajectory is stored in the information storage unit of the endoscope as in the eleventh aspect, so that the entire endoscope system is stored. Can be used for various endoscopes.
- the endoscope system according to the twelfth aspect is the tenth or eleventh aspect, further comprising a display condition setting unit for setting display conditions for the trajectory and the index graphic. According to the twelfth aspect, the user can perform measurement according to desired display conditions.
- a processor is a processor of an endoscope system according to any one of the tenth to twelfth aspects, and includes a measurement unit, a display control unit, Is provided. According to the thirteenth aspect, the measurement can be performed quickly and easily as in the first aspect.
- the processor according to the fourteenth aspect further includes an information acquisition unit that acquires endoscope information, and the display control unit is configured to measure a specific area using an index graphic displayed based on the acquired information. Determine whether it is valid.
- the processor can cope with various endoscopes by determining the effectiveness of measurement based on the information of the endoscope connected to the processor.
- the measurement support device As described above, according to the measurement support device, the endoscope system, and the processor (processor of the endoscope system) of the present invention, it is possible to perform measurement quickly and easily.
- FIG. 1 is a diagram showing an overall configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing a configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 3 is a diagram showing the configuration of the end surface on the front end side of the hard end portion.
- FIG. 4 is a diagram showing the configuration of the laser module.
- FIG. 5 is a cross-sectional view showing the configuration of the laser light source module.
- FIG. 6 is a diagram illustrating the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light.
- FIG. 7 is a diagram illustrating a state where the insertion portion of the endoscope is inserted into the subject.
- FIG. 1 is a diagram showing an overall configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing a configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 8 is a flowchart showing processing of the measurement support method.
- FIG. 9 is a diagram illustrating a state in which the optical axis of the measurement auxiliary light crosses the imaging field angle of the imaging optical system.
- FIG. 10 is a diagram illustrating how the spot position changes depending on the shooting distance.
- FIG. 11 is a diagram illustrating the relationship between the wavelength and the sensitivity of the color filter.
- FIG. 12 is a diagram illustrating a procedure of a procedure using a spot movement trajectory.
- FIG. 13 is a diagram illustrating a state in which the coordinates of a point indicating a circular marker are stored with respect to a plurality of points in a spot movement locus.
- FIG. 9 is a diagram illustrating a state in which the optical axis of the measurement auxiliary light crosses the imaging field angle of the imaging optical system.
- FIG. 10 is a diagram illustrating how the spot position changes depending on the shooting distance.
- FIG. 11 is a diagram illustrating the relationship between the wavelength and the
- FIG. 14 is a diagram illustrating the relationship between the spot position and the coordinates of a point indicating a circular marker.
- FIG. 15 is a diagram illustrating a state in which the spot position and the coordinates of the point indicating the circular marker are stored in association with each other.
- FIG. 16 is a diagram illustrating an example of a display condition setting screen.
- FIG. 17 is another diagram illustrating an example of a display condition setting screen.
- FIG. 18 is still another diagram illustrating an example of the display condition setting screen.
- FIG. 19 is a diagram illustrating an example of a screen on which marker and spot movement trajectories are shown.
- FIG. 20 is a diagram illustrating a manner in which the display mode of the trajectory is changed between the measurement effective region and the other regions.
- FIG. 21 is a diagram for explaining the measurement effective region.
- FIG. 22 is a diagram illustrating an example in which the end points of the measurement effective area are displayed in the spot movement locus.
- FIG. 23 is a diagram illustrating a manner in which the display mode of the marker is changed outside the measurement effective region.
- FIG. 24 is a diagram illustrating a state in which information for guiding the spot position to the measurement effective region is displayed.
- FIG. 25 is a diagram illustrating an image in which spots are formed.
- FIG. 26 is a diagram illustrating a state in which an image in which spots are formed is stored.
- FIG. 27 is a diagram illustrating a state in which the marker read from the image recording unit is displayed superimposed on the subject image.
- FIG. 28 is a diagram illustrating a state in which an image of a subject and the coordinates of a point indicating a marker are stored in association with each other.
- FIG. 1 is an external view showing an endoscope system 10 (measurement support apparatus, endoscope system, processor) according to the first embodiment
- FIG. 2 is a block diagram showing a main configuration of the endoscope system 10.
- the endoscope system 10 includes an endoscope main body 100 (endoscope), a processor 200 (processor), a light source device 300, and a monitor 400 (display device).
- the endoscope main body 100 includes a hand operation unit 102 (operation unit) and an insertion unit 104 (insertion unit) connected to the hand operation unit 102.
- the operator grasps and operates the hand operation unit 102, and inserts the insertion unit 104 into the body of the subject for observation.
- the hand operation unit 102 is provided with a memory 139 (information storage unit), which stores information indicating a trajectory where the spot of the measurement auxiliary light moves through the image when the imaging distance is changed.
- a non-volatile recording medium non-temporary recording medium
- ROM Read Only Memory
- EEPROM Electrically Erasable and Programmable Read Only Memory
- the hand operation unit 102 is provided with an air / water supply button BT1, a suction button BT2, and a function button BT3 to which various functions (such as switching between a normal mode and a measurement mode) are assigned.
- the insertion unit 104 includes a soft part 112 (soft part), a bending part 114 (curving part), and a hard tip part 116 (hard tip part) in this order from the hand operation part 102 side. By operating the hand operation unit 102, the bending portion 114 can be bent and the direction of the distal end hard portion 116 can be changed vertically and horizontally.
- the distal end hard part 116 is provided with an imaging optical system 130 (imaging part), an illumination part 123, a forceps port 126, a laser module 500, and the like (see FIGS. 1 to 3).
- 2 illustrates the case where the memory 139 is provided in the hand operation unit 102, the memory 139 may be provided in the light guide connector 108, or the processor 200 and the endoscope main body 100 are connected to each other. You may provide in the electrical connector 109 (refer FIG. 1).
- the information indicating the movement trajectory of the spots described above can be acquired by, for example, photographing a grid chart while changing the imaging distance and measuring the spot position corresponding to the imaging distance.
- the shape of the locus is uniquely determined according to the relationship between the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system 130 (see FIGS. 9 and 10). Distorts according to distortion.
- This information can be stored in the memory 139 (information storage unit).
- either or both visible light and infrared light can be emitted from the illumination lenses 123A and 123B of the illumination unit 123 by operating the operation unit 208 (see FIG. 2). Further, by operating the air / water supply button BT1, washing water is discharged from a water supply nozzle (not shown), and the imaging lens 132 (imaging lens) of the imaging optical system 130 and the illumination lenses 123A and 123B can be cleaned.
- An unillustrated conduit is connected to the forceps port 126 opened at the distal end hard portion 116, and a treatment tool (not shown) for tumor removal or the like is inserted into the conduit, and is appropriately advanced and retracted to the subject. Necessary measures can be taken.
- an imaging lens 132 is disposed on the distal end side end surface 116A of the distal rigid portion 116.
- a CMOS (Complementary Metal-Oxide Semiconductor) type imaging device 134 imaging device, color imaging device
- a drive circuit 136 drive circuit 136
- AFE Analog Front End
- the image sensor 134 is a color image sensor, and is composed of a plurality of light receiving elements arranged in a matrix (two-dimensional array) in a specific pattern array (Bayer array, X-Trans (registered trademark) array, honeycomb array, etc.). A plurality of pixels.
- Each pixel of the image sensor 134 includes a micro lens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (such as a photodiode).
- the imaging optical system 130 can generate a color image from pixel signals of three colors of red, green, and blue, and can generate an image from pixel signals of any one or two colors of red, green, and blue. You can also.
- the image sensor 134 is a CMOS type image sensor.
- the image sensor 134 may be a CCD (Charge Coupled Device) type.
- An image of the subject (tumor part, lesion part) and an optical image of a spot (described later) are formed on the light receiving surface (imaging surface) of the imaging element 134 by the imaging lens 132 and converted into an electrical signal, and a signal cable (not shown) To the processor 200 and converted into a video signal.
- an observation image, a circular marker, a spot movement locus, and the like are displayed on the monitor 400 connected to the processor 200.
- a touch panel for performing a display condition setting operation (see FIGS. 16 to 19), which will be described later, via the screen may be provided on the monitor 400.
- illumination lenses 123A (for visible light) and 123B (for infrared light) of the illumination unit 123 are provided adjacent to the imaging lens 132.
- the light guide 170 is inserted into the insertion unit 104, the hand operation unit 102, and the universal cable 106.
- the incident end is disposed in the light guide connector 108.
- the front end surface 116A is further provided with a laser head 506 (head) of the laser module 500, and is irradiated with spot light (measurement auxiliary light) via a prism 512 (see FIG. 4).
- a laser head 506 (head) of the laser module 500, and is irradiated with spot light (measurement auxiliary light) via a prism 512 (see FIG. 4).
- spot light measurement auxiliary light
- prism 512 see FIG. 4
- the configuration of the laser module 500 will be described later.
- the laser head 506 is provided separately from the forceps port 126 as shown in FIG. 3, but a pipe line (not shown) communicating with the forceps port 126 opened at the distal end hard portion 116 is provided. You may insert the laser head 506 so that insertion or extraction is possible. Further, a laser head 506 may be provided between the imaging lens 132 and the forceps port 126.
- the laser module 500 includes a laser light source module 502, an optical fiber 504, and a laser head 506 (head).
- the base end side (laser light source module 502 side) of the optical fiber 504 is covered with a fiber sheath 501, and the tip end side (side emitting laser light) is inserted into a ferrule 508 (ferrule) and adhered with an adhesive. Is polished.
- a GRIN lens 510 (GRIN: Graded Index) is attached to the distal end side of the ferrule 508, and a prism 512 is attached to the distal end side of the GRIN lens 510 to form a joined body.
- the ferrule 508 is a member for holding and connecting the optical fiber 504, and a hole for inserting the optical fiber 504 is opened in the axial direction (left-right direction in FIG. 4) at the center.
- a reinforcing material 507 is provided outside the ferrule 508 and the fiber sheath 501 to protect the optical fiber 504 and the like.
- the ferrule 508, the GRIN lens 510, and the prism 512 are housed in a housing 509, and constitute a laser head 506 together with the reinforcing member 507 and the fiber outer shell 501.
- a ferrule 508 having a diameter of 0.8 mm to 1.25 mm can be used.
- a small diameter is preferable for downsizing.
- the overall diameter of the laser head 506 can be 1.0 mm to 1.5 mm.
- the laser module 500 configured as described above is attached to the insertion portion 104.
- the laser light source module 502 is provided in the hand operation unit 102
- the laser head 506 is provided in the distal end hard portion 116
- the optical fiber 504 transmits laser light from the laser light source module 502 to the laser head.
- the light is guided to 506.
- the laser light source module 502 may be provided in the light source device 300 and the laser light may be guided to the distal end hard portion 116 by the optical fiber 504.
- a laser light source module 502 shown in FIG. 5 includes a VLD (Visible Laser Diode) that is supplied with electric power from a power source (not shown) and emits laser light, and a condenser lens 503 that condenses the laser light emitted from the VLD. It is a pigtail type module (TOSA; TransmittermOptical Sub Assembly) provided.
- the laser beam can be emitted as needed under the control of the processor 200 (CPU 210), and is used in the same way as a normal endoscope when not emitting by emitting the laser beam only when performing measurement (measurement mode). Can (normal mode).
- the laser beam emitted from the VLD can be a red laser beam having a wavelength of 650 nm by a semiconductor laser.
- the wavelength of the laser beam in the present invention is not limited to this mode.
- the laser beam condensed by the condenser lens 503 is guided to the GRIN lens 510 by the optical fiber 504.
- the optical fiber 504 is an optical fiber for propagating laser light in a single transverse mode, and can form a clear spot with a small diameter, so that the size of the subject (measurement target) can be accurately measured.
- a relay connector may be provided in the middle of the optical fiber 504.
- an optical fiber that propagates laser light in multiple modes may be used as the optical fiber 504.
- an LED Light-Emitting Diode
- the semiconductor laser may be used in an LED emission state that is equal to or lower than the oscillation threshold.
- the GRIN lens 510 is a cylindrical graded index lens (radial type) whose refractive index is the highest on the optical axis and decreases toward the outer side in the radial direction, and the incident laser light guided by the optical fiber 504 is made parallel. It functions as a collimator that emits a light beam.
- the spread of the light beam emitted from the GRIN lens 510 can be adjusted by adjusting the length of the GRIN lens 510, and ( ⁇ / 4) pitch ( ⁇ is the wavelength of the laser light) to emit laser light of a parallel light beam. It should be about.
- a prism 512 is mounted on the front end side of the GRIN lens 510.
- This prism 512 is an optical member for changing the emission direction of the measurement auxiliary light, and by changing the emission direction, when the optical axis of the measurement auxiliary light is projected onto a plane including the optical axis of the imaging optical system,
- the optical axis of the measurement auxiliary light has a tilt angle that is not 0 degree with respect to the optical axis of the imaging optical system, and the measurement auxiliary light crosses the angle of view of the imaging optical system.
- the prism 512 is formed in a size close to the lens diameter of the GRIN lens 510, and the tip surface is cut obliquely to have the apex angle AL1 corresponding to the inclination angle described above.
- the value of the apex angle AL1 can be set according to the laser beam emission direction and other conditions.
- FIG. 6 is a diagram illustrating a state in which the distal end hard portion 116 according to the first embodiment is viewed from the front (subject side), and corresponds to the configuration of FIG. 3.
- the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system exist on the same plane and intersect on the same plane. Therefore, when the hard tip portion 116 is viewed from the front (subject side), the optical axis L1 appears to pass on the optical axis L2 as shown in FIG.
- optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system in the present invention is as described above.
- the optical axis of the measurement auxiliary light and the optical axis of the imaging optical system exist on the same plane. It is not limited to the mode of “intersecting on the same plane”, and the optical axis of the measurement auxiliary light may not be on the same plane as the optical axis of the imaging optical system. However, even in such a case, when the optical axis of the measurement auxiliary light is projected onto a plane including the optical axis of the imaging optical system, the optical axis of the measurement auxiliary light is not inclined at 0 degrees with respect to the optical axis of the imaging optical system. And crosses the angle of view of the imaging optical system.
- the optical axis of the measurement auxiliary light When performing measurement using measurement auxiliary light, if the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system (the tilt angle is 0 degree), the optical axis of the measurement auxiliary light depends on the distance between the optical axes. However, the distance to the point that crosses the angle of view of the imaging optical system increases, and as a result, a spot cannot be photographed at a close distance, making measurement difficult. Further, if the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system, the sensitivity of the spot position change with respect to the change in observation distance is low, and sufficient measurement accuracy may not be obtained.
- the optical axis of the measurement auxiliary light is projected onto a plane including the optical axis of the imaging optical system, the optical axis of the measurement auxiliary light is 0 with respect to the optical axis of the imaging optical system.
- a configuration of “having a tilt angle that is not a degree and crossing the angle of view of the imaging optical system” is adopted. With such a configuration, measurement can be performed over a wide range of observation distances from a close distance to a long distance, and since the sensitivity of the spot position change with respect to the distance change is high, the measurement can be performed with high accuracy.
- the light source device 300 includes a light source 310 for illumination, a diaphragm 330, a condenser lens 340, a light source control unit 350, and the like, and emits illumination light (visible light or infrared light).
- the light is incident on the guide 170.
- the light source 310 includes a visible light source 310A and an infrared light source 310B, and can emit one or both of visible light and infrared light.
- the illuminance of the illumination light from the visible light source 310A and the infrared light source 310B is controlled by the light source control unit 350, and when the spot is imaged and measured (in the measurement mode), the illuminance of the illumination light is reduced as necessary. You can stop.
- illumination light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lenses 123A, The observation range is irradiated from 123B.
- the configuration of the processor 200 (measurement unit, display control unit) will be described with reference to FIG.
- the processor 200 inputs an image signal output from the endoscope main body 100 via the image input controller 202, and is necessary for the image processing unit 204 (measurement unit, display control unit, display condition setting unit, information acquisition unit). Image processing is performed and output via the video output unit 206. Thereby, an observation image is displayed on the monitor 400 (display device).
- a CPU 210 CPU: Central Processing Unit
- the CPU 210 functions as a measurement unit, a display control unit, a display condition setting unit, and an information acquisition unit.
- the image processing unit 204 in addition to image processing such as white balance adjustment, switching of an image to be displayed on the monitor 400, superimposed display, electronic zoom processing, display of an image according to an operation mode, a specific component (for example, luminance) from the image signal Signal).
- the image processing unit 204 measures the spot position on the imaging surface of the imaging element 134, calculates the marker size (number of pixels) based on the measured position, and the like (described later).
- the image recording unit 207 (image recording unit) records an image of a subject on which spots are formed.
- the sound processing unit 209 outputs, from the speaker 209A, a warning message (sound) when setting the display conditions and sound information for guiding the spot position to the measurement effective region under the control of the CPU 210 and the image processing unit 204.
- a specific hardware configuration of the image processing unit 204 includes a processor (electric circuit) such as a CPU (Central Processing Unit), an FPGA (Field Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit).
- the image processing unit 204 may be configured by a single processor or may be configured by combining a plurality of processors.
- the memory 212 includes a storage element for temporary storage during various processes and a non-volatile storage element (non-temporary recording medium). In the measurement process, the coordinates of the spot are controlled by the CPU 210 and / or the image processing unit 204. The coordinates of a point indicating a circular marker indicating the actual size of the measurement target in the subject are stored in association with each other (described later).
- the memory 212 also stores computer-readable codes for programs that cause the CPU 210 and / or the image processing unit 204 to execute a measurement support method described later.
- the processor 200 includes an operation unit 208.
- the operation unit 208 includes an operation mode setting switch (not shown) and the like, and can operate irradiation with visible light and / or infrared light.
- the operation unit 208 includes devices such as a keyboard and a mouse (not shown), and the user can input various processing conditions, display conditions, and the like via these devices. Details of the display condition setting by the operation unit 208 will be described later (see FIGS. 16 to 19).
- the operation mode may be set by assigning an operation mode setting function (such as switching between the measurement mode and the normal mode) to the function button BT3 (see FIG. 1) of the hand operation unit 102 as described above.
- FIG. 7 is a diagram illustrating a state where the insertion unit 104 of the endoscope main body 100 is inserted into the subject, and illustrates a state in which an observation image is acquired for the imaging range IA via the imaging optical system 130.
- FIG. 7 shows a state in which the spot SP0 is formed in the vicinity of the tumor tm (a portion protruding in black).
- FIG. 8 is a flowchart showing processing of the measurement support method.
- the insertion unit 104 of the endoscope main body 100 is inserted into the subject, and the endoscope system 10 is set to the normal observation mode (step S10).
- the normal observation mode is a mode in which the subject is irradiated with illumination light emitted from the light source device 300 to acquire an image, and the subject is observed.
- the setting to the normal observation mode may be automatically performed by the processor 200 when the endoscope system 10 is activated, or may be performed according to the operation of the operation unit 208 by the user.
- the illumination light is irradiated and the subject is imaged and displayed on the monitor 400 (step S12).
- a subject image a still image or a moving image may be captured.
- the type of illumination light visible light or infrared light
- the user moves the insertion portion 104 forward and backward and / or bends while viewing the image displayed on the monitor 400 to point the hard tip portion 116 toward the observation target, and images the subject to be measured.
- step S14 it is determined whether or not to shift from the normal observation mode to the measurement mode. This determination may be made based on the presence / absence of a user operation via the operation unit 208 or based on the presence / absence of a switching command from the processor 200. Further, the processor 200 may alternately set the normal observation mode and the measurement mode at a fixed frame interval (every frame, every two frames, etc.). If the determination in step S14 is negative, the process returns to step S12 to continue imaging in the normal observation mode, and if the determination is affirmative, the process proceeds to step S16 to switch to the measurement mode.
- a laser beam (measurement auxiliary light) is irradiated from the laser head 506 to form a spot on the subject, and the size (length) of the subject is measured based on the image of the subject on which the spot is formed.
- a marker is generated and displayed.
- information indicating the locus of the spot moving the image when the imaging distance is changed is also displayed.
- red laser light is used as measurement auxiliary light.
- the digestive tract is reddish, so that it may be difficult to recognize a spot depending on measurement conditions.
- the illumination light is turned off during spot image acquisition and position measurement, or the illuminance is lowered to such an extent that spot recognition is not affected (step S18), and measurement auxiliary light is emitted from the laser head 506. (Step S20).
- Such control can be performed by the processor 200 and the light source control unit 350.
- step S22 an image of the subject on which the spot is formed is taken by the measurement auxiliary light.
- a spot is formed within the shooting field angle of the imaging optical system 130.
- the position of the spot (on the image sensor) in the image varies depending on the observation distance, and the size (number of pixels) of the marker to be displayed varies depending on the position of the spot.
- the optical axis L1 of the measurement auxiliary light when the optical axis L1 of the measurement auxiliary light is projected onto a plane including the optical axis L2 of the imaging optical system, the optical axis L1 has an inclination angle that is not 0 degree with respect to the optical axis L2, and imaging is performed. Crosses the angle of view of the optical system 130. Therefore, the position of the spot in the image (imaging device) varies depending on the distance to the subject. For example, as shown in FIG. 9 (a diagram illustrating a state in which the distal end hard portion 116 is viewed from the side surface direction in a plane including the optical axis L1 and the optical axis L2), observation is possible in an observation distance range R1. .
- the spot position (each arrow and the optical axis) in the imaging range (indicated by arrows Q1, Q2, Q3) at each point It can be seen that the points at which L1 intersects are different.
- the inside of the solid line is the imaging field angle of the imaging optical system 130
- the inside of the alternate long and short dash line is the measurement field angle. Measurement is performed at a central portion with a small aberration in the imaging field angle of the imaging optical system 130.
- the range R1 and the measurement angle of view in FIG. 9 correspond to “a range in which the size measurement of the measurement target by the circular marker is effective in the captured image” (measurement effective region).
- FIG. 10 is a diagram showing a state in which the distal end hard portion 116 is viewed from the front as in FIG. 6, and shows the optical axis L1 of the imaging optical system 130, the optical axis L2 of measurement auxiliary light, and the imaging range R2 of the imaging element 134. It is the figure which showed the relationship virtually.
- FIG. 10 shows a case where the optical axes L1 and L2 exist on the same plane and intersect on the plane.
- FIG. 10 shows spot positions P4, P5, and P6 corresponding to the observation distance (corresponding to cases where the observation distances are near the near end, near the center, and near the farthest end, respectively).
- the spot position P4 when the observation distance is near the closest end and the spot position P6 when the observation distance is near the farthest end are located on the opposite side of the optical axis L1 of the imaging optical system 130. I understand. Therefore, in the first embodiment, the sensitivity of the movement of the spot position with respect to the change in the observation distance is high, and the size of the subject can be measured with high accuracy.
- the spot position in the captured image differs depending on the relationship between the optical axis L2 of the imaging optical system 130 and the optical axis L1 of the measurement auxiliary light and the observation distance, but the observation distance is close.
- the number of pixels showing the same actual size for example, 5 mm in diameter
- the number of pixels decreases as the observation distance increases. Therefore, as will be described in detail later, the memory is associated with the position (coordinates) of the spot and the coordinates of a point indicating a circular marker indicating the actual size of the measurement target (for example, a specific region such as a tumor or a lesion) in the subject.
- the coordinates of the point indicating the circular marker can be acquired by storing in 139 and referring to the stored information according to the measured spot position (coordinates).
- the information stored in the memory 139 may be expanded in the memory 212 during the measurement process, and the information expanded in the memory 212 may be referred to.
- the configuration is simple and the processing load is low.
- step S24 the measurement of the position of the spot on the imaging surface of the imaging device 134 (step S24) will be described.
- the spot position measurement in step S24 is performed using an image generated from the pixel signal of the pixel in which the red (R) filter color filter is provided.
- the relationship between the wavelength and the sensitivity in each color (red, green, blue) color filter arranged in each pixel of the image sensor 134 is as shown in FIG. 11, and the laser head 506 is as described above.
- the laser beam emitted from the laser beam is a red laser beam having a wavelength of 650 nm.
- the measurement of the spot position is an image generated from an image signal of a pixel (R pixel) in which a red color filter having the highest sensitivity to the wavelength of the laser light among the (red, green, blue) color filters is arranged.
- the threshold value is set to the signal intensity of the R pixel of the pixel signal bitmap data or RAW (Raw image format) data and binarized to calculate the center of gravity of the white portion (pixel whose signal intensity is higher than the threshold value). By doing so, the position of the spot can be recognized at high speed.
- a threshold value is added to the pixel signal of a pixel (G pixel, B pixel) provided with green and blue color filters. It is preferable to extract only pixels whose pixel signal values of the G pixel and B pixel having bitmap data are not more than a threshold value.
- the illumination light is turned off during the spot image acquisition (step S22) and the position measurement (step S24), or the illuminance is lowered to such an extent that the spot recognition is not affected (step S18).
- Measurement auxiliary light is emitted from the laser head 506 (step S20).
- step S26 the processor 200 (the CPU 210, the image processing unit 204) acquires the coordinates of a point indicating a circular marker indicating the actual size of the measurement target in the subject.
- the processor 200 acquires the coordinates of a point indicating a circular marker indicating the actual size of the measurement target in the subject.
- the coordinates of the point indicating the circular marker indicating the size are associated with each other and stored in the memory 139 (or the information in the memory 139 is acquired and stored in the memory 212).
- the processor 200 refers to the memory 139 (or the memory 212) according to the spot position measured in step S24, and acquires the coordinates of the point indicating the circular marker. The procedure for obtaining the relationship between the spot position and the coordinates of the point indicating the circular marker will be described later in detail.
- the processor 200 also acquires information indicating the movement locus of the spot from the memory 139 (or the memory 212).
- step S28 based on the set display conditions, the observation image, the circular marker, and the movement trajectory of the spot are displayed on the monitor 400 (see examples of FIGS. 19, 20, 22, 23, etc.).
- the circular marker is displayed at a position away from the spot, it becomes inaccurate as an index. Therefore, the circular marker is displayed in the vicinity of the spot in the observation image (for example, around the spot).
- Circular markers with different actual sizes for example, 3 mm, 5 mm, etc.
- other markers for example, cross-shaped markers
- the movement trajectory of the spot is displayed by the processor 200 (CPU 210, image processing unit 204) acquiring information stored in the memory 139.
- the information stored in the memory 139 may be expanded in the memory 212, and the processor 200 may refer to the memory 212 (the same applies to the circular marker).
- the processor 200 acquires and displays information stored in the endoscope main body 100, so that the processor 200 can support various endoscope main bodies.
- the display conditions (type, number of markers, actual size, color, etc.) can be set by a user operation via the operation unit 208 (display condition setting unit) as will be described later (FIGS. 16 to 18). See).
- procedure using a spot movement locus A procedure using a spot movement locus will be described.
- the surgeon operates the hand operation unit 102 to change the direction of the distal end hard portion 116 up, down, left, and right, and finds a lesion by screening (circular observation; procedure 1).
- the state of procedure 1 is shown in part (a) of FIG.
- the spot SP2 and the circular marker M2 are present at positions away from the tumor tm2, and the circular marker M2 is not effective as a measurement index.
- the operator further operates the hand operation unit 102 to change the direction of the distal end hard portion 116 up, down, left, and right, and places the tumor tm2 on the spot movement locus T2 as shown in FIG. ). Since the movement trajectory T2 indicates the movement trajectory of the spot when the imaging distance is changed, the spot SP2 can be placed on the tumor tm2 by pushing and pulling the insertion unit 104 from the state of procedure 2. In the first embodiment, the lower left of FIG. 12 is the closest side of the imaging distance, and the upper right is the farthest side. Therefore, the spot SP2 moves by moving the insertion portion 104 from the state of the part (b) of FIG. The spot SP2 can be placed on the tumor tm2 as shown in part (c) of FIG.
- the operator compares the actual size (for example, 5 mm) of the circular marker M2 with the tumor tm2 and measures the size of the tumor tm2 (procedure 4). Further, if necessary, the hand operation unit 102 (or operation unit 208) is subjected to a release operation (an operation for instructing recording of an image) to record an image on which the spot SP2 is formed in the image recording unit 207 (image recording unit). (Procedure 5). As will be described in detail later, if an image, a spot position, and the like are recorded in the image recording unit 207, processing such as circular marker display can be performed afterwards (see FIGS. 25 to 28).
- the circular marker having a size set according to the position of the spot in the image and the movement trajectory of the spot are displayed in the vicinity of the spot, so that the operator operates the endoscope by operating the endoscope. It is possible to easily grasp how the circular marker moves, and to perform measurement quickly and easily.
- step S30 it is determined in step S30 whether or not to end the measurement mode. This determination may be made based on a user operation via the operation unit 208 (for example, an operation of the button B04 in the screen display of FIG. 19), or may be made based on the presence / absence of a switching command from the processor 200. Similarly to the transition to the measurement mode, the measurement mode may be automatically terminated and the normal observation mode may be restored after a certain number of frames have elapsed. If the determination in step S30 is negative, the process returns to step S20, and the processing from step S20 to step S28 is repeated.
- step S30 determines whether the determination in step S30 is affirmative. If the determination in step S30 is affirmative, the process proceeds to step S32, the measurement auxiliary light is turned off, and then the illuminance of the illumination light is returned to the normal illuminance in step S34 to return to the normal observation mode (return to step S10). It should be noted that the measurement auxiliary light need not be turned off if there is no problem in observation in the normal observation mode.
- the circular marker having the size set according to the position of the spot in the image and the movement trajectory of the spot are displayed in the vicinity of the spot. And it can measure easily.
- the position of the spot on the imaging surface of the image sensor 134 and the coordinates of the point indicating the circular marker are associated with each other and stored in the memory 212 (storage unit), and according to the measured spot position, the memory 212 is stored. Get coordinates by referring to.
- the storage of coordinates will be described.
- the coordinates of a point indicating a circular marker are stored for a plurality of points on a trajectory where a spot moves a captured image when the observation distance (imaging distance) is changed.
- the movement locus of the spot in the captured image when the imaging distance is changed is determined by the relationship between the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system 130. In the case of the relationship shown in FIG. If the imaging optical system 130 has distortion, the imaging optical system 130 is distorted according to the distortion.
- FIG. 13 is a diagram showing how coordinates are stored, and shows how coordinates of points indicating a circular marker are stored for K points (points P1 to PK; K is an integer of 2 or more) in a spot movement locus T1.
- Points P1 to PK are effective measurement areas where the size measurement using a circular marker is effective (the solid line portion of the movement trajectory T1; corresponding to the inside of the dashed line in FIG. 9), and the point P1 is the closest end of the effective measurement area
- the spot position in a certain case is shown, and the spot position in the case where the point PK is the farthest end of the effective measurement area is shown. Note that the movement trajectory T1 in FIG. 13 is virtually shown.
- the distortion becomes large.
- the spot is present on the closest end side (part of the region T1N indicated by the dotted line) of the movement locus T1
- a part of the circular marker is outside the image, or on the farthest end side (part of the region T1F indicated by the dotted line).
- the coordinates are stored in correspondence with the range of the spot position (the portion of the region T1E indicated by the solid line) in which the measurement of the size of the measurement target using the circular marker is effective.
- FIG. 14 is a diagram showing the relationship between the spot position and the coordinates of the point indicating the circular marker, and L points (points Pi1, Pi2,..., Pij,..., PiL around the point Pi (spot position). ; L is an integer), indicating a circular marker. The value of L can be determined based on the requirement of the shape accuracy of the marker. The larger the number, the more accurate the marker can be displayed. A line or a curve may be connected between the L points.
- FIG. 15 shows a state where the spot position and the coordinates of the point indicating the circular marker are stored in association with each other.
- the processor 200 When displaying a circular marker, the processor 200 (CPU 210, image processing unit 204) acquires the coordinates of a point indicating the circular marker by referring to the memory 212 (storage unit) based on the measured coordinates of the spot.
- acquisition includes using stored coordinates and using coordinates generated based on the stored coordinates.
- the coordinates of the L points indicating the circular marker are stored as shown in FIG.
- the coordinates of the points Pi1 to PiL are stored for the point Pi on the movement locus T1.
- the spot position and the coordinates of the point indicating the circular marker are associated with each other and stored in the memory 212.
- coordinates may be stored corresponding to each of a plurality of actual size sizes (for example, 2 mm, 3 mm, 5 mm, 7 mm, 10 mm, etc.), and the actual size size of the circular marker to be displayed may be switched according to the measurement purpose. .
- the number of spot positions for storing coordinates (K in the examples of FIGS. 13 to 15) and the number of points indicating the circular marker (L in the examples of FIGS. 13 to 15) are increased, a more accurate circular marker is displayed. can do.
- the coordinates of the points indicating the circular marker may be stored for some points on the movement trajectory T1 (for example, K points P1 to PK in the example of FIG. 13).
- the marker is used in a mode (first mode) using coordinates stored for a point whose distance from the measured spot position is within a threshold value.
- first mode a mode
- second aspect an aspect of interpolating coordinates corresponding to two or more points that sandwich the measured spot
- third mode the like.
- the coordinates may be stored for all points (pixels) on the movement locus T1, and the stored coordinates may be acquired as they are. In the case of such an aspect, calculation of the distance between points, interpolation calculation, etc. can be omitted.
- the coordinates of the points indicating the circular markers can be generated by the following method, for example. Specifically, a square lattice chart is imaged while changing the imaging distance. At this time, the hand operation unit is operated to position the spot at the intersection of the lattice, and the coordinates of the four points on the top, bottom, left and right of the spot are measured. The coordinates of other points are generated by interpolating the coordinates of the actually measured points. In the chart to be imaged, it is preferable that the interval of the lattice is equal to or smaller than the actual size and the interval is as fine as possible.
- the chart to be imaged has a grid interval of (1 / integer) of a desired actual size (circular)
- the grid interval is 0.5 mm, 1 mm, 1.25 mm, 2.5 mm, etc.
- the coordinates of points indicating markers having other shapes such as a cross shape may be generated based on the actually measured spot position and the four points on the top, bottom, left, and right.
- FIG. 16 is a diagram showing an example of an entire screen for setting screen display conditions.
- a condition name areas C01 to C11
- contents of setting conditions numbererical values, etc .; areas V01 to V11
- buttons A01 to A11 for setting conditions are shown.
- a button B01 provided at the bottom of the screen is for confirming the display condition
- a button B02 is for canceling the condition change
- a button B03 is a button for clearing the condition change (returning to the initial value).
- display conditions can be set by a user operation via a touch panel of the monitor 400 and / or a keyboard and a mouse (not shown) of the operation unit 208.
- Such display condition setting may be performed at any time during execution of the flowchart of FIG.
- the layout and display items of the display condition setting screen described below show an example of display condition setting, and other modes can be adopted as necessary.
- Areas C01 and V01 indicate whether or not to display a spot movement locus, and the movement locus display can be turned ON or OFF by a selection operation via the button A01.
- Regions C02 and V02 show the mode (display mode) of the measurement effective region in the spot movement trajectory, and a solid line, a dotted line, or the like can be selected by an operation via the button A02.
- Regions C03 and V03 indicate the color of the effective measurement region in the spot movement locus, and colors such as white and blue can be selected by an operation via the button A03.
- Regions C04 and V04 show the mode (display mode) of the measurement ineffective region in the spot movement locus, and a dotted line, a chain line, or the like can be selected by a selection operation via the button A04.
- Regions C05 and V05 indicate colors of measurement ineffective regions in the spot movement locus, and colors such as red and black can be selected by a selection operation via the button A05.
- Regions C06 and V06 indicate whether or not information for guiding the spot position to the measurement effective region (for example, a triangular figure shown in FIG. 24) is to be output. The information is displayed by an operation via the button A06. It is possible to select whether to output (with or without output).
- Regions C07 and V07 indicate whether or not the end points of the measurement effective region are displayed, and it is possible to select whether or not to display the end points (with or without display) by an operation via the button A07.
- Regions C08 and V08 indicate whether or not to display a marker, and display ON or OFF can be selected by an operation via the button A08.
- Regions C09 and V09 indicate the shape of the marker to be displayed, and a mode such as a circle or a cross can be selected by an operation via the button A09.
- Regions C10 and V10 indicate the color of the marker to be displayed, and a color such as white or blue can be selected by an operation via the button A10.
- Regions C11 and V11 indicate the actual size of the marker to be displayed, and a size such as 2 mm, 3 mm, and 5 mm can be selected by a selection operation via the button A11 (see FIG. 18).
- FIG. 17 is a diagram showing an example of a screen for setting the mode (display mode) of the measurement effective area in the spot movement trajectory.
- the operation of the touch panel provided in the monitor 400 on the screen of FIG. When the button A02 is designated by the operation or the like (the same applies to other items), the region V02 is displayed in a pull-down manner and the state transitions to the state shown in FIG. In FIG. 17, items other than the mode of the measurement effective area are not shown.
- FIG. 17 is a diagram showing an example of a screen for setting the mode (display mode) of the measurement effective area in the spot movement trajectory.
- the button A02 is designated by the operation or the like (the same applies to other items)
- the region V02 is displayed in a pull-down manner and the state transitions to the state shown in FIG.
- items other than the mode of the measurement effective area are not shown.
- FIG. 17 is a diagram showing an example of a screen for setting the mode (display mode) of the measurement effective area in the spot movement trajectory.
- conditions in this case, a solid line, a dotted line, and an alternate long and short dash line
- the display mode can be determined by selecting the mode (for example, a solid line) by moving and specifying the button B01 (OK button).
- FIG. 18 is a diagram showing an example of a screen for setting the actual size (size) of the marker.
- the button A11 is designated on the screen of FIG. 16, the region V11 is displayed in a pull-down state and transitions to the state of FIG. Items other than are omitted).
- the actual size of the marker can be selected from “2 mm, 3 mm, 5 mm, 7 mm, and 10 mm”, and the user moves the selection range up and down with the buttons A11a, A11b, and the slide bar A11c. (5 mm in FIG. 18) may be selected and the button B01 may be designated.
- the actual size of the marker is 5 mm means that “a marker (the number of pixels) corresponding to 5 mm is displayed on the screen of the monitor 400”, and the size of the marker on the screen of the monitor 400 is It need not be 5 mm.
- a warning message may be output via the monitor 400 and / or the speaker 209A.
- ⁇ Setting of display conditions by other operation means In the above-described example, the case where the marker display condition is set using the touch panel of the monitor 400 and / or the keyboard and mouse (not shown) of the operation unit 208 has been described. However, the display condition may be set via other operation means. .
- a display condition may be set by assigning a function to the function button BT3 of the hand operation unit 102. Display conditions may be set by a foot pedal, voice input, line-of-sight input, gesture input, or the like.
- these operation means are effective.
- FIG. 16 An example of the screen display under the conditions shown in FIG. 16 is shown in FIG.
- the screen displayed on the monitor 400 includes an image display area D01 and an information display area D02 as shown in FIG.
- a spot SP1 is formed on the tumor tm1
- a circular marker M1 (actual size is 5 mm in diameter) centered on the spot SP1 is displayed in white.
- the spot movement locus T1 is displayed, and the region T1E in which the measurement by the circular marker M1 is effective and the other regions (the region T1N on the closest end side and the region T1F on the farthest end side) are displayed in a different manner.
- Markers M1N and M1F are displayed at the end points of the region T1E.
- the fact that the endoscope system 10 is in the “measurement mode” is displayed in the area D02A, and the current display condition is displayed in the area D02B.
- the button B04 is designated, the mode is changed to the normal observation mode, and when the button B05 is designated, a display condition setting screen as shown in FIG. 16 is displayed.
- the display conditions can be easily confirmed and changed by the information display area D02 described above, and thus, measurement can be performed quickly and easily.
- the information display area D02 may be a separate screen, or the image display area D01 may be widened by hiding or reducing in the observation mode.
- the marker (index graphic) and the movement trajectory of the spot may be displayed in the following manner.
- FIG. 20 is a diagram illustrating an example in which the display mode of the spot movement trajectory is changed between an area where measurement by the marker is effective and an area where measurement is not effective.
- a region T1E in which the measurement of the tumor tm3 by the circular marker M3 centered on the spot SP3 in the movement trajectory T1 is indicated by a solid line, and the region T1N on the near end side where the measurement by the circular marker M3 is not effective and
- An example in which the farthest region T1F is displayed with a dotted line is shown. That is, in FIG. 20, the measurement is effective when the spot exists in the region T1E, and the measurement is not effective when the spot exists in the regions T1N and T1F.
- a region where measurement is effective is a region where there is little influence of distortion aberration of the imaging optical system 130 near the center of the captured image, and the marker does not protrude from the image or become too small (FIG. 9). In this region, accurate measurement can be performed.
- the identification display is not limited to changing the solid line and the dotted line, and other line types may be used, and the line thickness, color, figure to be used and / or symbols may be changed.
- the movement trajectory may be displayed in a different manner depending on the imaging distance. For example, the line type, line thickness, color, figure, symbol, and other conditions may be changed between a region where the imaging distance is short and a region where the imaging distance is far.
- the above-mentioned “region where measurement by marker is effective” may be set in a part of the image or may be set for the range of the imaging distance. For example, taking a grid chart with spots formed while changing the imaging distance, measuring the size of the grid at each distance, the distortion of the grid, etc., and setting the effective measurement area based on this measurement result can do.
- Part (a) of FIG. 21 conceptually shows the measurable range (D1 to D2) set for the imaging distance by such a procedure and the corresponding spot position (X coordinate is X1 to X2).
- FIG. 21B conceptually shows the measurable range (D1 to D2) set for the imaging distance and the corresponding spot position (Y coordinate is Y1 to Y2). In the example of FIG.
- FIG. 22 is a diagram showing an example of identifying and displaying the end points of the area where the measurement by the marker is effective. Markers M4N and M4F are displayed at the end points of the area T1E where the measurement of the tumor tm4 by the circular marker M4 is effective. Whether or not the measurement by the circular marker M4 is effective can be easily determined by the identification display of the end point, and thus the measurement can be performed quickly and easily.
- the identification display shown in FIG. 20 (the area T1E in which the measurement by the circular marker M3 is effective is displayed with a solid line and the areas T1N and T1F ineffective in the spot movement locus T1 are displayed with dotted lines) is also combined. However, only the end point identification display may be performed.
- FIG. 23 is a diagram illustrating an example in which the marker display mode is changed between an area where measurement by the marker is effective and an area other than that. Specifically, when the spot SP5N exists in the region T1N on the closest end side of the movement trajectory T1 as shown in part (a) of FIG. 23, and when the spot SP5F appears as shown in part (c) of FIG. When it exists in the farthest region T1F of the movement locus T1, the measurement of the tumor tm5 by the circular marker M3 is not effective, and the circular markers M5N and M5F are displayed by dotted lines.
- FIG. 23 is a diagram illustrating an example in which the marker display mode is changed between an area where measurement by the marker is effective and an area other than that.
- the circular marker is displayed as a dotted line on the nearest end side and the farthest side, but the line type may be changed between the nearest end side and the farthest side, or the color may be changed.
- the circular marker M5 is displayed by a solid line.
- Such a marker display mode makes it possible to easily determine whether or not the measurement by the marker is effective, thereby enabling quick and easy measurement.
- ⁇ Guidance to effective measurement area> When the circular marker is not in the above-described measurement effective region, information for guiding to the measurement effective region may be output.
- a graphic G1 indicating the operation direction of the insertion unit 104 can be displayed.
- the figure G1 has a triangular shape, and the surgeon (user) operates the insertion part 104 in the direction of the apex of the triangle (pulls toward the hand side) by the figure G1 so that the circular marker is in the measurement effective region (direction of the tumor tm7). ) Can be easily grasped.
- the information for guiding to the measurement effective area is not limited to the graphic G1, and other symbols such as arrows can be used, and colors and sizes that can be easily identified can be set. You may perform the animation display which changes a figure etc. dynamically. Further, characters or symbols may be used instead of or in addition to the figure. Further, instead of or in addition to such visual display, the voice processing unit 209 and the speaker 209A (see FIG. 2) can be used to generate voice (for example, “push in the scope”, “pull the scope”). Etc.) etc.). By outputting such information, guidance to the effective measurement area is facilitated, and measurement can be performed quickly and easily.
- processing such as marker display and measurement based on this are performed in real time (a marker and a trajectory are displayed every time an image on which a spot is formed or every plurality of frames is acquired).
- offline processing post-processing
- an image in which the spot SP6 is formed on the tumor tm6 as shown in FIG. As shown in FIG. 26, the image (image file) and the spot position (coordinates) are recorded in association with each other.
- the spot position and the coordinates of the point indicating the circular marker are associated with each other and stored in the memory 139 (or the memory 212) (see FIG.
- FIG. 27 shows an example of display by post-processing, and a circular marker M6 centered on the spot SP6 is superimposed on the image of the tumor tm6.
- an image and a circular marker may be recorded in association with each other.
- an image image file
- a spot position coordinates
- coordinates of a point indicating a circular marker which can be obtained by referring to the memory 139 or the memory 212
- the recorded image and the coordinates of the point indicating the circular marker can be read and the circular marker can be superimposed on the image (see FIG. 27).
- post-processing such as circular marker display and measurement can be performed by associating and recording captured images, spot positions, coordinates of points indicating circular markers, and the like, and an endoscope is inserted into the subject.
- the time can be shortened and the burden on the subject can be reduced.
- the images used for measurement are not only those recorded in the image recording unit 207 but also CD (Compact Disk), DVD (Digital Versatile Disk), etc. via the image input interface 205 (see FIG. 2). You may acquire from a non-temporary recording medium.
- the measurement support apparatus, the endoscope system, and the processor of the present invention can be applied to the case of measuring a non-living subject such as a pipe in addition to measuring the living subject.
- the measurement support apparatus of the present invention is not limited to an endoscope, and can also be applied to measuring dimensions and shapes of industrial parts and the like.
- Endoscope system 100 Endoscope main body 102 Hand operation part 104 Insertion part 106 Universal cable 108 Light guide connector 109 Electric connector 112 Soft part 114 Bending part 116 Hard end part 116A End side end face 123 Illumination part 123A Illumination lens 123B Illumination Lens 126 Forceps port 130 Imaging optical system 132 Imaging lens 134 Imaging element 136 Drive circuit 138 AFE 139 Memory 170 Light guide 200 Processor 202 Image input controller 204 Image processing unit 205 Image input interface 206 Video output unit 207 Image recording unit 208 Operation unit 209 Audio processing unit 209A Speaker 210 CPU 212 Memory 300 Light source device 310 Light source 310A Visible light source 310B Infrared light source 330 Aperture 340 Condensing lens 350 Light source control unit 400 Monitor 500 Laser module 501 Fiber envelope 502 Laser light source module 503 Condensing lens 504 Optical fiber 506 Laser head 507 Reinforcement material 508 Ferrule 509 Housing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本発明の一の態様に係る計測支援装置では、撮像距離を変化させた場合のスポットの移動軌跡を示す情報を表示するので、ヘッド及び撮像部の進退操作等により撮像距離を変化させてスポットを計測対象の近傍に移動させるのが容易であり、迅速かつ容易に計測することができる。また、スポットの位置に応じて設定した大きさの指標図形(円形マーカ)を表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。さらに、スポットの近傍に指標図形及び軌跡を示す情報を表示するのでスポット位置と指標図形の位置とのずれが少なく指標として正確であり、また指標図形を広範囲に表示しないので処理負荷が少ない。
Description
本発明は計測支援装置、内視鏡システム、及びプロセッサ(内視鏡システムのプロセッサ)に係り、特に計測補助光を用いて被検体の大きさを計測する計測支援装置、内視鏡システム、及びプロセッサに関する。
内視鏡等の計測装置の分野では、被検体までの距離の計測、被検体の長さ及び/または大きさの算出が行われている。例えば特許文献1では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像とともに目印を表示することが記載されており、この目印により被写体の大きさを知ることができる。
また、特許文献2には測定光を用いて観察部(観察対象)までの距離及び観察部の大きさを求める技術が記載されている。特許文献2では、照明光の照射方向に対して測定光を斜めに照射することで、内視鏡挿入部の先端から観察部までの距離及び観察部の位置の分解能の向上を計っている。また特許文献2では、取得した画像に物差しの画像を重畳表示して計測に用いることが記載されている。
上述の特許文献1ではステレオカメラにより距離を計測するため2台のカメラが必要であり、内視鏡先端部が大きくなるため被検体への負担が高くなる。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、システム構成及び処理が複雑になる。
内視鏡による観察の場合は被写体に凹凸があることが多く、この場合撮像光学系が被写体に正対しない。このため、計測用の指標は計測光のスポットが当たっている位置において大きさの指標として最も確からしく、スポットの位置から離れるほど指標として不正確になるため、特許文献2のように物差し画像を任意の位置及び角度に移動、回転させると指標として不正確になり易い。また、計測光のスポットが計測対象から離れている場合、スポットを計測対象近くに位置させるために内視鏡をどのように操作すれば良いかが分かりづらく、迅速な計測が困難であった。
このように、従来の技術では、迅速かつ容易に計測を行うことが困難であった。
本発明はこのような事情に鑑みてなされたもので、迅速かつ容易に計測を行うことができる計測支援装置、内視鏡システム、及びプロセッサ(内視鏡システムのプロセッサ)を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る計測支援装置は、計測補助光を出射するヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、画像におけるスポットの位置を計測する計測部と、被写体における特定領域の実寸サイズを示す指標図形であって、画像におけるスポットの位置に応じて設定した大きさの指標図形と、画像の撮像距離を変化させた場合にスポットが画像を移動する軌跡を示す情報と、を被写体の画像においてスポットの位置の近傍に表示させる表示制御部と、を備え、ヘッドは、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る計測補助光を出射する。
第1の態様では撮像距離を変化させた場合のスポットの移動軌跡を示す情報を表示するので、ヘッド及び撮像部の進退操作等により撮像距離を変化させてスポットを計測対象(例えば、腫瘍等の特定領域)の近傍に移動させるのが容易であり、迅速かつ容易に計測することができる。また、スポットの位置に応じて設定した大きさの指標図形(マーカ)を表示するので、距離計測が不要であり、構成が簡易で処理負荷が低い。さらに、スポットの近傍に指標図形及び軌跡を示す情報を表示する(例えば、スポットの位置を中心として指標図形を表示し、スポット位置を通る軌跡を表示する)ので、スポット位置と指標図形の位置とのずれが少なく指標として正確であり、また指標図形を広範囲(画像全体等)に表示しないので処理負荷が少ない。なお、第1の態様及び後述する各態様において、被写体の画像、指標図形、及びスポットの移動軌跡を示す情報は、各種モニタ、ディスプレイ等の表示装置に表示することができる。
また、第1の態様によれば、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有し、撮像光学系の画角を横切るので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助光を撮像光学系の視野に入れることができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。
なお第1の態様において、撮像距離を変化させた場合にスポットが画像を移動する軌跡は撮像光学系の光軸と計測補助光の光軸との関係に応じて一意に決まるので、この軌跡上の点に対して指標図形の座標を求めれば良い。軌跡におけるスポットの位置は撮像距離に対応しているので、スポット位置が異なる場合は実寸サイズが同一でも画像における指標図形の表示サイズが異なる。
このように、第1の態様に係る計測支援装置によれば、迅速かつ容易に計測を行うことができる。なお、第1の態様において指標図形の表示はリアルタイム(スポット画像を取得するフレームごとに、あるいは複数フレームに対して1回)で行ってもよいし、オフラインで行ってもよい。スポットが形成された画像を取得しておけば、指標図形及びスポットの移動軌跡を示す情報を事後的に表示することができる。
第2の態様に係る計測支援装置は第1の態様において、表示制御部は、軌跡のうちスポットの位置の近傍に表示した指標図形による特定領域の計測が有効である領域と有効でない領域とで、軌跡を示す情報を異なる態様で表示させる。本発明に係る計測支援装置では撮像光学系を用いて計測を行うので、撮像光学系の特性によっては画角の周辺部で歪曲収差が大きくなり正確な計測が困難になる場合があり、また撮像距離が近すぎて指標図形が大きくなり画像表示範囲からはみ出してしまう場合、あるいは撮像距離が遠すぎて指標図形が小さくなり計測が困難になる場合がある。このような事情に鑑み、第2の態様では指標図形による特定領域の計測が有効である領域と有効でない領域とで軌跡を示す情報を異なる態様で表示させており、これによりスポット位置近傍での計測の有効性を容易に判断することができる。
第3の態様に係る計測支援装置は第2の態様において、表示制御部は、スポットの位置が画像に対して設定された計測可能領域の内側である場合に、指標図形による特定領域の計測が有効であると判断する。第3の態様は計測有効性の判断基準の一態様を示すもので、「計測可能領域」は例えばスポットの移動軌跡の一部(画角の中央部分等)に設定することができる。
第4の態様に係る計測支援装置は第2または第3の態様において、表示制御部は、スポットの位置に基づいて算出した画像の撮像距離が計測可能範囲内である場合に、指標図形による特定領域の計測が有効であると判断する。第4の態様は計測有効性の判断基準の他の態様を示すもので、例えば、撮像距離を変化させながらスポットが形成された画像を取得することにより撮像距離とスポット位置との関係を事前に測定しておき、計測したスポット位置に応じてこの関係を参照することで距離を算出することができる。
第5の態様に係る計測支援装置は第2から第4の態様のいずれか1つにおいて、表示制御部は、指標図形による特定領域の計測が有効である場合と有効でない場合とで、軌跡を示す情報の表示に用いる文字、図形、記号、及び色彩のうち少なくとも1つを変化させる。第5の態様によれば、情報の表示態様の変化により、計測が有効であるか否かを容易に判断することができる。
第6の態様に係る計測支援装置は第2から第5の態様のいずれか1つにおいて、表示制御部は、計測したスポットの位置において指標図形による特定領域の計測が有効でない場合に、スポットの位置を指標図形による特定領域の計測が有効である範囲に誘導するための情報を出力する。第6の態様によれば、計測したスポットの位置において指標図形による特定領域の計測が有効でない場合に、スポットの位置を指標図形による特定領域の計測が有効である範囲に誘導するための情報を出力することにより、有効な計測を迅速かつ容易に行うことができる。なお第6の態様において、情報の出力は文字、図形、記号、色彩、及びこれらの変化により行ってもよいし、音声により行ってもよい。
第7の態様に係る計測支援装置は第2から第6の態様のいずれか1つにおいて、表示制御部は、指標図形による特定領域の大きさの計測が有効である場合と有効でない場合とで、指標図形を異なる態様で表示する。撮像光学系の特性によっては、例えば画角の周辺部で歪曲収差が大きくなり、そのような領域では正確な計測が困難になる場合がある。また、撮像距離が近すぎて指標図形が大きくなり画像表示範囲からはみ出してしまう場合、あるいは撮像距離が遠すぎて指標図形が小さくなり計測が困難になる場合がある。このような事情に鑑み、第7の態様では指標図形による特定領域の計測が有効である領域と有効でない領域とで指標図形を異なる態様で表示させており、これによりスポット位置近傍での計測の有効性を容易に判断することができる。
第8の態様に係る計測支援装置は第1から第7の態様のいずれか1つにおいて、スポットが形成された被写体の画像を記録する画像記録部を備え、表示制御部は画像記録部に記録された被写体の画像を読み出し、読み出した被写体の画像に指標図形を重畳して表示させる。第8の態様によれば、スポットが形成された被写体の画像を画像記録部に記録しておき、画像記録部から読み出した被写体の画像に指標図形を重畳して表示することで、事後的な計測、オフラインでの計測が可能になる。これにより、被検体に対する計測補助装置の使用時間を短くでき、被検体への負担を低減することができる。なお第8の態様において、被写体の画像をスポットの位置と関連づけて記憶することにより、画像記録部から読み出した画像に指標図形を重畳して表示することが可能である。また、指標図形の表示はスポット位置と指標図形を構成する点との関係を参照して行うことができる。
第9の態様に係る計測支援装置は第8の態様において、画像記録部は被写体の画像と指標図形とを関連づけて記録し、表示制御部は画像記録部に記録された被写体の画像と指標図形とを読み出し、読み出した指標図形を読み出した被写体の画像に重畳して表示させる。第9の態様では、「被写体の画像と指標図形との関連づけ」として例えば被写体の画像と指標図形を構成する点とを関連づけて記憶することができ、これにより指標図形を迅速かつ容易に表示することができる。
上述の目的を達成するため、第10の態様に係る内視鏡システムは、第1から第9の態様のいずれか1つに係る計測支援装置と、被検体に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡と、を備え、ヘッドと、スポットの光学像を撮像素子に結像させる撮像レンズと、が前端硬質部に設けられる。第10の態様に係る内視鏡システムでは、第1から第9の態様のいずれか1つに係る計測支援装置を備えるので、迅速かつ容易に計測を行うことができる。
第11の態様に係る内視鏡システムは第10の態様において、内視鏡は軌跡を示す情報を記憶する情報記憶部を備える。スポットの移動軌跡は撮像部及びヘッドの構成、特徴により定まるので、第11の態様のようにスポットの移動軌跡を示す情報を内視鏡の情報記憶部に記憶することで、内視鏡システム全体として多様な内視鏡に対応することができる。
第12の態様に係る内視鏡システムは第10または第11の態様において、軌跡及び指標図形の表示条件を設定する表示条件設定部を備える。第12の態様によれば、ユーザは所望の表示条件により計測を行うことができる。
上述の目的を達成するため、第13の態様に係るプロセッサは、第10から第12の態様のいずれか1つに係る内視鏡システムのプロセッサであって、計測部と、表示制御部と、を備える。第13の態様によれば、第1の態様と同様に迅速かつ容易に計測を行うことができる。
第14の態様に係るプロセッサは第13の態様において、内視鏡の情報を取得する情報取得部をさらに備え、表示制御部は、取得した情報に基づいて表示した指標図形による特定領域の計測が有効であるか否かを判断する。第14の態様のようにプロセッサに接続された内視鏡の情報に基づいて計測の有効性を判断することで、プロセッサが多様な内視鏡に対応することができる。
以上説明したように、本発明の計測支援装置、内視鏡システム、及びプロセッサ(内視鏡システムのプロセッサ)によれば、迅速かつ容易に計測を行うことができる。
以下、添付図面を参照しつつ、本発明に係る計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサの実施形態について、詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、プロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ)、光源装置300、及びモニタ400(表示装置)から構成される。
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、プロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体100(内視鏡)、プロセッサ200(プロセッサ)、光源装置300、及びモニタ400(表示装置)から構成される。
<内視鏡本体の構成>
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察する。手元操作部102にはメモリ139(情報記憶部)が設けられており、撮像距離を変化させた場合に計測補助光のスポットが画像を移動する軌跡を示す情報が記憶されている。メモリ139としては、ROM(Read Only Memory)、EEPROM(Electronically Erasable and Programmable Read Only Memory)等の不揮発性の記録媒体(非一時的記録媒体)を用いることができる。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能(通常モードと計測モードとの切替等)を割り付けられる機能ボタンBT3が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。手元操作部102を操作することにより、湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1~3参照)。なお、図2ではメモリ139が手元操作部102に設けられる場合について説明しているが、メモリ139はライトガイドコネクタ108内に設けてもよいし、プロセッサ200と内視鏡本体100とを接続する電気コネクタ109内に設けてもよい(図1参照)。
内視鏡本体100は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者(ユーザ)は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察する。手元操作部102にはメモリ139(情報記憶部)が設けられており、撮像距離を変化させた場合に計測補助光のスポットが画像を移動する軌跡を示す情報が記憶されている。メモリ139としては、ROM(Read Only Memory)、EEPROM(Electronically Erasable and Programmable Read Only Memory)等の不揮発性の記録媒体(非一時的記録媒体)を用いることができる。また、手元操作部102には送気送水ボタンBT1、吸引ボタンBT2、及び各種の機能(通常モードと計測モードとの切替等)を割り付けられる機能ボタンBT3が設けられている。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。手元操作部102を操作することにより、湾曲部114を湾曲させて先端硬質部116の向きを上下左右に変えることができる。先端硬質部116には、撮像光学系130(撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1~3参照)。なお、図2ではメモリ139が手元操作部102に設けられる場合について説明しているが、メモリ139はライトガイドコネクタ108内に設けてもよいし、プロセッサ200と内視鏡本体100とを接続する電気コネクタ109内に設けてもよい(図1参照)。
<軌跡情報の取得>
上述したスポットの移動軌跡を示す情報は、例えば、撮像距離を変えながら格子状のチャートを撮影して撮像距離に対応したスポット位置を計測することにより取得することができる。軌跡の形状は計測補助光の光軸L1と撮像光学系130の光軸L2との関係(図9,10参照)に応じて一意に定まるが、撮像光学系130に歪曲収差がある場合はこの歪曲収差に応じて歪曲する。この情報は、メモリ139(情報記憶部)に記憶しておくことができる。
上述したスポットの移動軌跡を示す情報は、例えば、撮像距離を変えながら格子状のチャートを撮影して撮像距離に対応したスポット位置を計測することにより取得することができる。軌跡の形状は計測補助光の光軸L1と撮像光学系130の光軸L2との関係(図9,10参照)に応じて一意に定まるが、撮像光学系130に歪曲収差がある場合はこの歪曲収差に応じて歪曲する。この情報は、メモリ139(情報記憶部)に記憶しておくことができる。
観察、処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、送気送水ボタンBT1の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系130の撮像レンズ132(撮像レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1~3に示すように、先端硬質部116の先端側端面116Aには撮像レンズ132が配設されている。撮像レンズ132の奥にはCMOS(Complementary Metal-Oxide Semiconductor)型の撮像素子134(撮像素子、カラー撮像素子)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて、これらの要素により画像信号を出力する。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、X-Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備える。撮像素子134の各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮像光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。
なお、第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
被検体(腫瘍部、病変部)の画像、スポット(後述)の光学像は撮像レンズ132により撮像素子134の受光面(撮像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介してプロセッサ200に出力されて映像信号に変換される。これにより、プロセッサ200に接続されたモニタ400に観察画像、円形マーカ、スポットの移動軌跡等が表示される。なお、後述する表示条件設定操作(図16~19を参照)を画面を介して行うためのタッチパネルをモニタ400に設けてもよい。
また、先端硬質部116の先端側端面116Aには、撮像レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
先端側端面116Aには、さらにレーザモジュール500のレーザヘッド506(ヘッド)が設けられて、プリズム512(図4参照)を介してスポット光(計測補助光)が照射される。レーザモジュール500の構成は後述する。なお、第1の実施形態では図3に示すようにレーザヘッド506が鉗子口126とは別に設けられているが、先端硬質部116で開口する鉗子口126に連通する管路(不図示)にレーザヘッド506を挿抜可能に挿通してもよい。また、撮像レンズ132と鉗子口126との間にレーザヘッド506を設けてもよい。
<レーザモジュールの構成>
図2及び図4に示すように、レーザモジュール500はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(フェルール:ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRINレンズ510(GRIN:Graded Index)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図4の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
図2及び図4に示すように、レーザモジュール500はレーザ光源モジュール502と、光ファイバー504と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(フェルール:ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508の先端側にGRINレンズ510(GRIN:Graded Index)が装着され、GRINレンズ510の先端側にプリズム512が装着されて接合体を形成する。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図4の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508,GRINレンズ510,及びプリズム512はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
レーザヘッド506において、フェルール508は例えば直径が0.8mm~1.25mmのものを用いることができる。小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド506全体としての直径を1.0mm~1.5mmにすることができる。
このように構成されたレーザモジュール500は挿入部104に装着される。具体的には、図2に示すようにレーザ光源モジュール502が手元操作部102に設けられ、レーザヘッド506が先端硬質部116に設けられて、光ファイバー504がレーザ光をレーザ光源モジュール502からレーザヘッド506まで導光する。なお、レーザ光源モジュール502を光源装置300内に設け、レーザ光を光ファイバー504により先端硬質部116まで導光してもよい。
図5に示すレーザ光源モジュール502は、図示せぬ電源から電力が供給されてレーザ光を出射するVLD(Visible Laser Diode)と、VLDから出射されたレーザ光を集光する集光レンズ503とを備えるピグテール型モジュール(TOSA;Transmitter Optical Sub Assembly)である。レーザ光はプロセッサ200(CPU210)の制御により必要に応じて出射することができ、計測を行う場合(計測モード)のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる(通常モード)。
第1の実施形態において、VLDが出射するレーザ光は半導体レーザによる波長650nmの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ503で集光されたレーザ光は、光ファイバー504によりGRINレンズ510まで導光される。光ファイバー504はレーザ光をシングル横モードで伝搬させる光ファイバーであり、径が小さく鮮明なスポットを形成することができるので、被写体(計測対象)の大きさを正確に計測することができる。光ファイバー504の途中に中継コネクタを設けてもよい。なお、被写体の種類、大きさ等の観察条件によってスポット径の大きさ、鮮明さが計測上問題とならない場合は、光ファイバー504として、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。また、光源としては半導体レーザの代わりにLED(Light-Emitting Diode)を用いてもよく、半導体レーザを発振しきい値以下のLED発光状態で使用してもよい。
GRINレンズ510は、屈折率が光軸で最も高く半径方向外側に向かうにつれて減少する円筒型のグレーデッドインデックス型レンズ(ラジアル型)であり、光ファイバー504により導光されて入射したレーザ光を平行な光束にして出射するコリメータとして機能する。GRINレンズ510から出射される光束の広がりはGRINレンズ510の長さを調節することで調節でき、平行な光束のレーザ光を出射させるには(λ/4)ピッチ(λはレーザ光の波長)程度にすればよい。
GRINレンズ510の先端側にはプリズム512が装着されている。このプリズム512は計測補助光の出射方向を変更するための光学部材であり、出射方向を変更することにより、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸が撮像光学系の光軸に対し0度でない傾き角を有し、計測補助光が撮像光学系の画角を横切る。プリズム512はGRINレンズ510のレンズ径に近い大きさに形成されており、先端面が斜めにカットされて上述した傾き角に応じた頂角AL1を有する。頂角AL1の値はレーザ光の出射方向その他の条件に応じて設定することができる。
<撮像光学系の光軸と計測補助光の光軸の関係>
図6は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図6のように光軸L1が光軸L2上を通るように見える。
図6は第1の実施形態に係る先端硬質部116を前方(被写体側)から見た状態を示す図であり、図3の構成に対応する図である。第1の実施形態では、計測補助光の光軸L1と撮像光学系の光軸L2とは同一平面上に存在し、その同一平面上で交差する。したがって、先端硬質部116を前方(被写体側)から見ると、図6のように光軸L1が光軸L2上を通るように見える。
なお、本発明における計測補助光の光軸L1と撮像光学系の光軸L2との関係は、上述した「計測補助光の光軸と撮像光学系の光軸とが同一平面上に存在し、その同一平面上で交差する」態様に限定されるものではなく、計測補助光の光軸が撮像光学系の光軸と同一平面上に存在しなくてもよい。しかしながらこのような場合においても、計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切るものとする。
計測補助光を用いた計測を行う場合、計測補助光の光軸が撮像光学系の光軸と平行(傾き角が0度)であると、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離が遠くなり、その結果至近距離ではスポットが撮影できず計測が困難になる。また、計測補助光の光軸が撮像光学系の光軸と平行であると、観察距離の変化に対するスポット位置変化の感度が低く、十分な計測精度が得られない場合がある。これに対し第1の実施形態のように「計測補助光の光軸を撮像光学系の光軸を含む平面に射影した場合に、計測補助光の光軸は撮像光学系の光軸に対し0度でない傾き角を有し撮像光学系の画角を横切る」という構成を採用している。このような構成により、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するスポット位置変化の感度が高いため高精度に計測することができる。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は光源制御部350により制御され、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
図2に示すように、光源装置300は、照明用の光源310、絞り330、集光レンズ340、及び光源制御部350等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A及び赤外光源310Bを備えており、可視光及び赤外光の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は光源制御部350により制御され、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げたり、照明を停止したりすることができる。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することで、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<プロセッサの構成>
図2に基づきプロセッサ200(計測部、表示制御部)の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、表示制御部、表示条件設定部、情報取得部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)の制御下で行われる。すなわち、CPU210は計測部、表示制御部、表示条件設定部、情報取得部としての機能を有する。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替、重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の撮像面におけるスポット位置の測定、測定した位置に基づくマーカの大きさ(ピクセル数)の算出等が行われる(後述)。画像記録部207(画像記録部)には、スポットが形成された被写体の画像等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、表示条件設定の際の警告メッセージ(音声)、及びスポット位置を計測有効領域に誘導するための音声情報をスピーカ209Aから出力する。
図2に基づきプロセッサ200(計測部、表示制御部)の構成を説明する。プロセッサ200は、内視鏡本体100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、表示制御部、表示条件設定部、情報取得部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)の制御下で行われる。すなわち、CPU210は計測部、表示制御部、表示条件設定部、情報取得部としての機能を有する。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替、重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の撮像面におけるスポット位置の測定、測定した位置に基づくマーカの大きさ(ピクセル数)の算出等が行われる(後述)。画像記録部207(画像記録部)には、スポットが形成された被写体の画像等が記録される。音声処理部209は、CPU210及び画像処理部204の制御により、表示条件設定の際の警告メッセージ(音声)、及びスポット位置を計測有効領域に誘導するための音声情報をスピーカ209Aから出力する。
画像処理部204の具体的なハードウェア構成としては、CPU(Central Processing Unit)、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等のプロセッサ(電気回路)が挙げられる。画像処理部204は1つのプロセッサで構成されていてもよいし、複数のプロセッサを組み合わせて構成されていてもよい。メモリ212は各種処理の際の一時記憶用の記憶素子と不揮発性の記憶素子(非一時的記録媒体)とを含み、計測処理に際して、CPU210及び/または画像処理部204の制御によりスポットの座標と、被写体における計測対象の実寸サイズを示す円形マーカを示す点の座標と、が関連づけて記憶される(後述)。また、メモリ212には後述する計測支援方法をCPU210及び/または画像処理部204に実行させるプログラムのコンピュータ読み取り可能なコードが記憶されている。
また、プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチ等を備えており、また可視光及び/または赤外光の照射を操作することができる。また、操作部208は図示せぬキーボード、マウス等のデバイスを含み、ユーザはこれらデバイスを介して各種処理条件、表示条件等を入力することができる。操作部208による表示条件設定については詳細を後述する(図16~19を参照)。なお、操作モードの設定は、上述のように手元操作部102の機能ボタンBT3(図1参照)に操作モード設定機能(計測モードと通常モードとの切替等)を割り付けて行ってもよい。
<内視鏡による観察>
図7は内視鏡本体100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図7では、スポットSP0が腫瘍tm(黒色で***している部分)の付近に形成されている様子を示す。
図7は内視鏡本体100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図7では、スポットSP0が腫瘍tm(黒色で***している部分)の付近に形成されている様子を示す。
<計測処理の流れ>
内視鏡システム10を用いた被検体の計測支援方法について説明する。図8は計測支援方法の処理を示すフローチャートである。
内視鏡システム10を用いた被検体の計測支援方法について説明する。図8は計測支援方法の処理を示すフローチャートである。
まず、内視鏡本体100の挿入部104を被検体に挿入し、内視鏡システム10を通常観察モードに設定する(ステップS10)。通常観察モードは、光源装置300から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム10の起動時にプロセッサ200が自動的に行ってもよいし、ユーザによる操作部208の操作に応じて行ってもよい。
内視鏡システム10が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ400に表示する(ステップS12)。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類、観察の目的等に応じて照明光の種類(可視光または赤外光)を切り換えることが好ましい。ユーザはモニタ400に表示される画像を見ながら挿入部104を進退及び/または屈曲操作して先端硬質部116を観察対象に向け、計測したい被写体を撮像する。
ステップS14では、通常観察モードから計測モードに移行するか否かを判断する。この判断は操作部208を介したユーザ操作の有無に基づいて行ってもよいし、プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、プロセッサ200が一定のフレーム間隔(1フレームごと、2フレームごと等)で通常観察モードと計測モードとを交互に設定してもよい。ステップS14の判断が否定されるとステップS12へ戻って通常観察モードでの撮像を継続し、判断が肯定されるとステップS16へ進んで計測モードに切り替える。
計測モードは、レーザヘッド506からレーザ光(計測補助光)を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ(長さ)を計測するためのマーカを生成及び表示するモードである。計測モードでは、撮像距離を変化させた場合にスポットが画像を移動する軌跡を示す情報も表示される。第1の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポットを認識しにくくなる場合がある。そこで計測モードでは、スポットの画像取得及び位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。このような制御は、プロセッサ200及び光源制御部350により行うことができる。
ステップS22では、計測補助光によりスポットが形成された被写体の画像を撮像する。観察距離が計測範囲内である場合、撮像光学系130の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の(撮像素子上の)スポットの位置が異なり、表示すべきマーカの大きさ(ピクセル数)がスポットの位置に応じて異なる。
<観察距離に応じたスポット位置の変化>
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系130の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図9(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとする。この場合、範囲R1の至近端E1、中央付近の距離E2、及び最遠端E3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図9において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行っている。図9における範囲R1及び計測画角が「撮像画像において、円形マーカによる計測対象の大きさ計測が有効な範囲」(計測有効領域)に対応する。
第1の実施形態では、計測補助光の光軸L1を撮像光学系の光軸L2を含む平面に射影した場合に、光軸L1が光軸L2に対し0度でない傾き角を有し、撮像光学系130の画角を横切る。したがって、画像(撮像素子)におけるスポットの位置は被写体までの距離によって異なる。例えば、図9(光軸L1及び光軸L2を含む平面内において、先端硬質部116を側面方向から見た状態を示す図)に示すように、観察距離の範囲R1において観察可能であるとする。この場合、範囲R1の至近端E1、中央付近の距離E2、及び最遠端E3では、各点での撮像範囲(矢印Q1,Q2,Q3で示す)におけるスポットの位置(各矢印と光軸L1が交わる点)が異なることが分かる。なお、図9において実線の内側が撮像光学系130の撮像画角であり、一点鎖線の内側が計測画角である。撮像光学系130の撮像画角のうち収差の少ない中央部分で計測を行っている。図9における範囲R1及び計測画角が「撮像画像において、円形マーカによる計測対象の大きさ計測が有効な範囲」(計測有効領域)に対応する。
図10は図6と同様に先端硬質部116を正面から見た状態を示す図であり、撮像光学系130の光軸L1、計測補助光の光軸L2、及び撮像素子134の撮像範囲R2の関係を仮想的に示した図である。図10は光軸L1,L2が同一平面上に存在し、その平面上で交差する場合を示している。図10では、観察距離に応じたスポット位置P4,P5,P6(観察距離がそれぞれ至近端付近、中央付近、最遠端付近の場合に対応)を示している。
図10に示すように、観察距離が至近端付近の場合のスポット位置P4と最遠端付近の場合のスポット位置P6とは、撮像光学系130の光軸L1に対し反対側に位置することが分かる。したがって、第1の実施形態では観察距離の変化に対するスポット位置の移動の感度が高く、被写体の大きさを高精度に計測することができる。
このように、撮像画像内(撮像素子134上)のスポット位置は撮像光学系130の光軸L2と計測補助光の光軸L1との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ(例えば直径5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、スポットの位置(座標)と、被写体における計測対象(例えば、腫瘍、病変等の特定領域)の実寸サイズを示す円形マーカを示す点の座標と、を関連づけてメモリ139に記憶しておき、記憶された情報を計測したスポット位置(座標)に応じて参照することで、円形マーカを示す点の座標を取得することができる。メモリ139に記憶された情報を計測処理の際にメモリ212に展開し、メモリ212に展開された情報を参照してもよい。第1の実施形態では、円形マーカを示す点の座標を取得する際に観察距離そのものを測定する必要がないので、構成が簡易で処理負荷が低い。
図8のフローチャートに戻り、撮像素子134の撮像面におけるスポットの位置計測(ステップS24)について説明する。ステップS24におけるスポットの位置計測は、赤(R)色のフィルタ色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子134の各画素に配設されている各色(赤,緑,青)のカラーフィルタにおける波長と感度との関係は図11の通りであり、また上述のように、レーザヘッド506から出射されるレーザ光は波長650nmの赤色レーザ光である。即ち、スポット位置の測定は(赤,緑,青)のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素(R画素)の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはRAW(Raw image format)データのR画素の信号強度にしきい値を設けて二値化し、白部分(信号強度がしきい値より高い画素)の重心を算出することで、スポットの位置を高速に認識することができる。なお、実画像(全ての色の画素信号により生成される画像)によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素(G画素、B画素)の画素信号にしきい値を設け、ビットマップデータがあるG画素及びB画素の画素信号の値がしきい値以下の画素のみを抽出することが好ましい。
なお、計測モードでは上述のようにスポットの画像取得(ステップS22)及び位置計測(ステップS24)に際して照明光を消灯するかスポットの認識に影響が出ない程度に照度を下げて(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。これによりスポットが鮮明な画像を取得することができ、スポットの位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。
ステップS26では、プロセッサ200(CPU210,画像処理部204)は、被写体における計測対象の実寸サイズを示す円形マーカを示す点の座標を取得する。上述のように、モニタ400上でのマーカの大きさは画像内の(即ち、撮像素子134の撮像面上の)スポットの位置に応じて異なるので、スポットの座標と、被写体における計測対象の実寸サイズを示す円形マーカを示す点の座標と、を関連づけてメモリ139に(またはメモリ139の情報を取得してメモリ212に)記憶しておく。プロセッサ200は、ステップS24で計測したスポット位置に応じてメモリ139(またはメモリ212)を参照し、円形マーカを示す点の座標を取得する。スポット位置と円形マーカを示す点の座標との関係を求める手順については、詳細を後述する。またステップS26では、スポットの移動軌跡を示す情報についても、プロセッサ200がメモリ139(またはメモリ212)から取得する。
ステップS28では、設定された表示条件に基づいて、観察画像、円形マーカ、及びスポットの移動軌跡をモニタ400に表示する(図19,20,22,23等の例を参照)。この際、円形マーカがスポットから離れた位置に表示されると指標として不正確になるので、円形マーカは観察画像におけるスポットの近傍に(例えば、スポットを中心として)表示する。実寸サイズの異なる円形マーカ(例えば、3mm,5mm等)を同心円状に表示してもよいし、円形マーカに加え他のマーカ(例えば、十字型マーカ)を表示してもよい。また、スポットの移動軌跡は、プロセッサ200(CPU210、画像処理部204)がメモリ139に記憶された情報を取得して表示する。表示の際に、メモリ139に記憶された情報をメモリ212に展開し、プロセッサ200がメモリ212を参照してもよい(円形マーカについても同様である)。このように、プロセッサ200が内視鏡本体100に記憶された情報を取得して表示することで、プロセッサ200が多様な内視鏡本体に対応することができる。
なお、表示条件(マーカの種類、数、実寸サイズ、色等)は、後述するように、操作部208(表示条件設定部)を介したユーザの操作により設定することができる(図16~18を参照)。
<スポットの移動軌跡を利用した手技>
スポットの移動軌跡を利用した手技について説明する。まず、術者が手元操作部102を操作して先端硬質部116の向きを上下左右に変化させ、病変をスクリーニングで見つける(円形観察;手順1)。手順1の状態を図12の(a)部分に示す。手順1の状態ではスポットSP2及び円形マーカM2(スポットSP2を中心とする)が腫瘍tm2と離れた位置に存在しており円形マーカM2は計測用の指標として有効でない。そこで、術者はさらに手元操作部102を操作して先端硬質部116の向きを上下左右に変化させ、図12の(b)部分のように腫瘍tm2をスポットの移動軌跡T2に乗せる(手順2)。移動軌跡T2は撮像距離を変化させた場合のスポットの移動軌跡を示すので、手順2の状態から挿入部104を押し引きすることによりスポットSP2を腫瘍tm2上に載せることができる。第1の実施形態では図12の左下が撮像距離の至近側であり右上が最遠側なので、図12の(b)部分の状態から挿入部104を手元に引き寄せることによりスポットSP2が移動軌跡T2上を至近側に移動し、図12の(c)部分のようにスポットSP2を腫瘍tm2上に載せることができる(手順3)。手順3により円形マーカM2が腫瘍tm2に重なるので、術者は円形マーカM2の実寸サイズ(例えば5mm)と腫瘍tm2とを比較して腫瘍tm2の大きさを計測する(手順4)。また、必要に応じ手元操作部102(あるいは操作部208)をレリーズ操作(画像の記録を指示する操作)して、スポットSP2が形成された画像を画像記録部207(画像記録部)に記録する(手順5)。詳細を後述するように、画像、スポット位置等を画像記録部207に記録しておけば、円形マーカ表示等の処理を事後的に行うことができる(図25~28を参照)。
スポットの移動軌跡を利用した手技について説明する。まず、術者が手元操作部102を操作して先端硬質部116の向きを上下左右に変化させ、病変をスクリーニングで見つける(円形観察;手順1)。手順1の状態を図12の(a)部分に示す。手順1の状態ではスポットSP2及び円形マーカM2(スポットSP2を中心とする)が腫瘍tm2と離れた位置に存在しており円形マーカM2は計測用の指標として有効でない。そこで、術者はさらに手元操作部102を操作して先端硬質部116の向きを上下左右に変化させ、図12の(b)部分のように腫瘍tm2をスポットの移動軌跡T2に乗せる(手順2)。移動軌跡T2は撮像距離を変化させた場合のスポットの移動軌跡を示すので、手順2の状態から挿入部104を押し引きすることによりスポットSP2を腫瘍tm2上に載せることができる。第1の実施形態では図12の左下が撮像距離の至近側であり右上が最遠側なので、図12の(b)部分の状態から挿入部104を手元に引き寄せることによりスポットSP2が移動軌跡T2上を至近側に移動し、図12の(c)部分のようにスポットSP2を腫瘍tm2上に載せることができる(手順3)。手順3により円形マーカM2が腫瘍tm2に重なるので、術者は円形マーカM2の実寸サイズ(例えば5mm)と腫瘍tm2とを比較して腫瘍tm2の大きさを計測する(手順4)。また、必要に応じ手元操作部102(あるいは操作部208)をレリーズ操作(画像の記録を指示する操作)して、スポットSP2が形成された画像を画像記録部207(画像記録部)に記録する(手順5)。詳細を後述するように、画像、スポット位置等を画像記録部207に記録しておけば、円形マーカ表示等の処理を事後的に行うことができる(図25~28を参照)。
このように、第1の実施形態では画像におけるスポットの位置に応じて設定した大きさの円形マーカ及びスポットの移動軌跡をスポットの近傍に表示するので、術者は内視鏡の操作によりスポット及び円形マーカがどのように動くのかを容易に把握でき、迅速かつ容易に計測を行うことができる。
上述した計測及び画像の記録が終了したら、ステップS30では計測モードを終了するか否かを判断する。この判断は操作部208を介したユーザ操作(例えば、図19の画面表示におけるボタンB04の操作)に基づいて行ってもよいし、プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップS30の判断が否定されるとステップS20へ戻り、ステップS20からステップS28の処理を繰り返す。ステップS30の判断が肯定されるとステップS32に進んで計測補助光を消灯し、続いてステップS34で照明光の照度を通常照度に戻して通常観察モードに復帰する(ステップS10へ戻る)。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。
以上説明したように、第1の実施形態に係る内視鏡システム10では、画像におけるスポットの位置に応じて設定した大きさの円形マーカ及びスポットの移動軌跡をスポットの近傍に表示するので、迅速かつ容易に計測を行うことができる。
<計測支援方法の各処理の詳細>
以下、上述した計測支援方法の各処理を詳細に説明する。
以下、上述した計測支援方法の各処理を詳細に説明する。
<円形マーカの座標記憶及び取得>
第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と円形マーカを示す点の座標とを関連づけてメモリ212(記憶部)に記憶しておき、計測したスポット位置に応じてメモリ212を参照して座標を取得する。以下、座標の記憶について説明する。
第1の実施形態では、撮像素子134の撮像面におけるスポットの位置と円形マーカを示す点の座標とを関連づけてメモリ212(記憶部)に記憶しておき、計測したスポット位置に応じてメモリ212を参照して座標を取得する。以下、座標の記憶について説明する。
<マーカ座標の記憶>
第1の実施形態では、観察距離(撮像距離)を変化させた場合にスポットが撮像画像を移動する軌跡における複数の点に対して、円形マーカを示す点の座標を記憶する。撮像距離を変化させた場合の撮像画像におけるスポットの移動軌跡は計測補助光の光軸L1と撮像光学系130の光軸L2との関係により定まり、図10に示す関係の場合は直線となるが、撮像光学系130に歪曲収差がある場合はその歪曲収差に応じて歪曲する。
第1の実施形態では、観察距離(撮像距離)を変化させた場合にスポットが撮像画像を移動する軌跡における複数の点に対して、円形マーカを示す点の座標を記憶する。撮像距離を変化させた場合の撮像画像におけるスポットの移動軌跡は計測補助光の光軸L1と撮像光学系130の光軸L2との関係により定まり、図10に示す関係の場合は直線となるが、撮像光学系130に歪曲収差がある場合はその歪曲収差に応じて歪曲する。
図13は座標記憶の様子を示す図であり、スポットの移動軌跡T1におけるK個の点(点P1~PK;Kは2以上の整数)について円形マーカを示す点の座標を記憶する様子を示す。点P1~点PKは円形マーカによる大きさ計測が有効な計測有効領域(移動軌跡T1の実線部分;図9における一点鎖線の内側に対応)であり、点P1が計測有効領域の至近端である場合のスポット位置を示し、点PKが計測有効領域の最遠端である場合のスポット位置を示す。なお、図13における移動軌跡T1は仮想的に示したものである。
スポットが移動軌跡T1の点線部分(撮像画像の周辺部分)に存在する場合は歪曲収差が大きくなる。また、スポットが移動軌跡T1の至近端側(点線で示す領域T1Nの部分)に存在する場合は円形マーカの一部が画像外となる、あるいは最遠端側(点線で示す領域T1Fの部分)に存在する場合はマーカが小さくなる等の問題があり、いずれも計測に適さない。そこで第1の実施形態では、円形マーカによる計測対象の大きさ計測が有効なスポット位置の範囲(実線で示す領域T1Eの部分)に対応して座標を記憶する。
図14はスポット位置と円形マーカを示す点の座標との関係を示す図であり、点Pi(スポットの位置)を中心としたL個の点(点Pi1,Pi2,…,Pij,…,PiL;Lは整数)により円形マーカを示している。Lの値はマーカの形状精度の要求に基づいて決めることができ、数が多いほど正確なマーカを表示することができる。L個の点の間を直線または曲線でつないでもよい。また、図15はスポット位置と円形マーカを示す点の座標とを関連づけて記憶する様子を示す。
<座標の取得>
円形マーカを表示する場合は、プロセッサ200(CPU210,画像処理部204)が、計測したスポットの座標に基づいてメモリ212(記憶部)を参照して円形マーカを示す点の座標を取得する。ここでいう「取得」は、記憶された座標を用いること、及び記憶された座標に基づいて生成した座標を用いることを含む。
円形マーカを表示する場合は、プロセッサ200(CPU210,画像処理部204)が、計測したスポットの座標に基づいてメモリ212(記憶部)を参照して円形マーカを示す点の座標を取得する。ここでいう「取得」は、記憶された座標を用いること、及び記憶された座標に基づいて生成した座標を用いることを含む。
図13に示す点P1~PKのK個の点(スポット位置)のそれぞれに対して、図14に示すように円形マーカを示すL個の点の座標が記憶される。例えば、移動軌跡T1上の点Piに対して、点Pi1~PiLの座標が記憶される。具体的には、図15に示すようにスポット位置と円形マーカを示す点の座標とが対応付けられてメモリ212に記憶される。この際、複数の実寸サイズ(例えば2mm,3mm,5mm,7mm,10mm等)のそれぞれに対応して座標を記憶しておき、表示する円形マーカの実寸サイズを計測目的に応じて切り替えてもよい。座標を記憶するスポット位置の数(図13~15の例ではK個)及び円形マーカを示す点の数(図13~15の例ではL個)の数を増やすほど、正確な円形マーカを表示することができる。
円形マーカを示す点の座標は、移動軌跡T1上の一部の点(例えば、図13の例では点P1~PKのK個の点)について記憶しておけばよい。この場合、座標が記憶されていない点(スポット位置)については、計測されたスポット位置からの距離がしきい値以内である点について記憶されている座標を用いる態様(第1の態様)によりマーカの座標を取得することができる。また、計測されたスポットを挟む2つ以上の点に対応した座標を内挿して座標を取得する態様(第2の態様)、計測されたスポットを挟まない2つ以上の点に対応した座標を外挿して座標を取得する態様(第3の態様)等によってもマーカの座標を取得することができる。
一方、移動軌跡T1上の全ての点(画素)に対して座標を記憶しておき、記憶された座標をそのまま取得してもよい。このような態様の場合、点同士の距離の計算、補間計算等を省略することができる。
<座標の生成>
円形マーカを示す点(図14の例では、点Pi1~PiL)の座標は、例えば以下の方法により生成することができる。具体的には、撮像距離を変えながら正方格子状のチャートを撮像する。この際、手元操作部を操作してスポットを格子の交点に位置させ、スポットの上下左右の4点について座標を実測する。それ以外の点の座標は、実測した点の座標を補間して生成する。撮像するチャートは、格子の間隔が実寸サイズ以下であり、かつ間隔ができるだけ細かいことが好ましい。また、上述した「スポットの上下左右の4点」を格子の交点に位置させるために、撮像するチャートは格子の間隔が所望の実寸サイズの(1/整数)の間隔であることが好ましい(円形マーカの実寸サイズが直径5mmの場合、格子の間隔が0.5mm,1mm,1.25mm,2.5mm等)。また、実測したスポット位置及び上下左右の4点に基づいて、十字型等他の形状のマーカを示す点の座標を生成してもよい。
円形マーカを示す点(図14の例では、点Pi1~PiL)の座標は、例えば以下の方法により生成することができる。具体的には、撮像距離を変えながら正方格子状のチャートを撮像する。この際、手元操作部を操作してスポットを格子の交点に位置させ、スポットの上下左右の4点について座標を実測する。それ以外の点の座標は、実測した点の座標を補間して生成する。撮像するチャートは、格子の間隔が実寸サイズ以下であり、かつ間隔ができるだけ細かいことが好ましい。また、上述した「スポットの上下左右の4点」を格子の交点に位置させるために、撮像するチャートは格子の間隔が所望の実寸サイズの(1/整数)の間隔であることが好ましい(円形マーカの実寸サイズが直径5mmの場合、格子の間隔が0.5mm,1mm,1.25mm,2.5mm等)。また、実測したスポット位置及び上下左右の4点に基づいて、十字型等他の形状のマーカを示す点の座標を生成してもよい。
<画面表示条件の設定>
撮像画像、円形マーカ、スポットの移動軌跡等の表示条件設定、及び設定した条件による表示の態様について以下に説明する。図16は画面表示条件を設定するための全体画面の例を示す図である。図16では、画面表示条件の各項目について条件名(領域C01~C11)、設定条件の内容(数値等;領域V01~V11)、及び条件設定用のボタンA01~A11が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は条件変更のクリア(初期値に戻す)用のボタンである。図16の画面はモニタ400に表示され、モニタ400のタッチパネル、及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。このような表示条件設定は、図8のフローチャートの実行中、随時行ってよい。なお、以下に説明する表示条件設定画面のレイアウト及び表示項目は表示条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
撮像画像、円形マーカ、スポットの移動軌跡等の表示条件設定、及び設定した条件による表示の態様について以下に説明する。図16は画面表示条件を設定するための全体画面の例を示す図である。図16では、画面表示条件の各項目について条件名(領域C01~C11)、設定条件の内容(数値等;領域V01~V11)、及び条件設定用のボタンA01~A11が示されている。画面下部に設けられたボタンB01は表示条件確定用、ボタンB02は条件変更のキャンセル用、ボタンB03は条件変更のクリア(初期値に戻す)用のボタンである。図16の画面はモニタ400に表示され、モニタ400のタッチパネル、及び/または操作部208の図示せぬキーボード及びマウスを介したユーザの操作により表示条件を設定することができる。このような表示条件設定は、図8のフローチャートの実行中、随時行ってよい。なお、以下に説明する表示条件設定画面のレイアウト及び表示項目は表示条件設定の一例を示すものであり、必要に応じて他の態様を採用することができる。
領域C01,V01はスポットの移動軌跡を表示するか否かを示しており、ボタンA01を介した選択操作により移動軌跡の表示をONまたはOFFすることができる。領域C02,V02はスポットの移動軌跡における計測有効領域の態様(表示態様)を示しており、ボタンA02を介した操作により、実線、点線等を選択することができる。領域C03,V03はスポットの移動軌跡における計測有効領域の色を示しており、ボタンA03を介した操作により白、青等の色を選択することができる。領域C04,V04はスポットの移動軌跡における計測非有効領域の態様(表示態様)を示しており、ボタンA04を介した選択操作により点線、鎖線等を選択することができる。領域C05,V05はスポットの移動軌跡における計測非有効領域の色を示しており、ボタンA05を介した選択操作により赤、黒等の色を選択することができる。領域C06,V06はスポットの位置を計測有効領域に誘導するための情報(例えば、図24に示す三角形状の図形)を出力するか否かを示しており、ボタンA06を介した操作により情報を出力するか否か(出力あり、またはなし)を選択することができる。領域C07,V07は計測有効領域の端点を表示するか否かを示しており、ボタンA07を介した操作により端点表示するか否か(表示あり、またはなし)を選択することができる。領域C08,V08はマーカを表示するか否かを示しており、ボタンA08を介した操作により表示のONまたはOFFを選択することができる。領域C09,V09は表示するマーカの形状を示しており、ボタンA09を介した操作により円、十字等の態様を選択することができる。領域C10,V10は表示するマーカの色を示しており、ボタンA10を介した操作により白、青等の色を選択することができる。領域C11,V11は表示するマーカの実寸サイズを示しており、ボタンA11を介した選択操作により2mm,3mm,5mm等のサイズを選択することができる(図18参照)。
<表示条件設定の具体例>
表示条件設定操作の具体例について説明する。図17はスポットの移動軌跡における計測有効領域の態様(表示態様)を設定する画面の例を示す図であり、図16の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様とする)によりボタンA02を指定すると領域V02がプルダウン表示されて図17の状態に遷移する。なお、図17において計測有効領域の態様以外の項目については図示を省略している。図17では、計測有効領域の態様として設定可能な条件(この場合、実線、点線、及び一点鎖線)が領域V02に表示され、ユーザはボタンA02a,A02b、及びスライドバーA02cで選択範囲を上下に移動させて態様(例えば、実線)を選択し、ボタンB01(OKボタン)を指定することで表示態様を決定することができる。
表示条件設定操作の具体例について説明する。図17はスポットの移動軌跡における計測有効領域の態様(表示態様)を設定する画面の例を示す図であり、図16の画面でモニタ400に備えられたタッチパネルの操作、あるいは操作部208を介した操作等(他の項目についても同様とする)によりボタンA02を指定すると領域V02がプルダウン表示されて図17の状態に遷移する。なお、図17において計測有効領域の態様以外の項目については図示を省略している。図17では、計測有効領域の態様として設定可能な条件(この場合、実線、点線、及び一点鎖線)が領域V02に表示され、ユーザはボタンA02a,A02b、及びスライドバーA02cで選択範囲を上下に移動させて態様(例えば、実線)を選択し、ボタンB01(OKボタン)を指定することで表示態様を決定することができる。
図18はマーカの実寸サイズ(大きさ)を設定する画面の例を示す図であり、図16の画面でボタンA11を指定すると領域V11がプルダウン表示されて図18の状態に遷移する(実寸サイズ以外の項目については図示を省略)。図18の例において、マーカの実寸サイズは「2mm、3mm、5mm、7mm、10mm」の中から選択でき、ユーザはボタンA11a,A11b、及びスライドバーA11cで選択範囲を上下に移動させて実寸サイズ(図18では5mm)を選択し、ボタンB01を指定すればよい。なお、「マーカの実寸サイズが5mm」とは「5mmに対応する大きさ(ピクセル数)のマーカがモニタ400の画面に表示される」ことを意味し、モニタ400の画面におけるマーカの大きさは5mmである必要はない。
上述した表示条件の設定において、個々の項目に対して設定した条件が整合しない場合は、モニタ400及び/またはスピーカ209Aを介して警告メッセージを出力してもよい。
<他の操作手段による表示条件の設定>
上述した例ではモニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスによりマーカ表示条件を設定する場合について説明したが、表示条件の設定は他の操作手段を介して行ってもよい。例えば手元操作部102の機能ボタンBT3に機能を割り付けて表示条件を設定してもよい。また、フットペダル、音声入力、視線入力、ジェスチャ入力等により表示条件を設定してもよい。内視鏡本体100の操作時はユーザが両手を自由に動かせない場合があり、そのような場合はこれらの操作手段が有効である。
上述した例ではモニタ400のタッチパネル及び/または操作部208の図示せぬキーボード及びマウスによりマーカ表示条件を設定する場合について説明したが、表示条件の設定は他の操作手段を介して行ってもよい。例えば手元操作部102の機能ボタンBT3に機能を割り付けて表示条件を設定してもよい。また、フットペダル、音声入力、視線入力、ジェスチャ入力等により表示条件を設定してもよい。内視鏡本体100の操作時はユーザが両手を自由に動かせない場合があり、そのような場合はこれらの操作手段が有効である。
<画面表示の具体例>
図16に示した条件での画面表示の例を図19に示す。モニタ400に表示される画面は、図19のように画像表示領域D01及び情報表示領域D02から構成される。画像表示領域D01には、腫瘍tm1上にスポットSP1が形成され、スポットSP1を中心とした円形マーカM1(実寸サイズは直径5mm)が白色で表示される。また、スポットの移動軌跡T1が表示され、円形マーカM1による計測が有効な領域T1Eとそれ以外の領域(至近端側の領域T1N及び最遠端側の領域T1F)とが異なる態様で表示されている。領域T1Eの端点にはマーカM1N,M1Fが表示されている。
図16に示した条件での画面表示の例を図19に示す。モニタ400に表示される画面は、図19のように画像表示領域D01及び情報表示領域D02から構成される。画像表示領域D01には、腫瘍tm1上にスポットSP1が形成され、スポットSP1を中心とした円形マーカM1(実寸サイズは直径5mm)が白色で表示される。また、スポットの移動軌跡T1が表示され、円形マーカM1による計測が有効な領域T1Eとそれ以外の領域(至近端側の領域T1N及び最遠端側の領域T1F)とが異なる態様で表示されている。領域T1Eの端点にはマーカM1N,M1Fが表示されている。
一方、情報表示領域D02には内視鏡システム10が「計測モード」である旨が領域D02Aに表示され、現在の表示条件が領域D02Bに表示される。ボタンB04を指定すると通常観察モードに変更され、ボタンB05を指定すると図16のような表示条件設定画面が表示される。
第1の実施形態に係る内視鏡システム10では、上述した情報表示領域D02により表示条件を容易に確認、変更することができ、これにより迅速かつ容易に計測を行うことができる。なお、情報表示領域D02は別画面にしてもよいし、観察モード時は隠す、縮小するなどして画像表示領域D01を広くしてもよい。
<マーカ及びスポットの移動軌跡の表示態様>
本発明において、マーカ(指標図形)及びスポットの移動軌跡は以下の態様により表示してもよい。
本発明において、マーカ(指標図形)及びスポットの移動軌跡は以下の態様により表示してもよい。
<計測有効領域の識別表示>
図20は、マーカによる計測が有効な領域と有効でない領域とで、スポットの移動軌跡の表示態様を変える例を示す図である。図20では、移動軌跡T1のうちスポットSP3を中心とした円形マーカM3による腫瘍tm3の計測が有効な領域T1Eを実線で表示し、円形マーカM3による計測が有効でない至近端側の領域T1N及び最遠側の領域T1Fを点線で表示する例を示している。すなわち、図20ではスポットが領域T1Eに存在する場合は計測が有効であり、領域T1N,T1Fに存在する場合は計測が有効でない。このような識別表示において「計測が有効な領域」とは、撮像画像の中心付近で撮像光学系130の歪曲収差の影響が少なく、またマーカが画像からはみ出したり小さくなりすぎたりしない領域(図9の範囲R1に相当)であり、このような領域では正確な計測を行うことができる。なお、識別表示においては実線と点線とを変える態様に限らず他の線種を用いてもよいし、線の太さ、色彩、使用する図形及び/または記号等を変えてもよい。
図20は、マーカによる計測が有効な領域と有効でない領域とで、スポットの移動軌跡の表示態様を変える例を示す図である。図20では、移動軌跡T1のうちスポットSP3を中心とした円形マーカM3による腫瘍tm3の計測が有効な領域T1Eを実線で表示し、円形マーカM3による計測が有効でない至近端側の領域T1N及び最遠側の領域T1Fを点線で表示する例を示している。すなわち、図20ではスポットが領域T1Eに存在する場合は計測が有効であり、領域T1N,T1Fに存在する場合は計測が有効でない。このような識別表示において「計測が有効な領域」とは、撮像画像の中心付近で撮像光学系130の歪曲収差の影響が少なく、またマーカが画像からはみ出したり小さくなりすぎたりしない領域(図9の範囲R1に相当)であり、このような領域では正確な計測を行うことができる。なお、識別表示においては実線と点線とを変える態様に限らず他の線種を用いてもよいし、線の太さ、色彩、使用する図形及び/または記号等を変えてもよい。
図20に示すような計測有効領域の識別表示(マーカによる計測が有効な領域と有効でない領域とでスポットの移動軌跡の表示態様を変える)によりマーカによる計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。なお、計測有効領域を識別表示するだけでなく、撮像距離に応じて異なる態様で移動軌跡を表示してもよい。例えば、撮像距離が近い領域と遠い領域で線種、線の太さ、色彩、図形、記号等の条件を変えてもよい。
上述した「マーカによる計測が有効な領域」(計測有効領域)は画像の一部に設定してもよいし、撮像距離の範囲に対して設定してもよい。例えば、撮像距離を変えながらスポットが形成された格子状のチャートを撮影し、各距離での格子の大きさ、格子の歪曲具合等を測定して、この測定結果に基づいて計測有効領域を設定することができる。図21の(a)部分は、このような手順により撮像距離に対して設定された計測可能範囲(D1~D2)及びこれに対応するスポット位置(X座標がX1~X2)を概念的に示している。また、図21の(b)部分は撮像距離に対して設定された計測可能範囲(D1~D2)及びこれに対応するスポット位置(Y座標がY1~Y2)を概念的に示している。図21の例では、スポット位置のX座標がX1~X2かつY座標がY1~Y2の場合(計測可能領域の内側)、及び撮像距離が計測可能範囲(撮像距離がD1~D2)の場合に「マーカによる計測が有効」と判断する。なお、このような計測有効領域の情報はメモリ139に記憶しておき、この情報をプロセッサ200(CPU210,画像処理部204)が取得して「マーカによる計測が有効であるか否か」を判断することができる。このようにプロセッサ200に接続された内視鏡本体100の情報に基づいて計測の有効性を判断することで、プロセッサ200が多様な内視鏡に対応することができる。
<計測有効領域の端点の識別表示>
図22はマーカによる計測が有効な領域の端点を識別表示する例を示す図であり、円形マーカM4による腫瘍tm4の計測が有効な領域T1Eの端点にマーカM4N,M4Fを表示している。このような端点の識別表示により円形マーカM4による計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。なお、図22では図20に示す識別表示(スポットの移動軌跡T1のうち、円形マーカM3による計測が有効な領域T1Eを実線で表示し、有効でない領域T1N,T1Fを点線で表示する)を合わせて行う場合を示しているが、端点の識別表示のみを行ってもよい。
図22はマーカによる計測が有効な領域の端点を識別表示する例を示す図であり、円形マーカM4による腫瘍tm4の計測が有効な領域T1Eの端点にマーカM4N,M4Fを表示している。このような端点の識別表示により円形マーカM4による計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。なお、図22では図20に示す識別表示(スポットの移動軌跡T1のうち、円形マーカM3による計測が有効な領域T1Eを実線で表示し、有効でない領域T1N,T1Fを点線で表示する)を合わせて行う場合を示しているが、端点の識別表示のみを行ってもよい。
<計測の有効性に応じたマーカの表示態様>
図23はマーカによる計測が有効な領域とそれ以外の領域とでマーカの表示態様を変える例を示す図である。具体的には、図23の(a)部分に示すようにスポットSP5Nが移動軌跡T1の至近端側の領域T1Nに存在する場合、及び図23の(c)部分に示すようにスポットSP5Fが移動軌跡T1の最遠側の領域T1Fに存在する場合は円形マーカM3による腫瘍tm5の計測が有効でないので、円形マーカM5N,M5Fを点線で表示している。図23では至近端側及び最遠側において円形マーカを点線表示しているが、至近端側と最遠側とで線種を変えてもよいし、色彩を変えてもよい。一方、図23の(b)部分のようにスポットSP5が円形マーカM5による計測が有効な領域T1Eに存在する場合は、円形マーカM5を実線で表示する。
図23はマーカによる計測が有効な領域とそれ以外の領域とでマーカの表示態様を変える例を示す図である。具体的には、図23の(a)部分に示すようにスポットSP5Nが移動軌跡T1の至近端側の領域T1Nに存在する場合、及び図23の(c)部分に示すようにスポットSP5Fが移動軌跡T1の最遠側の領域T1Fに存在する場合は円形マーカM3による腫瘍tm5の計測が有効でないので、円形マーカM5N,M5Fを点線で表示している。図23では至近端側及び最遠側において円形マーカを点線表示しているが、至近端側と最遠側とで線種を変えてもよいし、色彩を変えてもよい。一方、図23の(b)部分のようにスポットSP5が円形マーカM5による計測が有効な領域T1Eに存在する場合は、円形マーカM5を実線で表示する。
このようなマーカの表示態様によりマーカによる計測が有効であるか否かを容易に判断でき、これにより迅速かつ容易に計測を行うことができる。
<計測有効領域への誘導>
円形マーカが上述した計測有効領域にない場合、計測有効領域に誘導するための情報を出力してもよい。例えば、図24のようにスポットSP5Fが計測が有効でない領域T1F(最遠端側)に存在する場合、挿入部104の操作方向を示す図形G1を表示することができる。図形G1は三角形状であり、術者(ユーザ)は、図形G1により「挿入部104を三角形の頂点方向に操作する(手元側に引く)ことで、円形マーカが計測有効領域(腫瘍tm7の方向)に誘導される」ことを容易に把握することができる。計測有効領域に誘導するための情報は図形G1に限らず矢印等他の記号を用いることができ、また識別しやすい色彩、大きさを設定することができる。図形等を動的に変化させるアニメーション表示を行ってもよい。また、図形に代えて、あるいは図形に加えて文字、記号を用いてもよい。また、このような視覚的表示に代えて、あるいは視覚的表示に加えて、音声処理部209及びスピーカ209A(図2参照)により、音声(例えば、「スコープを押し込んで下さい」、「スコープを引いて下さい」等)で誘導してもよい。このような情報を出力することにより計測有効領域への誘導が容易となり、迅速かつ容易に計測することができる。
円形マーカが上述した計測有効領域にない場合、計測有効領域に誘導するための情報を出力してもよい。例えば、図24のようにスポットSP5Fが計測が有効でない領域T1F(最遠端側)に存在する場合、挿入部104の操作方向を示す図形G1を表示することができる。図形G1は三角形状であり、術者(ユーザ)は、図形G1により「挿入部104を三角形の頂点方向に操作する(手元側に引く)ことで、円形マーカが計測有効領域(腫瘍tm7の方向)に誘導される」ことを容易に把握することができる。計測有効領域に誘導するための情報は図形G1に限らず矢印等他の記号を用いることができ、また識別しやすい色彩、大きさを設定することができる。図形等を動的に変化させるアニメーション表示を行ってもよい。また、図形に代えて、あるいは図形に加えて文字、記号を用いてもよい。また、このような視覚的表示に代えて、あるいは視覚的表示に加えて、音声処理部209及びスピーカ209A(図2参照)により、音声(例えば、「スコープを押し込んで下さい」、「スコープを引いて下さい」等)で誘導してもよい。このような情報を出力することにより計測有効領域への誘導が容易となり、迅速かつ容易に計測することができる。
<画像等の記録によるオフライン処理>
第1の実施形態に係る内視鏡システム10において、マーカの表示等の処理及びこれに基づく計測はリアルタイム(スポットが形成された画像を取得するごとに、あるいは複数フレームごとにマーカ、軌跡を表示)でもよいし、以下に説明するようにオフライン処理(事後的処理)を行ってもよい。オフライン処理を行うには、図25のように腫瘍tm6上にスポットSP6が形成された画像を画像記録部207に記憶する。この際、図26に示すように、画像(画像ファイル)とスポット位置(座標)とを関連づけて記録する。上述のようにスポット位置と円形マーカを示す点の座標とは関連づけられてメモリ139(またはメモリ212)に記憶されているので(図15参照)、画像と関連づけて記録されたスポット位置に基づいてメモリ139(またはメモリ212)を参照することにより円形マーカを示す点の座標を取得することができる。したがって、このような座標の取得により画像記録部207から読み出した画像に円形マーカを重畳表示することができる。図27は事後的処理による表示の例であり、スポットSP6を中心とした円形マーカM6を腫瘍tm6の画像に重畳表示している。
第1の実施形態に係る内視鏡システム10において、マーカの表示等の処理及びこれに基づく計測はリアルタイム(スポットが形成された画像を取得するごとに、あるいは複数フレームごとにマーカ、軌跡を表示)でもよいし、以下に説明するようにオフライン処理(事後的処理)を行ってもよい。オフライン処理を行うには、図25のように腫瘍tm6上にスポットSP6が形成された画像を画像記録部207に記憶する。この際、図26に示すように、画像(画像ファイル)とスポット位置(座標)とを関連づけて記録する。上述のようにスポット位置と円形マーカを示す点の座標とは関連づけられてメモリ139(またはメモリ212)に記憶されているので(図15参照)、画像と関連づけて記録されたスポット位置に基づいてメモリ139(またはメモリ212)を参照することにより円形マーカを示す点の座標を取得することができる。したがって、このような座標の取得により画像記録部207から読み出した画像に円形マーカを重畳表示することができる。図27は事後的処理による表示の例であり、スポットSP6を中心とした円形マーカM6を腫瘍tm6の画像に重畳表示している。
上述した態様だけでなく、画像と円形マーカとを関連づけて記録してもよい。例えば、図28に示すように、画像(画像ファイル)、スポット位置(座標)、及び円形マーカを示す点の座標(メモリ139またはメモリ212を参照して取得できる)を関連づけて画像記録部207に記録する。これにより、記録された画像及び円形マーカを示す点の座標を読み出して円形マーカを画像に重畳表示することができる(図27参照)。
上述のように、撮像した画像、スポット位置、円形マーカを示す点の座標等を関連づけて記録することにより円形マーカ表示等の事後的処理及び計測が可能となり、被検体に内視鏡を挿入する時間を短くでき被検体への負担を軽減することができる。なお、計測に用いる画像等は、画像記録部207に記録されたものを用いるだけでなく、画像入力インターフェース205(図2参照)を介してCD(Compact Disk),DVD(Digital Versatile Disc)等の非一時的記録媒体から取得してもよい。
<その他>
本発明の計測支援装置、内視鏡システム、及びプロセッサは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置は、内視鏡に限らず、工業用部品等の寸法、形状を計測する場合にも適用することができる。
本発明の計測支援装置、内視鏡システム、及びプロセッサは、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置は、内視鏡に限らず、工業用部品等の寸法、形状を計測する場合にも適用することができる。
以上で本発明の実施形態に関して説明してきたが、本発明は上述した態様に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 内視鏡システム
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
109 電気コネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
139 メモリ
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
205 画像入力インターフェース
206 ビデオ出力部
207 画像記録部
208 操作部
209 音声処理部
209A スピーカ
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
A01 ボタン
A02 ボタン
A02a ボタン
A02c スライドバー
A03 ボタン
A04 ボタン
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
A09 ボタン
A10 ボタン
A11 ボタン
A11a ボタン
A11c スライドバー
AL1 頂角
B01 ボタン
B02 ボタン
B03 ボタン
B04 ボタン
B05 ボタン
BT1 送気送水ボタン
BT2 吸引ボタン
BT3 機能ボタン
C01 領域
C02 領域
C03 領域
C04 領域
C05 領域
C06 領域
C07 領域
C08 領域
C09 領域
C10 領域
C11 領域
D01 画像表示領域
D02 情報表示領域
D02A 領域
D02B 領域
E1 至近端
E2 距離
E3 最遠端
G1 図形
IA 撮像範囲
L1 光軸
L2 光軸
M1 円形マーカ
M1N マーカ
M2 円形マーカ
M3 円形マーカ
M4 円形マーカ
M4N マーカ
M5 円形マーカ
M5N 円形マーカ
M6 円形マーカ
P4 スポット位置
P5 スポット位置
P6 スポット位置
Q1 矢印
Q2 矢印
Q3 矢印
R1 範囲
R2 撮像範囲
S10~S34 計測支援方法の各ステップ
SP0 スポット
SP1 スポット
SP2 スポット
SP3 スポット
SP5 スポット
SP5F スポット
SP5N スポット
SP6 スポット
T1 移動軌跡
T1E 領域
T1F 領域
T1N 領域
T2 移動軌跡
V01 領域
V02 領域
V03 領域
V04 領域
V05 領域
V06 領域
V07 領域
V08 領域
V09 領域
V10 領域
V11 領域
tm 腫瘍
tm1 腫瘍
tm2 腫瘍
tm3 腫瘍
tm4 腫瘍
tm5 腫瘍
tm6 腫瘍
tm7 腫瘍
100 内視鏡本体
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
109 電気コネクタ
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
139 メモリ
170 ライトガイド
200 プロセッサ
202 画像入力コントローラ
204 画像処理部
205 画像入力インターフェース
206 ビデオ出力部
207 画像記録部
208 操作部
209 音声処理部
209A スピーカ
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
503 集光レンズ
504 光ファイバー
506 レーザヘッド
507 補強材
508 フェルール
509 ハウジング
510 GRINレンズ
512 プリズム
A01 ボタン
A02 ボタン
A02a ボタン
A02c スライドバー
A03 ボタン
A04 ボタン
A05 ボタン
A06 ボタン
A07 ボタン
A08 ボタン
A09 ボタン
A10 ボタン
A11 ボタン
A11a ボタン
A11c スライドバー
AL1 頂角
B01 ボタン
B02 ボタン
B03 ボタン
B04 ボタン
B05 ボタン
BT1 送気送水ボタン
BT2 吸引ボタン
BT3 機能ボタン
C01 領域
C02 領域
C03 領域
C04 領域
C05 領域
C06 領域
C07 領域
C08 領域
C09 領域
C10 領域
C11 領域
D01 画像表示領域
D02 情報表示領域
D02A 領域
D02B 領域
E1 至近端
E2 距離
E3 最遠端
G1 図形
IA 撮像範囲
L1 光軸
L2 光軸
M1 円形マーカ
M1N マーカ
M2 円形マーカ
M3 円形マーカ
M4 円形マーカ
M4N マーカ
M5 円形マーカ
M5N 円形マーカ
M6 円形マーカ
P4 スポット位置
P5 スポット位置
P6 スポット位置
Q1 矢印
Q2 矢印
Q3 矢印
R1 範囲
R2 撮像範囲
S10~S34 計測支援方法の各ステップ
SP0 スポット
SP1 スポット
SP2 スポット
SP3 スポット
SP5 スポット
SP5F スポット
SP5N スポット
SP6 スポット
T1 移動軌跡
T1E 領域
T1F 領域
T1N 領域
T2 移動軌跡
V01 領域
V02 領域
V03 領域
V04 領域
V05 領域
V06 領域
V07 領域
V08 領域
V09 領域
V10 領域
V11 領域
tm 腫瘍
tm1 腫瘍
tm2 腫瘍
tm3 腫瘍
tm4 腫瘍
tm5 腫瘍
tm6 腫瘍
tm7 腫瘍
Claims (14)
- 計測補助光を出射するヘッドと、
前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して撮像する撮像部と、
前記画像における前記スポットの位置を計測する計測部と、
前記被写体における特定領域の実寸サイズを示す指標図形であって、前記画像における前記スポットの位置に応じて設定した大きさの指標図形と、前記画像の撮像距離を変化させた場合に前記スポットが前記画像を移動する軌跡を示す情報と、を前記被写体の画像において前記スポットの位置の近傍に表示させる表示制御部と、
を備え、
前記ヘッドは、前記計測補助光の光軸を前記撮像光学系の光軸を含む平面に射影した場合に前記撮像光学系の光軸に対し0度でない傾き角を有し前記撮像光学系の画角を横切る前記計測補助光を出射する計測支援装置。 - 前記表示制御部は、前記軌跡のうち前記スポットの位置の近傍に表示した前記指標図形による前記特定領域の計測が有効である領域と有効でない領域とで、前記軌跡を示す情報を異なる態様で表示させる請求項1に記載の計測支援装置。
- 前記表示制御部は、前記スポットの位置が前記画像に対して設定された計測可能領域の内側である場合に、前記指標図形による前記特定領域の計測が有効であると判断する請求項2に記載の計測支援装置。
- 前記表示制御部は、前記スポットの位置に基づいて算出した前記画像の撮像距離が計測可能範囲内である場合に、前記指標図形による前記特定領域の計測が有効であると判断する請求項2または3に記載の計測支援装置。
- 前記表示制御部は、前記指標図形による前記特定領域の計測が有効である場合と有効でない場合とで、前記軌跡を示す情報の表示に用いる文字、図形、記号、及び色彩のうち少なくとも1つを変化させる請求項2から4のいずれか1項に記載の計測支援装置。
- 前記表示制御部は、前記計測したスポットの位置において前記指標図形による前記特定領域の計測が有効でない場合に、前記スポットの位置を前記指標図形による前記特定領域の計測が有効である範囲に誘導するための情報を出力する請求項2から5のいずれか1項に記載の計測支援装置。
- 前記表示制御部は、前記指標図形による前記特定領域の大きさの計測が有効である場合と有効でない場合とで、前記指標図形を異なる態様で表示する請求項2から6のいずれか1項に記載の計測支援装置。
- 前記スポットが形成された前記被写体の画像を記録する画像記録部を備え、
前記表示制御部は前記画像記録部に記録された前記被写体の画像を読み出し、前記読み出した前記被写体の画像に前記指標図形を重畳して表示させる請求項1から7のいずれか1項に記載の計測支援装置。 - 前記画像記録部は前記被写体の画像と前記指標図形とを関連づけて記録し、
前記表示制御部は前記画像記録部に記録された前記被写体の画像と前記指標図形とを読み出し、前記読み出した前記指標図形を前記読み出した前記被写体の画像に重畳して表示させる請求項8に記載の計測支援装置。 - 請求項1から9のいずれか1項に記載の計測支援装置と、
被検体に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部と、を有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡と、
を備え、
前記ヘッドと、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部に設けられる内視鏡システム。 - 前記内視鏡は前記軌跡を示す情報を記憶する情報記憶部を備える請求項10に記載の内視鏡システム。
- 前記軌跡及び前記指標図形の表示条件を設定する表示条件設定部を備える請求項10または11に記載の内視鏡システム。
- 請求項10から12のいずれか1項に記載の内視鏡システムのプロセッサであって、前記計測部と、前記表示制御部と、を備えるプロセッサ。
- 前記内視鏡の情報を取得する情報取得部をさらに備え、
前記表示制御部は、前記取得した情報に基づいて前記表示した前記指標図形による前記特定領域の計測が有効であるか否かを判断する請求項13に記載のプロセッサ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18776898.1A EP3603478A1 (en) | 2017-03-28 | 2018-03-05 | Measurement assistance device, endoscope system and processor |
JP2019509089A JP6666519B2 (ja) | 2017-03-28 | 2018-03-05 | 計測支援装置、内視鏡システム、及びプロセッサ |
CN201880017687.6A CN110461204B (zh) | 2017-03-28 | 2018-03-05 | 测量辅助装置、内窥镜***及处理器 |
US16/543,618 US11490785B2 (en) | 2017-03-28 | 2019-08-19 | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-063544 | 2017-03-28 | ||
JP2017063544 | 2017-03-28 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/543,618 Continuation US11490785B2 (en) | 2017-03-28 | 2019-08-19 | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018180250A1 true WO2018180250A1 (ja) | 2018-10-04 |
Family
ID=63676981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/008356 WO2018180250A1 (ja) | 2017-03-28 | 2018-03-05 | 計測支援装置、内視鏡システム、及びプロセッサ |
Country Status (5)
Country | Link |
---|---|
US (1) | US11490785B2 (ja) |
EP (1) | EP3603478A1 (ja) |
JP (1) | JP6666519B2 (ja) |
CN (1) | CN110461204B (ja) |
WO (1) | WO2018180250A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020189334A1 (ja) * | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム |
WO2021029277A1 (ja) * | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN113473899A (zh) * | 2019-02-26 | 2021-10-01 | 奥林巴斯株式会社 | 内窥镜装置以及程序 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110662476B (zh) * | 2017-05-25 | 2022-02-11 | 日本电气株式会社 | 信息处理装置、控制方法和程序 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5145911B1 (ja) * | 1967-08-08 | 1976-12-06 | ||
JPS6273223A (ja) * | 1985-09-26 | 1987-04-03 | Toshiba Corp | 内視鏡装置 |
JPH03231622A (ja) * | 1990-02-06 | 1991-10-15 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH07136101A (ja) | 1993-11-16 | 1995-05-30 | Sony Corp | 計測機能付き内視鏡 |
US5693003A (en) * | 1994-11-03 | 1997-12-02 | Richard Wolf Gmbh | Endoscope and method for determining object distances |
JP2008122759A (ja) | 2006-11-14 | 2008-05-29 | Olympus Corp | 計測用内視鏡装置、プログラム、および記録媒体 |
Family Cites Families (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3595220A (en) * | 1967-08-08 | 1971-07-27 | Olympus Optical Co | Device for measuring the distance of an object from the forward end portion of an endoscope |
US3817635A (en) | 1967-08-08 | 1974-06-18 | Olumpus Co Ltd | Device for measuring the actual dimension of an object at the forward end portion of an endoscope |
JPS5145911A (ja) | 1974-10-17 | 1976-04-19 | Matsushita Electric Ind Co Ltd | Terebijonjuzoki |
JPS6249208A (ja) * | 1985-08-29 | 1987-03-03 | Toshiba Corp | 距離測定機能付内視鏡 |
DE3629435A1 (de) * | 1985-08-29 | 1987-03-12 | Toshiba Kawasaki Kk | Endoskopanordnung |
US4986262A (en) | 1987-03-31 | 1991-01-22 | Kabushiki Kaisha Toshiba | Measuring endoscope |
DE3723228A1 (de) | 1987-07-14 | 1989-01-26 | Wolf Gmbh Richard | Endoskopische fernsehanlage |
US4935810A (en) | 1988-10-26 | 1990-06-19 | Olympus Optical Co., Ltd. | Three-dimensional measuring apparatus |
JPH02216404A (ja) | 1989-02-17 | 1990-08-29 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
US4980763A (en) * | 1989-06-12 | 1990-12-25 | Welch Allyn, Inc. | System for measuring objects viewed through a borescope |
JPH0473763A (ja) | 1990-07-16 | 1992-03-09 | Kansai Paint Co Ltd | 光硬化性電着塗料組成物 |
JPH04323505A (ja) | 1991-04-23 | 1992-11-12 | Minolta Camera Co Ltd | 測長装置を内蔵したカメラ |
US5669871A (en) * | 1994-02-21 | 1997-09-23 | Olympus Optical Co., Ltd. | Endoscope measurement apparatus for calculating approximate expression of line projected onto object to measure depth of recess or the like |
JP3720727B2 (ja) | 2001-05-07 | 2005-11-30 | オリンパス株式会社 | 内視鏡形状検出装置 |
JP2002336188A (ja) | 2001-05-21 | 2002-11-26 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
AU2002322410B8 (en) | 2001-07-06 | 2008-05-01 | Amin, Himanshu S | Imaging system and methodology employing reciprocal space optical design |
US8038602B2 (en) | 2001-10-19 | 2011-10-18 | Visionscope Llc | Portable imaging system employing a miniature endoscope |
DE102004008164B3 (de) | 2004-02-11 | 2005-10-13 | Karl Storz Gmbh & Co. Kg | Verfahren und Vorrichtung zum Erstellen zumindest eines Ausschnitts eines virtuellen 3D-Modells eines Körperinnenraums |
FR2868550B1 (fr) * | 2004-04-02 | 2006-09-29 | Tokendo Soc Par Actions Simpli | Dispositif de metrologie par pointage laser pour sonde videoendoscopique |
JP2005319086A (ja) | 2004-05-10 | 2005-11-17 | Fujinon Corp | 体腔内観察システム |
US20100272318A1 (en) | 2005-05-13 | 2010-10-28 | G.I. View Ltd | Endoscopic measurement techniques |
US7312879B2 (en) | 2005-08-23 | 2007-12-25 | University Of Washington | Distance determination in a scanned beam image capture device |
AT502919B1 (de) | 2005-12-14 | 2010-11-15 | Univ Innsbruck | Medizinisches navigationssystem |
EP1973465A4 (en) * | 2005-12-29 | 2009-12-16 | Given Imaging Ltd | SYSTEM, DEVICE AND METHOD FOR ESTIMATING THE SIZE OF AN OBJECT IN A BODY LIGHT |
JP5044126B2 (ja) | 2006-02-23 | 2012-10-10 | オリンパス株式会社 | 内視鏡観察装置および画像形成を行う内視鏡の作動方法 |
US20100152538A1 (en) | 2008-12-17 | 2010-06-17 | Gleason Christopher M | Device for preventing endoscope damage by errant laser fire in a surgical laser |
JP2011000258A (ja) | 2009-06-18 | 2011-01-06 | Fujifilm Corp | 内視鏡システム、内視鏡、並びに距離・照射角度測定方法 |
JP5767775B2 (ja) | 2009-07-06 | 2015-08-19 | 富士フイルム株式会社 | 内視鏡装置 |
JP5441527B2 (ja) | 2009-07-07 | 2014-03-12 | エフ・エーシステムエンジニアリング株式会社 | 立体映像表示装置の立体スケール像形成装置 |
JP2011069965A (ja) | 2009-09-25 | 2011-04-07 | Japan Atomic Energy Agency | 撮像装置、画像表示方法、及び画像表示プログラムが記録された記録媒体 |
JP5576739B2 (ja) | 2010-08-04 | 2014-08-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、撮像装置及びプログラム |
JP5698476B2 (ja) | 2010-08-06 | 2015-04-08 | オリンパス株式会社 | 内視鏡システム、内視鏡システムの作動方法及び撮像装置 |
CN102445148A (zh) * | 2010-09-30 | 2012-05-09 | 西门子公司 | 一种获取位置参数的方法、装置及*** |
WO2012107041A1 (de) | 2011-02-11 | 2012-08-16 | Olaf Christiansen | Endoskopisches bildverarbeitungssystem mit mitteln, welche im erfassungsbereich einer optischen digitalkamera eine geometrische vermessungsinformation erzeugen |
JP5684033B2 (ja) | 2011-04-11 | 2015-03-11 | オリンパス株式会社 | 撮像装置及び内視鏡装置の作動方法 |
US20130027548A1 (en) * | 2011-07-28 | 2013-01-31 | Apple Inc. | Depth perception device and system |
US20130110005A1 (en) | 2011-10-27 | 2013-05-02 | Covidien Lp | Point size light illumination in metrology systems for in-situ surgical applications |
JP2013178417A (ja) * | 2012-02-29 | 2013-09-09 | Hoya Corp | キャリブレーション装置 |
US10317197B2 (en) | 2012-05-09 | 2019-06-11 | Koninklijke Philips N.V. | System and method for stabilizing optical shape sensing |
US9498182B2 (en) * | 2012-05-22 | 2016-11-22 | Covidien Lp | Systems and methods for planning and navigation |
JP2014171511A (ja) | 2013-03-06 | 2014-09-22 | Olympus Corp | 被検体観察システム及びその方法 |
JP6150583B2 (ja) | 2013-03-27 | 2017-06-21 | オリンパス株式会社 | 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法 |
TR201807093T4 (tr) | 2013-06-03 | 2018-06-21 | Faculty Physicians And Surgeons Of Loma Linda Univ School Of Medicine | Az florlu veya florsuza yakın perkütan cerrahi erişimi için cihazlar. |
DE102013016752A1 (de) | 2013-09-03 | 2015-03-05 | Universität Stuttgart | Verfahren und Anordnung zur robusten One-shot-Interferometrie, insbesondere auch zur optischen Kohärenz-Tomografie nach dem Spatial-domain-Ansatz (SD-OCT) |
JP5931031B2 (ja) | 2013-09-23 | 2016-06-08 | 富士フイルム株式会社 | 内視鏡システム及び内視鏡システムの作動方法 |
CN105531720B (zh) | 2013-10-02 | 2019-05-17 | 基文影像公司 | 用于体内对象的大小估计的***和方法 |
CN203693533U (zh) | 2013-12-30 | 2014-07-09 | 深圳市开立科技有限公司 | 一种内窥镜***、内窥镜冷光源及其聚光透镜 |
EP2903250A1 (de) * | 2014-01-31 | 2015-08-05 | WolfVision Innovation GmbH | Bildaufnahmeverfahren mit adaptiver Markierlichtemission und ebensolches Bildaufnahmegerät |
CN108830825B (zh) | 2014-03-31 | 2022-03-25 | 富士胶片株式会社 | 内窥镜***及其工作方法 |
US9254075B2 (en) | 2014-05-04 | 2016-02-09 | Gyrus Acmi, Inc. | Location of fragments during lithotripsy |
CN104146711A (zh) | 2014-08-01 | 2014-11-19 | 深圳市开立科技有限公司 | 一种基于内窥镜的病灶尺寸测量方法和*** |
EP3150103A4 (en) | 2014-09-25 | 2018-02-21 | Olympus Corporation | Endoscope system |
US10058247B2 (en) | 2015-05-20 | 2018-08-28 | Comprehensive Telemedicine | Multipurpose diagnostic examination apparatus and system |
CN105105852A (zh) | 2015-09-16 | 2015-12-02 | 广州乔铁医疗科技有限公司 | 具有测距功能的3d胆道镜*** |
WO2017168986A1 (ja) | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
CN106419821B (zh) | 2016-08-31 | 2018-06-08 | 北京大学第三医院 | 一种关节镜下测量关节内结构的方法和装置 |
JP6180612B2 (ja) | 2016-11-16 | 2017-08-16 | 富士フイルム株式会社 | 内視鏡装置 |
-
2018
- 2018-03-05 WO PCT/JP2018/008356 patent/WO2018180250A1/ja unknown
- 2018-03-05 EP EP18776898.1A patent/EP3603478A1/en active Pending
- 2018-03-05 JP JP2019509089A patent/JP6666519B2/ja active Active
- 2018-03-05 CN CN201880017687.6A patent/CN110461204B/zh active Active
-
2019
- 2019-08-19 US US16/543,618 patent/US11490785B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5145911B1 (ja) * | 1967-08-08 | 1976-12-06 | ||
JPS6273223A (ja) * | 1985-09-26 | 1987-04-03 | Toshiba Corp | 内視鏡装置 |
JPH03231622A (ja) * | 1990-02-06 | 1991-10-15 | Olympus Optical Co Ltd | 内視鏡装置 |
JPH07136101A (ja) | 1993-11-16 | 1995-05-30 | Sony Corp | 計測機能付き内視鏡 |
US5693003A (en) * | 1994-11-03 | 1997-12-02 | Richard Wolf Gmbh | Endoscope and method for determining object distances |
JP2008122759A (ja) | 2006-11-14 | 2008-05-29 | Olympus Corp | 計測用内視鏡装置、プログラム、および記録媒体 |
Non-Patent Citations (1)
Title |
---|
See also references of EP3603478A4 |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113473899A (zh) * | 2019-02-26 | 2021-10-01 | 奥林巴斯株式会社 | 内窥镜装置以及程序 |
JPWO2020174572A1 (ja) * | 2019-02-26 | 2021-12-16 | オリンパス株式会社 | 内視鏡装置、プログラム、内視鏡装置の制御方法及び処理装置 |
JP7137684B2 (ja) | 2019-02-26 | 2022-09-14 | オリンパス株式会社 | 内視鏡装置、プログラム、内視鏡装置の制御方法及び処理装置 |
WO2020189334A1 (ja) * | 2019-03-20 | 2020-09-24 | 富士フイルム株式会社 | 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム |
CN113631076A (zh) * | 2019-03-20 | 2021-11-09 | 富士胶片株式会社 | 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及医疗图像处理装置用程序 |
JPWO2020189334A1 (ja) * | 2019-03-20 | 2021-12-23 | 富士フイルム株式会社 | 内視鏡用プロセッサ装置、医療画像処理装置及びその作動方法並びに医療画像処理装置用プログラム |
CN113631076B (zh) * | 2019-03-20 | 2024-05-07 | 富士胶片株式会社 | 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质 |
WO2021029277A1 (ja) * | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JPWO2021029277A1 (ja) * | 2019-08-13 | 2021-02-18 | ||
CN114207499A (zh) * | 2019-08-13 | 2022-03-18 | 富士胶片株式会社 | 内窥镜***及其工作方法 |
JP7116264B2 (ja) | 2019-08-13 | 2022-08-09 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Also Published As
Publication number | Publication date |
---|---|
US11490785B2 (en) | 2022-11-08 |
JPWO2018180250A1 (ja) | 2020-01-16 |
JP6666519B2 (ja) | 2020-03-13 |
EP3603478A4 (en) | 2020-02-05 |
CN110461204A (zh) | 2019-11-15 |
US20190365200A1 (en) | 2019-12-05 |
CN110461204B (zh) | 2021-05-18 |
EP3603478A1 (en) | 2020-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018180249A1 (ja) | 計測支援装置、内視鏡システム、及びプロセッサ | |
WO2018051680A1 (ja) | 内視鏡システム | |
JP6964592B2 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
US11490785B2 (en) | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light | |
JP6898425B2 (ja) | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ | |
JP6644899B2 (ja) | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ | |
JPWO2019017018A1 (ja) | 内視鏡装置及び計測支援方法 | |
WO2017212909A1 (ja) | 撮像素子、撮像装置、電子機器 | |
JP2019187598A (ja) | 内視鏡装置 | |
JP2022027501A (ja) | 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム | |
JP7029359B2 (ja) | 内視鏡装置及びその作動方法並び内視鏡装置用プログラム | |
JP2006110055A (ja) | 内視鏡装置及び内視鏡システム | |
JP2008229219A (ja) | 電子内視鏡システム | |
JP2005111110A (ja) | 内視鏡システム | |
JP7343594B2 (ja) | 内視鏡 | |
WO2021039471A1 (ja) | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム | |
JP2011175172A (ja) | デジタルカメラ | |
JP2017086803A (ja) | 計測装置、内視鏡システム、及び計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18776898 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019509089 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018776898 Country of ref document: EP Effective date: 20191028 |