WO2018055933A1 - 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 - Google Patents
計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 Download PDFInfo
- Publication number
- WO2018055933A1 WO2018055933A1 PCT/JP2017/028646 JP2017028646W WO2018055933A1 WO 2018055933 A1 WO2018055933 A1 WO 2018055933A1 JP 2017028646 W JP2017028646 W JP 2017028646W WO 2018055933 A1 WO2018055933 A1 WO 2018055933A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- measurement
- image
- subject
- edge
- spot
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
Definitions
- the present invention relates to a measurement support apparatus, an endoscope system, a processor of an endoscope system, and a measurement support method, and in particular, a measurement support apparatus that measures the size of a subject using measurement auxiliary light, an endoscope system,
- the present invention relates to an endoscope system processor and a measurement support method.
- Patent Document 2 describes a technique for obtaining a subject distance using measurement auxiliary light.
- the irradiated surface is observed by irradiating a laser beam from an optical fiber.
- the subject distance can be known from the amount of deviation by calibrating the amount of deviation in advance. it can.
- Patent Document 1 described above, two cameras are required to measure the distance with a stereo camera, and the endoscope tip becomes large, so the burden on the subject is large. Furthermore, since the distance measurement is performed and the size of the mark is calculated based on the result, the processing is complicated.
- Patent Document 2 the technique described in Patent Document 2 is for distance measurement, and the processing is complicated and the length and size of the subject cannot be directly obtained. Furthermore, since the laser beam is irradiated parallel to the optical axis of the imaging optical system, when the observation distance is short (when the subject is located close to the distal end of the endoscope), the laser beam is in the field of view of the imaging optical system. There was a problem that it could not be measured. Furthermore, there is a problem that the sensitivity of the spot position change with respect to the subject distance change is low and the measurement accuracy is low.
- the conventional technique cannot measure the size (length) of the subject easily and with high accuracy.
- the present invention has been made in view of such circumstances, and provides a measurement support apparatus, an endoscope system, an endoscope system processor, and a measurement support method that can easily and accurately measure the size of a subject. For the purpose.
- the measurement support apparatus includes a head that emits light emitted from a light source as measurement auxiliary light having a spread due to divergence, and a spot formed by the measurement auxiliary light.
- An imaging unit that acquires an image of a formed subject via an imaging optical system and an imaging device, and a position of an edge specific point that is a point on the edge of a spot on the imaging device is measured based on the acquired image of the subject.
- a measurement unit a storage unit that stores information indicating the relationship between the dimension of the subject on the image sensor and the actual size of the subject in association with the position of the edge specific point on the image sensor, and the position of the measured edge specific point Information indicating the relationship from the storage unit based on the obtained information, generating a marker indicating the actual size based on the acquired information, an image of the subject on which the spot is formed, and a live image
- a display control unit that displays the marker on the display device, the display control unit displaying the marker in the vicinity of the edge specific point in the image of the subject, and the head has at least a part of the edge of the imaging optical system.
- Measurement auxiliary light that forms an inclination angle other than 0 degrees with the optical axis and at least a part of the edge crosses the angle of view of the imaging optical system is emitted.
- the user can easily measure the size of the subject by comparing the subject (measurement object) with the marker. it can.
- the position of the spot is measured, the information stored in the storage unit is acquired based on the measurement result, and the marker is generated and displayed, there is no need for distance measurement as in Patent Documents 1 and 2 described above,
- the device configuration is simple and measurement is easy.
- the measurement auxiliary light has an inclination angle that is not 0 degrees with respect to the optical axis of the imaging optical system, and at least a part of the measurement auxiliary light crosses the angle of view of the imaging optical system.
- the marker By generating and displaying the marker based on the position of the edge specific point in this way, even when the measurement auxiliary light is emitted straight (when the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system), the marker is oblique The same effect can be obtained as when the light is emitted to (the optical axis of the measurement auxiliary light is not parallel to the optical axis of the imaging optical system).
- any point on the edge can be set as an “edge specific point”.
- a position close to the center of the imaging optical system, a point close to the center of the subject, a point with high contrast on the edge, or the like can be set as the edge specifying point.
- the measurement support device can easily and accurately measure the size of the subject.
- the specific value of “actual size” can be set according to conditions such as the type of subject and the purpose of measurement.
- the “information indicating the relationship between the dimension of the subject on the image sensor and the actual size of the subject” is obtained by, for example, photographing a measurement figure in which a pattern corresponding to the actual size is regularly recorded. Can be acquired.
- the marker is displayed near the spot, but the marker center may be displayed in alignment with the center of the spot, or the marker may be displayed at a position away from the spot.
- laser light, LED light, or the like can be used as measurement auxiliary light.
- the measurement support apparatus in the first aspect, at least a part of the measurement auxiliary light intersects the optical axis of the imaging optical system.
- the distortion becomes large.
- the edge specific point is appropriately set (for example, By setting the edge at a point where the edge intersects the optical axis of the imaging optical system, measurement can be performed with high accuracy at a position close to the center of the image.
- the edge specifying point is a point closest to the optical axis of the imaging optical system among the edges of the spot on the imaging element.
- the distortion becomes large.
- the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system.
- the head can be arranged straight (parallel to the optical axis of the imaging optical system), and the tip of the measurement support apparatus The portion can be reduced in size (thinner diameter).
- the measurement assisting apparatus is the measurement assist in which the head emits measurement auxiliary light from a plurality of positions and the marker generation unit is emitted from the plurality of positions. A marker is generated corresponding to each light.
- the markers are generated corresponding to each of the measurement auxiliary lights emitted from a plurality of positions, the size of the subject can be easily and accurately measured by the plurality of markers.
- an endoscope system includes the measurement support apparatus according to any one of the first to fifth aspects. Since the endoscope system according to the sixth aspect includes the measurement support device according to any one of the first to fifth aspects, the size of the subject can be measured easily and with high accuracy.
- An endoscope system is the insertion part to be inserted into the subject in the sixth aspect, wherein the distal end hard part, the bending part connected to the proximal end side of the distal end hard part, An endoscope having an insertion portion having a flexible portion connected to the proximal end side of the bending portion, and an operation portion connected to the proximal end side of the insertion portion, an emission portion of measurement auxiliary light, and a spot And an imaging lens that forms an optical image on the imaging device is provided on the distal end side end surface of the distal end hard portion.
- the seventh aspect defines one aspect of the configuration of the distal end hard portion of the endoscope.
- An endoscope system includes, in the sixth or seventh aspect, an illumination light source that irradiates illumination light, and a control unit that controls the illuminance of the illumination light.
- the illuminance of the illumination light is lowered compared to the normal observation mode in which the subject is irradiated with illumination light and the subject is observed. If the illuminance of the illumination light at the time of imaging the spot is too high, the contrast between the spot and the other part in the obtained image will be small and spot recognition will not be possible, and as a result it will be difficult to detect the edge specific point.
- the marker may not be displayed, in the eighth mode, in the measurement mode in which the imaging unit acquires a spot image by the imaging unit, the normal observation mode in which the subject is irradiated with illumination light and the subject is observed. Since the illuminance of the illumination light is reduced more than that, a clear image of the spot can be taken, thereby enabling highly accurate measurement.
- how much the illuminance of the illumination light is lowered in the measurement mode may be set according to the type, size, brightness, etc. of the subject, and the illumination light may be turned off as necessary. .
- An endoscope system is the endoscope system according to any one of the sixth to eighth aspects, wherein the imaging device is a plurality of pixels composed of a plurality of light receiving elements arranged two-dimensionally and a plurality of pixels.
- the imaging device is a plurality of pixels composed of a plurality of light receiving elements arranged two-dimensionally and a plurality of pixels.
- a color imaging device including a plurality of filter color filters, and the measurement unit includes a filter color filter having the highest sensitivity to the wavelength of the measurement auxiliary light among the plurality of filter colors. The position of the edge specific point is measured based on the image generated from the image signal of the pixel.
- an edge specific point is detected based on an image generated from an image signal of a pixel in which a color filter of a filter color having the highest sensitivity to the wavelength of the measurement auxiliary light among a plurality of filter colors is arranged. Since the position is measured, the position of the edge specific point can be measured with high accuracy from an image with a clear spot, and thereby the size of the subject can be measured with high accuracy.
- a processor is a processor of an endoscope system according to any one of the sixth to ninth aspects, and is a light source drive that drives a light source.
- a measurement unit, a measurement unit, a storage unit, a marker generation unit, and a display control unit is a processor of an endoscope system according to any one of the sixth to ninth aspects, and is a light source drive that drives a light source.
- a measurement unit, a measurement unit, a storage unit, a marker generation unit, and a display control unit is a display control unit.
- the size of the subject can be measured easily and with high accuracy.
- the light source of the measurement auxiliary light is disposed in, for example, the scope (the hand operation unit of the endoscope) and mounted on the electric circuit board unit of the scope, and the electric signal from the processor (light source driving unit) Accordingly, lighting, extinguishing, and light intensity are controlled.
- the processor according to the eleventh aspect is that the measurement unit recognizes the shape of the spot on the image sensor and measures the edge specific point based on the recognition result. According to the eleventh aspect, it is possible to accurately detect the edge specific point, thereby displaying an appropriately sized marker and measuring the size of the subject with high accuracy.
- the processor according to the twelfth aspect is the laser driving part for driving the laser light source in the tenth or eleventh aspect.
- a measurement support method is a spot formed by a head that emits light emitted from a light source as measurement auxiliary light having a spread due to divergence, and the measurement auxiliary light.
- An image capturing unit that acquires an image of a captured subject via an imaging optical system and an image sensor, and information indicating the relationship between the size of the subject on the image sensor and the actual size of the subject on a spot edge of the image sensor.
- a measurement support method using a measurement support apparatus including a storage unit that stores information in association with the position of an edge specific point, wherein at least some of the edges from the head are not 0 degrees from the optical axis of the imaging optical system.
- a measurement auxiliary light emitting process for emitting measurement auxiliary light that forms an inclination angle and at least some of the edges cross the angle of view of the imaging optical system, and a subject on which spots are formed by the measurement auxiliary light
- An imaging process for acquiring an image via the imaging unit, a measurement process for measuring the position of the edge specific point based on the image of the subject, and information indicating a relationship from the storage unit based on the measured position of the edge specific point
- a marker generating unit that generates a marker indicating the actual size based on the acquired information
- a display control process for displaying the image of the subject on which the spot is formed and the generated marker on the display device, A display control step of displaying a marker in the vicinity of the spot.
- the size of a subject can be measured easily and with high accuracy.
- FIG. 1 is a diagram showing an overall configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing a configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 3 is a diagram showing the configuration of the end surface on the front end side of the hard end portion.
- FIG. 4 is a diagram showing another configuration of the distal end side end surface of the distal end hard portion.
- FIG. 5 is a cross-sectional view showing the configuration of the laser module.
- FIG. 6 is a cross-sectional view showing the configuration of the laser light source module.
- FIG. 7 is a diagram illustrating the relationship between the optical axis of the imaging optical system and the optical axis of the measurement auxiliary light.
- FIG. 1 is a diagram showing an overall configuration of an endoscope system according to the first embodiment of the present invention.
- FIG. 2 is a block diagram showing a configuration of the endoscope system according to the first embodiment of the present invention.
- FIG. 8 is a diagram illustrating a state where the insertion portion of the endoscope is inserted into the subject.
- FIG. 9 is a flowchart showing processing of the measurement support method.
- FIG. 10 is a diagram illustrating a change in the position of the edge specific point according to the observation distance.
- FIG. 11 is a diagram illustrating the relationship between the wavelength and the sensitivity of the color filter.
- FIG. 12 is a diagram illustrating a state in which a marker is displayed at the edge specific point closest to the optical axis of the imaging optical system.
- FIG. 13 is a diagram illustrating a state in which a marker is displayed at an edge specific point away from a point closest to the optical axis of the imaging optical system.
- FIG. 14 is a diagram illustrating a state in which a marker is displayed at a position away from the edge specific point.
- FIG. 15 is a diagram illustrating a state where a marker deformed according to the distortion aberration of the imaging optical system is displayed.
- FIG. 16 is a flowchart illustrating another example of the measurement support method.
- FIG. 17 is a diagram illustrating a state in which the relationship between the position of the edge specific point and the size of the marker is measured.
- FIG. 18 is another diagram illustrating a state in which the relationship between the position of the edge specific point and the size of the marker is measured.
- FIG. 19 is a diagram illustrating the relationship between the X-direction pixel position of the spot and the number of pixels in the X-axis direction of the marker.
- FIG. 20 is a diagram illustrating the relationship between the Y-direction pixel position of the spot and the number of pixels in the X-axis direction of the marker.
- FIG. 21 is a diagram illustrating the relationship between the X-direction pixel position of the spot and the number of pixels in the Y-axis direction of the marker.
- FIG. 22 is a diagram illustrating the relationship between the Y-direction pixel position of the spot and the number of pixels in the Y-axis direction of the marker.
- FIG. 23 is a block diagram showing a configuration of an endoscope system according to the second embodiment of the present invention.
- FIG. 24 is a diagram illustrating the relationship between the optical axis of the imaging optical system and the optical axis of measurement auxiliary light.
- FIG. 25 is a diagram illustrating a marker display example according to the second embodiment.
- FIG. 26 is another diagram showing an example of marker display in the second embodiment.
- FIG. 1 is an external view showing an endoscope system 10 (measurement support apparatus, endoscope system, endoscope system processor) according to the first embodiment, and FIG. It is a block diagram which shows a part structure.
- the endoscope system 10 includes an endoscope body 110 (endoscope), an endoscope processor 200 (processor of the endoscope system), a light source device 300, and a monitor 400.
- the endoscope apparatus 100 is included.
- the endoscope main body 110 includes a hand operation unit 102 (operation unit) and an insertion unit 104 (insertion unit) provided continuously to the hand operation unit 102.
- the operator grasps and operates the hand operation unit 102, and inserts the insertion unit 104 into the body of the subject to perform observation.
- the insertion unit 104 includes a soft part 112 (soft part), a bending part 114 (curving part), and a hard tip part 116 (hard tip part) in this order from the hand operation part 102 side.
- the distal end hard part 116 is provided with an imaging optical system 130 (imaging optical system, imaging part), an illumination part 123, a forceps port 126, a laser module 500, and the like (see FIGS. 1 to 3).
- either or both visible light and infrared light can be emitted from the illumination lenses 123A and 123B of the illumination unit 123 by operating the operation unit 208 (see FIG. 2).
- cleaning water is discharged from a water supply nozzle (not shown), and the imaging lens 132 (imaging lens) of the imaging optical system 130 and the illumination lenses 123A and 123B can be cleaned.
- An unillustrated conduit is connected to the forceps port 126 opened at the distal end hard portion 116, and a treatment tool (not shown) for tumor removal or the like is inserted into the conduit, and is appropriately advanced and retracted to the subject. Necessary measures can be taken.
- an imaging lens 132 is disposed on the distal end surface 116A of the distal rigid portion 116, and a CMOS (Complementary MOS) type imaging device 134 (imaging device) is located behind the imaging lens 132.
- a color imaging device, an imaging unit), a drive circuit 136, and an AFE 138 are arranged to output an image signal.
- the image sensor 134 is a color image sensor, and is arranged in a matrix (two-dimensional array) with a specific pattern arrangement (Bayer arrangement, G stripe R / B complete checkerboard, X-Trans (registered trademark) arrangement, honeycomb arrangement, etc.).
- each pixel includes a plurality of pixels including a plurality of light receiving elements, and each pixel includes a microlens, a red (R), green (G), or blue (B) color filter and a photoelectric conversion unit (such as a photodiode). It is out.
- the imaging optical system 130 can generate a color image from pixel signals of three colors of red, green, and blue, and can generate an image from pixel signals of any one or two colors of red, green, and blue. You can also.
- the image sensor 134 is a CMOS image sensor.
- the image sensor 134 may be a CCD (Charge Coupled Device) type.
- An image of a subject (tumor part, lesion part) or an optical image of a spot (described later) is formed on the light receiving surface (imaging surface) of the image sensor 134 by the imaging lens 132 and converted into an electrical signal, and a signal cable (not shown) Is output to the endoscope processor 200 via the video signal and converted into a video signal.
- a signal cable (not shown) Is output to the endoscope processor 200 via the video signal and converted into a video signal.
- an observation image or the like is displayed on the monitor 400 connected to the endoscope processor 200.
- illumination lenses 123A (for visible light) and 123B (for infrared light) of the illumination unit 123 are provided adjacent to the imaging lens 132.
- the light guide 170 is inserted into the insertion unit 104, the hand operation unit 102, and the universal cable 106.
- the incident end is disposed in the light guide connector 108.
- the front end surface 116A is further provided with a laser head 506 (head, measurement auxiliary light emitting portion) of the laser module 500, and irradiated with spot light (measurement auxiliary light).
- the laser head 506 is provided separately from the forceps port 126 as shown in FIG. 3, but in the measurement support apparatus and the endoscope system according to the present invention, as shown in FIG.
- the laser head 506 may be inserted in a duct (not shown) communicating with the forceps port 126 opened at the distal end hard portion 116 so that the laser head 506 can be inserted and removed. In this case, there is no need to provide a dedicated pipeline for the laser head 506, and the pipeline communicating with the forceps port 126 can be shared with other treatment tools.
- the laser module 500 includes a laser light source module 502 (light source, laser light source), an optical fiber 504 (optical fiber), and a laser head 506 (head).
- the proximal end side (laser light source module 502 side) of the optical fiber 504 is covered with a fiber sheath 501, and the distal end side (side emitting laser light) is inserted into a ferrule 508 (ferrule) and bonded with an adhesive, and the end face is polished. Is done.
- the ferrule 508 is a member for holding and connecting the optical fiber 504, and a hole for inserting the optical fiber 504 is opened in the axial direction (left-right direction in FIG.
- a reinforcing material 507 is provided outside the ferrule 508 and the fiber sheath 501 to protect the optical fiber 504 and the like.
- the ferrule 508 is housed in a housing 509 and constitutes a laser head 506 together with the reinforcing member 507 and the fiber outer shell 501.
- a ferrule 508 having a diameter of 0.8 mm to 1.25 mm can be used.
- the one having a small diameter is preferable.
- the overall diameter of the laser head 506 can be 1.0 mm to 1.5 mm.
- the laser module 500 configured as described above is attached to the insertion portion 104.
- the laser light source module 502 is disposed on the hand operation unit 102 (scope) and mounted on the electric circuit board unit.
- the laser head 506 is provided at the distal end hard portion 116, and the optical fiber 504 guides the laser light from the laser light source module 502 to the laser head 506.
- the laser light source module 502 may be provided in the light source device 300 and the laser light may be guided to the distal end hard portion 116 by the optical fiber 504.
- the laser light source module 502 includes a VLD (Visible Laser Diode) that is supplied with power from a power source (not shown) and emits laser light in a visible wavelength region, and a condenser lens 503 that condenses the laser light emitted from the VLD. It is a pigtail type module (TOSA; Transmitter Optical Sub Assembly) provided (see FIG. 6).
- the laser beam can be emitted as necessary under the control of the endoscope processor 200 (CPU 210), and is normally emitted when not emitting by emitting the laser beam only when measurement is performed by spot light irradiation (measurement mode). It can be used in the same manner as the endoscope (normal mode).
- the laser light source module 502 is controlled to be turned on / off and light intensity in accordance with an electrical signal from the endoscope processor 200 (light source driving unit, laser driving unit).
- the laser beam emitted from the VLD can be a red laser beam having a wavelength of 650 nm by a semiconductor laser.
- the wavelength of the laser beam in the present invention is not limited to this mode.
- the laser beam condensed by the condenser lens 503 is guided by the optical fiber 504.
- an optical fiber for propagating laser light in a single transverse mode may be used.
- the laser light is used.
- An optical fiber that propagates in multimode may be used.
- a relay connector may be provided in the middle of the optical fiber 504.
- an LED Light-Emitting Diode
- the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold.
- a lens or a lens group
- a concave lens may be disposed in front of the emission end of the optical fiber 504 (left side in FIG. 5).
- FIG. 7 is a conceptual diagram showing the relationship between the imaging optical system 130 and the measurement auxiliary light.
- the imaging optical system 130 has a shooting angle of view ⁇
- the measurement auxiliary light has a beam divergence angle ⁇ due to divergence.
- the optical axis L1 of the measurement auxiliary light and the optical axis L2 of the imaging optical system 130 are parallel.
- the edge E1 enters the angle of view at the observation distance D1 from the distal end surface 116A (point P4), and the edge E1 intersects the optical axis L2 of the imaging optical system 130 at the observation distance D2 (point P5). ). Therefore, if the point on the edge E1 in the spot formed by the measurement auxiliary light is an “edge specific point”, the edge specific point is the closest point to the optical axis L2 of the imaging optical system.
- the point P5 can be set as an edge specific point by adjusting the observation distance and the observation direction (by moving the insertion portion 104 forward and backward and / or bending), it is possible to measure with high accuracy at the center of the image with little aberration.
- the optical axis L1 of the measurement auxiliary light is parallel to the optical axis L2 of the imaging optical system.
- these optical axes are not limited to being parallel to each other.
- the measurement may be performed at a central portion with a small aberration in the photographing field angle ⁇ .
- An example of the beam divergence angle of the measurement auxiliary light is as follows.
- the exit angle in the air of the light irradiated from the optical fiber having a numerical aperture of 0.22 is 25.4 deg.
- the distance from the end of the optical fiber is The spot diameter is about 5 mm at a position of 5.2 mm.
- the light source device 300 includes an illumination light source 310 (illumination light source), a diaphragm 330, a condenser lens 340, a light source control unit 350 (control unit), and the like.
- Light or infrared light is incident on the light guide 170.
- the light source 310 includes a visible light source 310A (illumination light source) and an infrared light source 310B (illumination light source), and can irradiate one or both of visible light and infrared light.
- the illuminance of the illumination light from the visible light source 310A and the infrared light source 310B is controlled by the light source control unit 350 and, as will be described later, the illuminance of the illumination light as necessary when imaging a spot (in the measurement mode). Can be lowered or the lighting can be stopped.
- illumination light emitted from the light source device 300 is transmitted to the illumination lenses 123A and 123B via the light guide 170, and the illumination lenses 123A, The observation range is irradiated from 123B.
- the endoscope processor 200 receives an image signal output from the endoscope apparatus 100 via the image input controller 202, and performs image processing necessary for the image processing unit 204 (measurement unit, marker generation unit, display control unit). And output via the video output unit 206. Thereby, an observation image is displayed on the monitor 400 (display device).
- a CPU 210 CPU: Central Processing Unit
- measurement unit, marker generation unit, display control unit CPU: Central Processing Unit
- the image processing unit 204 in addition to image processing such as white balance adjustment, switching of the image to be displayed on the monitor 400, superimposed display, electronic zoom processing, image display according to the operation mode, a specific component (for example, luminance) from the image signal Signal). Further, the image processing unit 204 measures the spot position on the imaging plane of the image sensor 134, the position of the edge specific point, and calculates the marker size (number of pixels) based on the measured position (described later).
- the memory 212 storage unit stores in advance information necessary for processing performed by the CPU 210 and the image processing unit 204, for example, the relationship between the position of the edge specific point on the imaging plane of the image sensor 134 and the size of the marker. . This relationship may be stored in a function format or in a lookup table format.
- the endoscope processor 200 includes an operation unit 208.
- the operation unit 208 includes an operation mode setting switch (not shown), a water supply instruction button, and the like, and can operate irradiation with visible light and / or infrared light.
- FIG. 8 is a diagram illustrating a state where the insertion unit 104 of the endoscope apparatus 100 is inserted into the subject, and illustrates a state in which an observation image is acquired for the imaging range IA via the imaging optical system 130.
- FIG. 8 shows a state in which the spot SP0 is formed in the vicinity of the tumor tm0 (the black protruding portion).
- the edge specific point is a point on the edge of the spot SP0, and no special mark or the like is formed on the subject.
- the marker is displayed on the screen and is not formed on the subject.
- FIG. 9 is a flowchart showing processing of the measurement support method.
- the insertion unit 104 of the endoscope apparatus 100 is inserted into the subject, and the endoscope system 10 is set to the normal observation mode (step S10).
- the normal observation mode is a mode in which the subject is irradiated with illumination light emitted from the light source device 300 to acquire an image, and the subject is observed.
- the setting to the normal observation mode may be automatically performed by the endoscope processor 200 when the endoscope system 10 is activated, or may be performed according to the operation of the operation unit 208 by the user.
- the illumination light is irradiated and the subject is imaged and displayed on the monitor 400 (step S12).
- a subject image a still image or a moving image may be captured.
- the user moves the insertion portion 104 forward and backward and / or bends while viewing the image displayed on the monitor 400 so that the distal end hard portion 116 is directed to the observation target so that the subject to be measured can be imaged.
- step S14 it is determined whether or not to shift from the normal observation mode to the measurement mode. This determination may be made based on the presence / absence of a user operation via the operation unit 208, or based on the presence / absence of a switching command from the endoscope processor 200. Further, the endoscope processor 200 may alternately set the normal observation mode and the measurement mode at a fixed frame interval (every frame, every two frames, etc.). If the determination in step S14 is negative, the process returns to step S12 to continue imaging in the normal observation mode, and if the determination is affirmative, the process proceeds to step S16 to switch to the measurement mode.
- a laser beam (measurement auxiliary light) is irradiated from the laser head 506 to form a spot on the subject, and the size (length) of the subject is measured based on the image of the subject on which the spot is formed.
- a marker is generated and displayed.
- red laser light is used as measurement auxiliary light.
- the illumination light is turned off at the time of spot image acquisition and edge specific point position measurement, or the illuminance is lowered to such an extent that spot recognition is not affected (step S18), and measurement assistance is performed from the laser head 506.
- Irradiate light (step S20: measurement auxiliary light emission step).
- Such control can be performed by the endoscope processor 200 and the light source control unit 350.
- step S22 an image of the subject on which the spot is formed by the measurement auxiliary light is captured (imaging process).
- the observation distance is within the measurement range (the observation distance D1 or more in the example of FIG. 7)
- a spot is formed within the imaging field angle of the imaging optical system 130.
- the position of the edge specific point (on the image sensor) in the image differs depending on the observation distance, and the size (number of pixels) of the marker to be displayed depends on the position of the edge specific point. Different.
- FIG. 10 is a conceptual diagram showing a state in which the distal end hard portion 116 is viewed from the front (subject side). Corresponding to the configuration of FIGS. 3 and 7, the position of the edge specific point in the image is determined according to the observation distance. It shows how it changes. Note that FIG. 10 illustrates a case where the edge specific point is the point closest to the optical axis L2 of the imaging optical system 130 (the point on the edge E1 in FIG. 7) among the edge of the spot on the image sensor 134. In FIG. 10, at the observation distance D1, the imaging range is the range R2A and the edge specific point is the point P4 (see FIG.
- the imaging range is the range R2B and the edge specific point is the point P5.
- the observation distance D2 is a distance at which the edge E1 intersects the optical axis L2 of the imaging optical system 130. Note that the edge E1 forms a non-zero inclination angle ⁇ with the optical axis L2 of the imaging optical system 130 (see FIG. 7).
- the optical axis of the measurement auxiliary light is imaging optical depending on the interval between the optical axes.
- the distance to the point that crosses the angle of view of the system (corresponding to the observation distance D1 in FIG. 7) is long.
- Such a situation can be a big problem in an endoscope that often performs observation at a close distance.
- the optical axis of the measurement auxiliary light is parallel to the optical axis of the imaging optical system, the sensitivity of the spot position change with respect to the change of the observation distance becomes low, and sufficient measurement accuracy may not be obtained.
- spot position is considered, but “position of edge specific point with respect to spot” is not considered at all.
- the configuration of the first embodiment it is possible to measure at a wide range of observation distances from a close distance to a long distance, and it is possible to measure with high accuracy because the sensitivity of the position change of the edge specific point to the distance change is high. it can.
- the position of the edge specific point in the captured image is the closest to the optical axis L2 of the image pickup optical system 130 as described above (for example, as described above).
- the same actual size for example, 5 mm
- the number of pixels increases and the number of pixels decreases as the observation distance increases. Therefore, as will be described in detail later, information indicating the relationship between the position of the edge specific point and the size (number of pixels) of the marker corresponding to the actual size of the subject is stored in advance, and the information corresponding to the position of the edge specific point is stored. By acquiring this information, the size of the marker can be calculated. It is not necessary to measure the observation distance itself when calculating.
- step S24 measurement process
- the position measurement of the edge specific point in step S24 is performed by an image generated from the pixel signal of the pixel in which the color filter of the red (R) filter color is provided.
- the relationship between the wavelength and the sensitivity in each color (red, green, blue) color filter arranged in each pixel of the image sensor 134 is as shown in FIG. 11, and the laser head 506 is as described above.
- the laser beam emitted from the laser beam is a red laser beam having a wavelength of 650 nm.
- the spot position measurement and the edge specific point position measurement are performed on the pixel (R pixel) provided with the red color filter having the highest sensitivity to the wavelength of the laser light among the (red, green, blue) color filters. This is performed based on the image generated by the image signal.
- the image signal is generated by the image signal.
- the center of gravity of the white portion is calculated. It is possible to recognize the position of the spot at high speed and measure the position of the edge specific point based on this.
- a threshold value is set for pixel signals of pixels (G pixels and B pixels) provided with green and blue color filters. It is preferable to extract only pixels whose pixel signal values of the G pixel and B pixel having bitmap data are equal to or less than a threshold value.
- the position measurement of the edge specific point based on the recognized spot recognizes the shape of the spot (extracts the edge), calculates the coordinates of the edge, and refers to the position of the optical axis L2 of the imaging optical system 130 (for example, extraction) The point that is closest to the optical axis L2 among the points on the edge that has been set as the edge specifying point). If there is a portion where the contour cannot be extracted with high accuracy depending on the observation conditions such as the shape and brightness of the subject, the contour may be approximated by a figure such as a circle or an ellipse. Such a method is an example of a spot position measurement and edge specific point detection method, and other methods may be employed.
- the illumination light is turned off during the spot image acquisition (step S22) and the position measurement (step S24), or the illuminance is lowered to such an extent that the spot recognition and the edge specific point detection are not affected.
- measurement auxiliary light is emitted from the laser head 506 (Step S20).
- the illumination light does not necessarily need to be dimmed or extinguished, and the illuminance may be left as it is when it does not affect spot recognition and edge specific point detection.
- a marker indicating the actual size of the subject is generated (marker generating step).
- the size of the marker varies depending on the position of the edge specific point in the image (that is, on the imaging surface of the image sensor)
- the size of the marker corresponding to the position of the edge specific point and the actual size of the subject is determined.
- the relationship with the size (number of pixels) is measured in advance, and information indicating the relationship is stored in the memory 212. From the memory 212 according to the position of the edge specific point measured by the endoscope processor 200 in step S24. Information is acquired and the size of the marker is obtained based on the acquired information. The procedure for obtaining the relationship between the position of the edge specific point and the size of the marker will be described in detail later.
- step S28 the observation image and the marker are displayed on the monitor 400 (display control process).
- Display conditions (type, number of markers, actual size, color, etc.) can be set by a user operation via the operation unit 208.
- FIG. 12 shows a cross-shaped marker M1 indicating an actual size of 5 mm (horizontal direction and vertical direction of the observation image) in a state where the spot SP1 is formed in the vicinity of the subject (tumor tm1), with the center being the edge specifying point EP1. It is a figure which shows a mode that it displayed collectively.
- FIG. 12 shows a cross-shaped marker M1 indicating an actual size of 5 mm (horizontal direction and vertical direction of the observation image) in a state where the spot SP1 is formed in the vicinity of the subject (tumor tm1), with the center being the edge specifying point EP1. It is a figure which shows a mode that it displayed collectively.
- FIG. 12 shows a cross-shaped marker M1 indicating an actual size of 5 mm
- the point closest to the optical axis L2 of the imaging optical system 130 among the edges of the spot SP1 is set as the edge specific point EP1, and the marker M1 is displayed in alignment with the center of the edge specific point EP1.
- a black circle is displayed at the position of the edge specific point EP1, but this is a symbol for clearly indicating the position of the edge specific point EP1, and such display is performed on the actually displayed image. Not necessary (same in subsequent figures).
- the dotted line C1 is a virtual line connecting the center of the spot SP1 and the optical axis L2 of the imaging optical system 130, and is for explaining the position of the edge specific point. There is no need to do this (same in the following figures).
- a point other than the edge specifying point EP1 (the point closest to the optical axis L2 of the imaging optical system 130 among the edges of the spot SP1) is defined as the edge specifying point EP2, and the center of the edge specifying point EP2
- a marker M2 is displayed.
- an edge specifying point EP2 for example, a point having a high contrast inside or outside the spot on the edge, or a point of a portion having an accurate arc shape (or elliptical shape) can be used. It is possible to accurately measure the position of a specific point and generate and display a marker having an appropriate size.
- the subject exists in the peripheral part of the image (a position away from the optical axis L2 of the imaging optical system 130) and “the point closest to the optical axis L2 of the imaging optical system 130 among the edges of the spot SP1” is defined as the edge specifying point. Then, when the distance from the subject is far, by using the edge specific point EP2 other than the edge specific point EP1, an appropriately sized marker can be generated and displayed.
- FIG. 14 is a diagram illustrating an example in which the marker M3 is displayed at a position away from the edge specific point EP1 (position of the optical axis L2 of the imaging optical system 130) in the state of FIG. In FIG. 14, the marker M3 is displayed at the position of the optical axis L2, but the marker may not be displayed at such a position.
- the size of the marker is determined by the position of the edge specific point, in order to generate and display an appropriately sized marker and measure the size of the subject with high accuracy, it is necessary to move away from the edge specific point. It is preferable to display a marker at a position that is not too much.
- the user can easily and accurately measure the size of the subject without measuring the observation distance.
- the optical system used for the endoscope generally has a wide angle and a large distortion aberration, which also affects the shape of the subject in the captured image. . Therefore, it is preferable to display the marker in a form that considers (corrects) the influence of distortion. In this case, since the distortion aberration is small in the central portion of the optical system and large in the peripheral portion, the presence or absence of correction may be determined according to the marker display position (spot position).
- spot position spot position
- the distortion aberration data may be set based on the design value of the imaging optical system 130, or may be obtained by separately measuring.
- the distortion aberration of the captured image may be corrected, and the marker that is not deformed may be displayed on the corrected image.
- FIGS. 12 to 15 illustrate the case where a marker corresponding to the actual size of the subject of 5 mm is displayed.
- the actual size of the subject may be an arbitrary value (for example, 2 mm, 3 mm, 10 mm etc.) may be set.
- a cross-shaped marker is displayed, but a circular or other shape marker may be displayed.
- the number of markers may be one or more, and the color of the markers may be changed according to the actual size.
- a number indicating the actual size (for example, “5” when the actual size is 5 mm) may be displayed near the marker.
- a display mode may be selected by an operation via the operation unit 208.
- the user can easily measure the size of the subject without measuring the observation distance.
- step S30 it is determined whether or not to end the measurement mode. This determination may be made based on a user operation via the operation unit 208 or based on the presence / absence of a switching command from the endoscope processor 200. Similarly to the transition to the measurement mode, the measurement mode may be automatically terminated and the normal observation mode may be restored after a certain number of frames have elapsed. If the determination in step S30 is negative, the process returns to step S20, and the processing from step S20 to step S28 is repeated.
- step S30 determines whether the determination in step S30 is affirmative. If the determination in step S30 is affirmative, the process proceeds to step S32, the measurement auxiliary light is turned off, and then the illuminance of the illumination light is returned to the normal illuminance in step S34 to return to the normal observation mode (return to step S10). It should be noted that the measurement auxiliary light need not be turned off if there is no problem in observation in the normal observation mode.
- step S40 when the image obtained in the measurement mode is dark and spot recognition and edge position measurement are difficult, measurement may be performed according to the procedure shown in the flowchart of FIG.
- step S40 after the measurement auxiliary light is turned on (step S40), one frame is imaged with the illumination darkened for measurement (step S42) and imaged (step S44), and spot recognition and edge identification are performed based on the captured image.
- Point position measurement (step S46) and marker generation (step S48) are performed.
- the subsequent frame is set to a normal illumination light quantity (step S50) and imaged (step S52).
- marker information is generated from such a dark image (image captured in step S44) (step S48), and an image of a normal illumination light quantity (image captured in step S52).
- image captured in step S44 image captured in step S44
- normal illumination light quantity image captured in step S52
- Step S54 the brightness of the observation image can be made the same as in the case of normal illumination.
- the size of the subject is increased.
- the thickness can be measured easily and with high accuracy.
- the relationship between the position of the edge specific point on the imaging surface of the image sensor 134 and the size of the marker (number of pixels) corresponding to the actual size of the subject is measured in advance and associated with the position of the edge specific point.
- the size of the marker is calculated by referring to this relationship according to the measured position of the edge specific point.
- the marker is assumed to be a cross shape and the actual size in the horizontal direction and the vertical direction is assumed to be 5 mm.
- the marker in the present invention is not limited to such a mode.
- the relationship between the position of the edge specific point and the size of the marker can be obtained by imaging a chart in which an actual size pattern is regularly formed.
- a spot is formed by emitting measurement auxiliary light, and a graph paper shape with a rule (5 mm rule) that is the same as the actual size or a finer rule (for example, a 1 mm rule) while changing the spot position by changing the observation distance
- a rule 5 mm rule
- a finer rule for example, a 1 mm rule
- a plurality of edge specific points may be set for the same spot position, and information (relation with the marker size) corresponding to each of the plurality of edge specific points may be stored. For example, the relationship when the point closest to the optical axis L2 among the edges is set as the edge specific point and the relationship when the point farthest from the optical axis L2 is set as the edge specific point are measured and stored. You may use properly according to the observation situation.
- the size of the marker does not change much regardless of which point on the edge is the edge identification point, but the observation distance is far If the imaging optical system 130 is not directly facing the subject, the size of the marker may differ depending on which position on the edge is the edge specific point. In such a case, the edge specific point can be selected. In this case, an appropriately sized marker can be displayed, and the size of the subject can be measured easily and with high accuracy.
- FIG. 17 is a diagram showing a state in which a 5 mm ruled chart is photographed, and shows a state in which the ruled interval is wide because the photographing distance is short.
- (x1, y1) are the X and Y directions of the edge specific point EP3 (the point on the edge of the spot SP3 that is closest to the optical axis L2 of the imaging optical system 130) on the imaging surface of the imaging device 134. This is the pixel position (the upper left in FIG. 17 is the origin of the coordinate system).
- the number of pixels in the X direction corresponding to the actual size of 5 mm at the position (x1, y1) of the edge specific point EP3 is Lx1, and the number of pixels in the Y direction is Ly1.
- FIG. 18 is a diagram showing a state in which the same 5 mm ruled chart as that in FIG. 17 is photographed. However, the photographing distance is closer to the far end than the state in FIG. In the state of FIG. 18, at the position (x2, y2) of the edge specific point EP4 (the point on the edge of the spot SP4, the point closest to the optical axis L2 of the imaging optical system 130) on the imaging surface of the imaging device 134.
- the number of X direction pixels corresponding to the actual size of 5 mm is Lx2, and the number of Y direction pixels is Ly2.
- This number of pixels is “the number of pixels of the marker M6 when the position of the edge specific point EP4 is (x2, y2)”.
- the measurement as shown in FIGS. 17 and 18 is repeated while changing the observation distance, and the results are plotted. In FIGS. 17 and 18, for the sake of convenience, the image is displayed without considering the distortion aberration of the imaging optical system 130.
- FIG. 19 is a diagram showing the relationship between the X coordinate of the position of the edge specific point and Lx (the number of pixels in the X direction of the marker), and FIG. 20 is a diagram showing the relationship between the Y coordinate of the position of the edge specific point and Lx. is there.
- the X coordinate and the Y coordinate of the position of the edge specific point correspond one-to-one, and basically any of g1 and g2 is used. Since the same result (the same number of pixels for the same edge specific point position) is obtained, either function may be used when calculating the marker size. A function having a higher sensitivity of the change in the number of pixels with respect to a change in position may be selected from g1 and g2. If the values of g1 and g2 are greatly different, it may be determined that “the position of the spot and / or edge specific point could not be recognized”. In the first embodiment, information indicating the functions g1 and g2 obtained in this way is stored in the memory 212 in advance in a function format, a lookup table format, or the like.
- FIG. 23 is a block diagram showing an endoscope system 10A according to the second embodiment.
- the endoscope system 10A is different from the endoscope system 10 according to the first embodiment in that a laser module 500A is provided in addition to the laser module 500.
- the laser module 500A includes a laser light source module 502A, an optical fiber 504A, and a laser head 506A (head). These configurations and operational effects are the laser module 500, the laser light source module 502, the optical fiber 504, and the laser according to the first embodiment. Each of them is the same as the head 506. Further, since the configuration of the endoscope system 10A other than the laser module 500A is the same as that of the endoscope system 10, the same components as those in FIG. 2 are denoted by the same reference numerals in FIG. .
- FIG. 24 is a diagram showing an arrangement of the imaging optical system 130, the laser head 506, and the laser head 506A in the distal end hard portion 116.
- the laser head 506A has a beam divergence angle of ⁇ due to divergence
- the optical axis L3 of the measurement auxiliary light by the laser head 506A is the optical axis L1 of the measurement auxiliary light by the laser head 506, and the light of the imaging optical system It is parallel to the axis L2.
- the edge E2 enters the angle of view at the observation distance D1 from the distal end surface 116A (point P4A), and the edge E1 intersects the optical axis L2 of the imaging optical system 130 at the observation distance D2. (Point P5). Therefore, if the point on the edge E 2 is an “edge specific point”, the edge specific point is the closest point to the optical axis L 2 of the imaging optical system 130.
- the arrangement of the imaging optical system 130, the laser head 506, and the laser head 506A can be set as appropriate within a range that satisfies the above-described conditions.
- the laser head 506 and the laser are arranged with respect to the imaging optical system 130.
- the head 506A can be arranged symmetrically.
- the measurement process in the endoscope system 10A can be performed in the same manner as in the endoscope system 10 (see the flowcharts in FIGS. 9 and 16 and the corresponding description).
- FIG. 25 is a diagram showing a state in which a spot SP5A by the laser head 506 and a spot SP5B by the laser head 506A are formed in the vicinity of the subject (tumor tm1).
- a cross-shaped marker M7A indicating an actual size of 5 mm is displayed with the center aligned with the edge specific point EP5A, and the cross-shaped marker indicating the actual size of 5 mm is also displayed.
- the point closest to the optical axis L2 of the imaging optical system 130 among the edges of the spot SP5A is set as the edge specific point EP5A, and the marker M7A is displayed in alignment with the center of the edge specific point EP5A.
- a point closest to the optical axis L2 of the imaging optical system 130 among the edges of the spot SP5B is set as an edge specific point EP5B, and a marker M7B is displayed in alignment with the center of the edge specific point EP5B.
- the dotted lines C2A and C2B are virtual lines connecting the centers of the spots SP5A and SP5B and the optical axis L2 of the imaging optical system 130, respectively, similarly to the dotted line C1.
- FIG. 26 is a diagram showing a state in which a spot SP6A by the laser head 506 and a spot SP6B by the laser head 506A are formed in the vicinity of the subject (tumor tm1).
- the spot SP6A and the spot SP6B overlap each other, and the intersections between the edges of these spots are set as edge specifying points EP6A and EP6B.
- the marker M8A is displayed centering on the edge specific point EP6A, and the marker M8B is displayed centering on the edge specific point EP6B.
- Modification 1 differs from the first and second embodiments in that the wavelength of the measurement auxiliary light is a blue laser (semiconductor laser) having a wavelength of 445 nm.
- An LED may be used instead of the semiconductor laser, and the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold.
- spot position measurement and marker generation processing are basically the same as those in the first and second embodiments.
- the measurement auxiliary light is blue.
- a threshold is provided for the intensity of the B signal (pixel signal of the pixel provided with the blue color filter) of the bitmap data or RAW data.
- the image is binarized, and the center of gravity of the white portion (pixel region whose signal intensity is higher than the threshold value) is calculated.
- a threshold is provided for the G signal and R signal (pixel signals of pixels provided with green and red color filters, respectively), and the G signal with bitmap data and It is preferable to extract coordinates whose R signal value is equal to or less than a threshold value.
- the digestive tract is reddish, so it may be difficult to recognize a spot with red light, and even when blue light is used as in Modification 1, recognition may be insufficient.
- the frame (measurement mode) for measuring the position of the spot it is preferable to turn off the white illumination light (visible light source 310A) or reduce the intensity so that the spot measurement is not affected.
- the image is constructed by setting the illumination light to a normal output other than the frame for recognizing the spot (normal observation mode). By controlling such illumination light, the spot recognition success rate can be greatly improved.
- the second modification is different from the first and second embodiments and the first modification in that the wavelength of the measurement auxiliary light is a green laser (semiconductor laser) having a wavelength of 505 nm.
- a green laser semiconductor laser
- an LED for example, a wavelength of 530 nm
- a solid-state laser for example, a wavelength of 532 nm
- the semiconductor laser may be used in an LED emission state that is equal to or lower than an oscillation threshold.
- the measurement of the spot position and the generation of the marker are basically the same as those in the first and second embodiments.
- the green laser is used as the measurement auxiliary light as described above. Therefore, at the time of spot position measurement and edge specific point position measurement, a threshold is provided for the intensity of the G signal (pixel signal of a pixel provided with a green color filter) of bitmap data or RAW data. Is binarized, and the center of gravity of the white portion (pixel region whose signal intensity is higher than the threshold value) is calculated.
- a threshold is provided for the B signal and R signal (pixel signals of pixels provided with blue and red color filters, respectively), and the B signal with bitmap data and It is preferable to extract coordinates whose R signal value is equal to or less than a threshold value.
- the digestive tract is reddish, so it may be difficult to recognize spots with red light, and even when green light is used as in Modification 2, recognition may be insufficient.
- the frame (measurement mode) for measuring the position of the spot it is preferable to turn off the white illumination light (visible light source 310A) or reduce the intensity so that the spot measurement is not affected.
- the image is constructed by setting the illumination light to a normal output other than the frame for recognizing the spot (normal observation mode). By controlling such illumination light, the spot recognition success rate can be greatly improved.
- the light source device 300 for illumination and observation includes the visible light source 310A (illumination light source) and the infrared light source 310B (illumination light source) has been described.
- the configuration of the light source is not limited to such a mode.
- the light source may be configured by a combination of a plurality of LEDs having different wavelengths such as (white), (blue, green, red), or (purple, blue, green, red).
- each color LED may be caused to emit light alone, or multiple color LEDs may be caused to emit light simultaneously.
- you may irradiate white light by light-emitting LED of all the colors simultaneously.
- the light source device may be composed of a laser light source for white light (broadband light) and a laser light source for narrow band light.
- the narrow band light can be selected from one or a plurality of wavelengths such as blue and purple.
- the light source may be a xenon light source
- the light source device may be composed of a light source for normal light (white light) and a light source for narrow band light.
- the narrowband light can be selected from one or a plurality of wavelengths such as blue and green.
- a disk-shaped filter rotary color
- the wavelength of the narrow band light to be irradiated may be switched by rotating the filter.
- the narrowband light may be infrared light having two or more wavelengths different from each other.
- the light source type, wavelength, filter presence / absence, etc. of the light source device according to the type of subject and the purpose of observation, and the wavelength of illumination light according to the type of subject and the purpose of observation during observation.
- the LED lights of the respective colors described above between the white laser light and the first and second narrowband laser lights (blue and purple), between the blue narrowband light and the green narrowband light, or It is preferable to appropriately combine and / or switch the wavelength of the illumination light between the first infrared light and the second infrared light.
- the image pickup device 134 is a color image pickup device in which a color filter is provided for each pixel has been described.
- the configuration of the image pickup device and the image pickup method are such aspects. It is not limited to this, and a monochrome imaging device (CCD type, CMOS type, etc.) may be used.
- the wavelength of the emitted illumination light may be sequentially switched between (purple, blue, green, red), or emitted by a rotary color filter (red, green, blue, etc.) by irradiating broadband light (white light).
- the wavelength of the illumination light to be switched may be switched.
- the wavelength of illumination light emitted by a rotary color filter (green, blue, etc.) by irradiating one or a plurality of narrowband lights (green, blue, etc.) may be switched.
- the narrow band light may be infrared light having two or more wavelengths different from each other.
- the measurement support apparatus, endoscope system, endoscope system processor, and measurement support method of the present invention are also applicable to measuring non-living subjects such as pipes in addition to measuring living subjects. it can.
- the measurement support apparatus and the measurement support method of the present invention are not limited to endoscopes and can be applied to the case of measuring the dimensions and shapes of industrial parts and products.
Landscapes
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
被写体の大きさを容易かつ高精度に計測できる計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法を提供することを目的とする。本発明の一の態様に係る計測支援装置では、計測補助光により形成されるスポットのエッジ上の点であるエッジ特定点の位置を計測し、計測結果に基づいて被写体の実寸サイズを示す情報を取得してマーカを生成及び表示するので、距離測定の必要がなく、計測が容易である。また、計測補助光の傾き角を適切に設定することにより観察距離が短い場合でもエッジ特定点が撮像光学系の視野から外れないようにして計測を行うことができる。さらに、計測補助光の光軸は撮像光学系の光軸を含む平面に射影した場合に撮像光学系の光軸に対し0度でない傾き角を有するので、観察距離の変化に対するスポットの位置変化の感度が高く、計測精度が高い。
Description
本発明は計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法に係り、特に計測補助光を用いて被検体の大きさを計測する計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法に関する。
内視鏡等の計測装置の分野では、被検体までの距離を計測することや、被検体の長さや大きさを算出することが行われている。例えば特許文献1では、ステレオカメラで被写体距離を計測し、被写体距離と内視鏡の視野角とに基づいて被写体の大きさの目安となる目印の大きさを計算し、被写体の画像とともに目印を表示することが記載されており、この目印により被写体の大きさを知ることができる。
また特許文献2には、計測補助光を用いて被写体距離を求める技術が記載されている。特許文献2では、光ファイバーからレーザビームを照射して照射面を観察する。そして、光ファイバーから照射面までの距離によってレーザビームの照射点が視野の中心に近づいたり離れたりすることを利用し、ズレ量をあらかじめ校正しておくことで、ズレ量から被写体距離を知ることができる。
しかしながら上述の特許文献1では、ステレオカメラにより距離を計測するため2台のカメラが必要であり、内視鏡先端部が大きくなってしまうため、被検体への負担が大きかった。さらに、距離計測を行いその結果に基づいて目印の大きさを算出するため、処理が複雑であった。
また特許文献2に記載の技術は距離計測を行うためのものであり、処理が複雑な上に被写体の長さや大きさを直接的に求めることはできなかった。さらに、レーザビームが撮像光学系の光軸と平行に照射されるので、観察距離が短い場合(被写体が内視鏡の先端と近接したところに存在する場合)はレーザビームが撮像光学系の視野から外れてしまい、測定できなくなるという問題があった。さらに、被写体距離の変化に対するスポットの位置変化の感度が低く、計測精度が低いという問題があった。
このように、従来の技術は被写体の大きさ(長さ)を容易かつ高精度に計測できるものではなかった。
本発明はこのような事情に鑑みてなされたもので、被写体の大きさを容易かつ高精度に計測できる計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法を提供することを目的とする。
上述した目的を達成するため、本発明の第1の態様に係る計測支援装置は、光源から出射された光を発散による広がりを持った計測補助光として出射するヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、取得した被写体の画像に基づいて、撮像素子におけるスポットのエッジ上の点であるエッジ特定点の位置を計測する計測部と、被写体の撮像素子上の寸法と被写体の実寸サイズとの関係を示す情報を、エッジ特定点の撮像素子上の位置に関連づけて記憶する記憶部と、計測したエッジ特定点の位置に基づいて記憶部から関係を示す情報を取得し、取得した情報に基づいて実寸サイズを示すマーカを生成するマーカ生成部と、スポットが形成された被写体の画像及び生成したマーカを表示装置に表示させる表示制御部であって、被写体の画像においてエッジ特定点の近傍にマーカを表示させる表示制御部と、を備え、ヘッドは、少なくとも一部のエッジが撮像光学系の光軸と0度でない傾き角を成し、少なくとも一部のエッジが撮像光学系の画角を横切る計測補助光を出射する。
第1の態様では、被写体の実寸サイズを示すマーカが被写体の画像とともに表示されるので、ユーザは被写体(被測定体)とマーカとを比較することにより被写体の大きさを容易に計測することができる。また、スポットの位置を計測し、計測結果に基づいて記憶部に記憶された情報を取得してマーカを生成及び表示するので、上述した特許文献1,2のように距離測定の必要がなく、装置構成が簡単で計測が容易である。
また、計測補助光は少なくとも一部のエッジが撮像光学系の光軸と0度でない傾き角を成し、その少なくとも一部のエッジが撮像光学系の画角を横切るので、傾き角を適切に設定することにより観察距離が短い場合でも計測補助により形成されるスポットのエッジ特定点が撮像光学系の視野に入るようにすることができ、マーカを用いた計測が可能となる。さらに、観察距離の変化に対するスポットの位置変化の感度が高いため計測精度が高い。このようにエッジ特定点の位置に基づいてマーカを生成・表示することで、計測補助光を真っ直ぐ出射した場合(計測補助光の光軸が撮像光学系の光軸と平行な場合)でも、斜めに出射した場合(計測補助光の光軸が撮像光学系の光軸と平行でない)と同様の効果を得ることができる。
なお、第1の態様においてエッジ上の任意の点を「エッジ特定点」とすることができる。例えば、撮像光学系の中心に近い位置、被写体の中心に近い点、エッジ上でコントラストが高い点等をエッジ特定点とすることができる。
このように、第1の態様に係る計測支援装置では被写体の大きさを容易かつ高精度に計測することができる。なお、第1の態様において「実寸サイズ」の具体的な値は被写体の種類及び計測の目的等の条件に応じて設定することができる。
第1の態様において、「被写体の撮像素子上の寸法と被写体の実寸サイズとの関係を示す情報」は、例えば実寸サイズに対応したパターンが規則的に記録された計測用図形を撮影することで取得することができる。また、第1の態様においてスポットの「近傍」にマーカを表示するが、マーカの中心をスポットの中心に合わせて表示してもよいし、スポットから離れた位置にマーカを表示してもよい。第1の態様において、レーザ光、LED光等を計測補助光として用いることができる。
第2の態様に係る計測支援装置は第1の態様において、計測補助光は、少なくとも一部のエッジが撮像光学系の光軸と交差する。撮像光学系の構成によっては歪曲収差が大きくなり、その場合画像の周辺部ではなく画像中心部での計測を行うことが好ましいが、第2の態様によれば、エッジ特定点を適切に(例えば、エッジが撮像光学系の光軸と交差する点に)設定することにより、画像中心に近い位置で高精度に計測を行うことができる。
第3の態様に係る計測支援装置は第1または第2の態様において、エッジ特定点は撮像素子上のスポットのエッジのうち撮像光学系の光軸に最も近い点である。撮像光学系の構成によっては歪曲収差が大きくなり、その場合画像の周辺部ではなく画像中心部での計測を行うことが好ましいが、第3の態様によれば、上述の点をエッジ特定点することで画像中心に近い位置で高精度な計測を行うことが可能になる。
第4の態様に係る計測支援装置は第1から第3の態様のいずれか1つにおいて、計測補助光の光軸は撮像光学系の光軸と平行である。第4の態様によれば、計測補助光の光軸は撮像光学系の光軸と平行なので、ヘッドを真っ直ぐ(撮像光学系の光軸と平行に)配置することができ、計測支援装置の先端部分を小型化(細径化)することができる。
第5の態様に係る計測支援装置は第1から第4の態様のいずれか1つにおいて、ヘッドは計測補助光を複数の位置から出射し、マーカ生成部は複数の位置から出射される計測補助光のそれぞれに対応してマーカを生成する。第5の態様では複数の位置から出射される計測補助光のそれぞれに対応してマーカを生成するので、複数のマーカにより被写体の大きさを容易かつ高精度に計測することができる。
上述した目的を達成するため、本発明の第6の態様に係る内視鏡システムは、第1から第5の態様のいずれか1つに記載の計測支援装置を備える。第6の態様に係る内視鏡システムでは、第1から第5の態様のいずれか1つに係る計測支援装置を備えるので、被写体の大きさを容易かつ高精度に計測することができる。
第7の態様に係る内視鏡システムは第6の態様において、被検体内に挿入される挿入部であって、先端硬質部と、先端硬質部の基端側に接続された湾曲部と、湾曲部の基端側に接続された軟性部とを有する挿入部と、挿入部の基端側に接続された操作部と、を有する内視鏡を備え、計測補助光の出射部と、スポットの光学像を撮像素子に結像させる撮像レンズと、が先端硬質部の先端側端面に設けられる。第7の態様は、内視鏡の先端硬質部の構成の一態様を規定するものである。
第8の態様に係る内視鏡システムは第6または第7の態様において、照明光を照射する照明光源と、照明光の照度を制御する制御部と、を有し、制御部は、撮像光学系によりスポットの画像を取得する計測モードでは、照明光を被写体に照射して被写体を観察する通常観察モードよりも照明光の照度を下げる。スポットを撮像する際の照明光の照度が高すぎると、得られた画像においてスポットとそれ以外の部分とのコントラストが小さくなってスポット認識できず、その結果エッジ特定点の検出が困難になってマーカが表示できなくなる場合があるが、第8の態様では、制御部は、撮像部によりスポットの画像を取得する計測モードでは、照明光を被検体に照射して被検体を観察する通常観察モードよりも照明光の照度を下げるので、スポットの鮮明な画像を撮像することができ、これにより高精度な計測を行うことができる。なお第8の態様において、計測モードにおいて照明光の照度をどの程度下げるかは被検体の種類や大きさ、明るさ等に応じて設定してよく、必要に応じ照明光を消灯してもよい。
第9の態様に係る内視鏡システムは第6から第8の態様のいずれか1つにおいて、撮像素子は、2次元配列された複数の受光素子からなる複数の画素と、複数の画素に対し配設された複数のフィルタ色のカラーフィルタと、を備えるカラー撮像素子であり、計測部は、複数のフィルタ色のうち計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいてエッジ特定点の位置を計測する。第9の態様によれば、複数のフィルタ色のうち計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいてエッジ特定点の位置を計測するので、スポットが鮮明な画像によりエッジ特定点の位置を高精度に計測することができ、これにより被写体の大きさを高精度に計測することができる。
上述した目的を達成するため、本発明の第10の態様に係るプロセッサは、第6から第9の態様のいずれか1つに係る内視鏡システムのプロセッサであって、光源を駆動する光源駆動部と、計測部と、記憶部と、マーカ生成部と、表示制御部と、を備える。第10の態様によれば、第1の態様と同様に被写体の大きさを容易かつ高精度に計測することができる。なお第10の態様では、計測補助光の光源は例えばスコープ(内視鏡の手元操作部)内に配置されてスコープの電気回路基板部に実装され、プロセッサ(光源駆動部)からの電気信号に応じて点灯、消灯、及び光強度が制御される。
第11の態様に係るプロセッサは第10の態様において、計測部は撮像素子上でのスポットの形状を認識し、認識の結果に基づいてエッジ特定点を計測する。第11の態様によればエッジ特定点を正確に検出することができ、これにより適切な大きさのマーカを表示して被写体の大きさを高精度に計測することができる。
第12の態様に係るプロセッサは第10または第11の態様において、光源駆動部はレーザ光源を駆動するレーザ駆動部である。
上述した目的を達成するため、本発明の第13の態様に係る計測支援方法は光源から出射された光を発散による広がりを持った計測補助光として出射するヘッドと、計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、被写体の撮像素子上の寸法と被写体の実寸サイズとの関係を示す情報を、撮像素子におけるスポットのエッジ上の点であるエッジ特定点の位置に関連づけて記憶する記憶部と、を備える計測支援装置を用いた計測支援方法であって、ヘッドから、少なくとも一部のエッジが撮像光学系の光軸と0度でない傾き角を成し、少なくとも一部のエッジが撮像光学系の画角を横切る計測補助光を出射する計測補助光出射工程と、計測補助光によりスポットが形成された被写体の画像を撮像部を介して取得する撮像工程と、被写体の画像に基づいてエッジ特定点の位置を計測する計測工程と、計測したエッジ特定点の位置に基づいて記憶部から関係を示す情報を取得し、取得した情報に基づいて実寸サイズを示すマーカを生成するマーカ生成部と、スポットが形成された被写体の画像及び生成したマーカを表示装置に表示させる表示制御工程であって、被写体の画像においてスポットの近傍にマーカを表示させる表示制御工程と、を含む。第13の態様によれば、第1の態様と同様に被写体の大きさを容易かつ高精度に計測することができる。
以上説明したように、本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法によれば、被写体の大きさを容易かつ高精度に計測することができる。
以下、添付図面を参照しつつ、本発明に係る計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法の実施形態について、詳細に説明する。
<第1の実施形態>
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体110(内視鏡)、内視鏡プロセッサ200(内視鏡システムのプロセッサ)、光源装置300、及びモニタ400から構成される内視鏡装置100を含んでいる。
図1は、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)を示す外観図であり、図2は内視鏡システム10の要部構成を示すブロック図である。図1,2に示すように、内視鏡システム10は、内視鏡本体110(内視鏡)、内視鏡プロセッサ200(内視鏡システムのプロセッサ)、光源装置300、及びモニタ400から構成される内視鏡装置100を含んでいる。
<内視鏡本体の構成>
内視鏡本体110は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察を行う。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。先端硬質部116には、撮像光学系130(撮像光学系、撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1~3参照)。
内視鏡本体110は、手元操作部102(操作部)と、この手元操作部102に連設される挿入部104(挿入部)とを備える。術者は手元操作部102を把持して操作し、挿入部104を被検体の体内に挿入して観察を行う。挿入部104は、手元操作部102側から順に、軟性部112(軟性部)、湾曲部114(湾曲部)、先端硬質部116(先端硬質部)で構成されている。先端硬質部116には、撮像光学系130(撮像光学系、撮像部)、照明部123、鉗子口126、レーザモジュール500等が設けられる(図1~3参照)。
観察や処置の際には、操作部208(図2参照)の操作により、照明部123の照明用レンズ123A,123Bから可視光と赤外光のいずれか、または両方を照射することができる。また、操作部208の操作により図示せぬ送水ノズルから洗浄水が放出されて、撮像光学系130の撮像レンズ132(撮像レンズ)、及び照明用レンズ123A,123Bを洗浄することができる。先端硬質部116で開口する鉗子口126には不図示の管路が連通しており、この管路に腫瘍摘出等のための図示せぬ処置具が挿通されて、適宜進退して被検体に必要な処置を施せるようになっている。
図1~3に示すように、先端硬質部116の先端側端面116Aには撮像レンズ132が配設されており、この撮像レンズ132の奥にCMOS(Complementary MOS)型の撮像素子134(撮像素子、カラー撮像素子、撮像部)、駆動回路136、AFE138(AFE:Analog Front End)が配設されて、画像信号を出力するようになっている。撮像素子134はカラー撮像素子であり、特定のパターン配列(ベイヤー配列、GストライプR/B完全市松、X-Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置(2次元配列)された複数の受光素子により構成される複数の画素を備え、各画素はマイクロレンズ、赤(R)、緑(G)、または青(B)のカラーフィルタ及び光電変換部(フォトダイオード等)を含んでいる。撮像光学系130は、赤,緑,青の3色の画素信号からカラー画像を生成することもできるし、赤,緑,青のうち任意の1色または2色の画素信号から画像を生成することもできる。
なお第1の実施形態では撮像素子134がCMOS型の撮像素子である場合について説明するが、撮像素子134はCCD(Charge Coupled Device)型でもよい。
被写体(腫瘍部、病変部)の画像やスポット(後述)の光学像は撮像レンズ132により撮像素子134の受光面(結像面)に結像されて電気信号に変換され、不図示の信号ケーブルを介して内視鏡プロセッサ200に出力されて映像信号に変換される。これにより、内視鏡プロセッサ200に接続されたモニタ400に観察画像等(図12~15参照)が表示される。
また、先端硬質部116の先端側端面116Aには、撮像レンズ132に隣接して照明部123の照明用レンズ123A(可視光用)、123B(赤外光用)が設けられている。照明用レンズ123A,123Bの奥には、後述するライトガイド170の射出端が配設され、このライトガイド170が挿入部104、手元操作部102、及びユニバーサルケーブル106に挿通され、ライトガイド170の入射端がライトガイドコネクタ108内に配置される。
先端側端面116Aには、さらにレーザモジュール500のレーザヘッド506(ヘッド、計測補助光の出射部)が設けられて、スポット光(計測補助光)が照射される。レーザモジュール500の構成は後述する。なお第1の実施形態では、図3に示すようにレーザヘッド506が鉗子口126とは別に設けられているが、本発明に係る計測支援装置及び内視鏡システムにおいては、図4に示すように、先端硬質部116で開口する鉗子口126に連通する管路(不図示)にレーザヘッド506を挿抜可能に挿通してもよい。この場合、レーザヘッド506専用の管路を設ける必要がなく、鉗子口126に連通する管路を他の処置具と共用することができる。
<レーザモジュールの構成>
図2及び図5に示すように、レーザモジュール500はレーザ光源モジュール502(光源、レーザ光源)と、光ファイバー504(光ファイバー)と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図5の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
図2及び図5に示すように、レーザモジュール500はレーザ光源モジュール502(光源、レーザ光源)と、光ファイバー504(光ファイバー)と、レーザヘッド506(ヘッド)とを備える。光ファイバー504の基端側(レーザ光源モジュール502側)はファイバー外皮501で被覆され、先端側(レーザ光を出射する側)はフェルール508(ferrule)に挿入されて接着剤で接着され、端面が研磨される。フェルール508は光ファイバー504を保持、接続するための部材であり、中心部には光ファイバー504を挿通するための穴が軸方向(図5の左右方向)に空けられている。フェルール508及びファイバー外皮501の外側に補強材507が設けられて光ファイバー504等を保護する。フェルール508はハウジング509に収納され、補強材507及びファイバー外皮501と一体になってレーザヘッド506を構成する。
レーザヘッド506において、フェルール508は例えば直径が0.8mm~1.25mmのものを用いることができる。なお小型化のためには細径のものの方が好ましい。上述の構成により、レーザヘッド506全体としての直径を1.0mm~1.5mmにすることができる。
このように構成されたレーザモジュール500は挿入部104に装着される。具体的には、図2に示すようにレーザ光源モジュール502は手元操作部102(スコープ)に配置され、電気回路基板部に実装される。一方、レーザヘッド506は先端硬質部116に設けられて、光ファイバー504がレーザ光をレーザ光源モジュール502からレーザヘッド506まで導光する。なおレーザ光源モジュール502を光源装置300内に設け、レーザ光を光ファイバー504により先端硬質部116まで導光するようにしてもよい。
レーザ光源モジュール502は、図示せぬ電源から電力が供給されて可視波長域のレーザ光を出射するVLD(Visible Laser Diode)と、VLDから出射されたレーザ光を集光する集光レンズ503とを備えるピグテール型モジュール(TOSA;Transmitter Optical Sub Assembly)である(図6参照)。レーザ光は内視鏡プロセッサ200(CPU210)の制御により必要に応じて出射することができ、スポット光の照射による計測を行う場合(計測モード)のみレーザ光を出射させることで、非出射時には通常の内視鏡と同様に使用することができる(通常モード)。レーザ光源モジュール502は、内視鏡プロセッサ200(光源駆動部、レーザ駆動部)からの電気信号に応じて点灯、消灯、及び光強度が制御される。
第1の実施形態において、VLDが出射するレーザ光は半導体レーザによる波長650nmの赤色レーザ光とすることができる。ただし本発明におけるレーザ光の波長はこの態様に限定されるものではない。集光レンズ503で集光されたレーザ光は、光ファイバー504により導光される。光ファイバー504としては、レーザ光をシングル横モードで伝搬させる光ファイバーを用いてもよいし、被写体の種類や大きさ等の観察条件によってスポットの大きさや鮮明さが計測上問題とならない場合は、レーザ光をマルチモードで伝搬させる光ファイバーを用いてもよい。光ファイバー504の途中に中継コネクタを設けてもよい。なお、また、光源としては半導体レーザの代わりにLED(Light-Emitting Diode)を用いてもよく、半導体レーザを発振閾値以下のLED発光状態で使用してもよい。なお、計測補助光の広がりを制御する必要がある場合は、光ファイバー504の出射端の前方(図5の左側)に凹レンズ等のレンズ(またはレンズ群)を配置してもよい。
<撮像光学系と計測補助光との関係>
図7は撮像光学系130と計測補助光との関係を示す概念図である。第1の実施形態では、図7に示すように撮像光学系130は撮影画角θを有し、計測補助光は発散によるビーム広がり角δを有する。計測補助光の光軸L1と撮像光学系130の光軸L2とは平行である。また、計測補助光のエッジE1(計測補助光のエッジの一部)は撮像光学系130の光軸L2とゼロでない傾き角ε(=撮影画角θ-ビーム広がり角δ)を成す。第1の実施形態では、先端側端面116Aからの観察距離D1でエッジE1が画角に入り(点P4)、観察距離D2でエッジE1が撮像光学系130の光軸L2と交差する(点P5)。したがって、計測補助光により形成されるスポットにおいてエッジE1上の点を「エッジ特定点」とすれば、エッジ特定点が撮像光学系の光軸L2に最も近い点となる。また、観察距離や観察方向の調整(挿入部104の進退及び/または屈曲操作による)により点P5をエッジ特定点に設定できれば、収差の少ない画像の中心で高精度に計測を行うことができる。なお、第1の実施形態では計測補助光の光軸L1は撮像光学系の光軸L2と平行であるが、本発明においてこれら光軸は互いに平行な状態に限定されるものではない。また、撮影画角θのうち収差の少ない中央部分で計測を行ってもよい。
図7は撮像光学系130と計測補助光との関係を示す概念図である。第1の実施形態では、図7に示すように撮像光学系130は撮影画角θを有し、計測補助光は発散によるビーム広がり角δを有する。計測補助光の光軸L1と撮像光学系130の光軸L2とは平行である。また、計測補助光のエッジE1(計測補助光のエッジの一部)は撮像光学系130の光軸L2とゼロでない傾き角ε(=撮影画角θ-ビーム広がり角δ)を成す。第1の実施形態では、先端側端面116Aからの観察距離D1でエッジE1が画角に入り(点P4)、観察距離D2でエッジE1が撮像光学系130の光軸L2と交差する(点P5)。したがって、計測補助光により形成されるスポットにおいてエッジE1上の点を「エッジ特定点」とすれば、エッジ特定点が撮像光学系の光軸L2に最も近い点となる。また、観察距離や観察方向の調整(挿入部104の進退及び/または屈曲操作による)により点P5をエッジ特定点に設定できれば、収差の少ない画像の中心で高精度に計測を行うことができる。なお、第1の実施形態では計測補助光の光軸L1は撮像光学系の光軸L2と平行であるが、本発明においてこれら光軸は互いに平行な状態に限定されるものではない。また、撮影画角θのうち収差の少ない中央部分で計測を行ってもよい。
計測補助光のビーム広がり角についての一例を示すと、開口数が0.22の光ファイバーから照射される光の空気中での出射角は25.4degであり、この場合、光ファイバー端からの距離が5.2mmの位置でスポット直径が約5mmとなる。
<光源装置の構成>
図2に示すように、光源装置300は、照明用の光源310(照明光源)、絞り330、集光レンズ340、及び光源制御部350(制御部)等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A(照明光源)及び赤外光源310B(照明光源)を備えており、可視光及び赤外線の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350により制御され、後述するように、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げることや、照明を停止することができる。
図2に示すように、光源装置300は、照明用の光源310(照明光源)、絞り330、集光レンズ340、及び光源制御部350(制御部)等から構成されており、照明光(可視光または赤外光)をライトガイド170に入射させる。光源310は、可視光源310A(照明光源)及び赤外光源310B(照明光源)を備えており、可視光及び赤外線の一方または両方を照射可能である。可視光源310A及び赤外光源310Bによる照明光の照度は、光源制御部350により制御され、後述するように、スポットを撮像して計測する際(計測モード時)に必要に応じて照明光の照度を下げることや、照明を停止することができる。
ライトガイドコネクタ108(図1参照)を光源装置300に連結することで、光源装置300から照射された照明光がライトガイド170を介して照明用レンズ123A、123Bに伝送され、照明用レンズ123A、123Bから観察範囲に照射される。
<内視鏡プロセッサの構成>
次に、図2に基づき内視鏡プロセッサ200(計測部、記憶部、マーカ生成部、表示制御部、光源駆動部、レーザ駆動部)の構成を説明する。内視鏡プロセッサ200は、内視鏡装置100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、マーカ生成部、表示制御部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)(計測部、マーカ生成部、表示制御部)の制御下で行われる。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定やエッジ特定点の位置の計測、計測した位置に基づくマーカの大きさ(ピクセル数)の算出が行われる(後述)。メモリ212(記憶部)には、CPU210や画像処理部204が行う処理に必要な情報、例えば撮像素子134の結像面におけるエッジ特定点の位置とマーカの大きさとの関係があらかじめ記憶されている。この関係は、関数形式で記憶してもよいし、ルックアップテーブル形式で記憶してもよい。
次に、図2に基づき内視鏡プロセッサ200(計測部、記憶部、マーカ生成部、表示制御部、光源駆動部、レーザ駆動部)の構成を説明する。内視鏡プロセッサ200は、内視鏡装置100から出力される画像信号を画像入力コントローラ202を介して入力し、画像処理部204(計測部、マーカ生成部、表示制御部)で必要な画像処理を行ってビデオ出力部206を介して出力する。これによりモニタ400(表示装置)に観察画像が表示される。これらの処理はCPU210(CPU:Central Processing Unit;中央処理装置)(計測部、マーカ生成部、表示制御部)の制御下で行われる。画像処理部204では、ホワイトバランス調整等の画像処理の他、モニタ400に表示する画像の切替や重畳表示、電子ズーム処理、操作モードに応じた画像の表示、画像信号からの特定成分(例えば輝度信号)の抽出等を行う。また画像処理部204では、撮像素子134の結像面におけるスポット位置の測定やエッジ特定点の位置の計測、計測した位置に基づくマーカの大きさ(ピクセル数)の算出が行われる(後述)。メモリ212(記憶部)には、CPU210や画像処理部204が行う処理に必要な情報、例えば撮像素子134の結像面におけるエッジ特定点の位置とマーカの大きさとの関係があらかじめ記憶されている。この関係は、関数形式で記憶してもよいし、ルックアップテーブル形式で記憶してもよい。
また、内視鏡プロセッサ200は操作部208を備えている。操作部208は図示せぬ操作モード設定スイッチや送水指示ボタン等を備えており、また可視光及び/または赤外光の照射を操作することができる。
<内視鏡装置による観察>
図8は内視鏡装置100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図8では、スポットSP0が腫瘍tm0(黒色で***している部分)の付近に形成されている様子を示す。なお、エッジ特定点はスポットSP0のエッジ上の点であり被写体に特段の目印等が形成されるわけではない。また、マーカは画面に表示されるものであり、被写体上には形成されない。
図8は内視鏡装置100の挿入部104を被検体内に挿入した状態を示す図であり、撮像光学系130を介して撮像範囲IAについて観察画像を取得する様子を示している。図8では、スポットSP0が腫瘍tm0(黒色で***している部分)の付近に形成されている様子を示す。なお、エッジ特定点はスポットSP0のエッジ上の点であり被写体に特段の目印等が形成されるわけではない。また、マーカは画面に表示されるものであり、被写体上には形成されない。
<計測処理の流れ>
次に、内視鏡システム10を用いた被検体の計測支援方法について説明する。図9は計測支援方法の処理を示すフローチャートである。
次に、内視鏡システム10を用いた被検体の計測支援方法について説明する。図9は計測支援方法の処理を示すフローチャートである。
まず、内視鏡装置100の挿入部104を被検体に挿入し、内視鏡システム10を通常観察モードに設定する(ステップS10)。通常観察モードは、光源装置300から照射される照明光を被写体に照射して画像を取得し、被写体を観察するモードである。通常観察モードへの設定は内視鏡システム10の起動時に内視鏡プロセッサ200が自動的に行ってもよいし、ユーザによる操作部208の操作に応じて行ってもよい。
内視鏡システム10が通常観察モードに設定されたら、照明光を照射して被写体を撮像し、モニタ400に表示する(ステップS12)。被写体の画像としては静止画を撮像してもよいし、動画を撮像してもよい。撮像の際は、被写体の種類や観察の目的に応じて照明光の種類(可視光または赤外光)を切り換えることが好ましい。ユーザはモニタ400に表示される画像を見ながら挿入部104を進退及び/または屈曲操作して先端硬質部116を観察対象に向け、計測したい被写体を撮像できるようにする。
次に、通常観察モードから計測モードに移行するか否かを判断する(ステップS14)。この判断は操作部208を介したユーザ操作の有無に基づいて行ってもよいし、内視鏡プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、内視鏡プロセッサ200が一定のフレーム間隔(1フレーム毎、2フレーム毎等)で通常観察モードと計測モードとを交互に設定してもよい。ステップS14の判断が否定されるとステップS12へ戻って通常観察モードでの撮像を継続し、判断が肯定されるとステップS16へ進んで計測モードに切り替える。
計測モードは、レーザヘッド506からレーザ光(計測補助光)を照射して被写体にスポットを形成し、スポットが形成された被写体の画像に基づいて被写体の大きさ(長さ)を計測するためのマーカを生成及び表示するモードである。第1の実施形態では計測補助光として赤色レーザ光を用いるが、内視鏡画像では消化管に赤みがかったものが多いので、計測条件によってはスポット及びエッジ特定点を認識しにくくなる場合がある。そこで計測モードでは、スポットの画像取得及びエッジ特定点の位置計測の際に照明光を消灯するか、スポットの認識に影響が出ない程度に照度を下げ(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20:計測補助光出射工程)。このような制御は、内視鏡プロセッサ200及び光源制御部350により行うことができる。
ステップS22では、計測補助光によりスポットが形成された被写体の画像を撮像する(撮像工程)。観察距離が計測範囲内(図7の例では観察距離D1以上)である場合、撮像光学系130の撮影画角内にスポットが形成される。以下に詳細を説明するように、観察距離に応じて画像内の(撮像素子上の)エッジ特定点の位置が異なり、表示すべきマーカの大きさ(ピクセル数)はエッジ特定点の位置に応じて異なる。
<観察距離に応じたエッジ特定点の位置変化>
図10は先端硬質部116を前方(被写体側)から見た状態を示す概念図であり、図3及び図7の構成に対応して、エッジ特定点の画像内の位置が観察距離に応じて変化する様子を示している。なお、図10ではエッジ特定点が撮像素子134上のスポットのエッジのうち撮像光学系130の光軸L2に最も近い点(図7のエッジE1上の点)である場合について説明している。図10において、観察距離D1では撮像範囲が範囲R2A、エッジ特定点が点P4(図7参照)であり、観察距離D2では撮像範囲が範囲R2B、エッジ特定点が点P5である。観察距離D2はエッジE1が撮像光学系130の光軸L2と交差する距離である。なお、エッジE1は撮像光学系130の光軸L2とゼロでない傾き角εを成す(図7参照)。
図10は先端硬質部116を前方(被写体側)から見た状態を示す概念図であり、図3及び図7の構成に対応して、エッジ特定点の画像内の位置が観察距離に応じて変化する様子を示している。なお、図10ではエッジ特定点が撮像素子134上のスポットのエッジのうち撮像光学系130の光軸L2に最も近い点(図7のエッジE1上の点)である場合について説明している。図10において、観察距離D1では撮像範囲が範囲R2A、エッジ特定点が点P4(図7参照)であり、観察距離D2では撮像範囲が範囲R2B、エッジ特定点が点P5である。観察距離D2はエッジE1が撮像光学系130の光軸L2と交差する距離である。なお、エッジE1は撮像光学系130の光軸L2とゼロでない傾き角εを成す(図7参照)。
上述した特許文献2のように計測補助光の光軸が撮像光学系の光軸と平行(傾き角が0度)である場合、光軸同士の間隔によっては計測補助光の光軸が撮像光学系の画角を横切る点までの距離(図7の観察距離D1に対応)が遠くなり、その場合至近距離ではスポットを撮影できず計測が困難である。このような状況は、至近距離で観察を行うことが多い内視鏡では大きな問題となり得る。また、計測補助光の光軸が撮像光学系の光軸と平行である場合観察距離の変化に対するスポット位置変化の感度が低くなり、十分な計測精度が得られない場合がある。さらに、特許文献2では「スポットの位置」を考慮しているが、「スポットに対するエッジ特定点の位置」については何ら考慮していない。これに対し第1の実施形態の構成によれば、至近距離から遠距離まで広範囲の観察距離で計測でき、また距離変化に対するエッジ特定点の位置変化の感度が高いため高精度に計測することができる。
このように、撮影画像内(撮像素子134上)のエッジ特定点の位置は、スポットに対するエッジ特定点の関係を特定した場合(例えば、上述のように撮像光学系130の光軸L2の最も近い点とした場合)、撮像光学系130の光軸L2と計測補助光の光軸L1との関係、及び観察距離に応じて異なるが、観察距離が近ければ同一の実寸サイズ(例えば5mm)を示すピクセル数が多くなり、観察距離が遠ければピクセル数が少なくなる。したがって、詳細を後述するように、エッジ特定点の位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係を示す情報をあらかじめ記憶しておき、エッジ特定点の位置に応じてこの情報を取得することで、マーカの大きさを算出することができる。なお、算出の際に観察距離そのものを測定する必要はない。
図9のフローチャートに戻り、撮像素子134の撮像面におけるスポット位置の認識及びエッジ特定点の位置計測(ステップS24:計測工程)について説明する。ステップS24におけるエッジ特定点の位置計測は、赤(R)色のフィルタ色のカラーフィルタが配設された画素の画素信号により生成される画像により行う。ここで、撮像素子134の各画素に配設されている各色(赤,緑,青)のカラーフィルタにおける波長と感度との関係は図11の通りであり、また上述のように、レーザヘッド506から出射されるレーザ光は波長650nmの赤色レーザ光である。即ち、スポット位置の測定及びエッジ特定点の位置計測は(赤,緑,青)のカラーフィルタのうちレーザ光の波長に対する感度が最も高い赤色のカラーフィルタが配設された画素(R画素)の画像信号により生成される画像に基づいて行われる。この際、画素信号のビットマップデータまたはRAW(Raw image format)データのR画素の信号強度に閾値を設けて二値化し、白部分(信号強度が閾値より高い画素)の重心を算出することで、スポットの位置を高速に認識しこれに基づいてエッジ特定点の位置を計測することができる。なお、実画像(全ての色の画素信号により生成される画像)によりスポットを認識する場合は、緑色及び青色のカラーフィルタが配設された画素(G画素、B画素)の画素信号に閾値を設け、ビットマップデータがあるG画素及びB画素の画素信号の値が閾値以下の画素のみを抽出することが好ましい。
認識されたスポットに基づくエッジ特定点の位置計測は、スポットの形状を認識(エッジを抽出)してエッジの座標を算出し、撮像光学系130の光軸L2の位置を参照する(例えば、抽出されたエッジ上の点のうち、光軸L2に最も近い点をエッジ特定点とする)ことにより行うことができる。被写体の形状や明るさ等の観察条件によって輪郭が精度良く抽出できない部分がある場合は、輪郭を円形や楕円形等の図形で近似してもよい。なお、このような手法はスポット位置計測及びエッジ特定点検出手法の一例であり、他の手法を採用してもよい。
計測モードでは、上述のようにスポットの画像取得(ステップS22)及び位置計測(ステップS24)に際して照明光を消灯するかスポットの認識及びエッジ特定点の検出に影響が出ない程度に照度を下げて(ステップS18)、レーザヘッド506から計測補助光を照射する(ステップS20)。これによりスポットが鮮明な画像を取得することができ、エッジ特定点の位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。なお照明光は必ずしも減光または消灯する必要はなく、スポットの認識及びエッジ特定点の検出に影響がない場合は照度はそのままでよい。
ステップS26では、被写体の実寸サイズを示すマーカを生成する(マーカ生成工程)。上述のように、マーカの大きさは画像内の(即ち、撮像素子の撮像面上の)エッジ特定点の位置に応じて異なるので、エッジ特定点の位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してその関係を示す情報をメモリ212に記憶しておき、内視鏡プロセッサ200がステップS24で計測したエッジ特定点の位置に応じてメモリ212から情報を取得し、取得した情報に基づいてマーカの大きさを求める。エッジ特定点の位置とマーカの大きさとの関係を求める手順については、詳細を後述する。
ステップS28では、観察画像及びマーカをモニタ400に表示する(表示制御工程)。表示条件(マーカの種類、数、実寸サイズ、色等)は、操作部208を介したユーザの操作により設定することができる。図12は、被写体(腫瘍tm1)の近傍にスポットSP1が形成された状態で、実寸サイズ5mm(観察画像の水平方向及び垂直方向)を示す十字型のマーカM1を、中心をエッジ特定点EP1に合わせて表示した様子を示す図である。図12では、スポットSP1のエッジのうち撮像光学系130の光軸L2に最も近い点をエッジ特定点EP1とし、エッジ特定点EP1の中心に合わせてマーカM1を表示している。なお図12ではエッジ特定点EP1の位置に黒丸印を表示しているが、これはエッジ特定点EP1の位置を明示するための記号であり、実際に表示される画像にこのような表示を行う必要はない(以降の図において同じ)。また、点線C1はスポットSP1の中心と撮像光学系130の光軸L2とを結ぶ仮想的な線であり、エッジ特定点の位置を説明するためのものなので、実際の画像にこのような表示を行う必要はない(以降の図において同じ)。
図13は、図12の例においてエッジ特定点EP1(スポットSP1のエッジのうち撮像光学系130の光軸L2に最も近い点)以外の点をエッジ特定点EP2とし、エッジ特定点EP2の中心に合わせてマーカM2を表示している。このようなエッジ特定点EP2としては、例えばエッジ上でスポット内外のコントラストが高い点や、スポットの輪郭が正確な円弧状(あるいは楕円状)である部分の点を用いることができ、これによりエッジ特定点の位置を正確に計測して適切な大きさのマーカを生成及び表示することができる。また、被写体が画像の周辺部(撮像光学系130の光軸L2から離れた位置)に存在し「スポットSP1のエッジのうち撮像光学系130の光軸L2に最も近い点」をエッジ特定点とすると被写体から遠くなってしまう場合に、エッジ特定点EP1以外のエッジ特定点EP2を用いることにより、適切な大きさのマーカを生成及び表示することができる。
上述した図12,13の例ではマーカの中心をエッジ特定点に併せて表示している。しかしながら本発明におけるマーカの表示はこのような態様に限定されるものではなく、マーカはエッジ特定点の「近傍」に表示すればよい。図14は、図12の状態において、エッジ特定点EP1から離れた位置(撮像光学系130の光軸L2の位置)にマーカM3を表示した例を示す図である。なお図14では光軸L2の位置にマーカM3を表示しているが、マーカの表示はこのような位置でなくてもよい。ただし、上述のようにマーカの大きさはエッジ特定点の位置で決まるので、適切な大きさのマーカを生成及び表示して被写体の大きさを高精度に計測するには、エッジ特定点から離れすぎない位置にマーカを表示することが好ましい。
図12~14に例示するようなマーカを生成及び表示することにより、ユーザは観察距離を測定することなく、容易かつ高精度に被写体の大きさを計測することができる。
上述した図12~14では撮像光学系130の歪曲収差の影響を考慮していないが、内視鏡に用いる光学系は一般に広角で歪曲収差が大きく、撮影画像における被写体の形状にも影響がある。したがって、マーカについても歪曲収差の影響を考慮(補正)した形態で表示することが好ましい。この場合、歪曲収差は光学系の中心部で少なく周辺部分で大きいため、マーカの表示位置(スポット位置)に応じて補正の有無を決めてもよい。図15は歪曲収差の大きい画像周辺部においてマーカを変形させてマーカM4とし、被写体(腫瘍tm2)付近に形成されたスポットSP2上のエッジ特定点EP2上に表示した例である。このようにマーカを表示することで、撮像光学系の歪曲収差の影響を考慮して被写体の大きさを正確に計測することができる。なお歪曲収差のデータは撮像光学系130の設計値に基づいて設定してもよいし、別途測定して取得してもよい。
なお、マーカを変形して表示するのではなく、撮影画像の歪曲収差を補正し、変形させない状態のマーカを補正後の画像に表示してもよい。
なお、図12~15では被写体の実寸サイズ5mmに対応するマーカを表示する場合について説明しているが、被写体の実寸サイズは観察対象や観察目的に応じて任意の値(例えば、2mm、3mm、10mm等)を設定してよい。また、図12~15では十字型のマーカを表示しているが、円形その他の形状のマーカを表示してもよい。マーカの数は一つでも複数でもよいし、実寸サイズに応じてマーカの色を変化させてもよい。また、実寸サイズを示す数字(例えば、実寸サイズが5mmの場合は“5”)をマーカ付近に表示してもよい。このような態様で表示することにより、被写体とマーカとの関係を視覚により識別し、容易かつ高精度に被写体の計測を行うことができる。なお、操作部208を介した操作によりこのような表示の態様を選択できるようにしてもよい。
図12~15に例示するようなマーカを被写体と対比することにより、ユーザは観察距離を測定することなく、被写体の大きさを容易に計測することができる。
ステップS30では計測モードを終了するか否かを判断する。この判断は操作部208を介したユーザ操作に基づいて行ってもよいし、内視鏡プロセッサ200からの切替指令の有無に基づいて行ってもよい。また、計測モードへの移行の際と同様に、一定フレーム数が経過したら自動的に計測モードを終了して通常観察モードに復帰してもよい。ステップS30の判断が否定されるとステップS20へ戻り、ステップS20からステップS28の処理を繰り返す。ステップS30の判断が肯定されるとステップS32に進んで計測補助光を消灯し、続いてステップS34で照明光の照度を通常照度に戻して通常観察モードに復帰する(ステップS10へ戻る)。なお、通常観察モードでの観察に支障がなければ、計測補助光を消灯しなくてもよい。
上述の方法では計測モードで得られる画像が暗くスポットの認識及びエッジ特定点の位置計測が困難になる場合、図16のフローチャートに示す手順により計測を行ってもよい。図16のフローチャートでは、計測補助光点灯(ステップS40)後、1フレームは計測のために照明を暗くして(ステップS42)撮像し(ステップS44)、撮影画像に基づいてスポットの認識及びエッジ特定点の位置計測(ステップS46)、及びマーカ生成(ステップS48)を行う。続く1フレームは通常の照明光量に設定して(ステップS50)撮像する(ステップS52)。計測補助光を用いた診断及び観察においては、このように暗い画像(ステップS44で撮像した画像)からマーカ情報を生成し(ステップS48)、通常の照明光量の画像(ステップS52で撮像した画像)に重畳表示する(ステップS54)ことにより、観測画像の明るさを通常照明の場合と同じにすることができる。なお図16のフローチャートにおいて、図9のフローチャートと同じ部分には同一のステップ番号を付し、説明を省略する。
以上説明したように、第1の実施形態に係る内視鏡システム10(計測支援装置、内視鏡システム、内視鏡システムのプロセッサ)及びこれを用いた計測支援方法によれば、被写体の大きさを容易かつ高精度に計測することができる。
<エッジ特定点の位置とマーカの大きさとの関係の測定>
第1の実施形態では、撮像素子134の撮像面におけるエッジ特定点の位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してエッジ特定点の位置に関連づけてメモリ212に記憶しておき、計測したエッジ特定点の位置に応じてこの関係を参照してマーカの大きさを算出する。以下、エッジ特定点の位置とマーカの大きさとの関係の測定手順の例を説明する。なお、ここではマーカは十字型とし、水平方向及び垂直方向の実寸サイズを5mmとして説明するが、本発明におけるマーカはこのような態様に限定されるものではない。
第1の実施形態では、撮像素子134の撮像面におけるエッジ特定点の位置と被写体の実寸サイズに対応するマーカの大きさ(ピクセル数)との関係をあらかじめ測定してエッジ特定点の位置に関連づけてメモリ212に記憶しておき、計測したエッジ特定点の位置に応じてこの関係を参照してマーカの大きさを算出する。以下、エッジ特定点の位置とマーカの大きさとの関係の測定手順の例を説明する。なお、ここではマーカは十字型とし、水平方向及び垂直方向の実寸サイズを5mmとして説明するが、本発明におけるマーカはこのような態様に限定されるものではない。
エッジ特定点の位置とマーカの大きさとの関係は、実寸サイズのパターンが規則的に形成されたチャートを撮像することで得ることができる。例えば、計測補助光を出射させることでスポットを形成し、観察距離を変化させてスポットの位置を変えながら実寸サイズと同じ罫(5mm罫)もしくはそれより細かい罫(例えば1mm罫)の方眼紙状のチャートを撮像し、エッジ特定点の位置(撮像素子の撮像面におけるピクセル座標)と実寸サイズに対応するピクセル数(実寸サイズである5mmが何ピクセルで表されるか)との関係を取得する。なお、このような関係を取得する際はスポットとエッジ特定点との関係を固定しておくことが好ましい(例えば、観察距離によらず撮像光学系130の光軸L2に一番近い点をエッジ特定点とする)。
なお、同一のスポット位置に対して複数のエッジ特定点を設定し、それら複数のエッジ特定点のそれぞれに対応する情報(マーカの大きさとの関係)を記憶してもよい。例えば、エッジのうち光軸L2に一番近い点をエッジ特定点とした場合の関係と、光軸L2から一番遠い点をエッジ特定点とした場合の関係とを測定及び記憶しておき、観察状況に応じて使い分けてもよい。観察距離が至近端に近い場合や撮像光学系130が被写体に正対している場合はエッジ上のいずれの点をエッジ特定点としてもマーカの大きさはさほど変わらないが、観察距離が遠い場合や撮像光学系130が被写体に正対していない場合はエッジ上のいずれの位置をエッジ特定点とするかによってマーカの大きさが異なる場合があり、このような場合はエッジ特定点を選択できるようにすると適切な大きさのマーカを表示させることができ、容易かつ高精度に被写体の大きさを計測することができる。
図17は、5mm罫のチャートを撮影した状態を示す図であり、撮影距離が短いため罫の間隔が広い状態を示している。図17において(x1,y1)は、撮像素子134の撮像面におけるエッジ特定点EP3(スポットSP3のエッジ上の点で、撮像光学系130の光軸L2に一番近い点)のX,Y方向ピクセル位置(図17の左上が座標系の原点)である。エッジ特定点EP3の位置(x1,y1)での、実寸サイズ5mmに対応するX方向ピクセル数をLx1とし、Y方向ピクセル数をLy1とする。このピクセル数が、「エッジ特定点EP3の位置が(x1,y1)の場合の、マーカM5のピクセル数」となる。このような測定を、観察距離を変えながら繰り返す。図18は図17と同じ5mm罫のチャートを撮影した状態を示す図であるが、図17の状態よりも撮影距離が遠端に近い状態であり、罫の間隔が狭く写っている。図18の状態において、撮像素子134の撮像面におけるエッジ特定点EP4(スポットSP4のエッジ上の点で、撮像光学系130の光軸L2に一番近い点)の位置(x2,y2)での実寸サイズ5mmに対応するX方向ピクセル数をLx2とし、Y方向ピクセル数をLy2とする。このピクセル数が、「エッジ特定点EP4の位置が(x2,y2)の場合の、マーカM6のピクセル数」となる。観察距離を変えながら図17,18のような測定を繰り返し、結果をプロットする。なお図17,18では、便宜上、撮像光学系130の歪曲収差を考慮せず表示している。
図19はエッジ特定点の位置のX座標とLx(マーカのX方向ピクセル数)との関係を示す図であり、図20はエッジ特定点の位置のY座標とLxとの関係を示す図である。Lxは図19の関係よりX方向位置の関数としてLx=g1(x)と表され、また図20の関係よりY方向位置の関数としてLx=g2(y)と表される。g1,g2は上述したプロット結果から例えば最小二乗法により求めることができる。このように、Lxを表す2つの関数g1,g2が得られるが、エッジ特定点の位置のX座標とY座標とは一対一に対応しておりg1,g2のいずれを用いても基本的に同じ結果(同じエッジ特定点の位置に対しては同じピクセル数)が得られるため、マーカの大きさを算出する際はどちらの関数を用いてもよい。g1,g2のうち位置変化に対するピクセル数変化の感度が高い方の関数を選んでもよい。また、g1,g2の値が大きく異なる場合は「スポット及び/またはエッジ特定点の位置が認識できなかった」と判断してもよい。第1の実施形態では、このようにして得られた関数g1,g2を示す情報を、関数形式、ルックアップテーブル形式等によりあらかじめメモリ212に記憶しておく。
また、図21はエッジ特定点の位置のX座標とLy(Y方向ピクセル数)との関係を示す図であり、図22はエッジ特定点の位置のY座標とLyとの関係を示す図である。図21の関係より、LyはX方向位置の関数としてLy=h1(x)と表され、図22の関係よりLyはY方向位置の関数としてLy=h2(y)と表される。Lyについても、Lxと同様に関数h1,h2のいずれを用いてもよい。
<第2の実施形態>
次に、本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法の第2の実施形態について説明する。上述した第1の実施形態では単一のレーザヘッド506により1つの計測補助光を照射する場合について説明したが、第2の実施形態では複数のレーザヘッドにより複数の位置から計測補助光を照射してこれにより複数のマーカを表示する場合について説明する。
次に、本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法の第2の実施形態について説明する。上述した第1の実施形態では単一のレーザヘッド506により1つの計測補助光を照射する場合について説明したが、第2の実施形態では複数のレーザヘッドにより複数の位置から計測補助光を照射してこれにより複数のマーカを表示する場合について説明する。
図23は第2の実施形態に係る内視鏡システム10Aを示すブロック図である。内視鏡システム10Aは、レーザモジュール500に加えてレーザモジュール500Aが設けられている点が第1の実施形態に係る内視鏡システム10と異なっている。レーザモジュール500Aはレーザ光源モジュール502A、光ファイバー504A、及びレーザヘッド506A(ヘッド)を備え、これらの構成及び作用効果は第1の実施形態に係るレーザモジュール500,レーザ光源モジュール502、光ファイバー504、及びレーザヘッド506とそれぞれ同じである。また、内視鏡システム10Aはレーザモジュール500A以外の構成は内視鏡システム10と同じなので、図23において図2と同一の構成要素には同一の参照符号を付し、詳細な説明を省略する。
図24は先端硬質部116における撮像光学系130、レーザヘッド506、及びレーザヘッド506Aの配置を示す図である。レーザヘッド506Aはレーザヘッド506と同様に発散によるビーム広がり角がδであり、レーザヘッド506Aによる計測補助光の光軸L3はレーザヘッド506による計測補助光の光軸L1、及び撮像光学系の光軸L2と平行である。また、レーザヘッド506Aによる計測補助光のエッジE2(計測補助光のエッジの一部)は撮像光学系130の光軸L2とゼロでない傾き角ε(=撮影画角θ-ビーム広がり角δ)を成す。レーザヘッド506による計測補助光と同様に、先端側端面116Aからの観察距離D1でエッジE2が画角に入り(点P4A)、観察距離D2でエッジE1が撮像光学系130の光軸L2と交差する(点P5)。したがって、エッジE2上の点を「エッジ特定点」とすれば、エッジ特定点が撮像光学系130の光軸L2に最も近い点となる。
なお、内視鏡システム10Aにおいて撮像光学系130、レーザヘッド506、及びレーザヘッド506Aの配置は上述の条件を満たす範囲で適宜設定することができ、例えば撮像光学系130に対しレーザヘッド506とレーザヘッド506Aとを対称に配置することができる。また、内視鏡システム10Aにおける計測処理は内視鏡システム10と同様に実施することができる(図9,16のフローチャート及び対応する記載を参照)。
図25は被写体(腫瘍tm1)の近傍にレーザヘッド506によるスポットSP5A及びレーザヘッド506AによるスポットSP5Bが形成された状態を示す図である。図25では、実寸サイズ5mm(観察画像の水平方向及び垂直方向;以下同じ)を示す十字型のマーカM7Aを、中心をエッジ特定点EP5Aに合わせて表示し、同じく実寸サイズ5mmを示す十字型のマーカM7Bを、中心をエッジ特定点EP5Bに合わせて表示した様子を示す図である。図25では、スポットSP5Aのエッジのうち撮像光学系130の光軸L2に最も近い点をエッジ特定点EP5Aとし、エッジ特定点EP5Aの中心に合わせてマーカM7Aを表示している。また、スポットSP5Bのエッジのうち撮像光学系130の光軸L2に最も近い点をエッジ特定点EP5Bとし、エッジ特定点EP5Bの中心に合わせてマーカM7Bを表示している。点線C2A,C2Bは、点線C1と同様に、それぞれスポットSP5A,SP5Bの中心と撮像光学系130の光軸L2とを結ぶ仮想的な線である。
図26は、被写体(腫瘍tm1)の近傍にレーザヘッド506によるスポットSP6A及びレーザヘッド506AによるスポットSP6Bが形成された状態を示す図である。図26の例ではスポットSP6AとスポットSP6Bとが重なっており、これらスポットのエッジ同士の交点をエッジ特定点EP6A,EP6Bとしている。そしてエッジ特定点EP6Aを中心としてマーカM8Aを表示し、エッジ特定点EP6Bを中心としてマーカM8Bを表示している。
<計測補助光の波長及び計測処理の変形例>
上述した第1,第2の実施形態では計測補助光が波長650nmの赤色レーザ光である場合について説明したが、本発明において計測補助光の波長及びこれらに基づく計測処理はこのような態様に限定されるものではない。計測補助光の波長及び計測処理についての他の態様について、以下に説明する。なお、以下の説明において第1,第2の実施形態と同様の構成には同一の参照符号を付し、詳細な説明を省略する。
上述した第1,第2の実施形態では計測補助光が波長650nmの赤色レーザ光である場合について説明したが、本発明において計測補助光の波長及びこれらに基づく計測処理はこのような態様に限定されるものではない。計測補助光の波長及び計測処理についての他の態様について、以下に説明する。なお、以下の説明において第1,第2の実施形態と同様の構成には同一の参照符号を付し、詳細な説明を省略する。
<変形例1>
変形例1では、計測補助光の波長が波長445nmの青色レーザ(半導体レーザ)である点が第1,第2の実施形態と異なる。なお半導体レーザの代わりにLEDを用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。このような構成の変形例1において、スポット位置の計測やマーカ生成の処理は基本的に第1,第2の実施形態と同様であるが、上述のように変形例1では計測補助光に青色レーザを用いるので、スポット位置の計測及びエッジ特定点の位置計測の際はビットマップデータまたはRAWデータのB信号(青色のカラーフィルタが配設された画素の画素信号)の強度に閾値を設けて画像を2値化し、白部分(信号強度が閾値より高い画素領域)の重心を算出する。実際の観察画像でスポット位置を計測する場合は、G信号,R信号(それぞれ、緑色、赤色のカラーフィルタが配設された画素の画素信号)に閾値を設け、ビットマップデータのあるG信号及びR信号の値が閾値以下の座標を抽出することが好ましい。
変形例1では、計測補助光の波長が波長445nmの青色レーザ(半導体レーザ)である点が第1,第2の実施形態と異なる。なお半導体レーザの代わりにLEDを用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。このような構成の変形例1において、スポット位置の計測やマーカ生成の処理は基本的に第1,第2の実施形態と同様であるが、上述のように変形例1では計測補助光に青色レーザを用いるので、スポット位置の計測及びエッジ特定点の位置計測の際はビットマップデータまたはRAWデータのB信号(青色のカラーフィルタが配設された画素の画素信号)の強度に閾値を設けて画像を2値化し、白部分(信号強度が閾値より高い画素領域)の重心を算出する。実際の観察画像でスポット位置を計測する場合は、G信号,R信号(それぞれ、緑色、赤色のカラーフィルタが配設された画素の画素信号)に閾値を設け、ビットマップデータのあるG信号及びR信号の値が閾値以下の座標を抽出することが好ましい。
内視鏡画像では消化管に赤みがかったものが多いので赤色光によるスポットの認識が困難な場合があり、変形例1のように青色光を用いた場合でも認識が不十分な場合がある。この場合、スポットの位置を計測するフレーム(計測モード)では白色の照明光(可視光源310A)を消灯するか、スポットの計測に影響が出ない程度に強度を弱くすることが好ましい。一方、スポットの認識を行うフレーム以外(通常観察モード)では照明光を正規な出力に設定して画像を構築する。このような照明光の制御によって、スポットの認識成功率を大幅に向上させることができる。
<変形例2>
次に、変形例2について説明する。変形例2では、計測補助光の波長が波長505nmの緑色レーザ(半導体レーザ)である点が第1,第2の実施形態及び変形例1と異なる。なお半導体レーザの代わりにLED(例えば、波長530nm)または固体レーザ(例えば、波長532nm)を用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。
次に、変形例2について説明する。変形例2では、計測補助光の波長が波長505nmの緑色レーザ(半導体レーザ)である点が第1,第2の実施形態及び変形例1と異なる。なお半導体レーザの代わりにLED(例えば、波長530nm)または固体レーザ(例えば、波長532nm)を用いてもよく、また半導体レーザを発振閾値以下のLED発光状態で用いてもよい。
このような構成の変形例2において、スポット位置の計測やマーカの生成は基本的に第1,第2の実施形態と同様であるが、上述のように変形例2では計測補助光に緑色レーザを用いるので、スポット位置の計測及びエッジ特定点の位置計測の際はビットマップデータまたはRAWデータのG信号(緑色のカラーフィルタが配設された画素の画素信号)の強度に閾値を設けて画像を2値化し、白部分(信号強度が閾値より高い画素領域)の重心を算出する。実際の観察画像でスポット位置を計測する場合は、B信号,R信号(それぞれ、青色、赤色のカラーフィルタが配設された画素の画素信号)に閾値を設け、ビットマップデータのあるB信号及びR信号の値が閾値以下の座標を抽出することが好ましい。
内視鏡画像では消化管に赤みがかったものが多いので赤色光によるスポットの認識が困難な場合があり、変形例2のように緑色光を用いた場合でも認識が不十分な場合がある。この場合、スポットの位置を計測するフレーム(計測モード)では白色の照明光(可視光源310A)を消灯するか、スポットの計測に影響が出ない程度に強度を弱くすることが好ましい。一方でスポットの認識を行うフレーム以外(通常観察モード)では照明光を正規な出力に設定して画像を構築する。このような照明光の制御によって、スポットの認識成功率を大幅に向上させることができる。
<照明用光源の変形例>
上述した実施形態及び変形例では、照明及び観察用の光源装置300(照明光源)が可視光源310A(照明光源)及び赤外光源310B(照明光源)を備える場合について説明しているが、本発明の実施において光源の構成はこのような態様に限られない。例えば(白色)、(青色、緑色、赤色)、または(紫色、青色、緑色、赤色)等波長の異なる複数のLEDの組合せにより光源を構成してもよい。この場合各色のLEDを単独で発光させてもよいし、複数色のLEDを同時に発光させてもよい。また全ての色のLEDを同時に発光させることで白色光を照射してもよい。
上述した実施形態及び変形例では、照明及び観察用の光源装置300(照明光源)が可視光源310A(照明光源)及び赤外光源310B(照明光源)を備える場合について説明しているが、本発明の実施において光源の構成はこのような態様に限られない。例えば(白色)、(青色、緑色、赤色)、または(紫色、青色、緑色、赤色)等波長の異なる複数のLEDの組合せにより光源を構成してもよい。この場合各色のLEDを単独で発光させてもよいし、複数色のLEDを同時に発光させてもよい。また全ての色のLEDを同時に発光させることで白色光を照射してもよい。
また、白色光(広帯域光)用レーザ光源及び狭帯域光用レーザ光源により光源装置を構成してもよい。この場合狭帯域光としては青色、紫色等の1または複数の波長から選択することができる。
また、光源をキセノン光源とし、通常光(白色光)用の光源及び狭帯域光用の光源により光源装置を構成してもよい。この場合、狭帯域光としては青色、緑色等の1または複数の波長から選択することができ、例えば光源の前方に配置され青色及び緑色のカラーフィルタが設けられた円板状のフィルタ(ロータリカラーフィルタ)を回転させることで照射する狭帯域光の波長を切り替えてもよい。なお狭帯域光は波長の異なる2波長以上の赤外光でもよい。
光源装置の光源種類、波長、フィルタの有無等は被写体の種類や観察の目的等に応じて構成することが好ましく、また観察の際は被写体の種類や観察の目的等に応じて照明光の波長を組合せ及び/または切り替えることが好ましい。例えば、上述した各色のLED光の間で、白色レーザ光と第1,第2狭帯域レーザ光(青色、紫色)との間で、青色狭帯域光と緑色狭帯域光との間で、あるいは第1赤外光と第2赤外光との間で照明光の波長を適宜組合せ及び/または切り替えることが好ましい。
<撮像素子及び撮像方式の変形例>
上述した実施形態及び変形例では、撮像素子134は各画素に対しカラーフィルタが配設されたカラー撮像素子である場合について説明したが、本発明において撮像素子の構成及び撮像方式はこのような態様に限定されるものではなく、モノクロ撮像素子(CCD型、CMOS型等)でもよい。
上述した実施形態及び変形例では、撮像素子134は各画素に対しカラーフィルタが配設されたカラー撮像素子である場合について説明したが、本発明において撮像素子の構成及び撮像方式はこのような態様に限定されるものではなく、モノクロ撮像素子(CCD型、CMOS型等)でもよい。
モノクロ撮像素子を用いる場合、照明光の波長を順次切り替えて面順次(色順次)で撮像することができる。例えば出射する照明光の波長を(紫色、青色、緑色、赤色)の間で順次切り替えてもよいし、広帯域光(白色光)を照射してロータリカラーフィルタ(赤色、緑色、青色等)により出射する照明光の波長を切り替えてもよい。また、1または複数の狭帯域光(緑色、青色等)を照射してロータリカラーフィルタ(緑色、青色等)により出射する照明光の波長を切り替えてもよい。狭帯域光は波長の異なる2波長以上の赤外光でもよい。
<その他>
本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法は、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置及び計測支援方法は、内視鏡に限らず、工業用部品や製品の寸法や形状を計測する場合にも適用できる。
本発明の計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法は、生体である被検体を計測する以外に、配管等の生体でない被検体を計測する場合にも適用できる。また本発明の計測支援装置及び計測支援方法は、内視鏡に限らず、工業用部品や製品の寸法や形状を計測する場合にも適用できる。
以上で本発明の例に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
10 内視鏡システム
10A 内視鏡システム
100 内視鏡装置
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
110 内視鏡本体
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 内視鏡プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
500A レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
502A レーザ光源モジュール
503 集光レンズ
504 光ファイバー
504A 光ファイバー
506 レーザヘッド
506A レーザヘッド
507 補強材
508 フェルール
509 ハウジング
C1 点線
C2A 点線
C2B 点線
D1 観察距離
D2 観察距離
E1 エッジ
E2 エッジ
EP1 エッジ特定点
EP2 エッジ特定点
EP3 エッジ特定点
EP4 エッジ特定点
EP5A エッジ特定点
EP5B エッジ特定点
EP6A エッジ特定点
EP6B エッジ特定点
IA 撮像範囲
L1 光軸
L2 光軸
L3 光軸
M1 マーカ
M2 マーカ
M3 マーカ
M4 マーカ
M5 マーカ
M6 マーカ
M7A マーカ
M7B マーカ
M8A マーカ
M8B マーカ
R2A 範囲
R2B 範囲
S10~S54 計測支援方法の各ステップ
SP0 スポット
SP1 スポット
SP2 スポット
SP3 スポット
SP4 スポット
SP5A スポット
SP5B スポット
SP6A スポット
SP6B スポット
g1 関数
g2 関数
h1 関数
h2 関数
tm0 腫瘍
tm1 腫瘍
tm2 腫瘍
δ ビーム広がり角
ε 傾き角
θ 撮影画角
10A 内視鏡システム
100 内視鏡装置
102 手元操作部
104 挿入部
106 ユニバーサルケーブル
108 ライトガイドコネクタ
110 内視鏡本体
112 軟性部
114 湾曲部
116 先端硬質部
116A 先端側端面
123 照明部
123A 照明用レンズ
123B 照明用レンズ
126 鉗子口
130 撮像光学系
132 撮像レンズ
134 撮像素子
136 駆動回路
138 AFE
170 ライトガイド
200 内視鏡プロセッサ
202 画像入力コントローラ
204 画像処理部
206 ビデオ出力部
208 操作部
210 CPU
212 メモリ
300 光源装置
310 光源
310A 可視光源
310B 赤外光源
330 絞り
340 集光レンズ
350 光源制御部
400 モニタ
500 レーザモジュール
500A レーザモジュール
501 ファイバー外皮
502 レーザ光源モジュール
502A レーザ光源モジュール
503 集光レンズ
504 光ファイバー
504A 光ファイバー
506 レーザヘッド
506A レーザヘッド
507 補強材
508 フェルール
509 ハウジング
C1 点線
C2A 点線
C2B 点線
D1 観察距離
D2 観察距離
E1 エッジ
E2 エッジ
EP1 エッジ特定点
EP2 エッジ特定点
EP3 エッジ特定点
EP4 エッジ特定点
EP5A エッジ特定点
EP5B エッジ特定点
EP6A エッジ特定点
EP6B エッジ特定点
IA 撮像範囲
L1 光軸
L2 光軸
L3 光軸
M1 マーカ
M2 マーカ
M3 マーカ
M4 マーカ
M5 マーカ
M6 マーカ
M7A マーカ
M7B マーカ
M8A マーカ
M8B マーカ
R2A 範囲
R2B 範囲
S10~S54 計測支援方法の各ステップ
SP0 スポット
SP1 スポット
SP2 スポット
SP3 スポット
SP4 スポット
SP5A スポット
SP5B スポット
SP6A スポット
SP6B スポット
g1 関数
g2 関数
h1 関数
h2 関数
tm0 腫瘍
tm1 腫瘍
tm2 腫瘍
δ ビーム広がり角
ε 傾き角
θ 撮影画角
Claims (13)
- 光源から出射された光を発散による広がりを持った計測補助光として出射するヘッドと、
前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、
前記取得した被写体の画像に基づいて、前記撮像素子における前記スポットのエッジ上の点であるエッジ特定点の位置を計測する計測部と、
前記被写体の前記撮像素子上の寸法と前記被写体の実寸サイズとの関係を示す情報を、前記エッジ特定点の前記撮像素子上の位置に関連づけて記憶する記憶部と、
前記計測した前記エッジ特定点の位置に基づいて前記記憶部から前記関係を示す情報を取得し、前記取得した情報に基づいて前記実寸サイズを示すマーカを生成するマーカ生成部と、
前記スポットが形成された前記被写体の画像及び前記生成したマーカを表示装置に表示させる表示制御部であって、前記被写体の画像において前記エッジ特定点の近傍に前記マーカを表示させる表示制御部と、
を備え、
前記ヘッドは、少なくとも一部のエッジが前記撮像光学系の光軸と0度でない傾き角を成し、前記少なくとも一部のエッジが前記撮像光学系の画角を横切る前記計測補助光を出射する計測支援装置。 - 前記計測補助光は、前記少なくとも一部のエッジが前記撮像光学系の光軸と交差する請求項1に記載の計測支援装置。
- 前記エッジ特定点は、前記撮像素子上の前記スポットのエッジのうち前記撮像光学系の光軸に最も近い点である請求項1または2に記載の計測支援装置。
- 前記計測補助光の光軸は前記撮像光学系の光軸と平行である請求項1から3のいずれか1項に記載の計測支援装置。
- 前記ヘッドは前記計測補助光を複数の位置から出射し、
前記マーカ生成部は前記複数の位置から出射される前記計測補助光のそれぞれに対応して前記マーカを生成する、請求項1から4のいずれか1項に記載の計測支援装置。 - 請求項1から5のいずれか1項に記載の計測支援装置を備える内視鏡システム。
- 被検体内に挿入される挿入部であって、先端硬質部と、前記先端硬質部の基端側に接続された湾曲部と、前記湾曲部の基端側に接続された軟性部とを有する挿入部と、前記挿入部の基端側に接続された操作部と、を有する内視鏡を備え、
前記計測補助光の出射部と、前記スポットの光学像を前記撮像素子に結像させる撮像レンズと、が前記先端硬質部の先端側端面に設けられる請求項6に記載の内視鏡システム。 - 照明光を照射する照明光源と、前記照明光の照度を制御する制御部と、を有し、
前記制御部は、前記撮像光学系により前記スポットの画像を取得する計測モードでは、前記照明光を前記被写体に照射して前記被写体を観察する通常観察モードよりも前記照明光の照度を下げる請求項6または7に記載の内視鏡システム。 - 前記撮像素子は、2次元配列された複数の受光素子からなる複数の画素と、前記複数の画素に対し配設された複数のフィルタ色のカラーフィルタと、を備えるカラー撮像素子であり、
前記計測部は、前記複数のフィルタ色のうち前記計測補助光の波長に対する感度が最も高いフィルタ色のカラーフィルタが配設された画素の画像信号により生成される画像に基づいて前記エッジ特定点の位置を計測する、請求項6から8のいずれか1項に記載の内視鏡システム。 - 請求項6から9のいずれか1項に記載の内視鏡システムのプロセッサであって、前記光源を駆動する光源駆動部と、前記計測部と、前記記憶部と、前記マーカ生成部と、前記表示制御部と、を備えるプロセッサ。
- 前記計測部は前記撮像素子上での前記スポットの形状を認識し、前記認識の結果に基づいて前記エッジ特定点を計測する請求項10に記載のプロセッサ。
- 前記光源駆動部はレーザ光源を駆動するレーザ駆動部である請求項10または11に記載のプロセッサ。
- 光源から出射された光を発散による広がりを持った計測補助光として出射するヘッドと、前記計測補助光によりスポットが形成された被写体の画像を撮像光学系及び撮像素子を介して取得する撮像部と、前記被写体の前記撮像素子上の寸法と前記被写体の実寸サイズとの関係を示す情報を、前記撮像素子における前記スポットのエッジ上の点であるエッジ特定点の位置に関連づけて記憶する記憶部と、を備える計測支援装置を用いた計測支援方法であって、
前記ヘッドから、少なくとも一部のエッジが前記撮像光学系の光軸と0度でない傾き角を成し、前記少なくとも一部のエッジが前記撮像光学系の画角を横切る前記計測補助光を出射する計測補助光出射工程と、
前記計測補助光により前記スポットが形成された被写体の画像を前記撮像部を介して取得する撮像工程と、
前記被写体の画像に基づいて前記エッジ特定点の位置を計測する計測工程と、
前記計測した前記エッジ特定点の位置に基づいて前記記憶部から前記関係を示す情報を取得し、前記取得した情報に基づいて前記実寸サイズを示すマーカを生成するマーカ生成部と、
前記スポットが形成された前記被写体の画像及び前記生成したマーカを表示装置に表示させる表示制御工程であって、前記被写体の画像において前記スポットの近傍に前記マーカを表示させる表示制御工程と、
を含む計測支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018540905A JP6644899B2 (ja) | 2016-09-20 | 2017-08-07 | 計測支援装置、内視鏡システム、及び内視鏡システムのプロセッサ |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016183050 | 2016-09-20 | ||
JP2016-183050 | 2016-09-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018055933A1 true WO2018055933A1 (ja) | 2018-03-29 |
Family
ID=61690252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/028646 WO2018055933A1 (ja) | 2016-09-20 | 2017-08-07 | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6644899B2 (ja) |
WO (1) | WO2018055933A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020153186A1 (ja) * | 2019-01-24 | 2020-07-30 | 富士フイルム株式会社 | 内視鏡装置 |
JPWO2021029277A1 (ja) * | 2019-08-13 | 2021-02-18 | ||
WO2021039471A1 (ja) * | 2019-08-23 | 2021-03-04 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
WO2021225026A1 (ja) * | 2020-05-07 | 2021-11-11 | 富士フイルム株式会社 | テストチャート、検査システム、及び検査方法 |
CN114286961A (zh) * | 2019-08-28 | 2022-04-05 | 富士胶片株式会社 | 内窥镜***及其工作方法 |
US11762156B2 (en) * | 2018-04-26 | 2023-09-19 | Olympus Corporation | Optical module for endoscope, endoscope, and manufacturing method of optical module for endoscope |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0285706A (ja) * | 1988-09-22 | 1990-03-27 | Toshiba Corp | 計測内視鏡 |
JPH03295532A (ja) * | 1990-04-16 | 1991-12-26 | Toshiba Corp | 形状計測内視鏡装置 |
JPH07136101A (ja) * | 1993-11-16 | 1995-05-30 | Sony Corp | 計測機能付き内視鏡 |
-
2017
- 2017-08-07 JP JP2018540905A patent/JP6644899B2/ja active Active
- 2017-08-07 WO PCT/JP2017/028646 patent/WO2018055933A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0285706A (ja) * | 1988-09-22 | 1990-03-27 | Toshiba Corp | 計測内視鏡 |
JPH03295532A (ja) * | 1990-04-16 | 1991-12-26 | Toshiba Corp | 形状計測内視鏡装置 |
JPH07136101A (ja) * | 1993-11-16 | 1995-05-30 | Sony Corp | 計測機能付き内視鏡 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11762156B2 (en) * | 2018-04-26 | 2023-09-19 | Olympus Corporation | Optical module for endoscope, endoscope, and manufacturing method of optical module for endoscope |
JPWO2020153186A1 (ja) * | 2019-01-24 | 2021-11-18 | 富士フイルム株式会社 | 内視鏡装置 |
US11957316B2 (en) | 2019-01-24 | 2024-04-16 | Fujifilm Corporation | Endoscope apparatus |
WO2020153186A1 (ja) * | 2019-01-24 | 2020-07-30 | 富士フイルム株式会社 | 内視鏡装置 |
JP7116264B2 (ja) | 2019-08-13 | 2022-08-09 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN114207499A (zh) * | 2019-08-13 | 2022-03-18 | 富士胶片株式会社 | 内窥镜***及其工作方法 |
WO2021029277A1 (ja) * | 2019-08-13 | 2021-02-18 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
JPWO2021029277A1 (ja) * | 2019-08-13 | 2021-02-18 | ||
JPWO2021039471A1 (ja) * | 2019-08-23 | 2021-03-04 | ||
WO2021039471A1 (ja) * | 2019-08-23 | 2021-03-04 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
JP7166467B2 (ja) | 2019-08-23 | 2022-11-07 | 富士フイルム株式会社 | 内視鏡装置及びその作動方法並びに内視鏡装置用プログラム |
CN114286961A (zh) * | 2019-08-28 | 2022-04-05 | 富士胶片株式会社 | 内窥镜***及其工作方法 |
EP4024113A4 (en) * | 2019-08-28 | 2022-10-12 | FUJIFILM Corporation | ENDOSCOPE SYSTEM AND METHOD OF OPERATION |
WO2021225026A1 (ja) * | 2020-05-07 | 2021-11-11 | 富士フイルム株式会社 | テストチャート、検査システム、及び検査方法 |
JP7447249B2 (ja) | 2020-05-07 | 2024-03-11 | 富士フイルム株式会社 | テストチャート、検査システム、及び検査方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6644899B2 (ja) | 2020-02-12 |
JPWO2018055933A1 (ja) | 2019-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6964592B2 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
JP6692440B2 (ja) | 内視鏡システム | |
WO2018055933A1 (ja) | 計測支援装置、内視鏡システム、内視鏡システムのプロセッサ、及び計測支援方法 | |
US10708553B2 (en) | Measurement support device, endoscope system, processor for endoscope system | |
CN110418596B (zh) | 测量辅助装置、内窥镜***及处理器 | |
US11490785B2 (en) | Measurement support device, endoscope system, and processor measuring size of subject using measurement auxiliary light | |
WO2015093114A1 (ja) | 内視鏡装置 | |
JP2022027501A (ja) | 撮像装置、位相差オートフォーカスの実行方法、内視鏡システム、およびプログラム | |
JP5953443B2 (ja) | 内視鏡システム | |
CN110799081B (zh) | 内窥镜装置及测量支持方法 | |
US20190290113A1 (en) | Endoscope apparatus and medical imaging device | |
JP7343594B2 (ja) | 内視鏡 | |
JP2005111110A (ja) | 内視鏡システム | |
JP6572065B2 (ja) | 内視鏡用光源装置 | |
JP2017086803A (ja) | 計測装置、内視鏡システム、及び計測方法 | |
CN118202663A (zh) | 固态成像装置、成像***和成像处理方法 | |
JP2016058780A (ja) | 撮像素子、電子内視鏡、撮像素子の傾きを表示する方法及び撮像素子の傾きを調整する方法 | |
JP2011019691A (ja) | 医療用観察システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2018540905 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17852714 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17852714 Country of ref document: EP Kind code of ref document: A1 |