WO2012161239A1 - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- WO2012161239A1 WO2012161239A1 PCT/JP2012/063258 JP2012063258W WO2012161239A1 WO 2012161239 A1 WO2012161239 A1 WO 2012161239A1 JP 2012063258 W JP2012063258 W JP 2012063258W WO 2012161239 A1 WO2012161239 A1 WO 2012161239A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- pattern
- light
- test object
- projection
- unit
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0605—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
Definitions
- the present invention relates to an endoscope apparatus, and more particularly to an endoscope apparatus that measures a three-dimensional shape of a surface of a test object by projecting a pattern such as a stripe onto the test object.
- an endoscope apparatus having an image pickup unit having an optical system, an image pickup device, and the like at the distal end of a long insertion portion is used.
- a plurality of fringe images obtained by projecting a fringe pattern onto the test object are obtained while shifting the phase of the fringe pattern, and the test object is obtained using the plurality of fringe images.
- a configuration for calculating the three-dimensional shape is known.
- Patent Document 1 describes an endoscope apparatus in which two projection windows for projecting stripes are provided on the distal end surface of an insertion portion.
- the endoscope apparatus described in Patent Literature 1 is configured such that a fringe pattern is displayed on the entire surface of a fringe image acquired by an imaging unit.
- An object of the present invention is to provide an endoscope apparatus that can measure a test object by projecting a bright and dark pattern onto the test object and that has a thinner insertion portion.
- an endoscope apparatus is an endoscope apparatus that performs measurement of the test object using a fringe image in which a light and dark pattern is projected on the test object.
- An insertion unit, an imaging unit, an illumination unit, and a pattern projection unit are provided.
- the imaging unit is provided at a distal end of the insertion unit and acquires an image of the test object.
- the illumination unit illuminates an observation field of view of the imaging unit.
- the pattern projection unit is provided with a light source that emits projection light for projecting the bright and dark pattern onto the test object.
- the pattern projection unit projects the light / dark pattern onto at least one end in a direction in which the stripes of the light / dark pattern are arranged within the imaging field of view of the imaging unit in a state where the light / dark pattern is projected onto the test object. Give rise to areas that are not.
- the imaging unit includes an imaging device that captures an image of a test object, and an objective optical system that forms an image of the test object on the imaging device.
- the pattern projection unit includes a pattern generation unit and a projection optical system.
- the pattern generation unit generates the light / dark pattern.
- the projection optical system is provided at a distal end portion of the insertion portion, and irradiates the projection light from the light source to the test object through the light / dark pattern.
- the irradiation angle of the projection light in the projection optical system is narrower than the angle of view of the objective optical system.
- the objective optical system is in focus in a state where an area where the bright / dark pattern is not projected is generated at least at one end in the direction in which the stripes of the bright / dark pattern are arranged in the imaging field of view of the imaging unit.
- only one projection window for projecting the bright and dark pattern onto the test object is provided on the distal end surface of the insertion portion.
- the endoscope apparatus further includes a display unit having a display screen for displaying an image of the test object.
- the display unit displays on the display screen a frame indicating a projected position of the fringe pattern projected onto the test object on the display screen.
- the endoscope apparatus measures the three-dimensional shape of the test object only for the region located within the frame on the image displayed on the display screen.
- a control unit is further provided.
- the insertion portion of the endoscope apparatus that measures a test object by projecting a stripe pattern can have a smaller diameter.
- FIG. 1 is a block diagram showing a configuration of the endoscope apparatus 1.
- FIG. 2 is a front view showing the distal end surface of the insertion portion 10 in the endoscope apparatus 1.
- the endoscope apparatus 1 is a measurement endoscope that measures a test object using a pattern projection image in which a bright and dark pattern is projected onto the test object.
- the endoscope apparatus 1 is used for internal observation of a test object, observation of a test object at a position where a normal observation apparatus is difficult to access, and the like.
- the endoscope apparatus 1 includes a long insertion portion 10 and a main body portion 20 to which a proximal end of the insertion portion 10 is connected.
- the insertion part 10 is formed in a tubular shape.
- the insertion unit 10 is inserted into the inside of the test object or an access path to the test object.
- the insertion unit 10 is provided with an imaging unit 30, an illumination unit 40, and a pattern projection unit 50.
- the imaging unit 30 acquires an image of the test object.
- the illumination unit 40 illuminates the observation visual field in front of the insertion unit 10.
- the pattern projection unit 50 projects a light and dark pattern onto the test object. In the present embodiment, the pattern projection unit 50 projects a fringe pattern onto the test object as a bright and dark pattern. As shown in FIG.
- an opening 11, an illumination window 12, and a projection window 13 are provided on the distal end surface 10 a of the insertion portion 10.
- the aperture 11 allows external light to enter the objective optical system 32 of the imaging unit 30.
- the illumination window 12 irradiates the illumination light from the illumination unit 40 in front of the insertion unit 10.
- the projection window 13 irradiates the fringe pattern from the pattern projection unit 50 in front of the insertion unit 10.
- the imaging unit 30 includes an imager 31, an objective optical system 32, and a control unit 33.
- the imager 31 is disposed near the distal end of the insertion unit 10.
- the objective optical system 32 is disposed in front of the imager 31.
- the control unit 33 is connected to the imager 31.
- an area image sensor that has a rectangular sensor region in which square pixels are arranged in a grid and detects the amount of light incident on the sensor region for each pixel to capture an image is employed. be able to.
- the short side of the image area of the imager 31 in the sensor area of the image picked up by the imager 31 is denoted as vertical.
- the long side in the sensor area of the imager 31 is expressed as horizontal.
- various known configurations including various image sensors such as a CCD and a CMOS can be appropriately selected and used.
- the objective optical system 32 is disposed in the opening 11 of the insertion portion 10.
- the objective optical system 32 has a predetermined angle of view (viewing angle).
- the objective optical system 32 causes the reflected light in the observation field defined by the angle of view to enter the imager 31 to form an image of the test object.
- the objective optical system 32 includes a light transmissive cover member 32a. The cover member 32a seals the opening 11.
- the imager control unit 33 is provided in the main body unit 20. Further, the imager control unit 33 is connected to the imager 31 by a wiring 34 extending through the insertion unit 10. The imager control unit 33 performs various controls such as driving of the imager 31 and setting for acquiring a video signal.
- the illumination unit 40 includes a first light source 41, an illumination optical system 42, a first fiber bundle 43, and a first incident optical system 44.
- the first fiber bundle 43 guides the light from the first light source 41 to the illumination optical system 42.
- the first incident optical system 44 is disposed between the first light source 41 and the first fiber bundle 43.
- the first light source 41 is a light source that emits white light.
- the first light source 41 is disposed inside the main body 20.
- a known light source such as a halogen lamp or a mercury lamp can be appropriately selected and employed.
- a halogen lamp is employed as the first light source 41.
- the light emitted from the first light source 41 is illumination light for illuminating the test object.
- the illumination optical system 42 is attached at or near the distal end of the insertion portion 10.
- the illumination optical system 42 includes a light transmissive cover member 42a and a lens group (not shown).
- the cover member 42 a is provided in the illumination window 12 of the insertion unit 10.
- the illumination optical system 42 spreads the light emitted from the first light source 41 in the field of view suitable for the angle of view of the objective optical system 32 and emits it from the illumination window 12 to illuminate the entire observation field.
- the first fiber bundle 43 extends from the vicinity of the illumination optical system 42 to the vicinity of the first light source 41 in the main body 20 through the insertion portion 10.
- a general light guide can be used.
- the first incident optical system 44 converges the light emitted from the first light source 41 to the same extent as the diameter of the first fiber bundle 43 and efficiently introduces it into the first fiber bundle 43.
- the pattern projection unit 50 includes a second light source 51, a projection optical system 52, a second fiber bundle 53, a second incident optical system 54, and a pattern generation unit 55.
- the second fiber bundle 53 guides the light from the second light source 51 to the projection optical system 52.
- the second incident optical system 54 is disposed between the second light source 51 and the second fiber bundle 53.
- the pattern generation unit 55 is disposed on the optical path of the light emitted from the second light source 51.
- the second light source 51 is a light source that emits light different from the first light source 41.
- the second light source 51 is disposed inside the main body 20.
- an LED light source, a laser light source, or the like can be employed.
- an LED light source is employed as the second light source 51.
- the light emitted from the second light source 51 is projection light for projecting a fringe pattern.
- the projection optical system 52 is attached at or near the distal end of the insertion unit 10.
- the projection optical system 52 has a light transmissive cover member 52a.
- the cover member 52 a is provided in the projection window 13 of the insertion unit 10. As shown in FIG. 2, the projection window 13 is disposed at a position adjacent to the short side of the imager 31 when viewed from the distal end surface 10 a side of the insertion portion 10. Note that the cover member 52a provided in the projection window 13 may have a lens shape.
- the projection optical system 52 projects the light emitted from the second light source 51 into the observation field from one projection window 13 at a predetermined irradiation angle corresponding to the angle of view of the objective optical system 32.
- FIG. 3 is a schematic diagram showing the relationship between the field angle of the objective optical system 32 and the irradiation angle of the projection optical system 52.
- the symbol O indicates the position of the objective optical system 32.
- Reference symbol P indicates the position of the projection optical system 52.
- the angle of view ⁇ v of the objective optical system 32 is such that the depth direction (object distance direction) of the objective optical system 32 is the center line (indicated by reference numeral A1 in FIG. 3). It spreads at an angle. Further, the irradiation angle ⁇ p of the projection optical system 52 spreads at an equal angle with the center line A2 parallel to the center line A1 as the center. Further, the angle of view ⁇ v of the objective optical system 32 and the irradiation angle ⁇ p of the projection optical system 52 satisfy ⁇ v> ⁇ p.
- the shortest object distance L1 in which all projected fringes fall within the field of view satisfies Ln ⁇ L1. Fulfill. With such a relationship, all the fringe patterns are located within the angle of view of the objective optical system 32 when the object distance is in focus (within the depth from Ln to Lf).
- the distance d between the center of the objective optical system 32 and the center of the projection optical system 52 is set to be smaller than the depth L1 that is the minimum value of the measurable object distance. For this reason, the distance d is sufficiently smaller than the object distance Ln. For this reason, in the range where the imaging unit 30 is in focus, the positions of the stripes appearing in the image do not change significantly.
- the second fiber bundle 53 extends from the vicinity of the projection optical system 52 through the insertion portion 10 to the vicinity of the second light source 51 in the main body portion 20.
- a general light guide can be used similarly to the first fiber bundle 43.
- the second incident optical system 54 converges the light emitted from the second light source 51 to the same extent as the diameter of the second fiber bundle 53 and efficiently introduces it into the second fiber bundle 53.
- the pattern generation unit 55 is configured to be able to form a stripe pattern.
- a slit plate having a plurality of slits, a transparent plate made of glass or resin on which a stripe pattern is drawn, and the like can be used.
- the stripe pattern is preferably a strip-like stripe pattern in which the luminance of the stripe changes periodically periodically.
- the striped pattern may be a striped pattern whose luminance changes to a rectangular shape such as white or black.
- the stripe pattern in the present embodiment is a pattern that extends in the short side direction of the sensor region of the imager 31 and is arranged in parallel at predetermined intervals in the long side direction of the sensor region of the imager 31 (see FIG. 2). . That is, in the present embodiment, the stripe pattern extends in the vertical direction of the image acquired by the imaging unit 30 when projected onto a plane that faces the distal end of the insertion unit. At this time, the stripe pattern appears as lines parallel to each other in the horizontal direction (see FIG. 4).
- the pattern generation unit 55 may use a liquid crystal shutter module that can switch between transmission and non-transmission of light for each element, a MEMS (microelectronic device system) mirror module that includes a fine reflection mirror for each element, and the like. Good.
- a MEMS (microelectronic device system) mirror module that includes a fine reflection mirror for each element, and the like. Good.
- the control is performed for each element, it is possible to form a fringe pattern having an appropriate phase without moving the entire pattern generation unit 55, so that the configuration of the pattern projection unit 50 can be simplified. is there.
- the fringe pattern is switched by the pattern control unit 56 connected to the pattern generation unit 55.
- FIG. 4 is a schematic diagram illustrating an example of a fringe pattern projected onto the test object.
- the pattern projection unit 50 is subjected to an object as shown in FIG. A fringe pattern 100 is projected onto the inspection object.
- the unprojected regions X (the right unprojected region X1 and the left unprojected region X2) on which the stripe pattern is not projected are formed at both ends in the direction in which the stripes of the stripe pattern are arranged in the imaging field of the imaging unit 30.
- the unprojected regions X the right unprojected region X1 and the left unprojected region X2
- the relationship between the field angle of the objective optical system 32 and the projection light irradiation angle in the projection optical system 52 may be ⁇ p ⁇ ⁇ v.
- the light source control unit 21 controls the operation of emitting illumination light from the illumination unit 40 and the operation of emitting projection light from the pattern projection unit 50.
- the video processor 27 and the main control unit 22 are connected to the imager control unit 33.
- the video processor 27 processes the video signal acquired by the imager 31.
- the main control unit 22 controls the operation of the imager control unit 33.
- the video processor 27 and the main control unit 22 are provided in the main body unit 20.
- a monitor (display unit) 28 is connected to the video processor 27.
- the monitor 28 displays the video signal processed by the video processor 27 as an image.
- the video processor 27 generates an image serving as a frame F indicating the projected position of the fringe pattern projected on the test object on the display screen, and outputs the image to the monitor 28 superimposed on the image acquired by the imaging unit 30. Since the distance d shown in FIG. 3 is sufficiently smaller than the object distance Ln and the object distance Lf, the position of the stripe pattern on the monitor 28 does not change greatly, and moves to the left and right within a certain range. That is, the position of the fringe pattern slightly moves in the horizontal direction on the image displayed on the monitor 28 according to the object distance to the test object.
- FIGS. 5A and 5B are schematic diagrams illustrating a frame F displayed on the monitor of the endoscope apparatus 1.
- the position of the frame F is set so as to surround the area where the stripe pattern 100 is displayed even if the stripe pattern 100 moves to the maximum in the horizontal direction.
- the fringe pattern 100 is positioned in the frame F regardless of the actual position of the fringe pattern 100 in the image displayed on the monitor 28.
- the monitor 28 displays an image of the test object and a frame F indicating the projected position of the stripe pattern on the display screen.
- the monitor 28 displays a three-dimensional shape measurement result and various types of information detected during use of the endoscope apparatus 1.
- the light source control unit 21 is connected to the first light source 41, the second light source 51, and the main control unit 22.
- the light source control unit 21 controls on / off of the first light source 41 and the second light source 51 based on control by the main control unit 22.
- the main control unit 22 is further connected to the operation unit 23, the RAM 24, the ROM 26, the auxiliary storage device 25, and the pattern control unit 56.
- the operation unit 23 includes switches and the like for the user to make various inputs to the endoscope apparatus 1. Further, as the operation unit 23, a touch panel provided so as to overlap with the display screen of the monitor 28 may be employed.
- the RAM 24 functions as a work area used for imaging a test object using the endoscope apparatus 1 or measuring a three-dimensional shape.
- the ROM 26 for example, firmware or the like is recorded.
- the ROM 26 is configured such that firmware and the like are read when the endoscope apparatus 1 is activated.
- the auxiliary storage device 25 for example, a storage device having a rewritable nonvolatile memory or a magnetic storage device can be adopted.
- the main control unit 22 sets a region on the image surrounded by the frame F generated by the video processor 27 as a target region T (see FIG. 3) for measuring a three-dimensional shape, and only in the target region T.
- the three-dimensional shape of the test object is obtained.
- the phase of the fringe pattern is obtained by a phase shift method, a Fourier transform method, or the like, and the test object is measured based on the phase of the fringe pattern.
- a method of calculating a three-dimensional shape can be used.
- the endoscope apparatus 1 When using the endoscope apparatus 1, first, the user inserts the insertion portion 10 shown in FIG. 1 into the inside of the test object or an access path to the test object such as a duct, and the like to the predetermined observation site. The tip of the insertion part 10 is advanced. The user switches the observation mode for observing a desired part of the test object and the measurement mode for measuring the three-dimensional shape of the observation part as necessary to inspect the test object.
- the light source control unit 21 turns on the first light source 41 and turns off the second light source 51 in response to a command from the main control unit 22 shown in FIG.
- the fringe pattern is not projected from the pattern projection unit 50, and the observation field is illuminated with white light from the illumination unit 40, and the observation field is illuminated (hereinafter, this illumination state is referred to as “observation state”).
- the illuminated image of the object is formed on the imager 31 through the objective optical system 32.
- the video signal sent from the imager 31 is processed by the video processor 27 and displayed on the monitor 28. The user can observe the test object from the image of the test object displayed on the monitor 28, and can store the image as necessary.
- the user When switching from the observation mode to the measurement mode, the user inputs an instruction to switch the mode.
- a control signal for displaying the image of the frame F on the monitor 28 is output from the main control unit 22 to the video processor 27.
- an image of the frame F corresponding to the projected position of the stripe pattern is displayed on the monitor 28 (see FIGS. 5A and 5B). In this state, the fringe pattern 100 has not yet been projected, and the user can observe an image of the object illuminated by the illumination light.
- the user adjusts the position of the insertion portion 10 and the like so that a part desired to measure a three-dimensional shape in the test object enters the frame F on the monitor 28.
- the user starts measurement of a three-dimensional shape using a switch or the like (not shown) in the operation unit 23.
- the measurement of the three-dimensional shape When the measurement of the three-dimensional shape is started, first, at least one image is acquired by the imaging unit 30 in a state where the illumination light from the illumination unit 40 illustrated in FIG. Subsequently, emission of illumination light from the first light source 41 of the illumination unit 40 is stopped by the light source control unit 21, and emission of projection light from the second light source 51 of the pattern projection unit 50 is started by the light source control unit 21. . When the projection light is emitted, the projection light passes through the pattern generation unit 55 and the projection optical system 52, and a fringe pattern is projected onto the test object. As shown in FIG.
- the position of the fringe pattern within the angle of view of the objective optical system 32 varies depending on the object distance.
- the distance d between the center of the objective optical system 32 and the center of the projection optical system 52 is set sufficiently smaller than the measurable object distance, the position at which the stripe appears on the screen is It does not change greatly. For this reason, even if the position of a fringe pattern moves, the position of the fringe pattern is configured to be within a preset frame F (see FIGS. 5A and 5B).
- the imaging unit 30 acquires an image of the test object in a state where the fringe pattern is projected onto the test object.
- the image of the test object on which the fringe pattern is projected is output as a fringe image to the main control unit 22 via the video processor 27 shown in FIG.
- the image of the test object is temporarily stored in the RAM 24 or the like.
- the main control unit 22 obtains the phase of the fringe pattern from the one pattern projection image acquired by the imaging unit 30 by the above-described phase shift method, Fourier transform method, or the like.
- the imaging unit 30 captures a plurality of pattern projection images having different phases, and the main control unit 22 captures the plurality of pattern projection images. Obtain the phase of the fringe pattern.
- each of the plurality of captured pattern projection images has an unprojected region X where no fringe pattern is projected at least partially. For this reason, it is possible to relatively easily associate the stripes appearing on the pattern projection image with the stripes of the projected stripe pattern, starting from the boundary between the area where the stripe pattern is projected and the unprojected area X. . Thereby, the three-dimensional coordinate in real space can be calculated from the obtained phase.
- the target region T that is, the measurable visual field range
- the three-dimensional shape in the target region T By obtaining the distribution of coordinates, the three-dimensional shape of the test object can be obtained. In addition, you may perform the calculation which measures the three-dimensional shape of a to-be-tested object in the range in which the light-and-dark pattern is reflected, without limiting to the object area
- the result calculated by the main control unit 22 is output to the video processor 27 for display as a numerical value or an image on the monitor 28. Further, the calculated result may be stored as a file in the auxiliary storage device 25.
- the user can know the three-dimensional shape of the test object in the frame F.
- the non-projection in which the fringe pattern is not projected on both ends or one side in the direction in which the stripes of the fringe pattern are arranged in the imaging field of view of the imaging unit 30 By generating the region X, the stripes reflected in the pattern projection image can be easily associated with the stripes projected on the test object. Thereby, the object distance of the test object can be obtained by measuring the pattern projection image.
- two openings for arranging the projection optical system 52 are provided and the two directions are used.
- the insertion portion 10 is provided.
- the diameter can be made smaller.
- a method of measuring the three-dimensional shape of a test object by using a stripe pattern projected onto the test object and a sensor that separately measures the object distance of the test object is also known. Then, since it is not necessary to mount a sensor for separately measuring the object distance of the test object, the insertion portion 10 can be made smaller in diameter.
- the unprojected region X is necessarily generated on the pattern projection image if the object is in focus, the user only has to start the measurement of the three-dimensional shape by focusing on the object.
- the operation of the endoscope apparatus 1 is simple.
- an unprojected area is generated at both ends or one side in the direction in which the stripes of the stripe pattern are arranged in the imaging field of the imaging unit, so that the stripe pattern reflected on the pattern projection image is associated with the projected stripe pattern. Is relatively easy. Therefore, erroneous recognition at the time of fringe pattern analysis can be reduced. Moreover, it is possible to prevent the reliability of measurement values and the deterioration of measurement performance.
- main control unit 22 and the video processor 27 display the frame F indicating the projected position of the fringe pattern projected on the test object on the display screen of the monitor 28, when the endoscope apparatus 1 is used, The user can be informed of the area where the three-dimensional shape can be measured.
- the fringe pattern is projected almost in the frame F, so the fringe pattern is actually projected to confirm the area where the three-dimensional shape can be measured. It is not necessary to perform this, and the measurement operation by the endoscope apparatus can be simplified.
- the main control unit 22 performs the measurement of the three-dimensional shape only on the target region T with the inside of the frame F as the target region T, the fringe pattern is copied over the entire image and the three-dimensional shape is displayed in the entire region of the image.
- the amount of calculation can be reduced as compared with the case of calculation. In this case, the calculation result of the three-dimensional shape can be obtained quickly.
- the projection window 13 can be easily downsized as compared with the case where the irradiation angle of the projection light is equal to or larger than the angle of view of the objective optical system 32. For this reason, the insertion portion 10 can be further reduced in diameter.
- FIG. 6 is a schematic diagram showing the relationship between the angle of view ⁇ v of the objective optical system 32 and the irradiation angle ⁇ p of the projection optical system 52 in this modification.
- reference symbols ⁇ and ⁇ indicate irradiation angles of projection light by the projection optical system 52.
- the symbol ⁇ indicates the left irradiation angle with respect to the depth direction of the objective optical system 32.
- Reference symbol ⁇ represents the irradiation angle on the right side of the objective optical system 32 with respect to the depth direction.
- the other reference numerals shown in FIG. 6 are as described in the above embodiment.
- the projection light irradiation angle ⁇ p by the projection optical system 52 is the sum of the left irradiation angle ⁇ and the right irradiation angle ⁇ .
- the configuration is different from the above-described embodiment in that the irradiation angle ⁇ p of the projection light is not equal to the left and right with respect to the center line in the depth direction.
- This modification is a case where Ln ⁇ L1 and Lf ⁇ L2, where the object distance where all projected fringes fall within the angle of view of the objective optical system 32 is within the range of L1 to L2. If the object distance is within the depth (range Ln to Lf), all the stripes can be captured in the field of view.
- the angle of view ⁇ v of the objective optical system 32 and the irradiation angle ⁇ p of fringe projection also satisfy the relationship of ⁇ v> ⁇ p.
- the fringe pattern in the direction in which the fringe pattern is arranged in the imaging field of view of the imaging unit 30 as in the above-described embodiment can be generated at one end.
- the video processor 27 that generates the image of the frame F further includes means for adjusting the position of the frame F.
- a stripe pattern may actually be displayed even in the region outside the frame F.
- the area where the three-dimensional shape can be measured can be shown to the user more accurately.
- the means for adjusting the shape of the frame F detects the left and right ends of the plurality of stripes in the stripe pattern at high speed and displays the frame F in accordance with the outline of the stripe pattern.
- the fringe pattern is constantly projected, the fringe pattern hinders observation of the test object. Therefore, for example, the fringe pattern is projected for a short time within a range that does not hinder the observation, such as projecting the fringe pattern onto the test object for 1/30 second in one second.
- a method of detecting the left and right ends of the stripe at high speed an image of the test object is acquired in a state where the stripe pattern is projected, and the edge of the stripe is detected from the acquired image.
- the edge detection may be limited to a part such as only one line at the center of the image or only a predetermined plurality of lines. Thereby, the calculation amount for edge detection can be reduced. Further, if the calculation speed for edge detection is sufficiently obtained, in order to display the frame F more accurately, the frame F may be displayed from the result of edge detection in all the lines on the image. Good.
- the display of the frame F is updated at a predetermined interval, for example, every second.
- the projection of the fringe pattern itself is performed for a short period of time that does not interfere with the observation of the test object by illuminating the test object, which is an obstacle to observing the subject on the screen.
- the frame F can be displayed on the monitor 28 in substantially real time.
- the shape of the frame F is set based on the fringe pattern actually projected onto the test object. For this reason, compared with the case where the frame F is set by the method demonstrated in the above-mentioned embodiment, the area
- the example in which the projection unit that projects the stripe extending in the vertical direction of the image captured by the imaging unit is arranged in the left-right direction with respect to the objective optical system has been described.
- Projectors that project stripes extending in the horizontal direction of the image may be arranged in the vertical direction with respect to the objective optical system.
- the shape of the light / dark pattern may not be a striped stripe, but may be a lattice pattern in which a plurality of vertical and horizontal bands intersect, or a plurality of points arranged vertically and horizontally at equal intervals.
- the 1st light source for irradiating illumination light and the 2nd light source for irradiating projection light were shown in the main-body part, the 1st light source and the 2nd light source were shown. May be provided at the tip of the insertion portion.
- the first light source and the second light source may include a shutter, a mirror module, and the like that switch the light emission state.
- a light source that takes time to turn on and off can be suitably used as a light source.
- the shape of the frame can be set to an appropriate shape such as a round shape, a square shape, and other polygons other than the shape shown in the above-described embodiment.
- the unprojected areas are generated at both ends in the direction in which the stripes of the stripe pattern are arranged in the imaging field of the imaging unit.
- the unprojected areas are generated in the imaging field of the imaging unit. It is good also as a structure produced in the end of the direction where the stripe of a stripe pattern arranges.
- the boundary between the unprojected region and the stripe pattern can be detected by edge detection or the like. Further, in this case, it is possible to associate the stripes of the projected stripe pattern with the stripes on the image starting from the boundary between the unprojected area and the stripe pattern.
- a generation unit that generates a pattern such as a lattice pattern or a dot pattern may be included.
- the insertion portion of the endoscope apparatus that measures a test object by projecting a stripe pattern can have a smaller diameter.
- Endoscopic device 10 Insertion unit 28 Monitor (display unit) 30 Imaging unit 31 Imager (imaging device) 32 Objective optical system 40 Illumination unit 41 First light source 42 Illumination optical system 50 Pattern projection unit 51 Second light source 52 Projection optical system 55 Pattern generation unit F Frame T Target region X Unprojected region
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
この内視鏡装置は、被検物に明暗パターンが投影された縞画像を用いて前記被検物の計測を行う。この内視鏡装置は、長尺の挿入部と、前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、前記撮像部の観察視野を照明する照明部と、前記被検物に前記明暗パターンを投影するための投影光を発する光源が設けられたパターン投影部とを備える。前記パターン投影部は、前記被検物に対して前記明暗パターンが投影されている状態において、前記撮像部の撮像視野内で前記明暗パターンの縞が並ぶ方向の少なくとも一端に前記明暗パターンが投影されていない領域を生じさせる。
Description
本発明は、内視鏡装置、より詳しくは、被検物に縞等のパターンを投影して被検物表面の三次元形状を計測する内視鏡装置に関する。
本願は、2011年05月24日に、日本に出願された特願2011-116140号に基づき優先権を主張し、その内容をここに援用する。
本願は、2011年05月24日に、日本に出願された特願2011-116140号に基づき優先権を主張し、その内容をここに援用する。
従来、被検物を検査するために、光学系や撮像素子等を有する撮像部を長尺な挿入部の先端に備える内視鏡装置が使用されている。このような内視鏡装置の中には、被検物に対して縞パターンを投影した縞画像を、前記縞パターンの位相をずらしつつ複数取得し、これら複数の縞画像を用いて被検物の三次元形状を算出する構成が知られている。たとえば、特許文献1には、縞を投影するための2つの投影窓が挿入部の先端面に設けられた内視鏡装置が記載されている。特許文献1に記載の内視鏡装置では、撮像部によって取得される縞画像の全面に縞パターンが表示されるように構成されている。
しかしながら、特許文献1に記載の内視鏡装置では、被検物に投影された縞パターンのうち、撮像部の画角からはみ出した一部の縞が撮像されない場合がある。この場合、撮像部において撮像された縞が、被検物に投影された縞パターンにおけるどの縞に対応するかを縞画像から判断することができない。そのため、特許文献1に記載の内視鏡装置では、被検物との間の距離を測定するためのセンサーを別途設ける必要があり、内視鏡装置の挿入部を細径化するのに限界があった。
本発明は、明暗パターンを被検物に投影して被検物の計測を行うことができ、且つ挿入部がより細径化された内視鏡装置を提供することを目的とする。
本発明の第一の態様によれば内視鏡装置は、被検物に明暗パターンが投影された縞画像を用いて前記被検物の計測を行う内視鏡装置であって、長尺の挿入部と、撮像部と、照明部と、パターン投影部とを備える。前記撮像部は、前記挿入部の先端部に設けられ、前記被検物の画像を取得する。前記照明部は、前記撮像部の観察視野を照明する。前記パターン投影部は、前記被検物に前記明暗パターンを投影するための投影光を発する光源が設けられる。前記パターン投影部は、前記被検物に対して前記明暗パターンが投影されている状態において、前記撮像部の撮像視野内で前記明暗パターンの縞が並ぶ方向の少なくとも一端に前記明暗パターンが投影されていない領域を生じさせる。
本発明の第二の態様によれば、前記撮像部は、被検物の画像を撮像する撮像素子と、前記被検物の像を前記撮像素子に結像させる対物光学系とを備える。前記パターン投影部は、パターン生成部と、投影光学系とを備える。前記パターン生成部は、前記明暗パターンを生成する。前記投影光学系は、前記挿入部の先端部に設けられ、前記明暗パターンを介して前記光源から前記被検物に前記投影光を照射する。前記対物光学系の画角よりも前記投影光学系における前記投影光の照射角度の方が狭い。
好ましくは、前記撮像部の撮像視野内で前記明暗パターンの縞が並ぶ方向の少なくとも一端に前記明暗パターンが投影されていない領域が生じている状態において、前記対物光学系の焦点が合っている。
好ましくは、前記被検物に前記明暗パターンを投影するための投影窓が、前記挿入部の先端面に1つだけ設けられている。
本発明の第三の態様によれば、内視鏡装置は、前記被検物の画像を表示する表示画面を有する表示部をさらに備える。前記表示部は、前記被検物に投影される前記縞パターンの前記表示画面上における投影予定位置を示す枠を前記表示画面上に表示する。
本発明の第四の態様によれば、内視鏡装置は、前記表示画面に表示された画像上で前記枠内に位置する領域のみに対して前記被検物の三次元形状の計測を行う制御部をさらに備える。
上記内視鏡装置によれば、縞パターンを投影して被検物の計測を行う内視鏡装置における挿入部をより細径にすることができる。
以下、本発明の一実施形態の内視鏡装置および計測方法について説明する。
まず、本実施形態の内視鏡装置1の構成について説明する。図1は、内視鏡装置1の構成を示すブロック図である。図2は、内視鏡装置1における挿入部10の先端面を示す正面図である。
まず、本実施形態の内視鏡装置1の構成について説明する。図1は、内視鏡装置1の構成を示すブロック図である。図2は、内視鏡装置1における挿入部10の先端面を示す正面図である。
内視鏡装置1は、被検物に明暗パターンが投影されたパターン投影画像を用いて被検物の計測を行う計測内視鏡である。また、内視鏡装置1は、被検物の内部観察や、通常の観察装置がアクセス困難な位置にある被検物の観察などに使用される。
図1に示すように、内視鏡装置1は、長尺の挿入部10と、挿入部10の基端が接続された本体部20とを備える。
挿入部10は、管状に形成されている。挿入部10は、被検物の内部または被検物へのアクセス経路に挿入される。挿入部10には、撮像部30と、照明部40と、パターン投影部50とが設けられている。撮像部30は、被検物の画像を取得する。照明部40は、挿入部10前方の観察視野を照明する。パターン投影部50は、被検物に明暗パターンを投影する。本実施形態では、パターン投影部50は明暗パターンとして、縞パターンを被検物に投影する。
図2に示すように、挿入部10の先端面10aには、開口11と、照明窓12と、投影窓13とが設けられている。開口11は、撮像部30の対物光学系32に外光を入射させる。照明窓12は、照明部40からの照明光を挿入部10の前方に照射する。投影窓13は、パターン投影部50からの縞パターンを挿入部10の前方に照射する。
挿入部10は、管状に形成されている。挿入部10は、被検物の内部または被検物へのアクセス経路に挿入される。挿入部10には、撮像部30と、照明部40と、パターン投影部50とが設けられている。撮像部30は、被検物の画像を取得する。照明部40は、挿入部10前方の観察視野を照明する。パターン投影部50は、被検物に明暗パターンを投影する。本実施形態では、パターン投影部50は明暗パターンとして、縞パターンを被検物に投影する。
図2に示すように、挿入部10の先端面10aには、開口11と、照明窓12と、投影窓13とが設けられている。開口11は、撮像部30の対物光学系32に外光を入射させる。照明窓12は、照明部40からの照明光を挿入部10の前方に照射する。投影窓13は、パターン投影部50からの縞パターンを挿入部10の前方に照射する。
撮像部30は、イメージャー31と、対物光学系32と、制御部33とを備える。イメージャー31は、挿入部10の先端付近に配置される。対物光学系32は、イメージャー31の前方に配置される。制御部33は、イメージャー31と接続される。
イメージャー31としては、例えば正方形状の画素が格子状に配列された長方形状のセンサー領域を有し、センサー領域に入射する光量を画素ごとに検出して画像を撮像するエリアイメージセンサーを採用することができる。本実施形態では、イメージャー31によって撮像される画像について、イメージャー31のセンサー領域における短辺側を縦と表記する。また、イメージャー31のセンサー領域における長辺側を横と表記する。イメージャー31の具体例としては、CCD、CMOS等の各種イメージセンサを含む公知の各種構成を適宜選択して用いることができる。
対物光学系32は、挿入部10の開口11内に配置されている。対物光学系32は、所定の画角(視野角)を有する。対物光学系32は、前記画角により規定される観察視野内の反射光をイメージャー31に入射させ、被検物の像を結像させる。また、対物光学系32は、光透過性のカバー部材32aを有する。カバー部材32aは、開口11を封止する。
イメージャー制御部33は、本体部20内に設けられている。また、イメージャー制御部33は、挿入部10内を延びる配線34によりイメージャー31と接続されている。イメージャー制御部33は、イメージャー31の駆動および映像信号を取得する設定等の各種制御を行う。
照明部40は、第一光源41と、照明光学系42と、第一ファイバーバンドル43と、第一入射光学系44とを備える。第一ファイバーバンドル43は、第一光源41の光を照明光学系42に導く。第一入射光学系44は、第一光源41と第一ファイバーバンドル43との間に配置される。
第一光源41は、白色光を発する光源である。第一光源41は、本体部20の内部に配置されている。第一光源41としては、ハロゲンランプや水銀ランプなど、公知の光源を適宜選択して採用することができる。本実施形態では、第一光源41として、ハロゲンランプが採用されている。第一光源41から発せられる光は、被検物を照明するための照明光である。
照明光学系42は、挿入部10の先端または先端付近に取り付けられている。照明光学系42は、光透過性のカバー部材42aと、図示しないレンズ群とを有する。カバー部材42aは、挿入部10の照明窓12内に設けられる。照明光学系42は、第一光源41から照射された光を対物光学系32の画角に適した視野範囲に広げて照明窓12から出射させ、観察視野をくまなく照明する。
第一ファイバーバンドル43は、照明光学系42の近傍から挿入部10を通って本体部20内の第一光源41近傍まで延びている。第一ファイバーバンドル43の種類には特に制限はなく、一般的なライトガイドを使用可能である。
第一入射光学系44は、第一光源41から発せられる光を第一ファイバーバンドル43の径と同程度まで収束させて効率よく第一ファイバーバンドル43内に導入する。
パターン投影部50は、第二光源51と、投影光学系52と、第二ファイバーバンドル53と、第二入射光学系54と、パターン生成部55とを備える。第二ファイバーバンドル53は、第二光源51の光を投影光学系52に導く。第二入射光学系54は、第二光源51と第二ファイバーバンドル53との間に配置される。パターン生成部55は、第二光源51から出射された光の光路上に配置される。
第二光源51は、第一光源41とは異なる光を発する光源である。第二光源51は、本体部20の内部に配置されている。第二光源51としては、LED光源やレーザー光源などを採用することができる。本実施形態では、第二光源51としてLED光源が採用されている。第二光源51から発せられる光は、縞パターンを投影するための投影光である。
投影光学系52は、挿入部10の先端または先端付近に取り付けられている。投影光学系52は、光透過性のカバー部材52aを有する。カバー部材52aは、挿入部10の投影窓13内に設けられる。図2に示すように、投影窓13は、挿入部10の先端面10a側から見たときに、イメージャー31の短辺側に隣接する位置に配置されている。
なお、投影窓13に設けられたカバー部材52aはレンズ形状であっても構わない。投影光学系52は、第二光源51から照射された光を、対物光学系32の画角に対応した所定の照射角度で1つの投影窓13から観察視野内に投影する。
なお、投影窓13に設けられたカバー部材52aはレンズ形状であっても構わない。投影光学系52は、第二光源51から照射された光を、対物光学系32の画角に対応した所定の照射角度で1つの投影窓13から観察視野内に投影する。
ここで、本実施形態における対物光学系32の画角と投影光学系52による投影光の照射角度の関係について詳述する。
図3は、対物光学系32の画角と投影光学系52の照射角度との関係を示す模式図である。図3において、符号Oは対物光学系32の位置を示す。また、符号Pは投影光学系52の位置を示す。
図3は、対物光学系32の画角と投影光学系52の照射角度との関係を示す模式図である。図3において、符号Oは対物光学系32の位置を示す。また、符号Pは投影光学系52の位置を示す。
図3に示すように、本実施形態では、対物光学系32の画角θvは、対物光学系32の深度方向(物体距離の方向)を中心線(図3に符号A1で示す。)として等角度に広がっている。また、投影光学系52の照射角度θpは、中心線A1と平行な中心線A2を中心として等角度に広がっている。さらに、対物光学系32の画角θvと投影光学系52の照射角度θpは、θv>θpを満たす。
また、対物光学系32における近点側の深度をLnとし、遠点側の深度をLfとしたときに、投影される全ての縞が視野内に入る最短の物体距離L1は、Ln≧L1を満たす。
このような関係であれば、焦点が合っている物体距離(LnからLfまでの深度内)であるときには、縞パターンはすべて対物光学系32の画角内に位置している。
このような関係であれば、焦点が合っている物体距離(LnからLfまでの深度内)であるときには、縞パターンはすべて対物光学系32の画角内に位置している。
また、本実施形態では、対物光学系32の中心と投影光学系52の中心との距離dは、計測可能な物体距離の最小値である深度L1よりも小さく設定されている。このため、距離dは、物体距離Lnよりも十分に小さい。このため、撮像部30において焦点が合っている範囲では、画像に写る縞の位置は大きく変わらない。
図1に示すように、第二ファイバーバンドル53は、投影光学系52の近傍から挿入部10を通って本体部20内の第二光源51近傍まで延びている。第二ファイバーバンドル53としては、第一ファイバーバンドル43と同様に一般的なライトガイドを使用することができる。
第二入射光学系54は、第二光源51から発せられた光を、第二ファイバーバンドル53の径と同程度まで収束させて効率よく第二ファイバーバンドル53内に導入する。
パターン生成部55は、縞パターンを形成可能に構成されている。例えば、複数のスリットを有するスリット板や、縞パターンが描かれたガラスや樹脂等からなる透明な板などを用いることができる。縞パターンは、縞の輝度がなだらかに周期的に変化するような帯状の縞模様であることが好ましい。また、縞パターンは、白または黒など矩形状に輝度が変化するような縞模様であってもよい。
本実施形態における縞パターンは、イメージャー31のセンサー領域の短辺方向に延びイメージャー31のセンサー領域の長辺方向に所定間隔おきに平行に配置されるパターンとなっている(図2参照)。すなわち、本実施形態では、縞パターンは、挿入部の先端と正対する平面に投影されたときに、撮像部30によって取得された画像の縦方向に延びている。また、このとき、縞パターンは、横方向に並ぶ互いに平行な線として写る(図4参照)。
このほか、パターン生成部55は、素子ごとに光の透過と不透過を切り替え可能な液晶シャッターモジュールや、素子ごとに微細な反射ミラーを備えるMEMS(マイクロ電子機器システム)ミラーモジュール等を用いてもよい。この場合、素子ごとの制御を行うので、パターン生成部55全体を移動させずに適切な位相の縞パターンを形成することができるため、パターン投影部50の構成を簡素にすることができる利点がある。縞パターンの切り替えは、パターン生成部55に接続されたパターン制御部56によって行われる。
図4は、被検物に投影された縞パターンの一例を示す模式図である。
図3に示すように、対物光学系32の画角θvと投影光学系52の照射角度θpとが上述の関係となっていることにより、パターン投影部50は、図4に示すように、被検物に対して縞パターン100を投影する。この状態の場合は、撮像部30の撮像視野内で縞パターンの縞が並ぶ方向の両端に、縞パターンが投影されていない未投影領域X(右側未投影領域X1および左側未投影領域X2)を生じさせる。
また、対物光学系32の画角と投影光学系52における投影光の照射角度の関係は、θp≧θvとなっていても良い。この場合は、全ての縞パターンが対物光学系32の画角内に位置しないが、撮像視野内で縞パターンの縞が並ぶ方向のどちらか一方に、縞パターンが投影されていない未投影領域X(右側未投影領域X1または左側未投影領域X2)を生じさせる。
図3に示すように、対物光学系32の画角θvと投影光学系52の照射角度θpとが上述の関係となっていることにより、パターン投影部50は、図4に示すように、被検物に対して縞パターン100を投影する。この状態の場合は、撮像部30の撮像視野内で縞パターンの縞が並ぶ方向の両端に、縞パターンが投影されていない未投影領域X(右側未投影領域X1および左側未投影領域X2)を生じさせる。
また、対物光学系32の画角と投影光学系52における投影光の照射角度の関係は、θp≧θvとなっていても良い。この場合は、全ての縞パターンが対物光学系32の画角内に位置しないが、撮像視野内で縞パターンの縞が並ぶ方向のどちらか一方に、縞パターンが投影されていない未投影領域X(右側未投影領域X1または左側未投影領域X2)を生じさせる。
本体部20内には、上述のイメージャー制御部33と、光源制御部21と、メイン制御部22とが設けられている。光源制御部21は、照明部40から照明光を出射する動作およびパターン投影部50から投影光を出射する動作を制御する。
イメージャー制御部33には、ビデオプロセッサー27と、メイン制御部22とが接続されている。ビデオプロセッサー27は、イメージャー31の取得した映像信号を処理する。メイン制御部22は、イメージャー制御部33の動作を制御する。ビデオプロセッサー27およびメイン制御部22は本体部20内に設けられている。
ビデオプロセッサー27には、モニター(表示部)28が接続されている。モニター28は、ビデオプロセッサー27によって処理された映像信号を画像として表示する。ビデオプロセッサー27は、被検物に投影される縞パターンの表示画面上における投影予定位置を示す枠Fとなる画像を生成し、撮像部30によって取得された画像に重ねてモニター28へ出力する。
図3に示す距離dは、物体距離Lnや物体距離Lfに比べて十分に小さいので、モニター28上に写る縞パターンの位置は大きくは変わらず、ある程度の範囲内で左右に移動する。つまり、縞パターンの位置は、モニター28に表示される画像上において、被検物に対する物体距離に応じて僅かに横方向に移動する。
図3に示す距離dは、物体距離Lnや物体距離Lfに比べて十分に小さいので、モニター28上に写る縞パターンの位置は大きくは変わらず、ある程度の範囲内で左右に移動する。つまり、縞パターンの位置は、モニター28に表示される画像上において、被検物に対する物体距離に応じて僅かに横方向に移動する。
図5Aおよび図5Bは、内視鏡装置1のモニターに表示される枠Fを示す模式図である。図5Aおよび図5Bに示すように、本実施形態では、縞パターン100が横方向に最大限移動しても縞パターン100が表示される領域を囲むように枠Fの位置が設定される。これにより、モニター28に表示される画像における実際の縞パターン100の位置に係わらず、枠F内には縞パターン100が位置することとなる。このように枠Fの位置を設定した場合には、縞パターン100の位置に対応させて枠Fの位置を調整する必要がない。そのため、枠Fを表示させるための処理が簡単である。
モニター28は、被検物の画像と、縞パターンの投影予定位置を示す枠Fとを表示画面に表示する。また、モニター28には、三次元形状の計測結果や、内視鏡装置1の使用中に検出される各種情報が表示される。
モニター28は、被検物の画像と、縞パターンの投影予定位置を示す枠Fとを表示画面に表示する。また、モニター28には、三次元形状の計測結果や、内視鏡装置1の使用中に検出される各種情報が表示される。
図1に示すように、光源制御部21は、第一光源41および第二光源51、並びにメイン制御部22に接続されている。光源制御部21は、メイン制御部22による制御に基づいて第一光源41および第二光源51のオン/オフを制御する。
メイン制御部22は、さらに、操作部23、RAM24、ROM26、補助記憶装置25、およびパターン制御部56に接続されている。
操作部23は、使用者が内視鏡装置1に各種入力を行うためのスイッチなどを有する。
また、操作部23として、モニター28の表示画面と重ねて設けられたタッチパネルが採用されてもよい。
また、操作部23として、モニター28の表示画面と重ねて設けられたタッチパネルが採用されてもよい。
RAM24は、内視鏡装置1を用いた被検物の撮像や三次元形状の計測などの際に使用されるワークエリアとして機能する。
ROM26は、たとえばファームウェア等が記録されている。ROM26は、内視鏡装置1の起動時にファームウェア等が読み出されるように構成されている。
補助記憶装置25は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。
ROM26は、たとえばファームウェア等が記録されている。ROM26は、内視鏡装置1の起動時にファームウェア等が読み出されるように構成されている。
補助記憶装置25は、たとえば書き換え可能な不揮発メモリを有する記憶装置や磁気記憶装置などを採用することができる。
メイン制御部22は、ビデオプロセッサー27によって生成された枠Fによって囲まれる画像上の領域を、三次元形状を計測するための対象領域T(図3参照)に設定し、対象領域T内のみに対して被検物の三次元形状を求める。
メイン制御部22によって被検物の三次元形状を計測するための計測方法としては、位相シフト法やフーリエ変換法などによって縞パターンの位相を求めて、縞パターンの位相に基づいて被検物の三次元形状を計算する方法を用いることができる。
メイン制御部22によって被検物の三次元形状を計測するための計測方法としては、位相シフト法やフーリエ変換法などによって縞パターンの位相を求めて、縞パターンの位相に基づいて被検物の三次元形状を計算する方法を用いることができる。
以上に説明した構成の内視鏡装置の作用について説明する。
内視鏡装置1の使用時には、まず、使用者は、図1に示す挿入部10を被検物の内部や管路等の被検物へのアクセス経路等に挿入し、所定の観察部位まで挿入部10の先端を進める。使用者は、被検物の所望の部位を観察する観察モードと、前記観察部位の三次元形状を計測する計測モードとを必要に応じて切り替えることにより、被検物の検査等を行う。
内視鏡装置1の使用時には、まず、使用者は、図1に示す挿入部10を被検物の内部や管路等の被検物へのアクセス経路等に挿入し、所定の観察部位まで挿入部10の先端を進める。使用者は、被検物の所望の部位を観察する観察モードと、前記観察部位の三次元形状を計測する計測モードとを必要に応じて切り替えることにより、被検物の検査等を行う。
観察モードでは、図2に示すメイン制御部22の指令を受けて光源制御部21が第一光源41をオン制御し、第二光源51をオフ制御する。その結果、パターン投影部50からは縞パターンが投影されずに照明部40から観察視野に白色光が照射され、観察視野が照明される(以下、この照明状態を「観察状態」と称する。)。照明された被検物の像は、対物光学系32を通してイメージャー31に結像される。イメージャー31から送られた映像信号は、ビデオプロセッサー27で処理されてモニター28に表示される。使用者は、モニター28に表示される被検物の画像により被検物を観察したり、必要に応じて画像を保存したりすることができる。
観察モードから計測モードへ切り替える場合には、モードを切り替える指示を使用者が入力する。観察モードから計測モードへ切り替える入力が使用者によって行われると、メイン制御部22からビデオプロセッサー27へ、枠Fの画像をモニター28に表示させるための制御信号が出力される。これにより、モニター28には、縞パターンの投影予定位置に対応した枠Fの画像が表示される(図5Aおよび図5B参照。)。
なお、この状態では、縞パターン100はまだ投影されておらず、使用者は、照明光によって照明された被検物の映像を観察することができる。
なお、この状態では、縞パターン100はまだ投影されておらず、使用者は、照明光によって照明された被検物の映像を観察することができる。
使用者は、被検物において三次元形状の計測を所望する部位がモニター28上の枠F内に入るように、挿入部10の位置などを調整する。モニター28上に表示された枠F内に所望の部位が位置している状態で、使用者は操作部23における図示しないスイッチなどを用いて三次元形状の計測を開始させる。
三次元形状の計測が開始されると、まず、図1に示す照明部40からの照明光が照射されている状態で少なくとも1枚の画像が撮像部30によって取得される。続いて、照明部40の第一光源41からの照明光の出射が光源制御部21によって停止され、パターン投影部50の第二光源51からの投影光の出射が光源制御部21によって開始される。
投影光が出射されると、投影光はパターン生成部55および投影光学系52を透過し、縞パターンが被検物に投影される。
図3に示すように、被写体に縞パターンを投影した場合には、対物光学系32の画角内の一部に縞パターンが投影され、撮像部30の撮像視野内で縞パターンの縞が並ぶ方向の両端に、縞パターンが投影されていない未投影領域Xが生じる。
投影光が出射されると、投影光はパターン生成部55および投影光学系52を透過し、縞パターンが被検物に投影される。
図3に示すように、被写体に縞パターンを投影した場合には、対物光学系32の画角内の一部に縞パターンが投影され、撮像部30の撮像視野内で縞パターンの縞が並ぶ方向の両端に、縞パターンが投影されていない未投影領域Xが生じる。
なお、物体距離に応じて、対物光学系32の画角内における縞パターンの位置は異なる。しかし、本実施形態では、対物光学系32の中心と投影光学系52の中心との距離dが、計測可能な物体距離よりも十分に小さく設定されているので、縞が画面上に写る位置は大きくは変化しない。このため、縞パターンの位置が移動しても縞パターンの位置はあらかじめ設定した略枠F内に収まるように構成されている(図5Aおよび図5B参照)。
縞パターンが被検物に投影されている状態で、撮像部30は被検物の画像を取得する。
縞パターンが投影された状態の被検物の画像は、縞画像として、図1に示すビデオプロセッサー27を介してメイン制御部22へと出力される。また、この被検物の画像は、RAM24などに一時記憶される。
縞パターンが投影された状態の被検物の画像は、縞画像として、図1に示すビデオプロセッサー27を介してメイン制御部22へと出力される。また、この被検物の画像は、RAM24などに一時記憶される。
そして、メイン制御部22によって、撮像部30で取得した1枚のパターン投影画像から上述の位相シフト法やフーリエ変換法などによって縞パターンの位相を求める。
また、時間的位相シフト法を用いて三次元形状の計測を行う場合には、位相が異なる複数のパターン投影画像を撮像部30が撮像し、メイン制御部22によって、複数のパターン投影画像に写った縞パターンの位相を求める。本実施形態の内視鏡装置1では、撮影された複数のパターン投影画像の各々は、縞パターンが投影されていない未投影領域Xが少なくとも一部に生じている。そのため、縞パターンが投影されている領域と上記未投影領域Xとの境界を起点として、パターン投影画像上に写っている縞と投影された縞パターンの縞とを対応付けることが比較的容易にできる。これにより、求められた前記位相から実空間上の三次元座標を計算することができる。そして、被検物の三次元形状を計測する対象となる対象領域T(つまり、計測可能な視野範囲)が、枠Fの内側の領域に設定されている場合は、対象領域T内における三次元座標の分布を求めることで、被検物の三次元形状を求めることができる。なお、被検物の三次元形状を計測する演算は、対象領域T内に限定せずに、明暗パターンが写っている範囲で行ってもよい。
メイン制御部22によって演算した結果は、モニター28上に数値若しくは画像として表示するためにビデオプロセッサー27へ出力される。また、演算した結果を補助記憶装置25にファイルとして格納してもよい。
モニター28上に演算した結果が表示されることにより、使用者は、枠F内における被検物の三次元形状を知ることができる。
以上説明したように、本実施形態の内視鏡装置1によれば、撮像部30の撮像視野内で縞パターンの縞が並ぶ方向の両端、あるいは一方に、縞パターンが投影されていない未投影領域Xを生じさせることにより、パターン投影画像に写っている縞と、被検物に投影された縞とを容易に対応付けることができる。これにより、被検物の物体距離をパターン投影画像の計測により得ることができる。
パターン投影画像に写っている縞パターンと、被検物に投影された縞パターンとを容易に対応付ける別の方法としては、投影光学系52が配置される開口を2つ設けて、2つの方向から縞パターンをそれぞれ投影する方法が知られているが、本実施形態では、挿入部10の先端部には投影光学系52が配置される開口を1つだけ設ければよいため、挿入部10をより細径にすることができる。あるいは、被検物へ投影された縞パターンと、被検物の物体距離を別途測定するセンサーを併用して、被検物の三次元形状を測定する方法も知られているが、本実施形態では、被検物の物体距離を別途測定するセンサーを搭載する必要がなくなるので、挿入部10をより細径にすることができる。
パターン投影画像に写っている縞パターンと、被検物に投影された縞パターンとを容易に対応付ける別の方法としては、投影光学系52が配置される開口を2つ設けて、2つの方向から縞パターンをそれぞれ投影する方法が知られているが、本実施形態では、挿入部10の先端部には投影光学系52が配置される開口を1つだけ設ければよいため、挿入部10をより細径にすることができる。あるいは、被検物へ投影された縞パターンと、被検物の物体距離を別途測定するセンサーを併用して、被検物の三次元形状を測定する方法も知られているが、本実施形態では、被検物の物体距離を別途測定するセンサーを搭載する必要がなくなるので、挿入部10をより細径にすることができる。
また、被検物に焦点が合っていればパターン投影画像上に未投影領域Xが必ず生じるので、使用者は、被検物に焦点を合わせて三次元形状の計測を開始させるだけでよく、内視鏡装置1の操作が簡便である。
また、撮像部の撮像視野内で縞パターンの縞が並ぶ方向の両端、あるいは一方に未投影領域を生じさせるので、パターン投影画像上に写っている縞パターンと投影された縞パターンとを対応付けることが比較的容易にできる。そのため、縞パターン解析時の誤認識を低減することができる。また、計測値の信頼性や計測性能の悪化を防ぐことができる。
また、メイン制御部22およびビデオプロセッサー27によって、モニター28の表示画面に、被検物に投影される縞パターンの投影予定位置を示す枠Fを表示するので、内視鏡装置1の使用時に、三次元形状の計測をすることができる領域を使用者に知らせることができる。
また、物体距離に応じて縞パターンの位置が変わっても縞パターンは略枠F内に投影されるので、三次元形状の計測をすることができる領域を確認するために実際に縞パターンを投影する必要がなく、内視鏡装置による計測操作を簡単にすることができる。
また、メイン制御部22が、枠F内を対象領域Tとして対象領域Tのみに対して三次元形状の計測を行う場合は、画像全体に縞パターンを写して画像の全領域で三次元形状を演算する場合よりも演算量を減らすことができる。また、この場合は、三次元形状の演算結果を迅速に得ることができる。
また、対物光学系32の画角より投影光の照射角度が小さいので、投影光の照射角度を対物光学系32の画角以上とする場合と比較して、投影窓13を小型化しやすい。このため、挿入部10をさらに細径化することができる。
(変形例1)
次に、上述の実施形態で説明した内視鏡装置1の変形例について説明する。
図6は、本変形例における対物光学系32の画角θvと投影光学系52の照射角度θpとの関係を示す模式図である。
図6において、符号αおよび符号βは、投影光学系52による投影光の照射角度を示している。具体的には、符号αは対物光学系32の深度方向に対する左側の照射角度を示している。符号βは対物光学系32の深度方向に対する右側の照射角度を示している。図6に示されたその他の符号については上述の実施形態で説明した通りである。
次に、上述の実施形態で説明した内視鏡装置1の変形例について説明する。
図6は、本変形例における対物光学系32の画角θvと投影光学系52の照射角度θpとの関係を示す模式図である。
図6において、符号αおよび符号βは、投影光学系52による投影光の照射角度を示している。具体的には、符号αは対物光学系32の深度方向に対する左側の照射角度を示している。符号βは対物光学系32の深度方向に対する右側の照射角度を示している。図6に示されたその他の符号については上述の実施形態で説明した通りである。
図6に示すように、投影光学系52による投影光の照射角度θpの大きさは、左側の照射角度αと、右側の照射角度βとの和となっている。本変形例では、投影光の照射角度θpが、深度方向の中心線に対して左右等角度ではない点で上述の実施形態と構成が異なっている。
本変形例では、投影される全ての縞が対物光学系32の画角内に入る物体距離をL1からL2の範囲内とすると、Ln≧L1かつLf≦L2となっている場合であり、さらに物体距離が深度内(Ln~Lfの範囲)であれば、全ての縞を視野内に写すことができる。
また、このとき、対物光学系32の画角θvおよび縞投影の照射角度θpは、θv>θpの関係も満たしている。
本変形例では、投影される全ての縞が対物光学系32の画角内に入る物体距離をL1からL2の範囲内とすると、Ln≧L1かつLf≦L2となっている場合であり、さらに物体距離が深度内(Ln~Lfの範囲)であれば、全ての縞を視野内に写すことができる。
また、このとき、対物光学系32の画角θvおよび縞投影の照射角度θpは、θv>θpの関係も満たしている。
対物光学系32の画角θvと投影光の照射角度θpがこのような関係にある場合にも、上述の実施形態と同様に、撮像部30の撮像視野内で縞パターンの縞が並ぶ方向の一端に、縞パターンが投影されていない未投影領域Xを生じさせることができる。
(変形例2)
次に、上述の実施形態で説明した内視鏡装置1の他の変形例について説明する。
本変形例では、枠Fの画像を生成するビデオプロセッサー27が、枠Fの位置を調整する手段をさらに備えている。
次に、上述の実施形態で説明した内視鏡装置1の他の変形例について説明する。
本変形例では、枠Fの画像を生成するビデオプロセッサー27が、枠Fの位置を調整する手段をさらに備えている。
上述の実施形態の内視鏡装置1における枠Fの設定方法では、枠Fの外側の領域においても縞パターンが実際には表示される場合がある。実際の縞パターンの投影位置にあわせて枠Fの位置を変更する手段をさらに備えることにより、三次元形状の計測をすることができる領域をより正確に使用者に示すことができる。
具体的には、枠Fの形状を調整する手段は、縞パターンにおける複数の縞の左右両端を高速に検出して、縞パターンの輪郭に合わせて枠Fを表示する。その際、縞パターンが常時投影されていると、その縞パターンが被検物の観察において妨げになる。そのため、例えば、1秒間のうちたとえば1/30秒だけ縞パターンを被検物に投影する等、観察に支障がない範囲で短時間だけ縞パターンの投影を行う。縞の左右両端を高速に検出する方法としては、縞パターンが投影された状態で被検物の画像を取得し、取得された画像から縞のエッジ検出によって行う。
エッジ検出は、画像中央部の1ラインのみ、あるいは所定の複数ラインのみなど、一部分に限ってもよい。これにより、エッジ検出のための演算量を少なくすることができる。
また、エッジ検出のための演算速度が十分に得られるのであれば、より正確に枠Fを表示するために、画像上の全ラインでエッジ検出した結果から、枠Fを表示するようにしてもよい。
また、エッジ検出のための演算速度が十分に得られるのであれば、より正確に枠Fを表示するために、画像上の全ラインでエッジ検出した結果から、枠Fを表示するようにしてもよい。
また、この枠Fの表示は、例えば1秒毎など、所定の間隔で更新される。縞パターンの投影自体は、被検物に照明光を照射して被検物を観察する場合の妨げにならない程度の短時間だけ行われているので、被写体を画面上で観察する上で支障とならずに枠Fをモニター28に略リアルタイムで表示することができる。
このように、本変形例では、実際に被検物に投影された縞パターンに基づいて枠Fの形状が設定される。このため、上述の実施形態で説明した方法によって枠Fを設定する場合と比較して、三次元形状を計測できる領域を正しく使用者に示すことができる。
また、枠Fの表示が所定の間隔で更新されるので、縞パターンが実際に投影される領域を所定の間隔で最新の状態とすることができる。このため、枠F内であっても縞パターンが投影されないという事態が生じることを軽減することができる。
また、枠Fの表示が所定の間隔で更新されるので、縞パターンが実際に投影される領域を所定の間隔で最新の状態とすることができる。このため、枠F内であっても縞パターンが投影されないという事態が生じることを軽減することができる。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
たとえば、上述の実施形態では、対物光学系が配置される開口、照明光学系が配置される開口、投影光学系が配置される開口がそれぞれ1つ設けられている例を用いて説明したが、これらの開口は2つ以上設けられていてもよい。
たとえば、上述の実施形態では、対物光学系が配置される開口、照明光学系が配置される開口、投影光学系が配置される開口がそれぞれ1つ設けられている例を用いて説明したが、これらの開口は2つ以上設けられていてもよい。
また、上述の実施形態では、撮像部によって撮像される画像の縦方向に延びる縞を投影する投影部が対物光学系に対して左右方向に並んでいる例を示したが、撮像部によって撮像される画像の横方向に延びる縞を投影する投影部が対物光学系に対して上下方向に並んでいてもよい。あるいは、明暗パターンの形状は、帯状の縞ではなく、複数の縦帯と横帯が交差した格子状のパターンや、等間隔に縦横に並んだ複数の点であってもよい。
また、上述の実施形態では、照明光を照射するための第一光源と投影光を照射するための第二光源とが本体部内に配置された例を示したが、第一光源および第二光源は、挿入部の先端に設けられていてもよい。
また、第一光源および第二光源は、光の出射状態を切り替えるシャッターやミラーモジュール等を備えていてもよい。この場合、点灯や消灯に時間がかかる光源であっても好適に光源として使用することができる。
また、枠の形状は、上述の実施形態で示した形状以外にも、丸型、四角型、その他多角形など、適宜の形状に設定することができる。
また、上述の実施形態では、未投影領域を、撮像部の撮像視野内で縞パターンの縞が並ぶ方向の両端に生じさせる構成について例示したが、未投影領域を、撮像部の撮像視野内で縞パターンの縞が並ぶ方向の一端に生じさせる構成としてもよい。撮像部の撮像視野内で縞パターンの縞が並ぶ方向の一端に未投影領域が生じている場合、未投影領域と縞パターンとの境界をエッジ検出などによって検出することができる。また、この場合、未投影領域と縞パターンとの境界を起点として、投影された縞パターンの縞と画像上の縞とを対応付けることができる。
また、上述の実施形態で説明した縞パターン生成部に代えて、格子状や点状の模様などのパターンを生成する生成部を有していてもよい。
上記内視鏡装置によれば、縞パターンを投影して被検物の計測を行う内視鏡装置における挿入部をより細径にすることができる。
1 内視鏡装置
10 挿入部
28 モニター(表示部)
30 撮像部
31 イメージャー(撮像素子)
32 対物光学系
40 照明部
41 第一光源
42 照明光学系
50 パターン投影部
51 第二光源
52 投影光学系
55 パターン生成部
F 枠
T 対象領域
X 未投影領域
10 挿入部
28 モニター(表示部)
30 撮像部
31 イメージャー(撮像素子)
32 対物光学系
40 照明部
41 第一光源
42 照明光学系
50 パターン投影部
51 第二光源
52 投影光学系
55 パターン生成部
F 枠
T 対象領域
X 未投影領域
Claims (6)
- 被検物に明暗パターンが投影された縞画像を用いて前記被検物の計測を行う内視鏡装置であって、
長尺の挿入部と、
前記挿入部の先端部に設けられ、前記被検物の画像を取得する撮像部と、
前記撮像部の観察視野を照明する照明部と、
前記被検物に前記明暗パターンを投影するための投影光を発する光源が設けられたパターン投影部と、
を備え、
前記パターン投影部は、
前記被検物に対して前記明暗パターンが投影されている状態において、前記撮像部の撮像視野内で前記明暗パターンの縞が並ぶ方向の少なくとも一端に前記明暗パターンが投影されていない領域を生じさせる内視鏡装置。 - 請求項1に記載の内視鏡装置であって、
前記撮像部は、
被検物の画像を撮像する撮像素子と、
前記被検物の像を前記撮像素子に結像させる対物光学系と、
を備え、
前記パターン投影部は、
前記明暗パターンを生成するパターン生成部と、
前記挿入部の先端部に設けられ、前記明暗パターンを介して前記光源から前記被検物に前記投影光を照射する投影光学系と、
を備え、
前記対物光学系の画角よりも前記投影光学系における前記投影光の照射角度の方が狭い内視鏡装置。 - 請求項1または請求項2に記載の内視鏡装置であって、
前記撮像部の撮像視野内で前記明暗パターンの縞が並ぶ方向の少なくとも一端に前記明暗パターンが投影されていない領域が生じている状態において、前記対物光学系の焦点が合っている内視鏡装置。 - 請求項1~請求項3の何れか1項に記載の内視鏡装置であって、
前記被検物に前記明暗パターンを投影するための投影窓が、前記挿入部の先端面に1つだけ設けられている内視鏡装置。 - 請求項1~請求項4の何れか1項に記載の内視鏡装置であって、
前記被検物の画像を表示する表示画面を有する表示部をさらに備え、
前記表示部は、
前記被検物に投影される前記縞パターンの前記表示画面上における投影予定位置を示す枠を前記表示画面上に表示する内視鏡装置。 - 請求項5に記載の内視鏡装置であって、
前記表示画面に表示された画像上で前記枠内に位置する領域のみに対して前記被検物の三次元形状の計測を行う制御部をさらに備える内視鏡装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12789379.0A EP2700348B1 (en) | 2011-05-24 | 2012-05-24 | Endoscope |
US14/078,223 US9622644B2 (en) | 2011-05-24 | 2013-11-12 | Endoscope |
US15/450,741 US10368721B2 (en) | 2011-05-24 | 2017-03-06 | Endoscope |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011116140A JP5846763B2 (ja) | 2011-05-24 | 2011-05-24 | 内視鏡装置 |
JP2011-116140 | 2011-05-24 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/078,223 Continuation US9622644B2 (en) | 2011-05-24 | 2013-11-12 | Endoscope |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012161239A1 true WO2012161239A1 (ja) | 2012-11-29 |
Family
ID=47217313
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/063258 WO2012161239A1 (ja) | 2011-05-24 | 2012-05-24 | 内視鏡装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US9622644B2 (ja) |
EP (1) | EP2700348B1 (ja) |
JP (1) | JP5846763B2 (ja) |
WO (1) | WO2012161239A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6259661B2 (ja) * | 2011-01-28 | 2018-01-10 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 光学的追跡システム |
EP2689708B1 (en) | 2011-04-27 | 2016-10-19 | Olympus Corporation | Endoscopic apparatus and measurement method |
JP5846763B2 (ja) | 2011-05-24 | 2016-01-20 | オリンパス株式会社 | 内視鏡装置 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
EP3068285B1 (en) * | 2013-11-13 | 2023-06-07 | Danmarks Tekniske Universitet | Method for surface scanning in medical imaging and related apparatus |
DK3228254T3 (da) | 2014-02-21 | 2020-03-23 | 3Dintegrated Aps | Sæt omfattende et kirurgisk instrument |
DE102014204243A1 (de) * | 2014-03-07 | 2015-09-10 | Siemens Aktiengesellschaft | Endoskop mit Tiefenbestimmung |
WO2016208664A1 (ja) * | 2015-06-25 | 2016-12-29 | オリンパス株式会社 | 内視鏡装置 |
US11020144B2 (en) | 2015-07-21 | 2021-06-01 | 3Dintegrated Aps | Minimally invasive surgery system |
EP3145419B1 (en) | 2015-07-21 | 2019-11-27 | 3dintegrated ApS | Cannula assembly kit, trocar assembly kit and minimally invasive surgery system |
DK178899B1 (en) | 2015-10-09 | 2017-05-08 | 3Dintegrated Aps | A depiction system |
JP6549021B2 (ja) * | 2015-11-17 | 2019-07-24 | 富士フイルム株式会社 | 内視鏡システム、及び計測装置の作動方法 |
FR3047076A1 (fr) * | 2016-01-26 | 2017-07-28 | Commissariat Energie Atomique | Dispositif distribue de detection d'une substance |
JP6430074B2 (ja) * | 2016-11-01 | 2018-11-28 | オリンパス株式会社 | 生体観察システム |
JP7297891B2 (ja) | 2018-07-19 | 2023-06-26 | アクティブ サージカル, インコーポレイテッド | 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法 |
WO2020210168A1 (en) | 2019-04-08 | 2020-10-15 | Activ Surgical, Inc. | Systems and methods for medical imaging |
WO2021035094A1 (en) | 2019-08-21 | 2021-02-25 | Activ Surgical, Inc. | Systems and methods for medical imaging |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03128043A (ja) * | 1989-10-16 | 1991-05-31 | Toshiba Corp | 形状計測内視鏡装置 |
JPH05211988A (ja) * | 1991-12-09 | 1993-08-24 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JPH0961132A (ja) * | 1995-08-28 | 1997-03-07 | Olympus Optical Co Ltd | 3次元形状計測装置 |
JP2005091265A (ja) * | 2003-09-19 | 2005-04-07 | Makoto Kaneko | 表面硬さ分布測定方法及び装置 |
JP2007144024A (ja) * | 2005-11-30 | 2007-06-14 | National Univ Corp Shizuoka Univ | 自己混合レーザを用いる三次元計測内視鏡 |
JP2009061014A (ja) * | 2007-09-05 | 2009-03-26 | Fujifilm Corp | 硬さ測定装置、硬さ測定方法、および内視鏡システム |
US20090225321A1 (en) | 2008-03-05 | 2009-09-10 | Clark Alexander Bendall | Fringe projection system and method for a probe suitable for phase-shift analysis |
JP2009240621A (ja) * | 2008-03-31 | 2009-10-22 | Hoya Corp | 内視鏡装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07104493B2 (ja) | 1987-02-17 | 1995-11-13 | オリンパス光学工業株式会社 | 内視鏡装置 |
JPH07104491B2 (ja) | 1988-02-17 | 1995-11-13 | 株式会社東芝 | 計測機能付き内視鏡装置 |
JPH0285706A (ja) | 1988-09-22 | 1990-03-27 | Toshiba Corp | 計測内視鏡 |
JPH02287311A (ja) | 1989-04-28 | 1990-11-27 | Toshiba Corp | 計測機構付内視鏡装置 |
US5434669A (en) * | 1990-10-23 | 1995-07-18 | Olympus Optical Co., Ltd. | Measuring interferometric endoscope having a laser radiation source |
US5436655A (en) | 1991-08-09 | 1995-07-25 | Olympus Optical Co., Ltd. | Endoscope apparatus for three dimensional measurement for scanning spot light to execute three dimensional measurement |
JPH0545132A (ja) | 1991-08-15 | 1993-02-23 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JP3816624B2 (ja) | 1997-02-28 | 2006-08-30 | オリンパス株式会社 | 三次元計測装置 |
JP3670789B2 (ja) | 1997-02-28 | 2005-07-13 | オリンパス株式会社 | 三次元形状計測装置 |
US6419626B1 (en) * | 1998-08-12 | 2002-07-16 | Inbae Yoon | Surgical instrument endoscope with CMOS image sensor and physical parameter sensor |
US6464633B1 (en) | 1999-08-23 | 2002-10-15 | Olympus Optical Co., Ltd. | Light source device for endoscope using DMD |
DE10104483A1 (de) | 2001-01-31 | 2002-10-10 | Forschungszentrum Fuer Medizin | Vorrichtung zur dreidimensionalen Vermessung von Oberflächen in Hohlräumen |
US7385708B2 (en) * | 2002-06-07 | 2008-06-10 | The University Of North Carolina At Chapel Hill | Methods and systems for laser based real-time structured light depth extraction |
JP4916160B2 (ja) | 2005-11-14 | 2012-04-11 | オリンパス株式会社 | 内視鏡装置 |
JP4751443B2 (ja) | 2006-03-07 | 2011-08-17 | 富士通株式会社 | 撮影装置、及び撮影方法 |
JP5436757B2 (ja) | 2007-03-20 | 2014-03-05 | オリンパス株式会社 | 蛍光観察装置 |
JP2009019941A (ja) | 2007-07-11 | 2009-01-29 | Nikon Corp | 形状測定方法 |
US8107083B2 (en) | 2008-03-05 | 2012-01-31 | General Electric Company | System aspects for a probe system that utilizes structured-light |
JP5073564B2 (ja) | 2008-04-15 | 2012-11-14 | オリンパス株式会社 | 計測用内視鏡装置およびプログラム |
US8334900B2 (en) * | 2008-07-21 | 2012-12-18 | The Hong Kong University Of Science And Technology | Apparatus and method of optical imaging for medical diagnosis |
JP5127639B2 (ja) | 2008-09-10 | 2013-01-23 | 富士フイルム株式会社 | 内視鏡システム、およびその作動方法 |
EP2272417B1 (en) * | 2009-07-10 | 2016-11-09 | GE Inspection Technologies, LP | Fringe projection system for a probe suitable for phase-shift analysis |
JP2011229850A (ja) | 2010-04-30 | 2011-11-17 | Fujifilm Corp | 内視鏡装置、方法およびプログラム |
EP2689708B1 (en) | 2011-04-27 | 2016-10-19 | Olympus Corporation | Endoscopic apparatus and measurement method |
JP5846763B2 (ja) | 2011-05-24 | 2016-01-20 | オリンパス株式会社 | 内視鏡装置 |
JP5830270B2 (ja) | 2011-05-24 | 2015-12-09 | オリンパス株式会社 | 内視鏡装置および計測方法 |
-
2011
- 2011-05-24 JP JP2011116140A patent/JP5846763B2/ja not_active Expired - Fee Related
-
2012
- 2012-05-24 WO PCT/JP2012/063258 patent/WO2012161239A1/ja unknown
- 2012-05-24 EP EP12789379.0A patent/EP2700348B1/en active Active
-
2013
- 2013-11-12 US US14/078,223 patent/US9622644B2/en active Active
-
2017
- 2017-03-06 US US15/450,741 patent/US10368721B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03128043A (ja) * | 1989-10-16 | 1991-05-31 | Toshiba Corp | 形状計測内視鏡装置 |
JPH05211988A (ja) * | 1991-12-09 | 1993-08-24 | Olympus Optical Co Ltd | 計測用内視鏡装置 |
JPH0961132A (ja) * | 1995-08-28 | 1997-03-07 | Olympus Optical Co Ltd | 3次元形状計測装置 |
JP2005091265A (ja) * | 2003-09-19 | 2005-04-07 | Makoto Kaneko | 表面硬さ分布測定方法及び装置 |
JP2007144024A (ja) * | 2005-11-30 | 2007-06-14 | National Univ Corp Shizuoka Univ | 自己混合レーザを用いる三次元計測内視鏡 |
JP2009061014A (ja) * | 2007-09-05 | 2009-03-26 | Fujifilm Corp | 硬さ測定装置、硬さ測定方法、および内視鏡システム |
US20090225321A1 (en) | 2008-03-05 | 2009-09-10 | Clark Alexander Bendall | Fringe projection system and method for a probe suitable for phase-shift analysis |
JP2009240621A (ja) * | 2008-03-31 | 2009-10-22 | Hoya Corp | 内視鏡装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2700348A4 |
Also Published As
Publication number | Publication date |
---|---|
US10368721B2 (en) | 2019-08-06 |
JP5846763B2 (ja) | 2016-01-20 |
US9622644B2 (en) | 2017-04-18 |
EP2700348B1 (en) | 2016-05-18 |
US20170172384A1 (en) | 2017-06-22 |
JP2012239834A (ja) | 2012-12-10 |
EP2700348A4 (en) | 2014-05-14 |
EP2700348A1 (en) | 2014-02-26 |
US20140071257A1 (en) | 2014-03-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5846763B2 (ja) | 内視鏡装置 | |
US10898110B2 (en) | Endoscope apparatus and measuring method | |
JP5830270B2 (ja) | 内視鏡装置および計測方法 | |
JP5841353B2 (ja) | 内視鏡装置および画像取得方法 | |
JP6253527B2 (ja) | 内視鏡装置 | |
JP2018515759A (ja) | オブジェクトの光学的3d測定のためのデバイス | |
JP2018515760A (ja) | 歯科用オブジェクトの3d測定のための方法およびカメラ | |
US6291817B1 (en) | Moire apparatus having projection optical system and observation optical system which have optical axes parallel to each other | |
JP6706026B2 (ja) | 内視鏡システムおよび内視鏡装置の作動方法 | |
JP6032870B2 (ja) | 計測方法 | |
JP2008125989A (ja) | 内視鏡ポイント光照射位置調整システム | |
JP2012228459A (ja) | 内視鏡装置および計測方法 | |
US20140132928A1 (en) | Ophthalmologic apparatus and ophthalmologic imaging method | |
JP6574101B2 (ja) | 内視鏡システム | |
JP6255305B2 (ja) | 光学顕微装置 | |
JP5484505B2 (ja) | 眼科撮影装置 | |
JP2007011198A (ja) | 投射型表示装置 | |
JP2009273687A (ja) | 光軸調子可能な内視鏡装置 | |
JP2014038015A (ja) | 三次元計測装置 | |
JP2012117920A (ja) | 外観検査装置及び印刷半田検査装置 | |
JP2019170658A (ja) | 内視鏡装置、内視鏡装置における光学系の切り替え判定方法、プログラム、および記録媒体 | |
JP2013176652A (ja) | 眼科撮影装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12789379 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |