WO2013088709A1 - 内視鏡およびこれを備えた内視鏡システム - Google Patents
内視鏡およびこれを備えた内視鏡システム Download PDFInfo
- Publication number
- WO2013088709A1 WO2013088709A1 PCT/JP2012/007934 JP2012007934W WO2013088709A1 WO 2013088709 A1 WO2013088709 A1 WO 2013088709A1 JP 2012007934 W JP2012007934 W JP 2012007934W WO 2013088709 A1 WO2013088709 A1 WO 2013088709A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- imaging
- imaging unit
- unit
- image
- angle
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00071—Insertion part of the endoscope body
- A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
- A61B1/00096—Optical elements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00183—Optical arrangements characterised by the viewing angles for variable viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00194—Optical arrangements adapted for three-dimensional imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2415—Stereoscopic endoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2423—Optical details of the distal end
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2407—Optical details
- G02B23/2461—Illumination
- G02B23/2469—Illumination using optical fibres
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
- G02B23/2476—Non-optical details, e.g. housings, mountings, supports
Definitions
- the present invention relates to an endoscope for imaging the inside of an observation object that can not be observed directly from the outside, and an endoscope system provided with the same, and more particularly to an endoscope capable of three-dimensional display together with ordinary two-dimensional display
- the present invention relates to an endoscope system provided with
- Endoscopes are widely used to observe organs and the like in the human body at the time of surgery and examination in medicine.
- an imaging unit is provided at the tip of the insertion unit inserted into the body, and an image taken by the imaging unit is displayed on a monitor. If three images are displayed three-dimensionally by using a three-dimensional monitor, subjects such as organs can be observed three-dimensionally, so that the efficiency of surgery and examination can be improved.
- a wide-angle imaging unit and a narrow-angle imaging unit are provided, and a two-dimensional display is performed using an image acquired by the wide-angle imaging unit and a wide-angle imaging
- a technology in which three-dimensional display is performed using an image acquired by a section and a narrow-angle imaging section see Patent Document 1.
- a surgical site can be observed in detail and in three dimensions by a three-dimensional displayed image, and a wide range around the surgical site can be observed in a two-dimensional displayed image.
- a region corresponding to the imaging region of the narrow angle imaging unit is cut out from the image taken by the wide angle imaging unit, and the cutout image obtained by this and the image pickup by the narrow angle imaging unit From the above, a three-dimensional image, that is, two images seen by the left and right eyes when three-dimensional display is generated is generated, but when the distance from the imaging unit to the subject changes by moving the endoscope, Since the positional relationship between the imaging regions of the imaging unit changes, there is a problem that the regions of the subject captured in the two images used for generating the three-dimensional image are shifted, and an appropriate three-dimensional image can not be generated.
- the narrow-angle imaging unit is cut out by cutting out a region corresponding to the imaging region of the narrow-angle imaging unit. It is made to be the same size as the image taken by the camera. Therefore, the real resolutions of the two images viewed by the left and right eyes are largely different when displaying in three dimensions, and if such images continue to be viewed for a long time, fatigue progresses, so it is desirable to use for long surgery. There was a problem of not being.
- the present invention has been made to solve the problems of the prior art as described above, and the main object thereof is to set the positional relationship between imaging regions of two imaging units even when the distance to the subject is different.
- An endoscope and an endoscope configured to be able to be held constant and to avoid that the real resolutions of two images viewed by the left and right eyes differ greatly when displaying the images in a three-dimensional manner. It is providing the provided endoscope system.
- An endoscope includes an insertion portion inserted into an observation target, a first imaging portion and a second imaging portion provided side by side at a distal end portion of the insertion portion, and the first imaging portion And an image processing unit that generates a three-dimensional image from an image captured by a second imaging unit, and the first imaging unit is arranged along the arrangement direction of the first imaging unit and the second imaging unit. In order to move the imaging region, the tilt angle of the optical axis is changeable.
- the endoscope a first display device for displaying an image in a two-dimensional manner, a second display device for displaying an image in a three-dimensional manner, and output from the endoscope And a display control device for simultaneously displaying an image on the first display device and the second display device based on the two-dimensional image data and the three-dimensional image data.
- the imaging region of the first imaging unit can be moved in the arrangement direction of the two imaging units. Even when the distances to the point are different, the positional relationship between the imaging regions of the two imaging units can be kept constant. Therefore, it is possible to always obtain an appropriate three-dimensional image regardless of the distance to the subject.
- the whole block diagram which shows the endoscope system concerning a 1st embodiment Sectional drawing which shows the front-end
- Block diagram showing a schematic configuration of a control system for driving the angle adjustment mechanism 16
- Block diagram showing a schematic configuration of the imaging control unit 26
- Explanatory drawing which shows the processing condition of the image in the imaging control part 26
- Block diagram of the imaging control unit 26 in the endoscope according to the second embodiment A schematic side view and a plan view for explaining the procedure for determining the positional relationship between the imaging areas A1 and A2 in the imaging position detection unit 62
- Explanatory drawing which shows the
- an insertion portion inserted inside the object to be observed, and a first imaging portion and a second imaging portion provided side by side at the tip of the insertion portion
- An image processing unit that generates a three-dimensional image from images captured by the first imaging unit and the second imaging unit, and the first imaging unit includes the first imaging unit and the second imaging unit.
- the tilt angle of the optical axis is changeable so that the imaging region can be moved along the arrangement direction of the imaging unit.
- the inclination angle of the optical axis of the first imaging unit it is possible to move the imaging region of the first imaging unit in the arrangement direction of the two imaging units, and thereby to the subject. Even when the distances are different, the positional relationship between the imaging regions of the two imaging units can be held constant. Therefore, it is possible to always obtain an appropriate three-dimensional image regardless of the distance to the subject.
- an angle operation unit in which a user performs an operation of changing an inclination angle of the optical axis of the first imaging unit, and light of the first imaging unit according to the operation of the angle operation unit. And an angle adjusting mechanism for changing an inclination angle of the shaft.
- the first imaging unit has a wide-angle optical system
- the second imaging unit has a narrow-angle optical system
- the image processing unit includes the first imaging unit.
- a cut-out image obtained by generating a two-dimensional image from the first captured image acquired by the image pickup unit and cutting out a region corresponding to the imaging region of the second image pickup unit from the first captured image;
- a three-dimensional image is generated from the second captured image acquired by the second imaging unit.
- the first imaging unit having a wide-angle optical system captures a wide area of the subject, and the image captured by the first imaging unit is provided for two-dimensional display.
- a wide range of the subject can be observed, and in particular, the assistant or the trainee can observe it widely at the time of the operation, so that the periphery of the operation site can be widely observed.
- a second imaging unit having a narrow-angle optical system captures a narrow region of the subject, and the image captured by the second imaging unit and the cutout image are provided for three-dimensional display.
- the subject can be observed in detail and three-dimensionally. In particular, when the operator looks at this during surgery, it is possible to three-dimensionally recognize the surgical site and improve the efficiency of the surgery.
- the first imaging unit captures an image of a wide area of the subject, and the imaging area can be moved by changing the tilt angle of the optical axis of the first imaging section. can do.
- the imaging area of the first imaging unit is moved within the range where the imaging area of the second imaging unit is included in the imaging area of the first imaging unit, no change appears in the three-dimensional image.
- the display area of the two-dimensional image can be freely moved according to the needs of the assistant or the trainee without moving the display area of the three-dimensional image viewed by the operator.
- the first imaging unit has a high resolution imaging device
- the second imaging unit has a low resolution imaging device
- the first imaging unit having a wide-angle optical system has a high resolution imaging device, it is possible to observe a wide area of the subject with high definition.
- the second imaging unit since the second imaging unit has a low-resolution imaging device and is compact, the outer diameter of the distal end portion of the insertion unit can be reduced.
- the angle adjustment mechanism can be easily provided without increasing the outer diameter of the distal end portion of the insertion unit.
- the first imaging unit and the second imaging unit are configured such that the cutout image and the second imaging image have approximately the same number of pixels. .
- the inclination angle of the optical axis of the first imaging unit is set so that the imaging region of the first imaging unit and the imaging region of the second imaging unit have a predetermined positional relationship.
- a control unit is further provided to control.
- the work of alignment between the imaging area of the first imaging unit and the imaging area of the second imaging unit becomes unnecessary, and the usability improves.
- control unit compares the first captured image with the second captured image, and captures an imaging area of the first imaging unit and an image of the second imaging unit. The positional relationship with the area is detected, and the inclination angle of the optical axis of the first imaging unit is controlled based on the detection result.
- the positional relationship between the imaging regions of the two imaging units can be detected without specially providing a sensor or the like, so the inclination angle of the optical axis of the first imaging unit is not complicated. Can be properly controlled.
- an insertion portion to be inserted into an observation target, a first imaging portion and a second imaging portion provided side by side at a distal end portion of the insertion portion, and the first imaging portion.
- an image processing unit that generates a three-dimensional image from an image captured by a second imaging unit, the first imaging unit having a wide-angle optical system and a high resolution imaging device, The second imaging unit has a narrow-angle optical system and a low resolution imaging device, and the image processing unit generates a two-dimensional image from the first captured image acquired by the first imaging unit.
- an endoscope In a ninth aspect of the present invention, there is provided an endoscope, a first display device for two-dimensionally displaying an image, a second display device for three-dimensionally displaying an image, and 2 outputted from the endoscope. And a display control device configured to simultaneously display an image on the first display device and the second display device based on two-dimensional image data and three-dimensional image data.
- the operator can three-dimensionally recognize the surgical site by looking at the screen of the second display device on which the image is three-dimensionally displayed during the operation, the efficiency of the operation can be enhanced.
- the assistant and the trainee can view the screen of the first display device on which the image is two-dimensionally displayed, thereby enhancing the effectiveness of the surgery assistance and the training.
- FIG. 1 is an overall configuration diagram showing an endoscope system according to a first embodiment.
- This endoscope system includes an endoscope 1 inserted inside the body for imaging a subject such as an organ inside a human body (observation target), a two-dimensional monitor (two-dimensionally displaying an image) 1) display device 2), a three-dimensional monitor (second display device) 3 for three-dimensionally displaying an image, and a controller (display control device) 4 for controlling image display of the two-dimensional monitor 2 and the three-dimensional monitor 3 ,have.
- the endoscope 1 is a so-called rigid endoscope, and the insertion portion 11 inserted into the inside of the body is inflexible.
- a first imaging unit 13 and a second imaging unit 14 for imaging an object are provided side by side at the distal end portion 12 of the insertion unit 11.
- the first imaging unit 13 is provided so as to be able to change the inclination angle of the optical axis
- the insertion unit 11 is provided with an angle adjustment mechanism 16 that changes the inclination angle of the optical axis of the first imaging unit 13 ing.
- the distal end portion 12 of the insertion portion 11 is provided with an illumination unit 15 for illuminating a subject.
- a main body 17 is provided on the side opposite to the distal end 12 of the insertion portion 11.
- the main body 17 includes two electric motors 18 and 19 for driving the angle adjustment mechanism 16, a light source 20 for sending illumination light to the illumination unit 15, imaging units 13 and 14, electric motors 18 and 19 and the light source 20.
- a control unit 21 for controlling.
- the light source 20 is formed of an LED or the like, and is connected to the illumination unit 15 by the optical fiber cable 22. The light emitted from the light source 20 is emitted from the illumination unit 15 through the optical fiber cable 22.
- the control unit 21 controls the electric motors 18 and 19 to change the tilt angle of the optical axis of the first imaging unit 13, and controls the two imaging units 13 and 14 and the imaging unit 13. , 14 and an illumination control unit 27 for controlling the light source 20.
- An angle operation unit 28 is connected to the control unit 21.
- the angle operation unit 28 is used by the user to change the inclination angle of the optical axis of the first imaging unit 13 and is configured of a position input device such as a joystick or a track ball.
- the inclination angle of the optical axis of the first imaging unit 13 is changed in accordance with the operation of S28.
- the controller 4 outputs display control data to the two-dimensional monitor 2 and the three-dimensional monitor 3 based on the two-dimensional image data and the three-dimensional image data output from the endoscope 1.
- the two-dimensional image and the three-dimensional image are simultaneously displayed on the two-dimensional monitor 3 so that the subject can be observed two-dimensionally and three-dimensionally.
- the two-dimensional monitor 2 and the three-dimensional monitor 3 are configured by, for example, a liquid crystal display, and the two-dimensional monitor 2 has a large screen for viewing by many people such as assistants and trainees during surgery.
- the dimensional monitor 3 has a small screen to be viewed by a small number of persons such as a surgeon during surgery.
- the three-dimensional monitor 3 may adopt an HMD (Head Mounted Display) in consideration of the use of the operator.
- HMD Head Mounted Display
- FIG. 2 is a cross-sectional view showing the distal end portion 12 of the insertion portion 11.
- the X direction, the Y direction, and the Z direction shown in FIG. 2 and the like are three directions orthogonal to each other.
- the first imaging unit 13 and the second imaging unit 14 are housed inside the cylindrical cover 31.
- the first imaging unit 13 includes an imaging element 33, an optical system 34 composed of a plurality of lenses, and a holder 35 for holding these.
- the holder 35 of the first imaging unit 13 is rotatably held by the cover 31.
- a cover glass 36 is provided on the front side of the first imaging unit 13.
- the second imaging unit 14 includes an imaging element 37, an optical system 38 including a plurality of lenses, and a holder 39 for holding these.
- a cover glass 40 is provided on the front side of the second imaging unit 14.
- the optical system 34 of the first imaging unit 13 is configured at a wide angle
- the optical system 38 of the second imaging unit 14 is configured at a narrow angle.
- the field angle Field of View
- the field angle is 50 degrees.
- the imaging element 33 of the first imaging unit 13 is configured to have a high resolution (high pixel count), and the imaging element 37 of the second imaging unit 14 is configured to have a low resolution (low pixel count).
- the resolution (pixel number) is 1920 ⁇ 1080 (Full HD)
- the resolution (pixel number) is 320 ⁇ 240 (QVGA).
- Each of the imaging devices 33 and 37 is configured by, for example, a complementary metal oxide semiconductor (CMOS).
- CMOS complementary metal oxide semiconductor
- the second imaging unit 14 can be miniaturized, so that the outer diameter of the distal end portion 12 of the insertion unit 11 can be reduced.
- the imaging element 33 of the first imaging unit 13 to have a high resolution, the first imaging unit 13 becomes large, so that the angle can be increased without increasing the outer diameter of the distal end portion 12 of the insertion unit 11.
- the adjustment mechanism 16 can be easily provided.
- FIG. 3 is a front view showing the distal end portion 12 of the insertion portion 11.
- the first imaging unit 13 and the second imaging unit 14 are provided side by side in the X direction.
- Two illumination units 15 are provided on both sides of the second imaging unit 14.
- FIG. 4 is a schematic side view showing the angle adjustment mechanism 16 for changing the inclination angle of the optical axis of the first imaging unit 13, and a state as viewed from the Y direction in FIG. The state seen from the X direction is shown in B).
- the front end portion 12 side of the insertion portion 11 is described as the front side
- the main body portion 17 side is described as the rear side (see FIG. 1).
- the angle adjustment mechanism 16 includes four relay rods 41a to 41d whose front ends are connected to the holder 35 of the first imaging unit 13, and relay members 42 whose rear ends of the four relay rods 41a to 41d are connected.
- the four relay rods 41a to 41d are arranged parallel to one another in a manner to extend in the longitudinal direction (Z direction) of the insertion portion 11, and center on a center line that coincides with the optical axis of the first imaging unit 13.
- the two relay rods 41a and 41b are arranged in the X direction, and the two relay rods 41c and 41d are arranged in the Y direction.
- the support shaft 43 has a spherical surface portion 47, and at the central portion of the relay member 42, a receiving portion 48 which is a spherical surface complementary to the spherical surface portion 47 is formed, and the relay member 42 is the center of the spherical surface portion 47. Rotate around the center. The pivoting movement of the relay member 42 is transmitted to the first imaging unit 13 via the relay rods 41a to 41d, and the first imaging unit 13 pivots in response to the rotation of the relay member 42.
- the two drive rods 45a and 45b are arranged parallel to each other in a manner to extend in the longitudinal direction (Z direction) of the insertion portion 11, and generally located on the extension of the two relay rods 41a and 41c. Is located in The two drive rods 45a and 45b are inserted into the through holes 49 of the guide member 44, and the rear ends of the drive rods 45a and 45b are respectively connected to the electric motors 18 and 19 (FIG. 1). Reference), the drive rods 45a, 45b are independently driven by the electric motors 18, 19 to move back and forth in the longitudinal direction.
- the two springs 46a and 46b form a pair with each of the two drive rods 45a and 45b, and the first spring 46a and the first drive rod 45a are aligned in the X direction, and the second spring 46b and the second Drive rods 45b are arranged in the Y direction.
- the two springs 46a and 46b are attached to the relay member 42 and the guide member 44 in a tension state, and bias the portion of the relay member 42 to which the respective springs 46a and 46b are connected to the rear.
- the biasing force of the springs 46a and 46b acts to pull the drive rods 45a and 45b forward, and the movement of the drive rods 45a and 45b is restrained by the electric motors 18 and 19, whereby the relay member 42 is moved. It is held in contact with the spherical surface portion 47 of the support shaft 43.
- the relay member 42 is rotated and the drive rods 45a and 45b are moved forward. Then, the relay member 42 pivots in the opposite direction.
- the relay member 42 rotates. Accordingly, when the first imaging unit 13 is rotated about the axis in the Y direction and the second drive rod 45 b is moved back and forth by the other of the electric motors 18 and 19 as shown in FIG. 4B.
- the first imaging unit 13 pivots about an axis in the X direction. As described above, the first imaging unit 13 can be rotated about virtual two axes in the X direction and the Y direction to change the tilt angle of the optical axis of the first imaging unit 13 in any direction. .
- FIG. 5 is a block diagram showing a schematic configuration of a control system that drives the angle adjustment mechanism 16.
- the angle control unit 25 of the control unit 21 has two motor controllers 51 and 52 that control the two electric motors 18 and 19, respectively, and the motor controllers 51 and 52 output control signals to the motor drivers 53 and 54, respectively.
- the electric motors 18 and 19 are driven.
- the two electric motors 18 and 19 are respectively connected to the two drive rods 45a and 45b shown in FIG. 4, and the rotational positions of the first imaging unit 13 around two axes in the X and Y directions are It is controlled individually.
- detection signals of the two origin sensors 55 and 56 and an operation signal of the angle operation unit 28 are input to the angle control unit 25.
- the origin sensors 55, 56 detect the origin positions of the output shafts of the electric motors 18, 19, respectively.
- the motor controllers 51 and 52 of the angle control unit 25 control the rotational direction and the amount of rotation of the two electric motors 18 and 19 based on the detection signals of the origin sensors 55 and 56 and the operation signal of the angle operation unit 28.
- the origin position of the output shaft of each of the electric motors 18 and 19 detected by the two origin sensors 55 and 56 is parallel to the longitudinal direction (Z direction) of the insertion portion 11
- the rotational position of the first imaging unit 13 based on the initial position, that is, the inclination angle of the optical axis.
- the X (Y) origin sensor 55 (56) provided in the angle control unit 25 of the main body 17 detects the rotation origin of the imaging unit 13 and then applies the electric motor 18, 19
- the rotation angle is relatively detected with the number of pulses, but this configuration is a so-called open loop, and in general, as the mechanical element between the drive source and the control target is more complicated, the detection accuracy substantially decreases.
- the magnet 91 is placed on the bottom of the first imaging unit 13 configured to be rotatable as shown in FIG.
- the magnetic sensor 92 may be provided to detect the rotation angle based on the output of the magnetic sensor 92.
- initialization of the origin is performed by the output of the magnetic sensor 92 when the origin is detected by the X (Y) origin sensor 55 (56), and based on the relative output change of the magnetic sensor 92 thereafter.
- Rotation angle can be determined.
- the rotational direction is uniquely determined by the control pulse output to the electric motors 18 and 19.
- the feedback loop is formed based on the detection system disposed in the immediate vicinity of the control target, so that the rotation angle can be detected with extremely high accuracy, and accurate positioning can be performed based on the detected rotation angle. it can.
- FIG. 6 is a block diagram showing a schematic configuration of the imaging control unit 26.
- the imaging control unit 26 includes an image signal processing unit 61, an imaging position detection unit 62, an image clipping unit 63, a two-dimensional image processing unit 64, and a three-dimensional image processing unit 65.
- the image signal processing unit 61 is configured by a so-called ISP (Imaging Signal Processor), and includes two preprocessing units 66 and 67 that perform preprocessing such as noise reduction, color correction, and ⁇ correction. In the two preprocessing units 66 and 67, the image signals output from the two imaging units 13 and 14 are processed in parallel, and a first captured image and a second captured image are output.
- the image signal processing unit 61 also has a function of operating two imaging units 13 and 14 in synchronization.
- the imaging position detection unit 62 detects the positional relationship between the imaging area of the first imaging unit 13 and the imaging area of the second imaging unit 14 by comparing the first imaging image and the second imaging image. Processing is performed.
- feature points are respectively extracted from the first captured image and the second captured image, and from the correspondence relationship of the feature points, the subject captured in the first captured image and the second captured image respectively Find the position where the images are aligned.
- the second imaging unit 14 including the imaging device 37 with a narrow angle optical system 38 and a low pixel count based on the positional relationship between the two imaging regions detected by the imaging position detection unit 62.
- a process of cutting out a region corresponding to the image pickup region from the first pickup image including the wide-angle optical system 34 and the image pickup element 33 with a large number of pixels is performed.
- the cutout image obtained by the image cutout unit 63 and the second captured image are images in which the same area of the subject is captured.
- the two-dimensional image processing unit 64 processes the first captured image to output a two-dimensional image, and includes a two-dimensional image generation unit 68 and a post-processing unit 69.
- the three-dimensional image processing unit 65 processes the second captured image and the cut-out image output from the image cutting out unit 63 to output a three-dimensional image, and the two calibration units 71, 72 and 3 are used.
- a two-dimensional image generation unit 73 and a post-processing unit 74 are provided.
- the processing is performed in parallel, and in the controller 4, the processing is performed in parallel by the two image processing units 75 and 76.
- An image is simultaneously displayed on the two-dimensional monitor 2 and the three-dimensional monitor 3.
- the three-dimensional image generation unit 65 performs processing to generate a three-dimensional image including the right-eye image and the left-eye image, one of the cutout image and the second captured image becomes the right-eye image, and the other is the left-eye image. Become.
- the image rotation and the magnification error are corrected based on the result of imaging the reference image under a specific imaging condition (a condition in which the distance to the object, brightness, etc. is made constant).
- a specific imaging condition a condition in which the distance to the object, brightness, etc. is made constant.
- Parameters are often calculated and fixed processing based on these parameters is often referred to, but the calibration units 71 and 72 do not cause discomfort when the three-dimensional image is viewed with the left and right eyes.
- a process is performed to adjust one image. That is, the calibration units 71 and 72 perform resizing processing to equalize the two left and right image sizes (number of pixels in the main and sub scanning directions) by performing enlargement or reduction processing on at least one of the two images.
- the imaging control unit 26 outputs a two-dimensional image and a three-dimensional image as a moving image at a predetermined frame rate, it is also possible to output as a still image. In this case, from a plurality of frame images Super resolution processing may be performed to generate a high resolution still image.
- FIG. 7 is an explanatory view showing a processing state of an image in the imaging control unit 26.
- the number of pixels of the image clipped out of the first captured image by the image cropping unit 63 and the number of pixels of the second captured image are completely the same (for example, 320 ⁇ 240 pixels).
- the magnification that is, the length the subject occupies with respect to the size in the main / sub scanning direction of the screen
- the positional relationship between the imaging elements 33 and 37 of the two imaging units 13 and 14 in the optical axis direction, the magnification of the optical systems 34 and 38, and the like are set (see FIG. 2).
- the actual adjustment of magnification etc. involves imperfections. Therefore, if the sizes of the two images are the same as described above, when the area corresponding to the second captured image is cut out by the image cutting out unit 63, the magnification of the images may be different. At this time, at least one of the images is resized by the calibration units 71 and 72. However, since all the images have the same size (320 ⁇ 240 pixels), based on the distances of the same feature points included in the respective images. The image size is fixed (320 ⁇ 240 pixels) by calculating the enlargement ratio, enlarging the image with a smaller magnification to the larger image, and removing the extra peripheral area generated by the enlargement process. You should maintain it.
- an image size may differ as a result.
- the region corresponding to the second captured image is cut out of the first captured image in the image cutting out portion 63
- the number of pixels to be cut out and the number of pixels of the second captured image are made different. May be At this time, at least one image is resized by the calibration units 71 and 72, but if the image to be cut out is larger than 320 ⁇ 240 pixels, the reduction ratio is calculated based on the position of the same feature point of the two images Reduce the image cut out above. As a result, the image size can be maintained constant, and the degradation of resolution can be prevented.
- the clipped image is smaller than 320 ⁇ 240 pixels, the clipped image is similarly enlarged. This allows the image size to be kept constant.
- the number of pixels of the first captured image and the second captured image depends on the resolution of each of the imaging elements 33 and 37 of the two imaging units 13 and 14, and the number of pixels of the cutout image is different from that of the first imaging unit 13.
- the number of pixels of the cutout image and the second pickup image are substantially the same. It can be
- the sizes of the pixels of the imaging elements 33 and 37 and the magnifications of the optical systems 34 and 38 are made the same will be described.
- the first imaging unit 13 uses the imaging element 33 having the number of pixels of 1920 ⁇ 1080
- the second imaging unit 14 uses the imaging element 37 having the number of pixels of 320 ⁇ 240.
- Two imaging units 13 and 14 so that the imaging region of the second imaging unit 14 is 32 mm ⁇ 24 mm when the imaging region of the first imaging unit 13 is 192 mm ⁇ 108 mm for the same subject.
- the angle of view of the optical system 34, 38 is set.
- the positional relationship between the first imaging unit 13 and the second imaging unit 14 in the optical axis direction, and the positional relationship between the optical system and the imaging devices 33 and 37 are adjusted.
- the image size is the same as the imaging area
- the size of one pixel is 100 ⁇ m ⁇ 100 ⁇ m
- the pixels in the cutout image and the second captured image are The actual size of can be made identical.
- the angle of view of the first imaging unit 13 is 140 degrees
- the angle of view of the first imaging unit 13 is 50 degrees.
- calibration units 71 and 72 are provided downstream of the image cutting unit 63.
- processing for correcting the sizes of the objects captured in the two images to match each other is performed.
- the number of pixels be as close as possible.
- the imaging position detection unit 62 does not have to precisely determine the positional relationship between the first and second captured images, and it suffices to determine the approximate position.
- FIG. 8 is a side view and a plan view schematically showing the conditions of the imaging regions A1 and A2 of the two imaging units 13 and 14, respectively.
- the first imaging unit 13 has the wide-angle optical system 34
- the second imaging unit 14 has the narrow-angle optical system 38
- the angle of view ⁇ 1 of the first imaging unit 13 is Of the second imaging unit 14 (hereinafter referred to as “first imaging region” as appropriate)
- A1 of the second imaging unit 14 This area is larger than the imaging area (hereinafter referred to as “second imaging area” as appropriate) A2.
- the first imaging unit 13 An image captured by the first imaging unit 13 that captures a wide area of the subject S is used for two-dimensional display, and a wide range of the subject S can be observed with this two-dimensionally displayed image.
- the first imaging unit 13 has a high resolution imaging device 33, and can observe a wide area of the subject S with high definition. For this reason, when an assistant or a trainee looks at the time of surgery, since the periphery of a surgery site can be observed widely and in detail, the effect of surgery assistance and training can be heightened.
- an image taken by the second imaging unit 14 for imaging a narrow area of the subject S is used for three-dimensional display, and the subject S can be observed in detail and three-dimensionally with this three-dimensionally displayed image. .
- the surgical site can be three-dimensionally recognized, so the risk can be reduced and the efficiency of the surgery can be enhanced.
- the first imaging unit 13 can be rotated about two axes in the X direction and the Y direction, the inclination angle of the optical axis is changed in an arbitrary direction, and the first imaging area A1 is arbitrarily changed. It can be moved in the direction. That is, when the first imaging unit 13 is rotated about the axis in the X direction, the first imaging area A1 moves in the Y direction, and the first imaging unit 13 is rotated about the axis in the Y direction. When the first imaging area A1 moves in the X direction and the first imaging unit 13 is rotated about two axes in the X direction and the Y direction, the first imaging area A1 moves in an oblique direction.
- the first imaging area A1 is moved in the required direction.
- the object S can be observed more widely, and in particular, within the range where the second imaging region A2 is included in the first imaging region A1, the first imaging region can be moved. Even if A1 is moved, no change appears in the three-dimensional image because the second imaging region A2 does not move. Therefore, at the time of surgery, the display area of the two-dimensional image can be freely moved according to the needs of the assistant or the trainee without moving the display area of the three-dimensional image viewed by the operator.
- the image cutout unit 63 cuts out an image from a different position of the first pickup image. Also in this case, the range from which the image is cut out is determined based on feature point matching of the two images.
- FIG. 9 is a side view and a plan view schematically showing the situation of the imaging areas A1 and A2 when the subject distance changes.
- the subject distance the distance from the imaging units 13 and 14 to the object S
- the sizes of the imaging areas A1 and A2 of the two imaging units 13 and 14 change simultaneously, and the positional relationship between the imaging areas A1 and A2 changes.
- the first imaging area A1 shifts in the arrangement direction of the two imaging units 13 and 14 (X direction, see FIG. 3).
- the first imaging area A1 when the subject S is at the position I (subject distance L1), the first imaging area A1 is at the left position in the figure with respect to the second imaging area A2, and the subject S is II.
- the first imaging area A1 When at the position (subject distance L2) indicated by, the first imaging area A1 is positioned to the right in the drawing with respect to the second imaging area A2.
- the rotational position of the first imaging unit 13 about the axis in the X direction is an initial position
- the central positions of the imaging regions A1 and A2 of the two imaging units 13 and 14 coincide in the Y direction.
- the first imaging region A1 can be moved in the X direction, whereby
- the second imaging area A2 can be a predetermined position (for example, the center position) in the first imaging area A1.
- the optical axis inclination angle ⁇ is increased. If the subject S is at the position indicated by II, the optical axis inclination angle ⁇ may be reduced.
- the first imaging region A1 can be moved in the arrangement direction (X direction) of the two imaging units 13 and 14. Therefore, even when the subject distance L changes, the positional relationship between the imaging areas A1 and A2 of the two imaging units 13 and 14 can be held constant, and an appropriate three-dimensional image can be always obtained regardless of the subject distance L. You can get
- the subject S ' is inclined by ⁇ / 2 from the plane (horizontal plane) of the other subject S.
- the optical axes of the first imaging unit 13 and the second imaging unit 14 are each inclined by ⁇ / 2 from the normal to the surface of the subject S ′. Since the optical axes of the two imaging units are inclined by the same angle with respect to the object S ′, the optical axis of the first imaging unit 13 and the optical axis of the second imaging unit 14 intersect each other.
- the second imaging region A2 exists at the central position in the first imaging region A1. However, since the point at which the optical axis intersects on this plane is projected to the center in any imaging device, the parallax, which is the difference in pixel position when the same feature point is observed by different imaging devices, is zero. It turns out that.
- the three-dimensional image processing unit 73 performs a process of shifting two images in the X-axis direction by a predetermined number of pixels.
- the rotation angle of the first imaging unit 13 is adjusted such that the second imaging region A2 is located at the center of the first imaging region A1, but the control of this rotation angle is performed.
- the angle adjustment unit 25 drives the electric motor 18 (see FIG. 1), and the rotation angle is measured by, for example, the magnetic sensor 91 described with reference to FIG.
- the three-dimensional image generation unit 73 Based on the measurement result of the rotation angle, the three-dimensional image generation unit 73 (see FIG. 6) generates parallax when imaging is performed at a specific base length (for example, a human pupil distance (approximately 65 mm)). The two images are relatively shifted in the X-axis direction by an amount. Specifically, the three-dimensional image generation unit 73 determines the shift amount with reference to a LUT (Luck Up Table) based on the measurement value of the rotation angle.
- a LUT Lask Up Table
- the imaging areas A1 and A2 of the two imaging units 13 and 14 are partially overlapped, three-dimensional display can be performed in the overlapping area, and the second imaging area A2 is not necessarily the first imaging area. Although it is not necessary to set the center position in A1, in order to three-dimensionally display the entire second imaging area A2, the second imaging area A2 is completely included in the first imaging area A1. There is a need.
- the first imaging unit 13 adopts the wide-angle optical system 34 in order to widen the imaging area A1
- distortion is likely to occur in the peripheral portion of the first imaging image. This distortion does not cause much problem in two-dimensional display, but in three-dimensional display, when the peripheral portion of the first captured image in which distortion occurs is cut out and used for three-dimensional display, the image becomes It may be hard to see.
- the second imaging region A2 is not located in the periphery of the first imaging region A1.
- FIG. 10 is a block diagram of the imaging control unit 26 in the endoscope according to the second embodiment.
- the points not particularly mentioned below are the same as in the first embodiment.
- control unit 21 tilts the optical axis of the first imaging unit 13 so that the second imaging region is held at a predetermined position in the first imaging region regardless of the subject distance.
- the control for automatically adjusting the angle is performed, and the imaging control unit 26 corrects the offset (positional deviation) of the imaging area of the first imaging unit 13 with respect to the imaging area of the second imaging unit 14 81 are provided.
- the operation of aligning the imaging regions of the two imaging units 13 and 14 becomes unnecessary, and the usability is improved.
- the imaging position detection unit 62 compares the first and second captured images acquired by the two imaging units 13 and 14 with each other to obtain two imaging units 13 and 14. A process of detecting the positional relationship of the imaging regions of
- the imaging position correction unit 81 can correct the offset of the imaging area of the first imaging unit 13 with respect to the imaging area of the second imaging unit 14 based on the detection result of the imaging position detection unit 62.
- the target value of the optical axis inclination angle calculated by the imaging position correction unit 81 is output to the angle control unit 25, and the actual optical axis inclination angle is set to the target in the angle control unit 25.
- the electric motors 18, 19 are driven to approach the value. Thereby, the imaging area of the first imaging unit 13 moves, and the imaging area of the second imaging unit 14 becomes a predetermined position (for example, the center position) in the imaging area of the first imaging unit 13.
- the optical axis tilt angle is changed in stages to While repeating the change of the tilt angle and the comparison of the captured images, the two imaging areas may be adjusted to the optical axis tilt angle which is a required positional relationship.
- FIG. 11 is a schematic side view and a plan view for explaining how to obtain the positional relationship between the imaging areas A1 and A2 in the imaging position detection unit 62. As shown in FIG. Here, although the imaging regions A1 and A2 will be described, the actual processing by the imaging position detection unit 62 is performed on a captured image.
- the subject distance L changes although the size of the second imaging region A2 changes, the position of the center O2 of the imaging region A2 does not change.
- the optical axis of the first imaging unit 13 is inclined, the position of the first imaging area A1 changes as the subject distance L changes.
- a distance XL to one end (left end in the drawing) of the area A1 and a distance XR from the center O2 of the second imaging area A2 to the other end (right end in the drawing) of the first imaging area A1 are obtained.
- the distances XL and XR are the angle of view ⁇ 1 of the first imaging unit 13, the optical axis inclination angle ⁇ of the first imaging unit 13, and the base length (the distance between the two imaging units 13 and 14) It is defined from) BL as follows.
- XL L ⁇ tan ( ⁇ 1 / 2 ⁇ ) + BL (Equation 1)
- XR L ⁇ tan ( ⁇ 1 / 2 + ⁇ ) ⁇ BL (Expression 2)
- the second imaging region A2 is positioned substantially at the center of the first imaging region A1.
- the first imaging area A1 can be viewed from the center O2 of the second imaging area A2.
- FIG. 12 is an explanatory view showing the change situation of the distances XL and XR according to the optical axis inclination angle ⁇ of the first imaging unit 13 in a graph.
- FIG. 12A shows a case where the subject distance L is 100 mm.
- FIG. 12B shows the case where the subject distance L is 34 mm.
- the angle of view ⁇ 1 of the first imaging unit 13 is 140 degrees, and the base length BL is 5.5 mm.
- the distances XL and XR from the center O2 of the second imaging area A2 to the end of the first imaging area A1 change according to the optical axis inclination angle ⁇ of the first imaging unit 13.
- the distances XL and XR become equal, and the second imaging region A2 is the first Located at the center of the imaging area A1.
- the distances XL and XR become equal, and the second imaging region A2 is the first Located at the center of the imaging area A1.
- the optical axis inclination angle ⁇ when the subject distance L is different, the optical axis inclination angle ⁇ when the second imaging area A2 is positioned at the center of the first imaging area A1 is different, and the second imaging area A2 is subjected to the first imaging.
- the optical axis inclination angle ⁇ may be set so that the difference (
- the magnitudes of the distances XL and XR determined by the above-described method are compared, and as shown in FIG. 12A, if XL ⁇ XR, the optical axis inclination angle ⁇ may be reduced, As shown in FIG. 12B, if XL> XR, the optical axis inclination angle ⁇ may be increased.
- the optical axis tilt angle ⁇ is adjusted so that the second imaging region A2 is located substantially at the center of the first imaging region A1, the positional relationship between the imaging regions A1 and A2 is the same. It is not limited to. That is, the two imaging areas A1 and A2 may be kept in a state of positively giving a fixed offset. In this case, for example, the optical axis tilt angle ⁇ is adjusted so that the ratio (for example, XL / XR) of the distances XL and XR with respect to the position of the first imaging area A1 to the center O2 of the second imaging area A2 is held constant. do it.
- the ratio for example, XL / XR
- FIG. 13 is a perspective view showing the main part of the endoscope according to the third embodiment.
- the points not particularly mentioned below are the same as in the first embodiment.
- the distal end 92 provided with the first imaging unit 13 and the second imaging unit 14 is provided in the insertion unit 91 via the bending portion 93, and the distal end 92 is tilted (swinging (swinging) It is configured to exercise.
- the tip 92 By tilting the tip 92 while inserting the insertion part 91 into the observation target, the two imaging parts 13 and 14 integrally change the direction, and observe the operation site such as a tumor part from various directions. be able to.
- an angle adjustment mechanism for changing the optical axis tilt angle of the first imaging unit 13 is provided, and the distal end is inserted with the insertion portion 91 inserted into the observation target.
- the optical axis tilt angle of the first imaging unit 13 may be changed while the unit 92 is tilted. In this case, it is necessary to configure so that each operation of the bending portion 93 and the angle adjustment mechanism can be smoothly performed within the tilting range of the tip portion 92, for example, a flexible cable operated by an electric motor.
- the first imaging unit 13 may be configured to rotate.
- the first imaging unit 13 is configured to rotate about two axes, so that the optical axis inclination angle of the first imaging unit 13 can be changed in an arbitrary direction.
- the first imaging unit 13 may be configured to rotate only around one axis.
- the imaging area of the first imaging unit 13 may be moved in the arrangement direction of the two imaging units 13 and 14, and in the example illustrated in FIG. It may be configured to rotate around an axis in a direction (Y direction) substantially orthogonal to both the arrangement direction of 14 (X direction) and the optical axis direction (Z direction) of the second imaging unit 14.
- the first imaging unit 13 provided so as to be able to change the optical axis tilt angle has the wide-angle optical system 34 and the high resolution image sensor 33 and can not change the optical axis tilt angle.
- the second imaging unit 14 provided in the configuration includes the narrow-angle optical system 38 and the low-resolution imaging device 37, but the present invention is not limited to such a combination.
- an imaging unit provided so as to be able to change the optical axis inclination angle has a narrow angle optical system and a low resolution imaging element
- an imaging unit provided so as not to change the optical axis inclination angle has a wide angle
- the optical system and the high resolution imaging device may be provided.
- the display area of the three-dimensional image can be moved within the fixed two-dimensional image display area.
- the imaging unit having a high resolution imaging device becomes relatively large and it is easy to mount a drive mechanism for driving this, it is desirable to provide an angle adjustment mechanism only in the imaging unit having a high resolution imaging device.
- the angle adjustment mechanism can be easily provided without increasing the outer diameter of the distal end portion of the insertion portion.
- the angle adjustment mechanism 16 is driven by the electric motors 18 and 19, but the angle adjustment mechanism 16 may be driven by a manual operation force.
- the tilt angle of the optical axis of the first imaging unit 13 can be changed while in use, that is, in a state where the insertion unit 11 is inserted into the inside of the observation target.
- the portion 11 may be configured to be able to adjust the angle only in the non-use state where it is not inserted into the inside of the observation target, whereby the structure can be simplified.
- the shape, size, and the like of the lesion area, which is the subject are grasped in advance using X-rays and ultrasonic waves, and based on the distance to the subject assumed from the operation method Perform adjustment work.
- a control unit provided in the main body 17 of the endoscope 1 with image processing for generating and outputting a two-dimensional image and a three-dimensional image from captured images acquired by the two imaging units 13 and 14
- the image processing may be performed by an image processing apparatus separate from the endoscope 1.
- the optical axis of the first imaging unit 13 can be maintained so that the positional relationship between the imaging regions of the two imaging units 13 and 14 can be held constant.
- the configuration is such that the inclination angle is changed, the optical axis of the imaging unit is only used to achieve the purpose of avoiding large differences in the actual resolutions of the two images viewed by the left and right eyes when displaying the images in three dimensions.
- the configuration for changing the inclination angle is not necessarily required, and the optical axis inclination angles of the two imaging units may not be changed.
- the positional relationship between the imaging areas of the two imaging units which is necessary for angle adjustment for holding the positional relationship of the imaging areas of the two imaging units constant regardless of the subject distance, is two.
- acquired images are obtained by image processing for comparing captured images
- a sensor may be used to recognize a change in subject distance instead of or in addition to such image processing.
- the change condition of the subject distance can be estimated, and the change direction and the change width of the optical axis tilt angle can be obtained and used for angle adjustment. it can.
- the endoscope according to the present invention and the endoscope system including the same can maintain the positional relationship between the imaging regions of the two imaging units constant even when the distance to the subject is different, and the image can be obtained.
- An endoscope for imaging the inside of an object to be observed which can not be observed directly from the outside, and an endoscope which has an effect that it is possible to avoid that the real resolutions of two images viewed by the left and right eyes differ greatly It is useful as a provided endoscope system or the like.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【課題】被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができるようにする。 【解決手段】観察対象の内部に挿入される挿入部11と、この挿入部の先端部12に並べて設けられた第1の撮像部13および第2の撮像部14と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する制御部21と、を備え、第1の撮像部は、その第1の撮像部および第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられたものとする。特に、第1の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部28と、この角度操作部の操作に応じて第1の撮像部の光軸の傾斜角度を変更する角度調整機構16と、を備えたものとする。
Description
本発明は、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、通常の2次元表示とともに3次元表示にも対応した内視鏡およびこれを備えた内視鏡システムに関するものである。
医療における手術や検査の際に人の体内の臓器などを観察するために内視鏡が広く用いられている。このような内視鏡には、体内に挿入される挿入部の先端部に撮像部を設け、この撮像部で撮像された画像をモニターに表示させるようにしたものがあるが、撮像部を2つ設けて、3次元モニターを用いて画像を3次元表示するようにすると、臓器などの被写体を立体的に観察することができるため、手術や検査の効率を向上させることができる。
このような3次元表示を可能にした内視鏡として、広角な撮像部と狭角な撮像部とを備え、広角な撮像部により取得した画像を用いて2次元表示を行うとともに、広角な撮像部および狭角な撮像部により取得した画像を用いて3次元表示を行うようにした技術が知られている(特許文献1参照)。この技術では、3次元表示された画像で、手術部位を詳細にかつ立体的に観察することができ、2次元表示された画像で、手術部位の周辺の広い範囲を観察することができる。
さて、前記従来の技術では、広角な撮像部による撮像画像から、狭角な撮像部の撮像領域に対応した領域を切り出し、これにより得られた切り出し画像と、狭角な撮像部による撮像画像とから、3次元画像、すなわち3次元表示する際に左右の目で見る2つの画像を生成するようにしているが、内視鏡を動かすことで撮像部から被写体までの距離が変化すると、2つの撮像部の撮像領域の位置関係が変化するため、3次元画像の生成に用いる2つの画像に写った被写体の領域がずれて、適切な3次元画像を生成することができないという問題があった。
また、前記従来の技術では、広角な撮像部による撮像画像を、画素を補間する処理により拡大した上で、狭角な撮像部の撮像領域に対応した領域を切り出すことで、狭角な撮像部による撮像画像と同じ大きさとなるようにしている。このため、3次元表示する際に左右の目で見る2つの画像の実解像度が大きく異なる状態となり、このような画像を長時間見続けると疲労が進むため、長時間にわたる手術に用いることは望ましくないという問題があった。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができ、また、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が大きく異なることを避けることができるように構成された内視鏡およびこれを備えた内視鏡システムを提供することにある。
本発明の内視鏡は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、前記第1の撮像部は、その第1の撮像部および前記第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられた構成とする。
また、本発明の内視鏡システムは、前記の内視鏡と、画像を2次元表示する第1の表示装置と、画像を3次元表示する第2の表示装置と、前記内視鏡から出力される2次元画像データおよび3次元画像データに基づいて前記第1の表示装置および前記第2の表示装置に画像を同時に表示させる表示制御装置と、を備えた構成とする。
本発明によれば、第1の撮像部の光軸の傾斜角度を変化させることで、2つの撮像部の配列方向に第1の撮像部の撮像領域を移動させることができ、これにより、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができる。このため、被写体との距離に関係なく、常に適切な3次元画像を得ることができる。
前記課題を解決するためになされた第1の発明は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、前記第1の撮像部は、その第1の撮像部および前記第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられた構成とする。
これによると、第1の撮像部の光軸の傾斜角度を変化させることで、2つの撮像部の配列方向に第1の撮像部の撮像領域を移動させることができ、これにより、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができる。このため、被写体との距離に関係なく、常に適切な3次元画像を得ることができる。
また、第2の発明は、前記第1の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部と、この角度操作部の操作に応じて前記第1の撮像部の光軸の傾斜角度を変更する角度調整機構と、をさらに備えた構成とする。
これによると、使用中、すなわち挿入部を観察対象の内部に挿入した状態で、被写体までの距離が変化するのに応じて、第1の撮像部の光軸の傾斜角度を変更することができるため、利便性が向上する。
また、第3の発明は、前記第1の撮像部は、広角な光学系を有し、前記第2の撮像部は、狭角な光学系を有し、前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成する構成とする。
これによると、広角な光学系を有する第1の撮像部が被写体の広い領域を撮像し、この第1の撮像部による撮像画像が2次元表示に供される。この2次元表示された画像では、被写体の広い範囲を観察することができ、特に、これを手術の際に補助者や研修者が見ることで、手術部位の周辺を広く観察することができるため、手術の補助および研修の効果を高めることができる。一方、狭角な光学系を有する第2の撮像部が被写体の狭い領域を撮像し、この第2の撮像部による撮像画像と切り出し画像とが3次元表示に供される。この3次元表示された画像では、被写体を詳細にかつ立体的に観察することができる。特に、これを手術の際に術者が見ることで、手術部位を立体的に認識して、手術の能率を高めることができる。
特に、第1の撮像部が被写体の広い領域を撮像するとともに、この第1の撮像部の光軸の傾斜角度を変更することで撮像領域を移動させることができるため、被写体をより一層広く観察することができる。特に、第1の撮像部の撮像領域に第2の撮像部の撮像領域が含まれる範囲内で、第1の撮像部の撮像領域を移動させれば、3次元画像に変化は現れないため、手術の際には、術者が見る3次元画像の表示領域を動かすことなく、補助者や研修者の必要に応じて2次元画像の表示領域を自由に動かすことができる。
また、第4の発明は、前記第1の撮像部は、高解像度な撮像素子を有し、前記第2の撮像部は、低解像度な撮像素子を有する構成とする。
これによると、広角な光学系を有する第1の撮像部が高解像度な撮像素子を有するため、被写体の広い領域を高精細に観察することができる。また、第2の撮像部が低解像度な撮像素子を有することから小型となるため、挿入部の先端部の外径を小さくすることができる。また、第1の撮像部が高解像度な撮像素子を有することから大型となるため、挿入部の先端部の外径を大きくすることなく、角度調整機構を容易に設けることができる。
また、第5の発明は、前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定された構成とする。
これによると、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が略等しくなる。このため、3次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。
また、第6の発明は、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域とが所定の位置関係となるように前記第1の撮像部の光軸の傾斜角度を制御する制御部をさらに備えた構成とする。
これによると、第1の撮像部の撮像領域と第2の撮像部の撮像領域との位置合わせの作業が不要となり、使い勝手が向上する。
また、第7の発明は、前記制御部は、前記第1の撮像画像と前記第2の撮像画像とを比較して、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第1の撮像部の光軸の傾斜角度を制御する構成とする。
これによると、センサなどを特別に設けることなく、2つの撮像部の撮像領域の位置関係を検出することができるため、構成を複雑にすることなく、第1の撮像部の光軸の傾斜角度を適切に制御することができる。
また、第8の発明は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、前記第1の撮像部は、広角な光学系と、高解像度な撮像素子と、を有し、前記第2の撮像部は、狭角な光学系と、低解像度な撮像素子と、を有し、前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成し、前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定された構成とする。
これによると、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が略等しくなる。このため、3次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。
また、第9の発明は、前記の内視鏡と、画像を2次元表示する第1の表示装置と、画像を3次元表示する第2の表示装置と、前記内視鏡から出力される2次元画像データおよび3次元画像データに基づいて前記第1の表示装置および前記第2の表示装置に画像を同時に表示させる表示制御装置と、を備えた構成とする。
これによると、手術の際に、画像が3次元表示された第2の表示装置の画面を術者が見ることで、手術部位を立体的に認識することができるため、手術の能率を高めることができ、これと同時に、画像が2次元表示された第1の表示装置の画面を補助者や研修者が見ることで、手術の補助および研修の効果を高めることができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る内視鏡システムを示す全体構成図である。この内視鏡システムは、人の身体(観察対象)の内部の臓器などの被写体を撮像するために身体の内部に挿入される内視鏡1と、画像を2次元表示する2次元モニター(第1の表示装置)2と、画像を3次元表示する3次元モニター(第2の表示装置)3と、2次元モニター2および3次元モニター3の画像表示を制御するコントローラ(表示制御装置)4と、を有している。
図1は、第1実施形態に係る内視鏡システムを示す全体構成図である。この内視鏡システムは、人の身体(観察対象)の内部の臓器などの被写体を撮像するために身体の内部に挿入される内視鏡1と、画像を2次元表示する2次元モニター(第1の表示装置)2と、画像を3次元表示する3次元モニター(第2の表示装置)3と、2次元モニター2および3次元モニター3の画像表示を制御するコントローラ(表示制御装置)4と、を有している。
内視鏡1は、いわゆる硬性内視鏡であり、身体の内部に挿入される挿入部11が屈曲不能となっている。この挿入部11の先端部12には、被写体を撮像する第1の撮像部13と第2の撮像部14とが並べて設けられている。第1の撮像部13は、光軸の傾斜角度を変更可能に設けられており、挿入部11には、第1の撮像部13の光軸の傾斜角度を変更する角度調整機構16が設けられている。また、挿入部11の先端部12には、被写体を照明する照明部15が設けられている。
挿入部11の先端部12と相反する側には、本体部17が設けられている。この本体部17には、角度調整機構16を駆動する2つの電動モータ18,19と、照明部15に照明光を送る光源20と、撮像部13,14、電動モータ18,19および光源20を制御する制御部21と、を有している。光源20は、LEDなどからなり、照明部15と光ファイバーケーブル22で接続されており、光源20が発する光が光ファイバーケーブル22を通って照明部15から出射される。
制御部21は、電動モータ18,19を制御して第1の撮像部13の光軸の傾斜角度を変更する角度制御部25と、2つの撮像部13,14を制御するともにその撮像部13,14から出力される撮像画像を処理する撮像制御部26と、光源20を制御する照明制御部27と、を有している。
制御部21には、角度操作部28が接続されている。この角度操作部28は、ユーザーが第1の撮像部13の光軸の傾斜角度を変更する操作を行うものであり、ジョイスティックやトラックボール等の位置入力装置で構成されており、この角度操作部28の操作に応じて第1の撮像部13の光軸の傾斜角度が変更される。
コントローラ4は、内視鏡1から出力される2次元画像データおよび3次元画像データに基づいて2次元モニター2および3次元モニター3に表示制御データを出力するものであり、2次元モニター2および3次元モニター3にそれぞれ2次元画像および3次元画像が同時に表示され、被写体を2次元的および3次元的に観察することができるようになっている。
2次元モニター2および3次元モニター3は、例えば液晶ディスプレイで構成され、2次元モニター2は、手術の際に補助者や研修者などの多数の人が見るために大画面となっており、3次元モニター3は、手術の際に術者などの少数の人が見るために小画面となっている。特に3次元モニター3は術者の使用を考慮するとHMD(Head Mounted Display)を採用してもよい。
図2は、挿入部11の先端部12を示す断面図である。なお、この図2などに示すX方向、Y方向およびZ方向は互いに直交する3方向である。
挿入部11の先端部12では、円筒状のカバー31の内部に第1の撮像部13および第2の撮像部14が収容されている。第1の撮像部13は、撮像素子33と、複数のレンズからなる光学系34と、これらを保持するホルダ35と、を有している。この第1の撮像部13のホルダ35は、カバー31に回動可能に保持されている。第1の撮像部13の前面側にはカバーガラス36が設けられている。第2の撮像部14は、撮像素子37と、複数のレンズからなる光学系38と、これらを保持するホルダ39と、を有している。第2の撮像部14の前面側にはカバーガラス40が設けられている。
第1の撮像部13の光学系34は広角に構成され、第2の撮像部14の光学系38は狭角に構成されている。例えば第1の撮像部13では画角(Field of View)が150度、第2の撮像部14では画角が50度となっている。
第1の撮像部13の撮像素子33は高解像度(高画素数)に構成され、第2の撮像部14の撮像素子37は低解像度(低画素数)に構成されている。例えば第1の撮像部13では解像度(画素数)が1920×1080(FullHD)、第2の撮像部14では解像度(画素数)が320×240(QVGA)となっている。各撮像素子33,37は、例えばCMOS(Complementary Metal Oxide Semiconductor)で構成されている。
このように第2の撮像部14の撮像素子37を低解像度に構成することで、第2の撮像部14が小型となるため、挿入部11の先端部12の外径を小さくすることができる。また、第1の撮像部13の撮像素子33を高解像度に構成することで、第1の撮像部13が大型となるため、挿入部11の先端部12の外径を大きくすることなく、角度調整機構16を容易に設けることができる。
図3は、挿入部11の先端部12を示す正面図である。第1の撮像部13および第2の撮像部14はX方向に並べて設けられている。照明部15は第2の撮像部14の両側に2つ設けられている。
図4は、第1の撮像部13の光軸の傾斜角度を変更する角度調整機構16を示す模式的な側面図であり、図4(A)にY方向から見た状態を、図4(B)にX方向から見た状態を、それぞれ示す。なお、ここでは、挿入部11の先端部12側を前側、本体部17側を後側として説明する(図1参照)。
角度調整機構16は、第1の撮像部13のホルダ35に前端が連結された4本の中継ロッド41a~41dと、この4本の中継ロッド41a~41dの後端が連結された中継部材42と、この中継部材42をその中心部を中心にして傾動可能に支持する支持シャフト43と、この支持シャフト43を支持するガイド部材44と、中継部材42に前端が連結された2本の駆動ロッド45a,45bと、中継部材42に前端が連結されるとともにガイド部材44に後端が連結された2つのばね46a,46bと、を有している。
4本の中継ロッド41a~41dは、挿入部11の長手方向(Z方向)に延在する態様で互いに平行に配置されるとともに、第1の撮像部13の光軸に一致する中心線を中心とした周方向に等間隔(90度)をおいて配置されており、2本の中継ロッド41a,41bがX方向に並び、2本の中継ロッド41c,41dがY方向に並ぶ。
支持シャフト43は球面部47を有し、中継部材42の中心部には、球面部47と相互補完的な球面をなす受け部48が形成されており、中継部材42が球面部47の中心を中心にして回動する。この中継部材42の回動運動は中継ロッド41a~41dを介して第1の撮像部13に伝達され、中継部材42の回動に応じて第1の撮像部13が回動する。
2本の駆動ロッド45a,45bは、挿入部11の長手方向(Z方向)に延在する態様で互いに平行に配置されるとともに、2本の中継ロッド41a,41cの延長線上に概ね位置するように配置されている。また、この2本の駆動ロッド45a,45bは、ガイド部材44の貫通孔49に挿通されており、各駆動ロッド45a,45bの後端はそれぞれ電動モータ18,19に連結されており(図1参照)、各駆動ロッド45a,45bが独立して電動モータ18,19により長手方向に進退するように駆動される。
2つのばね46a,46bは、2本の駆動ロッド45a,45bの各々と対をなし、第1のばね46aと第1の駆動ロッド45aとがX方向に並び、第2のばね46bと第2の駆動ロッド45bとがY方向に並ぶ。この2つのばね46a,46bは、引張状態で中継部材42およびガイド部材44に取り付けられており、各ばね46a,46bが連結された中継部材42の部分を後方に付勢する。
このばね46a,46bの付勢力は、各駆動ロッド45a,45bを前方に引くように作用し、各駆動ロッド45a,45bの移動が電動モータ18,19により拘束されることで、中継部材42が支持シャフト43の球面部47に当接した状態に保持される。電動モータ18,19により各ばね46a,46bの付勢力に抗して各駆動ロッド45a,45bを後方に移動させると中継部材42が回動し、また、各駆動ロッド45a,45bを前方に移動させると中継部材42が逆向きに回動する。
以上のように構成された角度調整機構16では、図4(A)に示すように、電動モータ18,19の一方により第1の駆動ロッド45aを前後に移動させると、中継部材42の回動に応じて第1の撮像部13がY方向の軸周りに回動し、図4(B)に示すように、電動モータ18,19の他方により第2の駆動ロッド45bを前後に移動させると、第1の撮像部13がX方向の軸周りに回動する。このように第1の撮像部13はX方向およびY方向の仮想的な2軸周りに回動して、第1の撮像部13の光軸の傾斜角度を任意の方向に変化させることができる。
図5は、角度調整機構16を駆動する制御系の概略構成を示すブロック図である。制御部21の角度制御部25は、2つの電動モータ18,19をそれぞれ制御する2つのモータコントローラ51,52を有し、各モータコントローラ51,52は制御信号をモータドライバ53,54に出力して各電動モータ18,19を駆動する。2つの電動モータ18,19はそれぞれ、図4に示した2本の駆動ロッド45a,45bに連結されており、第1の撮像部13のX方向およびY方向の2軸周りの回動位置が個別に制御される。
また、図5に示したように、角度制御部25には、2つの原点センサ55,56の検出信号と、角度操作部28の操作信号が入力される。原点センサ55,56は、各電動モータ18,19の出力軸の原点位置をそれぞれ検出するものである。角度制御部25のモータコントローラ51,52では、原点センサ55,56の検出信号と角度操作部28の操作信号に基づいて、2つの電動モータ18,19の回転方向および回転量が制御される。
なお、2つの原点センサ55,56で検出される各電動モータ18,19の出力軸の原点位置は、図2に示したように、挿入部11の長手方向(Z方向)に平行となる第2の撮像部14の光軸に対して、第1の撮像部13の光軸が平行となる初期位置に対応し、ステッピングモータで構成される電動モータ18,19の駆動パルス数に基づいて、初期位置を基準にした第1の撮像部13の回動位置、すなわち光軸の傾斜角度を制御することができる。
さて、上述の例では、本体部17の角度制御部25に設けられたX(Y)原点センサ55(56)で撮像部13の回動原点を検出し、その後に電動モータ18,19に印加されたパルス数をもって相対的に回転角度を検出するが、この構成はいわゆるオープンループであり、一般に駆動源と制御対象の間の機構要素が複雑であるほど実質的な検出精度が低下する。このように検出精度が問題となる場合は、例えば図4(A)に示すように回動可能に構成された第1の撮像部13の底部に磁石91と、これに対向して例えばホール素子で構成される磁気センサ92を設け、当該磁気センサ92の出力に基づいて回転角度を検出するとよい。この構成によれば、X(Y)原点センサ55(56)で原点を検出した際の磁気センサ92の出力によって原点の初期化を行い、この後の磁気センサ92の相対的な出力変化に基づいて回転角度を求めることができる。また回転方向は、電動モータ18,19に出力する制御パルスによって一意に定まる。この構成によって制御対象のごく近傍に配置された検出系に基づいてフィードバックループが形成されるため、回転角度を極めて高精度に検出でき、更に検出した回転角度に基づいて正確な位置決めをすることができる。
図6は、撮像制御部26の概略構成を示すブロック図である。撮像制御部26は、画像信号処理部61と、撮像位置検出部62と、画像切出部63と、2次元画像処理部64と、3次元画像処理部65と、を有している。
画像信号処理部61は、いわゆるISP(Imaging Signal Processor)で構成され、ノイズリダクション、色補正、γ補正などの前処理を実行する2つの前処理部66,67を有する。この2つの前処理部66,67では、2つの撮像部13,14から出力される画像信号が並行して処理されて、第1の撮像画像および第2の撮像画像が出力される。また、この画像信号処理部61は、2つの撮像部13,14を同期して動作させる機能も有する。
撮像位置検出部62では、第1の撮像画像と第2の撮像画像とを比較して、第1の撮像部13の撮像領域と第2の撮像部14の撮像領域との位置関係を検出する処理が行われる。ここでは、例えば第1の撮像画像および第2の撮像画像でそれぞれ特徴点を抽出して、その特徴点の対応関係から、第1の撮像画像および第2の撮像画像にそれぞれに写った被写体の像が整合する位置を求める。
画像切出部63では、撮像位置検出部62で検出された2つの撮像領域の位置関係に基づいて、狭角な光学系38でかつ低画素数の撮像素子37を備える第2の撮像部14の撮像領域に対応する領域を、広角な光学系34でかつ高画素数の撮像素子33を備える第1の撮像画像から切り出す処理が行われる。これにより、画像切出部63で得られた切り出し画像と第2の撮像画像とは、被写体の同一の領域が写ったものとなる。
2次元画像処理部64は、第1の撮像画像を処理して2次元画像を出力するものであり、2次元画像生成部68と後処理部69とを有している。3次元画像処理部65は、第2の撮像画像と画像切出部63から出力される切り出し画像とを処理して3次元画像を出力するものであり、2つのキャリブレーション部71,72と3次元画像生成部73と後処理部74とを有している。2次元画像処理部64および3次元画像処理部65では処理が並行して行われ、また、コントローラ4でも2つの画処理部75,76で処理が並行して行われ、2次元画像および3次元画像が2次元モニター2および3次元モニター3に同時に表示される。
3次元画像生成部65では、右目用画像および左目用画像からなる3次元画像を生成する処理が行われ、切り出し画像および第2の撮像画像の一方が右目用画像となり、他方が左目用画像となる。
さて、一般に立体視の技術においてキャリブレーションというときは、基準画像を特定の撮像条件(被写体までの距離や明るさ等を一定にした条件)で撮像した結果に基づき、画像回転や倍率誤差を補正するパラメータを算出しておき、このパラメータに基づく固定的な処理を指すことが多いが、キャリブレーション部71,72では、3次元画像を左右の目で見たときに違和感を生じないように2つの画像を調整する処理が行われる。即ち、キャリブレーション部71,72は、少なくとも一方の画像に対して拡大又は縮小処理を行なうことで左右2つの画像サイズ(主・副走査方向の画素数)を同一にするリサイズ処理、左右2つの画像のうち少なくとも一方に対して行なう3次元軸(X軸,Y軸,Z軸)方向へのシフト及びこれら3軸周りの回転処理、撮像部の光軸が交差する撮像系(交差法)において生じるキーストン歪の補正処理等をリアルタイムで実行する。
なお、撮像制御部26では2次元画像および3次元画像が所定のフレームレートで動画として出力されるが、静止画として出力することも可能であり、この場合、複数のフレーム画像から元の解像度より高い解像度の静止画を生成する超解像処理を行うようにしてもよい。
図7は、撮像制御部26における画像の処理状況を示す説明図である。本実施形態では、画像切出部63で第1の撮像画像から切り出す画像と第2の撮像画像の画素数は完全同一(例として320×240画素)とされている。そして画像サイズを同一としたときに切り出し画像と第2の撮像画像とで、倍率(即ち、画面の主・副走査方向サイズに対して被写体が占める長さ)が略同一となるように、2つの撮像部13,14の撮像素子33,37の光軸方向における位置関係および光学系34,38の倍率等が設定されている(図2参照)。
しかしながら、実際の倍率調整等には不完全性が伴う。従って、上述のように二つの画像のサイズを同一とすると、画像切出部63で第2の撮像画像に対応する領域を切出した場合に画像の倍率が異なることがある。このときキャリブレーション部71,72によって、少なくとも一方の画像がリサイズされるが、いずれの画像も同一サイズ(320×240画素)であるから、それぞれの画像に含まれる同一の特徴点の距離に基づいて拡大率を算出し、倍率が小さい画像を大きい方の画像に合わせて拡大処理し、更に拡大処理で発生した余分な周辺領域を除去することで、画像サイズを一定(320×240画素)に維持すればよい。
なお、光学系の調整不備等に起因して二つの画像の倍率が異なることで、対応する領域を切出そうとすると、結果的に画像サイズが異なることがある。この場合は、画像切出部63において、第1の撮像画像から第2の撮像画像に対応する領域を切出す際に、切出す画素数と第2の撮像画像の画素数とが異なるようにしてもよい。このときキャリブレーション部71,72によって、少なくとも一方の画像がリサイズされるが、切出す画像が320×240画素よりも大きい場合は、二つの画像の同一特徴点の位置に基づき縮小率を算出した上で切出した画像を縮小処理する。これによって画像サイズを一定に維持するとともに、解像度の劣化を防止できる。一方、切出した画像が320×240画素よりも小さい場合は、同様に、切出した画像を拡大処理する。これによって画像サイズを一定に維持することができる。
第1の撮像画像および第2の撮像画像の画素数は、2つの撮像部13,14の各撮像素子33,37の解像度に依存し、切り出し画像の画素数は、第1の撮像部13の光学系34の画角や倍率、撮像素子33の画素の大きさに依存し、これらの条件を適切に設定することで、理論上は切り出し画像と第2の撮像画像とが略同一の画素数となるようにすることができる。
ここで、撮像素子33,37の画素の大きさや光学系34,38の倍率を同一として簡略化した具体例を説明する。前記のように、第1の撮像部13では、画素数が1920×1080となる撮像素子33を用い、第2の撮像部14では、画素数が320×240となる撮像素子37を用いた場合、同一の被写体に対して第1の撮像部13で撮像領域が192mm×108mmとなるときに、第2の撮像部14で撮像領域が32mm×24mmとなるように、2つの撮像部13,14の光学系34,38の画角を設定する。具体的には、第1の撮像部13と第2の撮像部14の光軸方向の位置関係や、光学系と撮像素子33,37の位置関係を調整する。これにより、画像サイズを撮像領域と同一とすると、第1の撮像画像および第2の撮像画像では、1つの画素の大きさがともに100μm×100μmとなり、切り出し画像と第2の撮像画像とで画素の実サイズを同一とすることができる。このとき、第1の撮像部13の画角は140度、第1の撮像部13の画角は50度となる。
このように切り出し画像と第2の撮像画像とが略同一の画素数となるようにすると、3次元モニター3で画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が略等しくなる。このため、3次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。また、切出した画像と第2の撮像画像の画素数を略同一とすることで、画像処理に用いるハードリソースを低減することができる。
なお、図6に示したように、画像切出部63の後段にキャリブレーション部71,72があり、ここで2つの画像にそれぞれ写った被写体の大きさが一致するように補正する処理が行われるため、切り出し画像と第2の撮像画像の画素数を厳密に一致させる必要はないが、できるだけ近似した画素数となるようにするとよい。また、これと同じ事情で、撮像位置検出部62では、第1の撮像画像と第2の撮像画像との位置関係を厳密に求める必要はなく、概略位置を求めることで足りる。
図8は、2つの撮像部13,14の各撮像領域A1,A2の状況を模式的に示す側面図および平面図である。前記のように、第1の撮像部13は広角な光学系34を有し、第2の撮像部14は狭角な光学系38を有し、第1の撮像部13の画角α1が第2の撮像部14の画角α2より大きくなっており、第1の撮像部13の撮像領域(以下、適宜に「第1の撮像領域」と呼称する)A1は、第2の撮像部14の撮像領域(以下、適宜に「第2の撮像領域」と呼称する)A2より大きくなる。
被写体Sの広い領域を撮像する第1の撮像部13による撮像画像は2次元表示に供され、この2次元表示された画像で、被写体Sの広い範囲を観察することができる。また、第1の撮像部13は高解像度な撮像素子33を有し、被写体Sの広い領域を高精細に観察することができる。このため、手術の際に補助者や研修者が見る場合には、手術部位の周辺を広くかつ詳細に観察することができるので、手術の補助および研修の効果を高めることができる。
一方、被写体Sの狭い領域を撮像する第2の撮像部14による撮像画像は3次元表示に供され、この3次元表示された画像で、被写体Sを詳細にかつ立体的に観察することができる。このため、手術の際に術者が見る場合には、手術部位を立体的に認識することができるので、リスクを低減しつつ手術の能率を高めることができる。
また、第1の撮像部13をX方向およびY方向の2軸周りに回動させることができるため、光軸の傾斜角度を任意の方向に変化させて、第1の撮像領域A1を任意の方向に移動させることができる。すなわち、第1の撮像部13をX方向の軸周りに回動させると、第1の撮像領域A1がY方向に移動し、第1の撮像部13をY方向の軸周りに回動させると、第1の撮像領域A1がX方向に移動し、第1の撮像部13をX方向およびY方向の2軸周りに回動させると、第1の撮像領域A1が斜め方向に移動する。
このため、ユーザーは2次元モニター2の画面を見ながら角度操作部28を操作して、第1の撮像部13の光軸の傾斜角度を変化させると、第1の撮像領域A1を所要の方向に移動させることができ、これにより被写体Sをより一層広く観察することができ、特に、第1の撮像領域A1に第2の撮像領域A2が含まれる範囲内であれば、第1の撮像領域A1を移動させても、第2の撮像領域A2は移動しないため3次元画像に変化は現れない。このため、手術の際には、術者が見る3次元画像の表示領域を動かすことなく、補助者や研修者の必要に応じて2次元画像の表示領域を自由に動かすことができる。
なお、第1の撮像領域A1の移動に伴い、画像切出部63は第1の撮像画像の異なる位置から画像を切出すことになる。この場合も、二つの画像の特徴点マッチングに基づいて画像を切出す範囲が決定される。
なお、術者が見る3次元画像の表示領域を動かす、すなわち第2の撮像領域A2を移動させるには、挿入部11の先端部12全体を動かす必要がある。
図9は、被写体距離が変化する場合の撮像領域A1,A2の状況を模式的に示す側面図および平面図である。被写体距離(撮像部13,14から被写体Sまでの距離)Lが変化すると、2つの撮像部13,14の撮像領域A1,A2の大きさが変わると同時に、撮像領域A1,A2の位置関係が変化し、特に第1の撮像領域A1が、2つの撮像部13,14の配列方向(X方向、図3参照)にずれる。
図9に示す例では、被写体SがIで示す位置(被写体距離L1)にあるとき、第2の撮像領域A2に対して第1の撮像領域A1が図中左寄りの位置となり、被写体SがIIで示す位置(被写体距離L2)にあるとき、第2の撮像領域A2に対して第1の撮像領域A1が図中右寄りの位置となる。
ここで、第1の撮像部13のX方向の軸周りの回動位置を初期位置とすると、2つの撮像部13,14の撮像領域A1,A2の中心位置はY方向に関して一致する。この状態で、第1の撮像部13をY方向の軸周りに回動させて光軸傾斜角度θを変化させると、第1の撮像領域A1をX方向に移動させることができ、これにより、第2の撮像領域A2が第1の撮像領域A1内の所定位置(例えば中心位置)とすることができる。
図9に示す例で、第2の撮像領域A2を第1の撮像領域A1内の中心位置とするには、被写体SがIで示す位置にある場合には、光軸傾斜角度θを大きくすればよく、被写体SがIIで示す位置にある場合には、光軸傾斜角度θを小さくすればよい。
このように、第1の撮像部13の光軸傾斜角度θを調整することで、2つの撮像部13,14の配列方向(X方向)に第1の撮像領域A1を移動させることができる。このため、被写体距離Lが変化した場合でも、2つの撮像部13,14の撮像領域A1,A2の位置関係を一定に保持することができ、被写体距離Lに関係なく、常に適切な3次元画像を得ることができる。
以降、図9を用いてステレオ画像の生成について説明する。説明を簡単にするため、被写体S’が他の被写体Sの面(水平面)からθ/2だけ傾斜している状態を仮定する。この前提では、第1の撮像部13及び第2の撮像部14の光軸は被写体S’の面の法線からそれぞれθ/2だけ傾斜している。被写体S’に対して二つの撮像部の光軸はそれぞれ等しい角度だけ傾斜しているので、第1の撮像部13の光軸と第2の撮像部14の光軸が交差する被写体S’の面上では、第2の撮像領域A2は第1の撮像領域A1内の中心位置に存在する。しかしながら、この面上において光軸が交差する点は、いずれの撮像素子においても中心に投影されているから、同一の特徴点を異なる撮像素子で観測したときの画素位置の差分である視差はゼロということになる。
視差がゼロであるとステレオ視にはならないため、3次元画像処理部73(図6参照)では、2つの画像をX軸方向に所定画素数分シフトする処理を行なう。
さて、既に説明したように、例えば第2の撮像領域A2が第1の撮像領域A1内の中心に位置するように第1の撮像部13の回転角度が調整されるが、この回転角度の制御は角度調整部25が電動モータ18を駆動することで行われ(図1参照)、その回転角度は例えば図4(A)で説明した磁気センサ91によって計測される。
回転角度の計測結果に基づき、3次元画像生成部73(図6参照)は、特定の基線長(例えば人の瞳孔間隔(およそ65mmとされる))を隔てて撮像された場合に生じる視差の分だけ、これら2つの画像を相対的にX軸方向にシフトさせる。具体的には3次元画像生成部73は、回転角度の計測値に基づきLUT(Luck Up Table)を参照してシフト量を決定する。
なお、2つの撮像部13,14の撮像領域A1,A2が一部でも重なるようにすれば、重なった領域で3次元表示することができ、必ずしも第2の撮像領域A2を第1の撮像領域A1内の中心位置とする必要はないが、第2の撮像領域A2の全体を3次元表示するには、第1の撮像領域A1内に第2の撮像領域A2が完全に含まれる状態とする必要がある。
また、第1の撮像部13は撮像領域A1を広くするために広角な光学系34を採用しているため、第1の撮像画像の周辺部には歪曲収差が発生しやすくなる。この歪曲収差は、2次元表示する場合にはさほど問題とならないが、3次元表示する場合に、歪曲収差が発生した第1の撮像画像の周辺部を切り出して3次元表示に用いると、画像が見辛くなるおそれがある。このため、3次元表示する場合には、第1の撮像領域A1の周辺部に第2の撮像領域A2が位置しないようにすることが望ましい。
(第2実施形態)
図10は、第2実施形態に係る内視鏡における撮像制御部26のブロック図である。なお、以下で特に言及しない点は第1実施形態と同様である。
図10は、第2実施形態に係る内視鏡における撮像制御部26のブロック図である。なお、以下で特に言及しない点は第1実施形態と同様である。
この第2実施形態では、制御部21において、被写体距離に関係なく、第2の撮像領域が第1の撮像領域内の所定位置に保持されるように、第1の撮像部13の光軸傾斜角度を自動で調整する制御が行われ、撮像制御部26には、第2の撮像部14の撮像領域に対する第1の撮像部13の撮像領域のオフセット(位置ずれ)を修正する撮像位置補正部81が設けられている。これにより、2つの撮像部13,14の撮像領域の位置合わせの作業が不要となり、使い勝手が向上する。
撮像位置検出部62では、第1実施形態と同様に、2つの撮像部13,14によりそれぞれ取得した第1の撮像画像および第2の撮像画像とを比較して、2つの撮像部13,14の撮像領域の位置関係を検出する処理が行われる。
撮像位置補正部81では、撮像位置検出部62による検出結果に基づいて、第2の撮像部14の撮像領域に対する第1の撮像部13の撮像領域のオフセットを修正することができる光軸傾斜角度の目標値を算出する処理が行われ、この撮像位置補正部81で算出された光軸傾斜角度の目標値が角度制御部25に出力され、角度制御部25において実際の光軸傾斜角度が目標値に近づくように電動モータ18,19が駆動される。これにより第1の撮像部13の撮像領域が移動して、第2の撮像部14の撮像領域が第1の撮像部13の撮像領域内の所定位置(例えば中心位置)となる。
なお、撮像位置補正部81では、一度にオフセットを修正する光軸傾斜角度を、撮像画像の比較のみで求めることが難しい場合もあるため、段階的に光軸傾斜角度を変化させて、光軸傾斜角度の変更と撮像画像の比較とを繰り返しながら、2つの撮像領域が所要の位置関係となる光軸傾斜角度に調整されるようにしてもよい。
図11は、撮像位置検出部62での撮像領域A1,A2の位置関係を求める要領を説明する模式的な側面図および平面図である。なお、ここでは、撮像領域A1,A2について説明するが、撮像位置検出部62による実際の処理は撮像画像について行われる。
常に第2の撮像部14が被写体Sの撮像面に正対する、すなわち第2の撮像部14の光軸が被写体Sの撮像面に直交するものと仮定すると、被写体距離Lが変化した場合、第2の撮像領域A2の大きさは変化するが、撮像領域A2の中心O2の位置は変化しない。一方、第1の撮像部13の光軸が傾いていると、第1の撮像領域A1の位置は、被写体距離Lが変化するのに応じて変化する。
ここでは、第1の撮像領域A1の中心部に第2の撮像領域A2が位置するように位置あわせする際のオフセット状態を表すパラメータとして、第2の撮像領域A2の中心O2から第1の撮像領域A1の一方の端(図中左端)までの距離XL、および第2の撮像領域A2の中心O2から第1の撮像領域A1の他方の端(図中右端)までの距離XRを求める。
この距離XL,XRは、次式のように、第1の撮像部13の画角α1、第1の撮像部13の光軸傾斜角度θ、および基線長(2つの撮像部13,14の間隔)BLから次のように定義される。
XL=L×tan(α1/2-θ)+BL (式1)
XR=L×tan(α1/2+θ)-BL (式2)
ここで、XL≒XRとなるとき、第2の撮像領域A2が第1の撮像領域A1の略中心に位置する。
XL=L×tan(α1/2-θ)+BL (式1)
XR=L×tan(α1/2+θ)-BL (式2)
ここで、XL≒XRとなるとき、第2の撮像領域A2が第1の撮像領域A1の略中心に位置する。
したがって、被写体距離Lに関係なく、第2の撮像領域A2が第1の撮像領域A1の中心に位置するように保持するには、第2の撮像領域A2の中心O2から第1の撮像領域A1の両端までの距離XL,XRを求める。具体的には、まず、特徴点マッチングによって第1の撮像領域A1に含まれる第2の撮像領域の位置を特定し、次に第2の撮像領域の中心O2の座標を算出し、このX座標の値に基づいてXLとXRを求める。そして、XL≒XRとなるように第1の撮像部13の光軸傾斜角度θを調整すればよい。
図12は、第1の撮像部13の光軸傾斜角度θに応じた距離XL,XRの変化状況をグラフで示す説明図であり、図12(A)に被写体距離Lが100mmの場合を、図12(B)に被写体距離Lが34mmの場合を、それぞれ示す。なお、ここでは、第1の撮像部13の画角α1を140度、基線長BLを5.5mmとしている。
第2の撮像領域A2の中心O2から第1の撮像領域A1の端までの距離XL,XRは、第1の撮像部13の光軸傾斜角度θに応じて変化する。図12(A)に示すように、被写体距離Lが100mmの場合には、光軸の傾きθを0.35度とすると、距離XL,XRが等しくなり、第2の撮像領域A2が第1の撮像領域A1の中心に位置する。図12(B)に示すように、被写体距離Lが34mmの場合には、光軸の傾きθを1.03度とすると、距離XL,XRが等しくなり、第2の撮像領域A2が第1の撮像領域A1の中心に位置する。
このように、被写体距離Lが異なると、第2の撮像領域A2が第1の撮像領域A1の中心に位置するときの光軸傾斜角度θが異なり、第2の撮像領域A2を第1の撮像領域A1の中心に位置させるには、距離XL,XRの差(|XL-XR|)が小さくなるように光軸傾斜角度θを設定すればよい。具体的には、上述した方法で求めた距離XL,XRの大小を比較して、図12(A)に示すように、XL<XRであれば、光軸傾斜角度θを小さくすればよく、図12(B)に示すように、XL>XRであれば、光軸傾斜角度θを大きくすればよい。
なお、ここでは、第2の撮像領域A2が第1の撮像領域A1の略中心に位置するように光軸傾斜角度θを調整するようにしたが、この撮像領域A1,A2の位置関係はこれに限定されない。すなわち、2つの撮像領域A1,A2に積極的に一定のオフセットを持たせた状態に保持するようにしてもよい。この場合、例えば第2の撮像領域A2の中心O2に対する第1の撮像領域A1の位置に関する距離XL,XRの比率(例えばXL/XR)が一定に保持されるように光軸傾斜角度θを調整すればよい。
(第3実施形態)
図13は、第3実施形態に係る内視鏡の要部を示す斜視図である。なお、以下で特に言及しない点は第1実施形態と同様である。
図13は、第3実施形態に係る内視鏡の要部を示す斜視図である。なお、以下で特に言及しない点は第1実施形態と同様である。
この第3実施形態では、挿入部91に、第1の撮像部13および第2の撮像部14が設けられた先端部92が屈曲部93を介して設けられ、先端部92が傾動(首振り運動)するように構成されている。挿入部91を観察対象の内部に挿入した状態で先端部92を傾動させることで、2つの撮像部13,14が一体的に向きを変え、腫瘍部分等の手術部位を様々な方向から観察することができる。
この第3実施形態では、第1実施形態と同様に、第1の撮像部13の光軸傾斜角度を変更する角度調整機構を設け、挿入部91を観察対象の内部に挿入した状態で、先端部92を傾動させるとともに第1の撮像部13の光軸傾斜角度を変更することができるように構成してもよい。この場合、先端部92の傾動範囲内で、屈曲部93および角度調整機構の各動作が円滑に行われるように構成する必要があり、例えば電動モータで押し引き動作する可撓性を有するケーブルで第1の撮像部13を回動させる構成とするとよい。
なお、以上の実施形態では、第1の撮像部13を2軸周りに回動する構成として、第1の撮像部13の光軸傾斜角度を任意の方向に変更することができるように構成したが、第1の撮像部13を1軸周りにのみ回動する構成としてもよい。この場合、2つの撮像部13,14の配列方向に第1の撮像部13の撮像領域を移動させることができるように構成すればよく、図4に示した例では、2つの撮像部13,14の配列方向(X方向)および第2の撮像部14の光軸方向(Z方向)の双方に略直交する方向(Y方向)の軸周りに回動するように構成すればよい。これにより、被写体距離が変化した場合でも、2つの撮像部13,14の撮像領域の位置関係を一定に保持することができる。
また、本実施形態では、光軸傾斜角度を変更可能に設けられた第1の撮像部13が、広角な光学系34と高解像度な撮像素子33とを有し、光軸傾斜角度を変更不能に設けられた第2の撮像部14が、狭角な光学系38と低解像度な撮像素子37とを有する構成としたが、本発明は、このような組み合わせに限定されるものではない。例えば、光軸傾斜角度を変更可能に設けられた撮像部が、狭角な光学系と低解像度な撮像素子とを有し、光軸傾斜角度を変更不能に設けられた撮像部が、広角な光学系と高解像度な撮像素子とを有する構成としてもよい。この場合、固定された2次元画像の表示領域内で3次元画像の表示領域を動かすことができるようになる。もっとも、高解像度な撮像素子を有する撮像部は比較的大型となって、これを駆動する駆動機構を実装し易いため、高解像度な撮像素子を有する撮像部にのみ角度調整機構を設けることが望ましく、これにより、挿入部の先端部の外径を大きくすることなく、角度調整機構を容易に設けることができる。
また、本実施形態では、角度調整機構16を電動モータ18,19で駆動する構成としたが、角度調整機構16を手動操作力で駆動する構成としてもよい。また、本実施形態では、使用中、すなわち挿入部11を観察対象の内部に挿入した状態で、第1の撮像部13の光軸の傾斜角度を変更することができるように構成したが、挿入部11を観察対象の内部に挿入していない不使用状態でのみ角度調整を行うことができるように構成してもよく、これにより構造を簡略化することができる。この場合、被写体である病変部の形状、サイズ等を予めX線や超音波を用いて把握すると共に、術式から想定される被写体までの距離に基づき、使用前や定期点検などで事前に角度調整作業を行う。
また、本実施形態では、2つの撮像部13,14により取得した撮像画像から2次元画像および3次元画像を生成して出力する画像処理を、内視鏡1の本体部17に設けた制御部21で行うものとしたが、この画像処理を内視鏡1と別体の画像処理装置で行うようにしてもよい。
また、本実施形態では、被写体までの距離が変化した場合でも、2つの撮像部13,14の撮像領域の位置関係を一定に保持することができるように、第1の撮像部13の光軸傾斜角度を変更する構成としたが、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が大きく異なることを避けるという目的のみを達成する上では、撮像部の光軸傾斜角度を変更する構成は必ずしも必要ではなく、2つの撮像部の光軸傾斜角度を変更することができない構成としてもよい。
また、本実施形態では、被写体距離に関係なく、2つの撮像部の撮像領域の位置関係を一定に保持するための角度調整に必要となる2つの撮像部の撮像領域の位置関係を、2つの撮像画像を比較する画像処理により取得するようにしたが、このような画像処理の代わりに、あるいは画像処理に加えて、センサを用いて被写体距離の変化を認識するようにしてもよい。例えば、加速度センサにより内視鏡1の動きを検出すると、被写体距離の変化状況を推定することができ、これにより光軸傾斜角度の変化方向や変化幅を求めて、角度調整に利用することができる。
本発明にかかる内視鏡およびこれを備えた内視鏡システムは、被写体までの距離が異なる場合でも、2つの撮像部の撮像領域の位置関係を一定に保持することができ、また、画像を3次元表示する際に、左右の目で見る2つの画像の実解像度が大きく異なることを避けることができる効果を有し、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムなどとして有用である。
1 内視鏡
2 2次元モニター(第1の表示装置)
3 3次元モニター(第2の表示装置)
4 コントローラ(表示制御装置)
11 挿入部
12 先端部
13 第1の撮像部
14 第2の撮像部
16 角度調整機構
21 制御部
28 角度操作部
33,37 撮像素子
34,38 光学系
62 撮像位置検出部
63 画像切出部
64 2次元画像処理部
65 3次元画像処理部
81 撮像位置補正部
A1,A2 撮像領域
S 被写体
α1,α2 画角
θ 光軸傾斜角度
2 2次元モニター(第1の表示装置)
3 3次元モニター(第2の表示装置)
4 コントローラ(表示制御装置)
11 挿入部
12 先端部
13 第1の撮像部
14 第2の撮像部
16 角度調整機構
21 制御部
28 角度操作部
33,37 撮像素子
34,38 光学系
62 撮像位置検出部
63 画像切出部
64 2次元画像処理部
65 3次元画像処理部
81 撮像位置補正部
A1,A2 撮像領域
S 被写体
α1,α2 画角
θ 光軸傾斜角度
Claims (9)
- 観察対象の内部に挿入される挿入部と、
この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、
この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、
前記第1の撮像部は、その第1の撮像部および前記第2の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられたことを特徴とする内視鏡。 - 前記第1の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部と、
この角度操作部の操作に応じて前記第1の撮像部の光軸の傾斜角度を変更する角度調整機構と、をさらに備えたことを特徴とする請求項1に記載の内視鏡。 - 前記第1の撮像部は、広角な光学系を有し、
前記第2の撮像部は、狭角な光学系を有し、
前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成することを特徴とする請求項1または請求項2に記載の内視鏡。 - 前記第1の撮像部は、高解像度な撮像素子を有し、
前記第2の撮像部は、低解像度な撮像素子を有することを特徴とする請求項3に記載の内視鏡。 - 前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定されたことを特徴とする請求項4に記載の内視鏡。
- 前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域とが所定の位置関係となるように前記第1の撮像部の光軸の傾斜角度を制御する制御部をさらに備えたことを特徴とする請求項1から請求項5のいずれかに記載の内視鏡。
- 前記制御部は、前記第1の撮像画像と前記第2の撮像画像とを比較して、前記第1の撮像部の撮像領域と前記第2の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第1の撮像部の光軸の傾斜角度を制御することを特徴とする請求項6に記載の内視鏡。
- 観察対象の内部に挿入される挿入部と、
この挿入部の先端部に並べて設けられた第1の撮像部および第2の撮像部と、
この第1の撮像部および第2の撮像部による撮像画像から3次元画像を生成する画像処理部と、を備え、
前記第1の撮像部は、広角な光学系と、高解像度な撮像素子と、を有し、
前記第2の撮像部は、狭角な光学系と、低解像度な撮像素子と、を有し、
前記画像処理部は、前記第1の撮像部により取得した第1の撮像画像から2次元画像を生成するとともに、前記第2の撮像部の撮像領域に対応する領域を前記第1の撮像画像から切り出して得られた切り出し画像と、前記第2の撮像部により取得した第2の撮像画像とから3次元画像を生成し、
前記第1の撮像部および前記第2の撮像部は、前記切り出し画像と前記第2の撮像画像とが略同一の画素数となるように設定されたことを特徴とする内視鏡。 - 請求項1から請求項8のいずれかに記載の内視鏡と、
画像を2次元表示する第1の表示装置と、
画像を3次元表示する第2の表示装置と、
前記内視鏡から出力される2次元画像データおよび3次元画像データに基づいて前記第1の表示装置および前記第2の表示装置に画像を同時に表示させる表示制御装置と、を備えたことを特徴とする内視鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/364,368 US20140350338A1 (en) | 2011-12-15 | 2012-12-12 | Endoscope and endoscope system including same |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011274219A JP5919533B2 (ja) | 2011-12-15 | 2011-12-15 | 内視鏡およびこれを備えた内視鏡システム |
JP2011-274219 | 2011-12-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013088709A1 true WO2013088709A1 (ja) | 2013-06-20 |
Family
ID=48612183
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/007934 WO2013088709A1 (ja) | 2011-12-15 | 2012-12-12 | 内視鏡およびこれを備えた内視鏡システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20140350338A1 (ja) |
JP (1) | JP5919533B2 (ja) |
WO (1) | WO2013088709A1 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015132126A1 (de) * | 2014-03-07 | 2015-09-11 | Siemens Aktiengesellschaft | Endoskop mit tiefenbestimmung |
US20190342499A1 (en) * | 2018-05-04 | 2019-11-07 | United Technologies Corporation | Multi-camera system for simultaneous registration and zoomed imagery |
US10902664B2 (en) | 2018-05-04 | 2021-01-26 | Raytheon Technologies Corporation | System and method for detecting damage using two-dimensional imagery and three-dimensional model |
US10914191B2 (en) | 2018-05-04 | 2021-02-09 | Raytheon Technologies Corporation | System and method for in situ airfoil inspection |
US10928362B2 (en) | 2018-05-04 | 2021-02-23 | Raytheon Technologies Corporation | Nondestructive inspection using dual pulse-echo ultrasonics and method therefor |
US10943320B2 (en) | 2018-05-04 | 2021-03-09 | Raytheon Technologies Corporation | System and method for robotic inspection |
US11079285B2 (en) | 2018-05-04 | 2021-08-03 | Raytheon Technologies Corporation | Automated analysis of thermally-sensitive coating and method therefor |
US11268881B2 (en) | 2018-05-04 | 2022-03-08 | Raytheon Technologies Corporation | System and method for fan blade rotor disk and gear inspection |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013244362A (ja) * | 2012-05-29 | 2013-12-09 | Olympus Corp | 立体視内視鏡システム |
US9602806B1 (en) * | 2013-06-10 | 2017-03-21 | Amazon Technologies, Inc. | Stereo camera calibration using proximity data |
JP6256872B2 (ja) * | 2013-12-24 | 2018-01-10 | パナソニックIpマネジメント株式会社 | 内視鏡システム |
US10701339B2 (en) * | 2014-09-18 | 2020-06-30 | Sony Corporation | Image processing device and image processing method |
WO2016181735A1 (ja) * | 2015-05-14 | 2016-11-17 | オリンパス株式会社 | 立体視内視鏡装置 |
JP6308440B2 (ja) * | 2015-06-17 | 2018-04-11 | パナソニックIpマネジメント株式会社 | 内視鏡 |
KR101719322B1 (ko) * | 2015-07-20 | 2017-03-23 | 계명대학교 산학협력단 | vSLAM 기법을 이용하여 병변과 주변조직의 3차원 정보를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 측정 방법 |
JP6296365B2 (ja) * | 2016-02-29 | 2018-03-20 | パナソニックIpマネジメント株式会社 | 手術内視鏡用カメラコントロールユニット |
JP6561000B2 (ja) * | 2016-03-09 | 2019-08-14 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2017168986A1 (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム |
US20200015666A1 (en) * | 2016-09-29 | 2020-01-16 | Mitos Medical Ltd | A rigid medical surgery illuminating device |
DE112017006551T5 (de) * | 2016-12-26 | 2019-09-26 | Olympus Corporation | Stereo-Bildaufnahmeeinheit |
CN110944566B (zh) * | 2017-05-19 | 2021-12-21 | 奥林巴斯株式会社 | 3d内窥镜装置和3d影像处理装置 |
WO2018225346A1 (ja) * | 2017-06-05 | 2018-12-13 | ソニー株式会社 | 医療用システム及び制御ユニット |
JP6912313B2 (ja) * | 2017-07-31 | 2021-08-04 | パナソニックi−PROセンシングソリューションズ株式会社 | 画像処理装置、カメラ装置及び画像処理方法 |
KR20190013224A (ko) * | 2017-08-01 | 2019-02-11 | 엘지전자 주식회사 | 이동 단말기 |
US11571109B2 (en) * | 2017-08-03 | 2023-02-07 | Sony Olympus Medical Solutions Inc. | Medical observation device |
JP6915575B2 (ja) * | 2018-03-29 | 2021-08-04 | 京セラドキュメントソリューションズ株式会社 | 制御装置及び監視システム |
JP7166957B2 (ja) * | 2019-02-27 | 2022-11-08 | オリンパス株式会社 | 内視鏡システム、プロセッサ、キャリブレーション装置、内視鏡 |
DE102019003378A1 (de) | 2019-05-14 | 2020-11-19 | Karl Storz Se & Co. Kg | Beobachtungsinstrument und Videobildgeberanordnung für ein Beobachtungsinstrument |
US20220031390A1 (en) * | 2020-07-31 | 2022-02-03 | Medtronic, Inc. | Bipolar tool for separating tissue adhesions or tunneling |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06261860A (ja) * | 1993-03-12 | 1994-09-20 | Olympus Optical Co Ltd | 内視鏡の映像表示装置 |
JPH095643A (ja) * | 1995-06-26 | 1997-01-10 | Matsushita Electric Ind Co Ltd | 立体内視鏡装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5673147A (en) * | 1995-04-18 | 1997-09-30 | Mckinley Optics, Inc. | Stereo video endoscope objective lens systems |
JP2002191554A (ja) * | 2000-12-26 | 2002-07-09 | Asahi Optical Co Ltd | 3次元画像検出装置を備えた電子内視鏡 |
WO2009058350A1 (en) * | 2007-11-02 | 2009-05-07 | The Trustees Of Columbia University In The City Of New York | Insertable surgical imaging device |
ES2688280T3 (es) * | 2010-03-12 | 2018-10-31 | Viking Systems, Inc. | Sistema de visualización estereoscópica |
US9314148B2 (en) * | 2010-12-06 | 2016-04-19 | Lensvector, Inc. | Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods |
-
2011
- 2011-12-15 JP JP2011274219A patent/JP5919533B2/ja active Active
-
2012
- 2012-12-12 WO PCT/JP2012/007934 patent/WO2013088709A1/ja active Application Filing
- 2012-12-12 US US14/364,368 patent/US20140350338A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06261860A (ja) * | 1993-03-12 | 1994-09-20 | Olympus Optical Co Ltd | 内視鏡の映像表示装置 |
JPH095643A (ja) * | 1995-06-26 | 1997-01-10 | Matsushita Electric Ind Co Ltd | 立体内視鏡装置 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015132126A1 (de) * | 2014-03-07 | 2015-09-11 | Siemens Aktiengesellschaft | Endoskop mit tiefenbestimmung |
US20190342499A1 (en) * | 2018-05-04 | 2019-11-07 | United Technologies Corporation | Multi-camera system for simultaneous registration and zoomed imagery |
US10902664B2 (en) | 2018-05-04 | 2021-01-26 | Raytheon Technologies Corporation | System and method for detecting damage using two-dimensional imagery and three-dimensional model |
US10914191B2 (en) | 2018-05-04 | 2021-02-09 | Raytheon Technologies Corporation | System and method for in situ airfoil inspection |
US10928362B2 (en) | 2018-05-04 | 2021-02-23 | Raytheon Technologies Corporation | Nondestructive inspection using dual pulse-echo ultrasonics and method therefor |
US10943320B2 (en) | 2018-05-04 | 2021-03-09 | Raytheon Technologies Corporation | System and method for robotic inspection |
US10958843B2 (en) * | 2018-05-04 | 2021-03-23 | Raytheon Technologies Corporation | Multi-camera system for simultaneous registration and zoomed imagery |
US11079285B2 (en) | 2018-05-04 | 2021-08-03 | Raytheon Technologies Corporation | Automated analysis of thermally-sensitive coating and method therefor |
US11268881B2 (en) | 2018-05-04 | 2022-03-08 | Raytheon Technologies Corporation | System and method for fan blade rotor disk and gear inspection |
US11880904B2 (en) | 2018-05-04 | 2024-01-23 | Rtx Corporation | System and method for robotic inspection |
Also Published As
Publication number | Publication date |
---|---|
JP2013123558A (ja) | 2013-06-24 |
JP5919533B2 (ja) | 2016-05-18 |
US20140350338A1 (en) | 2014-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013088709A1 (ja) | 内視鏡およびこれを備えた内視鏡システム | |
JP5730339B2 (ja) | 立体内視鏡装置 | |
US7768702B2 (en) | Medical stereo observation system | |
JP5904750B2 (ja) | 立体内視鏡装置 | |
JP2013085615A5 (ja) | ||
JP6256872B2 (ja) | 内視鏡システム | |
JP7178385B2 (ja) | 撮像システムおよび観察方法 | |
JP6210874B2 (ja) | 立体観察装置の調整治具及び立体観察システム | |
US11698535B2 (en) | Systems and methods for superimposing virtual image on real-time image | |
EP1524540A1 (en) | Image observation apparatus | |
JP4455419B2 (ja) | 手術用立体画像観察装置 | |
JP4674094B2 (ja) | 立体観察装置 | |
JP3816599B2 (ja) | 体腔内処置観察システム | |
JPH11337845A (ja) | 内視鏡装置 | |
JP2014175965A (ja) | 手術用カメラ | |
JP2014140593A (ja) | 立体内視鏡装置 | |
JPH06261860A (ja) | 内視鏡の映像表示装置 | |
JP2005318937A (ja) | 表示装置 | |
JP4350357B2 (ja) | 顕微鏡装置 | |
JP2004057614A (ja) | 手術用観察装置 | |
JP3851879B2 (ja) | 顕微鏡 | |
JP2009095598A (ja) | ヘッドマウント型双眼ルーペ装置 | |
JP3908182B2 (ja) | 実体顕微鏡 | |
JP3908181B2 (ja) | 実体顕微鏡 | |
JP2013065001A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12857896 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 14364368 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12857896 Country of ref document: EP Kind code of ref document: A1 |