WO2013088709A1 - 内視鏡およびこれを備えた内視鏡システム - Google Patents

内視鏡およびこれを備えた内視鏡システム Download PDF

Info

Publication number
WO2013088709A1
WO2013088709A1 PCT/JP2012/007934 JP2012007934W WO2013088709A1 WO 2013088709 A1 WO2013088709 A1 WO 2013088709A1 JP 2012007934 W JP2012007934 W JP 2012007934W WO 2013088709 A1 WO2013088709 A1 WO 2013088709A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
imaging unit
unit
image
angle
Prior art date
Application number
PCT/JP2012/007934
Other languages
English (en)
French (fr)
Inventor
章吾 田中
河野　治彦
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to US14/364,368 priority Critical patent/US20140350338A1/en
Publication of WO2013088709A1 publication Critical patent/WO2013088709A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00174—Optical arrangements characterised by the viewing angles
    • A61B1/00183—Optical arrangements characterised by the viewing angles for variable viewing angles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00188—Optical arrangements with focusing or zooming features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2415—Stereoscopic endoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2461—Illumination
    • G02B23/2469—Illumination using optical fibres
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports

Definitions

  • the present invention relates to an endoscope for imaging the inside of an observation object that can not be observed directly from the outside, and an endoscope system provided with the same, and more particularly to an endoscope capable of three-dimensional display together with ordinary two-dimensional display
  • the present invention relates to an endoscope system provided with
  • Endoscopes are widely used to observe organs and the like in the human body at the time of surgery and examination in medicine.
  • an imaging unit is provided at the tip of the insertion unit inserted into the body, and an image taken by the imaging unit is displayed on a monitor. If three images are displayed three-dimensionally by using a three-dimensional monitor, subjects such as organs can be observed three-dimensionally, so that the efficiency of surgery and examination can be improved.
  • a wide-angle imaging unit and a narrow-angle imaging unit are provided, and a two-dimensional display is performed using an image acquired by the wide-angle imaging unit and a wide-angle imaging
  • a technology in which three-dimensional display is performed using an image acquired by a section and a narrow-angle imaging section see Patent Document 1.
  • a surgical site can be observed in detail and in three dimensions by a three-dimensional displayed image, and a wide range around the surgical site can be observed in a two-dimensional displayed image.
  • a region corresponding to the imaging region of the narrow angle imaging unit is cut out from the image taken by the wide angle imaging unit, and the cutout image obtained by this and the image pickup by the narrow angle imaging unit From the above, a three-dimensional image, that is, two images seen by the left and right eyes when three-dimensional display is generated is generated, but when the distance from the imaging unit to the subject changes by moving the endoscope, Since the positional relationship between the imaging regions of the imaging unit changes, there is a problem that the regions of the subject captured in the two images used for generating the three-dimensional image are shifted, and an appropriate three-dimensional image can not be generated.
  • the narrow-angle imaging unit is cut out by cutting out a region corresponding to the imaging region of the narrow-angle imaging unit. It is made to be the same size as the image taken by the camera. Therefore, the real resolutions of the two images viewed by the left and right eyes are largely different when displaying in three dimensions, and if such images continue to be viewed for a long time, fatigue progresses, so it is desirable to use for long surgery. There was a problem of not being.
  • the present invention has been made to solve the problems of the prior art as described above, and the main object thereof is to set the positional relationship between imaging regions of two imaging units even when the distance to the subject is different.
  • An endoscope and an endoscope configured to be able to be held constant and to avoid that the real resolutions of two images viewed by the left and right eyes differ greatly when displaying the images in a three-dimensional manner. It is providing the provided endoscope system.
  • An endoscope includes an insertion portion inserted into an observation target, a first imaging portion and a second imaging portion provided side by side at a distal end portion of the insertion portion, and the first imaging portion And an image processing unit that generates a three-dimensional image from an image captured by a second imaging unit, and the first imaging unit is arranged along the arrangement direction of the first imaging unit and the second imaging unit. In order to move the imaging region, the tilt angle of the optical axis is changeable.
  • the endoscope a first display device for displaying an image in a two-dimensional manner, a second display device for displaying an image in a three-dimensional manner, and output from the endoscope And a display control device for simultaneously displaying an image on the first display device and the second display device based on the two-dimensional image data and the three-dimensional image data.
  • the imaging region of the first imaging unit can be moved in the arrangement direction of the two imaging units. Even when the distances to the point are different, the positional relationship between the imaging regions of the two imaging units can be kept constant. Therefore, it is possible to always obtain an appropriate three-dimensional image regardless of the distance to the subject.
  • the whole block diagram which shows the endoscope system concerning a 1st embodiment Sectional drawing which shows the front-end
  • Block diagram showing a schematic configuration of a control system for driving the angle adjustment mechanism 16
  • Block diagram showing a schematic configuration of the imaging control unit 26
  • Explanatory drawing which shows the processing condition of the image in the imaging control part 26
  • Block diagram of the imaging control unit 26 in the endoscope according to the second embodiment A schematic side view and a plan view for explaining the procedure for determining the positional relationship between the imaging areas A1 and A2 in the imaging position detection unit 62
  • Explanatory drawing which shows the
  • an insertion portion inserted inside the object to be observed, and a first imaging portion and a second imaging portion provided side by side at the tip of the insertion portion
  • An image processing unit that generates a three-dimensional image from images captured by the first imaging unit and the second imaging unit, and the first imaging unit includes the first imaging unit and the second imaging unit.
  • the tilt angle of the optical axis is changeable so that the imaging region can be moved along the arrangement direction of the imaging unit.
  • the inclination angle of the optical axis of the first imaging unit it is possible to move the imaging region of the first imaging unit in the arrangement direction of the two imaging units, and thereby to the subject. Even when the distances are different, the positional relationship between the imaging regions of the two imaging units can be held constant. Therefore, it is possible to always obtain an appropriate three-dimensional image regardless of the distance to the subject.
  • an angle operation unit in which a user performs an operation of changing an inclination angle of the optical axis of the first imaging unit, and light of the first imaging unit according to the operation of the angle operation unit. And an angle adjusting mechanism for changing an inclination angle of the shaft.
  • the first imaging unit has a wide-angle optical system
  • the second imaging unit has a narrow-angle optical system
  • the image processing unit includes the first imaging unit.
  • a cut-out image obtained by generating a two-dimensional image from the first captured image acquired by the image pickup unit and cutting out a region corresponding to the imaging region of the second image pickup unit from the first captured image;
  • a three-dimensional image is generated from the second captured image acquired by the second imaging unit.
  • the first imaging unit having a wide-angle optical system captures a wide area of the subject, and the image captured by the first imaging unit is provided for two-dimensional display.
  • a wide range of the subject can be observed, and in particular, the assistant or the trainee can observe it widely at the time of the operation, so that the periphery of the operation site can be widely observed.
  • a second imaging unit having a narrow-angle optical system captures a narrow region of the subject, and the image captured by the second imaging unit and the cutout image are provided for three-dimensional display.
  • the subject can be observed in detail and three-dimensionally. In particular, when the operator looks at this during surgery, it is possible to three-dimensionally recognize the surgical site and improve the efficiency of the surgery.
  • the first imaging unit captures an image of a wide area of the subject, and the imaging area can be moved by changing the tilt angle of the optical axis of the first imaging section. can do.
  • the imaging area of the first imaging unit is moved within the range where the imaging area of the second imaging unit is included in the imaging area of the first imaging unit, no change appears in the three-dimensional image.
  • the display area of the two-dimensional image can be freely moved according to the needs of the assistant or the trainee without moving the display area of the three-dimensional image viewed by the operator.
  • the first imaging unit has a high resolution imaging device
  • the second imaging unit has a low resolution imaging device
  • the first imaging unit having a wide-angle optical system has a high resolution imaging device, it is possible to observe a wide area of the subject with high definition.
  • the second imaging unit since the second imaging unit has a low-resolution imaging device and is compact, the outer diameter of the distal end portion of the insertion unit can be reduced.
  • the angle adjustment mechanism can be easily provided without increasing the outer diameter of the distal end portion of the insertion unit.
  • the first imaging unit and the second imaging unit are configured such that the cutout image and the second imaging image have approximately the same number of pixels. .
  • the inclination angle of the optical axis of the first imaging unit is set so that the imaging region of the first imaging unit and the imaging region of the second imaging unit have a predetermined positional relationship.
  • a control unit is further provided to control.
  • the work of alignment between the imaging area of the first imaging unit and the imaging area of the second imaging unit becomes unnecessary, and the usability improves.
  • control unit compares the first captured image with the second captured image, and captures an imaging area of the first imaging unit and an image of the second imaging unit. The positional relationship with the area is detected, and the inclination angle of the optical axis of the first imaging unit is controlled based on the detection result.
  • the positional relationship between the imaging regions of the two imaging units can be detected without specially providing a sensor or the like, so the inclination angle of the optical axis of the first imaging unit is not complicated. Can be properly controlled.
  • an insertion portion to be inserted into an observation target, a first imaging portion and a second imaging portion provided side by side at a distal end portion of the insertion portion, and the first imaging portion.
  • an image processing unit that generates a three-dimensional image from an image captured by a second imaging unit, the first imaging unit having a wide-angle optical system and a high resolution imaging device, The second imaging unit has a narrow-angle optical system and a low resolution imaging device, and the image processing unit generates a two-dimensional image from the first captured image acquired by the first imaging unit.
  • an endoscope In a ninth aspect of the present invention, there is provided an endoscope, a first display device for two-dimensionally displaying an image, a second display device for three-dimensionally displaying an image, and 2 outputted from the endoscope. And a display control device configured to simultaneously display an image on the first display device and the second display device based on two-dimensional image data and three-dimensional image data.
  • the operator can three-dimensionally recognize the surgical site by looking at the screen of the second display device on which the image is three-dimensionally displayed during the operation, the efficiency of the operation can be enhanced.
  • the assistant and the trainee can view the screen of the first display device on which the image is two-dimensionally displayed, thereby enhancing the effectiveness of the surgery assistance and the training.
  • FIG. 1 is an overall configuration diagram showing an endoscope system according to a first embodiment.
  • This endoscope system includes an endoscope 1 inserted inside the body for imaging a subject such as an organ inside a human body (observation target), a two-dimensional monitor (two-dimensionally displaying an image) 1) display device 2), a three-dimensional monitor (second display device) 3 for three-dimensionally displaying an image, and a controller (display control device) 4 for controlling image display of the two-dimensional monitor 2 and the three-dimensional monitor 3 ,have.
  • the endoscope 1 is a so-called rigid endoscope, and the insertion portion 11 inserted into the inside of the body is inflexible.
  • a first imaging unit 13 and a second imaging unit 14 for imaging an object are provided side by side at the distal end portion 12 of the insertion unit 11.
  • the first imaging unit 13 is provided so as to be able to change the inclination angle of the optical axis
  • the insertion unit 11 is provided with an angle adjustment mechanism 16 that changes the inclination angle of the optical axis of the first imaging unit 13 ing.
  • the distal end portion 12 of the insertion portion 11 is provided with an illumination unit 15 for illuminating a subject.
  • a main body 17 is provided on the side opposite to the distal end 12 of the insertion portion 11.
  • the main body 17 includes two electric motors 18 and 19 for driving the angle adjustment mechanism 16, a light source 20 for sending illumination light to the illumination unit 15, imaging units 13 and 14, electric motors 18 and 19 and the light source 20.
  • a control unit 21 for controlling.
  • the light source 20 is formed of an LED or the like, and is connected to the illumination unit 15 by the optical fiber cable 22. The light emitted from the light source 20 is emitted from the illumination unit 15 through the optical fiber cable 22.
  • the control unit 21 controls the electric motors 18 and 19 to change the tilt angle of the optical axis of the first imaging unit 13, and controls the two imaging units 13 and 14 and the imaging unit 13. , 14 and an illumination control unit 27 for controlling the light source 20.
  • An angle operation unit 28 is connected to the control unit 21.
  • the angle operation unit 28 is used by the user to change the inclination angle of the optical axis of the first imaging unit 13 and is configured of a position input device such as a joystick or a track ball.
  • the inclination angle of the optical axis of the first imaging unit 13 is changed in accordance with the operation of S28.
  • the controller 4 outputs display control data to the two-dimensional monitor 2 and the three-dimensional monitor 3 based on the two-dimensional image data and the three-dimensional image data output from the endoscope 1.
  • the two-dimensional image and the three-dimensional image are simultaneously displayed on the two-dimensional monitor 3 so that the subject can be observed two-dimensionally and three-dimensionally.
  • the two-dimensional monitor 2 and the three-dimensional monitor 3 are configured by, for example, a liquid crystal display, and the two-dimensional monitor 2 has a large screen for viewing by many people such as assistants and trainees during surgery.
  • the dimensional monitor 3 has a small screen to be viewed by a small number of persons such as a surgeon during surgery.
  • the three-dimensional monitor 3 may adopt an HMD (Head Mounted Display) in consideration of the use of the operator.
  • HMD Head Mounted Display
  • FIG. 2 is a cross-sectional view showing the distal end portion 12 of the insertion portion 11.
  • the X direction, the Y direction, and the Z direction shown in FIG. 2 and the like are three directions orthogonal to each other.
  • the first imaging unit 13 and the second imaging unit 14 are housed inside the cylindrical cover 31.
  • the first imaging unit 13 includes an imaging element 33, an optical system 34 composed of a plurality of lenses, and a holder 35 for holding these.
  • the holder 35 of the first imaging unit 13 is rotatably held by the cover 31.
  • a cover glass 36 is provided on the front side of the first imaging unit 13.
  • the second imaging unit 14 includes an imaging element 37, an optical system 38 including a plurality of lenses, and a holder 39 for holding these.
  • a cover glass 40 is provided on the front side of the second imaging unit 14.
  • the optical system 34 of the first imaging unit 13 is configured at a wide angle
  • the optical system 38 of the second imaging unit 14 is configured at a narrow angle.
  • the field angle Field of View
  • the field angle is 50 degrees.
  • the imaging element 33 of the first imaging unit 13 is configured to have a high resolution (high pixel count), and the imaging element 37 of the second imaging unit 14 is configured to have a low resolution (low pixel count).
  • the resolution (pixel number) is 1920 ⁇ 1080 (Full HD)
  • the resolution (pixel number) is 320 ⁇ 240 (QVGA).
  • Each of the imaging devices 33 and 37 is configured by, for example, a complementary metal oxide semiconductor (CMOS).
  • CMOS complementary metal oxide semiconductor
  • the second imaging unit 14 can be miniaturized, so that the outer diameter of the distal end portion 12 of the insertion unit 11 can be reduced.
  • the imaging element 33 of the first imaging unit 13 to have a high resolution, the first imaging unit 13 becomes large, so that the angle can be increased without increasing the outer diameter of the distal end portion 12 of the insertion unit 11.
  • the adjustment mechanism 16 can be easily provided.
  • FIG. 3 is a front view showing the distal end portion 12 of the insertion portion 11.
  • the first imaging unit 13 and the second imaging unit 14 are provided side by side in the X direction.
  • Two illumination units 15 are provided on both sides of the second imaging unit 14.
  • FIG. 4 is a schematic side view showing the angle adjustment mechanism 16 for changing the inclination angle of the optical axis of the first imaging unit 13, and a state as viewed from the Y direction in FIG. The state seen from the X direction is shown in B).
  • the front end portion 12 side of the insertion portion 11 is described as the front side
  • the main body portion 17 side is described as the rear side (see FIG. 1).
  • the angle adjustment mechanism 16 includes four relay rods 41a to 41d whose front ends are connected to the holder 35 of the first imaging unit 13, and relay members 42 whose rear ends of the four relay rods 41a to 41d are connected.
  • the four relay rods 41a to 41d are arranged parallel to one another in a manner to extend in the longitudinal direction (Z direction) of the insertion portion 11, and center on a center line that coincides with the optical axis of the first imaging unit 13.
  • the two relay rods 41a and 41b are arranged in the X direction, and the two relay rods 41c and 41d are arranged in the Y direction.
  • the support shaft 43 has a spherical surface portion 47, and at the central portion of the relay member 42, a receiving portion 48 which is a spherical surface complementary to the spherical surface portion 47 is formed, and the relay member 42 is the center of the spherical surface portion 47. Rotate around the center. The pivoting movement of the relay member 42 is transmitted to the first imaging unit 13 via the relay rods 41a to 41d, and the first imaging unit 13 pivots in response to the rotation of the relay member 42.
  • the two drive rods 45a and 45b are arranged parallel to each other in a manner to extend in the longitudinal direction (Z direction) of the insertion portion 11, and generally located on the extension of the two relay rods 41a and 41c. Is located in The two drive rods 45a and 45b are inserted into the through holes 49 of the guide member 44, and the rear ends of the drive rods 45a and 45b are respectively connected to the electric motors 18 and 19 (FIG. 1). Reference), the drive rods 45a, 45b are independently driven by the electric motors 18, 19 to move back and forth in the longitudinal direction.
  • the two springs 46a and 46b form a pair with each of the two drive rods 45a and 45b, and the first spring 46a and the first drive rod 45a are aligned in the X direction, and the second spring 46b and the second Drive rods 45b are arranged in the Y direction.
  • the two springs 46a and 46b are attached to the relay member 42 and the guide member 44 in a tension state, and bias the portion of the relay member 42 to which the respective springs 46a and 46b are connected to the rear.
  • the biasing force of the springs 46a and 46b acts to pull the drive rods 45a and 45b forward, and the movement of the drive rods 45a and 45b is restrained by the electric motors 18 and 19, whereby the relay member 42 is moved. It is held in contact with the spherical surface portion 47 of the support shaft 43.
  • the relay member 42 is rotated and the drive rods 45a and 45b are moved forward. Then, the relay member 42 pivots in the opposite direction.
  • the relay member 42 rotates. Accordingly, when the first imaging unit 13 is rotated about the axis in the Y direction and the second drive rod 45 b is moved back and forth by the other of the electric motors 18 and 19 as shown in FIG. 4B.
  • the first imaging unit 13 pivots about an axis in the X direction. As described above, the first imaging unit 13 can be rotated about virtual two axes in the X direction and the Y direction to change the tilt angle of the optical axis of the first imaging unit 13 in any direction. .
  • FIG. 5 is a block diagram showing a schematic configuration of a control system that drives the angle adjustment mechanism 16.
  • the angle control unit 25 of the control unit 21 has two motor controllers 51 and 52 that control the two electric motors 18 and 19, respectively, and the motor controllers 51 and 52 output control signals to the motor drivers 53 and 54, respectively.
  • the electric motors 18 and 19 are driven.
  • the two electric motors 18 and 19 are respectively connected to the two drive rods 45a and 45b shown in FIG. 4, and the rotational positions of the first imaging unit 13 around two axes in the X and Y directions are It is controlled individually.
  • detection signals of the two origin sensors 55 and 56 and an operation signal of the angle operation unit 28 are input to the angle control unit 25.
  • the origin sensors 55, 56 detect the origin positions of the output shafts of the electric motors 18, 19, respectively.
  • the motor controllers 51 and 52 of the angle control unit 25 control the rotational direction and the amount of rotation of the two electric motors 18 and 19 based on the detection signals of the origin sensors 55 and 56 and the operation signal of the angle operation unit 28.
  • the origin position of the output shaft of each of the electric motors 18 and 19 detected by the two origin sensors 55 and 56 is parallel to the longitudinal direction (Z direction) of the insertion portion 11
  • the rotational position of the first imaging unit 13 based on the initial position, that is, the inclination angle of the optical axis.
  • the X (Y) origin sensor 55 (56) provided in the angle control unit 25 of the main body 17 detects the rotation origin of the imaging unit 13 and then applies the electric motor 18, 19
  • the rotation angle is relatively detected with the number of pulses, but this configuration is a so-called open loop, and in general, as the mechanical element between the drive source and the control target is more complicated, the detection accuracy substantially decreases.
  • the magnet 91 is placed on the bottom of the first imaging unit 13 configured to be rotatable as shown in FIG.
  • the magnetic sensor 92 may be provided to detect the rotation angle based on the output of the magnetic sensor 92.
  • initialization of the origin is performed by the output of the magnetic sensor 92 when the origin is detected by the X (Y) origin sensor 55 (56), and based on the relative output change of the magnetic sensor 92 thereafter.
  • Rotation angle can be determined.
  • the rotational direction is uniquely determined by the control pulse output to the electric motors 18 and 19.
  • the feedback loop is formed based on the detection system disposed in the immediate vicinity of the control target, so that the rotation angle can be detected with extremely high accuracy, and accurate positioning can be performed based on the detected rotation angle. it can.
  • FIG. 6 is a block diagram showing a schematic configuration of the imaging control unit 26.
  • the imaging control unit 26 includes an image signal processing unit 61, an imaging position detection unit 62, an image clipping unit 63, a two-dimensional image processing unit 64, and a three-dimensional image processing unit 65.
  • the image signal processing unit 61 is configured by a so-called ISP (Imaging Signal Processor), and includes two preprocessing units 66 and 67 that perform preprocessing such as noise reduction, color correction, and ⁇ correction. In the two preprocessing units 66 and 67, the image signals output from the two imaging units 13 and 14 are processed in parallel, and a first captured image and a second captured image are output.
  • the image signal processing unit 61 also has a function of operating two imaging units 13 and 14 in synchronization.
  • the imaging position detection unit 62 detects the positional relationship between the imaging area of the first imaging unit 13 and the imaging area of the second imaging unit 14 by comparing the first imaging image and the second imaging image. Processing is performed.
  • feature points are respectively extracted from the first captured image and the second captured image, and from the correspondence relationship of the feature points, the subject captured in the first captured image and the second captured image respectively Find the position where the images are aligned.
  • the second imaging unit 14 including the imaging device 37 with a narrow angle optical system 38 and a low pixel count based on the positional relationship between the two imaging regions detected by the imaging position detection unit 62.
  • a process of cutting out a region corresponding to the image pickup region from the first pickup image including the wide-angle optical system 34 and the image pickup element 33 with a large number of pixels is performed.
  • the cutout image obtained by the image cutout unit 63 and the second captured image are images in which the same area of the subject is captured.
  • the two-dimensional image processing unit 64 processes the first captured image to output a two-dimensional image, and includes a two-dimensional image generation unit 68 and a post-processing unit 69.
  • the three-dimensional image processing unit 65 processes the second captured image and the cut-out image output from the image cutting out unit 63 to output a three-dimensional image, and the two calibration units 71, 72 and 3 are used.
  • a two-dimensional image generation unit 73 and a post-processing unit 74 are provided.
  • the processing is performed in parallel, and in the controller 4, the processing is performed in parallel by the two image processing units 75 and 76.
  • An image is simultaneously displayed on the two-dimensional monitor 2 and the three-dimensional monitor 3.
  • the three-dimensional image generation unit 65 performs processing to generate a three-dimensional image including the right-eye image and the left-eye image, one of the cutout image and the second captured image becomes the right-eye image, and the other is the left-eye image. Become.
  • the image rotation and the magnification error are corrected based on the result of imaging the reference image under a specific imaging condition (a condition in which the distance to the object, brightness, etc. is made constant).
  • a specific imaging condition a condition in which the distance to the object, brightness, etc. is made constant.
  • Parameters are often calculated and fixed processing based on these parameters is often referred to, but the calibration units 71 and 72 do not cause discomfort when the three-dimensional image is viewed with the left and right eyes.
  • a process is performed to adjust one image. That is, the calibration units 71 and 72 perform resizing processing to equalize the two left and right image sizes (number of pixels in the main and sub scanning directions) by performing enlargement or reduction processing on at least one of the two images.
  • the imaging control unit 26 outputs a two-dimensional image and a three-dimensional image as a moving image at a predetermined frame rate, it is also possible to output as a still image. In this case, from a plurality of frame images Super resolution processing may be performed to generate a high resolution still image.
  • FIG. 7 is an explanatory view showing a processing state of an image in the imaging control unit 26.
  • the number of pixels of the image clipped out of the first captured image by the image cropping unit 63 and the number of pixels of the second captured image are completely the same (for example, 320 ⁇ 240 pixels).
  • the magnification that is, the length the subject occupies with respect to the size in the main / sub scanning direction of the screen
  • the positional relationship between the imaging elements 33 and 37 of the two imaging units 13 and 14 in the optical axis direction, the magnification of the optical systems 34 and 38, and the like are set (see FIG. 2).
  • the actual adjustment of magnification etc. involves imperfections. Therefore, if the sizes of the two images are the same as described above, when the area corresponding to the second captured image is cut out by the image cutting out unit 63, the magnification of the images may be different. At this time, at least one of the images is resized by the calibration units 71 and 72. However, since all the images have the same size (320 ⁇ 240 pixels), based on the distances of the same feature points included in the respective images. The image size is fixed (320 ⁇ 240 pixels) by calculating the enlargement ratio, enlarging the image with a smaller magnification to the larger image, and removing the extra peripheral area generated by the enlargement process. You should maintain it.
  • an image size may differ as a result.
  • the region corresponding to the second captured image is cut out of the first captured image in the image cutting out portion 63
  • the number of pixels to be cut out and the number of pixels of the second captured image are made different. May be At this time, at least one image is resized by the calibration units 71 and 72, but if the image to be cut out is larger than 320 ⁇ 240 pixels, the reduction ratio is calculated based on the position of the same feature point of the two images Reduce the image cut out above. As a result, the image size can be maintained constant, and the degradation of resolution can be prevented.
  • the clipped image is smaller than 320 ⁇ 240 pixels, the clipped image is similarly enlarged. This allows the image size to be kept constant.
  • the number of pixels of the first captured image and the second captured image depends on the resolution of each of the imaging elements 33 and 37 of the two imaging units 13 and 14, and the number of pixels of the cutout image is different from that of the first imaging unit 13.
  • the number of pixels of the cutout image and the second pickup image are substantially the same. It can be
  • the sizes of the pixels of the imaging elements 33 and 37 and the magnifications of the optical systems 34 and 38 are made the same will be described.
  • the first imaging unit 13 uses the imaging element 33 having the number of pixels of 1920 ⁇ 1080
  • the second imaging unit 14 uses the imaging element 37 having the number of pixels of 320 ⁇ 240.
  • Two imaging units 13 and 14 so that the imaging region of the second imaging unit 14 is 32 mm ⁇ 24 mm when the imaging region of the first imaging unit 13 is 192 mm ⁇ 108 mm for the same subject.
  • the angle of view of the optical system 34, 38 is set.
  • the positional relationship between the first imaging unit 13 and the second imaging unit 14 in the optical axis direction, and the positional relationship between the optical system and the imaging devices 33 and 37 are adjusted.
  • the image size is the same as the imaging area
  • the size of one pixel is 100 ⁇ m ⁇ 100 ⁇ m
  • the pixels in the cutout image and the second captured image are The actual size of can be made identical.
  • the angle of view of the first imaging unit 13 is 140 degrees
  • the angle of view of the first imaging unit 13 is 50 degrees.
  • calibration units 71 and 72 are provided downstream of the image cutting unit 63.
  • processing for correcting the sizes of the objects captured in the two images to match each other is performed.
  • the number of pixels be as close as possible.
  • the imaging position detection unit 62 does not have to precisely determine the positional relationship between the first and second captured images, and it suffices to determine the approximate position.
  • FIG. 8 is a side view and a plan view schematically showing the conditions of the imaging regions A1 and A2 of the two imaging units 13 and 14, respectively.
  • the first imaging unit 13 has the wide-angle optical system 34
  • the second imaging unit 14 has the narrow-angle optical system 38
  • the angle of view ⁇ 1 of the first imaging unit 13 is Of the second imaging unit 14 (hereinafter referred to as “first imaging region” as appropriate)
  • A1 of the second imaging unit 14 This area is larger than the imaging area (hereinafter referred to as “second imaging area” as appropriate) A2.
  • the first imaging unit 13 An image captured by the first imaging unit 13 that captures a wide area of the subject S is used for two-dimensional display, and a wide range of the subject S can be observed with this two-dimensionally displayed image.
  • the first imaging unit 13 has a high resolution imaging device 33, and can observe a wide area of the subject S with high definition. For this reason, when an assistant or a trainee looks at the time of surgery, since the periphery of a surgery site can be observed widely and in detail, the effect of surgery assistance and training can be heightened.
  • an image taken by the second imaging unit 14 for imaging a narrow area of the subject S is used for three-dimensional display, and the subject S can be observed in detail and three-dimensionally with this three-dimensionally displayed image. .
  • the surgical site can be three-dimensionally recognized, so the risk can be reduced and the efficiency of the surgery can be enhanced.
  • the first imaging unit 13 can be rotated about two axes in the X direction and the Y direction, the inclination angle of the optical axis is changed in an arbitrary direction, and the first imaging area A1 is arbitrarily changed. It can be moved in the direction. That is, when the first imaging unit 13 is rotated about the axis in the X direction, the first imaging area A1 moves in the Y direction, and the first imaging unit 13 is rotated about the axis in the Y direction. When the first imaging area A1 moves in the X direction and the first imaging unit 13 is rotated about two axes in the X direction and the Y direction, the first imaging area A1 moves in an oblique direction.
  • the first imaging area A1 is moved in the required direction.
  • the object S can be observed more widely, and in particular, within the range where the second imaging region A2 is included in the first imaging region A1, the first imaging region can be moved. Even if A1 is moved, no change appears in the three-dimensional image because the second imaging region A2 does not move. Therefore, at the time of surgery, the display area of the two-dimensional image can be freely moved according to the needs of the assistant or the trainee without moving the display area of the three-dimensional image viewed by the operator.
  • the image cutout unit 63 cuts out an image from a different position of the first pickup image. Also in this case, the range from which the image is cut out is determined based on feature point matching of the two images.
  • FIG. 9 is a side view and a plan view schematically showing the situation of the imaging areas A1 and A2 when the subject distance changes.
  • the subject distance the distance from the imaging units 13 and 14 to the object S
  • the sizes of the imaging areas A1 and A2 of the two imaging units 13 and 14 change simultaneously, and the positional relationship between the imaging areas A1 and A2 changes.
  • the first imaging area A1 shifts in the arrangement direction of the two imaging units 13 and 14 (X direction, see FIG. 3).
  • the first imaging area A1 when the subject S is at the position I (subject distance L1), the first imaging area A1 is at the left position in the figure with respect to the second imaging area A2, and the subject S is II.
  • the first imaging area A1 When at the position (subject distance L2) indicated by, the first imaging area A1 is positioned to the right in the drawing with respect to the second imaging area A2.
  • the rotational position of the first imaging unit 13 about the axis in the X direction is an initial position
  • the central positions of the imaging regions A1 and A2 of the two imaging units 13 and 14 coincide in the Y direction.
  • the first imaging region A1 can be moved in the X direction, whereby
  • the second imaging area A2 can be a predetermined position (for example, the center position) in the first imaging area A1.
  • the optical axis inclination angle ⁇ is increased. If the subject S is at the position indicated by II, the optical axis inclination angle ⁇ may be reduced.
  • the first imaging region A1 can be moved in the arrangement direction (X direction) of the two imaging units 13 and 14. Therefore, even when the subject distance L changes, the positional relationship between the imaging areas A1 and A2 of the two imaging units 13 and 14 can be held constant, and an appropriate three-dimensional image can be always obtained regardless of the subject distance L. You can get
  • the subject S ' is inclined by ⁇ / 2 from the plane (horizontal plane) of the other subject S.
  • the optical axes of the first imaging unit 13 and the second imaging unit 14 are each inclined by ⁇ / 2 from the normal to the surface of the subject S ′. Since the optical axes of the two imaging units are inclined by the same angle with respect to the object S ′, the optical axis of the first imaging unit 13 and the optical axis of the second imaging unit 14 intersect each other.
  • the second imaging region A2 exists at the central position in the first imaging region A1. However, since the point at which the optical axis intersects on this plane is projected to the center in any imaging device, the parallax, which is the difference in pixel position when the same feature point is observed by different imaging devices, is zero. It turns out that.
  • the three-dimensional image processing unit 73 performs a process of shifting two images in the X-axis direction by a predetermined number of pixels.
  • the rotation angle of the first imaging unit 13 is adjusted such that the second imaging region A2 is located at the center of the first imaging region A1, but the control of this rotation angle is performed.
  • the angle adjustment unit 25 drives the electric motor 18 (see FIG. 1), and the rotation angle is measured by, for example, the magnetic sensor 91 described with reference to FIG.
  • the three-dimensional image generation unit 73 Based on the measurement result of the rotation angle, the three-dimensional image generation unit 73 (see FIG. 6) generates parallax when imaging is performed at a specific base length (for example, a human pupil distance (approximately 65 mm)). The two images are relatively shifted in the X-axis direction by an amount. Specifically, the three-dimensional image generation unit 73 determines the shift amount with reference to a LUT (Luck Up Table) based on the measurement value of the rotation angle.
  • a LUT Lask Up Table
  • the imaging areas A1 and A2 of the two imaging units 13 and 14 are partially overlapped, three-dimensional display can be performed in the overlapping area, and the second imaging area A2 is not necessarily the first imaging area. Although it is not necessary to set the center position in A1, in order to three-dimensionally display the entire second imaging area A2, the second imaging area A2 is completely included in the first imaging area A1. There is a need.
  • the first imaging unit 13 adopts the wide-angle optical system 34 in order to widen the imaging area A1
  • distortion is likely to occur in the peripheral portion of the first imaging image. This distortion does not cause much problem in two-dimensional display, but in three-dimensional display, when the peripheral portion of the first captured image in which distortion occurs is cut out and used for three-dimensional display, the image becomes It may be hard to see.
  • the second imaging region A2 is not located in the periphery of the first imaging region A1.
  • FIG. 10 is a block diagram of the imaging control unit 26 in the endoscope according to the second embodiment.
  • the points not particularly mentioned below are the same as in the first embodiment.
  • control unit 21 tilts the optical axis of the first imaging unit 13 so that the second imaging region is held at a predetermined position in the first imaging region regardless of the subject distance.
  • the control for automatically adjusting the angle is performed, and the imaging control unit 26 corrects the offset (positional deviation) of the imaging area of the first imaging unit 13 with respect to the imaging area of the second imaging unit 14 81 are provided.
  • the operation of aligning the imaging regions of the two imaging units 13 and 14 becomes unnecessary, and the usability is improved.
  • the imaging position detection unit 62 compares the first and second captured images acquired by the two imaging units 13 and 14 with each other to obtain two imaging units 13 and 14. A process of detecting the positional relationship of the imaging regions of
  • the imaging position correction unit 81 can correct the offset of the imaging area of the first imaging unit 13 with respect to the imaging area of the second imaging unit 14 based on the detection result of the imaging position detection unit 62.
  • the target value of the optical axis inclination angle calculated by the imaging position correction unit 81 is output to the angle control unit 25, and the actual optical axis inclination angle is set to the target in the angle control unit 25.
  • the electric motors 18, 19 are driven to approach the value. Thereby, the imaging area of the first imaging unit 13 moves, and the imaging area of the second imaging unit 14 becomes a predetermined position (for example, the center position) in the imaging area of the first imaging unit 13.
  • the optical axis tilt angle is changed in stages to While repeating the change of the tilt angle and the comparison of the captured images, the two imaging areas may be adjusted to the optical axis tilt angle which is a required positional relationship.
  • FIG. 11 is a schematic side view and a plan view for explaining how to obtain the positional relationship between the imaging areas A1 and A2 in the imaging position detection unit 62. As shown in FIG. Here, although the imaging regions A1 and A2 will be described, the actual processing by the imaging position detection unit 62 is performed on a captured image.
  • the subject distance L changes although the size of the second imaging region A2 changes, the position of the center O2 of the imaging region A2 does not change.
  • the optical axis of the first imaging unit 13 is inclined, the position of the first imaging area A1 changes as the subject distance L changes.
  • a distance XL to one end (left end in the drawing) of the area A1 and a distance XR from the center O2 of the second imaging area A2 to the other end (right end in the drawing) of the first imaging area A1 are obtained.
  • the distances XL and XR are the angle of view ⁇ 1 of the first imaging unit 13, the optical axis inclination angle ⁇ of the first imaging unit 13, and the base length (the distance between the two imaging units 13 and 14) It is defined from) BL as follows.
  • XL L ⁇ tan ( ⁇ 1 / 2 ⁇ ) + BL (Equation 1)
  • XR L ⁇ tan ( ⁇ 1 / 2 + ⁇ ) ⁇ BL (Expression 2)
  • the second imaging region A2 is positioned substantially at the center of the first imaging region A1.
  • the first imaging area A1 can be viewed from the center O2 of the second imaging area A2.
  • FIG. 12 is an explanatory view showing the change situation of the distances XL and XR according to the optical axis inclination angle ⁇ of the first imaging unit 13 in a graph.
  • FIG. 12A shows a case where the subject distance L is 100 mm.
  • FIG. 12B shows the case where the subject distance L is 34 mm.
  • the angle of view ⁇ 1 of the first imaging unit 13 is 140 degrees, and the base length BL is 5.5 mm.
  • the distances XL and XR from the center O2 of the second imaging area A2 to the end of the first imaging area A1 change according to the optical axis inclination angle ⁇ of the first imaging unit 13.
  • the distances XL and XR become equal, and the second imaging region A2 is the first Located at the center of the imaging area A1.
  • the distances XL and XR become equal, and the second imaging region A2 is the first Located at the center of the imaging area A1.
  • the optical axis inclination angle ⁇ when the subject distance L is different, the optical axis inclination angle ⁇ when the second imaging area A2 is positioned at the center of the first imaging area A1 is different, and the second imaging area A2 is subjected to the first imaging.
  • the optical axis inclination angle ⁇ may be set so that the difference (
  • the magnitudes of the distances XL and XR determined by the above-described method are compared, and as shown in FIG. 12A, if XL ⁇ XR, the optical axis inclination angle ⁇ may be reduced, As shown in FIG. 12B, if XL> XR, the optical axis inclination angle ⁇ may be increased.
  • the optical axis tilt angle ⁇ is adjusted so that the second imaging region A2 is located substantially at the center of the first imaging region A1, the positional relationship between the imaging regions A1 and A2 is the same. It is not limited to. That is, the two imaging areas A1 and A2 may be kept in a state of positively giving a fixed offset. In this case, for example, the optical axis tilt angle ⁇ is adjusted so that the ratio (for example, XL / XR) of the distances XL and XR with respect to the position of the first imaging area A1 to the center O2 of the second imaging area A2 is held constant. do it.
  • the ratio for example, XL / XR
  • FIG. 13 is a perspective view showing the main part of the endoscope according to the third embodiment.
  • the points not particularly mentioned below are the same as in the first embodiment.
  • the distal end 92 provided with the first imaging unit 13 and the second imaging unit 14 is provided in the insertion unit 91 via the bending portion 93, and the distal end 92 is tilted (swinging (swinging) It is configured to exercise.
  • the tip 92 By tilting the tip 92 while inserting the insertion part 91 into the observation target, the two imaging parts 13 and 14 integrally change the direction, and observe the operation site such as a tumor part from various directions. be able to.
  • an angle adjustment mechanism for changing the optical axis tilt angle of the first imaging unit 13 is provided, and the distal end is inserted with the insertion portion 91 inserted into the observation target.
  • the optical axis tilt angle of the first imaging unit 13 may be changed while the unit 92 is tilted. In this case, it is necessary to configure so that each operation of the bending portion 93 and the angle adjustment mechanism can be smoothly performed within the tilting range of the tip portion 92, for example, a flexible cable operated by an electric motor.
  • the first imaging unit 13 may be configured to rotate.
  • the first imaging unit 13 is configured to rotate about two axes, so that the optical axis inclination angle of the first imaging unit 13 can be changed in an arbitrary direction.
  • the first imaging unit 13 may be configured to rotate only around one axis.
  • the imaging area of the first imaging unit 13 may be moved in the arrangement direction of the two imaging units 13 and 14, and in the example illustrated in FIG. It may be configured to rotate around an axis in a direction (Y direction) substantially orthogonal to both the arrangement direction of 14 (X direction) and the optical axis direction (Z direction) of the second imaging unit 14.
  • the first imaging unit 13 provided so as to be able to change the optical axis tilt angle has the wide-angle optical system 34 and the high resolution image sensor 33 and can not change the optical axis tilt angle.
  • the second imaging unit 14 provided in the configuration includes the narrow-angle optical system 38 and the low-resolution imaging device 37, but the present invention is not limited to such a combination.
  • an imaging unit provided so as to be able to change the optical axis inclination angle has a narrow angle optical system and a low resolution imaging element
  • an imaging unit provided so as not to change the optical axis inclination angle has a wide angle
  • the optical system and the high resolution imaging device may be provided.
  • the display area of the three-dimensional image can be moved within the fixed two-dimensional image display area.
  • the imaging unit having a high resolution imaging device becomes relatively large and it is easy to mount a drive mechanism for driving this, it is desirable to provide an angle adjustment mechanism only in the imaging unit having a high resolution imaging device.
  • the angle adjustment mechanism can be easily provided without increasing the outer diameter of the distal end portion of the insertion portion.
  • the angle adjustment mechanism 16 is driven by the electric motors 18 and 19, but the angle adjustment mechanism 16 may be driven by a manual operation force.
  • the tilt angle of the optical axis of the first imaging unit 13 can be changed while in use, that is, in a state where the insertion unit 11 is inserted into the inside of the observation target.
  • the portion 11 may be configured to be able to adjust the angle only in the non-use state where it is not inserted into the inside of the observation target, whereby the structure can be simplified.
  • the shape, size, and the like of the lesion area, which is the subject are grasped in advance using X-rays and ultrasonic waves, and based on the distance to the subject assumed from the operation method Perform adjustment work.
  • a control unit provided in the main body 17 of the endoscope 1 with image processing for generating and outputting a two-dimensional image and a three-dimensional image from captured images acquired by the two imaging units 13 and 14
  • the image processing may be performed by an image processing apparatus separate from the endoscope 1.
  • the optical axis of the first imaging unit 13 can be maintained so that the positional relationship between the imaging regions of the two imaging units 13 and 14 can be held constant.
  • the configuration is such that the inclination angle is changed, the optical axis of the imaging unit is only used to achieve the purpose of avoiding large differences in the actual resolutions of the two images viewed by the left and right eyes when displaying the images in three dimensions.
  • the configuration for changing the inclination angle is not necessarily required, and the optical axis inclination angles of the two imaging units may not be changed.
  • the positional relationship between the imaging areas of the two imaging units which is necessary for angle adjustment for holding the positional relationship of the imaging areas of the two imaging units constant regardless of the subject distance, is two.
  • acquired images are obtained by image processing for comparing captured images
  • a sensor may be used to recognize a change in subject distance instead of or in addition to such image processing.
  • the change condition of the subject distance can be estimated, and the change direction and the change width of the optical axis tilt angle can be obtained and used for angle adjustment. it can.
  • the endoscope according to the present invention and the endoscope system including the same can maintain the positional relationship between the imaging regions of the two imaging units constant even when the distance to the subject is different, and the image can be obtained.
  • An endoscope for imaging the inside of an object to be observed which can not be observed directly from the outside, and an endoscope which has an effect that it is possible to avoid that the real resolutions of two images viewed by the left and right eyes differ greatly It is useful as a provided endoscope system or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】被写体までの距離が異なる場合でも、２つの撮像部の撮像領域の位置関係を一定に保持することができるようにする。 【解決手段】観察対象の内部に挿入される挿入部１１と、この挿入部の先端部１２に並べて設けられた第１の撮像部１３および第２の撮像部１４と、この第１の撮像部および第２の撮像部による撮像画像から３次元画像を生成する制御部２１と、を備え、第１の撮像部は、その第１の撮像部および第２の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられたものとする。特に、第１の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部２８と、この角度操作部の操作に応じて第１の撮像部の光軸の傾斜角度を変更する角度調整機構１６と、を備えたものとする。

Description

内視鏡およびこれを備えた内視鏡システム
　本発明は、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムに関し、特に、通常の２次元表示とともに３次元表示にも対応した内視鏡およびこれを備えた内視鏡システムに関するものである。
　医療における手術や検査の際に人の体内の臓器などを観察するために内視鏡が広く用いられている。このような内視鏡には、体内に挿入される挿入部の先端部に撮像部を設け、この撮像部で撮像された画像をモニターに表示させるようにしたものがあるが、撮像部を２つ設けて、３次元モニターを用いて画像を３次元表示するようにすると、臓器などの被写体を立体的に観察することができるため、手術や検査の効率を向上させることができる。
　このような３次元表示を可能にした内視鏡として、広角な撮像部と狭角な撮像部とを備え、広角な撮像部により取得した画像を用いて２次元表示を行うとともに、広角な撮像部および狭角な撮像部により取得した画像を用いて３次元表示を行うようにした技術が知られている（特許文献１参照）。この技術では、３次元表示された画像で、手術部位を詳細にかつ立体的に観察することができ、２次元表示された画像で、手術部位の周辺の広い範囲を観察することができる。
特開平９－００５６４３号公報
　さて、前記従来の技術では、広角な撮像部による撮像画像から、狭角な撮像部の撮像領域に対応した領域を切り出し、これにより得られた切り出し画像と、狭角な撮像部による撮像画像とから、３次元画像、すなわち３次元表示する際に左右の目で見る２つの画像を生成するようにしているが、内視鏡を動かすことで撮像部から被写体までの距離が変化すると、２つの撮像部の撮像領域の位置関係が変化するため、３次元画像の生成に用いる２つの画像に写った被写体の領域がずれて、適切な３次元画像を生成することができないという問題があった。
　また、前記従来の技術では、広角な撮像部による撮像画像を、画素を補間する処理により拡大した上で、狭角な撮像部の撮像領域に対応した領域を切り出すことで、狭角な撮像部による撮像画像と同じ大きさとなるようにしている。このため、３次元表示する際に左右の目で見る２つの画像の実解像度が大きく異なる状態となり、このような画像を長時間見続けると疲労が進むため、長時間にわたる手術に用いることは望ましくないという問題があった。
　本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、被写体までの距離が異なる場合でも、２つの撮像部の撮像領域の位置関係を一定に保持することができ、また、画像を３次元表示する際に、左右の目で見る２つの画像の実解像度が大きく異なることを避けることができるように構成された内視鏡およびこれを備えた内視鏡システムを提供することにある。
　本発明の内視鏡は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第１の撮像部および第２の撮像部と、この第１の撮像部および第２の撮像部による撮像画像から３次元画像を生成する画像処理部と、を備え、前記第１の撮像部は、その第１の撮像部および前記第２の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられた構成とする。
　また、本発明の内視鏡システムは、前記の内視鏡と、画像を２次元表示する第１の表示装置と、画像を３次元表示する第２の表示装置と、前記内視鏡から出力される２次元画像データおよび３次元画像データに基づいて前記第１の表示装置および前記第２の表示装置に画像を同時に表示させる表示制御装置と、を備えた構成とする。
　本発明によれば、第１の撮像部の光軸の傾斜角度を変化させることで、２つの撮像部の配列方向に第１の撮像部の撮像領域を移動させることができ、これにより、被写体までの距離が異なる場合でも、２つの撮像部の撮像領域の位置関係を一定に保持することができる。このため、被写体との距離に関係なく、常に適切な３次元画像を得ることができる。
第１実施形態に係る内視鏡システムを示す全体構成図 挿入部１１の先端部１２を示す断面図 挿入部１１の先端部１２を示す正面図 第１の撮像部１３の光軸の傾斜角度を変更する角度調整機構１６を示す模式的な側面図 角度調整機構１６を駆動する制御系の概略構成を示すブロック図 撮像制御部２６の概略構成を示すブロック図 撮像制御部２６における画像の処理状況を示す説明図 ２つの撮像部１３，１４の各撮像領域Ａ１，Ａ２の状況を模式的に示す側面図および平面図 被写体距離が変化する場合の撮像領域Ａ１，Ａ２の状況を模式的に示す側面図および平面図 第２実施形態に係る内視鏡における撮像制御部２６のブロック図 撮像位置検出部６２での撮像領域Ａ１，Ａ２の位置関係を求める要領を説明する模式的な側面図および平面図 第１の撮像部１３の光軸傾斜角度θに応じた距離ＸＬ，ＸＲの変化状況をグラフで示す説明図 第３実施形態に係る内視鏡の要部を示す斜視図
　前記課題を解決するためになされた第１の発明は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第１の撮像部および第２の撮像部と、この第１の撮像部および第２の撮像部による撮像画像から３次元画像を生成する画像処理部と、を備え、前記第１の撮像部は、その第１の撮像部および前記第２の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられた構成とする。
　これによると、第１の撮像部の光軸の傾斜角度を変化させることで、２つの撮像部の配列方向に第１の撮像部の撮像領域を移動させることができ、これにより、被写体までの距離が異なる場合でも、２つの撮像部の撮像領域の位置関係を一定に保持することができる。このため、被写体との距離に関係なく、常に適切な３次元画像を得ることができる。
　また、第２の発明は、前記第１の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部と、この角度操作部の操作に応じて前記第１の撮像部の光軸の傾斜角度を変更する角度調整機構と、をさらに備えた構成とする。
　これによると、使用中、すなわち挿入部を観察対象の内部に挿入した状態で、被写体までの距離が変化するのに応じて、第１の撮像部の光軸の傾斜角度を変更することができるため、利便性が向上する。
　また、第３の発明は、前記第１の撮像部は、広角な光学系を有し、前記第２の撮像部は、狭角な光学系を有し、前記画像処理部は、前記第１の撮像部により取得した第１の撮像画像から２次元画像を生成するとともに、前記第２の撮像部の撮像領域に対応する領域を前記第１の撮像画像から切り出して得られた切り出し画像と、前記第２の撮像部により取得した第２の撮像画像とから３次元画像を生成する構成とする。
　これによると、広角な光学系を有する第１の撮像部が被写体の広い領域を撮像し、この第１の撮像部による撮像画像が２次元表示に供される。この２次元表示された画像では、被写体の広い範囲を観察することができ、特に、これを手術の際に補助者や研修者が見ることで、手術部位の周辺を広く観察することができるため、手術の補助および研修の効果を高めることができる。一方、狭角な光学系を有する第２の撮像部が被写体の狭い領域を撮像し、この第２の撮像部による撮像画像と切り出し画像とが３次元表示に供される。この３次元表示された画像では、被写体を詳細にかつ立体的に観察することができる。特に、これを手術の際に術者が見ることで、手術部位を立体的に認識して、手術の能率を高めることができる。
　特に、第１の撮像部が被写体の広い領域を撮像するとともに、この第１の撮像部の光軸の傾斜角度を変更することで撮像領域を移動させることができるため、被写体をより一層広く観察することができる。特に、第１の撮像部の撮像領域に第２の撮像部の撮像領域が含まれる範囲内で、第１の撮像部の撮像領域を移動させれば、３次元画像に変化は現れないため、手術の際には、術者が見る３次元画像の表示領域を動かすことなく、補助者や研修者の必要に応じて２次元画像の表示領域を自由に動かすことができる。
　また、第４の発明は、前記第１の撮像部は、高解像度な撮像素子を有し、前記第２の撮像部は、低解像度な撮像素子を有する構成とする。
　これによると、広角な光学系を有する第１の撮像部が高解像度な撮像素子を有するため、被写体の広い領域を高精細に観察することができる。また、第２の撮像部が低解像度な撮像素子を有することから小型となるため、挿入部の先端部の外径を小さくすることができる。また、第１の撮像部が高解像度な撮像素子を有することから大型となるため、挿入部の先端部の外径を大きくすることなく、角度調整機構を容易に設けることができる。
　また、第５の発明は、前記第１の撮像部および前記第２の撮像部は、前記切り出し画像と前記第２の撮像画像とが略同一の画素数となるように設定された構成とする。
　これによると、画像を３次元表示する際に、左右の目で見る２つの画像の実解像度が略等しくなる。このため、３次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。
　また、第６の発明は、前記第１の撮像部の撮像領域と前記第２の撮像部の撮像領域とが所定の位置関係となるように前記第１の撮像部の光軸の傾斜角度を制御する制御部をさらに備えた構成とする。
　これによると、第１の撮像部の撮像領域と第２の撮像部の撮像領域との位置合わせの作業が不要となり、使い勝手が向上する。
　また、第７の発明は、前記制御部は、前記第１の撮像画像と前記第２の撮像画像とを比較して、前記第１の撮像部の撮像領域と前記第２の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第１の撮像部の光軸の傾斜角度を制御する構成とする。
　これによると、センサなどを特別に設けることなく、２つの撮像部の撮像領域の位置関係を検出することができるため、構成を複雑にすることなく、第１の撮像部の光軸の傾斜角度を適切に制御することができる。
　また、第８の発明は、観察対象の内部に挿入される挿入部と、この挿入部の先端部に並べて設けられた第１の撮像部および第２の撮像部と、この第１の撮像部および第２の撮像部による撮像画像から３次元画像を生成する画像処理部と、を備え、前記第１の撮像部は、広角な光学系と、高解像度な撮像素子と、を有し、前記第２の撮像部は、狭角な光学系と、低解像度な撮像素子と、を有し、前記画像処理部は、前記第１の撮像部により取得した第１の撮像画像から２次元画像を生成するとともに、前記第２の撮像部の撮像領域に対応する領域を前記第１の撮像画像から切り出して得られた切り出し画像と、前記第２の撮像部により取得した第２の撮像画像とから３次元画像を生成し、前記第１の撮像部および前記第２の撮像部は、前記切り出し画像と前記第２の撮像画像とが略同一の画素数となるように設定された構成とする。
　これによると、画像を３次元表示する際に、左右の目で見る２つの画像の実解像度が略等しくなる。このため、３次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。
　また、第９の発明は、前記の内視鏡と、画像を２次元表示する第１の表示装置と、画像を３次元表示する第２の表示装置と、前記内視鏡から出力される２次元画像データおよび３次元画像データに基づいて前記第１の表示装置および前記第２の表示装置に画像を同時に表示させる表示制御装置と、を備えた構成とする。
　これによると、手術の際に、画像が３次元表示された第２の表示装置の画面を術者が見ることで、手術部位を立体的に認識することができるため、手術の能率を高めることができ、これと同時に、画像が２次元表示された第１の表示装置の画面を補助者や研修者が見ることで、手術の補助および研修の効果を高めることができる。
　以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
　図１は、第１実施形態に係る内視鏡システムを示す全体構成図である。この内視鏡システムは、人の身体（観察対象）の内部の臓器などの被写体を撮像するために身体の内部に挿入される内視鏡１と、画像を２次元表示する２次元モニター（第１の表示装置）２と、画像を３次元表示する３次元モニター（第２の表示装置）３と、２次元モニター２および３次元モニター３の画像表示を制御するコントローラ（表示制御装置）４と、を有している。
　内視鏡１は、いわゆる硬性内視鏡であり、身体の内部に挿入される挿入部１１が屈曲不能となっている。この挿入部１１の先端部１２には、被写体を撮像する第１の撮像部１３と第２の撮像部１４とが並べて設けられている。第１の撮像部１３は、光軸の傾斜角度を変更可能に設けられており、挿入部１１には、第１の撮像部１３の光軸の傾斜角度を変更する角度調整機構１６が設けられている。また、挿入部１１の先端部１２には、被写体を照明する照明部１５が設けられている。
　挿入部１１の先端部１２と相反する側には、本体部１７が設けられている。この本体部１７には、角度調整機構１６を駆動する２つの電動モータ１８，１９と、照明部１５に照明光を送る光源２０と、撮像部１３，１４、電動モータ１８，１９および光源２０を制御する制御部２１と、を有している。光源２０は、ＬＥＤなどからなり、照明部１５と光ファイバーケーブル２２で接続されており、光源２０が発する光が光ファイバーケーブル２２を通って照明部１５から出射される。
　制御部２１は、電動モータ１８，１９を制御して第１の撮像部１３の光軸の傾斜角度を変更する角度制御部２５と、２つの撮像部１３，１４を制御するともにその撮像部１３，１４から出力される撮像画像を処理する撮像制御部２６と、光源２０を制御する照明制御部２７と、を有している。
　制御部２１には、角度操作部２８が接続されている。この角度操作部２８は、ユーザーが第１の撮像部１３の光軸の傾斜角度を変更する操作を行うものであり、ジョイスティックやトラックボール等の位置入力装置で構成されており、この角度操作部２８の操作に応じて第１の撮像部１３の光軸の傾斜角度が変更される。
　コントローラ４は、内視鏡１から出力される２次元画像データおよび３次元画像データに基づいて２次元モニター２および３次元モニター３に表示制御データを出力するものであり、２次元モニター２および３次元モニター３にそれぞれ２次元画像および３次元画像が同時に表示され、被写体を２次元的および３次元的に観察することができるようになっている。
　２次元モニター２および３次元モニター３は、例えば液晶ディスプレイで構成され、２次元モニター２は、手術の際に補助者や研修者などの多数の人が見るために大画面となっており、３次元モニター３は、手術の際に術者などの少数の人が見るために小画面となっている。特に３次元モニター３は術者の使用を考慮するとＨＭＤ（Head Mounted Display）を採用してもよい。
　図２は、挿入部１１の先端部１２を示す断面図である。なお、この図２などに示すＸ方向、Ｙ方向およびＺ方向は互いに直交する３方向である。
　挿入部１１の先端部１２では、円筒状のカバー３１の内部に第１の撮像部１３および第２の撮像部１４が収容されている。第１の撮像部１３は、撮像素子３３と、複数のレンズからなる光学系３４と、これらを保持するホルダ３５と、を有している。この第１の撮像部１３のホルダ３５は、カバー３１に回動可能に保持されている。第１の撮像部１３の前面側にはカバーガラス３６が設けられている。第２の撮像部１４は、撮像素子３７と、複数のレンズからなる光学系３８と、これらを保持するホルダ３９と、を有している。第２の撮像部１４の前面側にはカバーガラス４０が設けられている。
　第１の撮像部１３の光学系３４は広角に構成され、第２の撮像部１４の光学系３８は狭角に構成されている。例えば第１の撮像部１３では画角（Field of View）が１５０度、第２の撮像部１４では画角が５０度となっている。
　第１の撮像部１３の撮像素子３３は高解像度（高画素数）に構成され、第２の撮像部１４の撮像素子３７は低解像度（低画素数）に構成されている。例えば第１の撮像部１３では解像度（画素数）が１９２０×１０８０（ＦｕｌｌＨＤ）、第２の撮像部１４では解像度（画素数）が３２０×２４０（ＱＶＧＡ）となっている。各撮像素子３３，３７は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）で構成されている。
　このように第２の撮像部１４の撮像素子３７を低解像度に構成することで、第２の撮像部１４が小型となるため、挿入部１１の先端部１２の外径を小さくすることができる。また、第１の撮像部１３の撮像素子３３を高解像度に構成することで、第１の撮像部１３が大型となるため、挿入部１１の先端部１２の外径を大きくすることなく、角度調整機構１６を容易に設けることができる。
　図３は、挿入部１１の先端部１２を示す正面図である。第１の撮像部１３および第２の撮像部１４はＸ方向に並べて設けられている。照明部１５は第２の撮像部１４の両側に２つ設けられている。
　図４は、第１の撮像部１３の光軸の傾斜角度を変更する角度調整機構１６を示す模式的な側面図であり、図４（Ａ）にＹ方向から見た状態を、図４（Ｂ）にＸ方向から見た状態を、それぞれ示す。なお、ここでは、挿入部１１の先端部１２側を前側、本体部１７側を後側として説明する（図１参照）。
　角度調整機構１６は、第１の撮像部１３のホルダ３５に前端が連結された４本の中継ロッド４１ａ～４１ｄと、この４本の中継ロッド４１ａ～４１ｄの後端が連結された中継部材４２と、この中継部材４２をその中心部を中心にして傾動可能に支持する支持シャフト４３と、この支持シャフト４３を支持するガイド部材４４と、中継部材４２に前端が連結された２本の駆動ロッド４５ａ，４５ｂと、中継部材４２に前端が連結されるとともにガイド部材４４に後端が連結された２つのばね４６ａ，４６ｂと、を有している。
　４本の中継ロッド４１ａ～４１ｄは、挿入部１１の長手方向（Ｚ方向）に延在する態様で互いに平行に配置されるとともに、第１の撮像部１３の光軸に一致する中心線を中心とした周方向に等間隔（９０度）をおいて配置されており、２本の中継ロッド４１ａ，４１ｂがＸ方向に並び、２本の中継ロッド４１ｃ，４１ｄがＹ方向に並ぶ。
　支持シャフト４３は球面部４７を有し、中継部材４２の中心部には、球面部４７と相互補完的な球面をなす受け部４８が形成されており、中継部材４２が球面部４７の中心を中心にして回動する。この中継部材４２の回動運動は中継ロッド４１ａ～４１ｄを介して第１の撮像部１３に伝達され、中継部材４２の回動に応じて第１の撮像部１３が回動する。
　２本の駆動ロッド４５ａ，４５ｂは、挿入部１１の長手方向（Ｚ方向）に延在する態様で互いに平行に配置されるとともに、２本の中継ロッド４１ａ，４１ｃの延長線上に概ね位置するように配置されている。また、この２本の駆動ロッド４５ａ，４５ｂは、ガイド部材４４の貫通孔４９に挿通されており、各駆動ロッド４５ａ，４５ｂの後端はそれぞれ電動モータ１８，１９に連結されており（図１参照）、各駆動ロッド４５ａ，４５ｂが独立して電動モータ１８，１９により長手方向に進退するように駆動される。
　２つのばね４６ａ，４６ｂは、２本の駆動ロッド４５ａ，４５ｂの各々と対をなし、第１のばね４６ａと第１の駆動ロッド４５ａとがＸ方向に並び、第２のばね４６ｂと第２の駆動ロッド４５ｂとがＹ方向に並ぶ。この２つのばね４６ａ，４６ｂは、引張状態で中継部材４２およびガイド部材４４に取り付けられており、各ばね４６ａ，４６ｂが連結された中継部材４２の部分を後方に付勢する。
　このばね４６ａ，４６ｂの付勢力は、各駆動ロッド４５ａ，４５ｂを前方に引くように作用し、各駆動ロッド４５ａ，４５ｂの移動が電動モータ１８，１９により拘束されることで、中継部材４２が支持シャフト４３の球面部４７に当接した状態に保持される。電動モータ１８，１９により各ばね４６ａ，４６ｂの付勢力に抗して各駆動ロッド４５ａ，４５ｂを後方に移動させると中継部材４２が回動し、また、各駆動ロッド４５ａ，４５ｂを前方に移動させると中継部材４２が逆向きに回動する。
　以上のように構成された角度調整機構１６では、図４（Ａ）に示すように、電動モータ１８，１９の一方により第１の駆動ロッド４５ａを前後に移動させると、中継部材４２の回動に応じて第１の撮像部１３がＹ方向の軸周りに回動し、図４（Ｂ）に示すように、電動モータ１８，１９の他方により第２の駆動ロッド４５ｂを前後に移動させると、第１の撮像部１３がＸ方向の軸周りに回動する。このように第１の撮像部１３はＸ方向およびＹ方向の仮想的な２軸周りに回動して、第１の撮像部１３の光軸の傾斜角度を任意の方向に変化させることができる。
　図５は、角度調整機構１６を駆動する制御系の概略構成を示すブロック図である。制御部２１の角度制御部２５は、２つの電動モータ１８，１９をそれぞれ制御する２つのモータコントローラ５１，５２を有し、各モータコントローラ５１，５２は制御信号をモータドライバ５３，５４に出力して各電動モータ１８，１９を駆動する。２つの電動モータ１８，１９はそれぞれ、図４に示した２本の駆動ロッド４５ａ，４５ｂに連結されており、第１の撮像部１３のＸ方向およびＹ方向の２軸周りの回動位置が個別に制御される。
　また、図５に示したように、角度制御部２５には、２つの原点センサ５５，５６の検出信号と、角度操作部２８の操作信号が入力される。原点センサ５５，５６は、各電動モータ１８，１９の出力軸の原点位置をそれぞれ検出するものである。角度制御部２５のモータコントローラ５１，５２では、原点センサ５５，５６の検出信号と角度操作部２８の操作信号に基づいて、２つの電動モータ１８，１９の回転方向および回転量が制御される。
　なお、２つの原点センサ５５，５６で検出される各電動モータ１８，１９の出力軸の原点位置は、図２に示したように、挿入部１１の長手方向（Ｚ方向）に平行となる第２の撮像部１４の光軸に対して、第１の撮像部１３の光軸が平行となる初期位置に対応し、ステッピングモータで構成される電動モータ１８，１９の駆動パルス数に基づいて、初期位置を基準にした第１の撮像部１３の回動位置、すなわち光軸の傾斜角度を制御することができる。
　さて、上述の例では、本体部１７の角度制御部２５に設けられたＸ（Ｙ）原点センサ５５（５６）で撮像部１３の回動原点を検出し、その後に電動モータ１８，１９に印加されたパルス数をもって相対的に回転角度を検出するが、この構成はいわゆるオープンループであり、一般に駆動源と制御対象の間の機構要素が複雑であるほど実質的な検出精度が低下する。このように検出精度が問題となる場合は、例えば図４（Ａ）に示すように回動可能に構成された第１の撮像部１３の底部に磁石９１と、これに対向して例えばホール素子で構成される磁気センサ９２を設け、当該磁気センサ９２の出力に基づいて回転角度を検出するとよい。この構成によれば、Ｘ（Ｙ）原点センサ５５（５６）で原点を検出した際の磁気センサ９２の出力によって原点の初期化を行い、この後の磁気センサ９２の相対的な出力変化に基づいて回転角度を求めることができる。また回転方向は、電動モータ１８，１９に出力する制御パルスによって一意に定まる。この構成によって制御対象のごく近傍に配置された検出系に基づいてフィードバックループが形成されるため、回転角度を極めて高精度に検出でき、更に検出した回転角度に基づいて正確な位置決めをすることができる。
　図６は、撮像制御部２６の概略構成を示すブロック図である。撮像制御部２６は、画像信号処理部６１と、撮像位置検出部６２と、画像切出部６３と、２次元画像処理部６４と、３次元画像処理部６５と、を有している。
　画像信号処理部６１は、いわゆるＩＳＰ（Imaging Signal Processor）で構成され、ノイズリダクション、色補正、γ補正などの前処理を実行する２つの前処理部６６，６７を有する。この２つの前処理部６６，６７では、２つの撮像部１３，１４から出力される画像信号が並行して処理されて、第１の撮像画像および第２の撮像画像が出力される。また、この画像信号処理部６１は、２つの撮像部１３，１４を同期して動作させる機能も有する。
　撮像位置検出部６２では、第１の撮像画像と第２の撮像画像とを比較して、第１の撮像部１３の撮像領域と第２の撮像部１４の撮像領域との位置関係を検出する処理が行われる。ここでは、例えば第１の撮像画像および第２の撮像画像でそれぞれ特徴点を抽出して、その特徴点の対応関係から、第１の撮像画像および第２の撮像画像にそれぞれに写った被写体の像が整合する位置を求める。
　画像切出部６３では、撮像位置検出部６２で検出された２つの撮像領域の位置関係に基づいて、狭角な光学系３８でかつ低画素数の撮像素子３７を備える第２の撮像部１４の撮像領域に対応する領域を、広角な光学系３４でかつ高画素数の撮像素子３３を備える第１の撮像画像から切り出す処理が行われる。これにより、画像切出部６３で得られた切り出し画像と第２の撮像画像とは、被写体の同一の領域が写ったものとなる。
　２次元画像処理部６４は、第１の撮像画像を処理して２次元画像を出力するものであり、２次元画像生成部６８と後処理部６９とを有している。３次元画像処理部６５は、第２の撮像画像と画像切出部６３から出力される切り出し画像とを処理して３次元画像を出力するものであり、２つのキャリブレーション部７１，７２と３次元画像生成部７３と後処理部７４とを有している。２次元画像処理部６４および３次元画像処理部６５では処理が並行して行われ、また、コントローラ４でも２つの画処理部７５，７６で処理が並行して行われ、２次元画像および３次元画像が２次元モニター２および３次元モニター３に同時に表示される。
　３次元画像生成部６５では、右目用画像および左目用画像からなる３次元画像を生成する処理が行われ、切り出し画像および第２の撮像画像の一方が右目用画像となり、他方が左目用画像となる。
　さて、一般に立体視の技術においてキャリブレーションというときは、基準画像を特定の撮像条件（被写体までの距離や明るさ等を一定にした条件）で撮像した結果に基づき、画像回転や倍率誤差を補正するパラメータを算出しておき、このパラメータに基づく固定的な処理を指すことが多いが、キャリブレーション部７１，７２では、３次元画像を左右の目で見たときに違和感を生じないように２つの画像を調整する処理が行われる。即ち、キャリブレーション部７１，７２は、少なくとも一方の画像に対して拡大又は縮小処理を行なうことで左右２つの画像サイズ（主・副走査方向の画素数）を同一にするリサイズ処理、左右２つの画像のうち少なくとも一方に対して行なう３次元軸（Ｘ軸，Ｙ軸，Ｚ軸）方向へのシフト及びこれら３軸周りの回転処理、撮像部の光軸が交差する撮像系（交差法）において生じるキーストン歪の補正処理等をリアルタイムで実行する。
　なお、撮像制御部２６では２次元画像および３次元画像が所定のフレームレートで動画として出力されるが、静止画として出力することも可能であり、この場合、複数のフレーム画像から元の解像度より高い解像度の静止画を生成する超解像処理を行うようにしてもよい。
　図７は、撮像制御部２６における画像の処理状況を示す説明図である。本実施形態では、画像切出部６３で第１の撮像画像から切り出す画像と第２の撮像画像の画素数は完全同一（例として３２０×２４０画素）とされている。そして画像サイズを同一としたときに切り出し画像と第２の撮像画像とで、倍率（即ち、画面の主・副走査方向サイズに対して被写体が占める長さ）が略同一となるように、２つの撮像部１３，１４の撮像素子３３，３７の光軸方向における位置関係および光学系３４，３８の倍率等が設定されている（図２参照）。
　しかしながら、実際の倍率調整等には不完全性が伴う。従って、上述のように二つの画像のサイズを同一とすると、画像切出部６３で第２の撮像画像に対応する領域を切出した場合に画像の倍率が異なることがある。このときキャリブレーション部７１，７２によって、少なくとも一方の画像がリサイズされるが、いずれの画像も同一サイズ（３２０×２４０画素）であるから、それぞれの画像に含まれる同一の特徴点の距離に基づいて拡大率を算出し、倍率が小さい画像を大きい方の画像に合わせて拡大処理し、更に拡大処理で発生した余分な周辺領域を除去することで、画像サイズを一定（３２０×２４０画素）に維持すればよい。
　なお、光学系の調整不備等に起因して二つの画像の倍率が異なることで、対応する領域を切出そうとすると、結果的に画像サイズが異なることがある。この場合は、画像切出部６３において、第１の撮像画像から第２の撮像画像に対応する領域を切出す際に、切出す画素数と第２の撮像画像の画素数とが異なるようにしてもよい。このときキャリブレーション部７１，７２によって、少なくとも一方の画像がリサイズされるが、切出す画像が３２０×２４０画素よりも大きい場合は、二つの画像の同一特徴点の位置に基づき縮小率を算出した上で切出した画像を縮小処理する。これによって画像サイズを一定に維持するとともに、解像度の劣化を防止できる。一方、切出した画像が３２０×２４０画素よりも小さい場合は、同様に、切出した画像を拡大処理する。これによって画像サイズを一定に維持することができる。
　第１の撮像画像および第２の撮像画像の画素数は、２つの撮像部１３，１４の各撮像素子３３，３７の解像度に依存し、切り出し画像の画素数は、第１の撮像部１３の光学系３４の画角や倍率、撮像素子３３の画素の大きさに依存し、これらの条件を適切に設定することで、理論上は切り出し画像と第２の撮像画像とが略同一の画素数となるようにすることができる。
　ここで、撮像素子３３，３７の画素の大きさや光学系３４，３８の倍率を同一として簡略化した具体例を説明する。前記のように、第１の撮像部１３では、画素数が１９２０×１０８０となる撮像素子３３を用い、第２の撮像部１４では、画素数が３２０×２４０となる撮像素子３７を用いた場合、同一の被写体に対して第１の撮像部１３で撮像領域が１９２ｍｍ×１０８ｍｍとなるときに、第２の撮像部１４で撮像領域が３２ｍｍ×２４ｍｍとなるように、２つの撮像部１３，１４の光学系３４，３８の画角を設定する。具体的には、第１の撮像部１３と第２の撮像部１４の光軸方向の位置関係や、光学系と撮像素子３３，３７の位置関係を調整する。これにより、画像サイズを撮像領域と同一とすると、第１の撮像画像および第２の撮像画像では、１つの画素の大きさがともに１００μｍ×１００μｍとなり、切り出し画像と第２の撮像画像とで画素の実サイズを同一とすることができる。このとき、第１の撮像部１３の画角は１４０度、第１の撮像部１３の画角は５０度となる。
　このように切り出し画像と第２の撮像画像とが略同一の画素数となるようにすると、３次元モニター３で画像を３次元表示する際に、左右の目で見る２つの画像の実解像度が略等しくなる。このため、３次元表示された画像を長時間見続けた際に生じる疲労を軽減することができる。また、切出した画像と第２の撮像画像の画素数を略同一とすることで、画像処理に用いるハードリソースを低減することができる。
　なお、図６に示したように、画像切出部６３の後段にキャリブレーション部７１，７２があり、ここで２つの画像にそれぞれ写った被写体の大きさが一致するように補正する処理が行われるため、切り出し画像と第２の撮像画像の画素数を厳密に一致させる必要はないが、できるだけ近似した画素数となるようにするとよい。また、これと同じ事情で、撮像位置検出部６２では、第１の撮像画像と第２の撮像画像との位置関係を厳密に求める必要はなく、概略位置を求めることで足りる。
　図８は、２つの撮像部１３，１４の各撮像領域Ａ１，Ａ２の状況を模式的に示す側面図および平面図である。前記のように、第１の撮像部１３は広角な光学系３４を有し、第２の撮像部１４は狭角な光学系３８を有し、第１の撮像部１３の画角α１が第２の撮像部１４の画角α２より大きくなっており、第１の撮像部１３の撮像領域（以下、適宜に「第１の撮像領域」と呼称する）Ａ１は、第２の撮像部１４の撮像領域（以下、適宜に「第２の撮像領域」と呼称する）Ａ２より大きくなる。
　被写体Ｓの広い領域を撮像する第１の撮像部１３による撮像画像は２次元表示に供され、この２次元表示された画像で、被写体Ｓの広い範囲を観察することができる。また、第１の撮像部１３は高解像度な撮像素子３３を有し、被写体Ｓの広い領域を高精細に観察することができる。このため、手術の際に補助者や研修者が見る場合には、手術部位の周辺を広くかつ詳細に観察することができるので、手術の補助および研修の効果を高めることができる。
　一方、被写体Ｓの狭い領域を撮像する第２の撮像部１４による撮像画像は３次元表示に供され、この３次元表示された画像で、被写体Ｓを詳細にかつ立体的に観察することができる。このため、手術の際に術者が見る場合には、手術部位を立体的に認識することができるので、リスクを低減しつつ手術の能率を高めることができる。
　また、第１の撮像部１３をＸ方向およびＹ方向の２軸周りに回動させることができるため、光軸の傾斜角度を任意の方向に変化させて、第１の撮像領域Ａ１を任意の方向に移動させることができる。すなわち、第１の撮像部１３をＸ方向の軸周りに回動させると、第１の撮像領域Ａ１がＹ方向に移動し、第１の撮像部１３をＹ方向の軸周りに回動させると、第１の撮像領域Ａ１がＸ方向に移動し、第１の撮像部１３をＸ方向およびＹ方向の２軸周りに回動させると、第１の撮像領域Ａ１が斜め方向に移動する。
　このため、ユーザーは２次元モニター２の画面を見ながら角度操作部２８を操作して、第１の撮像部１３の光軸の傾斜角度を変化させると、第１の撮像領域Ａ１を所要の方向に移動させることができ、これにより被写体Ｓをより一層広く観察することができ、特に、第１の撮像領域Ａ１に第２の撮像領域Ａ２が含まれる範囲内であれば、第１の撮像領域Ａ１を移動させても、第２の撮像領域Ａ２は移動しないため３次元画像に変化は現れない。このため、手術の際には、術者が見る３次元画像の表示領域を動かすことなく、補助者や研修者の必要に応じて２次元画像の表示領域を自由に動かすことができる。
　なお、第１の撮像領域Ａ１の移動に伴い、画像切出部６３は第１の撮像画像の異なる位置から画像を切出すことになる。この場合も、二つの画像の特徴点マッチングに基づいて画像を切出す範囲が決定される。
　なお、術者が見る３次元画像の表示領域を動かす、すなわち第２の撮像領域Ａ２を移動させるには、挿入部１１の先端部１２全体を動かす必要がある。
　図９は、被写体距離が変化する場合の撮像領域Ａ１，Ａ２の状況を模式的に示す側面図および平面図である。被写体距離（撮像部１３，１４から被写体Ｓまでの距離）Ｌが変化すると、２つの撮像部１３，１４の撮像領域Ａ１，Ａ２の大きさが変わると同時に、撮像領域Ａ１，Ａ２の位置関係が変化し、特に第１の撮像領域Ａ１が、２つの撮像部１３，１４の配列方向（Ｘ方向、図３参照）にずれる。
　図９に示す例では、被写体ＳがＩで示す位置（被写体距離Ｌ１）にあるとき、第２の撮像領域Ａ２に対して第１の撮像領域Ａ１が図中左寄りの位置となり、被写体ＳがIIで示す位置（被写体距離Ｌ２）にあるとき、第２の撮像領域Ａ２に対して第１の撮像領域Ａ１が図中右寄りの位置となる。
　ここで、第１の撮像部１３のＸ方向の軸周りの回動位置を初期位置とすると、２つの撮像部１３，１４の撮像領域Ａ１，Ａ２の中心位置はＹ方向に関して一致する。この状態で、第１の撮像部１３をＹ方向の軸周りに回動させて光軸傾斜角度θを変化させると、第１の撮像領域Ａ１をＸ方向に移動させることができ、これにより、第２の撮像領域Ａ２が第１の撮像領域Ａ１内の所定位置（例えば中心位置）とすることができる。
　図９に示す例で、第２の撮像領域Ａ２を第１の撮像領域Ａ１内の中心位置とするには、被写体ＳがＩで示す位置にある場合には、光軸傾斜角度θを大きくすればよく、被写体ＳがIIで示す位置にある場合には、光軸傾斜角度θを小さくすればよい。
　このように、第１の撮像部１３の光軸傾斜角度θを調整することで、２つの撮像部１３，１４の配列方向（Ｘ方向）に第１の撮像領域Ａ１を移動させることができる。このため、被写体距離Ｌが変化した場合でも、２つの撮像部１３，１４の撮像領域Ａ１，Ａ２の位置関係を一定に保持することができ、被写体距離Ｌに関係なく、常に適切な３次元画像を得ることができる。
　以降、図９を用いてステレオ画像の生成について説明する。説明を簡単にするため、被写体Ｓ’が他の被写体Ｓの面（水平面）からθ／２だけ傾斜している状態を仮定する。この前提では、第１の撮像部１３及び第２の撮像部１４の光軸は被写体Ｓ’の面の法線からそれぞれθ／２だけ傾斜している。被写体Ｓ’に対して二つの撮像部の光軸はそれぞれ等しい角度だけ傾斜しているので、第１の撮像部１３の光軸と第２の撮像部１４の光軸が交差する被写体Ｓ’の面上では、第２の撮像領域Ａ２は第１の撮像領域Ａ１内の中心位置に存在する。しかしながら、この面上において光軸が交差する点は、いずれの撮像素子においても中心に投影されているから、同一の特徴点を異なる撮像素子で観測したときの画素位置の差分である視差はゼロということになる。
　視差がゼロであるとステレオ視にはならないため、３次元画像処理部７３（図６参照）では、２つの画像をＸ軸方向に所定画素数分シフトする処理を行なう。
　さて、既に説明したように、例えば第２の撮像領域Ａ２が第１の撮像領域Ａ１内の中心に位置するように第１の撮像部１３の回転角度が調整されるが、この回転角度の制御は角度調整部２５が電動モータ１８を駆動することで行われ（図１参照）、その回転角度は例えば図４（Ａ）で説明した磁気センサ９１によって計測される。
　回転角度の計測結果に基づき、３次元画像生成部７３（図６参照）は、特定の基線長（例えば人の瞳孔間隔（およそ６５ｍｍとされる））を隔てて撮像された場合に生じる視差の分だけ、これら２つの画像を相対的にＸ軸方向にシフトさせる。具体的には３次元画像生成部７３は、回転角度の計測値に基づきＬＵＴ（Luck Up Table）を参照してシフト量を決定する。
　なお、２つの撮像部１３，１４の撮像領域Ａ１，Ａ２が一部でも重なるようにすれば、重なった領域で３次元表示することができ、必ずしも第２の撮像領域Ａ２を第１の撮像領域Ａ１内の中心位置とする必要はないが、第２の撮像領域Ａ２の全体を３次元表示するには、第１の撮像領域Ａ１内に第２の撮像領域Ａ２が完全に含まれる状態とする必要がある。
　また、第１の撮像部１３は撮像領域Ａ１を広くするために広角な光学系３４を採用しているため、第１の撮像画像の周辺部には歪曲収差が発生しやすくなる。この歪曲収差は、２次元表示する場合にはさほど問題とならないが、３次元表示する場合に、歪曲収差が発生した第１の撮像画像の周辺部を切り出して３次元表示に用いると、画像が見辛くなるおそれがある。このため、３次元表示する場合には、第１の撮像領域Ａ１の周辺部に第２の撮像領域Ａ２が位置しないようにすることが望ましい。
（第２実施形態）
　図１０は、第２実施形態に係る内視鏡における撮像制御部２６のブロック図である。なお、以下で特に言及しない点は第１実施形態と同様である。
　この第２実施形態では、制御部２１において、被写体距離に関係なく、第２の撮像領域が第１の撮像領域内の所定位置に保持されるように、第１の撮像部１３の光軸傾斜角度を自動で調整する制御が行われ、撮像制御部２６には、第２の撮像部１４の撮像領域に対する第１の撮像部１３の撮像領域のオフセット（位置ずれ）を修正する撮像位置補正部８１が設けられている。これにより、２つの撮像部１３，１４の撮像領域の位置合わせの作業が不要となり、使い勝手が向上する。
　撮像位置検出部６２では、第１実施形態と同様に、２つの撮像部１３，１４によりそれぞれ取得した第１の撮像画像および第２の撮像画像とを比較して、２つの撮像部１３，１４の撮像領域の位置関係を検出する処理が行われる。
　撮像位置補正部８１では、撮像位置検出部６２による検出結果に基づいて、第２の撮像部１４の撮像領域に対する第１の撮像部１３の撮像領域のオフセットを修正することができる光軸傾斜角度の目標値を算出する処理が行われ、この撮像位置補正部８１で算出された光軸傾斜角度の目標値が角度制御部２５に出力され、角度制御部２５において実際の光軸傾斜角度が目標値に近づくように電動モータ１８，１９が駆動される。これにより第１の撮像部１３の撮像領域が移動して、第２の撮像部１４の撮像領域が第１の撮像部１３の撮像領域内の所定位置（例えば中心位置）となる。
　なお、撮像位置補正部８１では、一度にオフセットを修正する光軸傾斜角度を、撮像画像の比較のみで求めることが難しい場合もあるため、段階的に光軸傾斜角度を変化させて、光軸傾斜角度の変更と撮像画像の比較とを繰り返しながら、２つの撮像領域が所要の位置関係となる光軸傾斜角度に調整されるようにしてもよい。
　図１１は、撮像位置検出部６２での撮像領域Ａ１，Ａ２の位置関係を求める要領を説明する模式的な側面図および平面図である。なお、ここでは、撮像領域Ａ１，Ａ２について説明するが、撮像位置検出部６２による実際の処理は撮像画像について行われる。
　常に第２の撮像部１４が被写体Ｓの撮像面に正対する、すなわち第２の撮像部１４の光軸が被写体Ｓの撮像面に直交するものと仮定すると、被写体距離Ｌが変化した場合、第２の撮像領域Ａ２の大きさは変化するが、撮像領域Ａ２の中心Ｏ２の位置は変化しない。一方、第１の撮像部１３の光軸が傾いていると、第１の撮像領域Ａ１の位置は、被写体距離Ｌが変化するのに応じて変化する。
　ここでは、第１の撮像領域Ａ１の中心部に第２の撮像領域Ａ２が位置するように位置あわせする際のオフセット状態を表すパラメータとして、第２の撮像領域Ａ２の中心Ｏ２から第１の撮像領域Ａ１の一方の端（図中左端）までの距離ＸＬ、および第２の撮像領域Ａ２の中心Ｏ２から第１の撮像領域Ａ１の他方の端（図中右端）までの距離ＸＲを求める。
　この距離ＸＬ，ＸＲは、次式のように、第１の撮像部１３の画角α１、第１の撮像部１３の光軸傾斜角度θ、および基線長（２つの撮像部１３，１４の間隔）ＢＬから次のように定義される。
ＸＬ＝Ｌ×ｔａｎ（α１／２－θ）＋ＢＬ　　　（式１）
ＸＲ＝Ｌ×ｔａｎ（α１／２＋θ）－ＢＬ　　　（式２）
ここで、ＸＬ≒ＸＲとなるとき、第２の撮像領域Ａ２が第１の撮像領域Ａ１の略中心に位置する。
　したがって、被写体距離Ｌに関係なく、第２の撮像領域Ａ２が第１の撮像領域Ａ１の中心に位置するように保持するには、第２の撮像領域Ａ２の中心Ｏ２から第１の撮像領域Ａ１の両端までの距離ＸＬ，ＸＲを求める。具体的には、まず、特徴点マッチングによって第１の撮像領域Ａ１に含まれる第２の撮像領域の位置を特定し、次に第２の撮像領域の中心Ｏ２の座標を算出し、このＸ座標の値に基づいてＸＬとＸＲを求める。そして、ＸＬ≒ＸＲとなるように第１の撮像部１３の光軸傾斜角度θを調整すればよい。
　図１２は、第１の撮像部１３の光軸傾斜角度θに応じた距離ＸＬ，ＸＲの変化状況をグラフで示す説明図であり、図１２（Ａ）に被写体距離Ｌが１００ｍｍの場合を、図１２（Ｂ）に被写体距離Ｌが３４ｍｍの場合を、それぞれ示す。なお、ここでは、第１の撮像部１３の画角α１を１４０度、基線長ＢＬを５．５ｍｍとしている。
　第２の撮像領域Ａ２の中心Ｏ２から第１の撮像領域Ａ１の端までの距離ＸＬ，ＸＲは、第１の撮像部１３の光軸傾斜角度θに応じて変化する。図１２（Ａ）に示すように、被写体距離Ｌが１００ｍｍの場合には、光軸の傾きθを０．３５度とすると、距離ＸＬ，ＸＲが等しくなり、第２の撮像領域Ａ２が第１の撮像領域Ａ１の中心に位置する。図１２（Ｂ）に示すように、被写体距離Ｌが３４ｍｍの場合には、光軸の傾きθを１．０３度とすると、距離ＸＬ，ＸＲが等しくなり、第２の撮像領域Ａ２が第１の撮像領域Ａ１の中心に位置する。
　このように、被写体距離Ｌが異なると、第２の撮像領域Ａ２が第１の撮像領域Ａ１の中心に位置するときの光軸傾斜角度θが異なり、第２の撮像領域Ａ２を第１の撮像領域Ａ１の中心に位置させるには、距離ＸＬ，ＸＲの差（｜ＸＬ－ＸＲ｜）が小さくなるように光軸傾斜角度θを設定すればよい。具体的には、上述した方法で求めた距離ＸＬ，ＸＲの大小を比較して、図１２（Ａ）に示すように、ＸＬ＜ＸＲであれば、光軸傾斜角度θを小さくすればよく、図１２（Ｂ）に示すように、ＸＬ＞ＸＲであれば、光軸傾斜角度θを大きくすればよい。
　なお、ここでは、第２の撮像領域Ａ２が第１の撮像領域Ａ１の略中心に位置するように光軸傾斜角度θを調整するようにしたが、この撮像領域Ａ１，Ａ２の位置関係はこれに限定されない。すなわち、２つの撮像領域Ａ１，Ａ２に積極的に一定のオフセットを持たせた状態に保持するようにしてもよい。この場合、例えば第２の撮像領域Ａ２の中心Ｏ２に対する第１の撮像領域Ａ１の位置に関する距離ＸＬ，ＸＲの比率（例えばＸＬ／ＸＲ）が一定に保持されるように光軸傾斜角度θを調整すればよい。
（第３実施形態）
　図１３は、第３実施形態に係る内視鏡の要部を示す斜視図である。なお、以下で特に言及しない点は第１実施形態と同様である。
　この第３実施形態では、挿入部９１に、第１の撮像部１３および第２の撮像部１４が設けられた先端部９２が屈曲部９３を介して設けられ、先端部９２が傾動（首振り運動）するように構成されている。挿入部９１を観察対象の内部に挿入した状態で先端部９２を傾動させることで、２つの撮像部１３，１４が一体的に向きを変え、腫瘍部分等の手術部位を様々な方向から観察することができる。
　この第３実施形態では、第１実施形態と同様に、第１の撮像部１３の光軸傾斜角度を変更する角度調整機構を設け、挿入部９１を観察対象の内部に挿入した状態で、先端部９２を傾動させるとともに第１の撮像部１３の光軸傾斜角度を変更することができるように構成してもよい。この場合、先端部９２の傾動範囲内で、屈曲部９３および角度調整機構の各動作が円滑に行われるように構成する必要があり、例えば電動モータで押し引き動作する可撓性を有するケーブルで第１の撮像部１３を回動させる構成とするとよい。
　なお、以上の実施形態では、第１の撮像部１３を２軸周りに回動する構成として、第１の撮像部１３の光軸傾斜角度を任意の方向に変更することができるように構成したが、第１の撮像部１３を１軸周りにのみ回動する構成としてもよい。この場合、２つの撮像部１３，１４の配列方向に第１の撮像部１３の撮像領域を移動させることができるように構成すればよく、図４に示した例では、２つの撮像部１３，１４の配列方向（Ｘ方向）および第２の撮像部１４の光軸方向（Ｚ方向）の双方に略直交する方向（Ｙ方向）の軸周りに回動するように構成すればよい。これにより、被写体距離が変化した場合でも、２つの撮像部１３，１４の撮像領域の位置関係を一定に保持することができる。
　また、本実施形態では、光軸傾斜角度を変更可能に設けられた第１の撮像部１３が、広角な光学系３４と高解像度な撮像素子３３とを有し、光軸傾斜角度を変更不能に設けられた第２の撮像部１４が、狭角な光学系３８と低解像度な撮像素子３７とを有する構成としたが、本発明は、このような組み合わせに限定されるものではない。例えば、光軸傾斜角度を変更可能に設けられた撮像部が、狭角な光学系と低解像度な撮像素子とを有し、光軸傾斜角度を変更不能に設けられた撮像部が、広角な光学系と高解像度な撮像素子とを有する構成としてもよい。この場合、固定された２次元画像の表示領域内で３次元画像の表示領域を動かすことができるようになる。もっとも、高解像度な撮像素子を有する撮像部は比較的大型となって、これを駆動する駆動機構を実装し易いため、高解像度な撮像素子を有する撮像部にのみ角度調整機構を設けることが望ましく、これにより、挿入部の先端部の外径を大きくすることなく、角度調整機構を容易に設けることができる。
　また、本実施形態では、角度調整機構１６を電動モータ１８，１９で駆動する構成としたが、角度調整機構１６を手動操作力で駆動する構成としてもよい。また、本実施形態では、使用中、すなわち挿入部１１を観察対象の内部に挿入した状態で、第１の撮像部１３の光軸の傾斜角度を変更することができるように構成したが、挿入部１１を観察対象の内部に挿入していない不使用状態でのみ角度調整を行うことができるように構成してもよく、これにより構造を簡略化することができる。この場合、被写体である病変部の形状、サイズ等を予めＸ線や超音波を用いて把握すると共に、術式から想定される被写体までの距離に基づき、使用前や定期点検などで事前に角度調整作業を行う。
　また、本実施形態では、２つの撮像部１３，１４により取得した撮像画像から２次元画像および３次元画像を生成して出力する画像処理を、内視鏡１の本体部１７に設けた制御部２１で行うものとしたが、この画像処理を内視鏡１と別体の画像処理装置で行うようにしてもよい。
　また、本実施形態では、被写体までの距離が変化した場合でも、２つの撮像部１３，１４の撮像領域の位置関係を一定に保持することができるように、第１の撮像部１３の光軸傾斜角度を変更する構成としたが、画像を３次元表示する際に、左右の目で見る２つの画像の実解像度が大きく異なることを避けるという目的のみを達成する上では、撮像部の光軸傾斜角度を変更する構成は必ずしも必要ではなく、２つの撮像部の光軸傾斜角度を変更することができない構成としてもよい。
　また、本実施形態では、被写体距離に関係なく、２つの撮像部の撮像領域の位置関係を一定に保持するための角度調整に必要となる２つの撮像部の撮像領域の位置関係を、２つの撮像画像を比較する画像処理により取得するようにしたが、このような画像処理の代わりに、あるいは画像処理に加えて、センサを用いて被写体距離の変化を認識するようにしてもよい。例えば、加速度センサにより内視鏡１の動きを検出すると、被写体距離の変化状況を推定することができ、これにより光軸傾斜角度の変化方向や変化幅を求めて、角度調整に利用することができる。
　本発明にかかる内視鏡およびこれを備えた内視鏡システムは、被写体までの距離が異なる場合でも、２つの撮像部の撮像領域の位置関係を一定に保持することができ、また、画像を３次元表示する際に、左右の目で見る２つの画像の実解像度が大きく異なることを避けることができる効果を有し、外部から直接観察できない観察対象の内部を撮像する内視鏡およびこれを備えた内視鏡システムなどとして有用である。
１　内視鏡
２　２次元モニター（第１の表示装置）
３　３次元モニター（第２の表示装置）
４　コントローラ（表示制御装置）
１１　挿入部
１２　先端部
１３　第１の撮像部
１４　第２の撮像部
１６　角度調整機構
２１　制御部
２８　角度操作部
３３，３７　撮像素子
３４，３８　光学系
６２　撮像位置検出部
６３　画像切出部
６４　２次元画像処理部
６５　３次元画像処理部
８１　撮像位置補正部
Ａ１，Ａ２　撮像領域
Ｓ　被写体
α１，α２　画角
θ　光軸傾斜角度

Claims (9)

  1. 　観察対象の内部に挿入される挿入部と、
    　この挿入部の先端部に並べて設けられた第１の撮像部および第２の撮像部と、
    　この第１の撮像部および第２の撮像部による撮像画像から３次元画像を生成する画像処理部と、を備え、
    　前記第１の撮像部は、その第１の撮像部および前記第２の撮像部の配列方向に沿って撮像領域を移動させることができるように、光軸の傾斜角度を変更可能に設けられたことを特徴とする内視鏡。
  2. 　前記第１の撮像部の光軸の傾斜角度を変更する操作をユーザーが行う角度操作部と、
    　この角度操作部の操作に応じて前記第１の撮像部の光軸の傾斜角度を変更する角度調整機構と、をさらに備えたことを特徴とする請求項１に記載の内視鏡。
  3. 　前記第１の撮像部は、広角な光学系を有し、
    　前記第２の撮像部は、狭角な光学系を有し、
    　前記画像処理部は、前記第１の撮像部により取得した第１の撮像画像から２次元画像を生成するとともに、前記第２の撮像部の撮像領域に対応する領域を前記第１の撮像画像から切り出して得られた切り出し画像と、前記第２の撮像部により取得した第２の撮像画像とから３次元画像を生成することを特徴とする請求項１または請求項２に記載の内視鏡。
  4. 　前記第１の撮像部は、高解像度な撮像素子を有し、
    　前記第２の撮像部は、低解像度な撮像素子を有することを特徴とする請求項３に記載の内視鏡。
  5. 　前記第１の撮像部および前記第２の撮像部は、前記切り出し画像と前記第２の撮像画像とが略同一の画素数となるように設定されたことを特徴とする請求項４に記載の内視鏡。
  6. 　前記第１の撮像部の撮像領域と前記第２の撮像部の撮像領域とが所定の位置関係となるように前記第１の撮像部の光軸の傾斜角度を制御する制御部をさらに備えたことを特徴とする請求項１から請求項５のいずれかに記載の内視鏡。
  7. 　前記制御部は、前記第１の撮像画像と前記第２の撮像画像とを比較して、前記第１の撮像部の撮像領域と前記第２の撮像部の撮像領域との位置関係を検出し、この検出結果に基づいて前記第１の撮像部の光軸の傾斜角度を制御することを特徴とする請求項６に記載の内視鏡。
  8. 　観察対象の内部に挿入される挿入部と、
    　この挿入部の先端部に並べて設けられた第１の撮像部および第２の撮像部と、
    　この第１の撮像部および第２の撮像部による撮像画像から３次元画像を生成する画像処理部と、を備え、
    　前記第１の撮像部は、広角な光学系と、高解像度な撮像素子と、を有し、
    　前記第２の撮像部は、狭角な光学系と、低解像度な撮像素子と、を有し、
    　前記画像処理部は、前記第１の撮像部により取得した第１の撮像画像から２次元画像を生成するとともに、前記第２の撮像部の撮像領域に対応する領域を前記第１の撮像画像から切り出して得られた切り出し画像と、前記第２の撮像部により取得した第２の撮像画像とから３次元画像を生成し、
    　前記第１の撮像部および前記第２の撮像部は、前記切り出し画像と前記第２の撮像画像とが略同一の画素数となるように設定されたことを特徴とする内視鏡。
  9. 　請求項１から請求項８のいずれかに記載の内視鏡と、
    　画像を２次元表示する第１の表示装置と、
    　画像を３次元表示する第２の表示装置と、
    　前記内視鏡から出力される２次元画像データおよび３次元画像データに基づいて前記第１の表示装置および前記第２の表示装置に画像を同時に表示させる表示制御装置と、を備えたことを特徴とする内視鏡システム。
PCT/JP2012/007934 2011-12-15 2012-12-12 内視鏡およびこれを備えた内視鏡システム WO2013088709A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/364,368 US20140350338A1 (en) 2011-12-15 2012-12-12 Endoscope and endoscope system including same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011274219A JP5919533B2 (ja) 2011-12-15 2011-12-15 内視鏡およびこれを備えた内視鏡システム
JP2011-274219 2011-12-15

Publications (1)

Publication Number Publication Date
WO2013088709A1 true WO2013088709A1 (ja) 2013-06-20

Family

ID=48612183

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007934 WO2013088709A1 (ja) 2011-12-15 2012-12-12 内視鏡およびこれを備えた内視鏡システム

Country Status (3)

Country Link
US (1) US20140350338A1 (ja)
JP (1) JP5919533B2 (ja)
WO (1) WO2013088709A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015132126A1 (de) * 2014-03-07 2015-09-11 Siemens Aktiengesellschaft Endoskop mit tiefenbestimmung
US20190342499A1 (en) * 2018-05-04 2019-11-07 United Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013244362A (ja) * 2012-05-29 2013-12-09 Olympus Corp 立体視内視鏡システム
US9602806B1 (en) * 2013-06-10 2017-03-21 Amazon Technologies, Inc. Stereo camera calibration using proximity data
JP6256872B2 (ja) * 2013-12-24 2018-01-10 パナソニックＩｐマネジメント株式会社 内視鏡システム
US10701339B2 (en) * 2014-09-18 2020-06-30 Sony Corporation Image processing device and image processing method
WO2016181735A1 (ja) * 2015-05-14 2016-11-17 オリンパス株式会社 立体視内視鏡装置
JP6308440B2 (ja) * 2015-06-17 2018-04-11 パナソニックＩｐマネジメント株式会社 内視鏡
KR101719322B1 (ko) * 2015-07-20 2017-03-23 계명대학교 산학협력단 vSLAM 기법을 이용하여 병변과 주변조직의 3차원 정보를 측정할 수 있는 내시경 기기 및 이를 이용한 병변 측정 방법
JP6296365B2 (ja) * 2016-02-29 2018-03-20 パナソニックＩｐマネジメント株式会社 手術内視鏡用カメラコントロールユニット
JP6561000B2 (ja) * 2016-03-09 2019-08-14 富士フイルム株式会社 内視鏡システム及びその作動方法
WO2017168986A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
US20200015666A1 (en) * 2016-09-29 2020-01-16 Mitos Medical Ltd A rigid medical surgery illuminating device
DE112017006551T5 (de) * 2016-12-26 2019-09-26 Olympus Corporation Stereo-Bildaufnahmeeinheit
CN110944566B (zh) * 2017-05-19 2021-12-21 奥林巴斯株式会社 3d内窥镜装置和3d影像处理装置
WO2018225346A1 (ja) * 2017-06-05 2018-12-13 ソニー株式会社 医療用システム及び制御ユニット
JP6912313B2 (ja) * 2017-07-31 2021-08-04 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 画像処理装置、カメラ装置及び画像処理方法
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US11571109B2 (en) * 2017-08-03 2023-02-07 Sony Olympus Medical Solutions Inc. Medical observation device
JP6915575B2 (ja) * 2018-03-29 2021-08-04 京セラドキュメントソリューションズ株式会社 制御装置及び監視システム
JP7166957B2 (ja) * 2019-02-27 2022-11-08 オリンパス株式会社 内視鏡システム、プロセッサ、キャリブレーション装置、内視鏡
DE102019003378A1 (de) 2019-05-14 2020-11-19 Karl Storz Se & Co. Kg Beobachtungsinstrument und Videobildgeberanordnung für ein Beobachtungsinstrument
US20220031390A1 (en) * 2020-07-31 2022-02-03 Medtronic, Inc. Bipolar tool for separating tissue adhesions or tunneling

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261860A (ja) * 1993-03-12 1994-09-20 Olympus Optical Co Ltd 内視鏡の映像表示装置
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5673147A (en) * 1995-04-18 1997-09-30 Mckinley Optics, Inc. Stereo video endoscope objective lens systems
JP2002191554A (ja) * 2000-12-26 2002-07-09 Asahi Optical Co Ltd ３次元画像検出装置を備えた電子内視鏡
WO2009058350A1 (en) * 2007-11-02 2009-05-07 The Trustees Of Columbia University In The City Of New York Insertable surgical imaging device
ES2688280T3 (es) * 2010-03-12 2018-10-31 Viking Systems, Inc. Sistema de visualización estereoscópica
US9314148B2 (en) * 2010-12-06 2016-04-19 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06261860A (ja) * 1993-03-12 1994-09-20 Olympus Optical Co Ltd 内視鏡の映像表示装置
JPH095643A (ja) * 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体内視鏡装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015132126A1 (de) * 2014-03-07 2015-09-11 Siemens Aktiengesellschaft Endoskop mit tiefenbestimmung
US20190342499A1 (en) * 2018-05-04 2019-11-07 United Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US10902664B2 (en) 2018-05-04 2021-01-26 Raytheon Technologies Corporation System and method for detecting damage using two-dimensional imagery and three-dimensional model
US10914191B2 (en) 2018-05-04 2021-02-09 Raytheon Technologies Corporation System and method for in situ airfoil inspection
US10928362B2 (en) 2018-05-04 2021-02-23 Raytheon Technologies Corporation Nondestructive inspection using dual pulse-echo ultrasonics and method therefor
US10943320B2 (en) 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
US10958843B2 (en) * 2018-05-04 2021-03-23 Raytheon Technologies Corporation Multi-camera system for simultaneous registration and zoomed imagery
US11079285B2 (en) 2018-05-04 2021-08-03 Raytheon Technologies Corporation Automated analysis of thermally-sensitive coating and method therefor
US11268881B2 (en) 2018-05-04 2022-03-08 Raytheon Technologies Corporation System and method for fan blade rotor disk and gear inspection
US11880904B2 (en) 2018-05-04 2024-01-23 Rtx Corporation System and method for robotic inspection

Also Published As

Publication number Publication date
JP2013123558A (ja) 2013-06-24
JP5919533B2 (ja) 2016-05-18
US20140350338A1 (en) 2014-11-27

Similar Documents

Publication Publication Date Title
WO2013088709A1 (ja) 内視鏡およびこれを備えた内視鏡システム
JP5730339B2 (ja) 立体内視鏡装置
US7768702B2 (en) Medical stereo observation system
JP5904750B2 (ja) 立体内視鏡装置
JP2013085615A5 (ja)
JP6256872B2 (ja) 内視鏡システム
JP7178385B2 (ja) 撮像システムおよび観察方法
JP6210874B2 (ja) 立体観察装置の調整治具及び立体観察システム
US11698535B2 (en) Systems and methods for superimposing virtual image on real-time image
EP1524540A1 (en) Image observation apparatus
JP4455419B2 (ja) 手術用立体画像観察装置
JP4674094B2 (ja) 立体観察装置
JP3816599B2 (ja) 体腔内処置観察システム
JPH11337845A (ja) 内視鏡装置
JP2014175965A (ja) 手術用カメラ
JP2014140593A (ja) 立体内視鏡装置
JPH06261860A (ja) 内視鏡の映像表示装置
JP2005318937A (ja) 表示装置
JP4350357B2 (ja) 顕微鏡装置
JP2004057614A (ja) 手術用観察装置
JP3851879B2 (ja) 顕微鏡
JP2009095598A (ja) ヘッドマウント型双眼ルーペ装置
JP3908182B2 (ja) 実体顕微鏡
JP3908181B2 (ja) 実体顕微鏡
JP2013065001A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12857896

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14364368

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12857896

Country of ref document: EP

Kind code of ref document: A1