WO2011142189A1 - 医療装置 - Google Patents

医療装置 Download PDF

Info

Publication number
WO2011142189A1
WO2011142189A1 PCT/JP2011/058317 JP2011058317W WO2011142189A1 WO 2011142189 A1 WO2011142189 A1 WO 2011142189A1 JP 2011058317 W JP2011058317 W JP 2011058317W WO 2011142189 A1 WO2011142189 A1 WO 2011142189A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
imaging
main
image area
Prior art date
Application number
PCT/JP2011/058317
Other languages
English (en)
French (fr)
Inventor
英明 木内
勉 浦川
大西 順一
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to JP2011537782A priority Critical patent/JP4861540B2/ja
Priority to EP11780446.8A priority patent/EP2425761B1/en
Priority to US13/227,773 priority patent/US8355043B2/en
Publication of WO2011142189A1 publication Critical patent/WO2011142189A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • A61B2017/00238Type of minimally invasive operation
    • A61B2017/00283Type of minimally invasive operation with a device releasably connected to an inner wall of the abdomen during surgery, e.g. an illumination source
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Definitions

  • the present invention relates to a medical device for imaging an inside of a body by an imaging means and performing an operation or the like.
  • an endoscope apparatus that inserts an endoscope into the body and performs an operation such as excision of a lesioned part under observation of the endoscope
  • an operation such as excision of a lesioned part under observation of the endoscope
  • a camera for imaging in a body cavity and a camera are connected.
  • an endoscope system is disclosed that includes a camera-side magnet and a fixing magnet that clamp the abdominal wall between different surfaces of the abdominal wall and fix the camera in the body cavity, and a camera control unit that controls the camera.
  • Japanese Patent Application Laid-Open No. 2005-319086 as a second conventional example, an observation unit having an LED, a battery, an observation optical system, and a video signal transmission unit is fixed to a body wall, and the observation optical of the observation unit is fixed.
  • a body cavity observation system is disclosed in which a video signal of a body cavity image captured by a system is wirelessly transmitted to a monitor-side video signal processor by a video signal transmission unit.
  • Japanese Patent Laid-Open No. 2006-320650 as a third conventional example, an image is acquired from a recording unit, various image processes are performed on the acquired image, and an image as a processing result is recorded in the recording unit.
  • An image processing control unit an image classification unit that calculates correlation values of images that are continuous in time series, and classifies each image into an image group according to the calculated correlation value, and a feature image having a predetermined feature from each image
  • a target image detection unit that detects a region and detects a feature image having the detected feature image region as a target image, and extracts a target image and a head image in each image group as representative images, and extracts each representative
  • a representative image extraction unit that sets a display rate for the image
  • an image display control unit that performs control to sequentially display a series of representative images according to the set display rate.
  • the body is fixed to the abdominal wall so that the inside of the body cavity can be observed over a wide range by a camera as an imaging means for imaging the inside of the body cavity, and the part actually treated by the treatment tool is an endoscope or the like Surgery can be performed smoothly by performing treatment in such a state that it can be observed in more detail.
  • the treated site referred to as the first site
  • the second site to be treated next
  • the first site has a predetermined change, specifically bleeding has occurred It is desired that the surgeon can quickly confirm the bleeding state in more detail.
  • the surgeon performs a treatment corresponding to the bleeding of the first part according to the confirmation result.
  • first to third conventional examples when the first part bleeds, it is possible to promptly confirm to the operator that the bleed is detailed. Can not. Specifically, in the first and second conventional examples, an image in which the first part bleeds can be displayed with a wide-angle state of view by a camera or an observation unit. In order to observe the first part in detail, the endoscope or the like must be moved.
  • the endoscope or the like cannot be set so that the first part can be observed quickly. Therefore, information related to the first part is recorded in advance, and when bleeding occurs, the information related to the recorded first part is displayed so that the surgeon can quickly It is desirable to make it easier to confirm bleeding or the like in one part.
  • the eye image detection unit determines whether or not there is a bleeding site that has been bleeding due to image processing, and the image processing control unit determines the position of the bleeding site if there is a bleeding site. It discloses that information is recorded in an image recording unit.
  • this conventional example is intended to extract the bleeding site in the past image, and does not disclose that it is easy for the operator to quickly confirm the details of the bleeding site during the operation.
  • the present invention has been made in view of the above-described points.
  • a predetermined change such as bleeding occurs in an image obtained by imaging the inside of a body cavity
  • a predetermined image area or coordinates are recorded in advance, and the predetermined change is recorded.
  • An object of the present invention is to provide a medical device that can superimpose and display a recorded image area or coordinates when an error occurs.
  • the recording unit for recording a predetermined image area in the first image or coordinates for specifying the predetermined image area in advance, and when the predetermined change occurs in the first image, the recording A display unit that superimposes and displays the image area or the coordinates recorded in the unit on the first image captured by the first imaging unit.
  • FIG. 1 is a configuration diagram showing the overall configuration of a medical system provided with a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration of the medical device of FIG.
  • FIG. 3 is a diagram illustrating a typical operation in the first embodiment.
  • FIG. 4 is an explanatory diagram of the operation by display on the overhead monitor.
  • FIG. 5 is a diagram showing a display example on the main monitor.
  • FIG. 6 is a diagram showing a display example of a main image taken by the main camera after moving the main camera from the current set position.
  • FIG. 7 is an explanatory diagram for specifying the imaging position of the main camera on the overhead image.
  • FIG. 8 is an explanatory diagram for specifying the imaging position of the main camera on the overhead image using the treatment tool.
  • FIG. 1 is a configuration diagram showing the overall configuration of a medical system provided with a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing an internal configuration of the medical device of FIG.
  • FIG. 9 is an explanatory diagram for specifying the imaging position of the main camera on the overhead image using light.
  • FIG. 10 is an explanatory diagram for specifying the imaging position of the main camera on the overhead image by image recognition.
  • FIG. 11 is an explanatory diagram for specifying the imaging position of the main camera on the overhead image using the information of the main camera reflected on the overhead image.
  • FIG. 12A is a diagram showing a state in which two main images are displayed on the main monitor.
  • FIG. 12B is a diagram illustrating a state in which an overhead image and a main image are displayed on one monitor.
  • FIG. 12C is a diagram showing a state in which an overhead image and two main images are displayed on one monitor.
  • FIG. 12A is a diagram showing a state in which two main images are displayed on the main monitor.
  • FIG. 12B is a diagram illustrating a state in which an overhead image and a main image are displayed on one monitor.
  • FIG. 12C is a diagram showing a state in which an
  • FIG. 12D is a diagram illustrating a state in which a main image and an overhead image are displayed as a parent-child image on one monitor.
  • FIG. 13A is an overall configuration diagram of a medical device according to a modification of the first embodiment of the present invention.
  • FIG. 13B is a block diagram illustrating a configuration example of a change monitoring unit.
  • FIG. 13C is a block diagram illustrating a configuration example of a feature amount detection unit.
  • FIG. 14 is an overall configuration diagram of a medical device according to a modification of the second embodiment of the present invention.
  • FIG. 15 is a diagram showing display images on the overhead monitor and the main monitor.
  • FIG. 16 is an explanatory diagram of a state in which infrared rays are emitted from both ends of the main camera.
  • FIG. 16 is an explanatory diagram of a state in which infrared rays are emitted from both ends of the main camera.
  • FIG. 17 is an explanatory diagram for calculating the distance from the overlapping of infrared rays.
  • FIG. 18 is a configuration diagram showing an overall configuration of a medical system according to a third embodiment of the present invention.
  • FIG. 19A is a diagram illustrating an example of an overhead image displayed on the overhead monitor.
  • FIG. 19B is a diagram showing an example of an enlarged image displayed on the overhead monitor or the like.
  • FIG. 20 is a flowchart showing typical processing contents of the third embodiment.
  • FIG. 21 is a configuration diagram showing an overall configuration of a medical system according to a fourth embodiment of the present invention.
  • FIG. 22 is a flowchart showing typical processing contents of the fourth embodiment.
  • the medical device 1 of the first embodiment of the present invention is fixed to the abdominal wall of the abdominal part 2 of the patient, and has an overhead camera unit 3 for imaging the abdominal cavity at a wide angle, and an intraperitoneal (overhead camera). It has a first main camera unit 4 and a second camera unit 5 that capture images at a narrow angle (compared to the unit 3).
  • the medical apparatus 1 includes a processor 6 that performs image processing on the overhead camera unit 3 and the main camera units 4 and 5, and an overhead monitor 7 that displays an image (referred to as an overhead image) captured by the overhead camera unit 3.
  • a main monitor 8 that displays an image (referred to as a main image) captured by the main camera units 4 and 5.
  • the medical device 1 records an image captured by the surgeon with the overhead camera unit 3 and the main camera units 4 and 5 and moves the imaging position and the imaging direction of the main camera units 4 and 5 to a desired location.
  • a camera operation interface abbreviated as camera operation I / F
  • the overhead camera 3A as the first imaging unit and the main camera 4A as the second imaging unit, in which the overhead camera unit 3, the main camera units 4, 5 are respectively disposed inside the abdomen 2, are provided.
  • this embodiment is not limited to the structure which transmits a signal by such radio
  • a configuration in which transmission is performed by wire may be employed. When the signal transmission is performed by wire, the receiving unit 3B and the transmitting / receiving units 4B and 5B are not necessary.
  • a configuration in which two main cameras 4A and 5A are provided as the second imaging means is shown.
  • a captured image is obtained from one direction, whereas in two cases, a captured image is obtained from two different directions, so that the state of the treatment instrument can be grasped and recognized in more detail. be able to.
  • the state of the lesion can be grasped and recognized in more detail.
  • the present embodiment is not limited to the case where there are two main cameras, but may be three or more, and conversely, it can also be applied to a case where there is one. Further, as shown in FIG.
  • the operation for fixing the overhead camera 3A and the main cameras 4A, 5A inside the abdomen 2 is formed on the abdomen 2 using the trocar 10 by the method disclosed in, for example, Japanese Patent Application Laid-Open No. 2008-307226.
  • the puncture hole can be performed using an endoscope (not shown).
  • the overhead camera 3A, the main camera 4A, 5A side, and the receiving unit 3B, the transmission / reception units 4B, 5B side can be detachably fixed, for example, in a state where the abdominal wall is sandwiched by a magnetic force using a magnet. You may fix by other fixing means, such as an adhesive agent.
  • the treatment tool 19 is inserted into the trocar 10 to perform treatment on a treatment target site (referred to as a place). It shows a state.
  • the overhead camera 3A and the main cameras 4A and 5A are, for example, an imaging unit 11a to 11c having an imaging function as shown in FIG. 2, an illumination unit 12a to 12c for illuminating a part to be imaged, and a substantially cylindrical outer container.
  • the power supply units 13a to 13c each configured by a battery for supplying power to the imaging units 11a to 11c and the like are housed.
  • the overhead camera 3A has a built-in transmission unit 14a, and wirelessly transmits an image signal of an overhead image as a captured image captured by the imaging unit 11a by the transmission unit 14a.
  • the receiving unit 3B receives the image signal transmitted by the transmitting unit 14a and outputs it to the image processing unit 21 (for overhead view) in the processor 6.
  • the main cameras 4A and 5A further incorporate transmission / reception units 15b and 15c, camera drive units 16a and 16b, position detection units 17a and 17b, and identification information generation units (abbreviated as ID in the drawings) 18a and 18b. ing.
  • the second main camera 5A has the same configuration as the first main camera 4A except that the identification information generated by the identification information generation unit 18b is different.
  • FIG. 2 shows the internal configuration in a simplified manner.
  • the main cameras 4A and 5A wirelessly transmit image signals of main images as captured images captured by the imaging units 11b and 11c via the transmission / reception units 15a and 15b (internal transmission units), and the transmission / reception units 4B and 5B.
  • the (internal receiver) receives the transmitted image signal and outputs it to the (main) image processing unit 22 in the processor 6.
  • the transmission / reception units 15a and 15b transmit with identification information added, and the (main) image processing unit 22 manages the main image according to the identification information.
  • the main cameras 4A and 5A are compared with the configuration of the overhead camera 3A as described above, and the camera drive units 16a and 16b for moving the place to be imaged, and the camera drive unit 16a for imaging the moved place, Position detection units 17a and 17b that detect driving information (also referred to as setting information) 16b are provided.
  • the overhead camera 3A has a wide-angle observation field of view (for example, an observation field of view close to 180 °), becomes a bird's-eye view image obtained by imaging the abdominal cavity with a wide-angle field of view while being fixed to the abdominal wall. Is used in a fixed wide-angle field angle state.
  • a main camera image (simplified as 4A and 5A) obtained by imaging the main cameras 4A and 5A within the observation visual field is displayed.
  • the main cameras 4A and 5A have a narrower observation field (narrow angle) than the overhead camera 3A, and the observation field (imaging range) as described below by the camera drive units 16a and 16b. ) Can be set to move.
  • the camera drive units 16a and 16b allow the main cameras 4A and 5A to be set to a desired observation field within the drive range of the camera drive units 16a and 16b in the abdominal cavity, and can be set to an appropriate image size.
  • the surgeon can observe in detail.
  • FIG. 1 shows a display example of a main image by one main camera 5A, for example.
  • the surgeon can look down on the abdominal cavity at a wide angle (overlook) from the bird's-eye view image, and can further observe an arbitrary place in detail by the two main cameras 4A and 5A.
  • a scopist endoscope holder
  • the operator since there is no scopist who occupies a place near the operator, the operator has an advantage that the operation can be performed more easily without being restricted by the place occupied by the scopist.
  • the camera drive units 16a and 16b have functions of panning (swinging in the left-right direction) and tilting (tilting up and down) the imaging units 11b and 11c and the illumination units 12b and 12c, and magnification observation by the imaging units 11b and 11c. It has a zoom function that makes it possible. That is, the camera drive units 16a and 16b can be set so that the imaging units 11b and 11c as the imaging means can image a desired place by panning and tilting, and the angle of view to be captured can be changed by the zoom function. For example, the imaging magnification can be increased as compared with the case of the overhead camera 3 ⁇ / b> A so that the affected part or the like to be observed can be observed in more detail.
  • pan, tilt, and zoom setting information by the camera drive units 16a and 16b (in other words, information on the imaging position of the imaging units 11b and 11c, information on the imaging direction, and zoom information on the angle of view of imaging) is obtained. It is detected by the position detection units 17a and 17b constituting the means.
  • the setting information of the camera drive units 16a and 16b detected by the position detection units 17a and 17b is stored in the control memory 24 (for example, when an image recording instruction operation is performed) together with a place where the image is captured by an operator. Is recorded as history information.
  • the surgeon operates the pan SW 9a, tilt SW 9b, and zoom SW 9c provided in the camera operation I / F 9, so that pan, tilt, and zoom instruction signals are sent to the camera drive control CPU (simply abbreviated as CPU) in the processor 6. ) 23.
  • the CPU 23 controls the processor 6, the overhead camera 3A, the main cameras 4A and 5A, and the camera operation I / F 9 that constitute the medical device 1.
  • the CPU 23 generates a motor drive signal corresponding to the pan, tilt, and zoom instruction signals by the motor drive signal generator 23a, and the camera drive unit 16a or 16b of the main camera 4A or 5A via the transmission / reception unit 4B or 4C. Control to drive is performed. Then, the main camera 4A or 5A is set to a state where a place corresponding to the instruction signal is imaged. In other words, the camera drive unit 16a or 16b of the main camera 4A or 5A is in a setting state (imaging) in which the surgeon takes an image of the target location designated by the camera operation I / F 9.
  • the setting information set to image a predetermined place by the drive is detected by the position detection unit 17a or 17b, and the detection signal is transmitted to the transmission / reception unit 15a or 15b.
  • the information is output to the position information acquisition unit 23b via the unit 4B or 5B.
  • This position information acquisition unit 23b receives pan, tilt and zoom set values from the pan, tilt and zoom detection signals by the position detection units 17a and 17b, in other words, information on the imaging positions and imaging directions of the main cameras 4A and 5A. Zoom information (setting information consisting of) is acquired.
  • the setting information of the camera drive units 16a and 16b is recorded (stored) in the control memory 24 in time series. Instead of the control memory 24, it may be recorded in a recording unit such as a memory of the position information acquisition unit 23b.
  • the camera operation I / F 9 selects image recording SW 9d for performing an image recording instruction operation, image selection such as which of the main images captured by the two main cameras 4A or 5A is displayed on the main monitor 8.
  • An image selection SW 9e to be performed and an information input unit 9f for inputting information as necessary are provided.
  • the camera operation I / F 9 may be configured to be used in common for the main camera 4A and the main camera 5A as shown in FIG. In this case, a selection switch (not shown) for designating (selecting) the main camera 4A and the main camera 5A is provided.
  • the camera operation I / F 9 performs pan, tilt, and zoom operations independently on the main cameras 4A and 5A, respectively (first) camera operation I / F 9G and (second) camera.
  • a configuration in which an operation I / F 9G ′ is provided may be employed. The surgeon can record the overhead image of the overhead camera 3A and the main images of the main cameras 4A and 5A by operating the image recording SW 9d.
  • the operator after setting the state where the main cameras 4A and 5A image the place to be treated, the operator records an image in the state where the distal end of the treatment tool is set at the place.
  • the overhead image and the information such as the imaging position and the imaging direction of the captured images of the main cameras 4A and 5A in the overhead image can be associated and recorded. Yes.
  • the processor 6 when an operator performs an image recording instruction operation via the image recording SW 9d, the processor 6 is a place where the main cameras 4A and 5A in the overhead view image are captured ( Information) and the imaging position information and imaging direction information (that is, imaging means setting information) of the main cameras 4A and 5A that are imaging the location are associated (associated) and recorded, for example, in time series ( One of the features is that it has a control memory 24 as a recording means (history information).
  • the location (information) in this case may be a coordinate specifying the location (or a location specifying means similar to the coordinate, for example, shown in FIG. 7), an image area of the location where the image is taken, or an image. Coordinates that specify the area may be used. In other words, it may be information related to the place.
  • the bird's-eye view image by the bird's-eye view camera 3A and the images taken by the main cameras 4A and 5A are recorded in time series in association with the places where the main cameras 4A and 5A are taken in the bird's-eye view image and the numbers associated with those places.
  • the overhead image is recorded in an image recording unit 34a in the image processing unit 21 described below, and the main image is recorded in the image recording unit 34b in the image processing unit 22, but other recording means, for example, control It may be recorded in the memory 24.
  • the surgeon performs an instruction operation to display history information (or history) from the information input unit 9f, for example, to number and display the imaging locations of the main cameras 4A and 5A in the current overhead image, for example. (Described later in FIG. 4).
  • the processor 6 has a video signal output unit 25 connected to the image processing units 21 and 22.
  • the video signal output unit 25 captures the overhead image and the main image image data captured by the overhead camera 3A and the main camera 4A or 5A and temporarily stored in the frame memory for image storage of the image processing units 21 and 22. Converted into RGB, NTSC / PAL, IEEE1394 video signals, etc., and outputs them to the overhead monitor 7 and the main monitor 8, respectively.
  • the image processing unit 21 performs image processing on an imaging signal (of an overhead image) captured by the imaging unit 11a input via the receiving unit 3B, and constructs an overhead image.
  • an image recognition processing unit 32a for performing image recognition processing on the distal position of the treatment tool or a location near the distal position, for example.
  • the image processing unit 21 performs image processing by the image processing unit 33a, which performs image processing for superimposing a number identifying the place on the place recognized by the image recognition processing unit 32a, and the image processing unit 33a.
  • an image recording unit 34a configured by a frame memory or the like for recording an image.
  • the overhead image generated by the image construction unit 31a is recorded in association with information on the location and number superimposed on the overhead image. You may do it.
  • information on past locations and numbers can be superimposed and displayed on a bird's-eye view image captured later in time by associating and recording information such as a treated place.
  • the image recording unit 34a also has a function of temporarily recording an overhead image for displaying a moving image, in addition to the overhead image for which an image recording instruction operation has been performed by the image recording SW 9d. Then, the overhead image temporarily recorded in the image recording unit 34 a or the like is displayed on the overhead monitor 7 via the video signal output unit 25.
  • the image recognition processing unit 32a sets, for example, the distal end of the treatment instrument 19 at the location where the main cameras 4A and 5A are capturing images in the overhead view image. Image recognition processing is performed to identify the location where the main cameras 4A and 5A are capturing images on the image.
  • the image recognition processing is performed when the processor 6 performs image processing mainly for image recognition, and when the surgeon manually performs an instruction operation to be the main body for image recognition (in this case, the processor 6 performs an auxiliary operation). It is used in the meaning including both the case of processing. In addition, you may make it the structure provided only with one of both.
  • the surgeon performs an image recording instruction operation, thereby associating with the specified place and number in the bird's-eye view image.
  • Setting information in which the camera 4A, 5A images the location is associated and recorded in the control memory 24.
  • the location where the main cameras 4A, 5A are imaged is moved, and the setting information of the location where the main camera 4A, 5A is imaged in the bird's-eye image is similarly associated with each moved location. This information is recorded in series and becomes history information.
  • Each location can be identified by a number, for example.
  • the CPU 23 refers to the setting information of the location of the number with respect to the main cameras 4A and 5A.
  • the main image captured by the main cameras 4A and 5A that have been moved and controlled is displayed on the main monitor 8, and the surgeon can quickly confirm the bleeding state from the main image in more detail. I am doing so.
  • the control memory 24 is an image of a place where such a predetermined change may occur in advance in the bird's-eye view image in preparation for a case where a predetermined change such as bleeding occurs in the bird's-eye view image. Recording means for storing areas or coordinates is formed.
  • the image processing unit 22 performs image processing on the imaging signal (of the main image) captured by the imaging unit 11b input via the transmission / reception unit 4B, and constructs the main image, and the image construction unit 31b.
  • An image processing unit 33b that performs image processing for superimposing a location and number for specifying the main image on the main image constructed by the construction unit 31b, and a frame memory that records the image processed by the image processing unit 33b Etc., and an image recording unit 34b constituted by the like.
  • the location to be treated is observed by the main cameras 4A and 5A when the image recording SW 9d is operated when treatment is performed on the location to be treated in the abdominal cavity.
  • Setting information such as the imaging position set in the field of view (imaging field of view) is recorded in the control memory 24 in time series.
  • information such as an imaging position and each main image are recorded in association with each other. Therefore, as described above, the control memory 24 forms recording means for recording information such as past imaging positions of the main cameras 4A and 5A as history information.
  • the CPU 23 stores the history information stored in the control memory 24 constituting the recording means. The information of each place and number is read out from the above, and the number is superposed and displayed at each place in the overhead view image.
  • the CPU 23 performs display control for displaying the place recorded in the recording unit, in other words, the image area or the coordinate on the overhead image captured by the overhead camera 3A as the first imaging unit. Has the function of control means.
  • the display control of the display control means the overhead monitor 7 that superimposes the location recorded in the recording means, in other words, the image area or coordinates, on the overhead image is displayed on the display means controlled by the display control means.
  • the CPU 23 stores the setting information of the main cameras 4A and 5A recorded in association with the location of the number. Control is performed to drive the camera drive units 16a and 16b so as to image the location of the number read from the control memory 24 and selected for the main cameras 4A and 5A.
  • the CPU 23 captures the place where the main cameras 4A and 5A constituting the second imaging unit are selected by the camera drive units 16a and 16b based on the setting information such as the imaging position and the imaging direction from the control memory 24.
  • a movement control means for controlling the movement is configured.
  • a configuration including the CPU 23 and the camera drive units 16a and 16b may be regarded as a movement control unit.
  • the movement control means also has a function of increasing the imaging magnification by increasing the zoom magnification of the main cameras 4A and 5A.
  • the main cameras 4A and 5A move so as to quickly pick up the location of the number selected by the camera drive units 16a and 16b. To do. Then, the main image captured by the main camera 4A or 5A is displayed on the main monitor 8. Therefore, when it is necessary for the surgeon to check the bleeding or the state close to bleeding in the overhead view image and to check in more detail, it is quick and detailed with the main image by the main cameras 4A and 5A by a simple operation. Will be able to confirm.
  • the medical device 1 of the present embodiment includes a first imaging unit configured by, for example, an overhead camera 3A that is fixed to a body wall and images the inside of a body cavity, and a first imaging image, for example, captured by the first imaging unit.
  • Recording means comprising, for example, a control memory 24 for recording a predetermined image area or coordinates for specifying the predetermined image area in the first image in preparation for a case where a predetermined change occurs in one image And when a predetermined change occurs in the first image, the image area or the coordinates recorded in the recording unit is displayed on the first image captured by the first imaging unit.
  • a display unit configured to display, for example, an overhead monitor 7.
  • FIG. 3 shows main operations of the surgeon, camera operation I / F 9, overhead camera 3A, first and second main cameras 4A and 5A, and processor 6 / (overhead monitor 7, main monitor 8).
  • the vertical direction from the top to the bottom indicates the passage of time.
  • the surgeon fixes the overhead camera 3 ⁇ / b> A and the main cameras 4 ⁇ / b> A and 5 ⁇ / b> A in the abdominal wall of the abdominal part 2.
  • the overhead camera 3 ⁇ / b> A transmits the captured overhead image to the processor 6.
  • the processor 6 displays an overhead image on the overhead monitor 7.
  • the surgeon observes the bird's-eye view image and identifies a place necessary for the treatment. This place is denoted as place P1.
  • camera operation I / F9 is operated so that this place P1 can be imaged with main camera 4A, 5A. That is, the surgeon operates the pan SW 9a, tilt SW 9b, and zoom SW 9c of the camera operation I / F 9.
  • an operation signal of the camera operation I / F 9 is sent to the CPU 23, and the CPU 23 instructs the main cameras 4A and 5A to move so as to image the place P1.
  • the camera drive units 16a and 16b are driven by the operations of the pan SW 9a, the tilt SW 9b, and the zoom SW 9c, and the imaging units 11b and 11c of the main cameras 4A and 5A capture the location P1 (imaging position and position). Move direction).
  • a main image set in a state in which the place P1 imaged by the main cameras 4A and 5A is imaged in detail with an appropriate angle of view is transmitted to the processor 6.
  • the main monitor 8 displays a main image obtained by imaging the place P1.
  • the surgeon inserts the treatment tool 19 into the abdominal cavity via the trocar 10 in order to perform a treatment using the treatment tool at the place P1 while observing the overhead image and the main image.
  • the surgeon moves the distal end portion to a place P1 to be treated while looking at the treatment tool 19 inserted in the abdominal cavity in the overhead view image. Then, the distal end side of the treatment instrument 19 is displayed together with the place P1 to be treated on the main monitor 8 that displays the place P1 in detail.
  • the main image of the main monitor 8 in FIG. 1 shows a display example in this case.
  • the surgeon determines whether or not to record this place P1.
  • the surgeon performs an operation of recording an image. Specifically, the surgeon operates the image recording SW 9d.
  • the panning, tilting, and zooming information (setting information) of the main cameras 4A and 5A are transmitted to the processor 6 together with the time (time) of the recording operation.
  • each main image of the place P ⁇ b> 1 imaged by the main cameras 4 ⁇ / b> A and 5 ⁇ / b> A and pan, tilt, and zoom information that is, information on the imaging position and imaging direction are recorded in association with each other.
  • the position (or image area) of the distal end of the treatment tool shown in the overhead view image in association with the place P1 is image-recognized (including a specific operation by the operator) and recorded.
  • the initial value 1 may be automatically set by inputting or by turning on the information input unit 9f.
  • the location P1 in the overhead image to be recorded can be specified by the number 1 in the control memory 24, and the setting information of the main cameras 4A and 5A that capture the location P1 is the location P1, the number 1 of the overhead image. It is recorded as history information that is associated (recorded treatment locations in time series). Further, the main images from the main cameras 4A and 5A are also recorded in association with the place P1 and number 1 (with identification information added). Therefore, as described below, when the operator designates or selects number 1 of this place P1 and performs a movement instruction operation, the setting information of the main cameras 4A and 5A is associated with this number 1. Therefore, it is possible to quickly control the main cameras 4A and 5A to move to a state where the place P1 is imaged.
  • FIG. 5 shows an example of a main image displayed on the main monitor 8 during treatment with the treatment tool at the place P3.
  • the number 3 of the place P3 is displayed on the main monitor 8. In this way, for example, while performing treatment with the treatment tool at the place P3, the surgeon may confirm bleeding at the place P1 in a wide-angle overhead image, for example.
  • the surgeon gives a display instruction to display a history on the overhead image from the information input unit 9f.
  • the display instruction is input to the CPU 23, and the CPU 23 reads information recorded in the control memory 24 and performs a control operation for displaying the corresponding history.
  • the history of the places P 1 to P 3 recorded so far is displayed on the bird's-eye view image with numbers 1 to 3.
  • FIG. 4 shows a display example of this history. As shown in FIG. 4, on the bird's-eye view image, the number N of each location PN is superimposed on the locations P1 to P3 recorded in the past. It should be noted that the history order may be displayed as indicated by a dotted line or may not be displayed. Accordingly, the surgeon designates (selects) number 1 from the information input unit 9f.
  • this designated signal is input to the CPU 23 of the processor 6, and the CPU 23 gives a movement instruction to move the main cameras 4 ⁇ / b> A and 5 ⁇ / b> A to the place P ⁇ b> 1 with number 1. Since the setting information of the main cameras 4A and 5A is recorded in the control memory 24 together with the location P1 of number 1, the CPU 23 drives the camera drive units 16a and 16b with the setting information. In the main cameras 4A and 5A, the image pickup units 11b and 11c are moved (driven) by setting information pan, tilt, and zoom, and are set to move to the state where the place P1 is picked up.
  • the main monitor 8 displays a main image captured by the main camera 4A or 5A.
  • FIG. 6 shows a display example of the main image in this case. By displaying the main image on the main monitor 8, the operator can confirm the bleeding state in detail. Then, the surgeon quickly performs a treatment corresponding to the bleeding state according to the detailed confirmation result.
  • the present embodiment associates the place PN that has been treated in the past with the possibility of occurrence of a predetermined change such as bleeding in the overhead view image with the setting information of the main cameras 4A and 5A that capture the place PN. Since it is recorded in advance as history information and can be displayed on the display means, when the surgeon confirms a predetermined change such as bleeding in the place PN treated in the overhead view image, the place can be quickly and easily operated by a simple operation. The PN can be confirmed in detail. Therefore, this embodiment can reduce the operation performed by the surgeon or the like when the surgeon performs an operation, and can provide the medical device 1 that facilitates the operation more smoothly.
  • an image recognition method by the image recognition processing unit 32a described above various methods can be used as follows. The left side in FIG. 7 shows a bird's-eye view image, and the right side shows a main image. The same display is shown in FIGS. In FIG. 10, FIG. 11, it has shown by reverse arrangement
  • the bird's-eye view image of FIG. 7 is divided into a plurality of image areas designated (specified) with (i, j) of 1 to 6 in the horizontal direction and a to e in the vertical direction, for example.
  • it is not limited to the case where an overhead image is divided
  • the surgeon has a display image corresponding to a display image (schematically illustrated by a triangle in FIG. 7) corresponding to the imaging location captured by the main cameras 4A and 5A in any image area in the overhead view image. To check. In the example of FIG. 7, the surgeon designates the location of the image area (5, b).
  • the location of the image area (5, b) in the overhead image is specified (recognized) as the imaging coordinates or imaging location captured by the main cameras 4A and 5A. If this place is PN, the setting information of the main cameras 4A and 5A is recorded in the control memory 24 in association with the place PN and its number N.
  • FIG. 8 shows a method of specifying the imaging positions of the main cameras 4A and 5A in the overhead view image using a reference object such as a surgical instrument or a treatment instrument.
  • a reference object such as a surgical instrument or a treatment instrument.
  • the treatment tool is displayed in a wider range.
  • the surgeon examines where the distal end portion 19a of the treatment tool in the main image is displayed in the overhead image. In this case, it may be specified as shown in FIG.
  • the position of the main image in the bird's-eye view image that is, the imaging position of the main cameras 4A and 5A may be specified using an edge image obtained by performing edge processing on the distal end portion 19a.
  • FIG 9 shows a method when the main camera 4A or 5A is provided with a light source that emits light such as a laser pointer.
  • a light source that emits light such as a laser pointer.
  • the overhead image for example, a portion irradiated with the light 42 of the light source is shown together with the image of the main camera 5A.
  • a portion irradiated with the light 42 is displayed in the vicinity of a place (schematically indicated by ⁇ ) where the image is magnified and captured by the main camera 5A.
  • the wavelength of the light 42 is set to a wavelength that can be easily distinguished from the internal illumination light, or is set so that the shape in the case of irradiation can be easily identified.
  • the surgeon can easily specify the position of the imaging position of the main camera 5A in the overhead view image.
  • 7 to 9 describe a method in which the surgeon designates the imaging positions of the main cameras 4A and 5A on the overhead view image.
  • image recognition for specifying the relative position may be performed by an apparatus such as the image recognition processing unit 32a on the processor 6 side as described below.
  • FIG. 10 shows a method of recognizing the feature portion of the location where the image is captured in the main image by the image processing unit 33b.
  • the image processing unit 33b recognizes the shape of the distal end portion of the treatment tool at the location P1, and sets the recognized image as the image of number 1 at the location P1.
  • the feature of the image recognized image is sent to the image recognition processing unit 32a, and the image recognition processing unit 32a searches the overhead image for an image portion having the feature.
  • the image recognition processing unit 32a determines that there is a portion having a correlation greater than or equal to a predetermined value in the overhead image, the image recognition processing unit 32a automatically sets the location P1 as the location corresponding to the feature portion of the main image and the number thereof as 1. Mark.
  • FIG. 10 shows a method of recognizing the feature portion of the location where the image is captured in the main image by the image processing unit 33b.
  • the image processing unit 33b recognizes the shape of the distal end portion of the treatment tool at the location P1, and sets the recognized image as
  • the outer container of the main camera 5A reflected in the bird's-eye view image is provided with a mark 43, and the mark 43 changes when the direction of the imaging unit 11b changes.
  • the image recognition processing unit 32 a estimates the imaging position of the main camera 5 ⁇ / b> A from the shape of the outer container of the main camera 5 ⁇ / b> A reflected in the overhead image and the information of the mark 43.
  • the imaging position of the main camera 5A is estimated from the tip of the dotted arrow. Then, assuming that the estimated position in the bird's-eye view image is the location P1 where the main image is captured, the location P1 is automatically marked with the number 1 specified.
  • a position sensor may be provided in each of the overhead camera 3A and the main cameras 4A and 5A, and the relative position in both images may be specified from the detection information of these position sensors. Further, since the overhead camera 3A is in a fixed state, a position sensor may be provided only on the main cameras 4A and 5A side.
  • the overhead image of the overhead camera 3A is displayed on the overhead monitor 7 using one overhead camera 3A and the two main cameras 4A and 5A, and the selection in the two main cameras 4A and 5A is performed.
  • An example in which the main image of one of the main cameras is displayed on the main monitor 8 has been described.
  • the present embodiment is not limited to such a display form.
  • the main monitor 8 displays the main images of the two main cameras 4A and 5A in two parts. Also good.
  • two main monitors may be used to display the main images of the main cameras 4A and 5A.
  • one monitor 7B may be used.
  • it may be divided into two to display an overhead image and a main image of one selected main camera.
  • the main image display area in FIG. 12B may be further divided into two to display two main images at the same time.
  • the overhead image and the main image may be displayed as a parent-child image, or one of them as a reduced image (thumbnail image).
  • the main image from one main camera is displayed as a parent image (an image that is not reduced)
  • the overhead image is displayed as a reduced image
  • the main image of the other main camera is displayed as a reduced image.
  • the display in FIG. 12D may be displayed by switching the parent image and the reduced image using an image selection switch.
  • a medical device may be configured by one overhead camera 3A and one main camera 4A.
  • the overhead monitor 7 and the main monitor 8 may be used, or one monitor 7B may be used.
  • an overhead image and a main image are displayed.
  • the display may be as shown in FIG. 12B, or the main image and the overhead image may be displayed as a parent-child image, similar to FIG. 12D.
  • an image storage unit that stores the overhead image and the main image as thumbnail images and a thumbnail display unit that displays the thumbnail images may be provided.
  • thumbnail images may be recorded (saved) in time series, or only when the surgeon records them.
  • the location PN that has been treated in the past that may cause a predetermined change such as bleeding in the overhead view image is associated with the setting information of the main cameras 4A and 5A that capture the location. Since it is recorded in advance as history information and can be displayed on the display means, when a surgeon confirms a predetermined change such as bleeding at the treated place PN in the overhead view image, it can be quickly performed by a simple operation. This has the effect of making it easier to confirm the location PN in detail.
  • FIG. 13A shows a medical device 1B according to a modification of the first embodiment.
  • the image processing unit 21 (for overhead view) has a predetermined change such as bleeding in the image area portion set at the place where it has been treated in the past.
  • a change monitoring unit 51 is provided as monitoring means for monitoring (recognizing) the above. As shown in FIG. 13B, the change monitoring unit 51 detects (extracts) a feature amount of an image area set at a treated place in the image from a past (overhead view) image, and detects the detected past.
  • the feature amount recording unit 53 that records the feature amount, and the feature amount as the reference image data are compared with the feature amount of the image data in the same image area in the subsequent (current) overhead image, and a predetermined change (occurrence occurs).
  • a determination unit (recognition unit) 54 for determining (or recognizing) the presence or absence.
  • the image of the image area set at least at each treated place in the overhead view image is recorded in the recording means such as the control memory 24. Record as a past image. In this case, it may be recorded by an instruction operation by the surgeon, or the image of the movement may be recognized and the image immediately before the movement may be recorded.
  • the feature amount detection unit 52 is configured with a configuration example including a feature amount detection unit 52a that detects a feature amount from a past image and a feature amount detection unit 52b that detects a feature amount from the current image. However, it may be configured to be used in common. For example, when the currently treated state shown in FIG. 13A is a treatment at, for example, the place P3, predetermined image areas R1 and R2 respectively set in the places P1 and P2 in the past bird's-eye view images are displayed. Is set.
  • image areas R1 and R2 shown on the bird's-eye view image are examples of the setting, and need not be displayed on the screen (you may be able to select display using an optional function).
  • the feature quantity extracted in the image area R1 of the past place P1 and the feature quantity extracted in the image area R2 of the past place P2 are recorded in the feature quantity recording unit 53.
  • the determination part 54 determines whether the past feature-value and the feature-value extracted in the same image area R1, R2 in the overhead image currently acquired are changing more than the preset threshold value.
  • the change monitoring unit 51 continues the same processing after a predetermined time interval, for example.
  • the determination unit 54 outputs the determination result to the CPU 23, and the CPU 23 displays the location or image corresponding to the determination result in the currently displayed overhead image. For example, a number or the like is superimposed on the area to notify the surgeon that there is a possibility that bleeding or the like has occurred. If the surgeon wishes to confirm in more detail by the notice, the number is designated.
  • the CPU 23 controls the movement of the main cameras 4A and 5A so as to image the place. As a notification method in this case, a display requesting confirmation from the operator in more detail or whether or not it is desired to move the main cameras 4A and 5A may be performed.
  • the feature quantity detection unit 52 (shown when the feature quantity detection units 52a and 52b are also used) is a color distribution feature quantity detection unit 55a that detects the color distribution of the image in the image area as a feature quantity, for example, as shown in FIG. 13C. And a shape / outline feature quantity detection unit 55b that detects the shape or outline of the image in the image area as a feature quantity. And the determination part 54 determines the presence or absence of predetermined changes, such as bleeding, by comparing these feature-values.
  • the determination unit 54 can easily bleed from the detection output of the color distribution feature amount detection unit 55a. Can be determined.
  • the shape / contour feature quantity detection unit 55b detects the change, and the determination unit 54 can determine from the detection output that bleeding has occurred.
  • the feature amount is extracted and recorded from the predetermined image area at the treated place in the past overhead image recorded on the processor 6 side of the medical device 1B, and the feature amount is predetermined in time. It is monitored whether or not the threshold value has been changed to a threshold value or more. If the threshold value has been changed to a predetermined threshold value or more, the operator is notified of the location. Therefore, according to the present modification, in addition to the effects of the first embodiment, the surgeon can more intensively treat the place where treatment is currently performed, and the operability for the surgeon is improved. Can be improved. Moreover, this modification can provide the medical device 1B in an environment in which an operator can easily perform an operation.
  • the CPU 23 automatically captures, for example, one of the two main cameras 4A and 5A in the place where the change has occurred. Alternatively, one of them may be set so as to control movement. Then, the surgeon can quickly confirm a state in which there is a predetermined change such as bleeding by using one of the main cameras. Then, depending on the confirmation result, the surgeon performs an instruction operation to return the moved one main camera to the state before the movement, or an instruction operation to move the other main camera in the same manner as the one camera. May be.
  • the configuration may be applied to the configuration of one main camera and endoscope without having the overhead camera 3A.
  • an overhead image cannot be obtained, it is not possible to associate (associate) the location and number in the overhead image with the setting information of the imaging position by the main camera.
  • the setting information is associated with the location and number in the control memory 24 of the processor 6 at the time of image recording operation by the main camera, and the time at the time of operation is also recorded simultaneously.
  • the surgeon can display the past history imaged by the main camera. Therefore, for example, bleeding is performed at a place where an operator has previously treated with an endoscope during an operation using one main camera and an endoscope (a rigid endoscope or a flexible endoscope).
  • an endoscope a rigid endoscope or a flexible endoscope.
  • the surgeon may perform an operation of displaying a past history in the main image recorded by the main camera. Then, the surgeon specifies the location (or number) of the playback image corresponding to the location where the predetermined change has been confirmed by the endoscope in the playback image of the past main image displayed on the main monitor 8. To do. Then, the surgeon may perform an instruction operation to move the main camera to the location of that number.
  • the main camera quickly moves to the place where the surgeon confirmed bleeding and displays the captured image on the main monitor 8. Therefore, the surgeon can confirm the state such as bleeding in detail.
  • the surgeon can confirm the state such as bleeding in detail.
  • it demonstrated in the case of one main camera and an endoscope it is applicable similarly also in the case of two main cameras and an endoscope.
  • FIG. 14 shows a medical device 1C according to the second embodiment of the present invention.
  • the medical device 1C according to the present embodiment is fixed to the abdominal wall of the abdomen 2, and has an overhead camera 3C that captures the entire abdominal cavity at a wide angle, a main camera 4C that performs magnified observation, a processor 6C, and an overhead image by the overhead camera 3C.
  • the display includes an overhead monitor 7 to be displayed, a main monitor 8 that displays a main image from the main camera 4C, and a camera operation I / F (not shown).
  • the processor 6C is configured to perform signal transmission between the overhead camera 3C and the main camera 4C in a wired manner in the processor 6 of the first embodiment or the processor 6B of the modification. Furthermore, this embodiment has the following functions.
  • FIG. 15 shows display images on the overhead monitor 7 and the main monitor 8.
  • an enlarged image display range frame (hereinafter simply referred to as a display frame) serving as a mark 61 is displayed so that the main camera 4C can always know where the image is displayed.
  • each camera 3C, 4C is equipped with a 6-axis sensor so that the processor 6B can always grasp the imaging position and imaging direction.
  • the cursor 62 is clicked on the place to be magnified on the overhead image, the main camera 4C moves so that the clicked place is displayed. Then, it is enlarged and displayed as shown on the right side of FIG.
  • the display range frame which becomes the mark 61 also moves with the movement of the main camera 4C.
  • the main camera 4C emits infrared rays from the infrared emitting portions 64a and 64b provided at both ends of the main camera 4C at a distance between the main camera 4C and the surface 65 of the organ (place) to be treated as follows. It can be measured by the procedure. As shown in FIG. 1) Infrared rays are emitted from both ends of the main camera 4C toward the inside of the visual field direction along the visual field direction of the main camera 4C.
  • the range in which the emitted infrared rays overlap is increased according to the distance from the main camera 4C. Therefore, as shown in FIG. 2)
  • the position of the infrared ray is grasped on the screen of the main image, and the distance is calculated from the inclination of the infrared ray emission at the overlapping position.
  • the abdominal cavity can be observed on the overhead image with the overhead image, and the display range of the enlarged observation image by the main camera 4C is always superimposed. It is possible to easily grasp whether or not the user is observing.
  • the main camera 4C can automatically move and display the target location simply by clicking on the location where the enlarged observation is desired on the bird's-eye view image. Can be displayed.
  • FIG. 18 shows a medical device 1D according to the third embodiment of the present invention.
  • the medical device 1D of the present embodiment is fixed to the abdominal wall of the abdomen 2, and has an overhead camera 3D that captures the entire abdominal cavity at a wide angle, a processor 6D that performs image processing on the overhead camera 3D, and an overhead image by the overhead camera 3D. It consists of an overhead monitor 7 to be displayed and a camera operation I / F 9.
  • a monitor 8 ′ (indicated by a dotted line) that displays an enlarged image by electronic zoom (for enlarged image) may be provided.
  • the overhead camera 3D and the processor 6D are illustrated with a configuration that transmits signals by wire, they may be configured to transmit signals wirelessly.
  • the overhead camera 3D includes an imaging unit 11d using a high-pixel imaging device, and the imaging unit 11d captures the entire abdominal cavity at a wide angle.
  • the processor 6D performs area selection on the bird's-eye view image picked up by the image pickup unit 11d by the operation of the camera operation I / F 9, and enlarges and displays the area selected by area selection by electronic zoom. A processing function is provided.
  • FIG. 19A shows an overhead image displayed on the overhead monitor 7 in a state where the electronic zoom is not performed.
  • This bird's-eye view image includes an image of place A and place B as two areas to be described later.
  • FIG. 19B shows an enlarged image in which the location B as the selected area is enlarged and displayed by electronic zoom.
  • the enlarged image is displayed on the monitor 8 ′ when the monitor 8 ′ is provided, and is displayed on the overhead monitor 7 when only one overhead monitor 7 is provided.
  • the present embodiment is configured such that the overhead camera 3D with a high pixel serves as a bird's-eye camera that looks down on the whole and a function similar to the function of the main camera whose imaging position is moved as described in the above-described embodiment. It is a thing.
  • the processor 6D includes the image processing unit 21 including the change monitoring unit 51 described with reference to FIG. 13A.
  • the surgeon can perform a treatment on a treatment target site in the abdominal cavity with the treatment tool 10 while observing an overhead image.
  • the processor 6D includes the control memory 24 and the video signal output unit 25 in FIG. 13A.
  • the entire abdominal cavity is imaged by the overhead camera 3D, and the processor 6D displays the overhead image on the overhead monitor 7.
  • An example of the display is as shown in FIG. 19A.
  • the surgeon can grasp the state of the entire abdominal cavity by observing the overhead image.
  • the surgeon operates the area A by operating the area selection of the camera operation I / F 9 so as to make the state A more observable in order to treat the place A in the overhead view image of FIG. 19A. Select.
  • step S2 the area information of the selected place A is recorded in the processor 6D as shown in step S3. Further, as shown in step S4, the processor 6D performs an electronic zoom process for enlarging the image of the location A with respect to the selected location A. Then, as shown in FIG. 19B, the image portion of the place A is enlarged and displayed. The surgeon starts treatment using the treatment tool 10 as shown in step S5 while observing the enlarged image. Thereafter, when the surgeon finishes the treatment, the electronic zoom is stopped as shown in step S6. Then, as in the case of step S1, an overhead image for imaging the entire abdominal cavity is displayed on the overhead monitor 7.
  • the change monitoring unit 51 in the processor 6D records the image of the place A (the treatment has been completed) as a past image, and uses the feature amount of the image as a reference (used for determining the change). Record as feature).
  • the change monitoring unit 51 acquires the feature amount of the place A at predetermined time intervals, compares the feature amount with the reference feature amount, and determines whether or not there is a predetermined change (recognition). )I do.
  • the color distribution feature quantity by the color distribution feature quantity detection unit 55a and the shape / contour feature quantity detection unit 55b have the shape / contour feature quantity. Then, it is determined whether or not the threshold value has changed beyond a preset threshold value.
  • step S9 The process for determining whether or not there is a change at a predetermined time interval in FIG. 8 is shown in step S9.
  • the surgeon continues the operation. For example, when the surgeon intends to treat another place B different from the place A (by the same operation as in the case of step S2), in step S10, in the overhead view image of FIG. Select.
  • the processor 6D records the area information of the selected place B as shown in step S11. Also, as shown in step S12, the processor 6D performs an electronic zoom process for enlarging the image of the location B for the selected location B.
  • step S14 The surgeon starts treatment using the treatment tool 10 as shown in step S13 while observing the enlarged image. Thereafter, as shown in step S14, when the surgeon finishes the treatment, the electronic zoom is stopped. Then, as in the case of step S1, an overhead image for imaging the entire abdominal cavity is displayed on the overhead monitor 7.
  • step S7 the processing from step S7 onward is performed in the same manner (however, place A in step S7 is replaced with place B. Also, place B in step S10 is replaced with place B. , Read as place C).
  • the process shown in FIG. 20 is finished.
  • the processor 6D displays warning information (or notification information) with change on the overhead monitor 7 as shown in step S15. Specifically, warning information that there is a change such as bleeding from the state immediately after the treatment is displayed at the location A. The surgeon performs confirmation corresponding to the warning information as shown in step S16. The surgeon can confirm the state of the place A in response to the warning information, and can quickly perform the treatment if a treatment is necessary according to the confirmation result. It can also be confirmed when no treatment is required. After the process of step S16, the process of FIG.
  • an overhead image and an enlarged image obtained by enlarging a part of the overhead image can be displayed by one camera (imaging means) using an imaging unit 11d having one high pixel. Therefore, the operation can be performed smoothly with simpler work than when a plurality of cameras are installed in the body cavity.
  • FIG. 21 shows a medical device 1E according to the fourth embodiment of the present invention.
  • the medical device 1E of the present embodiment is fixed to the abdominal wall of the abdominal part 2, and the first and second main cameras 4E and 5E, the processor 6E, the first and second mains that respectively image the abdominal cavity at a narrow angle. It comprises main monitors 8A and 8B for displaying main images from the cameras 4E and 5E, respectively, and a camera operation I / F 9.
  • FIG. 21 shows a configuration example in which signal transmission is performed by wire.
  • the first and second main cameras 4E and 5E are imaging means that can change (move) the area to be imaged by panning and tilting and can also zoom, for example, the main cameras 4, 5 in FIG. 13A. It is realizable with the structure similar to. Or you may make it the structure which can move the installation position in the abdominal cavity of the main cameras 4E and 5E. In this case, pan and tilt functions are not always necessary.
  • At least one of the main cameras 4E and 5E can be set to a considerably wide angle state when the zoom is set to the minimum magnification. That is, one main camera has a function close to a bird's-eye view camera. And this one main camera puts the imaging area of the other main camera in the imaging area so that the imaging area of the other main camera can be grasped.
  • the processor 6E incorporates the image processing unit 22, the camera drive control CPU 23, the control memory 24, and the video signal output unit 25 shown in FIG. 13A.
  • the image processing unit 22 illustrated in FIG. 21 includes the change monitoring unit 51 described with reference to FIG. 13A.
  • the position information between the two main cameras 4E and 5E can be grasped by the method described with reference to FIGS.
  • the present embodiment is a configuration example having functions similar to those of the third embodiment using two main cameras 4E and 5E.
  • a typical operation example according to the present embodiment will be described with reference to the flowchart of FIG.
  • the surgeon specifies an area (location A) where the first main camera 4E is to be treated, and sets the area to be an imaging area for imaging. That is, the surgeon moves and installs the main camera 4E so that the place A to be treated can be imaged, and performs settings such as pan and tilt.
  • step S22 the surgeon similarly sets the treatment area A to be included in the imaging area for the second main camera 5E.
  • the setting of the main camera 5E includes information on the relative position with respect to the main camera 4E, shape recognition with respect to an object such as the distal end portion of the treatment instrument 10 installed at the treatment place A, and the like. You may set automatically using.
  • the processor 6E records the area information (location A information) of the main cameras 4E and 5E.
  • the surgeon starts treatment using the treatment tool 10 at the location A. In this case, it is performed while observing the main image taken by the main cameras 4E and 5E. Then, the surgeon finishes the treatment at the place A.
  • step S25 the processor 6E records the image of the place A where the treatment is completed as a past image, and the change monitoring unit 51 records the feature amount as a reference feature amount.
  • step S26 the change monitoring unit 51 acquires the feature amount of the place A at every predetermined time interval, compares the feature amount with the reference feature amount, and determines (recognizes) the presence or absence of the predetermined change. .
  • the color distribution feature quantity by the color distribution feature quantity detection unit 55a and the shape / contour feature quantity detection unit 55b have the shape / contour feature quantity.
  • the process for determining whether or not there is a change at a predetermined time interval in FIG. 22 is shown in step S27.
  • step S27 the operator continues the operation. For example, when the surgeon intends to treat another place B different from the place A, the place B is specified in step S28, and the main camera 4E is set to image the place B. Then, the main image from the main camera 4E is displayed on the main monitor 8A. In step S29, the main camera 5E is also set to capture the location B. Then, the main image from the main camera 5E is displayed on the main monitor 8B. In step S30, the main camera 5E is set to a state where the place A is imaged at a predetermined time interval.
  • step S34 the process of FIG. 22 is ended.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)

Abstract

 医療装置は、体壁に固定され体腔内を撮像する第1の撮像部と、第1の撮像部において撮像された第1の画像において所定の変化が発生した場合に備え、予め第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する記録部と、第1の画像において、所定の変化が発生した場合に、記録部に記録された画像エリア又は座標を、第1の撮像部において撮像された第1の画像上に重畳して表示する表示部と、を備える。 

Description

医療装置
 本発明は体内を撮像手段により撮像し、手術等を行うための医療装置に関する。
 近年、体内に内視鏡を挿入し、内視鏡の観察下で病変部の切除等の手術を行う内視鏡装置による医療装置が広く用いられるようになった。 
 例えば、腹腔内の手術を行う場合、開腹することなく、トラカールによる刺入孔に内視鏡を挿入し、内視鏡の観察下で処置具等により患部の切除等の手術を行うことが広く行われるようになっている。 
 このように内視鏡観察下での手術を行い易くするために、第1の従来例としての日本国特開2008-307226号公報においては、体腔内において撮像するカメラと、カメラに接続されると共に腹壁の異なる面によって腹壁を挟持してカメラを体腔内に固定するカメラ側磁石及び固定用磁石と、カメラの制御を行うカメラコントロールユニットを備えた内視鏡システムが開示されている。
 また、第2の従来例としての日本国特開2005-319086号公報においては、LED、バッテリ、観察光学系、及び映像信号送信部を有する観察ユニットを体壁に固定し、観察ユニットの観察光学系により撮像された体腔内映像の映像信号を映像信号送信部により無線にてモニタ側の映像信号処理機に送信する体腔内観察システムが開示されている。 
 また、第3の従来例としての日本国特開2006-320650号公報においては、記録部から画像を取得し、取得した画像に対する各種画像処理を制御し、処理結果の画像を記録部に記録させる画像処理制御部と、時系列で連続する画像の相関値を算出するとともに、算出した相関値に応じて各画像を画像グループに分類する画像分類部と、各画像から所定の特徴を有する特徴画像領域を検出すると共に、検出した特徴画像領域を有する特徴画像を注目画像として検出する注目画像検出部と、各画像グループ内の注目画像と先頭画像とを代表画像として抽出すると共に、抽出した各代表画像に表示レートを設定する代表画像抽出部と、設定された表示レートに応じて一連の代表画像を順次表示させる制御を行う画像表示制御部と、を備える画像表示装置が開示されている。
 第1の従来例のように腹壁に固定して体腔内を撮像する撮像手段としてのカメラにより体腔内を広範囲に観察できるような状態にし、さらに処置具により実際に処置する部分を内視鏡等により詳しく観察できる状態にして処置を行うことにより、手術を円滑に行うことができる。 
 一方、処置した部位(第1の部位とする)から次に処置すべき第2の部位に移動した後に、第1の部位が所定の変化、具体的には出血が発生したような場合には、術者は出血した状態をより詳細に確認することを速やかに行えるようにすることが望まれる。術者は、確認結果に応じて第1の部位の出血に対応した処置を行うことになる。
 しかしながら、上記の第1~第3の従来例においては、第1の部位が出血したような場合においては、術者に対してその出血したことの詳細な確認を速やかに行えるようにすることができない。 
 具体的には、第1及び第2の従来例では、カメラ又は観察ユニットにより第1の部位が出血した画像を広角な画角状態により表示することができるが、より詳細に確認しようとする場合には、第1の部位を詳細に観察することができるように内視鏡等を移動しなければならない。
 しかし、第1及び第2の従来例は、第1の部位を撮像する情報を記録していないので、内視鏡等を速やかに第1の部位を観察できるように設定することができない。このため、予め第1の部位に関連する情報を記録しておき、出血が発生した場合には、記録しておいた第1の部位に関連する情報を表示して、術者が速やかに第1の部位の出血等を確認し易くすることが望まれる。 
 なお、第3の従来例は、蓄積した過去の画像において、目画像検出部は画像処理により出血した出血部位が有るか否かを判断し、画像処理制御部は、出血部位が有るとその位置情報を画像記録部に記録することを開示している。しかし、この従来例は、過去の画像における出血部位を抽出しようとするものであり、手術中において術者に対して出血部位の詳細を速やかに確認し易くするようなことを開示するものでない。
 本発明は上述した点に鑑みてなされたもので、体腔内を撮像した画像において出血等の所定の変化が発生した場合に備え、予め所定の画像エリア又は座標を記録しておき、所定の変化が発生した場合に、記録しておいた画像エリア又は座標を、重畳して表示することができる医療装置を提供することを目的とする。
 本発明の一態様に係る医療装置は、体壁に固定され体腔内を撮像する第1の撮像部と、前記第1の撮像部において撮像された第1の画像において所定の変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する記録部と、前記第1の画像において、所定の変化が発生した場合に、前記記録部に記録された前記画像エリア又は前記座標を、前記第1の撮像部において撮像された前記第1の画像上に重畳して表示する表示部と、を備えることを特徴とする。
図1は本発明の第1の実施形態を備えた医療システムの全体構成を示す構成図。 図2は図1の医療装置における内部構成を示すブロック図。 図3は第1の実施形態における代表的な動作説明図。 図4は俯瞰モニタでの表示による動作の説明図。 図5はメインモニタでの表示例を示す図。 図6は現在の設定位置からメインカメラを移動し、移動後のメインカメラにより撮像したメイン画像の表示例を示す図。 図7は俯瞰画像上におけるメインカメラによる撮像位置を特定するための説明図。 図8は処置具を利用して俯瞰画像上におけるメインカメラによる撮像位置を特定するための説明図。 図9は光を用いて俯瞰画像上におけるメインカメラによる撮像位置を特定するための説明図。 図10は画像認識により俯瞰画像上におけるメインカメラによる撮像位置を特定する説明図。 図11は俯瞰画像上に映るメインカメラの情報を利用して俯瞰画像上におけるメインカメラによる撮像位置を特定する説明図。 図12Aは2つのメイン画像をメインモニタで表示する様子を示す図。 図12Bは1つのモニタに俯瞰画像とメイン画像を表示する様子を示す図。 図12Cは1つのモニタに俯瞰画像と2つのメイン画像を表示する様子を示す図。 図12Dは1つのモニタにメイン画像と俯瞰画像とを親子画像で表示する様子を示す図。 図13Aは本発明の第1の実施形態の変形例の医療装置の全体構成図。 図13Bは変化監視部の構成例を示すブロック図。 図13Cは特徴量検出部の構成例を示すブロック図。 図14は本発明の第2の実施形態の変形例の医療装置の全体構成図。 図15は俯瞰モニタとメインモニタでの表示画像を示す図。 図16はメインカメラの両端から赤外線を出射する様子の説明図。 図17は赤外線の重なりから距離を算出する説明図。 図18は本発明の第3の実施形態の医療システムの全体構成を示す構成図。 図19Aは俯瞰モニタに表示される俯瞰画像例を示す図。 図19Bは俯瞰モニタ等に表示される拡大画像例を示す図。 図20は第3の実施形態の代表的な処理内容を示すフローチャート。 図21は本発明の第4の実施形態の医療システムの全体構成を示す構成図。 図22は第4の実施形態の代表的な処理内容を示すフローチャート。
 以下、図面を参照して本発明の実施形態を説明する。 
(第1の実施形態)
 図1に示すように本発明の第1の実施形態の医療装置1は、患者の腹部2の腹壁にそれぞれ固定され、腹腔内を広角で撮像する俯瞰カメラ部3と、腹腔内を(俯瞰カメラ部3に比較して)狭角で撮像する第1メインカメラ部4及び第2カメラ部5を有する。 
 また、この医療装置1は、これらの俯瞰カメラ部3,メインカメラ部4、5に対する画像処理等を行うプロセッサ6と、俯瞰カメラ部3により撮像した画像(俯瞰画像という)を表示する俯瞰モニタ7と、メインカメラ部4、5により撮像した画像(メイン画像という)を表示するメインモニタ8とを有する。 
 また、この医療装置1は、術者が俯瞰カメラ部3,メインカメラ部4、5により撮像した画像の記録と、メインカメラ部4,5の撮像位置、撮像方向を所望とする場所へ移動等の指示操作を行うカメラ操作インターフェース(カメラ操作I/Fと略記)9を有する。
 なお、本実施形態においては、俯瞰カメラ部3,メインカメラ部4、5を腹部2の内部にそれぞれ配置される第1の撮像手段としての俯瞰カメラ3A、第2の撮像手段としてのメインカメラ4A、5Aと、腹部2の外部に配置される受信ユニット3B、送受信ユニット4B,5Bとによりそれぞれ構成した例で示している。 
 なお、本実施形態は、このような無線で信号を伝送する構成に限定されるものでなく、俯瞰カメラ3A、メインカメラ4A、5Aからそれぞれ信号線を延出して、プロセッサ6と接続して信号伝送を有線で行う構成(例えば図14の構成)にしても良い。 
 有線で信号伝送を行う構成にした場合には、受信ユニット3B、送受信ユニット4B,5Bは必要ない。なお、本実施形態においては、第2の撮像手段として2つのメインカメラ4A,5Aを備えた構成で示している。
 2つのメインカメラ4A,5Aを備えた構成とすることにより、1つの場合よりも例えば処置具により病変部を処置している様子をより確実に把握又は認識することができる。1つの場合には、1つの方向からの撮像画像となるのに対して、2つの場合には異なる2つの方向からの撮像画像が得られるので、処置具の状態をより詳細に把握、認識することができる。また、病変部の状態もより詳細に把握、認識することができる。 
 しかし、本実施形態は、メインカメラが、2つの場合に限定されるものでなく、3つ以上でも良いし、逆に1つの場合にも適用できる。 
 また、図1に示すように俯瞰カメラ3A、メインカメラ4A、5Aを腹部2内部に固定する操作は、例えば特開2008-307226号公報に開示された方法によりトラカール10を用いて腹部2に形成した穿刺孔に、図示しない内視鏡等を用いて行うことができる。
 俯瞰カメラ3A、メインカメラ4A、5A側と、受信ユニット3B、送受信ユニット4B,5B側とは、例えば磁石を用いた磁力により腹壁を挟む様な状態で、着脱可能に固定することができるが、接着剤などの他の固定手段により固定しても良い。 
 なお、図1においては、俯瞰カメラ3A、メインカメラ4A、5Aを腹部2内部に固定した後、トラカール10に処置具19を挿通して、処置対象の部位(場所という)に対して処置を行う様子を示している。 
 俯瞰カメラ3A、メインカメラ4A、5Aは、例えば略円筒形状の外装容器内に、図2に示すように撮像機能を備えた撮像ユニット11a~11c、撮像する部分を照明する照明ユニット12a~12c及び撮像ユニット11a~11c等にそれぞれ電源を供給するバッテリなどにより構成される電源ユニット13a~13cとをそれぞれ収納している。
 また、俯瞰カメラ3Aは、送信ユニット14aを内蔵し、撮像ユニット11aにより撮像した撮像画像としての俯瞰画像の画像信号を送信ユニット14aにより無線で送信する。受信ユニット3Bは、送信ユニット14aにより送信された画像信号を受信してプロセッサ6内の(俯瞰用)画像処理ユニット21に出力する。 
 メインカメラ4A、5Aは、さらに送受信ユニット15b、15cと、カメラ駆動ユニット16a、16bと、位置検出ユニット17a,17bと、識別情報発生ユニット(図面中ではIDと略記)18a,18bとを内蔵している。 
 なお、第2メインカメラ5Aは、識別情報発生ユニット18bにより発生する識別情報が異なるのみでその構成は、第1メインカメラ4Aと同じであり、図2では内部構成を簡略的に示している。
 メインカメラ4A、5Aは、撮像ユニット11b、11cでそれぞれ撮像した撮像画像としてのメイン画像の画像信号を送受信ユニット15a、15b(内部の送信部)を介して無線で送信し、送受信ユニット4B,5B(内部の受信部)は送信された画像信号を受信してプロセッサ6内の(メイン用)画像処理ユニット22に出力する。 
 なお、送受信ユニット15a、15bは、画像信号を送信する場合、識別情報を付加して送信し、(メイン用)画像処理ユニット22は、識別情報に応じてメイン画像の管理を行う。 
 また、メインカメラ4A、5Aは、上記のように俯瞰カメラ3Aの構成に比較して、撮像する場所を移動するためのカメラ駆動ユニット16a、16bと、移動した場所を撮像するカメラ駆動ユニット16a、16bの駆動情報(設定情報とも言う)を検出する位置検出ユニット17a、17bを備えている。
 俯瞰カメラ3Aは、広角の観察視野(例えば180°に近い観察視野)を有し、腹壁に固定された状態で、腹腔内を広角の画角状態で広範囲に撮像した俯瞰画像となり、手術中においては固定された広角の画角状態で使用される。 
 図1にて模式的に示すように、俯瞰画像中において、メインカメラ4A、5Aをその観察視野内で撮像したメインカメラ画像(簡略化して4A、5Aで示す)が表示されている。 
 これに対して、メインカメラ4A、5Aは、俯瞰カメラ3Aに比較するとより狭い観察視野(狭角)を有し、上記のカメラ駆動ユニット16a、16bにより以下に説明するように観察視野(撮像範囲)を移動設定することができる。
 そして、カメラ駆動ユニット16a、16bにより、メインカメラ4A、5Aは、腹腔内におけるカメラ駆動ユニット16a、16bの駆動範囲内で所望とする観察視野に設定でき、かつ適度の画像サイズに設定できるので、術者は詳細に観察することができる。図1は、例えば一方のメインカメラ5Aによるメイン画像の表示例を示す。 
 本実施形態においては、俯瞰画像により術者は腹腔内を広角で俯瞰する(見渡す)ことができ、さらに2つのメインカメラ4A、5Aにより任意の場所を詳細に観察することができるようになる。 
 これにより、従来例における処置する場所をスコープ(内視鏡)により観察できる視野内に設定して保持するスコピスト(内視鏡保持者)を不用にできる。このため、術者は、術者の近くの場所を占有するスコピストがいないため、スコピストが占有する場所に制約されないで手術をより行い易くなるメリットを有する。
 カメラ駆動ユニット16a、16bは、撮像ユニット11b、11c及び照明ユニット12b、12cをパン(左右方向に首振り)機能、チルト(上下方向に傾ける)機能を有すると共に、撮像ユニット11b、11cによる拡大観察を可能とするズーム機能を備えている。 
 つまり、カメラ駆動ユニット16a、16bは、パン、チルトにより撮像手段としての撮像ユニット11b、11cを所望とする場所を撮像できるように移動設定することができ、かつズーム機能により撮像する画角を変更、例えば俯瞰カメラ3Aの場合よりも撮像倍率を増大して、注目する患部等をより詳細に観察することが出来る状態に設定することができる。
 また、カメラ駆動ユニット16a、16bによるパン、チルト、ズームの設定情報(換言すると、撮像ユニット11b、11cの撮像位置の情報、撮像方向の情報、さらに撮像の画角のズーム情報)は、情報取得手段を構成する位置検出ユニット17a、17bにより検出される。 
 なお、位置検出ユニット17a、17bにより検出されたカメラ駆動ユニット16a、16bの設定情報は、例えば術者による画像記録操作により撮像される場所と共に、制御用メモリ24において(例えば画像記録の指示操作時の時刻と共に)履歴情報として記録される。 
 術者は、カメラ操作I/F9に設けられたパンSW9a、チルトSW9b、ズームSW9cを操作することにより、パン、チルト、ズームの指示信号がプロセッサ6内部のカメラ駆動制御用CPU(単にCPUと略記)23に出力される。CPU23は、医療装置1を構成するプロセッサ6、俯瞰カメラ3A、メインカメラ4A,5A、カメラ操作I/F9の制御を行う。
 また、CPU23は、パン、チルト、ズームの指示信号に応じたモータ駆動信号をモータ駆動信号発生部23aにより発生し、送受信ユニット4B又は4Cを介してメインカメラ4A又は5Aのカメラ駆動ユニット16a又は16bを駆動する制御を行う。そして、メインカメラ4A又は5Aは、指示信号に対応した場所を撮像する状態に設定される。 
 つまり、メインカメラ4A又は5Aのカメラ駆動ユニット16a又は16bは、術者がカメラ操作I/F9により指示操作した目標の場所を撮像する(撮像)設定状態になる。 
 カメラ駆動ユニット16a又は16bを駆動した場合、その駆動により所定の場所を撮像するように設定された設定情報は、位置検出ユニット17a又は17bにより検出され、その検出信号は送受信ユニット15a又は15b、送受信ユニット4B又は5Bを介して位置情報取得部23bに出力される。
 この位置情報取得部23bは、位置検出ユニット17a、17bによりパン、チルト、ズームの検出信号から、パン、チルト、ズームの設定値、換言すると、メインカメラ4A、5Aの撮像位置、撮像方向の情報、ズーム情報(からなる設定情報)を取得する。 
 そして、位置情報取得部23bは、術者により画像記録の指示操作が行われると、カメラ駆動ユニット16a及び16bの設定情報は、上記制御用メモリ24に時系列に記録(記憶)される。なお、制御用メモリ24の代わりに、位置情報取得部23bのメモリ等の記録部に記録するようにしても良い。 
 また、カメラ操作I/F9には、画像の記録指示操作を行う画像記録SW9d、2つのメインカメラ4A又は5Aによりそれぞれ撮像されたメイン画像のいずれをメインモニタ8に表示するか等の画像選択を行う画像選択SW9eと、さらに必要に応じて情報を入力する情報入力部9fとが設けてある。
 カメラ操作I/F9としては、図2に示すようにメインカメラ4A、メインカメラ5Aに対して共通に使用する構成にしても良い。この場合には、メインカメラ4A、メインカメラ5Aを指定(選択)する図示しない選択スイッチを設ける。又は、カメラ操作I/F9として図1に示すようにメインカメラ4A及び5Aに対してそれぞれ独立してパン、チルト、ズームの操作を行う(第1)カメラ操作I/F9G,(第2)カメラ操作I/F9G′を設けた構成にしても良い。 
 術者は、上記の画像記録SW9dを操作することにより俯瞰カメラ3Aの俯瞰画像、メインカメラ4A及び5Aのメイン画像の記録を行うことができる。
 また、図3を参照して後述するようにメインカメラ4A,5Aが処置しようとする場所を撮像する状態に設定後において、処置具の先端をその場所に設定した状態において、術者が画像記録SW9dによる記録操作を行うことにより、俯瞰画像と、俯瞰画像におけるメインカメラ4A,5Aの撮像画像の撮像位置、撮像方向等の情報とを関連付けて(対応付けて)記録することができるようにしている。 
 このように本施形態においては、術者により画像記録SW9dを介して画像記録の指示操作が行われた場合には、プロセッサ6は、俯瞰画像におけるメインカメラ4A及び5Aが撮像している場所(の情報)と、その場所を撮像しているメインカメラ4A及び5Aの撮像位置情報及び撮像方向情報(つまり、撮像手段設定情報)とを関連付けて(対応付けて)、例えば時系列に記録する(履歴情報の)記録手段としての制御用メモリ24を有することが特徴の1つとなる。
 なお、この場合の場所(の情報)としては、その場所を特定する座標(または座標に類する例えば図7に示す場所特定手段)でも良いし、撮像している場所の画像エリアでも良いし、画像エリアを特定する座標でも良い。つまり場所に関連する情報であれば良い。
 また、俯瞰カメラ3Aによる俯瞰画像と、メインカメラ4A及び5Aの撮像画像は、俯瞰画像におけるメインカメラ4A及び5Aの撮像の場所及びその場所に関連付けた番号と関連付けて、時系列に記録される。 
 この場合、俯瞰画像は、以下に説明する画像処理ユニット21内の画像記録部34aに、メイン画像は、画像処理ユニット22内の画像記録部34bに記録されるが、他の記録手段、例えば制御用メモリ24に記録しても良い。 
 そして、術者は、例えば情報入力部9fから履歴情報(又は履歴)を表示させる指示操作を行うことにより、例えば現在の俯瞰画像においてメインカメラ4A及び5Aの撮像の場所を番号付けて表示させることができる(図4にて後述)。
 また、このプロセッサ6は、画像処理ユニット21,22と接続された映像信号出力ユニット25を有する。この映像信号出力ユニット25は、俯瞰カメラ3Aとメインカメラ4A又は5Aにより撮像され、画像処理ユニット21,22の画像記憶用のフレームメモリに一時記憶された俯瞰画像とメイン画像の画像データを、アナログRGB,NTSC/PAL,IEEE1394方式等の映像信号に変換して俯瞰モニタ7及びメインモニタ8にそれぞれ出力する。 
 図2に示すように画像処理ユニット21は、受信ユニット3Bを介して入力される撮像ユニット11aにより撮像された(俯瞰画像の)撮像信号に対する画像処理を行い、俯瞰画像を構築する画像構築部31aと、この俯瞰画像に対して、例えば処置具の先端位置または先端位置付近の場所を画像認識する処理を行う画像認識処理部32aとを有する。
 また、画像処理ユニット21は、この画像認識処理部32aにより画像認識した前記場所に、その場所を特定する番号を重畳する画像処理を行う画像処理部33aと、画像処理部33aにより画像処理された画像を記録するフレームメモリ等により構成される画像記録部34aとを有する。 
 なお、画像記録部34a(又は制御用メモリ24)に俯瞰画像を記録する場合、画像構築部31aにより生成された俯瞰画像と、この俯瞰画像に重畳する場所、番号の情報とを関連付けて記録するようにしても良い。 
 このように画像を記録する場合、処置した場所等の情報を関連付けて記録することにより、時間的に後で撮像した俯瞰画像上においても、過去の場所、番号の情報を重畳して表示することが容易にできるし、過去に処置して記録した複数の場所、番号の情報を重畳して表示することが容易にできる。
 なお、画像記録部34aは、画像記録SW9dにより画像記録の指示操作が行われた俯瞰画像の他に、動画表示するための俯瞰画像を一時的に記録する機能も備えている。そして、画像記録部34aなどに一時記録された俯瞰画像は、映像信号出力ユニット25を経て俯瞰モニタ7に表示される。 
 上記画像認識処理部32aは、図7等を参照して説明するように、俯瞰画像中において、メインカメラ4A,5Aが撮像している場所に、例えば処置具19の先端部を設定して俯瞰画像上におけるメインカメラ4A,5Aが撮像している場所を特定するための画像認識処理を行う。 
 この場合の画像認識処理は、プロセッサ6側が画像認識の画像処理を主体的に行う場合と、術者がマニュアルで画像認識のための主体となる指示操作する(この場合、プロセッサ6は補助的な処理する)場合との両方を含めた意味で用いている。なお、両者の一方のみを備えた構成にしても良い。
 俯瞰画像中において、メインカメラ4A,5Aが撮像している場所を特定する処理の終了後に、術者は画像記録の指示操作を行うことにより、俯瞰画像における特定された場所及び番号と関連付けてメインカメラ4A,5Aがその場所を撮像している設定情報が関連付けて制御用メモリ24に記録される。 
 このようにして俯瞰画像において、メインカメラ4A,5Aが撮像する場所を移動して、移動した各場所において同様に俯瞰画像中において、メインカメラ4A,5Aが撮像する場所の設定情報が関連付けて時系列に記録され、これらの情報は、履歴情報となる。各場所は、例えば番号で特定できるようにしている。
 そして、本実施形態においては、既に処置した場所において、俯瞰画像から出血又は出血に近い状態、より広義には所定の変化が発生したり、術者が所定の変化を認識した場合には、履歴情報を利用して俯瞰画像上に各場所を番号付けして重畳表示するように指示操作を行うことができるようにしている。 
 術者は、俯瞰画像上に表示された複数の場所に対応付けた番号の選択を行うことにより、CPU23は、メインカメラ4A,5Aを、その番号の場所の設定情報を参照してカメラ駆動ユニット16a,16bにより移動制御し、移動設定したメインカメラ4A,5Aにより撮像したメイン画像をメインモニタ8に表示して術者は、速やかにメイン画像から出血の状態をより詳細に確認することができるようにしている。
 上記制御用メモリ24は、処置した場所、換言すると、俯瞰画像において出血等の所定の変化が発生した場合に備え、俯瞰画像において予めこのような所定の変化が発生する可能性のある場所の画像エリア又は座標を記憶する記録手段を形成する。 
 また、画像処理ユニット22は、送受信ユニット4Bを介して入力される撮像ユニット11bにより撮像された(メイン画像の)撮像信号に対する画像処理を行い、メイン画像を構築する画像構築部31bと、この画像構築部31bにより構築されたメイン画像に対して、そのメイン画像を特定する場所及び番号を重畳する画像処理を行う画像処理部33bと、画像処理部33bにより画像処理された画像を記録するフレームメモリ等により構成される画像記録部34bとを有する。
 上記のように本実施形態においては、腹腔内においてそれぞれの処置対象となる場所に対して処置を行った場合における画像記録SW9dの操作時に、各メインカメラ4A,5Aにより処置対象となる場所を観察視野(撮像視野)に設定した撮像位置等の設定情報が、制御用メモリ24に時系列に記録される。この場合、撮像位置等の情報と、各メイン画像とが関連付けて記録される。 
 従って上述のように制御用メモリ24は、過去のメインカメラ4A,5Aによる撮像位置等の情報を履歴情報として記録する記録手段を形成する。 
 そして、図3を参照して説明するように、術者により例えば情報入力部9fから履歴表示の指示操作がされると、CPU23は、記録手段を構成する制御用メモリ24に記憶された履歴情報から各場所、番号の情報を読み出し、俯瞰画像における各場所に番号を重畳して表示するように制御する。
 つまり、CPU23は、記録手段に記録された場所、換言すると画像エリア又は座標を、第1の撮像手段としての俯瞰カメラ3Aにより撮像された俯瞰画像に対して重畳して表示する表示制御を行う表示制御手段の機能を持つ。 
 また、この表示制御手段の表示制御により、記録手段に記録された場所、換言すると画像エリア又は座標を、俯瞰画像に重畳表示される俯瞰モニタ7は、表示制御手段により表示制御される表示手段を形成する。 
 また、術者により俯瞰モニタ7に重畳表示された過去の番号から特定の番号の選択が行われると、CPU23は、その番号の場所に関連付けて記録されているメインカメラ4A及び5Aの設定情報を制御用メモリ24から読み出し、メインカメラ4A,5Aに対して選択された番号の場所を撮像するようにカメラ駆動ユニット16a、16bを駆動するように制御する。
 従って、CPU23は、制御用メモリ24から撮像位置、撮像方向等の設定情報に基づいて、カメラ駆動ユニット16a、16bにより第2の撮像手段を構成するメインカメラ4A,5Aを選択された場所を撮像するように移動制御する移動制御手段を構成する。なお、CPU23とカメラ駆動ユニット16a、16bとを含めた構成を移動制御手段と見なしても良い。 
 また、この移動制御手段は、メインカメラ4A,5Aによるズーム倍率を大きくして撮像倍率を上げる機能も備える。
 上記のように術者が特定の番号を選択することにより、CPU23の制御下で、メインカメラ4A及び5Aは、カメラ駆動ユニット16a、16bによって速やかに選択された番号の場所を撮像するように移動する。 
 そして、メインカメラ4A又は5Aにより撮像されたメイン画像がメインモニタ8に表示されるようになる。 
 従って、術者は俯瞰画像において出血または出血に近い状態を確認して、より詳細に確認する必要がある場合には、簡単な操作で、メインカメラ4A,5Aによるメイン画像により速やかに、かつ詳細に確認することができるようになる。
 本実施形態の医療装置1は、体壁に固定され体腔内を撮像する例えば俯瞰カメラ3Aにより構成される第1の撮像手段と、前記第1の撮像手段において撮像された例えば俯瞰画像としての第1の画像において所定の変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する例えば制御用メモリ24により構成される記録手段と、前記第1の画像において、所定の変化が発生した場合に、前記記録手段に記録された前記画像エリア又は前記座標を、前記第1の撮像手段において撮像された前記第1の画像上に重畳して表示する例えば俯瞰モニタ7により構成される表示手段と、を備えることを特徴とする。 
 次に図3を参照して本実施形態の代表的な動作を説明する。 
 図3は、術者、カメラ操作I/F9,俯瞰カメラ3A、第1,第2メインカメラ4A、5A,プロセッサ6/(俯瞰モニタ7,メインモニタ8)の主な動作を示す。この場合、縦の上方向から下方向が時間の経過を示す。
 図1に示すように、術者は、俯瞰カメラ3A,メインカメラ4A,5Aを腹部2の腹壁内に固定する。すると、図3に示すように俯瞰カメラ3Aは、撮像した俯瞰画像をプロセッサ6に伝送する。そして、プロセッサ6は、俯瞰モニタ7に俯瞰画像を表示する。 
 術者は、俯瞰画像を観察して、処置に必要な場所を特定する。この場所を場所P1と表記する。そして、この場所P1をメインカメラ4A,5Aにより撮像できるように、カメラ操作I/F9を操作する。 
 つまり、術者は、カメラ操作I/F9のパンSW9a、チルトSW9b、ズームSW9cを操作する。すると、カメラ操作I/F9の操作信号がCPU23に送られ、CPU23は、メインカメラ4A,5Aに対して場所P1を撮像するように移動指示を行う。
 具体的には、パンSW9a、チルトSW9b、ズームSW9cの操作により、カメラ駆動ユニット16a、16bを駆動し、メインカメラ4A,5Aの撮像ユニット11b、11cは場所P1を撮像するように(撮像位置及び方向を)移動する。メインカメラ4A,5Aにより撮像された場所P1を、適度の画角で詳細に撮像する状態に設定されたメイン画像がプロセッサ6に伝送される。 
 そして、メインモニタ8には、場所P1を撮像したメイン画像が表示される。 
 術者は、俯瞰画像とメイン画像とを観察しながら、場所P1において処置具を用いて処置を行うために、トラカール10を介して処置具19を腹腔内に挿入する。術者は、俯瞰画像における腹腔内に挿入された処置具19を見ながら処置したい場所P1に、その先端部を移動する。 
 すると、場所P1を詳細に表示するメインモニタ8に、処置しようとする場所P1と共に、処置具19の先端側が表示されるようになる。図1のメインモニタ8のメイン画像は、この場合の表示例を示す。 
 術者はこの場所P1を記録するか否かを判断する。術者は、処置具19によりこの場所で処置しようとする場合には、画像記録する操作を行う。具体的には、術者は、画像記録SW9dを操作する。この操作により、この記録操作の時間(時刻)と共に、メインカメラ4A,5Aのパン、チルト、ズーム情報(設定情報)がプロセッサ6に伝送される。
 プロセッサ6における制御用メモリ24には、メインカメラ4A、5Aにより撮像された場所P1の各メイン画像と、パン、チルト、ズーム情報、つまり撮像位置、撮像方向の情報が関連付けて記録される。 
 また、制御用メモリ24には、場所P1と関連付けて俯瞰画像における映っている処置具先端の位置(又は画像エリア)が画像認識(術者による特定操作の場合も含む)等されて記録される。 
 また、この場合、術者は、俯瞰画像におけるこの場所P1を、他の場所から簡単に特定できるように、情報入力部9fから記録した場所P1の番号(例えばN、ここでN=1)を入力したり、情報入力部9fのスイッチONにより初期値の番号1を自動的に付ける設定にしても良い。
 これによって、制御用メモリ24には、記録される俯瞰画像における場所P1が番号1で特定できると共に、この場所P1を撮像するメインカメラ4A,5Aの設定情報が俯瞰画像の場所P1,番号1と関連付けられて(処置した場所を時系列に記録した)履歴情報として記録される。また、メインカメラ4A,5Aによる各メイン画像も場所P1,番号1と(さらに識別情報を付けた状態で)関連付けて記録される。 
 従って、以下に説明するように術者は、この場所P1の番号1を指定、又は選択して、移動指示の操作を行うと、この番号1には、メインカメラ4A,5Aの設定情報が関連付けて記録してあるので、速やかにメインカメラ4A,5Aを、場所P1を撮像する状態に移動制御することが可能になる。
 このように場所P1を特定できるようにした後、図3に示すように、術者は場所P1において処置具19を用いて治療のための処置を開始する。そして、術者は、場所P1において処置を行った後、場所を移動して、同様の処理を行う。その際、場所P1で行った場合と同様に、処置が必要となる他の場所P2,P3においても、場所P2,P3と関連付けてメインカメラ4A,5Aの設定情報を記録する。 
 図5は、場所P3において処置具により処置を行っている最中のメインモニタ8に表示されるメイン画像例を示している。図5においては、メインモニタ8に場所P3の番号3が表示されている。 
 このようにして例えば場所P3において処置具により処置を行っている最中において、術者は、例えば広角の俯瞰画像において場所P1に出血を確認することがある。
 俯瞰画像は、広角であるため、出血の様子を詳しく確認することができない。そのため、術者は、情報入力部9fから、俯瞰画像に履歴を表示する表示指示を行う。表示指示は、CPU23に入力され、CPU23は、制御用メモリ24に記録されている情報を読み出し、対応する履歴の表示の制御動作を行う。 
 そして、俯瞰モニタ7には、これまで記録された場所P1~P3の履歴が番号1~3により俯瞰画像上に表示される。図4はこの履歴の表示例を示す。図4に示すように俯瞰画像上には、過去に記録された場所P1~P3に、各場所PNの番号Nが重畳表示される。なお、点線で示すように履歴の順序を表示しても良いし、表示しなくても良い。従って、術者は、情報入力部9fから、番号1を指定(選択)する。
 すると、この指定の信号がプロセッサ6のCPU23に入力され、CPU23は、番号1の場所P1にメインカメラ4A,5Aを移動する移動指示を行う。 
 制御用メモリ24には、番号1の場所P1と共に、メインカメラ4A,5Aの設定情報が関連付けて記録されているので、CPU23は、その設定情報によりカメラ駆動ユニット16a、16bを駆動する。 
 メインカメラ4A,5Aは、設定情報のパン、チルト、ズームにより、各撮像ユニット11b、11cが移動(駆動)され、場所P1を撮像する状態に移動設定される。そして、メインモニタ8には、メインカメラ4A又は5Aで撮像したメイン画像が表示される。図6は、この場合のメイン画像の表示例を示す。メインモニタ8におけるメイン画像の表示により、術者は出血状態を詳細に確認することができる。そして、術者は詳細な確認結果に応じて、出血状態に対応した処置を速やかに行う。
 このように本実施形態は、俯瞰画像における出血等、所定の変化の発生の可能性がある過去に処置した場所PNを、その場所PNを撮像するメインカメラ4A、5Aの設定情報と関連付けて、予め履歴情報として記録し、かつ表示手段で表示できるようにしているので、俯瞰画像において処置した場所PNにおいて出血等、所定の変化を術者が確認した場合、簡単な操作で、速やかにその場所PNを詳細に確認することができる。 
 従って、本実施形態は、術者が手術を行う場合、術者等が行う操作を軽減でき、より円滑に手術を行い易い医療装置1を提供できる。 
 なお、上述した画像認識処理部32aによる画像認識方法としては、以下のように種々の方法を用いることができる。図7における左側は俯瞰画像、右側はメイン画像を示す。なお、図8、図9においても同様の表示である。図10,図11においては、逆の配置で示している。
 図7の俯瞰画像は、例えば横1~6、縦a~eの(i,j)で指定(特定)される複数の画像エリアに分割されている。なお、俯瞰画像を、このような分割数に分割する場合に限定されるものでない。 
 術者は、メインカメラ4A,5Aにより撮像された撮像場所に相当するメイン画像の表示画像(図7では三角で模的に示す)に対応する表示画像が俯瞰画像中におけるどの画像エリアに存在するかを確認する。図7の例では術者は、(5,b)の画像エリアの場所を指定する。 
 この指定により、俯瞰画像における(5,b)の画像エリアの場所がメインカメラ4A,5Aが撮像している撮像座標または撮像場所であると特定(認識)する。 
 そして、この場所をPNとすると、場所PN及びその番号Nに関連付けてメインカメラ4A,5Aの設定情報が制御用メモリ24に記録されることになる。
 図8は、手術器具又は処置具等の基準物体を利用して俯瞰画像におけるメインカメラ4A,5Aの撮像位置を特定する方法を示す。メイン画像においては、処置具の先端部19a(丸で模式的に示す)付近のみが表示されるが、俯瞰画像においては処置具がより広範囲に表示される。 
 術者は、メイン画像における処置具の先端部19aが、俯瞰画像においてはどこに表示されているかを調べる。この場合、図7のように指定しても良い。或いは、先端部19aに対するエッジ処理を行ったエッジ画像を利用して、俯瞰画像におけるメイン画像の位置、つまりメインカメラ4A,5Aの撮像位置を特定しても良い。 
 図9は、メインカメラ4A又は5Aに、レーザポインタ等の光を照射する光源を設けた場合の方法を示す。俯瞰画像においては例えばメインカメラ5Aの画像と共に光源の光42で照射される部分が示される。
 これに対して、メイン画像においては、メインカメラ5Aによる拡大して撮像している場所(△で模式的に示す)付近において光42により照射される部分が表示される。光42の波長を、体内照明光と識別し易い波長に設定したり、照射する場合の形状を識別し易いように設定する。 
 これにより、術者は、メインカメラ5Aの撮像位置が俯瞰画像におけるどの位置あるかを容易に特定できる。図7~図9は、術者が俯瞰画像上においてメインカメラ4A、5Aの撮像位置を指定する方法を説明した。これに対して、以下のようにプロセッサ6側の画像認識処理部32a等の装置で相対位置を特定する画像認識を行うようにしても良い。
 図10はメイン画像における撮像している場所の特徴部分を、画像処理部33bにより画像認識する方法を示す。画像処理部33bは、例えば場所P1における処置具の先端部の形状を画像認識し、その画像認識した画像を場所P1の番号1の画像とする。 
 この画像認識した画像の特徴は、画像認識処理部32aに送られ、画像認識処理部32aは、その特徴を有する画像部分を俯瞰画像から検索する。そして、画像認識処理部32aは、俯瞰画像において所定値以上の相関を有する部分があると判断した場合には、メイン画像の特徴部分に対応する場所であるとして場所P1,その番号を1と自動マーキングする。 
 図11は、俯瞰画像に映り込んだメインカメラ4A又は5Aの画像情報を利用してメインカメラ4A又は5Aの撮像位置を特定する画像認識法を示す。俯瞰画像に映り込んだ例えばメインカメラ5Aの外装容器には、マーク43が付けてあり、撮像ユニット11bの方向が変化すると、マーク43も変化する。
 画像認識処理部32aは、俯瞰画像に映り込んだメインカメラ5Aの外装容器の形状と、マーク43の情報から、メインカメラ5Aの撮像位置を推定する。図11においては、点線の矢印の先端部をメインカメラ5Aの撮像位置を推定する。そして、俯瞰画像における推定した位置が、メイン画像の撮像している場所P1であるとして、その場所P1を特定した番号1で自動マーキングする。 
 この他に、俯瞰カメラ3A、メインカメラ4A、5Aそれぞれに位置センサを設け、それらの位置センサの検出情報から両画像における相対位置を特定するようにしても良い。 
 また、俯瞰カメラ3Aは、固定された状態となるので、メインカメラ4A、5A側のみに位置センサを設けるようにしても良い。
 なお、上述した実施形態においては、1つの俯瞰カメラ3Aと、2つのメインカメラ4A、5Aを用いて、俯瞰カメラ3Aの俯瞰画像を俯瞰モニタ7で表示し、2つのメインカメラ4A、5Aにおける選択された一方のメインカメラのメイン画像をメインモニタ8に表示する例で説明した。 
 本実施形態はこのような表示形態の場合に限定されるものでなく、例えば図12Aに示すようにメインモニタ8において、2つのメインカメラ4A、5Aそれぞれのメイン画像を2分割して表示しても良い。 
 また、メインモニタを2つにして、メインカメラ4A、5Aそれぞれのメイン画像を表示するようにしても良い。
 また、俯瞰モニタ7,メインモニタ8の代わりに1つのモニタ7Bにしても良い。この場合には、図12Bに示すように2分割して、俯瞰画像と、選択された一方のメインカメラのメイン画像を表示するようにしても良い。また、図12Cに示すように図12Bにおけるメイン画像表示エリアをさらに2分割して、2つのメイン画像を同時に表示するようにしても良い。 
 また、図12Dに示すように俯瞰画像とメイン画像とを、親子画像、又は一方を縮小画像(サムネイル画像)として表示しても良い。 
 図12Dの場合には、例えば一方のメインカメラによるメイン画像を親画像(縮小しない画像)、俯瞰画像を縮小画像、他方のメインカメラのメイン画像を縮小画像で表示した状態で示している。
 図12Dの表示を画像選択スイッチにより、親画像と縮小画像とを入れ替えて表示できるようにしても良い。また、1つの俯瞰カメラ3Aと、1つのメインカメラ4Aにより医療装置を構成しても良い。この場合において、俯瞰モニタ7とメインモニタ8を用いる構成にしても良いし、又は1つのモニタ7Bにしても良い。 
 2つのモニタの場合には、俯瞰画像とメイン画像とをそれぞれ表示する。一方、1つのモニタ7Bにした場合には、図12Bのように表示したり、図12Dに類似してメイン画像と俯瞰画像とを親子画像で表示しても良い。 
 また、俯瞰画像及びメイン画像をサムネイル画像として保存する画像保存手段、サムネイル画像を表示するサムネイル表示手段を設けるようにしても良い。また、時系列にサムネイル画像を記録(保存)するようにしても良いし、術者が記録した場合のみ記録するようにしても良い。
 また、画像記録する場合、縮小しない画像画像と縮小画像で記録する場合の選択を行えるようにしても良い。また、コメントも画像に関連付けて記録したり、コメントを追記記録ができるようにしても良い。 
 このように本実施形態によれば、俯瞰画像における出血等、所定の変化の発生の可能性がある過去に処置した場所PNを、その場所を撮像するメインカメラ4A、5Aの設定情報と関連付けて、予め履歴情報として記録し、かつ表示手段で表示できるようにしているので、俯瞰画像において処置した場所PNにおいて出血等、所定の変化を術者が確認した場合、簡単な操作で、速やかにその場所PNを詳細に確認することがし易くなるという効果を有する。
 上述した第1の実施形態においては、過去に処置した場所において出血のような術者が確認したい事態が発生した場合には、術者は、過去に処置した複数の場所の履歴を表示させる操作を行うことができるようにしている。 
 これに対して以下の変形例のように、過去に処置した各場所に対して、出血等の所定の変化を監視する監視手段を設けて、所定の変化を認識(検出)した場合には、その場所を術者に告知することができるようにしても良い。図13Aは、第1の実施形態の変形例の医療装置1Bを示す。
 この医療装置1Bは、図1に示す医療装置1におけるプロセッサ6において、(俯瞰用)画像処理ユニット21に、過去に処置した場所に設定した画像エリア部分が、出血等の所定の変化があったか否かを監視(認識)する監視手段としての変化監視部51を設けた構成にしている。 
 図13Bに示すように変化監視部51は、過去の(俯瞰)画像からその画像おける処置した場所に設定した画像エリアの特徴量を検出(抽出)する特徴量検出部52と、検出した過去の特徴量を記録する特徴量記録部53と、その特徴量を基準画像データとして、以後(現在)の俯瞰画像における同じ画像エリアの画像データの特徴量とを比較して、所定の変化の(発生の)有無を判定(又は認識)する判定部(認識部)54とを備える。
 本変形例においては、各場所で処置を行った後に、処置する場所を移動する直前に、俯瞰画像における少なくとも処置した各場所に設定した画像エリアの画像を制御用メモリ24等の記録手段に、過去の画像として記録する。この場合、術者による指示操作により記録するようにしても良いし、移動を画像認識し、移動の直前の画像を記録するようにしても良い。 
 なお、図13Bにおいては、過去の画像から特徴量を検出する特徴量検出部52aと現在の画像から特徴量を検出する特徴量検出部52bとを備えた構成例で特徴量検出部52を構成しているが、一方で共通に使用する構成にしても良い。 
 例えば図13Aに示す現在、処置している状態が、例えば場所P3で処置を行っている場合には、過去の俯瞰画像における場所P1と、P2においてそれぞれ設定された所定の画像エリアR1,R2が設定される。
 なお、図13Aにおいて、俯瞰画像上に示した画像エリアR1,R2は、その設定例を示すもので、画面表示することは必ずしも必要ない(オプション機能により表示する選択ができるようにしても良い)。 
 過去の場所P1の画像エリアR1で抽出された特徴量と、過去の場所P2の画像エリアR2で抽出された特徴量とが、特徴量記録部53に記録されている。 
 そして、判定部54は、過去の特徴量と、現在取得される俯瞰画像における同じ画像エリアR1,R2において抽出される特徴量とが予め設定した閾値以上に変化しているか否かを判定する。
 閾値以上に変化していない場合には、変化監視部51は、例えば所定の時間間隔後に同様の処理を続行する。一方、閾値以上に変化している判定結果の場合には、判定部54は、判定結果をCPU23に出力し、CPU23は、現在表示している俯瞰画像におけるその判定結果に該当する場所、又は画像エリアに例えば番号などを重畳表示し、術者に出血等が発生した可能性があることを告知する。 
 術者は、その告知により、より詳細に確認することを望む場合には、その番号を指定する。CPU23は、その場所を撮像するようにメインカメラ4A、5Aを移動制御する。 
 この場合の告知方法として、術者に対して、より詳細に確認する、或いはメインカメラ4A,5Aを移動することを望むか否かの確認を求める表示を行うようにしても良い。
 そして、術者が、より詳細に確認する、又は移動すると応答した場合にはCPU23は、メインカメラ4A,5Aを移動制御する。メインモニタ8には、メインカメラ4A又は5Aによるメイン画像が表示され、術者は詳細に確認することができる。 
 (上記特徴量検出部52a,52bを兼用した場合で示す)特徴量検出部52は、例えば図13Cに示すように画像エリアの画像の色分布を特徴量として検出する色分布特徴量検出部55aと、画像エリアの画像の形状又は輪郭を特徴量として検出する形状/輪郭特徴量検出部55bとを有する。 
 そして、判定部54は、これらの特徴量を比較して出血等の所定の変化の有無を判定する。例えば、過去に処置して記録した場所が出血すると、出血に対応して赤の色分布特性が大きくなるため、色分布特徴量検出部55aの検出出力から判定部54は、簡単に出血したことを判定できる。
 また、出血した部分の形状/輪郭が変化すると、形状/輪郭特徴量検出部55bがその変化を検出し、その検出出力から判定部54は、出血したことを判定することができる。
 本変形例によれば、医療装置1Bのプロセッサ6側において記録した過去の俯瞰画像における処置した場所における所定の画像エリアからその特徴量を抽出して記録し、その特徴量が時間的に所定の閾値以上に変化したか否かを監視し、所定の閾値以上に変化した場合には術者に、その場所などを告知するようにしている。 
 従って、本変形例によれば、第1の実施形態の効果の他に、術者は、現在、処置している場所に対して、より集中して処置することができ、術者に対する操作性を向上することができる。又本変形例は、術者が手術し易い環境の医療装置1Bを提供することができる。 
 なお、本変形例において、判定部54が所定の変化有りを判定した場合には、CPU23がその変化有りの場所を2台のメインカメラ4A,5Aのうちの例えば一方が自動的に撮像するように、その一方を移動制御するように設定しても良い。そして、術者は、その一方のメインカメラにより、出血などの所定の変化があった状態を速やかに確認することができる。そして、確認結果に応じて、術者は移動した一方のメインカメラを、移動前の状態に戻す指示操作を行ったり、他方のメインカメラも一方のカメラと同様に移動させる指示操作を行うようにしても良い。
 また、上述した第1の実施形態において、俯瞰カメラ3Aを有しないで、1つのメインカメラと内視鏡の構成に適用しても良い。この場合には、俯瞰画像が得られないので、俯瞰画像中での場所、番号と、メインカメラによる撮像位置の設定情報との対応付け(関連付け)はできないが、術者は画像記録の操作を行うことにより、プロセッサ6の制御用メモリ24に、メインカメラによる画像記録の操作時に、設定情報と、場所、番号とを関連付け、さらに操作時の時刻も同時に記録する。
 そして、術者は、メインカメラにより撮像された過去の履歴を表示させることができる。 
 従って、例えば1つのメインカメラと内視鏡(硬性内視鏡又は軟性内視鏡)とを用いて、手術を行っている最中において、術者が内視鏡により過去に処置した場所において出血等の所定の変化を確認(発見)したような場合には、術者はメインカメラにより記録したメイン画像における過去の履歴を表示する操作を行えば良い。 
 そして、術者は、メインモニタ8に表示された過去のメイン画像の再生画像において、内視鏡により所定の変化を確認した場所に該当する再生画像に対して、その場所(又は番号)を特定する。そして、術者は、その番号の場所にメインカメラを移動するように指示操作を行えば良い。
 すると、メインカメラは、設定情報により、術者が出血等を確認した場所に速やかに移動し、メインモニタ8に撮像した撮像画像を表示する。従って、術者は出血等の状態を詳細に確認することができる。 
 なお、1つのメインカメラと内視鏡の場合で説明したが、2つのメインカメラと内視鏡の場合にも同様に適用できる。
 (第2の実施形態)
 図14は本発明の第2の実施形態の医療装置1Cを示す。本実施形態の医療装置1Cは、腹部2の腹壁にそれぞれ固定され、腹腔内全体を広角で撮像する俯瞰カメラ3Cと、拡大観察するメインカメラ4Cと、プロセッサ6Cと、俯瞰カメラ3Cによる俯瞰画像を表示する俯瞰モニタ7及びメインカメラ4Cによるメイン画像を表示するメインモニタ8と、図示しないカメラ操作I/Fとからなる。
 プロセッサ6Cは、第1の実施形態のプロセッサ6又は変形例のプロセッサ6Bにおいて、俯瞰カメラ3Cとメインカメラ4Cとを有線で信号の伝送を行う構成にしている。さらに本実施形態は、以下の機能を備える。
 図15は俯瞰モニタ7とメインモニタ8との表示画像を示す。俯瞰画像においては、メインカメラ4Cがどこを映し出しているかが常に分かるような目印61となる拡大画像表示範囲枠(以下単に表示枠)が表示される。ことのために、各カメラ3C、4Cには6軸センサが搭載されており、プロセッサ6Bで常に撮像位置、撮像している方向が把握できるようになっている。
 また、俯瞰画像上で拡大観察したい場所をカーソル62でクリックすると、クリックされた場所が表示されるようにメインカメラ4Cが移動する。そして、図15の右側に示すように拡大表示される。なお、メインカメラ4Cの移動と共に目印61となる表示範囲枠も移動する。
 カーソル62の操作手段としての例えばマウスの右クリックを押し続けるとメインカメラ4Cの拡大倍率が上がり、左クリックを押し続けると拡大倍率が下がる。 
 また、メインカメラ4Cは、該メインカメラ4Cと処置対象の臓器(場所)の表面65間の距離を、メインカメラ4Cの両端に設けた赤外線出射部64a、64bから赤外線を出射することにより以下の手順で測定することができる。 
 図16に示すように、
1)赤外線がメインカメラ4Cの両端から、メインカメラ4Cの視野方向に沿って、視野方向の内側に向かい、それぞれ放射される。 
 出射された赤外線は、メインカメラ4Cからの距離に応じて重なる範囲が増大する。従って、図17に示すように、
2)メイン画像の画面上で赤外線の位置を把握し、重なり合う位置における赤外線出射の傾きから距離を算出する。
 本実施形態は、俯瞰画像上に、腹腔内を俯瞰画像により観察できるようにすると共に、常にメインカメラ4Cによる拡大観察画像の表示範囲が重畳されるので、術者等のユーザは、全体のどこを観察しているのかを従来よりも容易に把握することができる。 
 また、俯瞰画像上で拡大観察を行いたい箇所をクリックするだけで、自動的にメインカメラ4Cが移動して、目的箇所を表示させることができ、従来よりも簡便かつ素早く術者の得たい画像を表示できる。
 (第3の実施形態)
 図18は本発明の第3の実施形態の医療装置1Dを示す。本実施形態の医療装置1Dは、腹部2の腹壁に固定され、腹腔内全体を広角で撮像する俯瞰カメラ3Dと、俯瞰カメラ3Dに対する画像処理等を行うプロセッサ6Dと、俯瞰カメラ3Dによる俯瞰画像を表示する俯瞰モニタ7と、カメラ操作I/F9とからなる。なお、俯瞰モニタ7の他に、電子ズームによる拡大画像を表示する(拡大画像用)モニタ8′(点線で示す)を設けるようにしても良い。また、俯瞰カメラ3Dと、プロセッサ6Dとは有線で信号の伝送を行う構成で示しているが、無線で信号の伝送を行う構成にしても良い。 
 俯瞰カメラ3Dは、高画素の撮像素子を用いた撮像ユニット11dを備え、撮像ユニット11dは腹腔内全体を広角で撮像する。プロセッサ6Dは、カメラ操作I/F9の操作によって撮像ユニット11dにより撮像された俯瞰画像に対して、エリア選択を行い、エリア選択により選択されたエリアに対して電子ズームにより拡大して表示するための処理機能を備える。
 例えば、図19Aは、電子ズームを行わない状態での俯瞰モニタ7に表示される俯瞰画像を示す。この俯瞰画像中には、後述する2つのエリアとしての場所Aと場所Bとの画像とを含む。また、図19Bは、選択されたエリアとしての場所Bを電子ズームにより拡大して表示した拡大画像を示す。この拡大画像は、モニタ8′が設けて有る場合には、このモニタ8′に表示され、1台の俯瞰モニタ7のみの場合にはこの俯瞰モニタ7に表示される。 
 本実施形態は、高画素の俯瞰カメラ3Dによって、全体を俯瞰する俯瞰カメラの機能と、上述した実施形態において説明した撮像位置が移動されるメインカメラの機能に類似した機能とを兼ねるような構成にしたものである。
 また、このプロセッサ6Dは、図13Aで説明した変化監視部51を備えた画像処理ユニット21を内蔵する。また、術者は、俯瞰画像を観察しながら、処置具10により腹腔内の処置対象部位に対して処置を行うことができる。このプロセッサ6Dは、図13Aにおける制御用メモリ24,映像信号出力ユニット25を備える。
 次に本実施形態の動作を図20を参照して説明する。 
 最初のステップS1において俯瞰カメラ3Dにより、腹腔内の全体を撮像し、プロセッサ6Dは俯瞰画像を俯瞰モニタ7に表示する。その表示例は、例えば図19Aのようになる。術者は、俯瞰画像を観察することにより腹腔内全体の様子を把握することができる。 
 術者は、ステップS2に示すように図19Aの俯瞰画像において、場所Aを処置しようとするために、より詳しく観察できる状態にする様に、カメラ操作I/F9のエリア選択の操作により場所Aを選択する。
 ステップS2によるエリア選択の操作によって、ステップS3に示すようにプロセッサ6Dには、選択された場所Aのエリア情報が記録される。また、ステップS4に示すようにプロセッサ6Dは選択された場所Aに対して、その場所A部分の画像を拡大する電子ズームの処理を行う。そして、図19Bに示すように場所Aの画像部分が拡大されて表示される。 
 術者は、拡大された画像を観察しながら、ステップS5に示すように処置具10を用いて処置を開始する。その後、術者は処置を終了したら、ステップS6に示すように電子ズームを停止する。そして、ステップS1の場合と同様に腹腔内の全体を撮像する俯瞰画像を俯瞰モニタ7で表示する。
 また、ステップS7に示すようにプロセッサ6D内の変化監視部51は、場所Aの(処置が終了した)画像を過去の画像として記録すると共に、その画像の特徴量を(変化の判定に用いる基準特徴量として)記録する。 
 その後、ステップS8に示すように変化監視部51は、この場所Aの特徴量を所定の時間間隔毎に取得し、その特徴量を基準特徴量と比較し、所定の変化の有無の判定(認識)を行う。 
 所定の変化の有無を判定する場合、図13Cで説明したように、例えば色分布特徴量検出部55aによる色分布の特徴量と、形状/輪郭特徴量検出部55bによる形状/輪郭の特徴量が、予め設定した閾値以上に変化しているか否かを判定する。
 この場合、判定対象となる場所Aの周囲による影響を受けにくくするために、例えば指定した色に対して、その色の範囲や面積の時間的な広がりを検出するようにしても良い。図8における所定の時間間隔での変化の有無の判定処理をステップS9で示す。 
 ステップS9において所定の変化が無い判定結果の場合には、術者は手術を続行する。例えば術者は、場所Aとは異なる他の場所Bを処置しようとする場合には(ステップS2の場合と同様の操作により)、ステップS10において図19Aの俯瞰画像において、エリア選択、つまり場所Bを選択する。 
 ステップS10によるエリア選択の操作によって、ステップS11に示すようにプロセッサ6Dは、選択された場所Bのエリア情報を記録する。また、ステップS12に示すようにプロセッサ6Dは選択された場所Bに対して、その場所B部分の画像を拡大する電子ズームの処理を行う。
 術者は、拡大された画像を観察しながら、ステップS13に示すように処置具10を用いて処置を開始する。その後、ステップS14に示すように術者は処置を終了したら、電子ズームを停止する。そして、ステップS1の場合と同様に腹腔内の全体を撮像する俯瞰画像を俯瞰モニタ7で表示する。 
 さらに他の場所(場所Cとする)の処置を行う場合には、ステップS7以降の処理を同様に行う(但し、ステップS7の場所Aを、場所Bに読み替える。また、ステップS10の場所Bを、場所Cに読み替える)。 
 一方、ステップS14における場所Bの処置後に、術者は手術を終了しようとする場合には、図20に示す処理を終了することになる。
 また、ステップS9の判定処理において、変化有りの判定結果の場合にはステップS15に示すようにプロセッサ6Dは、変化有りの警告情報(又は告知情報)を俯瞰モニタ7で表示する。具体的には、場所Aにおいて、処置直後の状態から出血等の変化がありますというような警告情報を表示する。
 術者は、ステップS16に示すように警告情報に対応した確認等を行う。術者は、警告情報に対応して、その場所Aの状態を確認し、確認結果に応じて、処置が必要な場合にはその処置を速やかに行うことができる。また、処置が必要でない場合も、その確認ができる。ステップS16の処理の後、図20の処理を終了することになる。
 このような動作をする本実施形態によれば、高画素の撮像素子を11dを用いた俯瞰カメラ3Dを用いることによって、第1の実施形態の変形例の場合とほぼ同様の効果を得ることができる。 
 また、本実施形態においては、1つの高画素の撮像ユニット11dを用いた1つのカメラ(撮像手段)により、俯瞰画像と、俯瞰画像における一部を拡大した拡大画像とを表示することができるようにしているので、複数のカメラを体腔内に設置する場合よりも簡単な作業で手術を円滑に行うことができる。
 (第4の実施形態)
 図21は本発明の第4の実施形態の医療装置1Eを示す。本実施形態の医療装置1Eは、腹部2の腹壁に固定され、腹腔内をそれぞれ狭角で撮像する第1及び第2のメインカメラ4E及び5Eと、プロセッサ6Eと、第1及び第2のメインカメラ4E及び5Eによるメイン画像をそれぞれ表示するメインモニタ8A及び8Bと、カメラ操作I/F9とからなる。なお、図21では信号の伝送を有線で行う構成例で示している。 
 第1及び第2のメインカメラ4E及び5Eは、パン、チルトにより撮像するエリアを変更(移動)可能とすると共に、ズームも可能とする撮像手段であり、例えば、図13Aのメインカメラ4、5と同様の構成で実現することができる。或いは、メインカメラ4E及び5Eの腹腔内での設置位置を移動できる構造にしても良い。この場合には、パン、チルトの機能は、必ずしも必要でない。
 また、メインカメラ4E及び5Eの少なくとも一方は、ズームを最小倍率に設定した場合、かなりの広角の状態に設定できる。つまり、一方のメインカメラは、俯瞰カメラに近い機能を有する。 
 そして、この一方のメインカメラは、他方のメインカメラの撮像エリアを、その撮像エリア内に入れて、その他方のメインカメラの撮像エリアを把握することができるようにしている。 
 プロセッサ6Eは、図13Aにおける画像処理ユニット22,カメラ駆動制御用CPU23,制御用メモリ24,映像信号出力ユニット25とを内蔵している。また、図21に示す画像処理ユニット22は、図13Aで説明した変化監視部51を備えている。
 また、本実施形態においては、2つのメインカメラ4E、5E間の位置情報の把握は、上述した図7から図11にて説明した手法により、可能となる。 
 本実施形態は、2つのメインカメラ4E、5Eを用いて、第3の実施形態と類似の機能を持つ構成例となる。 
 次に本実施形態による代表的な動作例を図22のフローチャートを参照して説明する。 
 最初のステップS21において術者は、第1のメインカメラ4Eを処置しようとするエリア(場所A)を特定し、そのエリアを撮像する撮像エリアとなるように設定する。つまり、術者は、処置する場所Aを撮像できるようにメインカメラ4Eを移動して設置したり、パン、チルト等の設定を行う。
 ステップS22において術者は、第2のメインカメラ5Eに対しても同様に、処置する場所Aを撮像エリアに含むように設定する。 
 なお、メインカメラ5Eの設定は、術者が行う方法の他に、メインカメラ4Eとの相対位置情報や、処置する場所Aに設置される処置具10の先端部等の対象物に対する形状認識等を利用して自動で設定しても良い。 
 次のステップS23においてプロセッサ6Eは、メインカメラ4E、5Eのエリア情報(場所Aの情報)を記録する。 
 次のステップS24において術者は、場所Aにおいて処置具10を用いて処置を開始する。この場合、メインカメラ4E,5Eにより撮像されたメイン画像を観察しながら行う。そして、術者は場所Aでの処置を終了する。
 また、ステップS25においてプロセッサ6Eは、処置が終了した場所Aの画像を過去の画像として記録すると共に、変化監視部51は、その特徴量を基準特徴量として記録する。 
 次のステップS26において変化監視部51は、この場所Aの特徴量を所定の時間間隔毎に取得し、その特徴量を基準特徴量と比較し、所定の変化の有無の判定(認識)を行う。 
 所定の変化の有無を判定する場合、図13Cで説明したように、例えば色分布特徴量検出部55aによる色分布の特徴量と、形状/輪郭特徴量検出部55bによる形状/輪郭の特徴量が、予め設定した閾値以上に変化しているか否かを判定する。図22における所定の時間間隔での変化の有無の判定処理をステップS27で示す。
 ステップS27において所定の変化が無い判定結果の場合には、術者は手術を続行する。例えば術者は、場所Aとは異なる他の場所Bを処置しようとする場合には、ステップS28においてその場所Bを特定し、メインカメラ4Eをその場所Bを撮像するように設定する。そして、メインカメラ4Eによるメイン画像がメインモニタ8Aにて表示される。 
 また、ステップS29において、メインカメラ5Eもその場所Bを撮像するように設定する。そして、メインカメラ5Eによるメイン画像がメインモニタ8Bにて表示される。なお、ステップS30において、メインカメラ5Eは、所定の時間間隔で場所Aを撮像する状態に設定される。
 術者は、メイン画像を観察しながら、ステップS31に示すように処置具10を用いて処置を開始する。そして、ステップS32に示すように術者は処置を終了する。 
 一方、ステップS27の判定処理において、変化有りの判定結果の場合にはステップS33に示すようにプロセッサ6Eは、変化有りの警告情報(又は告知情報)をメインモニタ8A等で表示する。 
 術者は、ステップS34に示すように警告情報に対応した確認等を行う。術者は、警告情報に対応して、その場所Aの状態を確認し、確認結果に応じて、処置が必要な場合にはその処置を速やかに行うことができる。また、処置が必要でない場合も、その確認ができる。ステップS34の処理の後、図22の処理を終了することになる。
 本実施形態によれば、第1の実施形態の変形例とほぼ同様の作用効果を得ることができる。この場合には2つのカメラ(撮像手段)を用いることにより、第1の実施形態の変形例の場合とほぼ同様の効果を得ることができる。従って、術者は簡単な作業で手術を円滑に行うことができる。 
 なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。
 本出願は、2010年5月10日に日本国に出願された特願2010-108425号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (20)

  1.  体壁に固定され体腔内を撮像する第1の撮像部と、
     前記第1の撮像部において撮像された第1の画像において所定の変化が発生した場合に備え、予め前記第1の画像内における所定の画像エリア又は前記所定の画像エリアを特定する座標を記録する記録部と、
     前記第1の画像において、所定の変化が発生した場合に、前記記録部に記録された前記画像エリア又は前記座標を、前記第1の撮像部において撮像された前記第1の画像上に重畳して表示する表示部と、
     を備えることを特徴とする医療装置。
  2.  前記第1の撮像部は、前記体腔内を広角に撮像する撮像部であり、
     前記体腔内を前記第1の撮像部よりも狭角で撮像する第2の撮像部と、前記第2の撮像部における所定の撮像位置情報及び撮像方向情報を取得する情報取得部と、を更に備え、
     前記記録部は、前記所定の変化が発生した場合に備え、前記第2の撮像部により撮像された撮像画像と前記撮像位置情報及び前記撮像方向情報とを、前記画像エリア又は前記座標に対応づけて記録することを特徴とする請求項1に記載の医療装置。
  3.  前記記録部に記録された前記撮像位置情報及び前記撮像方向情報に基づいて、前記第2の撮像部を移動させる移動制御部を更に備えることを特徴とする請求項2に記載の医療装置。
  4.  前記移動制御部は、前記表示部に記録された前記画像エリア又は前記座標の選択指示により前記第2の撮像部の移動を制御することを特徴とする請求項3に記載の医療装置。
  5.  前記移動制御部は、前記表示部に記録された前記画像エリア又は前記座標の選択指示により前記第2の撮像部の撮像倍率を上げることを特徴とする請求項3に記載の医療装置。
  6.  さらに前記第1の撮像部の撮像範囲内において処置を行う処置具を有し、
     前記処置具により処置した前記第2の撮像部により撮像した撮像画像を前記撮像エリアまたは前記座標に対応付けて前記記録部に記録することを特徴とする請求項3に記載の医療装置。
  7.  前記表示部は、前記第1の撮像部により撮像された前記第1の画像と、前記第2の撮像部により撮像された前記撮像画像とを1画面において分割して表示することを特徴とする請求項2に記載の医療装置。
  8.  前記表示部は、前記第1の撮像部により撮像された前記第1の画像と、前記第2の撮像部により撮像された前記撮像画像とを1画面において一方を縮小して表示することを特徴とする請求項2に記載の医療装置。
  9.  前記第1の画像において前記所定の変化を発生した場合に備え、予め前記画像エリア又は前記座標を前記記録部に記録する場合、前記画像エリア又は前記座標を前記第2の撮像部が撮像する撮像位置に設定した状態で、前記第2の撮像部による撮像画像、前記撮像位置情報及び前記撮像方向情報を前記画像エリア又は前記座標に対応づけて記録することを特徴とする請求項2に記載の医療装置。
  10.  前記第1の撮像部において撮像された第1の画像に対して重畳して表示する指示操作が行われた場合、指示操作前に前記記録部に記録された過去の前記記画像エリア又は前記座標の履歴情報を表示することを特徴とする請求項2に記載の医療装置。
  11.  さらに、前記記録部に記録された過去の画像エリアに対応する現在の画像エリアの画像情報が、前記過去の画像エリアの画像情報から前記所定の変化が発生したか否かを監視する監視部を有することを特徴とする請求項2に記載の医療装置。
  12.  さらに、前記記録部に記録された過去の画像エリアに対応する現在の画像エリアの画像情報が、前記過去の画像エリアの画像情報から前記所定の変化が発生したか否かを監視する監視部を有することを特徴とする請求項6に記載の医療装置。
  13.  前記監視部は、前記所定の変化として、所定値以上の出血が発生したか否かを監視する監視部を有することを特徴とする請求項12に記載の医療装置。
  14.  さらに、前記監視部が前記所定の変化が発生したと判定した場合には、該所定の変化が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項11に記載の医療装置。
  15.  さらに、前記監視部が前記所定の変化が発生したと判定した場合には、該所定の変化が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項13に記載の医療装置。
  16.  前記監視部は、処置を行う処置具による処置の終了時に前記記録部に記録した前記過去の画像エリアの画像情報から所定値以上の出血が発生したと判定した場合には、前記出血が発生したと判定した画像エリアを、前記第2の撮像部が撮像するように該第2の撮像部を移動制御することを特徴とする請求項14に記載の医療装置。
  17.  前記監視部は、前記過去の画像エリアの画像の第1の特徴量と現在の画像エリアの画像の第2の特徴量とを検出する特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較して前記所定の変化の発生を判定する判定部とを有することを特徴とする請求項11に記載の医療装置。
  18.  前記監視部は、前記過去の画像エリアの画像の第1の特徴量と現在の画像エリアの画像の第2の特徴量とを検出する特徴量検出部と、前記第1の特徴量と前記第2の特徴量とを比較して前記所定の変化として、出血の発生を判定する判定部とを有することを特徴とする請求項11に記載の医療装置。
  19.  前記特徴量検出部は、前記過去の画像エリアの画像における色分布特徴量と現在の画像エリアの画像における色分布の特徴量とを検出する色分布特徴量検出部、または前記前記過去の画像エリアの画像における形状若しくは輪郭の特徴量と現在の画像エリアの画像における形状若しくは輪郭の特徴量とを検出する形状/輪郭特徴量検出部を有することを特徴とする請求項17に記載の医療装置。
  20.  前記特徴量検出部は、前記過去の画像エリアの画像における色分布特徴量と現在の画像エリアの画像における色分布の特徴量とを検出する色分布特徴量検出部、または前記前記過去の画像エリアの画像における形状若しくは輪郭の特徴量と現在の画像エリアの画像における形状若しくは輪郭の特徴量とを検出する形状/輪郭特徴量検出部を有することを特徴とする請求項18に記載の医療装置。
PCT/JP2011/058317 2010-05-10 2011-03-31 医療装置 WO2011142189A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011537782A JP4861540B2 (ja) 2010-05-10 2011-03-31 医療装置
EP11780446.8A EP2425761B1 (en) 2010-05-10 2011-03-31 Medical device
US13/227,773 US8355043B2 (en) 2010-05-10 2011-09-08 Medical apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-108425 2010-05-10
JP2010108425 2010-05-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/227,773 Continuation US8355043B2 (en) 2010-05-10 2011-09-08 Medical apparatus

Publications (1)

Publication Number Publication Date
WO2011142189A1 true WO2011142189A1 (ja) 2011-11-17

Family

ID=44914245

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/058317 WO2011142189A1 (ja) 2010-05-10 2011-03-31 医療装置

Country Status (4)

Country Link
US (1) US8355043B2 (ja)
EP (1) EP2425761B1 (ja)
JP (1) JP4861540B2 (ja)
WO (1) WO2011142189A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013141155A1 (ja) * 2012-03-17 2015-08-03 学校法人早稲田大学 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
JP2016506261A (ja) * 2012-12-20 2016-03-03 アヴァテラメディカル ゲーエムベーハー 低侵襲手術のための分離されたマルチカメラシステム
WO2016072288A1 (ja) * 2014-11-06 2016-05-12 ソニー株式会社 内視鏡装置、および、内視鏡装置の動作方法、並びにプログラム
JP2016182228A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 情報処理装置および方法
JP2017086688A (ja) * 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法
WO2019003613A1 (ja) * 2017-06-30 2019-01-03 シャープ株式会社 内視鏡装置、内視鏡システム、投光装置、および流体処理装置
US10638915B2 (en) 2016-02-10 2020-05-05 Olympus Corporation System for moving first insertable instrument and second insertable instrument, controller, and computer-readable storage device
JP2020153682A (ja) * 2019-03-18 2020-09-24 株式会社キーエンス 画像測定装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406123B2 (en) 2012-06-26 2016-08-02 Sony Corporation Imaging control apparatus, storage system, and storage medium
CN104487014B (zh) * 2012-07-25 2017-10-27 直观外科手术操作公司 手术***中有效的交互式出血检测
US10110785B2 (en) * 2012-08-10 2018-10-23 Karl Storz Imaging, Inc. Deployable imaging system equipped with solid state imager
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
US10499994B2 (en) 2014-02-27 2019-12-10 University Surgical Associates, Inc. Interactive display for surgery with mother and daughter video feeds
KR20160032586A (ko) * 2014-09-16 2016-03-24 삼성전자주식회사 관심영역 크기 전이 모델 기반의 컴퓨터 보조 진단 장치 및 방법
DE102016100566B4 (de) 2016-01-14 2024-05-23 Carl Zeiss Meditec Ag Assistenzsystem für ein medizinisch optisches Beobachtungsgerät und Verfahren zum Verbessern der Sichtbarkeit einer Blutaustrittsstelle in einem mit einem medizinisch optischen Beobachtungsgerät gewonnenen Bild und medizinisch optisches Beobachtungsgerätesystem
EP3590413A4 (en) 2017-03-01 2020-03-25 Fujifilm Corporation ENDOSCOPE SYSTEM AND OPERATING METHOD THEREOF
JP2022010852A (ja) * 2020-06-29 2022-01-17 キヤノンメディカルシステムズ株式会社 手術支援システム及び手術支援方法
US20230110791A1 (en) * 2021-09-29 2023-04-13 Cilag Gmbh International Instrument Control Imaging Systems for Visualization of Upcoming Surgical Procedure Steps
JP7417331B1 (ja) 2023-04-21 2024-01-18 株式会社Asue 画像処理装置およびカメラシステム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10314104A (ja) * 1997-05-14 1998-12-02 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP2005319086A (ja) 2004-05-10 2005-11-17 Fujinon Corp 体腔内観察システム
JP2006223375A (ja) * 2005-02-15 2006-08-31 Olympus Corp 手術データ記録装置、手術データ表示装置及び手術データ記録表示方法
JP2006320650A (ja) 2005-05-20 2006-11-30 Olympus Medical Systems Corp 画像表示装置
JP2007222238A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2008307226A (ja) 2007-06-14 2008-12-25 Olympus Medical Systems Corp 内視鏡システム
JP2010108425A (ja) 2008-10-31 2010-05-13 Secom Co Ltd 取引監視装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846185A (en) * 1996-09-17 1998-12-08 Carollo; Jerome T. High resolution, wide field of view endoscopic viewing system
US6930705B2 (en) * 2000-11-14 2005-08-16 Pentax Corporation Image search device
JP4493386B2 (ja) * 2003-04-25 2010-06-30 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
CN101217909B (zh) * 2005-07-08 2010-05-19 奥林巴斯株式会社 生物体内信息取得装置和生物体内信息取得***
US20070060798A1 (en) * 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
EP1969992B1 (en) * 2005-12-28 2012-05-02 Olympus Medical Systems Corp. Image processing device and image processing method in the image processing device
TW200744518A (en) * 2006-01-06 2007-12-16 Olympus Medical Systems Corp Medical system conducted percutaneous or using naturally ocurring body orifice
GB0613576D0 (en) * 2006-07-10 2006-08-16 Leuven K U Res & Dev Endoscopic vision system
JP5121204B2 (ja) * 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP4472727B2 (ja) * 2007-06-14 2010-06-02 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP4472728B2 (ja) * 2007-06-14 2010-06-02 オリンパスメディカルシステムズ株式会社 内視鏡システム
US7666181B2 (en) * 2008-08-02 2010-02-23 Tarek Ahmed Nabil Abou El Kheir Multi-purpose minimally invasive instrument that uses a micro entry port
JP2011036372A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10314104A (ja) * 1997-05-14 1998-12-02 Olympus Optical Co Ltd 内視鏡の視野変換装置
JP2005319086A (ja) 2004-05-10 2005-11-17 Fujinon Corp 体腔内観察システム
JP2006223375A (ja) * 2005-02-15 2006-08-31 Olympus Corp 手術データ記録装置、手術データ表示装置及び手術データ記録表示方法
JP2006320650A (ja) 2005-05-20 2006-11-30 Olympus Medical Systems Corp 画像表示装置
JP2007222238A (ja) * 2006-02-21 2007-09-06 Fujinon Corp 体腔内観察装置
JP2008307226A (ja) 2007-06-14 2008-12-25 Olympus Medical Systems Corp 内視鏡システム
JP2010108425A (ja) 2008-10-31 2010-05-13 Secom Co Ltd 取引監視装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2425761A4

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013141155A1 (ja) * 2012-03-17 2015-08-03 学校法人早稲田大学 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
JP2016506261A (ja) * 2012-12-20 2016-03-03 アヴァテラメディカル ゲーエムベーハー 低侵襲手術のための分離されたマルチカメラシステム
WO2016072288A1 (ja) * 2014-11-06 2016-05-12 ソニー株式会社 内視鏡装置、および、内視鏡装置の動作方法、並びにプログラム
US10750930B2 (en) 2014-11-06 2020-08-25 Sony Corporation Endoscope apparatus and method for operating endoscope apparatus
JP2016182228A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 情報処理装置および方法
US10966590B2 (en) 2015-03-26 2021-04-06 Sony Corporation Surgical system, information processing device, and method
JP2017086688A (ja) * 2015-11-13 2017-05-25 国立大学法人 千葉大学 画像合成装置および方法
US10638915B2 (en) 2016-02-10 2020-05-05 Olympus Corporation System for moving first insertable instrument and second insertable instrument, controller, and computer-readable storage device
WO2019003613A1 (ja) * 2017-06-30 2019-01-03 シャープ株式会社 内視鏡装置、内視鏡システム、投光装置、および流体処理装置
JPWO2019003613A1 (ja) * 2017-06-30 2020-04-02 シャープ株式会社 内視鏡装置、内視鏡システム、投光装置、および流体処理装置
JP2020153682A (ja) * 2019-03-18 2020-09-24 株式会社キーエンス 画像測定装置
JP7240913B2 (ja) 2019-03-18 2023-03-16 株式会社キーエンス 画像測定装置

Also Published As

Publication number Publication date
EP2425761A4 (en) 2012-03-28
JPWO2011142189A1 (ja) 2013-07-22
JP4861540B2 (ja) 2012-01-25
EP2425761A1 (en) 2012-03-07
EP2425761B1 (en) 2015-12-30
US20120062717A1 (en) 2012-03-15
US8355043B2 (en) 2013-01-15

Similar Documents

Publication Publication Date Title
JP4861540B2 (ja) 医療装置
US10772482B2 (en) Efficient and interactive bleeding detection in a surgical system
US20220095903A1 (en) Augmented medical vision systems and methods
US7794396B2 (en) System and method for the automated zooming of a surgical camera
EP4042438A1 (en) Cooperative surgical displays
WO2022070077A1 (en) Interactive information overlay on multiple surgical displays
EP4038621A1 (en) Tiered system display control based on capacity and user operation
JP5274724B2 (ja) 医療機器、医療用プロセッサの作動方法及び医療用プロセッサ
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
CN110099599B (zh) 医学图像处理设备、医学图像处理方法和程序
JPWO2018168261A1 (ja) 制御装置、制御方法、及びプログラム
WO2020261956A1 (en) Medical tool control system, controller, and non-transitory computer readable storage
US11638000B2 (en) Medical observation apparatus
WO2020080209A1 (ja) 医療用観察システム、医療用観察装置及び医療用観察方法
US20210019921A1 (en) Image processing device, image processing method, and program
CN109565565B (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
US10694141B2 (en) Multi-camera system, camera, camera processing method, confirmation device, and confirmation device processing method
CN113015474A (zh) 用于核实场景特征的***、方法和计算机程序
WO2020009127A1 (ja) 医療用観察システム、医療用観察装置、及び医療用観察装置の駆動方法
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2022113811A1 (ja) 手術システム、手術用制御装置、制御方法、及び、プログラム
JP7444074B2 (ja) 撮像装置、撮像制御装置、撮像方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2011537782

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011780446

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11780446

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE