WO2017006708A1 - 医療装置、医療画像生成方法及び医療画像生成プログラム - Google Patents

医療装置、医療画像生成方法及び医療画像生成プログラム Download PDF

Info

Publication number
WO2017006708A1
WO2017006708A1 PCT/JP2016/067505 JP2016067505W WO2017006708A1 WO 2017006708 A1 WO2017006708 A1 WO 2017006708A1 JP 2016067505 W JP2016067505 W JP 2016067505W WO 2017006708 A1 WO2017006708 A1 WO 2017006708A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
image
model image
dimensional position
unit
Prior art date
Application number
PCT/JP2016/067505
Other languages
English (en)
French (fr)
Inventor
聡一 生熊
禎 李
真人 石掛
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201680011045.6A priority Critical patent/CN107249427B/zh
Priority to JP2017505263A priority patent/JP6141559B1/ja
Priority to EP16821178.7A priority patent/EP3245932A1/en
Publication of WO2017006708A1 publication Critical patent/WO2017006708A1/ja
Priority to US15/682,788 priority patent/US10631826B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0257—Proximity sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Definitions

  • the present invention relates to a medical device that supports endoscopic observation, a medical image generation method, and a medical image generation program.
  • endoscope apparatuses as medical apparatuses having endoscopes that are inserted into a subject and observe the inside of the subject or perform treatment using a treatment tool or the like are widely used.
  • a medical device that displays an observation range on an image when observing the inside of a predetermined luminal organ to be observed (or examined) using an endoscope.
  • the observation position during observation is estimated on the model image estimated based on the acquired measurement data. It is possible to display.
  • an endoscope is inserted into a human organ, the distance to the organ is obtained by a sensor provided at the distal end of the endoscope, and the movement of the endoscope is further determined.
  • a technique has been proposed in which a model image is generated by estimating the shape of an organ on the spot from the measurement result of the sensor and the displacement of the endoscope by providing a sensor for detection.
  • the observation position is displayed on the model image created by estimating the shape of the organ for each patient.
  • the individual difference of the model image is also large, and there is a problem that visibility is impaired and comparison between patients is difficult.
  • the shape of the organ may change during observation, such as when perfusing or insufflation into the organ.
  • the observed position before recreating the model image may not be displayed in an accurate range on the model image after recreating.
  • the present invention relates to a medical device, a medical image generation method, and a medical image generation that can accurately indicate an observation range or the like using a common model image even in the case of an organ of a different person regardless of the deformation of the organ.
  • the purpose is to provide a program.
  • a medical device detects a three-dimensional position of a feature point inside a subject by detecting a three-dimensional position of the feature point inside the subject, a model image generation unit that generates a model image modeling the shape inside the subject, and the position of the feature point Based on at least one angular component of a coordinate calculation unit that obtains an arbitrary three-dimensional position in the subject by the polar coordinate and a polar coordinate component obtained by the coordinate calculation unit.
  • An image generation unit that shows an arbitrary three-dimensional position inside the subject on the model image.
  • a medical image generation method is a medical image generation method in a medical device including a position direction acquisition unit, a coordinate calculation unit, a model image generation unit, and an image generation unit,
  • the position / direction acquisition unit obtains an arbitrary three-dimensional position inside the subject including the feature point inside the subject, and the coordinate calculation unit sets polar coordinates based on the three-dimensional position of the feature point inside the subject. Then, an arbitrary three-dimensional position inside the subject is obtained by the polar coordinates, the model image generation unit generates a model image modeling the shape inside the subject, and the image generation unit An arbitrary three-dimensional position inside the subject is indicated on the model image based on at least one angle component of polar coordinate components obtained by the calculation unit.
  • the medical image generation program obtains an arbitrary three-dimensional position inside the subject including a feature point inside the subject in a computer, and sets the three-dimensional position of the feature point inside the subject.
  • Polar coordinates are set based on this, an arbitrary three-dimensional position inside the subject is obtained by the polar coordinates, a model image in which the shape inside the subject is modeled is generated, and the polar coordinate component obtained by the coordinate calculation unit Based on at least one of the angle components, a procedure for showing an arbitrary three-dimensional position inside the subject on the model image is executed.
  • FIG. 1 is a block diagram showing a medical device according to the first embodiment of the present invention.
  • FIG. 2 is an explanatory view showing the appearance of the medical device of FIG.
  • a schema drawn on a paper medium schematically represents an actual shape of an organ
  • a schema having a common shape is often used in a paper chart or the like.
  • the operator enters the position and shape of the lesion, etc., obtained by actual observation with an endoscope, etc., on the schema drawn on the paper, taking into account the scale and angle in the head. I do.
  • a schema having a common shape different from the actual organ shape it may be easy for the surgeon to confirm the lesion.
  • a common model image is used even when the observation range or the like is displayed in the model image displayed on the monitor.
  • the observation range or the like is shown in the exact position or range on the common model image regardless of the individual difference of the organ shape or the deformation of the organ. Enable.
  • the medical device 1 performs observation inside the subject.
  • an example of observing (or examining) the inside of a predetermined luminal organ (in the specific example, the bladder U) inside the patient Pa as the inside of the subject will be described.
  • the medical device 1 includes an endoscope 2 that is an observation device, a light source device 3, a processor 4, an image processing device 5, a monitor 6, and a position detection mechanism unit 29.
  • the medical device 1 may have a function of observing in two observation modes of normal light observation and special light observation.
  • An operator as a user of the medical device 1 is an endoscope inside the bladder U as a predetermined luminal organ (also simply referred to as a luminal organ or an organ) in a patient Pa lying on the bed 8 in a supine position or the like. Perform an inspection.
  • the endoscope 2 includes an operation unit 2a, a flexible insertion unit 2b, and a universal cable 2c.
  • the endoscope 2 is an endoscope for bladder examination, for example.
  • a light guide 9 shown in FIG. 1 is inserted into the universal cable 2c, and the endoscope 2 passes illumination light from the light source device 3 through the light guide 9 from an illumination window of the distal end portion 2d of the insertion portion 2b. Exit. This illumination light illuminates the inside of a predetermined luminal organ (as the bladder U) inside the subject into which the distal end portion 2d of the insertion portion 2b is inserted.
  • an objective optical system 10 and an image sensor 11 are provided at the distal end portion 2d of the insertion portion 2b.
  • the imaging device 11 has an imaging surface disposed at the imaging position of the objective optical system 10, and photoelectrically converts the subject optical image formed on the imaging surface and outputs it as an imaging signal.
  • the imaging element 11 images the inner wall of the bladder U illuminated by the illumination light of the light source device 3.
  • the objective optical system 10 and the imaging element 11 constitute an imaging unit (or imaging device) 12 that images the inside of the luminal organ and outputs a captured image.
  • the imaging signal obtained by the imaging element 11 is input to the processor 4 via the signal line in the universal cable 2c.
  • the processor 4 is provided with an image generation circuit 4a.
  • the image generation circuit 4a performs an image generation process using the input imaging signal, and an endoscopic image (captured image) inside the bladder U as a luminal organ. ) Is generated.
  • the image generation circuit 4 a outputs the generated captured image to the image processing device 5.
  • the image capture circuit 24 of the image processing device 5 has a function of an image capture unit that performs a process of capturing an endoscopic image generated by the processor 4 at a constant period.
  • the image capture circuit 24 acquires, for example, 30 endoscopic images per second, which are the same as the frame rate, from the processor 4.
  • the image capture circuit 24 also receives a release signal from the processor 4.
  • the image capture circuit 24 captures the captured image from the image generation circuit 4 a and supplies it to the monitor 6 via the display I / F 23. Thereby, the endoscopic image acquired by the endoscope 2 is displayed in the endoscopic image display area on the monitor 6.
  • the image capturing circuit 24 can also capture an image from the CT apparatus 29 and supply it to the monitor 6 via the display I / F 23.
  • the processor 4 has a changeover switch 4b for switching the observation mode.
  • the image generation circuit 4a receives an observation mode signal designated by the changeover switch 4b and produces an endoscope image corresponding to the observation mode designated by the changeover switch 4b. More specifically, when the normal light observation mode is designated, the image generation circuit 4a generates a normal light observation image picked up under illumination of normal light (as white light) and special light observation. When the mode is designated, a special light observation image (more narrowly, a narrow band light observation image) is generated.
  • the observation mode signal from the changeover switch 4b is also input to the LED control circuit 3a of the light source device 3.
  • the LED control circuit 3a controls the LEDs 3b and 3c so as to generate illumination light according to the observation mode.
  • the LED control circuit 3a performs control so that the white LED 3b serving as the light source for the normal light observation mode emits light, and the special light observation mode is designated.
  • control is performed so that the narrow-band blue LED 3c serving as the light source for the special light observation mode emits light.
  • the narrow-band blue LED 3c emits light
  • the narrow-band blue light is selectively reflected by a dichroic mirror 3d disposed at an angle of 45 degrees on the optical path of the blue light, and then a condenser lens. The light is condensed by 3e and is incident on the base end of the light guide 9.
  • the narrow-band blue illumination light incident on the proximal end of the light guide 9 is transmitted by the light guide 9 and emitted from the illumination window to which the distal end of the light guide 9 is attached.
  • illumination for the special light observation mode in a narrower sense, illumination for the narrow-band light observation mode
  • the white LED 3b When the white LED 3b emits light, most of the white light except the narrow-band blue light is selectively transmitted by the dichroic mirror 3d disposed on the optical path, and the condensing lens 3e. And is incident on the base end of the light guide 9.
  • White illumination light other than narrow-band blue light incident on the proximal end of the light guide 9 is transmitted by the light guide 9 and emitted from an illumination window attached to the distal end of the light guide 9. Thus, in this case, illumination for the normal light observation mode is performed.
  • a release button (or release switch) 14 is provided on the operation unit 2a of the endoscope 2.
  • the release button 14 is a button to be pressed when a user such as an operator records (or stores) an endoscopic image.
  • a release button operation signal is input to the processor 4, and the processor 4 generates a release signal and outputs it to the image processing device 5.
  • the endoscopic image when the release button 14 is pressed is recorded (or stored) in a memory 22 (to be described later) of the image processing device 5.
  • the medical device 1 includes an input device 30 that allows the user to input and select various types of information to the image processing device 5.
  • the image processing apparatus 5 has a function of displaying an endoscopic image on the monitor 6, displaying a model image corresponding to the observation target, and displaying an imaging range of the endoscopic image on the model image.
  • the image processing device 5 displays the endoscopic image generated by the processor 4 in a part of the display area on the display screen of the monitor 6 and displays the model image in the other part of the display area. Then, the image processing device 5 displays an index indicating the image range (shooting range) of the displayed endoscopic image on the model image displayed on the display screen.
  • the image processing apparatus 5 includes a control unit 21, a memory 22, a display interface (hereinafter abbreviated as a display I / F) 23, an image capture circuit 24, a position / direction acquisition circuit 25, and a position detection mechanism control. Part 27.
  • the CPU 21, the memory 22, the display I / F 23, the image capture circuit 24, and the position / direction acquisition circuit 25 are connected to each other via a bus 28.
  • the endoscopic image is supplied from the image capturing circuit 24 to the control unit 21 via the bus 28.
  • the memory 22 as a storage unit is composed of ROM, RAM (random access memory), flash memory, and the like.
  • the memory 22 stores various processing programs executed by the control unit 21 and various data.
  • the memory 22 stores an endoscope image storage unit 22a that stores information of an endoscope image generated by the image generation circuit 4a and a position that stores position information and line-of-sight direction information acquired by the position / direction acquisition circuit 25.
  • a direction information storage unit 22b is included.
  • the memory 22 has a 2D / 3D model image storage unit 22c that stores image data of two-dimensional (2D) and three-dimensional (3D) model images.
  • a model image having a common shape is used as the model image regardless of the patient and the state of the organ.
  • the control unit 21 can be configured by a processor such as a CPU (not shown), and may operate according to a program stored in the memory to control each unit.
  • the control unit 21 obtains an imaging range of the endoscopic image and controls display of the model image and an index indicating the imaging range on the model image.
  • the imaging range of the endoscope 2 as an observation apparatus that is, the range of the image displayed in the display area of the endoscopic image of the monitor 6 is obtained and accurately displayed in the common model image.
  • the position / direction acquisition circuit 25 detects the position and direction of the image sensor 11.
  • the position detection mechanism unit 29 is configured to detect the position and direction of the image sensor 11.
  • the position detection mechanism control unit 27 can control the position detection mechanism unit 29 to detect the position and direction of the image sensor 11 and output the detection result to the position / direction acquisition circuit 25.
  • a well-known method can be adopted as the position detection mechanism unit and the position detection mechanism control unit.
  • a position detection mechanism unit a receiving coil (not shown) is provided at the distal end of the insertion unit 2b, a magnetic field transmitting antenna that generates a magnetic field is provided outside the endoscope 2, and a receiving coil that receives a magnetic field from the magnetic field transmitting antenna is provided.
  • the signal may be analyzed to detect the position and direction of the receiving coil, and the position and direction of the image sensor 11 may be detected from the known positional relationship between the receiver coil and the image sensor 11. You may utilize the method as described in 117446 gazette. In the former case, the data output from the position / direction acquisition circuit 25 is output in a coordinate system based on the magnetic field transmission antenna.
  • the position / direction acquisition circuit 25 calculates the distance from the image sensor 11 to the observation target.
  • the insertion portion 2b of the endoscope 2 can bend the bending portion at the distal end of the insertion portion 2b by a mechanism (not shown) according to the operation of the operation lever of the operation portion 2a.
  • a distal end of the insertion portion 2b of the endoscope 2 is provided with a distance sensor 13 that measures the distance between the insertion portion 2b and the surface of the bladder U of the patient Pa (surface of the inserted body) and outputs distance information. ing.
  • the distance sensor 13 is provided so as to measure a distance in a direction substantially parallel to the direction of the imaging center taken by the imaging device 11.
  • the position and direction of the image sensor 11 may be considered to be substantially the same as the position and direction of the distance sensor 13. Thereby, the distance to the to-be-inserted body surface of the same direction as the direction which the image pick-up element 11 images can be detected.
  • the distance sensor 13 emits infrared laser light, detects infrared laser light reflected on the surface of the body to be inserted, and based on the difference between the emission time of the infrared laser light and the detection time, the distance sensor 13 That is, the distance from the distal end of the insertion portion 2b to the surface of the inserted body may be measured.
  • the control unit 21 can also be configured to perform an image analysis of the endoscope stereo image and obtain the distance.
  • the insertion portion 2b in which the distance sensor 13 is installed can be moved in position and orientation by inserting and rotating the insertion portion 2b or by bending the operation lever 41 of the operation portion 2a. Therefore, the measurement point measured by the distance sensor 13 can also be moved. That is, the distance between the distal end of the arbitrary insertion portion and the distance measurement point can be measured within the range in which the endoscope 2 can be operated.
  • the distance sensor 13 outputs distance information as a measurement result to the position / direction acquisition circuit 25.
  • the position / direction acquisition circuit 25 obtains the observation range of the endoscope 2 based on the position and direction of the image sensor 11, the distance information from the distance sensor 13, and the viewing angle described later.
  • an endoscope is used in order to show an observation range on a common model image regardless of individual differences in the shape of the bladder U that is an organ to be examined, changes in size due to expansion, or reduction.
  • the observation range of 2 is obtained in a polar coordinate system.
  • the organ is expanded or contracted.
  • the expansion or contraction is performed in a similar shape around the origin of polar coordinates, which is the organ deformation center, the distance from the origin to the observation point changes, but the viewing direction does not change. That is, in order to specify which position in the organ is the observation point, distance information from the origin is not necessary, and only polar coordinate angle information needs to be known. Since a model image of a shape close to a sphere or cylinder, such as the bladder or the large intestine, can specify the position only by angle information, the distance information from the origin is used by obtaining the points of these organs by polar coordinates. The position of the model image corresponding to the organ point can be obtained without any problem.
  • the observation range is represented on a common model image regardless of the actual shape of the organ by expressing the observation range in a polar coordinate system having the organ deformation center as the origin. It is designed to display accurately.
  • FIG. 3 is an explanatory diagram for explaining how to obtain the organ deformation center.
  • FIG. 3 is a perspective view showing the outer shape of the bladder. The positions indicated by circles are the inner urethral orifice A, the left ureteral orifice B, the right ureteral orifice C, and the apex T, respectively.
  • FIG. 3 shows the bladder U of the patient Pa in the quarrying position as viewed from the left side, the foot side, and the ventral side of the patient.
  • the polar coordinate origin which is the center of organ deformation, is obtained from the four characteristic points of the bladder U, the internal urethral orifice A, the left ureteral orifice B, the right ureteral orifice C, and the apex T. That is, a straight line AT connecting the apex T of the abdomen and the internal urethral orifice A is obtained, and a plane L that is parallel to the straight line AT and passes through the left and right ureteral openings BC is obtained.
  • the origin O of the polar coordinates is a point obtained by projecting the midpoint of the straight line AT onto the plane L.
  • FIG. 4 is an explanatory diagram showing observation points in polar coordinates
  • FIG. 5 is an explanatory diagram showing a two-dimensional model image with the polar coordinate ⁇ taken on the horizontal axis and the polar coordinate ⁇ taken on the vertical axis.
  • the two-dimensional model image shown in FIG. 5 divides the bladder into two parts, a front wall (Wf) and a rear wall (Wb), and each is indicated by a square.
  • FIG. 6 schematically shows a planar shape U1 of the bladder as viewed from the + direction of the Y axis, which will be described later, and a lateral shape U2 of the bladder as viewed from the ⁇ direction of the Z axis, which will be described later. It is shown and it is explanatory drawing for demonstrating a response
  • the Y axis passes through the origin and is in the front direction of the paper surface
  • the Z axis passes through the origin and is in the back direction of the paper surface.
  • the XYZ axes of polar coordinates are determined corresponding to the coordinates of the two-dimensional model image. That is, as shown in FIGS. 4 and 6, the polar coordinate Z-axis is set in the direction from the left ureteral orifice B to the right ureteral orifice C through the origin O (the depth direction in FIG. 4), and X The axis is set in the direction from the origin O to the point where the internal urethral orifice A is projected onto a plane perpendicular to the Z axis and passing through the origin O, and the Y axis is given by the outer product of Z and X.
  • an example using spherical coordinates among polar coordinates is shown.
  • the predetermined point is represented by (r, ⁇ , ⁇ ), r is the distance from the origin, ⁇ is the angle from the Z axis, and ⁇ is the X axis up to the point where the predetermined point is projected onto the XY plane. It is an angle from.
  • the X axis is perpendicular to the Z axis and passes through the origin O, and from the origin O to the internal urethral orifice A. Is the direction to.
  • the ventral range from the top T to the internal urethral orifice A is represented by a square on the lower side of the paper as the front wall Wf, and the remaining back side range is represented by the rear wall Wb on the upper side of the paper This is represented by a square.
  • the horizontal axis of the model image corresponds to the angle ⁇ from the Z axis shown in the planar shape U1 of FIG. 6, and the vertical axis of the model image corresponds to the angle ⁇ from the X axis shown in the side surface shape U2 of FIG.
  • the internal urethral orifice A has an angle ⁇ from the Z axis of 90 degrees and is on the X axis as shown in the plane shape U1 of FIG.
  • the angle ⁇ is 0 ° and is shown at the boundary position between the front wall Wf and the rear wall Wb on the model image of FIG.
  • the apex T has an angle from the X axis of ⁇ s and is shown at the lower end of the model image in FIG. 5 and the angle from the X axis is ⁇ s-360. Therefore, it is shown at the position of the upper end of the model image of FIG.
  • the observation point in the bladder U is obtained as a polar coordinate position, and the position on the model image can be indicated only by ⁇ and ⁇ which are angle information of the coordinate position.
  • the polar coordinates of the observation points P1 and P2 on the wall surface of the bladder U in FIG. 4 are (r1, ⁇ 1, ⁇ 1) and (r2, ⁇ 2, ⁇ 2), respectively.
  • the width of the rear wall Wb is relatively wide compared to the width of the front wall Wf, but generally the width of the front wall Wf and the rear wall Wb is on a paper medium schema. Since they are set to be the same, the widths of the front wall Wf and the rear wall Wb are also set to be the same in the model image shown in FIG. Therefore, in the model image of FIG. 5, the angle per unit length is larger on the negative side (upper side of the paper) than on the positive side (lower side of the paper) of the vertical axis. A model image in which the size on the plus side is different from the size on the minus side may be adopted in accordance with the sizes of the front wall Wf and the rear wall Wb.
  • the imaging range by the imaging unit 12 has a predetermined spread (viewing angle) with respect to the observation point detected by the distance sensor 13, and in order to specify the observation range, information on the viewing angle is acquired.
  • Information on the viewing angle of the imaging unit 12 may be acquired from the endoscope 2 or may be input by the input device 30.
  • the endoscope 2 has an ID generation unit (simply abbreviated as “ID” in FIG. 2) 15 composed of a ROM (Read Only Memory) that generates identification information (abbreviated as “ID”) unique to each endoscope 2. Is provided.
  • the ID generation unit 15 outputs an ID to the position / direction acquisition circuit 25 in the image processing apparatus 5. Note that the ID generation unit 15 may transmit the ID to the image processing apparatus 5 via the processor 4.
  • the position / direction acquisition circuit 25 uses the ID when the imaging unit 12 captures the focal length of the objective optical system 10, the number of pixels of the image sensor 11 that captures an optical image by the objective optical system 10, the pixel size, the viewing angle, and the like. A function as an imaging information acquisition unit that acquires imaging information is provided.
  • the position / direction acquisition circuit 25 can output the acquired imaging information to the control unit 21, and the control unit 21 can use the imaging information from the position / direction acquisition circuit 25 to calculate the observation range.
  • the coordinate calculation unit 21d in the control unit 21 of the image processing apparatus 5 also functions as a coordinate system conversion unit that converts the coordinates of the observation point obtained by the position / direction acquisition circuit 25 into polar coordinates.
  • the coordinate calculation unit 21d also has a function as an image analysis unit that performs image analysis of an endoscopic image in order to obtain the position of the origin O of polar coordinates and the coordinate axes X, Y, and Z. The surgeon inserts into the bladder U of the insertion portion 2b and observes the inner urethral orifice A, the left ureteral orifice B, the right ureteral orifice C, and the apex T.
  • the coordinate calculation unit 21d reads an endoscopic image obtained by the endoscope 2 from the memory 22 and performs image analysis, and an observation site is an internal urethral orifice A and a left ureteral orifice B whose four feature points are bladders. The right ureteral orifice C and the apex T are detected.
  • the position / direction acquisition circuit 25 obtains these positions and gives the position detection result to the position / direction information storage unit 22b of the memory 22 for storage.
  • the coordinate calculation unit 21d converts the coordinate system of the position / direction acquisition circuit into a polar coordinate system having an origin O and coordinate axes X, Y, and Z based on the position information read from the position / direction information storage unit 22b. Find the coordinate transformation formula.
  • the coordinate conversion formula is obtained only once per patient. do it.
  • This coordinate conversion formula is stored in the memory 22 or other memory (not shown).
  • the coordinate calculation unit 21d converts coordinates into polar coordinates using a coordinate conversion formula when given coordinates from the position / direction acquisition circuit 25 during observation.
  • the coordinate calculation unit 21 d can obtain the polar coordinates of the observation point obtained based on the output of the distance sensor 13 and can obtain the polar coordinates of the observation range based on the information on the viewing angle of the imaging unit 12.
  • model image a two-dimensional (2D) image and a three-dimensional (3D) image can be adopted. These model images are obtained by modeling an organ to be observed. For example, the model image shown in FIG. 5 is adopted.
  • the model image generation unit 21b reads the model image information from the 2D / 3D model image storage unit 22c of the memory 22, and generates display data for displaying the model image on the display screen of the monitor 6. Yes.
  • the model image generation unit 21b outputs the model image to the image generation unit 21c.
  • the index generation unit 21a is provided with polar coordinates of the shooting range, and generates display data (hereinafter referred to as index data) for displaying an index indicating the shooting range on the model image.
  • the index generation unit 21a outputs the index data to the image generation unit 21c.
  • the image generation unit 21c displays the model image generated by the model image generation unit 21b and the endoscope image read from the memory 22 on the monitor 6 and a display for displaying an index indicating the photographing range on the model image. Data can be generated and output to the monitor 6 via the display I / F 23.
  • the index generation unit 21 a may store the index data in the memory 22.
  • the image generation unit 21c can display not only the index indicating the currently observed region (shooting range) but also the range that has been sequentially shot in the past according to the movement of the shooting range. It is.
  • FIG. 7 is a flowchart showing an operation flow in the present embodiment.
  • FIG. 8 is an explanatory diagram for explaining an index on the model image.
  • the operator inserts the endoscope 2 into the urethra of the patient Pa.
  • the position / direction acquisition circuit 25 detects the position and direction of the distance sensor 13 at the tip of the insertion portion 2b on the three-dimensional coordinate system based on a predetermined measurement target reference position based on the detection result of the position detection mechanism control unit 27. is doing.
  • the surgeon changes the position and orientation of the insertion portion 2b to set the polar coordinates, and images the internal urethral orifice A, the left ureteral orifice B, the right ureteral orifice C, and the apex T by the imaging unit 12.
  • Endoscopic images from the imaging unit 12 are taken into the image processing device 5 by the image taking circuit 24 and sequentially stored in the endoscopic image storage unit 22 a of the memory 22.
  • the image generation unit 21c reads an endoscopic image stored in the endoscopic image storage unit 22a and outputs it to the monitor 6 via the display I / F 23.
  • an endoscopic image is displayed on the display screen of the monitor 6.
  • the surgeon can perform the insertion operation of the insertion portion 2b while viewing the endoscopic image displayed on the display screen of the monitor 6.
  • the coordinate calculation unit 21d of the control unit 21 reads the endoscopic image from the memory 22, and by image analysis, the internal urethral orifice A, the left ureteral orifice B, and the right urine that are characteristic points of the bladder U from the captured image. The part of the tube opening C and the top part T is detected. The coordinate calculation unit 21d detects the position information calculated based on the position and direction of the distance sensor 13 and the distance information by the position / direction acquisition circuit 25 at the time of detection of these parts, that is, in the coordinate system of the position / direction acquisition circuit. The three-dimensional coordinates of the inner urethral orifice A, the left ureteral orifice B, the right ureteral orifice C, and the apex T are acquired (step S2).
  • the coordinate calculation unit 21d sets polar coordinates on the three-dimensional space from the three-dimensional coordinates of the feature points of the bladder U in the next step S3.
  • the origin O of the polar coordinates is set to the expansion and contraction organ deformation center of the bladder U, and each coordinate axis is set corresponding to the model image of the bladder U as described above.
  • the coordinate calculation part 21d calculates
  • step S5 the model image generation unit 21b of the control unit 21 reads information stored in the 2D / 3D model image storage unit 22c, generates display data for displaying the model image, and generates the image generation unit 21c. And output to the monitor 6 via the display I / F 23. Thus, the model image is displayed together with the endoscopic image on the display screen of the monitor 6.
  • the position and direction acquisition circuit 25 is sequentially given the position and direction of the distance sensor 13 and the distance information obtained by the distance sensor 13, and the position and direction acquisition circuit 25 acquires the three-dimensional coordinates of the observation point. Further, the position / direction acquisition circuit 25 acquires the ID of the endoscope 2 from the ID generator 15, the focal length of the objective optical system 10, and the number of pixels of the image sensor 11 that captures an optical image by the objective optical system 10. The imaging information when the imaging unit 12 captures the image, such as the pixel size and the viewing angle, is acquired. The coordinate calculation unit 21d obtains the three-dimensional coordinates of the observation range from these pieces of information and the three-dimensional coordinates of the observation point (step S6).
  • the coordinate calculation unit 21d converts the three-dimensional coordinates of the observation range into polar coordinates using a polar coordinate conversion formula (step S7). Further, the coordinate calculation unit 21d converts the converted polar coordinates into information on the display position of the model image (step S8).
  • the index generation unit 21a generates display data for displaying an index indicating the observation range. In the present embodiment, display data of an index to be displayed on the model image is generated using information on ⁇ and ⁇ among the polar coordinates of the observation range obtained by the coordinate calculation unit 21d.
  • the image generation unit 21c displays an index indicating the observation range on the display screen of the monitor 6 based on the display data of the index generated by the index generation unit 21a.
  • FIG. 8 shows a display example of a model image.
  • the model image 50 has a display area 51 of the rear wall Wb above the paper surface and a display area 52 of the front wall Wf below the paper surface.
  • a display 53 corresponding to the internal urethral orifice A is displayed on the boundary between the display areas 51 and 52.
  • a triangular display 57 that connects the positions 55 and 56 corresponding to the left ureteral opening B and the right ureteral opening C and the position of the display 53 is displayed.
  • a display 54 b corresponding to the top T is displayed at the upper end of the display area 51, and a display 54 a corresponding to the top T is displayed at the lower end of the display area 52.
  • an index display 58 indicating the current observation range is displayed by a broken line.
  • a hatched area index display 59 indicates the past observation range.
  • index displays 58 and 59 are obtained by measuring the observation range of the organ of the patient Pa by the endoscope 2 and converting the coordinates, and can be displayed at an accurate position and range on the model image. it can. Thereby, the surgeon can grasp the current and past accurate imaging ranges by the index displays 58 and 59 on the model image 50 displayed on the monitor 6.
  • the control unit 21 can calculate the imaging range in real time, and can sequentially display the imaging range corresponding to the position and orientation of the endoscope insertion unit 2b that changes every moment.
  • the bladder U expands or contracts due to perfusion or the like during observation.
  • the origin O of the polar coordinates is set as the organ deformation center, if the position and orientation of the insertion portion 2b do not change, only the r of the polar coordinates of the observation point changes, and ⁇ and ⁇ change. do not do.
  • the index on the model image can be generated using only the information of ⁇ and ⁇ , it is not necessary to change the model image, change the polar coordinates, etc., even when organ expansion or contraction occurs, The index can be continuously displayed at an accurate position and range on the model image without interruption.
  • the observation point is obtained in polar coordinates, and the index on the model image is generated using only the information of ⁇ and ⁇ .
  • Indicators can be displayed at positions and ranges.
  • the expansion and contraction of the organ can be performed. Regardless of individual differences in size and shape, a display corresponding to the position of the organ surface can be displayed at an accurate position and range in the common model image. Thereby, it is not necessary to recreate a model image during observation, and observation and surgery can be continued.
  • FIG. 9A is an explanatory diagram for explaining a model image employed in the second embodiment of the present invention
  • FIG. 9B is an explanatory diagram showing a model image employed in the second embodiment of the present invention.
  • FIG. 9A is a model image corresponding to FIG. 4 and shows the same image as FIG.
  • the hardware configuration in this embodiment is the same as that in the first embodiment.
  • a model image in which the front wall and the rear wall are rectangular is adopted as the model image.
  • the present embodiment is an example in which a model image that represents a front wall and a rear wall in a circular shape is employed.
  • This embodiment is different from the first embodiment only in that the coordinate calculation unit 21d additionally performs a conversion process from a quadrangular model image to a circular model image. That is, the coordinate calculation unit 21d performs conversion into a circular model image by the conversion expressions shown in the following expressions (1) and (2).
  • x is a value obtained by correcting ⁇ according to the magnitude of y.
  • FIG. 9B shows the model image after conversion.
  • the model image in FIG. 9B displays the bladder U two-dimensionally by taking x in the above equation (2) instead of ⁇ on the horizontal axis and y in the above equation (1) instead of ⁇ on the vertical axis. Is.
  • FIG. 9B as well, as in FIG. 9A, it is possible to show observation points and the like at accurate positions on the model image.
  • a circular image generally used for a bladder schema can be employed as a model image.
  • FIG. 10 is an explanatory diagram for explaining a third embodiment of the present invention.
  • the hardware configuration in this embodiment is the same as that in the first embodiment.
  • the doctor habitually passes through the left and right ureters and is bounded by two planes parallel to the XY plane of the side shape U2 in FIG. 6, and the right side wall, the central front wall or the rear wall of the bladder U,
  • the left side wall is determined to determine various inspection results.
  • the doctor determines the outside of the vertical straight line passing through the left and right ureteral openings as the right or left side wall and makes a diagnosis or the like. That is, for a doctor who has used a bladder schema displayed on a paper medium, an observation point on a line with a constant Z-axis of polar coordinates is located on a straight line with a coordinate value of the horizontal axis of the model image.
  • diagnosis and the like can be performed without feeling uncomfortable.
  • the observation point on the constant Z-axis line is on the horizontal axis of the model image. Correction is performed so that the coordinate value is positioned on a certain line. That is, when the observation point or the like is displayed on the model image, the coordinate calculation unit 21d uses the polar coordinate ⁇ as the vertical axis of the model image as it is, and the horizontal axis indicates the Z in the orthogonal coordinate with the XYZ axis of the polar coordinate as the XYZ axis. Using the axis value Z, P obtained by performing the correction shown in the following formulas (3) and (4) is taken.
  • FIG. 10 shows the model image after conversion.
  • the model image of FIG. 10 is a two-dimensional display of the bladder U with the horizontal axis taking P in the above equations (3) and (4) instead of ⁇ and taking the vertical axis ⁇ .
  • a line whose Z-axis value of orthogonal coordinates is ZB is represented by a straight line of value ⁇ 1 on the P-axis
  • a line whose Z-axis value of orthogonal coordinates is ZC is It is represented by a straight line with value +1.
  • the surgeon determines that the region of P ⁇ 1 in the model image is the left side wall and the region of P> +1 is the right side wall, and ⁇ ⁇ 0 with ⁇ 1 ⁇ P ⁇ + 1 except for the vicinity of the top T. Is determined to be the front wall, and -1 ⁇ P ⁇ + 1 and ⁇ ⁇ 0 is determined to be the rear wall.
  • the same effect as in the second embodiment can be obtained, and a straight line passing through the left and right ureters can be displayed as a straight line on the model image.
  • the determination of the wall, the rear wall, or the left side wall can be facilitated.
  • the two-dimensional image is used as the model image, but a three-dimensional image may be adopted.
  • images having the same shape are used on the front wall side and the rear wall side, but images having different shapes and sizes may be employed.
  • one polar coordinate is set for the entire organ on the assumption that the deformation center of the organ is one point.
  • the organ is divided into a plurality of regions corresponding to the deformation center, polar coordinates are set for each region, and polar coordinates ⁇ and ⁇ such as observation points are obtained for each region, as shown on the model image. Also good.
  • the observation range is described as being displayed on the model image.
  • the center position of the observation range, a specified range of the observation range, and the like are displayed on the model image. You may do it.
  • the polar coordinates are described as spherical coordinates, but in the case of a cylindrical organ such as the large intestine, cylindrical coordinates may be used.
  • the coordinate components are (r, ⁇ , z), and can be displayed at the correct position regardless of the radial bulge r by displaying them on the model image with the angle components ⁇ and z.
  • the z-axis is determined first from C and B when determining the polar coordinate axis.
  • the x-axis may be determined first from A and O.
  • the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment.
  • some of the constituent elements shown in the embodiment may be deleted.
  • many of the controls and functions mainly described in the flowchart can be set by a program. Yes, the above-described control and function can be realized by the computer reading and executing the program.
  • the program may be recorded or stored in whole or in part on a portable medium such as a non-volatile memory such as a flexible disk or a CD-ROM, or a storage medium such as a hard disk or a volatile memory. It can be distributed or provided at the time of product shipment or via a portable medium or communication line.
  • the user can easily realize the medical device according to the present embodiment by downloading the program via a communication network and installing the program on the computer, or installing the program from a recording medium on the computer.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Theoretical Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

医療装置は、被検体内部の形状をモデル化したモデル画像を生成するモデル画像生成部と、前記被検体内部の特徴点の３次元位置を検出し、前記特徴点の位置を基に極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求める座標演算部と、前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す画像生成部と、を具備する。

Description

医療装置、医療画像生成方法及び医療画像生成プログラム
　本発明は、内視鏡観察を支援する医療装置、医療画像生成方法及び医療画像生成プログラムに関する。
　近年、被検体内に挿入され、被検体内部を観察したり、処置具などを用いて処置する内視鏡を備えた医療装置としての内視鏡装置が広く普及している。内視鏡を用いて、観察（又は検査）対象の所定の管腔臓器内部を観察する場合において、画像上に観察範囲を表示する医療装置がある。
　このような医療装置においては、事前に患者の臓器についての計測を行って臓器の計測データを取得しておくことで、観察中における観察位置を、取得した計測データに基づいて推定したモデル画像上に表示することを可能にしている。
　例えば、日本国特開２０１４－１１７４４６号公報においては、人の臓器内に内視鏡を挿入し、内視鏡先端に設けたセンサによって臓器までの距離を求め、更に、内視鏡の動きを検出するセンサを設けることで、センサの測定結果と内視鏡の変位とから、その場で、臓器の形状を推定してモデル画像を生成する技術が提案されている。
　しかしながら、従来の医療装置においては、観察範囲の位置を正確に示すために、患者毎に臓器の形状を推定して作成したモデル画像上に観察位置を表示するようになっており、臓器毎の形状の個人差が大きい場合には、モデル画像の個人差も大きくなり、見易さが損なわれると共に、患者間での比較がし難いという問題がある。
　また、臓器内への灌流や送気を行う場合等、観察途中において、臓器の形状が変化することがある。この場合には、施術の途中で、臓器の再計測を行って対象の形状を推定し直してモデル画像を作り直す必要があり、観察や手術等を中断する必要が生じるという問題があった。また、この場合には、モデル画像の再作成前における観察済みの位置を、再作成後のモデル画像上の正確な範囲に表示することができないこともある。
　本発明は、臓器の変形に拘わらず、また、異なる人物の臓器であっても、共通のモデル画像を用いて正確に観察範囲等を示すことができる医療装置、医療画像生成方法及び医療画像生成プログラムを提供することを目的とする。
　本発明の一態様による医療装置は、被検体内部の形状をモデル化したモデル画像を生成するモデル画像生成部と、前記被検体内部の特徴点の３次元位置を検出し、前記特徴点の位置を基に極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求める座標演算部と、前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す画像生成部と、を具備する。
　また、本発明の一態様による医療画像生成方法は、位置方向取得部と、座標演算部と、モデル画像生成部と、画像生成部とを備えた医療装置における医療画像生成方法であって、前記位置方向取得部が、被検体内部の特徴点を含む前記被検体内部の任意の３次元位置を求め、前記座標演算部が、前記被検体内部の特徴点の３次元位置に基づいて極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求め、前記モデル画像生成部が、前記被検体内部の形状をモデル化したモデル画像を生成し、前記画像生成部が、前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す。
　また、本発明の一態様による医療画像生成プログラムは、コンピュータに、被検体内部の特徴点を含む前記被検体内部の任意の３次元位置を求め、前記被検体内部の特徴点の３次元位置に基づいて極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求め、前記被検体内部の形状をモデル化したモデル画像を生成し、前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す手順を実行させる。
本発明の第１の実施の形態に係る医療装置を示すブロック図である。 図１の医療装置の外観を示す説明図である。 臓器変形中心の求め方を説明するための説明図である。 極座標における観察ポイントを示す説明図である。 横軸に極座標のθをとり縦軸に極座標のφをとって２次元モデル画像を示す説明図である。 仰臥位の状態の膀胱の平面形状Ｕ１及び右側臥位の状態の膀胱の側面形状Ｕ２を模式的に示して、極座標とモデル画像との対応を説明するための説明図である。 本実施の形態における動作フローを示すフローチャートである。 モデル画像上の指標を説明するための説明図である。 本発明の第２の実施の形態において採用するモデル画像を説明するための説明図である。 本発明の第２の実施の形態において採用するモデル画像を示す説明図である。 本発明の第３の実施の形態を説明するための説明図である。
　以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
　図１は本発明の第１の実施の形態に係る医療装置を示すブロック図である。図２は図１の医療装置の外観を示す説明図である。
　一般的に、紙媒体に描かれるシェーマは臓器の実際の形状を模式的に表したものであり、紙面カルテ等では共通の形状のシェーマが用いられることが多い。術者は、内視鏡等によって実際に観察して得た病変部等の位置及び形状を、頭の中で縮尺や角度等を考慮しながら、紙面に描かれたシェーマ上に記入するという処理を行う。実際の臓器形状とは異なる共通の形状のシェーマを用いることで、術者にとって、病変部の確認等がし易い場合もある。
　そこで、本実施の形態においては、モニタに表示するモデル画像中に観察範囲等を表示する場合においても、共通のモデル画像を用いる。そして、この場合において、本実施の形態においては、臓器形状の個人差に拘わらず、また、臓器の変形に拘わらず、共通のモデル画像上の正確な位置や範囲に、観察範囲等を示すことを可能にする。
　図２に示すように、医療装置１は、被検体内部の観察を行うものである。本実施の形態では、被検体内部として患者Ｐａ内部の所定の管腔臓器（具体例では膀胱Ｕ）内部を観察（又は検査）する例について説明する。医療装置１は、観察装置である内視鏡２と、光源装置３と、プロセッサ４と、画像処理装置５と、モニタ６と、位置検出機構部２９とを備えて構成される。医療装置１は、通常光観察と特殊光観察の２つの観察モードで観察する機能を有していてもよい。医療装置１のユーザとしての術者は、ベッド８上に仰臥位等で横たわっている患者Ｐａにおける所定の管腔臓器（単に管腔臓器、又は臓器とも言う）としての膀胱Ｕ内部の内視鏡検査を行う。 
　内視鏡２は、操作部２ａと、可撓性を有する挿入部２ｂと、ユニバーサルケーブル２ｃとを有する。内視鏡２は、例えば膀胱検査用の内視鏡である。ユニバーサルケーブル２ｃ内には、図１に示すライトガイド９が挿通されており、内視鏡２は、光源装置３からの照明光を、ライトガイド９を通して挿入部２ｂの先端部２ｄの照明窓から出射する。この照明光によって、挿入部２ｂの先端部２ｄが挿入された被検体内部である所定の管腔臓器（としての膀胱Ｕ）内部が照明されるようになっている。
　図１に示すように、挿入部２ｂの先端部２ｄには、対物光学系１０と撮像素子１１とが設けられている。撮像素子１１は、対物光学系１０の結像位置に撮像面が配置され、撮像面に結像された被検体光学像を光電変換して撮像信号として出力するようになっている。こうして、撮像素子１１は、光源装置３の照明光により照明された膀胱Ｕの内壁を撮像する。対物光学系１０及び撮像素子１１によって、管腔臓器内部を撮像して撮像画像を出力する撮像部（又は撮像装置）１２が構成される。
　撮像素子１１により得られた撮像信号は、ユニバーサルケーブル２ｃ内の信号線を介してプロセッサ４に入力される。プロセッサ４には画像生成回路４ａが設けられており、画像生成回路４ａは、入力された撮像信号を用いた画像生成処理を行い、管腔臓器としての膀胱Ｕ内部の内視鏡画像（撮像画像）を生成するようになっている。
　画像生成回路４ａは、生成した撮像画像を画像処理装置５に出力する。画像処理装置５の画像取込回路２４は、プロセッサ４において生成された内視鏡画像を、一定の周期で取り込む処理を行う画像取込部の機能を有する。画像取込回路２４は、例えば、フレームレートと同じ、１秒間に３０枚の内視鏡画像を、プロセッサ４から取得する。また、画像取込回路２４は、プロセッサ４からのレリーズ信号も受信する。画像取込回路２４は、画像生成回路４ａからの撮像画像を取り込んで、表示Ｉ／Ｆ２３を介してモニタ６に与える。これにより、内視鏡２によって取得された内視鏡画像は、モニタ６における内視鏡画像表示エリアに表示されるようになっている。なお、画像取込回路２４は、ＣＴ装置２９からの画像も取り込んで、表示Ｉ／Ｆ２３を介してモニタ６に供給することができるようになっている。
　プロセッサ４は、観察モードを切り換えるための切換スイッチ４ｂを有している。画像生成回路４ａは、切換スイッチ４ｂにより指定された観察モード信号が入力され、切換スイッチ４ｂにより指定された観察モードに応じた内視鏡画像を生成する。より具体的には、画像生成回路４ａは、通常光観察モードが指定された場合には、通常光（としての白色光）の照明の下で撮像した通常光観察画像を生成し、特殊光観察モードが指定された場合には、特殊光観察画像（より狭義には狭帯域光観察画像）を生成する。 
　また、切換スイッチ４ｂによる観察モード信号は、光源装置３のＬＥＤ制御回路３ａにも入力される。ＬＥＤ制御回路３ａは、観察モードに応じた照明光を生成するようにＬＥＤ３ｂ，３ｃを制御する。即ち、ＬＥＤ制御回路３ａは、切換スイッチ４ｂにより通常光観察モードが指定された場合には、通常光観察モード用の光源となる白色ＬＥＤ３ｂを発光させるように制御し、特殊光観察モードが指定された場合には、特殊光観察モード用の光源となる狭帯域の青色ＬＥＤ３ｃを発光させるように制御する。 
　狭帯域の青色ＬＥＤ３ｃが発光した場合には、狭帯域の青色の光は、この青色光の光路上に４５度の角度で配置されたダイクロイックミラー３ｄにより選択的に反射された後、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端が取り付けられた照明窓から出射される。こうして、この場合には、特殊光観察モード用の照明（より狭義には狭帯域光観察モード用の照明）が行われる。
　また、白色ＬＥＤ３ｂが発光した場合には、白色光は、その光路上に配置されたダイクロイックミラー３ｄにより、狭帯域の青色の光を除く白色光の殆どが選択的に透過され、集光レンズ３ｅにより集光されてライトガイド９の基端に入射される。ライトガイド９の基端に入射された狭帯域の青色光を除く白色の照明光は、ライトガイド９により伝送され、ライトガイド９の先端に取り付けられた照明窓から出射される。こうして、この場合には、通常光観察モード用の照明が行われる。
　内視鏡２の操作部２ａには、レリーズボタン（又はレリーズスイッチ）１４が設けられている。レリーズボタン１４は、術者等のユーザが内視鏡画像を記録（又は記憶）するときに、押すためのボタンである。レリーズボタン１４が押されると、レリーズボタン操作信号がプロセッサ４へ入力され、プロセッサ４は、レリーズ信号を生成して、画像処理装置５へ出力する。レリーズボタン１４が押されたときの内視鏡画像は、画像処理装置５の後述するメモリ２２に記録（又は記憶）される。また、医療装置１は、画像処理装置５に対して、ユーザが各種の情報の入力や選択するための入力を行う入力装置３０を有する。
　画像処理装置５は、内視鏡画像をモニタ６に表示させると共に、観察対象に対応するモデル画像を表示し、内視鏡画像の撮影範囲等をモデル画像上に表示する機能を有する。画像処理装置５は、モニタ６の表示画面上の一部の表示領域にプロセッサ４によって生成された内視鏡画像を表示し、他の一部の表示領域にはモデル画像を表示する。そして、画像処理装置５は、表示画面上に表示されたモデル画像上に、表示した内視鏡画像の画像の範囲（撮影範囲）を示す指標を表示するようになっている。
　画像処理装置５は、制御部２１と、メモリ２２と、表示インターフュース（以下、表示Ｉ／Ｆと略す）２３と、画像取込回路２４と、位置方向取得回路２５と、位置検出機構制御部２７とを備える。ＣＰＵ２１と、メモリ２２と、表示Ｉ／Ｆ２３と、画像取込回路２４と、位置方向取得回路２５とは、バス２８を介して互いに接続されている。内視鏡画像は、画像取込回路２４からバス２８を介して制御部２１に供給される。
　記憶部としてのメモリ２２は、ＲＯＭ、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ等によって構成されている。メモリ２２は、制御部２１により実行される各種処理プログラム及び各種データを記憶する。また、メモリ２２は、画像生成回路４ａにより生成された内視鏡画像の情報を記憶する内視鏡画像記憶部２２ａ及び位置方向取得回路２５により取得された位置情報及び視線方向情報を記憶する位置方向情報記憶部２２ｂを有している。また、メモリ２２は、２次元（２Ｄ）及び３次元（３Ｄ）のモデル画像の画像データを記憶する２Ｄ／３Ｄモデル画像記憶部２２ｃを有している。本実施の形態においては、モデル画像としては、患者に拘わらず、また、臓器の状態に拘わらず、共通の形状のモデル画像が用いられる。
　制御部２１は、図示しないＣＰＵ等のプロセッサによって構成することができ、メモリに記憶されたプログラムに従って動作して各部を制御するものであってもよい。制御部２１によって、内視鏡画像の撮影範囲が求められると共に、モデル画像の表示及びモデル画像上の撮影範囲を示す指標の表示が制御される。
　本実施の形態において、観察装置である内視鏡２の撮影範囲、即ち、モニタ６の内視鏡画像の表示領域に表示される画像の範囲を求めて、共通のモデル画像中に正確に表示する。そこで、まず、位置方向取得回路２５は、撮像素子１１の位置及び方向を検出する。位置検出機構部２９は、撮像素子１１の位置及び方向を検出するように構成されている。位置検出機構制御部２７は、位置検出機構部２９を制御して、撮像素子１１の位置及び方向を検出すると共に、検出結果を位置方向取得回路２５に出力することができるようになっている。
　位置検出機構部および位置検出機構制御部としては公知の手法を採用することができる。例えば、位置検出機構部として、挿入部２ｂ先端に図示しない受信コイルを設け、内視鏡２の外部に磁界を発生する磁界送信アンテナを設けて、磁界送信アンテナからの磁界を受けた受信コイルの信号を解析し、受信コイルの位置及び方向を検出し、受信コイルと撮像素子１１との既知の位置関係から、撮像素子１１の位置及び方向を検出しても良いし、日本国特開２０１４－１１７４４６号公報に記載の方法を利用してもよい。位置方向取得回路２５の出力するデータは、前者の場合には磁界送信アンテナを基準とした座標系で出力される。
　次に、位置方向取得回路２５は、撮像素子１１から観察対象までの距離を算出する。内視鏡２の挿入部２ｂは、図示しない機構により、操作部２ａの操作レバーの操作に応じて挿入部２ｂの先端にある湾曲部を湾曲させることができるようになっている。この内視鏡２の挿入部２ｂの例えば先端には、挿入部２ｂと患者Ｐａの膀胱Ｕの表面（被挿入体内表面）との距離を測定して距離情報を出力する距離センサ１３が設けられている。
　距離センサ１３は、撮像素子１１が撮像する撮像中心の方向と略平行な方向の距離を測定するように設けられている。撮像素子１１の位置及び方向は、距離センサ１３の位置及び方向と略同一であるものと考えてよい。これにより、撮像素子１１が撮像する方向と同じ方向の被挿入体内表面までの距離を検出することができる。
　例えば、距離センサ１３は、赤外レーザ光を出射し、被挿入体内表面で反射した赤外レーザ光を検出し、赤外レーザ光の出射時間と検出時間との差に基づいて、距離センサ１３の位置、すなわち挿入部２ｂの先端から被挿入体内表面までの距離を測定するものであってもよい。なお、距離センサ１３に代えて、制御部２１において、内視鏡ステレオ画像の画像解析を行って、距離を求めるように構成することも可能である。
　距離センサ１３が設置されている挿入部２ｂは、挿入部２ｂの挿入、回転操作や、操作部２ａの操作レバー４１による湾曲操作により、位置と向きを移動させることができる。従って、距離センサ１３が測定する測定点も移動させることが可能である。すなわち、内視鏡２の操作可能な範囲で、任意の挿入部先端と距離測定点との距離を測定可能である。
　距離センサ１３は計測結果である距離情報を位置方向取得回路２５に出力するようになっている。位置方向取得回路２５は、撮像素子１１の位置及び方向と、距離センサ１３からの距離情報と後述する視野角に基づいて、内視鏡２の観察範囲を求める。
　本実施の形態においては、検査対象の臓器である膀胱Ｕの形状の個人差や拡張、縮小に伴うサイズの変化等に拘わらず、共通のモデル画像上に観察範囲を示すために、内視鏡２の観察範囲を極座標系で求める。
（極座標系）
　本実施の形態は、例えば、膀胱や大腸等においては、サイズ、形状に個人差があったとしても、拡張又は縮小等の変形が生じる場合には、ある点を起点として略相似形で変形するという特徴を利用する。本実施の形態においては、このような臓器内における変形の起点となるポイント（以下、臓器変形中心という）を求め、求めた臓器変形中心を原点とした極座標によって、観察範囲（座標）を表現する。以下では、簡略化するため、観察範囲内の任意の点を観察ポイントとして説明する。
　例えば、この極座標の原点から臓器内の所定の観察ポイントを観察している場合において、当該臓器が拡張又は縮小したものとする。この場合、臓器変形中心である極座標の原点を中心として相似形で拡張又は縮小が行われるので、原点から観察ポイントまでの距離は変化するが、見ている方向は変化しない。つまり、臓器内のいずれの位置が観察ポイントであるかを特定するためには、原点からの距離情報は必要ではなく、極座標の角度情報のみが分かればよい。膀胱や大腸等の、球形又は円筒形に近い形状のモデル画像は、角度情報のみによって位置を指定することができることから、これらの臓器のポイントを極座標によって求めることで、原点からの距離情報を用いることなく臓器のポイントに対応したモデル画像の位置を求めることができる。
　以上を考慮して、本実施の形態では、観察範囲を、臓器変形中心を原点とする極座標系で表現することで、臓器の実際の形状に拘わらず、観察範囲等を共通のモデル画像上に正確に表示するようになっている。
　図３を参照して、極座標の原点とする臓器変形中心の求め方について説明する。図３は臓器変形中心の求め方を説明するための説明図である。図３は膀胱の外形状を斜視図によって示したものであり、丸印で示す各位置はそれぞれ内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ、頂部Ｔである。図３は採石位の患者Ｐａの膀胱Ｕを患者の左側やや足側かつ腹側から見たものである。本実施の形態においては、臓器変形中心である極座標の原点を、膀胱Ｕの４つの特徴点である、内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ及び頂部Ｔから求める。即ち、腹部の頂部Ｔと内尿道口Ａとを結ぶ直線ＡＴを求め、この直線ＡＴに平行で、左右尿管口ＢＣを通る平面Ｌを求める。そして、極座標の原点Ｏは、直線ＡＴの中点を平面Ｌに射影した点とする。
　次に、図４及び図５を参照して、臓器壁面の所定の観察ポイントの極座標と、当該極座標とモデル画像上の表示との関係について説明する。図４は極座標における観察ポイントを示す説明図であり、図５は横軸に極座標のθをとり縦軸に極座標のφをとって２次元モデル画像を示す説明図である。図５に示す２次元モデル画像は、膀胱を前壁（Ｗｆ）及び後壁（Ｗｂ）の２つに分けてそれぞれ正方形によって示すものである。また、図６は後述するY軸の＋方向から－方向を見た状態の膀胱の平面形状Ｕ１及び後述するZ軸の－方向から＋方向を見た状態の膀胱の側面形状Ｕ２を模式的に示して、極座標とモデル画像との対応を説明するための説明図である。なお、図６の平面形状Ｕ１においては、Ｙ軸は原点を通り、紙面手前方向であり、側面形状Ｕ２においては、Ｚ軸は原点を通り紙面奥方向である。
　本実施の形態においては、極座標のＸＹＺ軸は、２次元モデル画像の座標に対応させて決定する。即ち、図４及び図６に示すように、極座標のＺ軸は、原点Ｏを通り、左尿管口Ｂから右尿管口Ｃへの方向（図４の紙面奥方向）に設定し、Ｘ軸は、Ｚ軸に垂直で原点Ｏを通る平面に対して内尿道口Ａを射影した点に、原点Ｏから向かう方向に設定し、Ｙ軸はＺとXの外積によって与えられる。本実施の形態では極座標のうち球座標を用いる例を示す。球座標では、所定のポイントは（ｒ，θ，φ）で表され、ｒは原点からの距離、θはＺ軸からの角度、φは所定のポイントをＸＹ平面に射影した点までのＸ軸からの角度である。なお、図６では内尿道口Ａはθ＝９０°である例を示しており、この場合には、Ｘ軸は、Ｚ軸に垂直で原点Ｏを通る平面において、原点Ｏから内尿道口Ａへの方向である。
　図５に示す膀胱のモデル画像においては、頂部Ｔから内尿道口Ａまでの腹側の範囲を前壁Ｗｆとして紙面下側の正方形で表し、残りの背中側の範囲を後壁Ｗｂとして紙面上側の正方形で表す。モデル画像の横軸は、図６の平面形状Ｕ１に示すＺ軸からの角度θに相当し、モデル画像の縦軸は、図６の側面形状Ｕ２に示すＸ軸からの角度φに相当する。
　例えば、内尿道口Ａは、図６の平面形状Ｕ１に示すように、Ｚ軸からの角度θは９０度であり、Ｘ軸上にあるので、側面形状Ｕ２に示すように、Ｘ軸からの角度φは０°であり、図５のモデル画像上では前壁Ｗｆと後壁Ｗｂとの境界位置に示される。同様に、頂部Ｔは、側面形状Ｕ２に示すように、Ｘ軸からの角度がφｓであり、図５のモデル画像の紙面下端の位置に示されると共に、Ｘ軸からの角度はφｓ－３６０でもあるので、図５のモデル画像の紙面上端の位置に示される。
　このように、膀胱Ｕ内の観察ポイントを極座標の座標位置として求め、座標位置の角度情報であるθ及びφのみによって、モデル画像上の位置を示すことができる。例えば、図４の膀胱Ｕの壁面の観察ポイントＰ１，Ｐ２の極座標がそれぞれ（ｒ１，θ１，φ１）、（ｒ２，θ２，φ２）であるものとする。この場合には、観察ポイントＰ１は、図５のモデル画像のθ＝θ１、φ＝φ１のポイントに表示され、観察ポイントＰ２は、図５のモデル画像のθ＝θ２、φ＝φ２のポイントに表示されることになる。
　なお、図４に示すように、前壁Ｗｆの広さに比べて後壁Ｗｂの広さは比較的広いが、一般的に紙媒体のシェーマ上では前壁Ｗｆ及び後壁Ｗｂの広さは同一に設定されるので、図５に示すモデル画像においても、前壁Ｗｆと後壁Ｗｂの広さは同一に設定してある。従って、図５のモデル画像では、縦軸のプラス側（紙面下側）よりもマイナス側（紙面上側）の方が単位長さ当たりの角度は大きい。なお、前壁Ｗｆと後壁Ｗｂのサイズに合わせて、プラス側のサイズとマイナス側のサイズを異ならせたモデル画像を採用してもよい。
　ところで、距離センサ１３によって検出する観察ポイントに対して、撮像部１２による撮像範囲は所定の広がり（視野角）を有しており、観察範囲を特定するためには、視野角の情報を取得する必要がある。撮像部１２の視野角の情報は、内視鏡２から取得してもよく、また、入力装置３０によって入力するようにしてもよい。内視鏡２には、各内視鏡２に固有の識別情報（ＩＤと略記）を発生するＲＯＭ（リードオンリメモリ）等により構成されるＩＤ発生部（図２では単にＩＤと略記）１５が設けられている。このＩＤ発生部１５は、画像処理装置５内の位置方向取得回路２５にＩＤを出力するようになっている。なお、ＩＤ発生部１５は、ＩＤをプロセッサ４を介して画像処理装置５に送信するようになっていてもよい。
　位置方向取得回路２５は、ＩＤから対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ、視野角等、撮像部１２が撮像する場合の撮像情報を取得する撮像情報取得部としての機能を備える。位置方向取得回路２５は取得した撮像情報を制御部２１に出力することができ、制御部２１は観察範囲の算出に位置方向取得回路２５からの撮像情報を用いることができるようになっている。
　画像処理装置５の制御部２１中の座標演算部２１ｄは、位置方向取得回路２５が求めた観察ポイントの座標を極座標に変換する座標系変換部としても機能するようになっている。座標演算部２１ｄは、極座標の原点Ｏの位置及び座標軸Ｘ，Ｙ，Ｚを求めるために、内視鏡画像の画像解析を行う画像解析部としての機能も有する。術者は、挿入部２ｂの膀胱Ｕ内に挿入して、内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ及び頂部Ｔを観察する。座標演算部２１ｄは、内視鏡２によって得た内視鏡画像をメモリ２２から読み出して、画像解析を行い、観察部位が膀胱の４つの特徴点である内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ及び頂部Ｔであることを検出する。位置方向取得回路２５は、これらの位置を求め、位置の検出結果をメモリ２２の位置方向情報記憶部２２ｂに与えて記憶させる。座標演算部２１ｄは、位置方向情報記憶部２２ｂから読み出した位置情報に基づいて、位置方向取得回路の座標系を、原点Ｏ及び座標軸Ｘ，Ｙ，Ｚを有する極座標の座標系に変換するための座標変換式を求める。
　本実施の形態においては、膀胱Ｕの拡張又は縮小に拘わらず、極座標の原点Ｏ及び座標軸Ｘ，Ｙ，Ｚは変化しないので、１人の患者に付き１回だけ、座標変換式を求めるようにすればよい。この座標変換式は、メモリ２２や他の図示しないメモリに記憶される。
　座標演算部２１ｄは、観察時において位置方向取得回路２５から座標が与えられると、座標変換式を用いて、極座標に変換するようになっている。座標演算部２１ｄは、距離センサ１３の出力に基づいて求めた観察ポイントの極座標を求めると共に、撮像部１２の視野角の情報に基づいて観察範囲の極座標を求めることができるようになっている。
　モデル画像としては、２次元（２Ｄ）画像及び３次元（３Ｄ）画像を採用することができる。これらのモデル画像は、観察対象の臓器をモデル化したものであり、例えば、図５に示すモデル画像が採用される。モデル画像生成部２１ｂは、メモリ２２の２Ｄ／３Ｄモデル画像記憶部２２ｃからモデル画像の情報を読み出して、モデル画像をモニタ６の表示画面上に表示するための表示データを生成するようになっている。モデル画像生成部２１ｂはモデル画像を画像生成部２１ｃに出力する。
　指標生成部２１ａは、撮影範囲の極座標が与えられて、モデル画像上に撮影範囲を示す指標を表示するための表示用のデータ（以下、指標データという）を生成する。指標生成部２１ａは指標データを画像生成部２１ｃに出力する。画像生成部２１ｃは、モデル画像生成部２１ｂが生成したモデル画像とメモリ２２から読み出した内視鏡画像とをモニタ６に表示すると共に、モデル画像上に撮影範囲を示す指標を表示するための表示データを生成して、表示Ｉ／Ｆ２３を介してモニタ６に出力することができるようになっている。
　なお、指標生成部２１ａは、指標データをメモリ２２に記憶させてもよい。この場合には、画像生成部２１ｃは、現在観察中の領域（撮影範囲）を示す指標だけでなく、撮影範囲の移動に応じて過去に順次撮影された範囲についても指標として表示することが可能である。
　次にこのように構成された実施の形態の動作について図７及び図８を参照して説明する。 図７は本実施の形態における動作フローを示すフローチャートである。また、図８はモデル画像上の指標を説明するための説明図である。
　医療装置１が動作状態になると、最初のステップＳ１において、術者は、内視鏡２を患者Ｐａの尿道内に挿入する。位置方向取得回路２５は、位置検出機構制御部２７の検出結果によって、所定の測定対象基準位置を基準とした３次元座標系上において、挿入部２ｂの先端の距離センサ１３の位置及び方向を検出している。
　術者は、極座標を設定するために、挿入部２ｂの位置及び向きを変えて、撮像部１２により内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ及び頂部Ｔを撮像する。撮像部１２からの内視鏡画像は、画像取込回路２４によって画像処理装置５に取り込まれて、メモリ２２の内視鏡画像記憶部２２ａに順次記憶される。なお、画像生成部２１ｃは、内視鏡画像記憶部２２ａに記憶されている内視鏡画像を読み出して表示Ｉ／Ｆ２３を介してモニタ６に出力する。こうして、モニタ６の表示画面上には、内視鏡画像が表示される。術者はモニタ６の表示画面に表示された内視鏡画像を見ながら、挿入部２ｂの挿入操作を行うことができる。
　制御部２１の座標演算部２１ｄは、メモリ２２から内視鏡画像を読み出し、画像解析によって、撮像されている画像から膀胱Ｕの特徴点である内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ及び頂部Ｔの部分を検出する。座標演算部２１ｄは、これらの部位の検出時点において、位置方向取得回路２５が、距離センサ１３の位置及び方向、並びに距離情報に基づいて算出した位置情報、即ち、位置方向取得回路の座標系における内尿道口Ａ、左尿管口Ｂ、右尿管口Ｃ及び頂部Ｔの３次元座標を取得する（ステップＳ２）。
　座標演算部２１ｄは、次のステップＳ３において、膀胱Ｕの特徴点の３次元座標から、３次元空間上に、極座標を設定する。この場合の極座標の原点Ｏは、膀胱Ｕの拡張及び伸縮の臓器変形中心に設定し、各座標軸は、上述した通り、膀胱Ｕのモデル画像に対応して設定する。次に、座標演算部２１ｄは、ステップＳ４において、位置方向取得回路の３次元座標を、極座標に変換するための極座標変換式を求める。
　ステップＳ５において、制御部２１のモデル画像生成部２１ｂは、２Ｄ／３Ｄモデル画像記憶部２２ｃに記憶されている情報を読み出して、モデル画像を表示するための表示データを生成し、画像生成部２１ｃと表示Ｉ／Ｆ２３を介してモニタ６に出力する。こうして、モニタ６の表示画面上には、内視鏡画像と共に、モデル画像が表示される。
　位置方向取得回路２５には、距離センサ１３の位置及び方向、並びに距離センサ１３により求めた距離情報が順次与えられており、位置方向取得回路２５は、観察ポイントの３次元座標を取得する。更に、位置方向取得回路２５は、このＩＤ発生部１５から内視鏡２のＩＤを取得して、対物光学系１０の焦点距離、対物光学系１０による光学像を撮像する撮像素子１１の画素数、ピクセルのサイズ、視野角等、撮像部１２が撮像する場合の撮像情報を取得している。座標演算部２１ｄは、これらの情報と観察ポイントの３次元座標とから、観察範囲の３次元座標を求める（ステップＳ６）。
　座標演算部２１ｄは、観察範囲の３次元座標を、極座標変換式を用いて極座標に変換する（ステップＳ７）。更に、座標演算部２１ｄは、変換した極座標をモデル画像の表示位置の情報に変換する（ステップＳ８）。指標生成部２１ａは、観察範囲を示す指標を表示するための表示データを生成する。本実施の形態においては、座標演算部２１ｄによって得られた観察範囲の極座標のうち、θ及びφの情報を用いて、モデル画像上に表示する指標の表示データが生成される。
　画像生成部２１ｃは、指標生成部２１ａが生成した指標の表示データに基づいて、モニタ６の表示画面上に観察範囲を示す指標を含めて表示する。
　図８はモデル画像の表示例を示している。モデル画像５０は、紙面上方に後壁Ｗｂの表示領域５１と、紙面下方に前壁Ｗｆの表示領域５２とを有する。表示領域５１，５２の境界上に内尿道口Ａに対応する表示５３が表示されている。また、左尿管口Ｂ及び右尿管口Ｃにそれぞれ対応する位置５５，５６と表示５３の位置とを結ぶ三角形の表示５７が表示されている。また、表示領域５１の上端には頂部Ｔに対応する表示５４ｂが表示され、表示領域５２の下端には頂部Ｔに対応する表示５４ａが表示されている。
　後壁Ｗｂの表示領域５１中には、破線によって現在の観察範囲を示す指標表示５８が表示されている。また、斜線領域の指標表示５９は過去の観察範囲を示している。
　これらの指標表示５８，５９は、内視鏡２による患者Ｐａの臓器の観察範囲を測定し、座標変換することによって得られものであり、モデル画像上の正確な位置及び範囲に表示することができる。これにより、術者は、モニタ６に表示されるモデル画像５０上の指標表示５８，５９によって、現在及び過去の正確な撮影範囲を把握することができる。また、制御部２１は、撮影範囲の算出をリアルタイムで実施することができ、時々刻々変化する内視鏡挿入部２ｂ位置及び向きに応じた撮影範囲を順次表示することができる。
　ここで、観察途中において、灌流等により、膀胱Ｕが拡張したり、縮小したりするものとする。この場合でも、極座標の原点Ｏを臓器変形中心に設定していることから、挿入部２ｂの位置及び向きが変化しなければ、観察ポイントの極座標は、ｒのみが変化し、θ及びφは変化しない。モデル画像上の指標は、θ及びφの情報のみを用いて生成することができるので、臓器の拡張及び収縮が発生した場合でも、モデル画像の変更や、極座標の変更等は不要であり、観察を中断することなく、モデル画像上の正確な位置及び範囲に指標を継続して表示することができる。
　また、異なる患者の臓器を観察する場合でも、観察ポイントを極座標で求めて、モデル画像上の指標を、θ及びφの情報のみを用いて生成しているので、共通のモデル画像中の正確な位置及び範囲に指標を表示することができる。
　このように本実施の形態においては、臓器の拡張及び収縮の臓器変形中心を原点とする極座標系によって、臓器表面の位置を特定することにより、臓器の拡張及び収縮に拘わらず、また、臓器のサイズ及び形状の個人差に拘わらず、共通のモデル画像中の正確な位置及び範囲に、臓器表面の位置に対応する表示を表示することができる。これにより、観察途中においてモデル画像を作り直す必要が無く、観察や手術を継続して行うことができる。
（第２の実施の形態）
　図９Ａは本発明の第２の実施の形態において採用するモデル画像を説明するための説明図であり、図９Ｂは本発明の第２の実施の形態において採用するモデル画像を示す説明図である。図９Ａは図４に対応したモデル画像であり、図５と同じ画像を示している。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。
　第１の実施の形態においては、モデル画像として、前壁及び後壁が四角形状のモデル画像を採用した。本実施の形態は、前壁及び後壁を円形状で表すモデル画像を採用する例である。
　本実施の形態においては、座標演算部２１ｄが、四角形状のモデル画像から円形状のモデル画像への変換処理を追加して行う点が第１の実施の形態と異なるのみである。即ち、座標演算部２１ｄは、下記（１）式及び（２）式に示す変換式によって、円形状のモデル画像への変換を行う。
　ｙ＝φ　　　…（１）
　ｘはｙの大きさに合わせて、θを補正した値とする。
　例えば、真円に変換する場合には、
　φｓ－３６０＜φ＜０　において
　ｘ＝（θ／９０）×（９０2－（ｙ－（φｓ－３６０）／２）2）1/2
　０＜φ＜φｓ　において
　ｘ＝（θ／９０）×（９０2－（ｙ－（φｓ）／２）2）1/2　　　　　…（２）
　図９Ｂは変換後のモデル画像を示している。図９Ｂのモデル画像は、横軸にθに代えて上記（２）式のｘをとり、縦軸にφに代えて上記（１）式のｙをとって、膀胱Ｕを２次元に表示するものである。図９Ｂにおいても、図９Ａと同様に、観察ポイント等をモデル画像上の正確な位置に示すことが可能である。
　他の構成及び作用は第１の実施の形態と同様である。
　本実施の形態においても第１の実施の形態と同様の効果が得られると共に、モデル画像として、一般的に膀胱のシェーマに採用されている円形状の画像を採用することができる。
（第３の実施の形態）
　図１０は本発明の第３の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。
　第１及び第２の実施の形態においては、観察ポイント等をモデル画像上に正確に示した。即ち、極座標のθ及びφに従ってモデル画像上の位置を決定することで、モデル画像とは形状が異なる膀胱Ｕの所定の観察ポイントをモデル画像上に正確に示した。このため、第１及び第２の実施の形態においては、極座標のＺ軸一定のライン上の観察ポイントは、ｚ＝ｒ×ｃｏｓθに従って距離ｒに応じてθが変化する曲線上の点として示される。
　しかしながら、医者は、習慣的に、左右の尿管を通り、図６の側面形状Ｕ２のＸＹ平面に平行な２つの面を境界にして、膀胱Ｕの右側壁、中央の前壁又は後壁、左側壁を判定して各種検査結果を判断している。そして、医者は、紙媒体のシェーマ上では、左右の尿管口を通る縦方向の直線の外側を右又は左側壁と判断して診断等を行う。即ち、紙媒体に表示される膀胱のシェーマを利用してきた医者にとっては、極座標のＺ軸が一定のライン上の観察ポイントは、モデル画像の横軸の座標値が一定の直線上に位置した場合に、違和感を感じることなく診断等を行うことができる。
　そこで、本実施の形態においては、座標演算部２１ｄによって、四角形状のモデル画像から円形状のモデル画像への変換処理に加えて、Ｚ軸一定のライン上の観察ポイントがモデル画像の横軸の座標値が一定の線上に位置するように補正を行うようになっている。即ち、座標演算部２１ｄは、観察ポイント等をモデル画像上に示す場合には、モデル画像の縦軸は極座標のφをそのまま用い、横軸は極座標のＸＹＺ軸をＸＹＺ軸とする直交座標におけるＺ軸の値Ｚを用いて、下記（３）式及び（４）式に示す補正を行って得たＰをとる。
Ｚ＞０のとき
Ｐ＝Ｚ／ＺC　　　…（３）
Ｚ≦０のとき
Ｐ＝Ｚ／ＺB　　　…（４）
　なお、上記（３）式及び（４）式のＰはモデル画像の横軸の値を示し、ＺBは左尿管口ＢのＺ軸の値、ＺCは右尿管口ＣのＺ軸の値である。
　図１０は変換後のモデル画像を示している。図１０のモデル画像は、横軸にθに代えて上記（３）式及び（４）式のＰをとり、縦軸にφをとって、膀胱Ｕを２次元に表示するものである。図１０のモデル画像では、直交座標のＺ軸の値がＺBであるラインは、Ｐ軸では値－１の直線で表され、直交座標のＺ軸の値がＺCであるラインは、Ｐ軸では値＋１の直線で表される。これにより、術者は、モデル画像中のＰ＜－１の領域を左側壁、Ｐ＞＋１の領域を右側壁と判断し、頂部Ｔ近傍を除いて、－１≦Ｐ≦＋１でφ≧０の領域を前壁、－１≦Ｐ≦＋１でφ＜０の領域を後壁と判断する。
　他の構成及び作用は第２の実施の形態と同様である。
　本実施の形態においても第２の実施の形態と同様の効果が得られると共に、左右の尿管を通る直線がモデル画像上においても直線に表示することができ、膀胱の右側壁、中央の前壁又は後壁、左側壁の判定を容易にすることができる。
　なお、上各実施の形態においては、モデル画像として２次元画像を用いて説明したが、３次元画像を採用してもよい。また、２次元モデル画像としては、前壁側と後壁側で同一形状の画像を用いたが、相互に異なる形状やサイズの画像を採用してもよい。
　また、上記各実施の形態においては、臓器の変形中心が１点であると仮定して臓器全体に１つの極座標を設定する例を説明したが、臓器の変形中心が複数ある場合には、各変形中心に対応して臓器を複数の領域に分割し、各領域毎に極座標を設定して、各領域毎に観察ポイント等の極座標のθ及びφを求めて、モデル画像上に示すようにしてもよい。
　また、上記各実施の形態においては、観察範囲をモデル画像上に表示するものとして説明したが、観察範囲の中心位置や、観察範囲のうち指定された一部の範囲などをモデル画像上に表示しても良いでもよい。
　また、上記各実施の形態においては、極座標を球座標として説明したが、大腸などの筒状の臓器の場合には円柱座標でもよい。その場合、座標成分は（ｒ，θ，ｚ）となり、角度成分θとｚでモデル画像上に表示することで、大腸の径方向のふくらみｒによらず、正しい位置に表示できる。
　また、上記各実施の形態においては、極座標の軸を決める際にCとBからｚ軸を先に決めるとして説明したが、AとOからｘ軸を先に決めても良い。
　本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい
　また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ－ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の医療装置を実現することができる。
　本発明によれば、臓器の変形に拘わらず、また、異なる人物の臓器であっても、共通のモデル画像を用いて正確に観察範囲等を示すことができるという効果を有する。

　本出願は、２０１５年７月６日に日本国に出願された特願２０１５－１３５４７４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (10)

  1. 　被検体内部の形状をモデル化したモデル画像を生成するモデル画像生成部と、
    　前記被検体内部の特徴点の３次元位置を検出し、前記特徴点の位置を基に極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求める座標演算部と、
    　前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す画像生成部と、
    　を具備したことを特徴とする医療装置。
  2. 　前記特徴点を含む前記被検体内部の任意の３次元位置を求める位置方向取得部をさらに備えた
    　ことを特徴とする請求項１に記載の医療装置。
  3. 　撮像部を備え、被検体内部に挿入されて前記被検体内部の画像を取得する挿入部を具備し、
    　前記座標演算部は、前記挿入部が取得した前記被検体内部の画像の画像解析によって、前記特徴点を検出する
    　ことを特徴とする請求項１に記載の医療装置。
  4. 　前記被検体内部の所定位置に対して位置が固定の基準位置を基準にして前記特徴点を含む前記被検体内部の各３次元位置を求める位置方向取得部
    　を具備したことを特徴とする請求項３に記載の医療装置。
  5. 　前記位置方向取得部は、前記撮像部から前記被検体内部の各３次元位置までの距離を求め、求めた距離と前記撮像部の３次元位置及び方向とに基づいて前記被検体内部の各３次元位置を求める
    　ことを特徴とする請求項４に記載の医療装置。
  6. 　前記画像生成部は、前記撮像部の観察範囲を示す指標を前記モデル画像上に表示する
    　ことを特徴とする請求項１に記載の医療装置。
  7. 　前記画像生成部は、前記極座標の成分のうちの一方の角度成分と、前記一方の角度成分を他方の角度成分に応じて補正して得た値とに基づいて、前記被検体内部の各３次元位置を前記モデル画像上に示す
    　ことを特徴とする請求項１に記載の医療装置。
  8. 　前記画像生成部は、前記極座標の成分のうちの１つの角度成分と、前記極座標を変換した直交座標の１つの成分とに基づいて、前記被検体内部の各３次元位置を前記モデル画像上に示す
    　ことを特徴とする請求項１に記載の医療装置。
  9. 　位置方向取得部と、座標演算部と、モデル画像生成部と、画像生成部とを備えた医療装置における医療画像生成方法であって、
    　前記位置方向取得部が、被検体内部の特徴点を含む前記被検体内部の任意の３次元位置を求め、
    　前記座標演算部が、前記被検体内部の特徴点の３次元位置に基づいて極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求め、
    　前記モデル画像生成部が、前記被検体内部の形状をモデル化したモデル画像を生成し、
    　前記画像生成部が、前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す
    　ことを特徴とする医療画像生成方法。
  10. 　コンピュータに、
    　被検体内部の特徴点を含む前記被検体内部の任意の３次元位置を求め、
    　前記被検体内部の特徴点の３次元位置に基づいて極座標を設定して、前記被検体内部の任意の３次元位置を前記極座標によって求め、
    　前記被検体内部の形状をモデル化したモデル画像を生成し、
    　前記座標演算部が求めた極座標の成分のうちの少なくとも１つの角度成分に基づいて、前記被検体内部の任意の３次元位置を前記モデル画像上に示す
    　手順を実行させるための医療画像生成プログラム。
PCT/JP2016/067505 2015-07-06 2016-06-13 医療装置、医療画像生成方法及び医療画像生成プログラム WO2017006708A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680011045.6A CN107249427B (zh) 2015-07-06 2016-06-13 医疗装置、医疗图像生成方法以及医疗图像生成程序
JP2017505263A JP6141559B1 (ja) 2015-07-06 2016-06-13 医療装置、医療画像生成方法及び医療画像生成プログラム
EP16821178.7A EP3245932A1 (en) 2015-07-06 2016-06-13 Medical device, medical image generating method, and medical image generating program
US15/682,788 US10631826B2 (en) 2015-07-06 2017-08-22 Medical apparatus, medical-image generating method, and recording medium on which medical-image generating program is recorded

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015135474 2015-07-06
JP2015-135474 2015-07-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/682,788 Continuation US10631826B2 (en) 2015-07-06 2017-08-22 Medical apparatus, medical-image generating method, and recording medium on which medical-image generating program is recorded

Publications (1)

Publication Number Publication Date
WO2017006708A1 true WO2017006708A1 (ja) 2017-01-12

Family

ID=57685074

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/067505 WO2017006708A1 (ja) 2015-07-06 2016-06-13 医療装置、医療画像生成方法及び医療画像生成プログラム

Country Status (5)

Country Link
US (1) US10631826B2 (ja)
EP (1) EP3245932A1 (ja)
JP (1) JP6141559B1 (ja)
CN (1) CN107249427B (ja)
WO (1) WO2017006708A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163890A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
US11954834B2 (en) 2019-09-23 2024-04-09 Boston Scientific Scimed, Inc. System and method for endoscopic video enhancement, quantitation and surgical guidance
JP7513774B2 (ja) 2019-09-23 2024-07-09 ボストン サイエンティフィック サイムド，インコーポレイテッド 内視鏡システム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10786311B2 (en) * 2017-12-22 2020-09-29 Acclarent, Inc. Apparatus and method for registering facial landmarks for surgical navigation system
JP7038546B2 (ja) * 2017-12-27 2022-03-18 三菱電機エンジニアリング株式会社 表示システム
JP7127584B2 (ja) 2019-03-12 2022-08-30 株式会社明電舎 インバータシステムおよびインバータ制御方法
CN110547773B (zh) * 2019-09-26 2024-05-07 吉林大学 一种人体胃内部3d轮廓重构仪
JP2022078863A (ja) * 2020-11-13 2022-05-25 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
CN117481791B (zh) * 2023-12-19 2024-05-28 真健康(珠海)医疗科技有限公司 微波消融设备的导航定位方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014079377A (ja) * 2012-10-16 2014-05-08 Olympus Corp 観察装置、観察支援装置、観察支援方法及びプログラム
JP2014117446A (ja) * 2012-12-17 2014-06-30 Olympus Corp 挿入装置
JP2015119768A (ja) * 2013-12-20 2015-07-02 株式会社東芝 画像処理装置、超音波診断装置及び画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4346297B2 (ja) * 2002-10-22 2009-10-21 株式会社東芝 Ｘ線コンピュータ断層撮影装置、画像処理装置及び画像処理方法
KR100890102B1 (ko) * 2004-12-27 2009-03-24 올림푸스 가부시키가이샤 의료 화상 처리 장치 및 의료 화상 처리 방법
CA2705731A1 (en) * 2009-02-23 2010-08-23 Sunnybrook Health Sciences Centre Method for automatic segmentation of images
WO2012121105A1 (ja) * 2011-03-09 2012-09-13 株式会社 東芝 医用画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014079377A (ja) * 2012-10-16 2014-05-08 Olympus Corp 観察装置、観察支援装置、観察支援方法及びプログラム
JP2014117446A (ja) * 2012-12-17 2014-06-30 Olympus Corp 挿入装置
JP2015119768A (ja) * 2013-12-20 2015-07-02 株式会社東芝 画像処理装置、超音波診断装置及び画像処理プログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019163890A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
WO2019163906A1 (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 医療システムおよび医療システムの作動方法
US20200367733A1 (en) 2018-02-21 2020-11-26 Olympus Corporation Medical system and medical system operating method
JPWO2019163890A1 (ja) * 2018-02-21 2021-02-04 オリンパス株式会社 医療システムおよび医療システムの作動方法
JP6990292B2 (ja) 2018-02-21 2022-01-12 オリンパス株式会社 医療システムおよび医療システムの作動方法
US11800966B2 (en) 2018-02-21 2023-10-31 Olympus Corporation Medical system and medical system operating method
US11954834B2 (en) 2019-09-23 2024-04-09 Boston Scientific Scimed, Inc. System and method for endoscopic video enhancement, quantitation and surgical guidance
JP7513774B2 (ja) 2019-09-23 2024-07-09 ボストン サイエンティフィック サイムド，インコーポレイテッド 内視鏡システム

Also Published As

Publication number Publication date
CN107249427A (zh) 2017-10-13
US20170347989A1 (en) 2017-12-07
US10631826B2 (en) 2020-04-28
CN107249427B (zh) 2019-05-07
JPWO2017006708A1 (ja) 2017-07-06
EP3245932A1 (en) 2017-11-22
JP6141559B1 (ja) 2017-06-07

Similar Documents

Publication Publication Date Title
JP6141559B1 (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JP5676058B1 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP6985262B2 (ja) 患者の体内における内視鏡の位置を追跡するための装置及び方法
JP5580637B2 (ja) 画像処理装置、内視鏡装置の作動方法及びプログラム
US7794388B2 (en) Method and apparatus for generating at least one section of a virtual 3D model of a body interior
JP5771757B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
JP5810248B2 (ja) 内視鏡システム
EP2689723A2 (en) Telecentric scale projection system for real-time in-situ surgical metrology
CN108289598A (zh) 描绘***
JP2017508529A (ja) 内視鏡測定システム及び方法
JP5750669B2 (ja) 内視鏡システム
WO2017159335A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
WO2018076503A1 (zh) 一种诊断体内目标对象定位***和医疗定位***
US20220409030A1 (en) Processing device, endoscope system, and method for processing captured image
JP6022133B2 (ja) 医療装置
WO2016076262A1 (ja) 医療装置
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
US9345394B2 (en) Medical apparatus
JP2003225195A (ja) 可撓性内視鏡のモニター装置
WO2015091226A1 (en) Laparoscopic view extended with x-ray vision
CN116940274A (zh) 内窥镜用形状测量***及内窥镜用形状测量方法
KR20210064905A (ko) 내시경 영상에 증강현실 객체 표출 방법
JP2016209343A (ja) 医療装置、医療画像生成方法及び医療画像生成プログラム
JPWO2016039292A1 (ja) 内視鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017505263

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16821178

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2016821178

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE