WO2012165572A1 - 医用画像表示装置及び医用画像診断装置 - Google Patents
医用画像表示装置及び医用画像診断装置 Download PDFInfo
- Publication number
- WO2012165572A1 WO2012165572A1 PCT/JP2012/064142 JP2012064142W WO2012165572A1 WO 2012165572 A1 WO2012165572 A1 WO 2012165572A1 JP 2012064142 W JP2012064142 W JP 2012064142W WO 2012165572 A1 WO2012165572 A1 WO 2012165572A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- capsule endoscope
- capsule
- core line
- core
- Prior art date
Links
- 239000002775 capsule Substances 0.000 claims abstract description 215
- 238000000605 extraction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 abstract description 16
- 230000003902 lesion Effects 0.000 description 36
- 238000002591 computed tomography Methods 0.000 description 17
- 238000001839 endoscopy Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 12
- 210000001035 gastrointestinal tract Anatomy 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 208000037062 Polyps Diseases 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 210000002429 large intestine Anatomy 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 210000000813 small intestine Anatomy 0.000 description 4
- 208000014081 polyp of colon Diseases 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000002784 stomach Anatomy 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000001072 colon Anatomy 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 210000003437 trachea Anatomy 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003696 structure analysis method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/0002—Operational features of endoscopes provided with data storages
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/46—Arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30172—Centreline of tubular or elongated structure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Definitions
- Embodiments described herein relate generally to a medical image display apparatus and a medical image diagnostic apparatus.
- CT Computer Tomography
- MRI Magnetic Resonance Imaging
- X-ray diagnostic apparatus an X-ray diagnostic apparatus
- ultrasonic diagnostic apparatus A three-dimensional image is collected.
- VE Virtual Endoscopy
- the modality may be referred to as a medical image diagnostic apparatus.
- the virtual endoscopic image may be referred to as a CT endoscopic image.
- a capsule endoscope image with a viewpoint in the tube is collected using a capsule endoscope that is passed through a tube of a tubular body such as a digestive tract, a trachea, or a blood vessel.
- a three-dimensional medical image processing / display device for diagnosing an image by displaying a lesion such as a polyp in a digestive tract organ such as a large intestine. Modality workstation) is used.
- the three-dimensional medical image processing / display device may be simply referred to as a medical image display device.
- the gastrointestinal examination methods include CT colonography (CT), small intestine analysis (CT), endoscopy, and capsule endoscopy.
- polyp lesion candidates are identified by virtual endoscopic images. Since it is not an actual image of the inside of the digestive tract, it is not suitable for definitive diagnosis because the actual color of the inner wall surface cannot be observed.
- Endoscopic examination involves diagnosing polyp lesions by inserting the endoscope directly into the patient's digestive tract and imaging the inside of the digestive tract with a camera at the tip of the endoscope.
- a definitive diagnosis is possible, but the disadvantage is that it is highly invasive.
- Capsule endoscopy is an image of the inside of the gastrointestinal tract taken continuously when a small capsule (external diameter of about 11 mm, length of about 26 mm) swallowed by the patient passes through the digestive tract ( Diagnose polyp lesions by capsule endoscopy. Because of its low invasiveness, it has attracted attention as a test for definitive diagnosis that replaces conventional endoscopes.
- Capsule endoscopy requires a less invasive examination, so in the future, diagnosis will be performed by definitive diagnosis by capsule endoscopy for patients whose lesions have been identified by gastrointestinal analysis using CT. It is possible that the workflow will become mainstream.
- the virtual endoscopic image and the capsule endoscopic image are not associated with each other, and the candidate lesion is displayed. It is difficult to select a capsule endoscopy image.
- This embodiment is intended to solve the above-described problems and to provide a medical image display device and a medical image diagnostic device that can improve the workability of a definitive diagnosis in capsule endoscopy.
- the medical image display device can display a virtual endoscopic image in the tube based on a viewpoint placed in the tube of the tubular body using a three-dimensional image of the tubular body.
- the capsule endoscope image storage unit has a display control unit, and the capsule endoscope image storage unit stores the capsule endoscope image collected by passing the capsule endoscope through the tube.
- the display control unit displays a capsule endoscopic image based on the position of the viewpoint.
- 1 is a block diagram showing an example of a configuration of a medical image display device according to a first embodiment.
- Explanatory drawing when extracting a 1st core wire and a lesion candidate Explanatory drawing when extracting a 1st core wire and a lesion candidate.
- Explanatory drawing when extracting a 2nd core wire Explanatory drawing when extracting a 2nd core wire.
- requires the correspondence of a 1st core wire and a 2nd core wire.
- requires the correspondence of a 1st core wire and the passage time of a capsule endoscope.
- FIG. 1 is a block diagram illustrating an example of a configuration of a medical image display apparatus.
- CT1 As shown in FIG. 1, CT1 is used as an example of a modality. A three-dimensional image of the tubular body is acquired by CT1.
- Modality including CT1 can be transferred to PACS (Medical Image Management System), which is a system that can transfer and display digital images as needed via the network specified by DICOM (Digital Imaging and Communications in Medicine). It is connected.
- the three-dimensional image of the tubular body collected by the modality is transferred to the PACS via the network.
- the capsule endoscope apparatus 2 includes a capsule endoscope, an antenna, and a storage unit.
- the capsule endoscope is equipped with an image sensor for photographing the inside of a tubular body.
- the antenna receives radio waves from the capsule endoscope.
- the storage unit stores image data received by the antenna.
- the capsule endoscope image in the tube is taken by the capsule endoscope moving in the tube of the tubular body.
- the position (three-dimensional position) and orientation of the capsule endoscope are detected by a position sensor (not shown).
- the capsule endoscope continuously captures images of a desired tubular body at intervals of approximately two sheets per second.
- a capsule endoscope image (image group) obtained by photographing is stored with the position, orientation, and photographing time of the capsule endoscope.
- the image group is stored in the capsule endoscope image storage unit 12.
- a general-purpose computer device can be used as basic hardware.
- a three-dimensional image storage unit 11 As shown in FIG. 1, as an example of a medical image display device, a three-dimensional image storage unit 11, a capsule endoscope image storage unit 12, a first core line extraction unit 13, a second core line extraction unit 14, and a correspondence calculation unit 15, a correspondence relationship storage unit 16, a capsule endoscope image selection unit 17, a virtual endoscope image generation unit 18, and a GUI (graphical user interface) 20.
- a correspondence relationship storage unit 16 As shown in FIG. 1, as an example of a medical image display device, a three-dimensional image storage unit 11, a capsule endoscope image storage unit 12, a first core line extraction unit 13, a second core line extraction unit 14, and a correspondence calculation unit 15, a correspondence relationship storage unit 16, a capsule endoscope image selection unit 17, a virtual endoscope image generation unit 18, and a GUI (graphical user interface) 20.
- GUI graphical user interface
- the image display processing program may be installed in advance in the computer device. Further, the image display processing program may be recorded on a storage medium (magnetic disk, magneto-optical disk, optical disk, semiconductor memory, etc.) and may be appropriately installed in the computer apparatus. Furthermore, the image display processing program may be distributed via a network and may be appropriately installed in a computer device.
- the three-dimensional image storage unit 11 stores a three-dimensional image of the tubular body collected by CT1.
- the three-dimensional image storage unit 11 may be configured as a PACS, may be configured as a storage unit of CT1, and may be configured independently of these.
- the capsule endoscope image storage unit 12 stores the capsule endoscope image of the tubular body collected by the capsule endoscope apparatus 2.
- the capsule endoscope image storage unit 12 may be configured as a PACS, may be configured as a storage unit of the capsule endoscope apparatus 2, and may be configured independently of these.
- FIGS. 2A and 2B are explanatory diagrams when the first core line and the lesion candidate are extracted.
- FIG. 2A shows the first core line L1 and lesion candidate T of the large intestine, which is an example of a tubular body.
- the first core line L1 of the large intestine is schematically indicated by a straight line, and further indicated by a start point L1S and an end point L1E of the first core line L1.
- the first core line extraction unit 13 automatically extracts the first core line (three-dimensional core line) of the tubular body and one or a plurality of lesion candidate positions based on the three-dimensional image stored in the three-dimensional image storage unit 11. Do it.
- the extraction of the first core line may be determined by the operator using the GUI 20.
- the following technique is used as a specific example of automatically extracting a three-dimensional core line.
- the size of the target image is represented by pixels of L rows and M columns and N stages, and a linear figure is extracted by performing distance conversion on each image (for example, a structure analysis method of a figure using distance conversion Med Imag Tech Vol.1, 13-22, January 2002).
- the colon polyp is detected using a massive structure enhancement filter using the eigenvalues of the Hessian matrix (for example, In addition, a method for detecting a colon polyp from a three-dimensional abdominal CT image by local gray structure analysis, IEICE technical report MI, medical image 106 (226), 47-52, 2006-08-26).
- the extracted first core line is stored in the 3D image storage unit 11 as point sequence data in the same 3D coordinate space as the 3D image.
- the extracted lesion candidate positions are also stored in the 3D image storage unit 11 as point coordinates in the same 3D coordinate space as the 3D image data.
- FIG. 3 is an explanatory diagram of photographing by the capsule endoscope.
- FIG. 3 shows a capsule endoscope CE that moves in the colon cavity, which is an example of a tubular body.
- the capsule endoscope takes an image (capsule endoscope image) in the tube while moving in the tube of the tubular body.
- the capsule endoscope image is stored in the capsule endoscope image storage unit 12 with the position (three-dimensional position) and orientation of the capsule endoscope at the time of photographing.
- FIG. 4A and 4B are explanatory diagrams when the second core line is extracted.
- FIG. 4A shows the position CP and the second core line L2 of the capsule endoscope.
- FIG. 4B the movement path (second core line L2) of the capsule endoscope is schematically shown by a straight dotted line, and further, the movement start position (start point) L2S and the movement end position (end point) of the capsule endoscope.
- L2E indicates the direction of each position of the capsule endoscope with an arrow.
- the second core line extraction unit 14 extracts the second core line (three-dimensional core line) based on the position of the capsule endoscope image.
- point sequence data obtained by connecting the coordinates of the three-dimensional position attached to the capsule endoscope image in the order of photographing is obtained, and the position information of this point sequence data is smoothed in three dimensions.
- To the point sequence data of the second core wire is obtained.
- FIG. 5 is an explanatory diagram for obtaining the correspondence between core wires.
- the first core line L1 is indicated by a solid line
- the second core line L2 is indicated by a dotted line.
- the reason why the second core line L2 is shown to be longer than the first core line L1 is because the capsule endoscope does not always meander and does not always move along the core line of the tubular body.
- an arrow arranged along the first core line L1 corresponds to the direction of the line of sight when creating a virtual endoscopic image.
- the correspondence calculation unit 15 obtains a correspondence between the first core extracted by the first core extraction unit 13 and the second core extracted by the second core extraction unit 14 (see FIG. 5).
- the correspondence between the position on the first core line and the position on the second core line is obtained by nonlinear alignment processing between the first core line and the second core line.
- the position on the first core line corresponds to the position of the viewpoint in the virtual endoscopic image
- the position on the second core line corresponds to the position of the capsule endoscope.
- the correspondence between the points on the first core line and the second core line is determined so that the similarity of the tangent vector at each point on the first core line and the second core line is maximized.
- a tangent vector of the core line at each point from the start point L1S to the end point L1E of the first core line is obtained, and similarly as schematically shown in FIG. 4B.
- the tangent vector of the core line at each point from the start point L2S to the end point L2E of the second core line is obtained.
- a combination between the points of the first core wire and the second core wire is obtained so that the sum total obtained by calculating the inner product with an arbitrary point of the second core wire is maximized.
- the correspondence storage unit 16 stores the obtained correspondence between the first core wire and the second core wire.
- An example of the correspondence storage unit 16 is a table that stores each point on the first core line and each point on the second core line in association with each other.
- the correspondence relationship storage unit 16 may be a correspondence relationship equation for obtaining each point of the second core wire based on each point of the first core wire.
- FIG. 6 is an explanatory diagram when selecting a capsule endoscope image.
- the capsule endoscope image selection unit 17 capsules the capsule endoscope image at the position and orientation closest to the position and orientation in which the virtual endoscopic image is displayed. A selection is made from among the capsule endoscope images stored in the endoscope image storage unit 12. Note that the direction on the first core line corresponds to the direction of the line of sight in the virtual endoscopic image. The direction on the second core line corresponds to the direction of the line of sight of the capsule endoscope.
- the capsule endoscope image selection unit 17 receives the position on the first core line by the GUI 20 and stores the position on the second core line corresponding to the position in the correspondence storage unit 16. Find based on the corresponding relationship. Further, the capsule endoscope image selection unit 17 extracts a group of images taken around the position on the second core line from the capsule endoscope images stored in the capsule endoscope image storage unit 12. . Further, the capsule endoscope image selection unit 17 obtains a direction on the second core line that is relatively closest to the direction on the first core line in the image group, and further corresponds to the direction on the second core line. The position on the second core line is determined.
- the capsule endoscope image selection unit 17 stores the capsule endoscope image associated with the obtained position and orientation on the second core line in the capsule endoscope image storage unit 12. Select from images.
- the selected capsule endoscopic image is set as the capsule endoscopic image closest to the virtual endoscopic image created based on the position and orientation on the first core line.
- the virtual endoscopic image generation unit 18 receives the position and orientation on the first core line by the GUI 20 and uses the three-dimensional image read from the three-dimensional image storage unit 11 based on the position and orientation on the first core line.
- a virtual endoscopic image is created by performing three-dimensional image processing using a perspective projection method.
- GUI 20 includes an input unit 21, a display control unit 22, and a monitor 23.
- An example of the input unit 21 includes a pointing device such as a keyboard, a mouse, and a joystick.
- the display control unit 22 displays a three-dimensional image, a virtual endoscopic image (including the first core line), a capsule endoscopic image, and the like on the monitor 23, and the first corresponding to the display area designated by the input unit 21.
- the position on the core line is output to the capsule endoscope image selection unit 17. Note that the initial position and initial orientation on the first core wire are stored in advance in an internal memory (not shown) of the GUI 20.
- FIG. 8 is a flowchart showing a series of operations for obtaining the correspondence between the first core wire and the second core wire.
- the first core line extraction unit 13 extracts the first core line and the lesion candidate position based on the three-dimensional image read from the three-dimensional image storage unit 11 (see FIG. 2). .
- the 3D image storage unit 11 stores the extracted first core line (point sequence data) and lesion candidate positions.
- the second core line extraction unit 14 determines the second core line (dot) that the capsule endoscope has passed based on the capsule endoscope position (three-dimensional position) stored in the capsule endoscope image storage unit 12. Column data).
- the correspondence calculation unit 15 obtains the correspondence between the position of the first core line obtained in S101 and the position of the second core line obtained in S102.
- the obtained correspondence relationship is stored in the correspondence relationship storage unit 16.
- the correspondence between the first core wire and the second core wire as described above is obtained in advance.
- a definitive diagnosis is performed in a capsule endoscopy based on a candidate lesion found in the large intestine analysis or small intestine analysis by CT1.
- the correspondence may be obtained.
- FIG. 9 is a flowchart showing a series of operations for selecting a capsule endoscope image on which a lesion candidate is displayed.
- step S ⁇ b> 201 in response to an instruction to start displaying the virtual endoscopic image and the capsule endoscopic image on the monitor 23, the capsule endoscopic image selection unit 17 receives the first instruction from the internal memory of the GUI 20. Read the initial position and initial orientation on one core wire.
- the capsule endoscope image selection unit 17 corresponds to the position on the first core line based on the read initial position on the first core line. Find the position on the 2-core wire.
- the capsule endoscope image selection unit 17 extracts an image group photographed around the position on the second core line from the capsule endoscope images stored in the capsule endoscope image storage unit 12. To do.
- the capsule endoscope image selection unit 17 selects, from the image group, an image photographed in the orientation on the second core line closest to the initial orientation on the first core line stored in advance in the GUI 20. .
- the selected image is set as the capsule endoscope image closest to the initial position and the initial orientation on the first core line.
- the virtual endoscopic image generation unit 18 uses the three-dimensional image stored in the three-dimensional image storage unit 11 based on the initial position and initial orientation on the first core line preset in the GUI 20. To generate a virtual endoscopic image.
- the display control unit 22 displays the capsule endoscope image obtained in S202 and the virtual endoscope image generated in S203 on the monitor 23 in conjunction with each other based on the initial position and the initial orientation on the first core line.
- the interlocking display refers to displaying two images in association with each other based on the position and / or orientation of the core line in the two images having a corresponding relationship based on the position and orientation on the core line.
- FIG. 6 is a diagram in which a VR image, a virtual endoscopic image, and a capsule endoscopic image of a tubular body are displayed in parallel
- FIG. 7 is a diagram in which phyreview images are further displayed in an array.
- FIG. 6 shows a line-of-sight position L1P, a line-of-sight direction L1D, a virtual endoscope position L2P, and a line-of-sight direction L2P in the virtual endoscopic image.
- the VR image G1, the virtual endoscopic image G2, and the capsule endoscopic image G3 of the tubular bodies displayed in parallel are shown.
- FIG. 7 shows the phyreview image G4 and other images G1 to G3 arranged and displayed.
- the display is performed in parallel on the top, bottom, left, and right, or the display is switched by the operation by the operator using the GUI 20 as a trigger.
- a CT VR (Volume Rendering) image is displayed in parallel using the three-dimensional image stored in the three-dimensional image storage unit 11, and the first core line and the first core line are displayed on the VR image.
- the current line of sight and viewpoint of the two-core line, virtual endoscopic image, and capsule endoscopic image, lesion candidate position, and the like are displayed graphically (see FIG. 6). This makes it easy to grasp the lesion candidate position and the like based on the positional relationship between the displayed virtual endoscopic image and capsule endoscopic image.
- a Fillet View image that is a VR image obtained by cutting the tubular body along the first core line is displayed (see FIG. 7).
- S204 it is determined whether or not the image display is finished.
- S204: Yes the display of the image is finished.
- S204: No the process proceeds to S205 in which it is determined whether or not the position on the first core line has been changed.
- S205 when the operator changes the viewpoint and line of sight of the virtual endoscopic image and / or capsule endoscopic image by the operation of the GUI 20 (S205: Yes), the capsule is received in response to the change of the viewpoint and / or line of sight.
- the endoscopic image selection unit 17 reselects the capsule endoscopic image (S202).
- the display control unit 22 links the capsule endoscopic image obtained in S202 and the virtual endoscopic image generated in S203 to the monitor 23 based on the changed position and / or orientation on the first core line. Display.
- the position and direction of the viewpoint are changed by designating the position and direction to be observed on the CT VR image with the input unit 21.
- the operator designates the lesion candidate position displayed on the VR image, so that the virtual endoscopic image and capsule endoscopy are based on the current viewpoint position and line-of-sight direction on the VR image G1.
- Update the mirror image display Thereby, the capsule endoscopic image can be observed instantaneously according to the position of the viewpoint and the direction of the line of sight.
- the line of sight of both images is linked by moving the input unit 21, for example, the mouse, in the direction that the operator wants to observe on the virtual endoscopic image or the capsule endoscopic image.
- the lesion candidate can be stereoscopically observed from various angles even in the capsule endoscopic image.
- FIG. 10 is a block diagram showing the configuration of the medical image display apparatus.
- the difference from the first embodiment is that the correspondence calculation unit 15 according to the first embodiment uses the first core wire and the second core wire according to the correspondence relationship between the first core wire and the second core wire. Whereas the correspondence relationship between the two core wires is obtained, the correspondence relationship calculation unit 15 according to the second embodiment corresponds to the correspondence relationship between the first core wire and the passage time when the capsule endoscope passes through the tube of the tubular body. Is different.
- the correspondence calculation unit 15 obtains the correspondence between the position on the first core line and the passage time of the capsule endoscope based on the statistical average speed at which the capsule endoscope moves in the tube of the tubular body.
- the imaging start time in imaging with the capsule endoscope is ts
- the imaging end time is te
- the passage time ta the average speed when the capsule endoscope moves is v.
- the passage time ta is stored in the capsule endoscope image storage unit 12 along with the capsule endoscope image at the time of photographing.
- the required shooting time To is obtained by subtracting the shooting start time from the shooting end time (te-ts).
- the required time Ta until the passage time ta is obtained by subtracting the imaging start time from the passage time ta (ta-ts).
- the total length Lo of the first core wire can be obtained by integrating a minute distance between each point from the start point L1S to the end point L1E. Further, the length La from the start point L1S to the position L1P on the first core line can be obtained by integrating a minute distance between the points from the start point L1S to the position L1P on the first core line.
- the position L1P on the first core line is located in any part of the total length of the first core line. Whether to do (La / Lo).
- the correspondence calculating unit 15 By configuring the correspondence calculating unit 15 as described above, the correspondence storing unit 16 and the capsule endoscope image selecting unit 17 are configured as follows.
- the correspondence storage unit 16 stores the correspondence between the position on the first core wire and the passage time. Furthermore, the capsule endoscope image selection unit 17 reads the passage time corresponding to the position on the first core line from the correspondence storage unit 16, and stores an image photographed at a time close to the passage time in the capsule endoscope image storage. A capsule endoscope image stored in the unit 12 is selected.
- FIG. 11 is a flowchart showing a series of operations for obtaining a correspondence relationship between the first core wire and the passage time of the capsule endoscope.
- FIG. 12 is a flowchart showing a series of operations for selecting a capsule endoscope image on which a lesion candidate is displayed.
- step S ⁇ b> 401 upon receiving an instruction to start displaying the virtual endoscopic image and the capsule endoscopic image on the monitor 23, the capsule endoscopic image selection unit 17 stores the first endoscope image from the internal memory of the GUI 20. Read the initial position and initial orientation on one core wire.
- the capsule endoscope image selection unit 17 extracts an image group photographed around the passage time from the capsule endoscope images stored in the capsule endoscope image storage unit 12.
- the capsule endoscope image selection unit 17 selects an image photographed in the direction closest to the initial direction on the first core line stored in advance in the GUI 20 from the image group.
- the selected image is set as the capsule endoscope image closest to the initial position and the initial orientation on the first core line.
- the virtual endoscopic image generation unit 18 uses the 3D image stored in the 3D image storage unit 11 based on the initial position and the initial orientation on the first core line preset in the GUI 20. To generate a virtual endoscopic image.
- the display control unit 22 displays the capsule endoscope image obtained in S402 and the virtual endoscope image generated in S403 in conjunction with the monitor 23 based on the initial position and the initial orientation on the first core line.
- S404 In S404, it is determined whether or not the image display is finished. When the image display is finished (S404: Yes), the image display is finished. When the display of the image is not completed (S404: No), the process proceeds to S405 where it is determined whether or not the position on the first core line has been changed.
- S405 when the operator changes the viewpoint and line of sight of the virtual endoscopic image and / or capsule endoscopic image by the operation of the GUI 20 (S405: Yes), the capsule is received in response to the change of the viewpoint and / or line of sight.
- the endoscopic image selection unit 17 reselects the capsule endoscopic image (S402).
- the display control unit 22 Based on the changed position and / or orientation on the first core line, the display control unit 22 links the capsule endoscopic image obtained in S402 and the virtual endoscopic image generated in S403 to the monitor 23. Display.
- FIG. 13 is a diagram showing a display example for examination of the stomach.
- FIG. 13 shows the VR image G1, the virtual endoscopic image G2, and the capsule endoscopic image G3 of the tubular body displayed in parallel, and the lesion candidate T and the capsule endoscope CE in the VR image G1.
- the present invention can be applied to the entire digestive tract, such as stomach analysis, by the same method.
- the capsule endoscopic image is updated and displayed each time in the corresponding capsule endoscopic image.
- the mirror image can be observed as a pseudo three-dimensional image, and a lesion candidate can be diagnosed with a stereoscopic endoscope image, thereby improving the diagnostic accuracy in the definitive diagnosis of a polyp lesion.
- the capsule endoscopic image when a virtual endoscopic image is selected, the capsule endoscopic image is displayed based on the position of the viewpoint of the virtual endoscopic image.
- the viewpoint position corresponding to the passage time or the passage position of the capsule endoscope when the selected capsule endoscope image is collected. And a virtual endoscopic image is displayed based on the obtained position of the viewpoint.
- FIG. 7 is a diagram showing an example when the virtual endoscopic image G2 and the capsule endoscopic image G3 are displayed in parallel.
- the scale image arranged along the edge of the capsule endoscope image G3 is indicated by “SG”.
- the left end position of the scale image SG is the passage start time or the passage start position, and corresponds to the start point L2S of the virtual endoscope shown in FIG.
- the right end position of the scale image SG is the passage end time or the passage end position, and corresponds to the end point L2E of the virtual endoscope shown in FIG.
- FIG. 7 shows a color on a plurality of capsule endoscope images collected by the capsule endoscope passing through the tube, and a representative of the tissue corresponding to the passage time or passage position of the capsule endoscope.
- the color is displayed on the scale image SG.
- the representative color of the lesion is displayed in “red” (hatching shown in FIG. 7).
- the capsule endoscope image selection unit 17 includes an input unit 21 and a display control unit 22.
- the input unit for example, mouse
- the position of the marker MK is displayed so as to be movable along the scale image SG.
- the position of the marker MK corresponds to the passage time or passage position of the capsule endoscope.
- the display control unit 22 Upon receiving the designation of the position of the marker MK by the operation of the input unit 21, the display control unit 22 selects the capsule endoscope image collected at the passage time or passage position corresponding to the position, and selects the selected capsule endoscope image. Display the endoscopic image.
- the correspondence calculation unit 15 receives the selection of the capsule endoscope image, and the viewpoint position corresponding to the passage time or passage position of the capsule endoscope when the selected capsule endoscope image is collected (the first position). Position on one core wire).
- the display control unit 22 displays a virtual endoscopic image based on the obtained viewpoint position.
- the virtual endoscopic image and the capsule endoscopic image are associated with each other. For example, when a lesion candidate is specified on the virtual endoscopic image, the capsule endoscopic image in which the corresponding lesion candidate is displayed is displayed. It becomes easy to select a mirror image, and the workability of definitive diagnosis in capsule endoscopy can be improved.
- the display control unit 22 displays the VR image G1, the virtual endoscopic image G2, the capsule endoscopic image G3, and the like in parallel.
- the VR image G1, the virtual endoscopic image G2, the capsule endoscopic image G3, and the like may be switched and displayed.
- the display control unit 22 may display the position of the capsule endoscope on the virtual endoscopic image. Based on the viewpoint position (position on the first core line) and the viewing direction (direction on the first core line) in the virtual endoscopic image, the capsule endoscope image selection unit 17 The capsule endoscope image closest to the direction is obtained. The display control unit 22 displays the position on the second core line (the position of the capsule endoscope) in the obtained capsule endoscopic image so as to overlap the virtual endoscopic image. This facilitates the association between the virtual endoscopic image and the capsule endoscopic image.
- CT 2 Capsule Endoscope Device 11 Three-dimensional Image Storage Unit 12 Capsule Endoscope Image Storage Unit 13 First Core Extraction Unit 14 Second Core Extraction Unit 15 Correspondence Relationship Calculation Unit 16 Correspondence Relationship Storage Unit 17 Capsule Endoscope Image Selection Unit 18 Virtual endoscope image generation unit 20 GUI 21 Input unit 22 Display control unit 23 Monitor
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- High Energy & Nuclear Physics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
- Computer Networks & Wireless Communication (AREA)
Abstract
カプセル内視鏡検査における確定診断の作業性を上げることが可能な医用画像表示装置を提供する。実施形態の医用画像表示装置は、管状体の3次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能であって、カプセル内視鏡画像記憶部と表示制御部とを有し、カプセル内視鏡画像記憶部は管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶する。表示制御部は、視点の位置に基づいて、カプセル内視鏡画像を表示させる。
Description
本発明の実施形態は、医用画像表示装置及び医用画像診断装置に関する。
X線コンピュータ断層撮影装置(以下、CT(Computed Tomography)と記す)、磁気共鳴診断装置(以下、MRI(Magnetic Resonance Imaging)と記す)、X線診断装置、超音波診断装置の各モダリティを用いて3次元画像が収集される。例えば、CTにより収集された3次元画像を基に、透視投影法を用いた3次元画像処理することにより、消化管や気管、血管などの管状体の管内に視点を置いた仮想内視鏡画像(VE:Virtual Endoscopy)を作成することが可能となる(例えば、特許文献1)。なお、モダリティを医用画像診断装置という場合がある。また、仮想内視鏡画像をCT内視鏡画像という場合がある。
また、消化管や気管、血管などの管状体の管内に通過させるカプセル内視鏡を用いて、管内に視点を置いたカプセル内視鏡画像が収集される。
仮想内視鏡画像及びカプセル内視鏡画像として、特に、大腸のような消化管臓器内のポリープ等の病変部を表示することにより、画像診断するための3次元医用画像処理・表示装置(マルチモダリティ・ワークステーション)が用いられている。なお、3次元医用画像処理・表示装置を単に医用画像表示装置という場合がある。
消化管の検査方法には、CTによる大腸解析(CT colonography)や小腸解析(CT Enterography)、内視鏡検査、カプセル内視鏡検査などがある。
CTによる大腸解析や小腸解析では、仮想内視鏡画像によりポリープ病変候補の洗い出しを行う。実際に消化管内部を撮影した画像ではないため、内壁表面の実際の色を観察することができないなどの理由から確定診断には不向きである。
内視鏡検査は、内視鏡を直接患者の消化管に挿入し、内視鏡先端のカメラで消化管内部を撮影した画像によりポリープ病変の診断を行う。確定診断が可能であるが、侵襲性が高いことが短所である。
カプセル内視鏡検査は、患者が飲み込んだ小型(外径約11mm、長さ約26mm)のカプセル状の内視鏡が消化管内を通過する際に連続的に撮影された消化管内部の画像(カプセル内視鏡画像)によりポリープ病変の診断を行う。侵襲性が低いので従来の内視鏡にかわる確定診断のための検査として注目されている。
カプセル内視鏡検査は、侵襲性が低い検査が求められるため、今後はCTによる消化管解析による検診で病変候補が洗い出された患者に対して、カプセル内視鏡検査による確定診断を行う診断ワークフローが主流になっていくことが考えられる。
しかしながら、CTによる大腸解析や小腸解析において洗い出されたポリープ病変候補を基に、カプセル内視鏡検査において確定診断をするとき、作業性が低下するという問題がある。次の2つの要因が挙げられる。
第1に、仮想内視鏡検査とカプセル内視鏡検査は互いに独立して行われるため、仮想内視鏡画像とカプセル内視鏡画像とは対応付けられておらず、その病変候補が表示されているカプセル内視鏡画像を選択し難い。
第2に、カプセル内視鏡検査において、消化管の蠕動運動に任せて消化管内を進行するカプセル内視鏡は、バラバラの方向を向きながら撮影するため、バラバラの方向に向いた大量(例えば、約60000枚)のカプセル内視鏡画像が得られる。このため、病変候補が表示されているカプセル内視鏡画像を大量の画像の中からの選択はかなりの労力を要する。
この実施形態は、上記の問題を解決するものであり、カプセル内視鏡検査における確定診断の作業性を上げることが可能な医用画像表示装置及び医用画像診断装置を提供することを目的とする。
上記課題を解決するために、実施形態の医用画像表示装置は、管状体の3次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能であって、カプセル内視鏡画像記憶部と表示制御部とを有し、カプセル内視鏡画像記憶部は管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶する。表示制御部は、視点の位置に基づいて、カプセル内視鏡画像を表示させる。
次に、医用画像表示装置の実施形態について各図を参照して説明する。
[第1の実施形態]
第1の実施形態に係る医用画像表示装置について図1~図7、及び図9を参照して説明する。図1は、医用画像表示装置の構成の一例を示すブロック図である。
第1の実施形態に係る医用画像表示装置について図1~図7、及び図9を参照して説明する。図1は、医用画像表示装置の構成の一例を示すブロック図である。
(CT)
図1に示すように、モダリティの一例としてはCT1が用いられる。CT1により管状体の3次元画像が収集される。
図1に示すように、モダリティの一例としてはCT1が用いられる。CT1により管状体の3次元画像が収集される。
CT1を含むモダリティは、DICOM(Digital Imaging and Communications in Medicine)により規定されたネットワークを介して、必要に応じてディジタル画像を転送、表示することが可能なシステムであるPACS(医用画像管理システム)に接続されている。モダリティにより収集された管状体の3次元画像は、ネットワークを介してPACSに転送される。なお、管状体の3次元画像をモダリティの記憶部(図示省略)に記憶させてもよい。
(カプセル内視鏡装置)
カプセル内視鏡装置2は、カプセル内視鏡、アンテナ、及び記憶部を有する。カプセル内視鏡は、管状体の管内を撮影するための画像センサを搭載している。アンテナは、カプセル内視鏡からの電波を受信する。記憶部は、アンテナが受信した画像データを記憶する。
カプセル内視鏡装置2は、カプセル内視鏡、アンテナ、及び記憶部を有する。カプセル内視鏡は、管状体の管内を撮影するための画像センサを搭載している。アンテナは、カプセル内視鏡からの電波を受信する。記憶部は、アンテナが受信した画像データを記憶する。
管状体の管内を移動するカプセル内視鏡によって、管内のカプセル内視鏡画像が撮影さる。撮影において、位置センサ(図示省略)により、カプセル内視鏡の位置(3次元位置)及び向きが検出される。カプセル内視鏡は、所望の管状体の管内をおよそ毎秒2枚の間隔で連続的に撮影する。カプセル内視鏡装置2の記憶部には、撮影により得られたカプセル内視鏡画像(画像群)が、カプセル内視鏡の位置、向き、及び撮影時間を付して記憶される。画像群は、カプセル内視鏡画像記憶部12に記憶される。
〔医用画像表示装置〕
次に、医用画像表示装置について図1を参照して説明する。
次に、医用画像表示装置について図1を参照して説明する。
医用画像表示装置は、例えば汎用コンピュータ装置を基本ハードウェアとして用いることができる。
図1に示すように、医用画像表示装置の一例としては、3次元画像記憶部11、カプセル内視鏡画像記憶部12、第1芯線抽出部13、第2芯線抽出部14、対応関係算出部15、対応関係記憶部16、カプセル内視鏡画像選択部17、仮想内視鏡画像生成部18、及びGUI(graphical user interface)20を含む。
これらの構成は、上記のコンピュータ装置に搭載されたマイクロプロセッサに画像処理プログラムを実行させることにより実現することができる。なお、画像表示処理プログラムはコンピュータ装置に予めインストールされてもよい。さらに、画像表示処理プログラムは記憶媒体(磁気ディスク、光磁気ディスク、光ディスク、半導体メモリなど)に記録され、コンピュータ装置に適宜インストールされてもよい。さらに、画像表示処理プログラムはネットワークを介して配布されるようにしておき、コンピュータ装置に適宜インストールされてもよい。
なお、これらの構成は、その一部または全部をロジック回路などのハードウェアにより、また、ハードウェアとソフトウェア制御とを組み合わせにより実現することも可能である。
(3次元画像記憶部)
3次元画像記憶部11は、CT1により収集された管状体の3次元画像を記憶する。なお、3次元画像記憶部11は、PACSとして構成されてもよく、CT1の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
3次元画像記憶部11は、CT1により収集された管状体の3次元画像を記憶する。なお、3次元画像記憶部11は、PACSとして構成されてもよく、CT1の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
(カプセル内視鏡画像記憶部)
カプセル内視鏡画像記憶部12は、カプセル内視鏡装置2により収集された管状体のカプセル内視鏡画像を記憶する。なお、カプセル内視鏡画像記憶部12は、PACSとして構成されてもよく、カプセル内視鏡装置2の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
カプセル内視鏡画像記憶部12は、カプセル内視鏡装置2により収集された管状体のカプセル内視鏡画像を記憶する。なお、カプセル内視鏡画像記憶部12は、PACSとして構成されてもよく、カプセル内視鏡装置2の記憶部として構成されてもよく、さらに、これらに独立して構成されてもよい。
(第1芯線抽出部)
次に、第1芯線抽出部13について図2A及び図2Bを参照して説明する。図2A及び図2Bは第1芯線及び病変候補を抽出するときの説明図である。図2Aでは、管状体の一例である大腸の第1芯線L1及び病変候補Tを示す。図2Bでは、大腸の第1芯線L1を直線により模式的に示し、さらに第1芯線L1の開始点L1S、終了点L1Eで示す。
次に、第1芯線抽出部13について図2A及び図2Bを参照して説明する。図2A及び図2Bは第1芯線及び病変候補を抽出するときの説明図である。図2Aでは、管状体の一例である大腸の第1芯線L1及び病変候補Tを示す。図2Bでは、大腸の第1芯線L1を直線により模式的に示し、さらに第1芯線L1の開始点L1S、終了点L1Eで示す。
第1芯線抽出部13は、3次元画像記憶部11に記憶された3次元画像を基にして、管状体の第1芯線(3次元芯線)及び単一又は複数の病変候補位置の抽出を自動的に行う。なお、第1芯線の抽出は、GUI20を用いて操作者により決定されてもよい。
3次元芯線を自動的に抽出する具体的例としては、次の技術が用いられる。
すなわち、対象画像の大きさをL行M列N段の画素で表し、各画像に対して距離変換を行うことで、線形図形を抽出する(例えば、距離変換を用いた図形の構造解析手法 Med Imag Tech Vol.1、13-22、January 2002)。
病変候補位置の自動的に抽出する具体例としては、大腸ポリープが塊状の濃淡構造を持つことに着目し、ヘッセ行列の固有値を利用した塊状構造強調フィルタを用いて大腸ポリープの検出を行う(例えば、局所濃淡構造解析による3次元腹部CT像からの大腸ポリープ検出手法 電子情報通信学会技術研究報告 MI 、医用画像106(226)、47-52、2006-08-26)。
抽出された第1芯線は、3次元画像と同じ3次元座標空間の点列データとして3次元画像記憶部11に記憶される。抽出された病変候補位置は、同じく上記3次元画像データと同じ3次元座標空間の点座標として3次元画像記憶部11に記憶される。
(第2芯線抽出部)
次に、第2芯線抽出部14について図3、図4A及び図4Bを参照して説明する。図3はカプセル内視鏡による撮影の説明図である。図3では、管状体の一例である大腸腔内を移動するカプセル内視鏡CEを示す。
次に、第2芯線抽出部14について図3、図4A及び図4Bを参照して説明する。図3はカプセル内視鏡による撮影の説明図である。図3では、管状体の一例である大腸腔内を移動するカプセル内視鏡CEを示す。
図3に示すように、カプセル内視鏡は、管状体の管内を移動しながら管内の画像(カプセル内視鏡画像)を撮影する。カプセル内視鏡画像は、撮影したときのカプセル内視鏡の位置(3次元位置)及び向きを付帯してカプセル内視鏡画像記憶部12に記憶される。
図4A及び図4Bは第2芯線を抽出するときの説明図である。図4Aでは、カプセル内視鏡の位置CP及び第2芯線L2を示す。図4Bでは、カプセル内視鏡の移動経路(第2芯線L2)を真っ直ぐな点線により模式的に示し、さらに、カプセル内視鏡の移動開始位置(開始点)L2S、移動終了位置(終了点)L2Eで示し、さらに、カプセル内視鏡の各位置における向きを矢印で示す。
図4A及び図4Bに示すように、第2芯線抽出部14は、カプセル内視鏡画像の位置に基づいて第2芯線(3次元芯線)の抽出を行う。
具体的な第2芯線抽出方法としては、カプセル内視鏡画像に付帯する3次元位置の座標を撮影された順につないだ点列データを求め、この点列データの位置情報を3次元的に平滑化処理して第2芯線の点列データとする。
(対応関係算出部)
次に、対応関係算出部15について図5を参照して説明する。図5は芯線の対応関係を求めるときの説明図である。図5では、実線により第1芯線L1を示し、点線により第2芯線L2を示す。第2芯線L2が第1芯線L1より長く示されているのは、カプセル内視鏡が蛇行したりして管状体の芯線に沿って常に移動するとは限らないからである。なお、図5において、第1芯線L1に沿って配置された矢印は、仮想内視鏡画像を作るときの視線の向きに相当する。
次に、対応関係算出部15について図5を参照して説明する。図5は芯線の対応関係を求めるときの説明図である。図5では、実線により第1芯線L1を示し、点線により第2芯線L2を示す。第2芯線L2が第1芯線L1より長く示されているのは、カプセル内視鏡が蛇行したりして管状体の芯線に沿って常に移動するとは限らないからである。なお、図5において、第1芯線L1に沿って配置された矢印は、仮想内視鏡画像を作るときの視線の向きに相当する。
対応関係算出部15は、第1芯線抽出部13により抽出された第1芯線と、第2芯線抽出部14により抽出された第2芯線との対応関係を求める(図5参照)。
具体的には、第1芯線と第2芯線との非線形位置合わせ処理により、第1芯線上の位置と第2芯線上の位置との対応関係を求める。なお、第1芯線上の位置が仮想内視鏡画像における視点の位置に相当し、また第2芯線上の位置がカプセル内視鏡の位置に相当する。
具体的な非線形位置合わせの方法としては、第1芯線及び第2芯線上の各点における接線ベクトルの類似度が最大となるように第1芯線及び第2芯線上の点同士の対応関係を決める。すなわち、図2Bで模式的に表されているように第1芯線の開始点L1Sから終了点L1Eまでの各点における芯線の接線ベクトルを求め、同様に図4Bで模式的に表されているように第2芯線の開始点L2Sから終了点L2Eまでの各点における芯線の接線ベクトルを求める。続いて、第1芯線の各点に対して、第2芯線の任意の点との内積を求めた総和が最大となるような第1芯線及び第2芯線の各点間の組み合わせを求める。
(対応関係記憶部)
対応関係記憶部16は、求められた第1芯線と第2芯線との対応関係を記憶する。対応関係記憶部16の一例としては、第1芯線上の各点と、第2芯線上の各点とを対応付けて記憶するテーブルである。なお、これに限らず、対応関係記憶部16は、第1の芯線の各点に基づき第2芯線の各点を求めるための対応関係式であってもよい。
対応関係記憶部16は、求められた第1芯線と第2芯線との対応関係を記憶する。対応関係記憶部16の一例としては、第1芯線上の各点と、第2芯線上の各点とを対応付けて記憶するテーブルである。なお、これに限らず、対応関係記憶部16は、第1の芯線の各点に基づき第2芯線の各点を求めるための対応関係式であってもよい。
(カプセル内視鏡画像選択部)
次に、カプセル内視鏡画像選択部17について図6を参照して説明する。図6はカプセル内視鏡画像を選択するときの説明図である。
次に、カプセル内視鏡画像選択部17について図6を参照して説明する。図6はカプセル内視鏡画像を選択するときの説明図である。
カプセル内視鏡画像選択部17は、対応関係記憶部16に記憶された対応関係に基づいて、仮想内視鏡画像を表示する位置及び向きと最も近い位置及び向きのカプセル内視鏡画像をカプセル内視鏡画像記憶部12に保存されたカプセル内視鏡画像の中から選択する。なお、第1芯線上の向きが、仮想内視鏡画像における視線の向きに相当する。また、第2芯線上の向きが、カプセル内視鏡の視線の向きに相当する。
具体的には、カプセル内視鏡画像選択部17は、GUI20による第1芯線上の位置の入力を受けて、その位置に対応する第2芯線上の位置を、対応関係記憶部16に記憶された対応関係に基づいて求める。さらに、カプセル内視鏡画像選択部17は、カプセル内視鏡画像記憶部12に記憶されているカプセル内視鏡画像の中から第2芯線上の位置の周辺で撮影された画像群を抽出する。さらに、カプセル内視鏡画像選択部17は、その画像群のうち、第1芯線上の向きに対し相対的に最も近い第2芯線上の向きを求め、さらに、第2芯線上の向きに対応する第2芯線上の位置を求める。さらに、カプセル内視鏡画像選択部17は、求めた第2芯線上の位置及び向きに関連付けられたカプセル内視鏡画像を、カプセル内視鏡画像記憶部12に記憶されているカプセル内視鏡画像の中から選択する。選択されたカプセル内視鏡画像を、第1芯線上の位置及び向きを基に作成された仮想内視鏡画像に最も近いカプセル内視鏡画像とする。
(仮想内視鏡画像生成部)
仮想内視鏡画像生成部18は、GUI20により第1芯線上の位置及び向きを受けて、3次元画像記憶部11から読み出した3次元画像を用いて、第1芯線上の位置及び向きに基づき、透視投影法を用いた3次元画像処理することにより、仮想内視鏡画像を作成する。
仮想内視鏡画像生成部18は、GUI20により第1芯線上の位置及び向きを受けて、3次元画像記憶部11から読み出した3次元画像を用いて、第1芯線上の位置及び向きに基づき、透視投影法を用いた3次元画像処理することにより、仮想内視鏡画像を作成する。
(GUI)
GUI20は、入力部21、表示制御部22、及びモニタ23を有している。
入力部21の一例としては、キーボード、マウス、ジョイスティックなどのポインティングデバイスを含む。
GUI20は、入力部21、表示制御部22、及びモニタ23を有している。
入力部21の一例としては、キーボード、マウス、ジョイスティックなどのポインティングデバイスを含む。
表示制御部22は、モニタ23に3次元画像、仮想内視鏡画像(第1芯線含む)、カプセル内視鏡画像などを表示させるとともに、入力部21により指示された表示領域に対応する第1芯線上の位置をカプセル内視鏡画像選択部17に出力する。なお、GUI20の内部メモリ(図示省略)には、第1芯線上の初期位置及び初期向きが予め記憶されている。
[医用画像表示装置の動作]
次に、医用画像表示装置の一連の動作について図8及び図9を参照して説明する。図8は第1芯線と第2芯線との対応関係を求める一連の動作を示すフローチャートである。
次に、医用画像表示装置の一連の動作について図8及び図9を参照して説明する。図8は第1芯線と第2芯線との対応関係を求める一連の動作を示すフローチャートである。
(S101)
図8に示すように、S101では、第1芯線抽出部13が、3次元画像記憶部11から読み出された3次元画像に基づき、第1芯線及び病変候補位置を抽出する(図2参照)。
図8に示すように、S101では、第1芯線抽出部13が、3次元画像記憶部11から読み出された3次元画像に基づき、第1芯線及び病変候補位置を抽出する(図2参照)。
3次元画像記憶部11には、抽出された第1芯線(点列データ)及び病変候補位置が記憶される。
(S102)
S102では、第2芯線抽出部14は、カプセル内視鏡画像記憶部12に記憶されたカプセル内視鏡の位置(3次元位置)に基づいて、カプセル内視鏡が通過した第2芯線(点列データ)を抽出する。
S102では、第2芯線抽出部14は、カプセル内視鏡画像記憶部12に記憶されたカプセル内視鏡の位置(3次元位置)に基づいて、カプセル内視鏡が通過した第2芯線(点列データ)を抽出する。
(S103)
S103では、対応関係算出部15は、S101で得られた第1芯線の位置とS102で得られた第2芯線の位置との対応関係を求める。求めた対応関係が対応関係記憶部16に記憶される。
S103では、対応関係算出部15は、S101で得られた第1芯線の位置とS102で得られた第2芯線の位置との対応関係を求める。求めた対応関係が対応関係記憶部16に記憶される。
以上のような第1芯線と第2芯線との対応関係を予め求めておく。対応関係を用いて、例えば、CT1による大腸解析や小腸解析において洗い出された病変候補を基に、カプセル内視鏡検査において確定診断を行う。なお、カプセル内視鏡検査における確定診断をするとき、対応関係を求めるようにしてもよい。
次に、対応関係を用いて、カプセル内視鏡検査における確定診断をするときの一連の動作について図9を参照して説明する。図9は、病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャートである。
(S201:第1芯線上の初期位置等の読み出し)
GUI20の内部メモリには、第1芯線上の初期位置及び初期向きが記憶されている。図9に示すように、S201では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ23に表示する開始の指示を受けて、カプセル内視鏡画像選択部17は、GUI20の内部メモリから第1芯線上の初期位置及び初期向きを読み出す。
GUI20の内部メモリには、第1芯線上の初期位置及び初期向きが記憶されている。図9に示すように、S201では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ23に表示する開始の指示を受けて、カプセル内視鏡画像選択部17は、GUI20の内部メモリから第1芯線上の初期位置及び初期向きを読み出す。
(S202:カプセル内視鏡画像の選択)
S202では、カプセル内視鏡画像選択部17は、読み出した第1芯線上の初期位置を基に、対応関係記憶部16に記憶されたテーブルに基づいて、第1芯線上の位置に対応する第2芯線上の位置を求める。
S202では、カプセル内視鏡画像選択部17は、読み出した第1芯線上の初期位置を基に、対応関係記憶部16に記憶されたテーブルに基づいて、第1芯線上の位置に対応する第2芯線上の位置を求める。
次に、カプセル内視鏡画像選択部17は、カプセル内視鏡画像記憶部12に記憶されているカプセル内視鏡画像の中から第2芯線上の位置の周辺で撮影された画像群を抽出する。
次にカプセル内視鏡画像選択部17は、その画像群のうち、GUI20に予め記憶されている第1芯線上の初期向きに、最も近い第2芯線上の向きで撮影された画像を選択する。選択された画像を、第1芯線上の初期位置及び初期向きに最も近いカプセル内視鏡画像とする。
(S203:画像表示)
S203では、仮想内視鏡画像生成部18は、GUI20に予め設定されている第1芯線上の初期位置及び初期向きに基づいて、3次元画像記憶部11に記憶されている3次元画像を用いて仮想内視鏡画像を生成する。
S203では、仮想内視鏡画像生成部18は、GUI20に予め設定されている第1芯線上の初期位置及び初期向きに基づいて、3次元画像記憶部11に記憶されている3次元画像を用いて仮想内視鏡画像を生成する。
表示制御部22は、第1芯線上の初期位置及び初期向きに基づき、S202で求められたカプセル内視鏡画像と、S203で生成された仮想内視鏡画像とをモニタ23に連動表示させる。
ここで、連動表示とは、芯線上の位置及び向きに基づき互いに対応関係を有する二つの画像において、芯線の位置及び/又は向きに基づいて、二つの画像を関連付けて表示することをいう。
連動表示について図6及び図7を参照して説明する。図6は、管状体のVR画像、仮想内視鏡画像、及びカプセル内視鏡画像が並列表示された図、図7は、さらに、フィレビュー画像が配列表示された図である。
なお、図6に、仮想内視鏡画像における視線の位置L1P、視線の向きL1D、仮想内視鏡の位置L2P、視線の向きL2Pを示す。また、並列表示された管状体のVR画像G1、仮想内視鏡画像G2、及びカプセル内視鏡画像G3を示す。図7には、配列表示されたフィレビュー画像G4及び他の画像G1~G3とを示す。
具体的な連動表示方法としては、上下や左右に並列表示したり、GUI20による操作者による操作などをきっかけとして切り換えて表示したりする。
図6及び図7に示すように、3次元画像記憶部11に記憶されている3次元画像を用いてCTのVR(volume Rendering)画像を並列表示し、VR画像上に、第1芯線、第2芯線、仮想内視鏡画像及びカプセル内視鏡画像の現在の視線及び視点、病変候補位置などをグラフィックで表示する(図6参照)。それにより、表示されている仮想内視鏡画像とカプセル内視鏡画像との位置関係により、病変候補位置などを把握しやすくする。
同様の目的で、第1芯線に沿って管状体を切り開いたVR画像であるフィレビュー(Fillet View)画像を表示する(図7参照)。
(S204)
S204では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき(S204:Yes)、画像の表示を終了する。画像の表示が終了でないとき(S204:No)、第1芯線上の位置を変更したか否かを判断するS205に移行する。
S204では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき(S204:Yes)、画像の表示を終了する。画像の表示が終了でないとき(S204:No)、第1芯線上の位置を変更したか否かを判断するS205に移行する。
(S205)
S205では、GUI20による操作により、操作者が仮想内視鏡画像及び/又はカプセル内視鏡画像の視点及び視線を変更するとき(S205:Yes)、視点及び/又は視線の変更を受けて、カプセル内視鏡画像選択部17は、カプセル内視鏡画像を再選択する(S202)。
S205では、GUI20による操作により、操作者が仮想内視鏡画像及び/又はカプセル内視鏡画像の視点及び視線を変更するとき(S205:Yes)、視点及び/又は視線の変更を受けて、カプセル内視鏡画像選択部17は、カプセル内視鏡画像を再選択する(S202)。
表示制御部22は、変更された第1芯線上の位置及び/又は向きに基づき、S202で求められたカプセル内視鏡画像と、S203で生成された仮想内視鏡画像とをモニタ23に連動表示させる。
GUI20による操作の例としては、CTのVR画像上で観察したい位置及び向きを入力部21で指定することにより、視点の位置及び視線の向きが変更されるようにする。この操作により、操作者がVR画像上に表示されている病変候補位置を指定することにより、VR画像G1上の現在の視点の位置及び視線の向きに基づき、仮想内視鏡画像及びカプセル内視鏡画像の表示を更新する。それにより、視点の位置及び視線の向きに応じて、カプセル内視鏡画像を瞬時に観察できる。
GUI20による操作の他の例としては、仮想内視鏡画像上、又はカプセル内視鏡画像上にて操作者が観察したい方向に入力部21例えばマウスを動かすことにより、両画像の視線が連動して変更されるようにする。この操作により、カプセル内視鏡画像でも病変候補を様々な角度から立体的に観察することができる。
なお、視点及び視線を変更しないとき(S205:No)、画像の表示が終了であるかどうかを判断するS204に戻る。
[第2実施形態]
次に、第2の実施形態に係る医用画像表示装置について図10~図12を参照して説明する。
次に、第2の実施形態に係る医用画像表示装置について図10~図12を参照して説明する。
図10は医用画像表示装置の構成ブロック図である。
図1及び図10に示すように、第1の実施形態との違いは、第1の実施形態に係る対応関係算出部15が第1芯線と第2芯線との対応関係により第1芯線と第2芯線との対応関係を求めるのに対し、第2の実施形態に係る対応関係算出部15は、第1芯線とカプセル内視鏡が管状体の管内を通過するときの通過時間との対応関係を求める点が異なる。
以下異なる点について説明し、第1の実施形態と同じ構成についてはその説明を省略する。
対応関係算出部15は、カプセル内視鏡が管状体の管内を移動する統計的な平均速度に基づいて、第1芯線上の位置とカプセル内視鏡の通過時間との対応関係を求める。
次に、対応関係を求める一例を説明する。
カプセル内視鏡による撮影における撮影開始時間をts、撮影終了時間をte、通過時間ta、カプセル内視鏡の移動時の平均速度をvとする。なお、通過時間taは、その撮影時のカプセル内視鏡画像に付帯してカプセル内視鏡画像記憶部12に記憶されている。
撮影所要時間Toは撮影終了時間から撮影開始時間を減算することで求められる(te-ts)。また、通過時間taまでの所要時間Taは、通過時間taから撮影開始時間を減算することで求められる(ta-ts)。
撮影所要時間To、Taとを比較することで、通過時間taにおいて、カプセル内視鏡が全移動経路の中のどこの辺りに位置するかが求められる(Ta/To)。
第1芯線の全長Loは、開始点L1Sから終了点L1Eまでの各点間の微小距離を積分することで求めることができる。また、開始点L1Sからの第1芯線上の位置L1Pまでの長さLaは、開始点L1Sから第1芯線上の位置L1Pまでの各点間の微小距離を積分することで求められる。
第1芯線の全長Loと開始点から第1芯線上の位置L1Pまでの長さLaとを比較することで、第1芯線上の位置L1Pが、第1芯線の全長の中のどの辺りに位置するかが求められる(La/Lo)。
求められる両者は対応関係にある〔(Ta/To)≒(La/Lo)〕。それにより、通過時間ta(又はTa)、撮影所要時間To、及び第1芯線の全長Loから、開始点L1Sからの第1芯線上に沿った長さLaが求められ、さらに、第1芯線上の位置L1Pが求められる。
以上のように対応関係算出部15を構成したことにより、対応関係記憶部16及びカプセル内視鏡画像選択部17は次のように構成される。
対応関係記憶部16は、第1芯線上の位置と通過時間との対応関係を記憶する。さらに、カプセル内視鏡画像選択部17は、第1芯線上の位置に対応する通過時間を対応関係記憶部16から読み出し、通過時間に近い時間に撮影された画像を、カプセル内視鏡画像記憶部12に記憶されているカプセル内視鏡画像の中から選択する。
次に、第1芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作について図11を参照して説明する。図11は、第1芯線とカプセル内視鏡の通過時間との対応関係を求める一連の動作を示すフローチャートである。
(S301)
S301では、第1の実施形態におけるS101と同様に、3次元画像を基に第1芯線及び病変候補を抽出する。
S301では、第1の実施形態におけるS101と同様に、3次元画像を基に第1芯線及び病変候補を抽出する。
(S302)
S302では、対応関係算出部15は、カプセル内視鏡画像記憶部12から撮影時おけるカプセル内視鏡の通過時間を読み出す。
S302では、対応関係算出部15は、カプセル内視鏡画像記憶部12から撮影時おけるカプセル内視鏡の通過時間を読み出す。
(S303)
次に、S303では、対応関係算出部15は、第1芯線の位置と通過時間との対応関係を求める。対応関係は対応関係記憶部16に記憶される。
次に、S303では、対応関係算出部15は、第1芯線の位置と通過時間との対応関係を求める。対応関係は対応関係記憶部16に記憶される。
次に、対応関係を用いて、カプセル内視鏡検査における確定診断をするときの一連の動作につい説明する。図12は、病変候補が表示されるカプセル内視鏡画像を選択する一連の動作を示すフローチャートである。
(S401)
図12に示すように、S401では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ23に表示する開始の指示を受けて、カプセル内視鏡画像選択部17は、GUI20の内部メモリから第1芯線上の初期位置及び初期向きを読み出す。
図12に示すように、S401では、仮想内視鏡画像及びカプセル内視鏡画像をモニタ23に表示する開始の指示を受けて、カプセル内視鏡画像選択部17は、GUI20の内部メモリから第1芯線上の初期位置及び初期向きを読み出す。
(S402)
S402では、カプセル内視鏡画像選択部17は、読み出した第1芯線上の初期位置を基に、対応関係記憶部16に記憶されたテーブルに基づいて、第1芯線上の位置に対応するカプセル内視鏡の通過時間を求める。
S402では、カプセル内視鏡画像選択部17は、読み出した第1芯線上の初期位置を基に、対応関係記憶部16に記憶されたテーブルに基づいて、第1芯線上の位置に対応するカプセル内視鏡の通過時間を求める。
次に、カプセル内視鏡画像選択部17は、カプセル内視鏡画像記憶部12に記憶されているカプセル内視鏡画像の中から通過時間の周辺で撮影された画像群を抽出する。
次にカプセル内視鏡画像選択部17は、その画像群のうち、GUI20に予め記憶されている第1芯線上の初期向きに、最も近い向きで撮影された画像を選択する。選択された画像を、第1芯線上の初期位置及び初期向きに最も近いカプセル内視鏡画像とする。
(S403)
S403では、仮想内視鏡画像生成部18は、GUI20に予め設定されている第1芯線上の初期位置及び初期向きに基づいて、3次元画像記憶部11に記憶されている3次元画像を用いて仮想内視鏡画像を生成する。
S403では、仮想内視鏡画像生成部18は、GUI20に予め設定されている第1芯線上の初期位置及び初期向きに基づいて、3次元画像記憶部11に記憶されている3次元画像を用いて仮想内視鏡画像を生成する。
表示制御部22は、第1芯線上の初期位置及び初期向きに基づき、S402で求められたカプセル内視鏡画像と、S403で生成された仮想内視鏡画像とをモニタ23に連動表示させる。
(S404)
S404では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき(S404:Yes)、画像の表示を終了する。画像の表示が終了でないとき(S404:No)、第1芯線上の位置を変更したか否かを判断するS405に移行する。
S404では、画像の表示が終了であるかどうかを判断する。画像の表示が終了であるとき(S404:Yes)、画像の表示を終了する。画像の表示が終了でないとき(S404:No)、第1芯線上の位置を変更したか否かを判断するS405に移行する。
(S405)
S405では、GUI20による操作により、操作者が仮想内視鏡画像及び/又はカプセル内視鏡画像の視点及び視線を変更するとき(S405:Yes)、視点及び/又は視線の変更を受けて、カプセル内視鏡画像選択部17は、カプセル内視鏡画像を再選択する(S402)。
S405では、GUI20による操作により、操作者が仮想内視鏡画像及び/又はカプセル内視鏡画像の視点及び視線を変更するとき(S405:Yes)、視点及び/又は視線の変更を受けて、カプセル内視鏡画像選択部17は、カプセル内視鏡画像を再選択する(S402)。
表示制御部22は、変更された第1芯線上の位置及び/又は向きに基づき、S402で求められたカプセル内視鏡画像と、S403で生成された仮想内視鏡画像とをモニタ23に連動表示させる。
[変形例1]
以上、CT大腸解析を例に実施例を説明した。
以上、CT大腸解析を例に実施例を説明した。
次に、実施形態の変形例1について図13を参照して説明する。図13は胃の検査を対象とした表示例を示す図である。図13に、並列表示された管状体のVR画像G1、仮想内視鏡画像G2、及びカプセル内視鏡画像G3、さらに、VR画像G1中に病変候補T及びカプセル内視鏡CEを示す。
図13に示すように、同様の手法で胃の解析など消化管全般にわたって本発明を適用可能である。
この実施形態では、CT1など3次元の医用診断装置による消化管解析で洗い出されたポリープ病変候補位置に対応するカプセル内視鏡画像のみに注目して観察できるので、大量の撮影画像を全て確認する手間が省け、ポリープ病変の確定診断における検査効率が向上する。
また、CT1などの仮想内視鏡画像上でポリープ病変候補を観察する向きを微調整するのに連動して、対応する向きのカプセル内視鏡画像にその都度更新表示することにより、カプセル内視鏡画像を擬似的な3次元画像として観察でき、病変候補を立体的な内視鏡画像で診断することが可能となり、ポリープ病変の確定診断における診断精度が向上する。
[変形例2]
次に、実施形態の変形例2について図7を参照して説明する。
次に、実施形態の変形例2について図7を参照して説明する。
上記実施形態では、仮想内視鏡画像が選択されると、その仮想内視鏡画像の視点の位置に基づいて、カプセル内視鏡画像を表示させるものであった。これに対し、変形例2では、カプセル内視鏡画像が選択されると、選択されたカプセル内視鏡画像が収集されたときのカプセル内視鏡の通過時間または通過位置に対応する視点の位置を求め、求められた視点の位置に基づいて仮想内視鏡画像を表示させるものである。
図7は、仮想内視鏡画像G2及びカプセル内視鏡画像G3を並列して表示するときの一例を示す図である。図7に、カプセル内視鏡画像G3の辺縁に沿うように配置されたスケール画像を”SG”で示す。
図7に示すように、スケール画像SGの左端位置が通過開始時間または通過開始位置であって、図6に示す仮想内視鏡の開始点L2Sに相当している。スケール画像SGの右端位置が通過終了時間または通過終了位置であって、図6に示す仮想内視鏡の終了点L2Eに相当している。
また、図7に、管内をカプセル内視鏡が通過することにより収集された複数のカプセル内視鏡画像上の色であって、カプセル内視鏡の通過時間または通過位置に対応する組織の代表色がスケール画像SG上に表示されている。例えば、病変部の代表色は、”赤”(図7で示すハッチング)で表示されている。
図7に三角形の形状で表されたマーカーを”MK”で示す。カプセル内視鏡画像選択部17は、入力部21及び表示制御部22を有している。入力部(例えばマウス)21の操作により、マーカーMKの位置がスケール画像SGに沿って移動可能に表示される。マーカーMKの位置は、カプセル内視鏡の通過時間または通過位置に相当している。
表示制御部22は、入力部21の操作によるマーカーMKの位置の指定を受けて、その位置に対応する通過時間または通過位置に収集されたカプセル内視鏡画像を選択し、選択されたカプセル内視鏡画像を表示させる。
対応関係算出部15は、カプセル内視鏡画像の選択を受けて、選択されたカプセル内視鏡画像が収集されたときのカプセル内視鏡の通過時間または通過位置に対応する視点の位置(第1芯線上の位置)を求める。表示制御部22は、求められた視点の位置に基づく仮想内視鏡画像を表示させる。
前記実施形態では、仮想内視鏡画像とカプセル内視鏡画像とが対応付けられ、例えば、仮想内視鏡画像上で病変候補を指定すると、それに相当する病変候補が表示されているカプセル内視鏡画像を選択し易くなり、カプセル内視鏡検査における確定診断の作業性を上げることが可能となる。
なお、実施形態では、図6及び図7に示すように、表示制御部22がVR画像G1、仮想内視鏡画像G2、及びカプセル内視鏡画像G3等を並列表示させるものを示したが、VR画像G1、仮想内視鏡画像G2、及びカプセル内視鏡画像G3等を切り換えて表示させてもよい。
さらに、表示制御部22が仮想内視鏡画像にカプセル内視鏡の位置を重ねて表示させてもよい。カプセル内視鏡画像選択部17が、仮想内視鏡画像における視点の位置(第1芯線上の位置)および視線の向き(第1芯線上の方向)を基に、第1芯線上の位置及び向きに最も近いカプセル内視鏡画像を求める。表示制御部22は、求められたカプセル内視鏡画像における第2芯線上の位置(カプセル内視鏡の位置)を、仮想内視鏡画像に重ねて表示させる。それにより、仮想内視鏡画像とカプセル内視鏡画像との対応付けが容易となる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、書き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるととともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 CT
2 カプセル内視鏡装置
11 3次元画像記憶部
12 カプセル内視鏡画像記憶部
13 第1芯線抽出部
14 第2芯線抽出部
15 対応関係算出部
16 対応関係記憶部
17 カプセル内視鏡画像選択部
18 仮想内視鏡画像生成部
20 GUI
21 入力部
22 表示制御部
23 モニタ
2 カプセル内視鏡装置
11 3次元画像記憶部
12 カプセル内視鏡画像記憶部
13 第1芯線抽出部
14 第2芯線抽出部
15 対応関係算出部
16 対応関係記憶部
17 カプセル内視鏡画像選択部
18 仮想内視鏡画像生成部
20 GUI
21 入力部
22 表示制御部
23 モニタ
Claims (12)
- 管状体の3次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能な医用画像表示装置において、
前記管内をカプセル内視鏡が通過することにより収集されたカプセル内視鏡画像を記憶するカプセル内視鏡画像記憶部と、
前記視点の位置に基づいて、前記カプセル内視鏡画像を表示させる表示制御部と、
を有する
ことを特徴とする医用画像表示装置。 - 前記表示制御部は、前記カプセル内視鏡画像を、前記仮想内視鏡画像上で指定された前記視点に基づいて表示させる
ことを特徴とする請求項1に記載の医用画像表示装置。 - 前記表示制御部は、前記カプセル内視鏡の位置を前記仮想内視鏡画像に重ねて表示させる
ことを特徴とする請求項1または請求項2に記載の医用画像表示装置。 - 前記3次元画像に基づいて前記管状体の第1芯線を予め抽出する第1芯線抽出部と、
前記カプセル内視鏡の位置に基づいて前記管状体の第2芯線を予め抽出する第2芯線抽出部と、
前記第1芯線と前記第2芯線との対応関係を求める対応関係算出部と、
をさらに有し、
前記表示制御部は、前記対応関係に基づいて前記カプセル内視鏡画像を表示させる
ことを特徴とする請求項1に記載の医用画像表示装置。 - 前記対応関係算出部は、前記第1芯線と前記第2芯線における芯線の方向を表す3次元接線ベクトルの類似度に基づき、前記対応関係を求めることを特徴とする請求項4に記載の医用画像表示装置。
- 前記カプセル内視鏡画像記憶部は、前記カプセル内視鏡画像を前記カプセル内視鏡の位置である第2芯線の位置及びカプセル内視鏡の向きである第2芯線の向きに関連付けて記憶し、
前記第1芯線上の位置に対応する第2芯線上の位置を前記対応関係を参照して求め、当該求めた前記第2芯線上の位置の周辺で撮影された画像群を、前記カプセル内視鏡画像記憶部に記憶されているカプセル内視鏡画像の中から抽出し、当該抽出した前記画像群のうち、前記第1芯線上の向きに対し相対的に最も近い前記第2芯線上の向きを求め、当該求めた前記第2芯線上の向きに対応する前記第2芯線上の位置を求め、当該求めた前記第2芯線上の前記位置及び前記向きに関連付けられた前記カプセル内視鏡画像を前記カプセル内視鏡画像記憶部に記憶されているカプセル内視鏡画像の中から選択するカプセル内視鏡画像選択部を有する請求項4または請求項5に記載の医用画像表示装置。 - 前記3次元画像を用いて前記管状体の第1芯線を予め抽出する第1芯線抽出部と、
前記第1芯線と前記カプセル内視鏡が前記管内を通過するときの通過時間との対応関係を求める対応関係算出部と、
を有し、
前記表示制御部は、前記対応関係に基づいて前記カプセル内視鏡画像を表示させる
ことを特徴とする請求項1に記載の医用画像表示装置。 - 前記表示制御部は、前記仮想内視鏡画像と前記カプセル内視鏡画像とを並列して表示させることを特徴とする請求項1から請求項7のいずれかに記載の医用画像表示装置。
- 前記表示制御部は、前記仮想内視鏡画像と前記カプセル内視鏡画像とを切り換えて表示させることを特徴とする請求項1から請求項8のいずれかに記載の医用画像表示装置。
- 前記仮想内視鏡画像は、前記管状体の芯線に沿って前記管内を開いた展開画像を含むことを特徴とする請求項1から請求項9のいずれかに記載の医用画像表示装置。
- 管状体の3次元画像を用いて、前記管状体の管内に置かれる視点に基づく前記管内の仮想内視鏡画像を表示可能な医用画像表示装置において、
前記管内をカプセル内視鏡が通過することにより収集された複数のカプセル内視鏡画像を記憶するカプセル内視鏡画像記憶部と、
前記カプセル内視鏡画像の選択を受けて、前記選択されたカプセル内視鏡画像が収集されたときの前記カプセル内視鏡の通過時間または通過位置に対応する前記視点の位置を求める手段と、
前記求められた前記視点の位置に基づく仮想内視鏡画像を表示させる表示制御部と、
を有する
ことを特徴とする医用画像表示装置。 - 前記請求項1から請求項11のいずれかに記載の医用画像表示装置を有することを特徴とする医用画像診断装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201280006251.XA CN103327900B (zh) | 2011-06-01 | 2012-05-31 | 医用图像显示装置以及医用图像诊断装置 |
US13/993,994 US9655498B2 (en) | 2011-06-01 | 2012-05-31 | Medical image displaying apparatus and a medical image diagnostic apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011123337 | 2011-06-01 | ||
JP2011-123337 | 2011-06-01 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012165572A1 true WO2012165572A1 (ja) | 2012-12-06 |
Family
ID=47259424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2012/064142 WO2012165572A1 (ja) | 2011-06-01 | 2012-05-31 | 医用画像表示装置及び医用画像診断装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9655498B2 (ja) |
JP (1) | JP2013009956A (ja) |
CN (1) | CN103327900B (ja) |
WO (1) | WO2012165572A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105942959A (zh) * | 2016-06-01 | 2016-09-21 | 安翰光电技术(武汉)有限公司 | 胶囊内窥镜***及其三维成像方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5690447B2 (ja) * | 2012-10-15 | 2015-03-25 | オリンパスメディカルシステムズ株式会社 | 情報管理装置及びカプセル型内視鏡検査システム |
JP6563942B2 (ja) * | 2014-02-12 | 2019-08-21 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 病変サイズ傾向をモニタリングするシステムおよびその動作方法 |
US9849836B2 (en) | 2014-04-24 | 2017-12-26 | Gentex Corporation | Roof mounted imager module |
JP6633383B2 (ja) * | 2015-12-17 | 2020-01-22 | 株式会社Aze | 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 |
KR101921268B1 (ko) * | 2016-12-21 | 2018-11-22 | 주식회사 인트로메딕 | 3d 영상을 재생을 위한 캡슐 내시경 장치, 상기 캡슐 내시경의 동작 방법, 캡슐 내시경과 연동하여 3d 영상을 재생하는 수신기, 캡슐 내시경과 연동하여 수신기의 3d 영상을 재생하는 방법, 및 캡슐 내시경 시스템 |
WO2019087969A1 (ja) * | 2017-10-31 | 2019-05-09 | 富士フイルム株式会社 | 内視鏡システム、報知方法、及びプログラム |
WO2019155724A1 (ja) * | 2018-02-09 | 2019-08-15 | 富士フイルム株式会社 | 位置合わせ装置、方法およびプログラム |
WO2020044523A1 (ja) * | 2018-08-30 | 2020-03-05 | オリンパス株式会社 | 記録装置、画像観察装置、観察システム、観察システムの制御方法、及び観察システムの作動プログラム |
CN109602383B (zh) * | 2018-12-10 | 2020-04-14 | 吴修均 | 一种多功能智能支气管镜检查*** |
WO2021054360A1 (ja) * | 2019-09-20 | 2021-03-25 | Hoya株式会社 | 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004089484A (ja) * | 2002-08-30 | 2004-03-25 | Olympus Corp | 内視鏡装置 |
JP2006051332A (ja) * | 2004-04-23 | 2006-02-23 | Siemens Corporate Res Inc | 記録型ビデオ内視鏡検査のための方法及びシステム及び仮想内視法 |
JP2006061274A (ja) * | 2004-08-25 | 2006-03-09 | Konica Minolta Medical & Graphic Inc | プログラム、及び内視鏡システム |
JP2006230906A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 医用診断システム、医用診断装置及び内視鏡 |
JP2010046525A (ja) * | 2009-11-30 | 2010-03-04 | Olympus Medical Systems Corp | 画像表示装置 |
JP2010264232A (ja) * | 2009-04-16 | 2010-11-25 | Fujifilm Corp | 診断支援装置、診断支援プログラムおよび診断支援方法 |
JP2011000173A (ja) * | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2011036600A (ja) * | 2009-08-18 | 2011-02-24 | Toshiba Corp | 画像処理装置、画像処理プログラムおよび医用診断システム |
JP2011050590A (ja) * | 2009-09-02 | 2011-03-17 | Toshiba Corp | 医用画像処理装置、及び医用画像処理プログラム |
JP2011092681A (ja) * | 2009-09-30 | 2011-05-12 | Fujifilm Corp | 医用画像処理装置および方法並びにプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6590999B1 (en) * | 2000-02-14 | 2003-07-08 | Siemens Corporate Research, Inc. | Real-time tracking of non-rigid objects using mean shift |
JP4813190B2 (ja) * | 2005-05-26 | 2011-11-09 | オリンパスメディカルシステムズ株式会社 | カプセル型医療装置 |
JP5188879B2 (ja) * | 2008-05-23 | 2013-04-24 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
JP5372406B2 (ja) * | 2008-05-23 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
US8241206B2 (en) * | 2008-07-08 | 2012-08-14 | Olympus Medical Systems Corp. | System for guiding capsule medical device |
JP5551957B2 (ja) * | 2010-03-31 | 2014-07-16 | 富士フイルム株式会社 | 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム |
-
2012
- 2012-05-31 CN CN201280006251.XA patent/CN103327900B/zh not_active Expired - Fee Related
- 2012-05-31 WO PCT/JP2012/064142 patent/WO2012165572A1/ja active Application Filing
- 2012-05-31 US US13/993,994 patent/US9655498B2/en active Active
- 2012-05-31 JP JP2012124553A patent/JP2013009956A/ja active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004089484A (ja) * | 2002-08-30 | 2004-03-25 | Olympus Corp | 内視鏡装置 |
JP2006051332A (ja) * | 2004-04-23 | 2006-02-23 | Siemens Corporate Res Inc | 記録型ビデオ内視鏡検査のための方法及びシステム及び仮想内視法 |
JP2006061274A (ja) * | 2004-08-25 | 2006-03-09 | Konica Minolta Medical & Graphic Inc | プログラム、及び内視鏡システム |
JP2006230906A (ja) * | 2005-02-28 | 2006-09-07 | Toshiba Corp | 医用診断システム、医用診断装置及び内視鏡 |
JP2010264232A (ja) * | 2009-04-16 | 2010-11-25 | Fujifilm Corp | 診断支援装置、診断支援プログラムおよび診断支援方法 |
JP2011000173A (ja) * | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2011036600A (ja) * | 2009-08-18 | 2011-02-24 | Toshiba Corp | 画像処理装置、画像処理プログラムおよび医用診断システム |
JP2011050590A (ja) * | 2009-09-02 | 2011-03-17 | Toshiba Corp | 医用画像処理装置、及び医用画像処理プログラム |
JP2011092681A (ja) * | 2009-09-30 | 2011-05-12 | Fujifilm Corp | 医用画像処理装置および方法並びにプログラム |
JP2010046525A (ja) * | 2009-11-30 | 2010-03-04 | Olympus Medical Systems Corp | 画像表示装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105942959A (zh) * | 2016-06-01 | 2016-09-21 | 安翰光电技术(武汉)有限公司 | 胶囊内窥镜***及其三维成像方法 |
Also Published As
Publication number | Publication date |
---|---|
US20140081079A1 (en) | 2014-03-20 |
US9655498B2 (en) | 2017-05-23 |
CN103327900A (zh) | 2013-09-25 |
JP2013009956A (ja) | 2013-01-17 |
CN103327900B (zh) | 2016-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012165572A1 (ja) | 医用画像表示装置及び医用画像診断装置 | |
EP2430979B1 (en) | Biopsy support system | |
JP5675227B2 (ja) | 内視鏡画像処理装置および作動方法、並びに、プログラム | |
JP4676021B2 (ja) | 診断支援装置、診断支援プログラムおよび診断支援方法 | |
JP5918548B2 (ja) | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム | |
JP5394622B2 (ja) | 医用ガイドシステム | |
JP6013037B2 (ja) | 医用画像処理装置 | |
JP2010517632A (ja) | 内視鏡の継続的案内のためのシステム | |
JP2009039449A (ja) | 画像処理装置 | |
JP2006230906A (ja) | 医用診断システム、医用診断装置及び内視鏡 | |
WO2012014438A1 (ja) | 内視鏡観察を支援する装置および方法、並びに、プログラム | |
JP2007014483A (ja) | 医用診断装置及び診断支援装置 | |
JP6633383B2 (ja) | 画像診断支援装置及びその制御方法、並びにプログラム及び記憶媒体 | |
JP5226244B2 (ja) | 医用ガイドシステム | |
JP4445792B2 (ja) | 挿入支援システム | |
US11056149B2 (en) | Medical image storage and reproduction apparatus, method, and program | |
JP6199267B2 (ja) | 内視鏡画像表示装置、その作動方法およびプログラム | |
JP2017108934A (ja) | 医用画像処理装置、その制御方法、及びプログラム | |
JP5523784B2 (ja) | 画像処理装置および医用画像診断装置 | |
US11601732B2 (en) | Display system for capsule endoscopic image and method for generating 3D panoramic view | |
JP4190454B2 (ja) | 挿入支援装置 | |
WO2023275974A1 (ja) | 画像処理装置、画像処理方法及び記憶媒体 | |
US20220047154A1 (en) | Endoluminal robotic systems and methods employing capsule imaging techniques | |
JP4354353B2 (ja) | 挿入支援システム | |
WO2024081745A2 (en) | Localization and targeting of small pulmonary lesions |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12793336 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13993994 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12793336 Country of ref document: EP Kind code of ref document: A1 |