WO2016203548A1 - 内視鏡システム及びカプセル内視鏡装置 - Google Patents

内視鏡システム及びカプセル内視鏡装置 Download PDF

Info

Publication number
WO2016203548A1
WO2016203548A1 PCT/JP2015/067330 JP2015067330W WO2016203548A1 WO 2016203548 A1 WO2016203548 A1 WO 2016203548A1 JP 2015067330 W JP2015067330 W JP 2015067330W WO 2016203548 A1 WO2016203548 A1 WO 2016203548A1
Authority
WO
WIPO (PCT)
Prior art keywords
capsule endoscope
endoscope apparatus
information
unit
imaging
Prior art date
Application number
PCT/JP2015/067330
Other languages
English (en)
French (fr)
Inventor
成剛 温
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2017524181A priority Critical patent/JP6498288B2/ja
Priority to PCT/JP2015/067330 priority patent/WO2016203548A1/ja
Publication of WO2016203548A1 publication Critical patent/WO2016203548A1/ja
Priority to US15/836,681 priority patent/US10743752B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00011Operational features of endoscopes characterised by signal transmission
    • A61B1/00016Operational features of endoscopes characterised by signal transmission using wireless means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00027Operational features of endoscopes characterised by power management characterised by power supply
    • A61B1/00032Operational features of endoscopes characterised by power management characterised by power supply internally powered
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00025Operational features of endoscopes characterised by power management
    • A61B1/00036Means for power saving, e.g. sleeping mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof

Definitions

  • the present invention relates to an endoscope system, a capsule endoscope apparatus, and the like.
  • Patent Document 1 the movement of the capsule endoscope apparatus is measured by comparing at least two images taken in time series. Then, if it is determined that the motion of the capsule endoscope device is relatively slow, the imaging frame rate is changed to a low speed, and if it is determined that the motion of the capsule endoscope device is relatively fast, imaging is performed. Change the frame rate to high speed.
  • the movement of the capsule endoscope apparatus is performed by comparing two images in real time for a long time after the patient swallows the capsule endoscope from the mouth until the patient is discharged from the body. Measure and adaptively control the imaging frame rate. Therefore, there is a possibility that the number of captured images swells enormously, and the battery with a built-in capsule runs out.
  • an endoscope system a capsule endoscope apparatus, and the like that can reduce imaging omission due to the remaining battery level.
  • One aspect of the present invention includes a first capsule endoscope device and a second capsule endoscope device, wherein the first capsule is introduced into a living body before the second capsule endoscope device.
  • the endoscope apparatus includes a first imaging element and a first control unit that controls an imaging operation by the first imaging element, and the second capsule endoscope apparatus includes the second imaging element,
  • the present invention relates to an endoscope system including a second control unit that performs a change process of control of an imaging operation by the second imaging element based on first information relating to a first capsule endoscope apparatus.
  • the second capsule endoscope device can be used.
  • the change process of the control of the imaging operation by the two imaging elements is performed.
  • a capsule endoscope device including an imaging device and a control unit that controls an imaging operation by the imaging device, wherein the capsule endoscope device has a first operation mode.
  • the control unit is more than the capsule endoscope apparatus set to the second operation mode.
  • a first capsule endoscope device, a second capsule endoscope device, and the first capsule placed in a living body before the second capsule endoscope device are provided.
  • FIG. 1 is an explanatory view of relay-type shooting.
  • FIG. 2 is a configuration example of an endoscope system according to the first embodiment.
  • FIG. 3 is a configuration example of an endoscope system according to the second embodiment.
  • FIG. 4 is an explanatory diagram of a first operation example.
  • FIG. 5 is an explanatory diagram of a second operation example.
  • FIG. 6 is a detailed configuration example of the analysis unit.
  • FIG. 7 is a diagram showing a flow of BoF algorithm processing.
  • FIG. 8 is an explanatory diagram of processing for calculating an LBP feature quantity vector.
  • FIG. 9 is an explanatory diagram of HSV feature vector calculation processing.
  • FIG. 10 is an explanatory diagram of a calculation process of a HOG feature amount vector.
  • FIG. 11 is a detailed configuration example of the analysis determination unit.
  • FIG. 12 is an explanatory diagram of the histogram creation process.
  • FIG. 13 is an explanatory diagram of histogram matching determination processing.
  • FIG. 14 is a configuration example of an endoscope system according to a modification of the second embodiment.
  • FIG. 15 is a configuration example of an endoscope system according to the third embodiment.
  • FIG. 16 is an explanatory diagram of an operation example in the third embodiment.
  • FIG. 17 is a modified configuration example of the endoscope system.
  • the digestive tract is divided into, for example, the stomach, duodenum, small intestine, large intestine and the like.
  • the small intestine is difficult to observe with a scope-type endoscope, It is mainly used to observe the small intestine.
  • the capsule endoscope apparatus including the large intestine can be imaged. If an attempt is made to photograph including the large intestine, the photographing time becomes longer than that up to the small intestine, and there is a problem that the demand for battery saving becomes more severe.
  • the capsule endoscope apparatus 100 is swallowed by a patient and taken from the upper digestive tract. Since the time during which the capsule endoscope apparatus 100 continues to be photographed is roughly determined by the capacity of the battery, for example, when the capsule endoscope apparatus 100 travels slowly or stops halfway, the small intestine Or the battery may run out in the middle of the large intestine. In such a case, only a part of the range to be photographed can be photographed, which hinders diagnosis.
  • two capsule endoscope apparatuses 100 and 300 are used for one examination with a capsule endoscope apparatus for one patient in order to realize suppression of diagnosis omission.
  • the patient drinks one capsule endoscope apparatus 100 and images the patient's body.
  • the patient is allowed to drink the second capsule endoscope apparatus 300.
  • the two capsule endoscope apparatuses 100 and 300 are inserted into the patient body with a time difference, and the inside of the body is imaged by the relay method, and thus the examination is performed with one capsule endoscope apparatus 100. The effect which suppresses the omission of diagnosis by the battery running out is obtained.
  • FIG. 2 shows a configuration example of the endoscope system in the first embodiment.
  • the endoscope system includes a first capsule endoscope device 100 and a second capsule endoscope device 300.
  • the first capsule endoscope apparatus 100 is introduced into the living body before (before or simultaneously with) the second capsule endoscope apparatus 300.
  • the first capsule endoscope apparatus 100 includes a first imaging element 120 and a first control unit 110 that controls an imaging operation by the first imaging element 120.
  • the second capsule endoscope apparatus 300 performs a change process of the control of the imaging operation by the second imaging element 320 based on the second information about the second imaging element 320 and the first capsule endoscope apparatus 100. And a control unit 310.
  • Such an endoscope system enables imaging by the relay method using the two capsule endoscope apparatuses 100 and 300, and has a wider range (longer time) than when only one capsule endoscope apparatus is used. Shooting is possible. As a result, it is possible to prevent the battery capacity from being lost in the middle of the target imaging range and the entire range from being imaged (that is, leading to a diagnosis failure).
  • the first information regarding the first capsule endoscope apparatus 100 it is possible to start the imaging operation by the second imaging element 320 (or switch the frame rate) at an appropriate timing, and to perform appropriate imaging. It becomes possible to relay.
  • the first information may be anything as long as it is information related to the first capsule endoscope apparatus 100.
  • information generated or transmitted by the first capsule endoscope apparatus 100 information regarding characteristics of the first capsule endoscope apparatus 100, information regarding behavior of the first capsule endoscope apparatus 100 in the living body, first capsule Information related to the operation performed by the user on the endoscope apparatus 100, information on the time when the user performed the operation on the first capsule endoscope apparatus 100 (or the time elapsed since the operation was performed), the first capsule Information about the time when the endoscope apparatus 100 has performed some operation (or the time that has elapsed since the operation was performed), information about the position of the first capsule endoscope apparatus 100, and the first capsule endoscope apparatus 100 is predetermined Information on the time at which the position is reached (or the time that has elapsed since the arrival) can be assumed.
  • the second control unit 310 performs activation processing or frame rate switching by the second image sensor 320 as a change process by a trigger signal based on the first information.
  • the change process of the control of the imaging operation is not limited to the above, and the power of the second capsule endoscope apparatus 300 before the change process rather than the power consumption of the second capsule endoscope apparatus 300 after the change process. Anything can be used as long as consumption is small.
  • the endoscope system includes the extracorporeal device 200, and the extracorporeal device 200 receives the first information from the first capsule endoscope device 100 and transmits the trigger signal, and the second control unit 310 may perform change processing based on a trigger signal from the extracorporeal device 200.
  • the second capsule endoscope apparatus 300 receives the first information from the first capsule endoscope apparatus 100, and the second control unit 310 (or the second capsule endoscope apparatus 300). May generate a trigger signal based on the first information.
  • the imaging is relayed to the second capsule endoscope apparatus 300, and the imaging range after the battery of the first capsule endoscope apparatus 100 is exhausted can be captured. Become.
  • the first information is the remaining battery information of the first capsule endoscope apparatus 100.
  • the first information is information indicating that the remaining amount of the battery of the first capsule endoscope apparatus 100 has become a predetermined amount or less.
  • the remaining battery level For example, the power consumption from the battery is counted, and when it reaches a predetermined amount of power, it can be determined that the remaining amount of the battery has become a predetermined amount or less. Alternatively, it may be determined that the remaining amount of the battery has become equal to or less than a predetermined amount when a predetermined time has elapsed after the first capsule endoscope apparatus 100 starts operating (turns on the power).
  • the remaining amount of the battery may be, for example, the remaining power amount or the remaining movable time of the capsule endoscope apparatus.
  • the imaging of the second capsule endoscope apparatus 300 can be controlled based on the battery remaining amount information. That is, when the battery of the first capsule endoscope apparatus 100 is low and photographing cannot be continued, it is possible to relay to the second capsule endoscope apparatus 300 and continue photographing.
  • the first information is an image captured by the first capsule endoscope apparatus 100, and the second capsule endoscope apparatus 300 is inserted into the living body after the first capsule endoscope apparatus 100 is inserted into the living body.
  • time difference information it may be information preset by a doctor (for example, stored in the extracorporeal device 200 or the second capsule endoscope device 300 in FIG. 3). Alternatively, it may be information set by a doctor when the second capsule endoscope apparatus 300 is inserted (for example, stored in the extracorporeal apparatus 200 of FIG. 3 or the second capsule endoscope apparatus 300). Alternatively, predetermined time difference information may be set in advance. Alternatively, when the first capsule endoscope device 100 and the second capsule endoscope device 300 are activated, a signal to that effect is transmitted to the extracorporeal device 200 (or the second capsule endoscope device 300), and the extracorporeal device. 200 (or the second capsule endoscope apparatus 300) may acquire time difference information from the signal.
  • the position of the first capsule endoscope apparatus 100 in the living body can be determined from the captured image. And the imaging operation of the 2nd capsule endoscope apparatus 300 can be changed according to the position. Further, the first capsule is obtained by using time interval information from when the first capsule endoscope apparatus 100 is inserted into the living body to when the second capsule endoscope apparatus 300 is inserted into the living body as the first information. The imaging operation of the second capsule endoscope apparatus 300 can be changed when the time interval (or the time before and after) has passed since the insertion of the endoscope apparatus 100 into the living body.
  • FIG. 3 shows a configuration example of an endoscope system according to the second embodiment.
  • the endoscope system includes a first capsule endoscope device 100, an extracorporeal device 200 (a processing device in a broad sense), and a second capsule endoscope device 300.
  • the first capsule endoscope apparatus 100 includes an imaging unit 101, an A / D conversion unit 102, a captured image transmission unit 103, an information transmission unit 104, a power supply unit 105, a light source unit 109, and a control unit 110.
  • the extracorporeal device 200 includes a captured image reception unit 201, an image processing unit 202, an image storage unit 203, an analysis unit 204, an information transmission / reception unit 206, and a control unit 207.
  • the second capsule endoscope apparatus 300 includes an imaging unit 301, an A / D conversion unit 302, a captured image transmission unit 303, an information reception unit 304, a power supply unit 305, a light source unit 309, and a control unit 310.
  • the light source unit 109 emits illumination light under the control of the control unit 110 to illuminate the subject.
  • the reflected light from the subject enters the imaging element of the imaging unit 101 via the optical lens system of the imaging unit 101.
  • the image sensor of the imaging unit 101 transfers the analog captured image to the A / D conversion unit 102.
  • the image sensor corresponds to, for example, an image sensor of a primary color single-plate array (Bayer array).
  • the imaging unit 101 is connected to the captured image transmission unit 103 via the A / D conversion unit 102.
  • the captured image transmission unit 103 connects to the captured image reception unit 201 in the extracorporeal device 200 via wireless.
  • the information transmission unit 104 connects to the information transmission / reception unit 206 in the extracorporeal device 200 via wireless.
  • the light source unit 109 is connected to the imaging unit 101, the A / D conversion unit 102, the captured image transmission unit 103, the information transmission unit 104, the light source unit 109, and the control unit 110.
  • the control unit 110 is bidirectionally connected to the imaging unit 101, the A / D conversion unit 102, the captured image transmission unit 103, the information transmission unit 104, the power supply unit 105, and the light source unit 109.
  • the A / D conversion unit 102 digitizes the analog captured image from the imaging unit 101 and converts it into a digital captured image (hereinafter abbreviated as a captured image), and the captured image is transmitted to the captured image transmission unit 103. Forward to.
  • the captured image transmission unit 103 transmits the captured image to the captured image reception unit 201 in the extracorporeal device 200 via wireless under the control of the control unit 110.
  • the configuration is such that the captured image is transmitted to the extracorporeal device 200 via the wireless communication without being compressed, but it is not necessary to be limited to this configuration.
  • the captured image may be temporarily compressed and transmitted to the extracorporeal device 200.
  • the power supply unit 105 continuously supplies power to each unit in the first capsule endoscope apparatus 100.
  • the information transmission unit 104 uses the signal that the power supply will be turned off soon (for example, the power is turned off after 15 minutes) via the information transmission unit 104 Then, the information is transmitted to the information transmitting / receiving unit 206 in the extracorporeal device 200 via wireless.
  • the captured image receiving unit 201 is connected to the image storage unit 203 via the image processing unit 202.
  • the information transmitting / receiving unit 206 is connected to the information receiving unit 304 in the second capsule endoscope apparatus 300 via wireless.
  • the image storage unit 203 is connected to the information transmission / reception unit 206 via the analysis unit 204.
  • the control unit 207 is bi-directionally connected to the captured image reception unit 201, the image processing unit 202, the image storage unit 203, the analysis unit 204, and the information transmission / reception unit 206.
  • the captured image receiving unit 201 receives the captured image transferred from the first capsule endoscope apparatus 100 via wireless, and transfers the captured image to the image processing unit 202.
  • the image processing unit 202 performs image processing on the captured image from the captured image receiving unit 201 based on the control of the control unit 207. For example, known interpolation processing, color management processing, edge enhancement processing, gradation conversion processing, and the like are performed. Under the control of the control unit 207, the image processing unit 202 transfers the processed three-plate RGB image (an image in which each pixel has an RGB pixel value) to the image storage unit 203.
  • the image storage unit 203 stores the RGB image as an image captured by the first capsule endoscope apparatus 100.
  • the present embodiment corresponds to a capsule endoscope for diagnosing a lesion based on a captured image captured while passing through the small and large intestines.
  • the two capsule endoscopes are placed at different times in the patient's body.
  • the patient takes the first capsule endoscope device 100 from the mouth.
  • the patient takes the second capsule endoscope apparatus 300 from the mouth.
  • a predetermined period for example, several hours, several tens of hours, several days, etc.
  • the first capsule endoscope apparatus 100 continuously captures an image after being inserted into the patient's body, and transmits the captured image to the captured image receiving unit 201 in the extracorporeal apparatus 200 via the captured image transmission unit 103 wirelessly.
  • the second capsule endoscope apparatus 300 is inserted into the patient after a predetermined period after the first capsule endoscope apparatus 100 is inserted.
  • the second capsule endoscope apparatus 300 is set in the sleep state, and does not start imaging immediately after being inserted into the patient's body.
  • the sleep state is a state in which power consumption is reduced without shooting.
  • the information receiving unit 304 waits for signal information (trigger signal) for starting imaging from the information transmitting / receiving unit 206 in the extracorporeal device 200.
  • the second capsule endoscope apparatus 300 may be first imaged at a low imaging frame rate (for example, imaging at 6 fpm: 6 frames / min) after being inserted into the patient's body. And when the signal information (trigger signal) for starting imaging from the information transmission / reception part 206 in the extracorporeal apparatus 200 is received, you may switch to a high imaging frame rate.
  • a low imaging frame rate for example, imaging at 6 fpm: 6 frames / min
  • the signal information (trigger signal) for starting imaging from the information transmission / reception part 206 in the extracorporeal apparatus 200 you may switch to a high imaging frame rate.
  • the imaging unit 301 When the signal information for starting imaging from the information transmitting / receiving unit 206 is sent to the information receiving unit 304, the imaging unit 301 is operated under the control of the control unit 310 to start imaging.
  • the analog captured image output from the image sensor of the imaging unit 301 is transferred to the A / D conversion unit 302.
  • the A / D conversion unit 302 digitizes the analog captured image from the imaging unit 301 and converts it into a digital captured image (hereinafter abbreviated as a captured image), and the captured image is transmitted to the captured image transmission unit 303.
  • the captured image transmission unit 303 transmits the captured image to the captured image reception unit 201 in the extracorporeal device 200 via wireless under the control of the control unit 310.
  • the configuration is such that the captured image is transmitted to the extracorporeal device 200 via the wireless communication without being compressed, but it is not necessary to be limited to this configuration.
  • the captured image may be temporarily compressed and transmitted to the extracorporeal device 200.
  • the image processing unit 202 performs image processing on the captured image from the captured image receiving unit 201 based on the control of the control unit 207. For example, known interpolation processing, color management processing, edge enhancement processing, gradation conversion processing, and the like are performed. Based on the control of the control unit 207, the image processing unit 202 transfers the processed three-plate RGB image to the image storage unit 203.
  • the image storage unit 203 stores the RGB image as an image captured by the second capsule endoscope apparatus 300.
  • the light source units 109 and 309 include a light source such as an LED and a lens that irradiates the subject with illumination light from the light source.
  • the imaging units 101 and 301 include, for example, an objective lens and an imaging element that photoelectrically converts an image obtained by the objective lens.
  • the A / D conversion unit 102 includes, for example, an A / D conversion circuit built in a chip of an image sensor, a CPU, or the like, or an A / D conversion circuit such as an ASIC.
  • the power supply units 105 and 305 include, for example, a battery and a power supply circuit that supplies power from the battery to each unit.
  • the captured image transmission units 103 and 303, the information transmission unit 104, the information reception unit 304, the captured image reception unit 201, and the information transmission / reception unit 206 are configured by, for example, a wireless communication circuit such as an ASIC or a wireless communication circuit built in a CPU or the like. Is done.
  • the control units 110, 207, and 310, the image processing unit 202, and the analysis unit 204 are configured by a processing device such as a CPU, MPU, or ASIC.
  • the image storage unit 203 includes a storage device such as a RAM, a nonvolatile memory, a hard disk drive, and an optical drive.
  • the extracorporeal device 200 for example, a processing device designed as a dedicated product for an endoscope system can be assumed.
  • a general-purpose processing device for example, a personal computer, a server, or a mobile device
  • the function as the extracorporeal device may be realized as application software.
  • FIG. 4 shows an explanatory diagram of the first operation example.
  • the control unit 207 measures the elapsed time from the reception timing of the battery exhaustion signal using a timer.
  • the control unit 207 detects that the timer count has reached T1.
  • the information transmission / reception unit 206 transmits a trigger signal to the information reception unit 304 of the second capsule endoscope apparatus 300.
  • the control unit 310 starts imaging by the imaging unit 301.
  • the trigger signal Before receiving the trigger signal, for example, power supply from the power supply unit 305 to the light source unit 309, the imaging unit 301, the A / D conversion unit 302, and the captured image transmission unit 303 is stopped, and the information reception unit 304 and the control unit 310 is waiting for a trigger signal.
  • the trigger signal When the trigger signal is received, power supply from the power supply unit 305 to each unit is started, and imaging is started. In this way, the second capsule endoscope apparatus 300 saves power until the imaging operation is activated by the trigger signal.
  • the imaging unit 301 may perform shooting at a frame rate lower than the normal frame rate.
  • power is supplied from the power supply unit 305 to each unit, but the light emission frequency of the light source unit 309, the imaging frequency of the imaging unit 301, and the frequency of image transmission by the captured image transmission unit 303 are the same as the frame rate. To save power.
  • the time measured by the timer does not have to be the same as the input time difference T1.
  • a trigger signal may be transmitted when a time shorter than the input time difference T1 by a predetermined time ⁇ (or a time longer by the predetermined time ⁇ ) is measured.
  • the second capsule endoscope device 300 may be activated after time T1, but in practice, Since the speed of advance is different, the margin can be taken.
  • the battery exhaustion signal is transmitted from the first capsule endoscope apparatus 100 to the extracorporeal apparatus 200, but the present invention is not limited to this, and the first capsule endoscope apparatus 100 directly transmits to the second capsule endoscope apparatus 300.
  • a battery exhaustion signal may be transmitted (without going through the extracorporeal device 200).
  • the second capsule endoscope apparatus 300 starts photographing immediately (or switches to a high frame rate) when a battery exhaustion signal is received.
  • the second capsule endoscope apparatus 300 generates a trigger signal when a predetermined time (T1 or T1 ⁇ ⁇ ) has elapsed after receiving the battery dead signal, and starts imaging (or increases the frame rate). Switching).
  • FIG. 5 shows an explanatory diagram of the second operation example.
  • the position of the first capsule endoscope apparatus 100 when the remaining battery level is equal to or less than a predetermined amount is specified by image recognition, so that the second capsule endoscope apparatus 300 can be more accurately positioned. Switch the frame rate and suppress diagnostic omissions.
  • a time interval from when the first capsule endoscope apparatus 100 is turned on to when the second capsule endoscope apparatus 300 is turned on is T1.
  • the amount of power (remaining battery power) remaining in the power supply unit 105 becomes equal to or less than the predetermined amount th1, a battery exhaustion signal is sent via the information transmission unit 104 to the information transmission / reception unit 206 in the extracorporeal device 200 via radio. Send.
  • the imaging unit 301 performs imaging at a low imaging frame rate (for example, imaging at 6 fpm: 6 frames / min).
  • This captured image is transmitted from the captured image transmission unit 303 to the captured image reception unit 201 of the extracorporeal device 200.
  • the imaging unit 101 of the first capsule endoscope apparatus 100 performs imaging at a normal frame rate (for example, imaging at 6 fps: 6 frames / second).
  • the captured image is transmitted from the captured image transmission unit 103 to the captured image reception unit 201 of the extracorporeal device 200.
  • the captured images before and after the reception are transferred from the image storage unit 203 to the analysis unit 204. For example, a captured image from the time when the battery exhaustion signal is received to a predetermined time before and a captured image from the time when the battery exhaustion signal is received until the position is determined to match are transferred. As the captured image, both the first and second capsule endoscope apparatuses 100 and 300 are transferred.
  • the analysis unit 204 analyzes the position in the body of the first capsule endoscope device 100 at the time when the extracorporeal device 200 receives the battery dead signal by image processing based on the captured image of the first capsule endoscope device 100. To do.
  • the position of the second capsule endoscope apparatus 300 in the body is analyzed by image processing based on the captured image of the second capsule endoscope apparatus 300.
  • the transmission / reception unit 206 transmits a trigger signal to the second capsule endoscope apparatus 300.
  • the control unit 310 switches the imaging frame rate by the imaging unit 301 from a low imaging frame rate to a high imaging frame rate (for example, imaging at 6 fps: 6 frames / second).
  • a high imaging frame rate for example, imaging at 6 fps: 6 frames / second.
  • the amount of motion of the subject for example, a motion vector
  • the imaging frame rate may be switched in multiple steps (for example, 2 fps to 12 fps) according to the amount of motion. Good. As the amount of movement increases, a higher imaging frame rate is set to prevent omissions from being taken.
  • FIG. 6 shows a detailed configuration example of the analysis unit 204.
  • the analysis unit 204 includes a classification unit 401, a classification unit 402, an analysis determination unit 403, and a storage unit 404.
  • the image storage unit 203 is connected to the classification unit 401 and the classification unit 402, respectively.
  • the classification unit 401 and the classification unit 402 are connected to the information transmission / reception unit 206 via the analysis determination unit 403, respectively.
  • the storage unit 404 is connected to the classification unit 401 and the classification unit 402, respectively.
  • the control unit 207 is bi-directionally connected to the classification unit 401, the classification unit 402, the analysis determination unit 403, and the storage unit 404.
  • the capsule endoscope devices 100 and 300 swallowed by the patient through the mouth are discharged from the anus through the esophagus, stomach, small intestine, and large intestine in this order.
  • the small intestine is further composed of the duodenum, jejunum and ileum.
  • the stomach is connected to the jejunum via the duodenum, and the ileum is connected to the large intestine via the ileocecal valve.
  • the large intestine is further composed of the colon and rectum.
  • an image recognition technique learns and classifies a captured image based on at least one feature amount of color, gradient, and texture, and in the classification process, Determine which part is visible.
  • a learning process is performed in advance before the capsule endoscope apparatuses 100 and 300 are drunk to the patient, and the learning result is stored in the storage unit 404.
  • the classification unit 401 controls the plurality of captured images (batteries) of the first capsule endoscope apparatus 100 under the control of the control unit 207.
  • a plurality of image-processed captured images captured before and after receiving the cut signal are read from the image storage unit 203 in time series, and the classification process is performed.
  • Classification processing may be performed on a captured image captured from the time when the battery exhaustion signal is received until the power of the power supply unit 105 of the first capsule endoscope apparatus 100 is turned off.
  • the classification unit 402 stores a plurality of captured images of the second capsule endoscope apparatus 300 (a plurality of image-processed captured images captured at a low frame rate before and after receiving the battery exhaustion signal). The data is read from 203 in time series, and the classification process is performed.
  • FIG. 7 is a diagram showing the flow of BoF algorithm processing.
  • Bag-of-Words which is a document search method, to image recognition, and is composed of two stages of processing, learning and classification.
  • classification items of a plurality of villuss such as “villus A”, “villus B”, and “villus C” are set based on information such as villus density, villus color, and villus thickness.
  • a plurality of classification items of mucous membranes such as “mucosa A”, “mucosa B”, and “mucosa C” are set based on information such as mucous membrane color, blood vessel distribution, and blood vessel thickness.
  • items other than villi and mucous membranes are set as “other” category items. Then, a learning image in which subjects of those classification items are captured is selected. Classification items may be set in consideration of processing costs, classification accuracy, and the like.
  • a feature quantity vector is calculated by a feature quantity extraction process, and an observation criterion called a visual word (Visual Word, hereinafter abbreviated as VW) is selected by a clustering process.
  • VW Visual Word
  • a known K-means method can be used.
  • a feature vector is calculated for each small region sequentially extracted from each learning image in the spatial direction in the same manner as described above, and a distance between the feature vector and VW is obtained. Vote for the VW with the smallest distance.
  • a BoF histogram corresponding to the image is generated.
  • BoF histograms for the number of learning images are generated.
  • a learning classifier is constructed for classifying images using these BoF histograms and BoF vectors having them as components.
  • SVM Serial (Vector Machine)
  • the information regarding the learning discriminator, the BoF histogram from the learning image, and the information of the BoF vector having these as components are calculated in advance and stored in the storage unit 404.
  • captured images for classification are sequentially input, and feature amount vectors are calculated in the same manner as described above for each small region sequentially extracted from the captured images in the spatial direction. Find the distance between. Vote for the VW with the smallest distance.
  • a BoF histogram corresponding to the captured image is generated.
  • discrimination is performed by the SVM classifier using the BoF histogram generated from the learning image, and the identification result (classification result) is output.
  • the BoF histogram is created using the captured image as described above, the BoF histogram of the learning image stored in the storage unit 404, the BoF vector having the BoF histogram as a component, the BoF histogram of the classification image from the SVM classifier, and The BoF vector having this as a component is compared, and a classification index index indicating which classification item belongs is given.
  • the classification unit 401 and the classification unit 402 classify each of the read captured images, and give a classification index index.
  • the classification index indices of both captured images are transferred to the analysis determination unit 403.
  • the feature amount vector is calculated using at least one feature amount of the color, gradient, and texture of the captured image.
  • FIG. 8 is an explanatory diagram of processing for calculating an LBP (Local-Binary-Pattern) feature vector.
  • the image is divided into blocks.
  • a cell (3 pixels ⁇ 3 pixels) centering on each pixel of interest is set.
  • 0 or 1 is assigned based on the magnitude relationship between the luminance values of the pixel of interest (the hatched pixel in FIG. 8) and neighboring pixels (the surrounding eight pixels).
  • An 8-bit LBP code is generated by arranging the 0 or 1 in order.
  • a histogram is generated by adding up the LBP codes of all cells in the block, and a histogram in units of blocks is generated.
  • the blocks are moved, the same processing is performed, and histograms for the number of blocks in one image are created. Further, the histogram is normalized for each block, and an LBP feature vector is generated.
  • FIG. 9 is an explanatory diagram of an HSV (Hue-Saturation-Value: HSV is a color space comprising three components of hue, saturation, and lightness (Value)) feature vector calculation process.
  • the HSV color space is divided into a plurality of regions in the hue direction, the saturation direction, and the brightness direction.
  • the RGB pixel value of each pixel of the image is converted into a pixel value of the HSV color system.
  • the converted HSV image is divided into blocks, and a histogram having the saturation and lightness relating to the hue as elements is calculated for each block.
  • the blocks are moved, the same processing is performed, and histograms for the number of blocks in one image are created. Further, the histogram is normalized for each block, and an HSV feature quantity vector is generated.
  • FIG. 10 is an explanatory diagram of processing for calculating a HOG (Histogram-of-Oriented-Gradient) feature vector.
  • a local region of the image is divided into blocks, luminance gradient information (gradient direction and weight, etc.) is calculated for each pixel, and a histogram of luminance gradient is calculated for each block.
  • the blocks are moved, the same processing is performed, and histograms for the number of blocks in one image are created. Further, the histogram is normalized for each block to generate a HOG feature quantity vector.
  • learning and classification are performed using the LBP feature value, the HSV feature value, and the HOG feature value, but it is not necessary to limit to such a configuration. Learning and classification can be performed using all the features related to gradient, color and texture as needed.
  • FIG. 11 shows a detailed configuration example of the analysis determination unit 403.
  • the analysis determination unit 403 includes a histogram unit 501, a histogram unit 502, a match determination unit 503, and a storage unit 504.
  • the classification unit 401 is connected to the histogram unit 501.
  • the classification unit 402 is connected to the histogram unit 502.
  • the histogram unit 501 and the histogram unit 502 are connected to the coincidence determination unit 503, respectively.
  • the storage unit 504 is connected to the histogram unit 501, the histogram unit 502, and the match determination unit 503, respectively.
  • the control unit 207 is bi-directionally connected to the histogram unit 501, the histogram unit 502, the coincidence determination unit 503, and the storage unit 504.
  • the histogram unit 501 uses the classification result of the captured image from the classification unit 401, creates a histogram based on the classification item, and transfers the histogram to the coincidence determination unit 503. That is, the number of captured images classified into each classification item such as villi A to C, mucous membranes A to C, and others is totaled to create a histogram.
  • the histogram unit 502 creates a histogram based on the classification item using the classification result of the captured image from the classification unit 402, and transfers the histogram to the coincidence determination unit 503.
  • the second capsule endoscope apparatus 300 performs imaging at a low imaging frame rate before receiving the trigger signal, but the first capsule endoscope apparatus 100 has a higher imaging frame rate higher than the low imaging frame rate. I'm shooting. Therefore, different numbers of captured images are captured during the same period. Therefore, the analysis unit 204 performs a thinning process on the captured image of the first capsule endoscope apparatus 100. For example, when the imaging frame of the first capsule endoscope apparatus 100 is 6 fpm and the imaging frame of the second capsule endoscope apparatus 300 is 2 fps, the captured image of the first capsule endoscope apparatus 100 is time-sequentially. One captured image is extracted every three. By doing so, the same number of captured images can be compared in a unit time.
  • FIG. 12 is an explanatory diagram of the histogram creation process.
  • a period (for example, 15 minutes) from when the first capsule endoscope apparatus 100 transmits a battery dead signal to the extracorporeal apparatus 200 until the power is turned off is defined as P1.
  • the histogram unit 501 creates a histogram of the classification results of the thinned images (the number of images N) of the captured images of the first capsule endoscope apparatus 100 during the P1 period.
  • the created histogram is transferred to the coincidence determination unit 503.
  • the histogram unit 502 sets an image captured in time series after the second capsule endoscope apparatus 300 receives the trigger signal as one comparison section in units of N images.
  • a histogram of the classification results is created and transferred to the match determination unit 503.
  • n images (n is an integer of n ⁇ 1) are shifted in the time series direction, and the same determination is performed in a new section including the next N images. In this manner, a histogram of classification results is generated for each section and transferred to the coincidence determination unit 503.
  • the coincidence determination unit 503 compares the histogram sent from the histogram unit 501 with the histogram sequentially sent from the histogram unit 502. For example, as shown in FIG. 13, the comparison is made based on the Euclidean distance between the two histograms H and Q (the following expression (1)). Histograms H and Q are histograms created by the histogram units 501 and 502, respectively.
  • the coincidence determination unit 503 determines that the two histograms H and Q completely match when the value of d (H, Q) calculated by the above equation (1) is 0. If d (H, Q) is smaller than a predetermined threshold, it is determined that the two histograms H and Q are similar. That is, it is determined that the second capsule endoscope apparatus 300 has arrived at a place (part) from when the first capsule endoscope apparatus 100 transmits a battery dead signal to when the power is turned off.
  • the coincidence determination unit 503 transfers the information determined to have reached the information transmission / reception unit 206. Based on the control of the control unit 207, the information transmission / reception unit 206 transmits a signal (trigger signal) for switching the imaging frame rate to the second capsule endoscope apparatus 300 via wireless.
  • the information receiving unit 304 of the second capsule endoscope apparatus 300 controls the imaging unit 301 to switch from the low imaging frame rate to the high imaging frame rate.
  • histogram of a classification result was compared using the Euclidean distance
  • histograms may be compared using an intersection method or a correlation method.
  • the first capsule endoscope apparatus 100 sends a battery dead signal and the captured image captured between the time when the power is turned off and the second capsule endoscope apparatus 300 are Compare the images taken in time series after receiving the trigger signal, and at that time, in the time-series captured images, make one comparison interval in N units, create a histogram of the classification results of each interval, By sequentially comparing the sections, it is possible to specify that the second capsule endoscope apparatus 300 has reached the place before the power of the first capsule endoscope apparatus 100 is turned off. Since the second capsule endoscope apparatus 300 switches from the low imaging frame rate to the high imaging frame rate, the patient body can be imaged by the relay method using the two capsule endoscope apparatuses. The risk of diagnosis omission due to power failure can be suppressed as compared with the case of using only the endoscope.
  • the position may be specified based on the radio wave intensity.
  • FIG. 14 shows a configuration example of the endoscope system of this modification.
  • the endoscope system includes a first capsule endoscope device 100, an extracorporeal device 200, and a second capsule endoscope device 300.
  • the first capsule endoscope apparatus 100 includes an imaging unit 101, an A / D conversion unit 102, a captured image transmission unit 103, an information transmission unit 104, a power supply unit 105, a light source unit 109, and a control unit 110.
  • the second capsule endoscope apparatus 300 includes an imaging unit 301, an A / D conversion unit 302, a captured image transmission unit 303, an information reception unit 304, a power supply unit 305, a light source unit 309, and a control unit 310.
  • the extracorporeal device 200 includes a captured image reception unit 201, an image processing unit 202, an image storage unit 203, a position detection unit 205, an information transmission / reception unit 206, a control unit 207, and a storage unit 208.
  • a captured image reception unit 201 an image processing unit 202, an image storage unit 203, a position detection unit 205, an information transmission / reception unit 206, a control unit 207, and a storage unit 208.
  • symbol is attached
  • the captured image receiving unit 201 is connected to the image storage unit 203 via the image processing unit 202.
  • the information transmitting / receiving unit 206 is connected to the information receiving unit 304 in the second capsule endoscope apparatus 300 via wireless.
  • the position detection unit 205 is connected to the information transmission / reception unit 206.
  • the storage unit 208 is bidirectionally connected to the position detection unit 205.
  • the control unit 207 is bi-directionally connected to the captured image reception unit 201, the image processing unit 202, the image storage unit 203, the position detection unit 205, the information transmission / reception unit 206, and the storage unit 208.
  • a plurality of reception antennas are attached to the patient's body surface in order to receive captured images transmitted from the capsule endoscope apparatuses 100 and 300 to the extracorporeal apparatus 200 via radio.
  • a position detection unit 205 is provided in the extracorporeal device 200.
  • the first capsule endoscope apparatus 100 transmits a battery exhaustion signal to the information transmitting / receiving unit 206 in the extracorporeal apparatus 200 via the information transmitting unit 104 before the power is turned off under the control of the control unit 110.
  • the control unit 207 in the extracorporeal device 200 operates the position detection unit 205 when the information transmission / reception unit 206 receives a battery exhaustion signal.
  • the position detection unit 205 detects the position of the first capsule endoscope device 100 in the patient body using a plurality of antennas attached to the patient's body surface based on the control of the control unit 207. That is, based on the position of each antenna attached to the patient's body surface and the radio field intensity of the received signal received by each antenna, the position of the first capsule endoscope apparatus 100 in the patient's body using, for example, three-dimensional positioning Is detected.
  • the position detection unit 205 stores the position information in the storage unit 208.
  • the position detection unit 205 continues to detect the position of the second capsule endoscope apparatus 300 in the patient body in the same manner.
  • the information transmission / reception unit 206 performs control.
  • a trigger signal is transmitted to the information receiving unit 304 of the second capsule endoscope apparatus 300 via wireless.
  • the second capsule endoscope apparatus 300 controls the imaging unit 301 to switch from the low imaging frame rate to the high imaging frame rate.
  • various modifications can be considered as a method for specifying the position.
  • a battery exhaustion signal is sent from a capsule endoscope that is initially placed in the patient's body
  • the capsule using an inspection method or an ultrasonic inspection method that uses radiation such as X-rays or CT is used.
  • the location of the endoscope may be specified. If it is confirmed that the capsule endoscope swallowed later has reached the same place, the imaging of the capsule endoscope may be controlled.
  • a button or the like may be provided in the extracorporeal device 200, and a trigger signal may be transmitted to the second capsule endoscope device 300 when the doctor presses the button.
  • the two capsule endoscope apparatuses are separately put into the patient body at different timings, but it is not necessary to limit to such a method.
  • two capsule endoscope apparatuses are integrated (two sets of endoscope apparatuses are built in one capsule housing), and simultaneously put into the patient's body.
  • imaging is performed by the first capsule endoscope apparatus, but the other capsule endoscope apparatus is not operated (or imaging at a low frame rate).
  • the imaging of the other capsule endoscope apparatus is started (or switched from the low frame rate to the high frame rate) before the power of the first capsule endoscope apparatus is exhausted.
  • the method of examining the patient's body by the relay method using the two capsule endoscope devices is adopted, but is not limited to this.
  • three or more capsule endoscope apparatuses may be examined in the body of one patient by a relay method.
  • the endoscope system includes the processing device that receives the first information related to the first capsule endoscope device 100 and outputs a trigger signal.
  • the second control unit 310 of the second capsule endoscope apparatus 300 performs a change process of the imaging operation of the second imaging element 320 (included in the imaging unit 301).
  • the processing device receives the first information from the first capsule endoscope device 100, generates a trigger signal based on the first information, and performs the imaging operation of the second capsule endoscope device 300. You can start (or switch the frame rate).
  • the processing device corresponds to the extracorporeal device 200 of FIG. 3 in the second embodiment.
  • the present invention is not limited to this, and for example, as will be described later with reference to FIG.
  • the endoscope system may not include an extracorporeal device.
  • an extracorporeal device for storing captured images may be included.
  • the first capsule endoscope apparatus 100 includes a first communication unit that transmits battery remaining amount information of the first capsule endoscope apparatus 100 as first information.
  • the processing device outputs a trigger signal when a predetermined time has elapsed since the remaining amount of the battery becomes equal to or less than a predetermined amount.
  • the first communication unit corresponds to the information transmission unit 104 in FIG. 3 in the second embodiment.
  • the first communication unit may further include a captured image transmission unit 103.
  • the 1st capsule endoscope apparatus 100 will transmit the battery remaining amount information wirelessly via the 1st communication part, and the processing device will receive the remaining amount information of the battery and generate a trigger signal can do.
  • the second capsule endoscope apparatus 300 becomes incapable of imaging the first capsule endoscope apparatus 100. Can be relayed to.
  • the predetermined time corresponds to a time difference from when the first capsule endoscope apparatus 100 is inserted into the living body to when the second capsule endoscope apparatus 300 is inserted into the living body. .
  • time difference information for example, information stored by the doctor in the processing device, predetermined time difference information set in the processing device in advance, or the like can be assumed.
  • the predetermined time may be the input time difference itself, or may be obtained by increasing or decreasing the margin with respect to the input time difference.
  • a trigger signal can be output when a predetermined time corresponding to the difference between the insertion times of the two capsule endoscope apparatuses 100 and 300 elapses after the remaining amount of the battery becomes a predetermined amount or less.
  • the first capsule endoscope apparatus 100 transmits the battery remaining amount information of the first capsule endoscope apparatus 100 and the image captured by the first capsule endoscope apparatus 100 as the first information.
  • the processing device acquires position information in the living body of the first capsule endoscope device 100 when the remaining amount of the battery becomes equal to or less than a predetermined amount based on an image captured by the first capsule endoscope device 100.
  • the processing device determines that the position of the second capsule endoscope device 300 in the living body matches the position represented by the position information based on the image captured by the second capsule endoscope device 300, Outputs a trigger signal.
  • the location information corresponds to the classification result by the classification process in the second embodiment. That is, classification such as villi density and type of mucous membrane, and they differ depending on the part of the digestive tract and its position (approximate position. For example, the upper part of the small intestine has higher villi density)
  • classification information that substantially represents a part of the digestive tract and a position in the digestive tract.
  • the position information is not limited to this, and may be any information that specifies the position in the living body. For example, it may be position information specified using three-dimensional positioning by an antenna, an X-ray image, or the like.
  • the matching of the positions is not limited to the exact matching, but may be the matching within a certain range.
  • the range in which the density of the villi and the type of mucous membrane are determined to be the same classification is the range in which the positions are determined to match.
  • the second capsule endoscope apparatus 300 has reached a position where the first capsule endoscope apparatus 100 can no longer capture images. Can be changed, the imaging operation of the second capsule endoscope apparatus 300 can be changed. As a result, it is possible to control the timing of the relay so that there is no omission.
  • the processing device outputs a trigger signal when the above match determination is made within a predetermined time range based on a predetermined time after the remaining amount of the battery becomes a predetermined amount or less. Output.
  • the second information is obtained at the position at which the first capsule endoscope apparatus 100 can no longer capture images based on the two pieces of information of the insertion time difference between the capsule endoscope apparatuses 100 and 300 and the position matching determination based on the captured images. It can be determined whether or not the capsule endoscope apparatus 300 has arrived. Thereby, the timing of a relay can be judged more correctly.
  • the processing device is the extracorporeal device 200.
  • the second capsule endoscope apparatus 300 includes a second communication unit that receives a trigger signal.
  • the second communication unit corresponds to the information transmitting / receiving unit 206 in FIG. 3 in the second embodiment.
  • the second communication unit may further include a captured image receiving unit 201.
  • the extracorporeal device 200 that is generally used for receiving and storing captured images in a capsule endoscopic device system can be converted into two capsule endoscope devices 100, 300 can also be used as a relay imaging control device.
  • the first capsule endoscope device 100 and the second capsule endoscope device 300 may be configured as dedicated products, or may be configured to be switchable depending on mode settings. In the latter case, for example, the configuration is as follows.
  • the capsule endoscope apparatus includes an imaging element and a control unit that controls an imaging operation by the imaging element.
  • the capsule endoscope apparatus can be set to the first operation mode and the second operation mode.
  • the control unit changes the control of the imaging operation by the imaging element based on the first information regarding the capsule endoscope apparatus set to the first operation mode.
  • the capsule endoscope apparatus set in the first operation mode is a capsule endoscope apparatus that is introduced into the living body before the capsule endoscope apparatus set in the second operation mode.
  • the capsule endoscope apparatus includes a mode setting unit (for example, a register or a non-volatile memory), and sets the mode from an external device to the mode setting unit via wireless or the like.
  • the mode setting may be performed before shipment or may be performed by the user.
  • the first operation mode is a mode for performing the same operation as the operation performed by the first capsule endoscope apparatus 100 described above
  • the second operation mode is the same operation as the operation performed by the second capsule endoscope apparatus 300 described above. It is a mode to perform.
  • the above-described endoscope system is configured by the capsule endoscope apparatus set in the first operation mode and the capsule endoscope apparatus set in the second operation mode.
  • an endoscope system may be configured including the extracorporeal device 200.
  • relay imaging by two capsule endoscope apparatuses can be realized by the capsule endoscope apparatus set in the first mode and the capsule endoscope apparatus set in the second mode. Since the two capsule endoscope apparatuses can be realized by a capsule endoscope apparatus having the same configuration capable of mode switching, design and manufacturing can be simplified.
  • FIG. 15 shows a configuration example of an endoscope system according to a third embodiment.
  • the endoscope system includes a first capsule endoscope device 100, an extracorporeal device 200, and a second capsule endoscope device 300.
  • the first capsule endoscope apparatus 100 includes an imaging unit 101, an A / D conversion unit 102, a captured image transmission unit 103, an information transmission unit 104, a power supply unit 105, a light source unit 109, and a control unit 110.
  • the second capsule endoscope apparatus 300 includes an imaging unit 301, an A / D conversion unit 302, a captured image transmission unit 303, an information reception unit 304, a power supply unit 305, a light source unit 309, and a control unit 310.
  • the extracorporeal device 200 includes a captured image reception unit 201, an image processing unit 202, an image storage unit 203, an analysis unit 204, an information transmission / reception unit 206, a control unit 207, and a presentation unit 220.
  • a captured image reception unit 201 an image processing unit 202, an image storage unit 203, an analysis unit 204, an information transmission / reception unit 206, a control unit 207, and a presentation unit 220.
  • symbol is attached
  • the third embodiment is characterized in that it relates to the timing at which the second capsule endoscope apparatus 300 is put into the patient's body.
  • the power supply capacity of the first capsule endoscope apparatus 100 is lost, so When it is determined that imaging is unlikely, the second capsule endoscope apparatus 300 is inserted into the patient's body.
  • FIG. 16 is an explanatory diagram of an operation example in the third embodiment.
  • a colonoscopy is performed using a capsule endoscope.
  • the power supply capacity is lost.
  • the information transmission unit 104 transmits a battery exhaustion signal to the information transmission / reception unit 206 of the extracorporeal device 200 by radio under the control of the control unit 110.
  • the presentation unit 220 presents (notifies) that the battery dead signal has been received from the first capsule endoscope apparatus 100.
  • the presentation unit 220 includes a light emitting unit and a speaker, and notifies the user by light emission from the light emitting unit and a warning sound from the speaker.
  • the doctor When receiving the notification, the doctor confirms the captured images before and after that time, and confirms the location of the first capsule endoscope apparatus 100 in the patient.
  • the first capsule endoscope apparatus 100 When the first capsule endoscope apparatus 100 is not in the large intestine, or even if it is in the large intestine, it is expected that the first capsule endoscope apparatus 100 is not discharged from the body before the battery capacity is exhausted.
  • the doctor inserts the second capsule endoscope device 300 into the patient's body.
  • the extracorporeal device 200 may estimate the location of the first capsule endoscope device 100 by image recognition.
  • the extracorporeal device 200 presents the location of the first capsule endoscope device 100 when receiving a battery exhaustion signal from the first capsule endoscope device 100 to the doctor.
  • the presentation unit 220 may be configured by a light emitting unit corresponding to each part of the digestive tract, and the light emitting part corresponding to the determined location part may emit light.
  • the presentation part 220 is comprised with display apparatuses, such as a liquid crystal display, and may show a location by the image display.
  • the human small intestine is usually 5 to 6 meters long, and villi are distributed.
  • the classification items of “with villi” and “without villi” can be set, and the location of the first capsule endoscope apparatus 100 can be estimated using image recognition technology.
  • the analysis unit 204 controls the first time before and after the same time from the image storage unit 203 under the control of the control unit 207.
  • a captured image of the capsule endoscope apparatus 100 is read out, and classification is performed using the captured image.
  • the first capsule endoscope apparatus 100 can determine that the image is still in the small intestine. The doctor is informed of the information, and the patient drinks the second capsule endoscope device 300.
  • the captured images sent to the extracorporeal device 200 after the first capsule endoscope device 100 is inserted into the patient may be classified.
  • the control unit 207 captures the last captured image determined by the analysis unit 204 as “with villi”. From time to time, the information transmission / reception unit 206 calculates the time interval T2 until the time when the battery exhaustion signal is received.
  • T2 is a time interval from when the first capsule endoscope apparatus 100 enters the large intestine to when a battery exhaustion signal is transmitted.
  • the presentation unit 220 presents this time interval T2 to the doctor.
  • the time for the capsule body to stay in the large intestine is 3 hours on average.
  • T2 is presented as 1 hour, the doctor can determine that the first capsule endoscope apparatus 100 has entered the large intestine but cannot capture the entire large intestine region before being discharged. In this case, the doctor places the second capsule endoscope device 300 into the patient's body.
  • the analysis unit 204 uses the image recognition technique to store the first capsule
  • the doctor determines that the second capsule endoscope apparatus 300 is not put into the patient's body.
  • the presentation unit 220 presents the analysis result of the analysis unit 204 when a battery exhaustion signal is received to a doctor using a light emitting unit, a display device, or the like.
  • the progress of the first capsule endoscope apparatus 100 is greatly affected by the amount of residue in the patient's body.
  • the amount of residue increases (particularly in the large intestine region), the movement of the first capsule endoscope device 100 becomes dull and the time for staying in the patient's body becomes longer.
  • the image recognition technique is used to classify the captured image of the first capsule endoscope apparatus 100 using the classification items “with residue” and “without residue”.
  • a predetermined time after the first capsule endoscope apparatus 100 is put into the patient's body for example, 5 hours. This time may be set from experience values of conventional cases).
  • the doctor determines that there is a high possibility that power will be lost before the first capsule endoscope apparatus 100 is discharged from the body, and throws the second capsule endoscope apparatus 300 into the patient's body.
  • the presentation unit 220 occupies, for example, an elapsed time since the first capsule endoscope device 100 is inserted into the patient's body and a captured image classified as “with residue” among all the captured images. The percentage is presented to the doctor.
  • the movement (speed of advance) in the body of the first capsule endoscope apparatus 100 differs depending on the patient. Usually, if the movement is intense, the first capsule endoscope apparatus 100 is likely to be discharged out of the body quickly. If the movement is slow, it takes time until the first capsule endoscope apparatus 100 is discharged out of the body. It takes. Using this feature, the insertion timing of the second capsule endoscope apparatus 300 may be measured.
  • the SAD value (Sum of Absolute Difference) is calculated using the following equation (2). The closer the SAD value is to 0, the higher the similarity between the two captured images.
  • the calculation of the SAD value is performed by the image processing unit 202, for example. Alternatively, a motion amount calculation unit (not shown) may be provided.
  • isad is the SAD value
  • i is the horizontal coordinate of the two-dimensional captured image
  • j is the vertical coordinate of the two-dimensional captured image
  • M is the horizontal width size of the captured image
  • N is the vertical width size of the captured image
  • I (i , J) is the pixel value (luminance value) of the coordinates (i, j) of the current captured image
  • I ′ (i, j) is the pixel value (luminance value) of the coordinates (i, j) of the past captured image. is there.
  • the SAD value isad is larger than the predetermined threshold value, it is determined that the first capsule endoscope apparatus 100 is moving (or is fast), and the “motion present” flag is stored.
  • the SAD value isad is equal to or smaller than the predetermined threshold, it is determined that the first capsule endoscope apparatus 100 does not move (or is slow), and the “no motion” flag is stored.
  • the motion information of each captured image is calculated and stored.
  • the flag is stored in a storage unit (not shown).
  • a predetermined time for example, 5 hours; this time may be set from experience values of conventional cases
  • the doctor It is determined that there is a high possibility that power will be lost before the 1-capsule endoscope apparatus 100 is discharged from the body, and the second capsule endoscope apparatus 300 is inserted into the patient's body.
  • the presentation unit 220 occupies the elapsed time since the first capsule endoscope apparatus 100 is inserted into the patient's body and the captured image determined as “no movement” among all the captured images.
  • the ratio (or information on whether the ratio is greater than the threshold) and the doctor are presented.
  • the time after the first capsule endoscope apparatus 100 is inserted into the patient's body identification information (such as villi and residues) by the image recognition technology, correlation between images (motion amount), and the like are used. Thus, the internal position of the first capsule endoscope apparatus 100 is estimated. And after grasping
  • the first capsule endoscope apparatus 100 may stop at a certain place in the body (for example, the sigmoid colon) and move forward without being turned off. At this time, even if the second capsule endoscope apparatus 300 is inserted, there is a possibility that the power will be lost without stopping at the same place as the first capsule endoscope apparatus 100 and moving forward.
  • the first capsule endoscope apparatus 100 stops at a certain place in the body (for example, the sigmoid colon) and does not move forward, the first capsule endoscope apparatus 100 is discharged out of the body. Until the second capsule endoscope apparatus 300 is inserted into the body. You may wait for the first capsule endoscope device 100 to be discharged from the body naturally due to peristalsis in the intestine. However, a doctor may add a booster or a peristaltic promoter into the patient's body, or exercise or massage the patient. For example, the first capsule endoscope apparatus 100 may be discharged out of the body. After the first capsule endoscope apparatus 100 is discharged out of the body, the second capsule endoscope apparatus 300 is inserted into the body at the input timing as determined by a doctor.
  • a doctor may add a booster or a peristaltic promoter into the patient's body, or exercise or massage the patient.
  • the first capsule endoscope apparatus 100 may be discharged out of the body.
  • the method described in the first and second embodiments can be used. That is, it is confirmed that the second capsule endoscope apparatus 300 has reached the place where the power of the first capsule endoscope apparatus 100 is turned off, and imaging of the second capsule endoscope apparatus 300 is started (or high). Switch to frame rate). At this time, as soon as the arrival is confirmed, the imaging of the second capsule endoscope apparatus 300 may be started, or the arrival is notified to the doctor, and the doctor determines the situation and adaptively determines the second capsule. The imaging of the endoscope apparatus 300 may be controlled. By doing so, it is possible to solve the problem that the plurality of capsule main bodies stop at the same place and do not move forward but are turned off.
  • the endoscope system is configured so that the first capsule endoscope apparatus 100, the second capsule endoscope apparatus 300, and the second capsule endoscope apparatus 300 are in vivo. Based on the first information related to the first capsule endoscope apparatus 100 that is input to the first capsule endoscope apparatus 100, whether or not to input the second capsule endoscope apparatus 300 into the living body, and information for determining the input And a processing device for presenting.
  • the doctor can receive the input information for input determination, and thereby determine whether or not to input the second capsule endoscope apparatus 300 into the living body. Thereby, if necessary, the second capsule endoscope apparatus can be inserted into the patient and imaging by the relay method can be performed.
  • the processing device corresponds to the extracorporeal device 200 of FIG. 15 in the third embodiment.
  • the insertion determination information may be any information as long as the doctor who receives the information can determine whether or not to insert the second capsule endoscope device 300 into the living body.
  • lamp lighting, warning sound, vibration, image display, or the like that informs what should be turned on or when the time of turning on has come may be used.
  • the doctor who receives the information may immediately insert the capsule endoscope apparatus.
  • it may be an image display or the like that suggests (or estimates) to the doctor whether or not the injection should be performed or when the input timing comes.
  • the doctor who receives the information may insert the capsule endoscope apparatus based on a conclusion or timing suggested (or estimated) from the information.
  • various methods capable of presenting (or notifying) information to the person from the apparatus such as lighting of a lamp, warning sound, vibration, and image display, can be used.
  • the first information is the remaining battery information of the first capsule endoscope apparatus 100.
  • the inside of the first capsule It can be determined that it is unlikely that photographing can be completed with only the endoscope apparatus 100. As described above, it is possible to determine whether or not the doctor inserts the second capsule endoscope apparatus 300 or the timing to insert it according to the remaining battery level.
  • the first information is information on the elapsed time since the first capsule endoscope apparatus 100 is inserted into the living body.
  • the time from when the capsule endoscope device starts to operate until the battery runs out and photography cannot be performed is roughly determined by the specifications (for example, the capacity of the battery and the current consumption of the capsule endoscope device). Therefore, when the first capsule endoscope apparatus 100 is not out of the body before the time elapses, it can be determined that there is a low possibility that the imaging can be completed only with the first capsule endoscope apparatus 100. As described above, it is possible to determine whether or not the doctor inserts the second capsule endoscope apparatus 300 or the timing to input it based on the elapsed time information after the first capsule endoscope apparatus 100 is inserted into the living body.
  • the input determination information is information indicating whether or not the first capsule endoscope apparatus 100 has finished photographing the target range of the living body.
  • the target range is the small intestine or the large intestine
  • whether or not the small intestine or the large intestine can be photographed from the last image photographed by the first capsule endoscope apparatus 100 (or shortly before the remaining battery level is exhausted) is determined. I can judge.
  • the input determination information may be information on a part determined by the processing device through image recognition, or may be a captured image itself. From these pieces of information, the doctor can determine whether or not to insert the second capsule endoscope apparatus 300 or the timing to insert it.
  • the input determination information is an image captured by the first capsule endoscope apparatus 100.
  • the first The doctor can determine whether or not the capsule endoscope apparatus 100 has finished photographing the target range of the living body. That is, the doctor can determine whether or not to insert the second capsule endoscope apparatus 300 from the captured image.
  • FIG. 17 shows a modified configuration example of the endoscope system.
  • the endoscope system includes a first capsule endoscope device 100 and a second capsule endoscope device 300.
  • the first capsule endoscope apparatus 100 includes an imaging unit 101, an A / D conversion unit 102, an information transmission unit 104, a power supply unit 105, a light source unit 109, a control unit 110, an image processing unit 121, an analysis unit 122, and an image storage unit.
  • the second capsule endoscope apparatus 300 includes an imaging unit 301, an A / D conversion unit 302, a power source unit 305, a light source unit 309, a control unit 310, and a processing device 400.
  • the processing device 400 includes an image processing unit 321, an analysis unit 322, an image storage unit 323, a presentation unit 324 (notification unit), and an information reception unit 304.
  • image processing unit 321, an analysis unit 322, an image storage unit 323, a presentation unit 324 (notification unit), and an information reception unit 304 includes an image processing unit 321, an analysis unit 322, an image storage unit 323, a presentation unit 324 (notification unit), and an information reception unit 304.
  • symbol is attached
  • the processing device 400 is included in the second capsule endoscope device 300, and the processing device 400 receives a battery exhaustion signal from the first capsule endoscope device 100 and receives the second capsule endoscope.
  • the doctor presents (notifies) the timing of inserting the device 300.
  • the processing device 400 can be constituted by, for example, a CPU, MPU, ASIC, or the like.
  • the image processing unit 121 performs image processing on the Bayer image to generate an RGB image.
  • the image storage unit 123 stores the RGB image as a captured image.
  • the analysis unit 122 corresponds to the classification unit 401 and the storage unit 404 of the analysis unit 204 in FIG. That is, the analysis unit 122 classifies the captured images stored in the image storage unit 123 based on a classification criterion (for example, classification based on villi density, classification of the type of mucous membrane, etc.) learned in advance.
  • the information transmitting unit 104 wirelessly transmits the classification result to the information receiving unit 304 of the second capsule endoscope apparatus 300.
  • the information transmission unit 104 wirelessly transmits a battery exhaust signal to the information reception unit 304. For example, as the classification result, the classification result at the time when the remaining battery level becomes equal to or less than a predetermined amount (the time when the battery dead signal is transmitted) is transmitted.
  • the presenting unit 324 presents (notifies) a doctor to that effect. For example, it is presented by light emission from the light emitting unit or a warning sound from a speaker.
  • the presentation unit 324 receives a battery exhaustion signal, and determines from the received classification result that the first capsule endoscope apparatus 100 cannot capture the entire range of the imaging target (for example, a battery exhaustion signal). May be presented to the doctor) when the classification result when the message is received indicates small intestine.
  • the doctor inserts the second capsule endoscope device 300 into the patient's body based on the presentation information of the presentation unit 324.
  • the image processing unit 321 performs image processing on the Bayer image to generate an RGB image.
  • the image storage unit 323 stores the RGB image as a captured image.
  • the analysis unit 322 corresponds to the classification unit 402, the analysis determination unit 403, and the storage unit 404 of the analysis unit 204 in FIG.
  • the analysis unit 322 classifies the captured images stored in the image storage unit 323 based on a classification criterion (for example, classification based on villi density, classification of the type of mucous membrane, etc.) learned in advance. Then, the classification result is compared with the classification result received by the information receiving unit 304 from the first capsule endoscope apparatus 100.
  • a classification criterion for example, classification based on villi density, classification of the type of mucous membrane, etc.
  • the control unit 310 causes the imaging unit 301 to start imaging (or switch from a low frame rate to a high frame rate).
  • the capsule endoscope apparatuses 100 and 300 and the extracorporeal apparatus 200 in the first to third embodiments and various modifications may include a processor and a memory.
  • the processor here may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to the CPU, and various processors such as a GPU (GraphicsGProcessing Unit) or a DSP (Digital Signal Processor) can be used.
  • the processor may be an ASIC hardware circuit.
  • the memory stores instructions that can be read by a computer, and each part of the capsule endoscope apparatus 100, 300, the extracorporeal apparatus 200, and the like according to the present embodiment is realized by executing the instructions by the processor. Will be.
  • the memory here may be a semiconductor memory such as SRAM or DRAM, or a register or a hard disk.
  • the instruction here may be an instruction of an instruction set constituting the program, or an instruction for instructing an operation to the hardware circuit of the processor.
  • first capsule endoscope apparatus 101 imaging unit, 102 A / D conversion unit, 103 captured image transmission unit, 104 information transmission unit, 105 power supply unit, 109 light source unit, 110 control unit (first control unit), 120 first image sensor, 121 image processing unit, 122 analysis unit, 123 image storage unit, 200 extracorporeal device, 201 captured image receiving unit, 202 image processing unit, 203 image storage unit, 204 analysis unit, 205 position detection unit, 206 information transmission / reception unit, 207 control unit, 208 storage unit, 220 presentation unit, 300 second capsule endoscope device, 301 imaging unit, 302 A / D conversion unit, 303 captured image transmission unit, 304 Information receiving unit, 305 power supply unit, 309 light source unit, 310 control unit (second control unit), 320 second image sensor, 321 image processing unit, 322 analysis unit, 323 image storage unit, 324 presentation unit, 400 processing device, 401 classification unit, 402 classification unit, 403 analysis determination unit, 404 storage unit, 501 Histogram part, 502

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

内視鏡システムは、第1カプセル内視鏡装置100、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、第2カプセル内視鏡装置300よりも以前に生体内に投入される。その第1カプセル内視鏡装置100は、第1撮像素子120と、第1撮像素子120による撮像動作を制御する第1制御部110と、を有する。第2カプセル内視鏡装置300は、第2撮像素子320と、第1カプセル内視鏡装置100に関する第1情報に基づいて、第2撮像素子320による撮像動作の制御の変更処理を行う第2制御部310と、を有する。

Description

内視鏡システム及びカプセル内視鏡装置
 本発明は、内視鏡システム及びカプセル内視鏡装置等に関する。
 カプセル内視鏡装置は小型であるため、内蔵できる電池の容量が限られている。そのため、長い消化管を撮影するために電源の節約が必要になる。電源を節約する手法として、例えば特許文献1のようにフレームレートを制御する手法がある。特許文献1では、時系列に撮像された少なくとも2枚の画像を比較することによってカプセル内視鏡装置の運動を測定する。そして、カプセル内視鏡装置の運動が比較的に遅いと判断した場合には、撮像フレームレートを低速に変更し、カプセル内視鏡装置の運動が比較的に速いと判断した場合には、撮像フレームレートを高速に変更する。
特開2006-223892号公報
 しかしながら、上記のような対応をとってもなお、撮影の途中で電池の残量が無くなってしまい、診断漏れが発生する可能性がある。例えば、特許文献1では、患者がカプセル内視鏡を口から飲み込んでから体外に排出するまでの間に、長時間にリアルタイムに2枚の画像を比較することによってカプセル内視鏡装置の運動を測定し、撮像フレームレートを適応的に制御する。そのため、撮像枚数が膨大に膨らみ、カプセル内蔵の電池が途中で切れてしまう可能性がある。
 本発明の幾つかの態様によれば、電池の残量が無くなることによる撮影漏れを低減できる内視鏡システム及びカプセル内視鏡装置等を提供できる。
 本発明の一態様は、第1カプセル内視鏡装置と、第2カプセル内視鏡装置と、を含み、前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡装置は、第1撮像素子と、前記第1撮像素子による撮像動作を制御する第1制御部と、を有し、前記第2カプセル内視鏡装置は、第2撮像素子と、前記第1カプセル内視鏡装置に関する第1情報に基づいて、前記第2撮像素子による撮像動作の制御の変更処理を行う第2制御部と、を有する内視鏡システムに関係する。
 本発明の一態様によれば、第2カプセル内視鏡装置よりも以前に生体内に投入された第1カプセル内視鏡装置に関する第1情報に基づいて、第2カプセル内視鏡装置の第2撮像素子による撮像動作の制御の変更処理が行われる。これにより、第1、第2カプセル内視鏡装置によるリレー撮影が可能となり、電池の残量が無くなることによる撮影漏れを低減することが可能になる。
 また本発明の他の態様は、撮像素子と、前記撮像素子による撮像動作を制御する制御部と、を含むカプセル内視鏡装置であって、前記カプセル内視鏡装置は、第1動作モードと第2動作モードに設定可能であり、前記カプセル内視鏡装置が前記第2動作モードに設定された場合、前記制御部は、前記第2動作モードに設定された前記カプセル内視鏡装置よりも以前に生体内に投入され前記第1動作モードに設定されたカプセル内視鏡装置に関する第1情報に基づいて、前記撮像素子による撮像動作の制御の変更処理を行うことを特徴とするカプセル内視鏡装置に関係する。
 また本発明の更に他の態様は、第1カプセル内視鏡装置と、第2カプセル内視鏡装置と、前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡に関する第1情報に基づいて、前記第2カプセル内視鏡装置を前記生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置と、を含む内視鏡システムに関係する。
図1は、リレー方式の撮影の説明図。 図2は、第1実施形態における内視鏡システムの構成例。 図3は、第2実施形態における内視鏡システムの構成例。 図4は、第1の動作例の説明図。 図5は、第2の動作例の説明図。 図6は、分析部の詳細な構成例。 図7は、BoFアルゴリズム処理の流れを示す図。 図8は、LBP特徴量ベクトルの算出処理の説明図。 図9は、HSV特徴量ベクトルの算出処理の説明図。 図10は、HOG特徴量ベクトルの算出処理の説明図。 図11は、分析判断部の詳細な構成例。 図12は、ヒストグラム作成処理の説明図。 図13は、ヒストグラムの一致判断処理の説明図。 図14は、第2実施形態の変形例における内視鏡システムの構成例。 図15は、第3実施形態における内視鏡システムの構成例。 図16は、第3の実施形態における動作例の説明図。 図17は、内視鏡システムの変形構成例。
 以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
 1.第1の実施形態
 消化管は、例えば胃や十二指腸、小腸、大腸等の部位に分かれているが、小腸はスコープ型の内視鏡で観察することが難しいため、従来はカプセル内視鏡装置は主に小腸を観察するために用いられている。しかしながら、患者の負担等を考えると大腸を含めてカプセル内視鏡装置で撮影できることが望ましい。大腸を含めて撮影しようとすると、小腸までの場合に比べて撮影時間が長くなるため、電池の節約への要求がより厳しくなるという課題がある。
 図1に示すように、カプセル内視鏡装置100を患者に飲ませ、上部消化管から撮影を行ったとする。カプセル内視鏡装置100が撮影し続けられる時間は電池の容量によっておおよそ決まっているため、例えばカプセル内視鏡装置100の進む速さが遅い場合や途中で止まってしまった場合等には、小腸や大腸の途中で電池が切れる可能性がある。このような場合、撮影すべき範囲を途中までしか撮影できず、診断に支障をきたす。
 そこで本実施形態では、診断漏れの抑制を実現するため、一人の患者に対して、カプセル内視鏡装置による一回の検診に2つのカプセル内視鏡装置100、300を用いる。検診する時に、患者に一つのカプセル内視鏡装置100を飲んでもらい、患者の体内を撮像する。それから、一定の時間が経ってから、患者に2つ目のカプセル内視鏡装置300を飲んでもらう。このように、時間差をつけて2つのカプセル内視鏡装置100、300を患者体内に投入し、リレーの方式で体内を撮像することで、1つのカプセル内視鏡装置100で検診する場合に発生する電池切れによる診断漏れを抑制する効果が得られる。
 図2に、第1の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、第2カプセル内視鏡装置300を含む。
 第1カプセル内視鏡装置100は、第2カプセル内視鏡装置300よりも以前(前又は同時)に生体内に投入される。その第1カプセル内視鏡装置100は、第1撮像素子120と、第1撮像素子120による撮像動作を制御する第1制御部110と、を有する。第2カプセル内視鏡装置300は、第2撮像素子320と、第1カプセル内視鏡装置100に関する第1情報に基づいて、第2撮像素子320による撮像動作の制御の変更処理を行う第2制御部310と、を有する。
 このような内視鏡システムにより、2つのカプセル内視鏡装置100、300によるリレー方式での撮影が可能となり、1つのカプセル内視鏡装置のみを用いる場合に比べて広い範囲(長い時間)の撮影が可能となる。これにより、目標とする撮影範囲の途中で電池の容量が無くなり、全範囲が撮影されない(即ち、診断漏れにつながる)ことを、防ぐことができる。また、第1カプセル内視鏡装置100に関する第1情報を用いることで、適切なタイミングで第2撮像素子320による撮像動作を開始させる(又はフレームレートを切り替える)ことが可能となり、適切な撮影のリレーを行うことが可能になる。
 ここで、第1情報とは、第1カプセル内視鏡装置100に関する情報であれば何でもよい。例えば、第1カプセル内視鏡装置100が生成又は送信する情報、第1カプセル内視鏡装置100の特性に関する情報、第1カプセル内視鏡装置100の生体内での挙動に関する情報、第1カプセル内視鏡装置100に対してユーザーが行う操作に関する情報、第1カプセル内視鏡装置100に対してユーザーが操作を行った時間(又は操作を行ってから経過した時間)の情報、第1カプセル内視鏡装置100が何らかの動作を行った時間(又は動作を行ってから経過した時間)の情報、第1カプセル内視鏡装置100の位置に関する情報、第1カプセル内視鏡装置100が所定の位置に到達した時間(又は到達してから経過した時間)の情報等を想定できる。
 また本実施形態では、第2制御部310は、第1情報に基づくトリガー信号により、第2撮像素子320による撮像動作の起動又はフレームレートの切り替えを変更処理として行う。
 なお、撮像動作の制御の変更処理は上記に限定されず、その変更処理の後における第2カプセル内視鏡装置300の電力消費よりも変更処理の前における第2カプセル内視鏡装置300の電力消費が小さいものであれば、何でもよい。
 例えば図3等で後述するように内視鏡システムが体外装置200を含み、体外装置200が第1カプセル内視鏡装置100から第1情報を受信してトリガー信号を送信し、第2制御部310は、体外装置200からのトリガー信号に基づいて変更処理を行ってもよい。或いは、図17等で後述するように第2カプセル内視鏡装置300が第1カプセル内視鏡装置100から第1情報を受信し、第2制御部310(又は第2カプセル内視鏡装置300に含まれる処理装置)は、その第1情報に基づいてトリガー信号を生成してもよい。
 このように、第1情報に基づいてトリガー信号が生成されることで、第2撮像素子320による撮像動作の起動又はフレームレートの切り替えを行うことができる。トリガー信号により変更処理が行われたときに、第2カプセル内視鏡装置300に撮影がリレーされ、第1カプセル内視鏡装置100の電池が切れた後の撮影範囲を撮影することが可能となる。
 また本実施形態では、第1情報は、第1カプセル内視鏡装置100の電池の残量情報である。具体的には、第1情報は、第1カプセル内視鏡装置100の電池の残量が所定量以下となったことを表す情報である。
 電池の残量の判断手法としては、種々のものを想定できる。例えば、電池からの消費電力をカウントし、それが所定の電力量に達したときに、電池の残量が所定量以下となったと判断できる。或いは、第1カプセル内視鏡装置100が動作を開始(電源を投入)してから所定の時間経過したときに、電池の残量が所定量以下となったと判断してもよい。電池の残量は、例えば残りの電力量であってもよいし、或いはカプセル内視鏡装置の残りの可動時間であってもよい。
 このように、電池の残量情報を第1情報とすることで、電池の残量情報に基づいて第2カプセル内視鏡装置300の撮像を制御できる。即ち、第1カプセル内視鏡装置100の電池の残量が少なくなり、撮影を継続できなくなったときに、第2カプセル内視鏡装置300にリレーし、撮影を続けることが可能になる。
 また本実施形態では、第1情報は、第1カプセル内視鏡装置100による撮像画像、第1カプセル内視鏡装置100が生体内に投入されてから第2カプセル内視鏡装置300が生体内に投入されるまでの時間差の情報、及び第1カプセル内視鏡装置100の生体内における位置の情報の少なくとも1つである。
 時間差の情報としては種々のものが想定できる。例えば、医師が予め設定した(例えば図3の体外装置200、或いは第2カプセル内視鏡装置300に記憶させた)情報であってもよい。或いは、第2カプセル内視鏡装置300を投入したときに医師が設定した(例えば図3の体外装置200、或いは第2カプセル内視鏡装置300に記憶させた)情報であってもよい。或いは、所定の時間差情報が予め設定されていてもよい。或いは、第1カプセル内視鏡装置100と第2カプセル内視鏡装置300が起動したときに、その旨の信号を体外装置200(又は第2カプセル内視鏡装置300)に送信し、体外装置200(又は第2カプセル内視鏡装置300)が、その信号から時間差情報を取得してもよい。
 第1カプセル内視鏡装置100による撮像画像を第1情報とすることで、その撮像画像から第1カプセル内視鏡装置100の生体内での位置を判断できる。そして、その位置に応じて第2カプセル内視鏡装置300の撮像動作を変更できる。また、第1カプセル内視鏡装置100が生体内に投入されてから第2カプセル内視鏡装置300が生体内に投入されるまでの時間間隔情報を第1情報とすることで、第1カプセル内視鏡装置100を生体内に投入してから、その時間間隔(又は、その前後の時間)が経過したときに第2カプセル内視鏡装置300の撮像動作を変更できる。
 2.第2実施形態
 2.1.内視鏡システム
 図3に、第2の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、体外装置200(広義には処理装置)、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、光源部109、制御部110を含む。体外装置200は、撮像画像受信部201、画像処理部202、画像保存部203、分析部204、情報送受信部206、制御部207を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、撮像画像送信部303、情報受信部304、電源部305、光源部309、制御部310を含む。
 第1カプセル内視鏡装置100においては、制御部110の制御により光源部109が照明光を出射し、被写体を照明する。その被写体からの反射光は、撮像部101の光学レンズ系を介して撮像部101の撮像素子に入射する。撮像部101の撮像素子は、アナログ撮像画像をA/D変換部102へ転送する。撮像素子は、例えば原色単版配列(ベイヤ配列)の撮像素子に対応する。
 撮像部101は、A/D変換部102を介して撮像画像送信部103へ接続している。撮像画像送信部103は、無線を介して体外装置200にある撮像画像受信部201へ接続する。また、情報送信部104は、無線を介して体外装置200にある情報送受信部206へ接続する。光源部109は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、光源部109及び制御部110へ接続している。制御部110は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、及び光源部109と双方向に接続している。
 A/D変換部102は、制御部110の制御により、撮像部101からのアナログ撮像画像をデジタル化してデジタル撮像画像(以下撮像画像と省略)に変換し、その撮像画像を撮像画像送信部103へ転送する。撮像画像送信部103は、制御部110の制御により、無線を介して体外装置200にある撮像画像受信部201へ撮像画像を送信する。
 本実施形態では、無線を介して、撮像画像を圧縮せずに体外装置200へ送信する構成となっているが、この構成に限定する必要はない。例えば、撮像画像を一旦圧縮して体外装置200へ送信する構成にしてもよい。
 電源部105は、第1カプセル内視鏡装置100内の各部に持続的に電力を送る。電源部105に蓄積されている電力量(電池の残量)が所定の量以下になると、電源がまもなく切れる(例えば、15分後に電源が切れる)というシグナルを情報として情報送信部104を介して、無線経由で体外装置200にある情報送受信部206へ送信する。
 体外装置200においては、撮像画像受信部201は、画像処理部202を介して画像保存部203へ接続している。情報送受信部206は、無線を介して第2カプセル内視鏡装置300にある情報受信部304に接続する。画像保存部203は、分析部204を介して情報送受信部206へ接続している。制御部207は、撮像画像受信部201、画像処理部202、画像保存部203、分析部204及び情報送受信部206と双方向に接続している。
 撮像画像受信部201は、無線を介して第1カプセル内視鏡装置100から転送されてきた撮像画像を受信し、その撮像画像を画像処理部202へ転送する。
 画像処理部202は、制御部207の制御に基づいて、撮像画像受信部201からの撮像画像に対して画像処理を行う。例えば、公知の、補間処理や、カラーマネジメント処理、エッジ強調処理、階調変換処理などを実施する。画像処理部202は、制御部207の制御に基づいて、処理後の3板のRGB画像(各画素にRGBの画素値が存在する画像)を画像保存部203へ転送する。画像保存部203は、そのRGB画像を、第1カプセル内視鏡装置100による撮像画像として保存する。
 本実施形態では、小腸及び大腸を通過しながら撮像した撮像画像に基づき病変を診断するためのカプセル状の内視鏡に対応している。患者の体外に排出される前に、カプセル状の内視鏡に内蔵される電源が切れることが原因で発生する診断漏れを抑制するため、2つのカプセル状の内視鏡を異なるタイミングで患者体内に投入する。まず、第1カプセル内視鏡装置100を患者に口から飲んでもらう。続いて、所定の期間(例えば数時間、数十時間、数日など)を経て、第2カプセル内視鏡装置300を患者に口から飲んでもらう。このように、2つのカプセル状の内視鏡がリレー方式で患者体内を撮像し続けることは、本実施形態の特徴である。
 第1カプセル内視鏡装置100は、患者の体内に投入されてから撮像し続けて撮像画像を撮像画像送信部103経由で無線を介して体外装置200にある撮像画像受信部201へ送信する。第1カプセル内視鏡装置100を投入後に所定の期間を経て、第2カプセル内視鏡装置300は、患者体内に投入される。第2カプセル内視鏡装置300は、スリープ状態に設定されており、患者の体内に投入された後は直ぐには撮影を開始しない。スリープ状態は、撮影を行わずに消費電力を低減した状態である。スリープ状態では、情報受信部304は、体外装置200にある情報送受信部206からの撮像を起動するためのシグナル情報(トリガー信号)を待つ。或いは、第2カプセル内視鏡装置300は、患者の体内に投入されてから、まず低撮像フレームレート(例えば、6fpm:6枚/分で撮像)で撮像してもよい。そして、体外装置200にある情報送受信部206からの撮像を起動するためのシグナル情報(トリガー信号)を受信した場合に、高撮像フレームレートに切り替えてもよい。第2カプセル内視鏡装置300での撮像を起動させるためのシグナル情報を情報送受信部206が送信する手法は、後述する。
 情報送受信部206からの撮像を起動するためのシグナル情報が情報受信部304に送られてきたら、制御部310の制御により、撮像部301を稼動させ撮像を開始する。撮像部301の撮像素子から出力されたアナログ撮像画像はA/D変換部302へ転送される。A/D変換部302は、制御部310の制御により、撮像部301からのアナログ撮像画像をデジタル化してデジタル撮像画像(以下撮像画像と省略)に変換し、その撮像画像を撮像画像送信部303へ転送する。撮像画像送信部303は、制御部310の制御により、無線を介して体外装置200にある撮像画像受信部201へ撮像画像を送信する。
 本実施形態では、無線を介して、撮像画像を圧縮せずに体外装置200へ送信する構成となっているが、この構成に限定する必要はない。例えば、撮像画像を一旦圧縮して体外装置200へ送信する構成にしてもよい。
 画像処理部202は、制御部207の制御に基づいて、撮像画像受信部201からの撮像画像に対して画像処理を行う。例えば、公知の、補間処理や、カラーマネジメント処理、エッジ強調処理、階調変換処理などを実施する。画像処理部202は、制御部207の制御に基づいて、処理後の3板のRGB画像を画像保存部203へ転送する。画像保存部203は、そのRGB画像を、第2カプセル内視鏡装置300による撮像画像として保存する。
 なお、光源部109、309は、例えばLED等の光源と、光源からの照明光を被写体に照射するレンズと、で構成される。撮像部101、301は、例えば対物レンズと、対物レンズによる像を光電変換する撮像素子と、で構成される。A/D変換部102は、例えば撮像素子のチップやCPU等に内蔵されたA/D変換回路や、ASIC等によるA/D変換回路で構成される。電源部105、305は、例えば電池と、その電池からの電源を各部へ供給する電源供給回路と、で構成される。撮像画像送信部103、303、情報送信部104、情報受信部304、撮像画像受信部201、情報送受信部206は、例えばASIC等による無線通信回路や、CPU等に内蔵された無線通信回路で構成される。制御部110、207、310、画像処理部202、分析部204は、例えばCPUやMPU、ASIC等による処理装置で構成される。画像保存部203は、例えばRAMや不揮発性メモリ、ハードディスクドライブ、光学ドライブ等の記憶装置で構成される。
 体外装置200としては、例えば内視鏡システムの専用品として設計された処理装置を想定できる。或いは、汎用の処理装置(例えばパーソナルコンピューターやサーバー、モバイル機器等)を体外装置として用いてもよい。この場合、体外装置としての機能は、アプリケーションソフトウェアとして実現されてもよい。
 2.2.内視鏡システムの動作
 以下、第2カプセル内視鏡装置300での撮像を起動させるためのシグナル情報(トリガー信号)を第2カプセル内視鏡装置300へ送信する手法を説明する。
 図4に、第1の動作例の説明図を示す。第1カプセル内視鏡装置100が体内に投入された後、電源部105に残っている電力量(電池残量)が所定量th1以下になった場合、電源がまもなく切れるというシグナル情報(電池切れ信号)を、情報送信部104を介して、無線経由で体外装置200にある情報送受信部206へ送信する。
 情報送受信部206が、第1カプセル内視鏡装置100からの電池切れ信号を受信すると、制御部207が、電池切れ信号を受信したタイミングからの経過時間をタイマーにより計測する。第1カプセル内視鏡装置100を投入してから第2カプセル内視鏡装置300を投入するまでの時間間隔をT1とする場合、制御部207が、タイマーのカウントがT1になったことを検出すると、情報送受信部206が、トリガー信号を第2カプセル内視鏡装置300の情報受信部304へ送信する。情報受信部304がトリガー信号を受信すると、制御部310が撮像部301による撮像を開始させる。トリガー信号を受信する前は、例えば電源部305から光源部309、撮像部301、A/D変換部302、撮像画像送信部303への電源供給が停止されており、情報受信部304と制御部310がトリガー信号を待つ状態となっている。そして、トリガー信号を受信すると電源部305から各部への電源供給が開始され、撮像を開始する。このようにして、第2カプセル内視鏡装置300は、トリガー信号によって撮像動作が起動されるまで電力を節約する。
 或いは、情報受信部304がトリガー信号を受信するまでは、撮像部301が通常のフレームレートよりも低フレームレートで撮影を行ってもよい。この場合、電源部305から各部への電源供給は行われているが、光源部309の発光頻度や撮像部301の撮影頻度、撮像画像送信部303が画像を送信する頻度が、フレームレートと同様に低くなり、電力が節約される。
 なお、タイマーが計測する時間は、投入時間の差T1と同じでなくてもよい。例えば、投入時間の差T1よりも所定時間αだけ短い時間(又は所定時間αだけ長い時間)を計測し、その時間が経過したときにトリガー信号が送信されてもよい。第1カプセル内視鏡装置100と第2カプセル内視鏡装置300が体内で全く同じ速さで進む場合は、時間T1後に第2カプセル内視鏡装置300を起動すればよいが、実際には進む速さは異なるので、そのマージンをとることができる。
 なお、上記では第1カプセル内視鏡装置100から体外装置200に電池切れ信号を送信するが、これに限定されず、第1カプセル内視鏡装置100から第2カプセル内視鏡装置300へ直接に(体外装置200を経由せずに)電池切れ信号を送信してもよい。例えば、第2カプセル内視鏡装置300は、電池切れ信号を受信したときに直ぐに撮影を開始する(又は高フレームレートに切り替える)。或いは、第2カプセル内視鏡装置300は、電池切れ信号を受信した後に所定時間(T1又は、T1±α)が経過したときにトリガー信号を生成し、撮影を開始し(又は高フレームレートに切り替え)てもよい。
 図5に、第2の動作例の説明図を示す。この動作例では、第1カプセル内視鏡装置100の電池残量が所定量以下となったときの位置を画像認識で特定することで、より正確な位置で第2カプセル内視鏡装置300のフレームレートを切り替え、診断漏れを抑制する。
 第1の動作例と同様に、第1カプセル内視鏡装置100を投入してから第2カプセル内視鏡装置300を投入するまでの時間間隔をT1とする。電源部105に残っている電力量(電池残量)が所定量th1以下になった場合、電池切れ信号を、情報送信部104を介して、無線経由で体外装置200にある情報送受信部206へ送信する。
 第2の動作例では、第2カプセル内視鏡装置300が体内に投入された後、撮像部301は低撮像フレームレート(例えば、6fpm:6枚/分で撮像)で撮像を行う。この撮像画像は、撮像画像送信部303から体外装置200の撮像画像受信部201へ送信される。また第1カプセル内視鏡装置100の撮像部101は通常のフレームレート(例えば、6fps:6枚/秒で撮像)で撮像を行っている。その撮像画像は、撮像画像送信部103から体外装置200の撮像画像受信部201へ送信される。
 電池切れ信号を受信した場合、その受信した時点の前後の撮像画像が画像保存部203から分析部204へ転送される。例えば、電池切れ信号を受信した時点から所定時間前までの撮像画像と、電池切れ信号を受信した時点から位置が一致したと判定されるまでの撮像画像とが、転送される。撮像画像としては、第1、第2カプセル内視鏡装置100、300の双方のものが転送される。
 分析部204は、体外装置200が電池切れ信号を受信した時点における第1カプセル内視鏡装置100の体内での位置を、第1カプセル内視鏡装置100の撮像画像に基づいて画像処理で分析する。また、第2カプセル内視鏡装置300の体内での位置を、第2カプセル内視鏡装置300の撮像画像に基づいて画像処理で分析する。そして、第2カプセル内視鏡装置300の位置が、体外装置200が電池切れ信号を受信した時点における第1カプセル内視鏡装置100の位置に一致したと分析部204が判断した場合に、情報送受信部206が第2カプセル内視鏡装置300にトリガー信号を送信する。
 情報受信部304がトリガー信号を受信すると、制御部310が撮像部301による撮像のフレームレートを、低撮像フレームレートから高撮像フレームレート(例えば、6fps:6枚/秒で撮像)へ切り替える。或いは、トリガー信号が受信された後は、撮像画像から被写体の動き量(例えば動きベクトル)を検出し、その動き量に応じて撮像フレームレートを多段階(例えば、2fps~12fps)に切り替えてもよい。動き量が大きいほど高い撮像フレームレートを設定し、撮影漏れを防ぐ。
 2.3.分析部
 図6に、分析部204の詳細な構成例を示す。分析部204は、分類部401、分類部402、分析判断部403、記憶部404を含む。画像保存部203は、分類部401と分類部402へそれぞれ接続している。分類部401と分類部402は、それぞれ分析判断部403を経由して情報送受信部206へ接続している。記憶部404は、分類部401と分類部402へそれぞれ接続している。制御部207は、分類部401、分類部402、分析判断部403および記憶部404と双方向に接続している。
 患者に口から飲み込まれたカプセル内視鏡装置100、300は、食道、胃、小腸、大腸の順に経由して肛門から排出される。小腸は、さらに十二指腸、空腸と回腸から構成されている。胃が十二指腸を介して空腸とつながり、回腸が回盲弁によって大腸とつながっている。大腸は、さらに結腸、直腸から構成されている。カプセル内視鏡装置100、300が通過する食道、胃、小腸、大腸は全て管腔状となっているが、各部位によって、内壁の色、血管の分布、絨毛の有無、絨毛の太さ、絨毛分布の密度など特徴が異なる。本実施形態では、画像認識技術(例えば公知の画像認識技術)により、色、勾配及びテクスチャの少なくとも一つの特徴量に基づいて撮像画像を学習及び分類し、その分類処理においては、撮像画像に、どの部位が写っているのかを判断する。
 本実施形態の画像認識では、カプセル内視鏡装置100、300を患者に飲ませる前に、予め学習処理が行われており、その学習結果を記憶部404へ格納しておく。そして、情報送受信部206が第1カプセル内視鏡装置100から電池切れ信号を受信したら、制御部207の制御により、分類部401が、第1カプセル内視鏡装置100の複数の撮像画像(電池切れ信号を受信した時点の前後に撮像された画像処理済の複数枚の撮像画像)を画像保存部203から時系列的に読み込み、分類処理を実施する。電池切れ信号を受信した時点から第1カプセル内視鏡装置100の電源部105の電力が切れるまでの間に撮像された撮像画像に対して、分類処理を実施してもよい。分類部402は、第2カプセル内視鏡装置300の複数の撮像画像(電池切れ信号を受信した時点の前後に低フレームレートで撮像された画像処理済の複数枚の撮像画像)を画像保存部203から時系列的に読み込み、分類処理を実施する。
 本実施形態では、BoF(Bag-of-Features)と呼ばれる、対象物の位置によらない画像認識技術のアルゴリズムを用いる。図7は、BoFアルゴリズム処理の流れを示す図である。この技術は、文書検索手法であるBag-of-Wordsを画像認識に適用したもので、学習と分類の2段階の処理から構成されている。
 学習の段階では、まず、複数の学習画像を選ぶ。本実施形態では、絨毛の密度、絨毛の色、絨毛の太さなどの情報に基づいて、「絨毛A」、「絨毛B」、「絨毛C」などの複数の絨毛類の分類項目を設定する。また、粘膜の色、血管分布、血管の太さなどの情報に基づいて、「粘膜A」、「粘膜B」、「粘膜C」などの複数の粘膜類の分類項目を設定する。また、絨毛と粘膜以外のものを「その他」の分類項目に設定する。そして、それらの分類項目の被写体が写った学習画像を選ぶ。分類項目の設定については、処理コスト、分類精度などを考慮し設定してよい。
 学習においては、学習画像から複数の小さいサンプル領域を抽出し、特徴量抽出処理によって特徴量ベクトルを算出し、クラスタリング処理によってビジュアルワード(Visual Word、以下ではVWと省略する)という観察基準を選出する。例えば、公知のK-means法を利用できる。次に、各学習画像から空間方向において順次抽出した各々の小領域に対して、上記と同様に特徴量ベクトルを算出し、その特徴量ベクトルとVWとの間の距離を求める。この距離が最も小さいVWに一票を投票する。1枚の学習画像の全部の小領域に対する投票処理が完了したら、その画像に対応するBoFヒストグラムが生成される。最終的に、学習画像の枚数分のBoFヒストグラムが生成される。これらのBoFヒストグラム及びそれらを成分とするBoFベクトルを用いて画像を分類するための学習識別器を構築する。例えば、SVM(Support Vector Machine)という学習識別器アルゴリズムを採用できる。
 この学習識別器に関する情報と学習画像からのBoFヒストグラム及びそれらを成分とするBoFベクトルの情報を事前に算出し、記憶部404に保存する。
 分類の段階では、分類するための撮像画像を順に入力し、撮像画像から空間方向において順次抽出した各々の小領域に対して、上記と同様に特徴量ベクトルを算出し、その特徴量ベクトルとVWとの間の距離を求める。この距離が最も小さいVWに一票を投票する。1枚の撮像画像の全部の小領域に対する投票処理が完了したら、その撮像画像に対応するBoFのヒストグラムが生成される。次に、学習画像から生成されたBoFヒストグラムを用いてSVM識別器により識別を行い、その識別結果(分類結果)を出力する。
 撮像画像を用いて上記のようにBoFヒストグラムを作成し、記憶部404に保存された学習用画像のBoFヒストグラム及びそれを成分とするBoFベクトルと、SVM識別器からの分類用画像のBoFヒストグラム及びそれを成分とするBoFベクトルと、を比較し、どの分類項目に属するかを示す分類インデックス指標を与える。このように、分類部401と分類部402において、読込まれた撮像画像に対してそれぞれ分類を実施し、分類インデックス指標を与える。両方の撮像画像の分類インデックス指標を分析判断部403へ転送する。
 本実施形態では、撮像画像の色、勾配及びテクスチャの少なくとも1つの特徴量で特徴量ベクトルを算出する構成となっている。
 図8は、LBP(Local-Binary-Pattern)特徴量ベクトルの算出処理の説明図である。まず、画像をブロックに分割する。1つのブロックにおいて、各注目画素を中心とするセル(3画素×3画素)を設定する。そのセルにおいて、注目画素(図8でハッチングされた画素)と近傍画素(周囲の8個の画素)との輝度値の大小関係から0又は1を割り当てる。その0又は1を順に並べて8ビットのLBPコードを生成する。ブロック内の全てのセルのLBPコードを集計してヒストグラムを生成し、ブロック単位のヒストグラムを生成する。次に、ブロックを移動し、同様な処理を実施し、1枚の画像内にあるブロック数分のヒストグラムを作成する。さらに、ブロックごとにヒストグラムを正規化し、LBP特徴量ベクトルを生成する。
 図9は、HSV(Hue-Saturation-Value:HSVは色相(Hue)、彩度(Saturation)、明度(Value)の3成分からなる色空間)特徴量ベクトルの算出処理の説明図である。HSV色空間を、色相方向、彩度方向及び明度方向にそれぞれ複数の領域に分割する。まず、画像の各画素のRGB画素値をHSV表色系の画素値に変換する。変換後のHSV画像をブロックに分割し、ブロック単位で色相に関する彩度、及び明度を要素とするヒストグラムを算出する。続いて、ブロックを移動し、同様な処理を実施し、1枚の画像内にあるブロック数分のヒストグラムを作成する。さらに、ブロックごとにヒストグラムを正規化し、HSV特徴量ベクトルを生成する。
 図10は、HOG(Histogram-of-Oriented-Gradient)特徴量ベクトルの算出処理の説明図である。画像の局所領域をブロックに分割し、画素毎に輝度勾配情報(勾配方向と重みなど)を算出し、ブロック単位で輝度勾配のヒストグラムを算出する。次に、ブロックを移動し、同様な処理を実施し、1枚の画像にあるブロック数分のヒストグラムを作成する。さらに、ブロックごとにヒストグラムを正規化し、HOG特徴量ベクトルを生成する。
 なお、上記の実施形態では、LBP特徴量、HSV特徴量及びHOG特徴量を用いて学習及び分類を実施する構成となっているが、このような構成に限定する必要はない。勾配、色及びテクスチャに関するあらゆる特徴量を必要に応じて用い、学習及び分類を実施することが可能である。
 図11に、分析判断部403の詳細な構成例を示す。分析判断部403は、ヒストグラム部501、ヒストグラム部502、一致判断部503、記憶部504を含む。分類部401は、ヒストグラム部501へ接続している。分類部402は、ヒストグラム部502へ接続してきる。ヒストグラム部501とヒストグラム部502は、それぞれ一致判断部503へ接続している。記憶部504は、ヒストグラム部501、ヒストグラム部502及び一致判断部503へそれぞれ接続している。制御部207は、ヒストグラム部501、ヒストグラム部502、一致判断部503及び記憶部504と双方向に接続している。
 ヒストグラム部501は、分類部401からの撮像画像の分類結果を用い、分類項目に基づいてヒストグラムを作成し、そのヒストグラムを一致判断部503へ転送する。即ち、絨毛A~C、粘膜A~C、その他等の各分類項目に分類された撮像画像の枚数を集計し、ヒストグラムを作成する。同様に、ヒストグラム部502は、分類部402からの撮像画像の分類結果を用い、分類項目に基づいてヒストグラムを作成し、そのヒストグラムを一致判断部503へ転送する。
 第2カプセル内視鏡装置300は、トリガー信号を受信する前において、低撮像フレームレートで撮像を実施するが、第1カプセル内視鏡装置100は、低撮像フレームレートより高い高撮像フレームレートで撮像している。よって、同じ期間中、異なる枚数の撮像画像がそれぞれ撮像される。そこで、分析部204は、第1カプセル内視鏡装置100の撮像画像に対して、間引き処理を行う。例えば、第1カプセル内視鏡装置100の撮像フレームが6fpmであり、第2カプセル内視鏡装置300の撮像フレームが2fpsである場合、第1カプセル内視鏡装置100の撮像画像を時系列的に3枚毎に1枚の撮像画像を抽出する。そうすることによって、単位時間において同一枚数の撮像画像を比較することができる。
 図12は、ヒストグラム作成処理の説明図である。第1カプセル内視鏡装置100が体外装置200に電池切れ信号を送信してから電源が切れるまでの期間(例えば15分)をP1とする。ヒストグラム部501は、制御部207の制御に基づいて、このP1期間中の第1カプセル内視鏡装置100の撮像画像の間引き画像(画像枚数Nとする)の分類結果のヒストグラムを作成する。作成されたヒストグラムを一致判断部503へ転送する。ヒストグラム部502は、制御部207の制御に基づいて、第2カプセル内視鏡装置300がトリガー信号を受けてから時系列に撮像された画像をN枚画像単位で一つの比較区間とし、その区間の分類結果のヒストグラムを作成して一致判断部503へ転送する。一つの区間のヒストグラムを作成したら、時系列方向でn枚(nはn≧1の整数)画像をシフトして、次のN枚画像からなる新しい区間で同じ判定を実施する。このように繰り返して区間ごとに分類結果のヒストグラムを作成し一致判断部503へ転送する。
 一致判断部503は、制御部207の制御に基づいて、ヒストグラム部501から送られたヒストグラムと、ヒストグラム部502から順次送られてくるヒストグラムと、を比較する。例えば、図13に示すように、2つのヒストグラムH、Qの間のユークリッド距離に基づいて比較する(下式(1))。ヒストグラムH、Qは、それぞれヒストグラム部501、502が作成したヒストグラムである。
Figure JPOXMLDOC01-appb-M000001
 一致判断部503は、上式(1)で計算されたd(H,Q)の値が0である場合、2つのヒストグラムH、Qが完全に一致していると判断する。d(H,Q)が所定の閾値より小さい場合、2つのヒストグラムH、Qが類似していると判断する。即ち、第1カプセル内視鏡装置100が電池切れ信号を送信してから電源が切れるまでの間の場所(部位)に第2カプセル内視鏡装置300が到達したと判断する。一致判断部503は、その到達したと判断した情報を情報送受信部206へ転送する。情報送受信部206は、制御部207の制御に基づいて、無線経由で第2カプセル内視鏡装置300に撮像フレームレートを切り替えるシグナル(トリガー信号)を送信する。第2カプセル内視鏡装置300の情報受信部304は、その撮像フレームレートを切り替えるシグナルを受信した場合に撮像部301を制御し、低撮像フレームレートから高撮像フレームレートに切り替える。
 なお、上記ではユークリッド距離を用いて分類結果のヒストグラムを比較する場合を説明したが、このような構成に限定する必要がない。例えば、交差法や相関法などを利用してヒストグラムを比較してもよい。
 このように、画像認識技術を用いて、第1カプセル内視鏡装置100が電池切れ信号を送ってから電源が切れるまでの間に撮像された撮像画像と、第2カプセル内視鏡装置300がトリガー信号を受けてから時系列に撮像された画像とを比較し、そのときに、時系列の撮像画像においてN枚単位で一つの比較区間とし、その区間の分類結果のヒストグラムを作成し、各区間で順次に比較することで、第1カプセル内視鏡装置100の電源が切れる前の場所に第2カプセル内視鏡装置300が到達したことを特定できる。そして、第2カプセル内視鏡装置300が低撮像フレームレートから高撮像フレームレートへ切り替えることで、2つのカプセル内視鏡装置を用いて、リレー方式で患者体内を撮像できるため、1つのカプセル内視鏡だけの場合より、電源切れによる診断漏れのリスクを抑制できる。
 2.4.変形例
 以上では、画像認識技術を利用して、先に患者に投入したカプセル内視鏡の電源切れの場所を特定する場合を説明したが、このような構成を限定する必要はない。例えば、電波強度による位置特定を行ってもよい。
 図14に、この変形例の内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、体外装置200、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、光源部109、制御部110を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、撮像画像送信部303、情報受信部304、電源部305、光源部309、制御部310を含む。体外装置200は、撮像画像受信部201、画像処理部202、画像保存部203、位置検出部205、情報送受信部206、制御部207、記憶部208を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
 体外装置200においては、撮像画像受信部201は、画像処理部202を介して画像保存部203へ接続している。情報送受信部206は、無線を介して第2カプセル内視鏡装置300にある情報受信部304に接続する。位置検出部205は、情報送受信部206へ接続している。記憶部208は、位置検出部205と双方向に接続している。制御部207は、撮像画像受信部201、画像処理部202、画像保存部203、位置検出部205、情報送受信部206及び記憶部208と双方向に接続している。
 例えば、患者の体表に、カプセル内視鏡装置100、300から無線経由で体外装置200に送信される撮像画像を受信するために複数の受信アンテナを取り付ける。体外装置200には位置検出部205が設けられている。
 第1カプセル内視鏡装置100は、制御部110の制御により、電源が切れる前に情報送信部104を介して体外装置200にある情報送受信部206に電池切れ信号を送信する。体外装置200にある制御部207は、情報送受信部206が電池切れ信号を受信した場合に、位置検出部205を稼動させる。
 位置検出部205は、制御部207の制御に基づいて、患者の体表に取り付けられている複数のアンテナを利用して、患者体内における第1カプセル内視鏡装置100の位置を検出する。即ち、各アンテナの患者体表に取り付けられる位置と各アンテナで受信された受信信号の電波強度とに基づき、例えば三次元測位等を用いて、患者体内における第1カプセル内視鏡装置100の位置を検出する。位置検出部205は、その位置情報を記憶部208に保存する。
 位置検出部205は、同様な方法で、患者体内における第2カプセル内視鏡装置300の位置を検出し続ける。第2カプセル内視鏡装置300の位置が、記憶部208に保存されている第1カプセル内視鏡装置100の位置と一致したと位置検出部205が判断した場合、情報送受信部206は、制御部207の制御に基づいて、無線経由で第2カプセル内視鏡装置300の情報受信部304にトリガー信号を送信する。第2カプセル内視鏡装置300は、そのトリガー信号を受信した場合に撮像部301を制御し、低撮像フレームレートから高撮像フレームレートに切り替える。
 なお、位置特定の手法として種々の変形例が考えられる。例えば、最初に患者体内に投入されたカプセル内視鏡から電池切れ信号が送られた場合に、X線やCT等の放射線を利用する検査手法や超音波検査手法等を利用して、そのカプセル内視鏡の場所を特定してもよい。後で飲み込まれたカプセル内視鏡が同じ場所に到達したことを確認できたら、そのカプセル内視鏡の撮像を制御する構成にしてもよい。例えば、体外装置200にボタン等を設け、医師がボタンを押した場合にトリガー信号が第2カプセル内視鏡装置300に送信されるように構成してもよい。
 また、以上の実施形態では2つのカプセル内視鏡装置を異なるタイミングで別々に患者体内に投入することとなっているが、このような方式に限定する必要はない。例えば、2つのカプセル内視鏡装置を一体化し(1つのカプセル筐体に2セットの内視鏡装置を内蔵し)、同時に患者体内に投入する。まず、1つ目のカプセル内視鏡装置により撮像を実施するが、もう1つのカプセル内視鏡装置は稼動させない(又は低フレームレートで撮像する)。1つ目のカプセル内視鏡装置の電力がなくなる前に、もう1つのカプセル内視鏡装置の撮像を開始させる(又は低フレームレートから高フレームレートに切り替える)。
 また、以上の実施形態では、2つのカプセル内視鏡装置を用いて、リレー方式で患者体内を検診する方式を採用しているが、これに限定されない。例えば、状況に応じて、3つ以上のカプセル内視鏡装置をリレー方式で一人の患者体内を検診してもよい。
 以上の第2実施形態によれば、内視鏡システムは、第1カプセル内視鏡装置100に関する第1情報を受けて、トリガー信号を出力する処理装置を含む。第2カプセル内視鏡装置300の第2制御部310は、処理装置からのトリガー信号を受けた場合に、第2撮像素子320(撮像部301に含まれる)の撮像動作の変更処理を行う。
 このようにすれば、処理装置が第1カプセル内視鏡装置100から第1情報を受けて、その第1情報に基づいてトリガー信号を生成し、第2カプセル内視鏡装置300の撮像動作を開始させる(又はフレームレートを切り替える)ことができる。
 ここで処理装置は、第2の実施形態では図3の体外装置200に対応する。なお、これに限定されず、例えば図17で後述するように処理装置が第2カプセル内視鏡装置300に内蔵されてもよい。この場合、内視鏡システムが体外装置を含まなくてもよい。或いは、撮像画像を蓄積するための体外装置を含んでもよい。
 また本実施形態では、第1カプセル内視鏡装置100は、第1カプセル内視鏡装置100の電池の残量情報を第1情報として送信する第1通信部を有する。処理装置は、電池の残量が所定量以下となったときから所定時間が経過した場合にトリガー信号を出力する。
 第1通信部は、第2実施形態では図3の情報送信部104に対応する。また、第1通信部は、撮像画像送信部103を更に含んでもよい。
 このようにすれば、第1カプセル内視鏡装置100が第1通信部を介して無線により電池の残量情報を送信し、その電池の残量情報を処理装置が受信してトリガー信号を生成することができる。電池の残量が所定量以下となったときから所定時間が経過した場合にトリガー信号を出力することで、第1カプセル内視鏡装置100が撮像できなくなった後に第2カプセル内視鏡装置300にリレーすることができる。
 また本実施形態では、所定時間は、第1カプセル内視鏡装置100が生体内に投入されてから第2カプセル内視鏡装置300が生体内に投入されるまでの時間差に対応するものである。
 上述したように、時間差の情報としては例えば医師が処理装置に記憶させた情報や、予め処理装置に設定された所定の時間差情報等を想定できる。所定時間は、投入の時間差そのものであってもよいし、投入の時間差に対してマージンを増減させたものであってもよい。
 このようにすれば、電池の残量が所定量以下となったときから、2つのカプセル内視鏡装置100、300の投入時間差に対応する所定時間が経過した場合にトリガー信号を出力できる。これにより、第1カプセル内視鏡装置100が撮像できなくなった、おおよその位置に、第2カプセル内視鏡装置300が到達したときに、第2カプセル内視鏡装置300の撮像動作を変更できる。
 また本実施形態では、第1カプセル内視鏡装置100は、第1カプセル内視鏡装置100の電池の残量情報と、第1カプセル内視鏡装置100による撮像画像とを第1情報として送信する第1通信部を有する。処理装置は、電池の残量が所定量以下となったときの第1カプセル内視鏡装置100の生体内における位置情報を、第1カプセル内視鏡装置100による撮像画像に基づいて取得する。処理装置は、第2カプセル内視鏡装置300による撮像画像に基づいて、第2カプセル内視鏡装置300の生体内における位置が、上記の位置情報が表す位置に一致したと判定した場合に、トリガー信号を出力する。
 位置情報は、第2実施形態では分類処理による分類結果に対応する。即ち、絨毛の密度や粘膜の種類等の分類であり、それらは消化管の部位やその中での位置(おおよその位置。例えば小腸では上部ほど絨毛の密度が高い)に応じて異なることから、実質的に消化管の部位やその中での位置を表す分類情報である。なお位置情報はこれに限定されず、生体内での位置が特定された情報であればよい。例えばアンテナによる3次元測位やX線画像等を用いて特定した位置情報であってもよい。
 また、位置の一致は、厳密に一致する場合に限らず、ある程度の範囲内で一致していればよい。例えば、上記の分類結果を用いる場合、絨毛の密度や粘膜の種類が同じ分類に判定された場合には、位置が一致したと判定される。即ち、絨毛の密度や粘膜の種類が同じ分類に判定される範囲内が、位置が一致したと判断する範囲である。或いは、第1カプセル内視鏡装置100が電池切れ信号を送信してから実際に撮影が停止するまでには時間があり、その間に第1カプセル内視鏡装置100は体内を進むが、その進んだ範囲内のどこかに第2カプセル内視鏡装置100が到達したと判断した場合に、位置が一致したと判断してもよい。
 このように撮像画像に基づいてカプセル内視鏡装置100、300の位置を判定することで、第1カプセル内視鏡装置100が撮像できなくなった位置に第2カプセル内視鏡装置300が到達したと判定された場合に、第2カプセル内視鏡装置300の撮像動作を変更できる。これにより、撮影もれのないようにリレーのタイミングを制御することが可能となる。
 また本実施形態では、処理装置は、電池の残量が所定量以下となったときから所定時間後を基準とする所定時間範囲内において、上記の一致の判定がなされた場合に、トリガー信号を出力する。
 このようにすれば、カプセル内視鏡装置100、300の投入時間差と、撮像画像による位置の一致判定との2つの情報から、第1カプセル内視鏡装置100が撮像できなくなった位置に第2カプセル内視鏡装置300が到達したか否かを判断できる。これにより、より正確にリレーのタイミングを判断できる。
 また本実施形態では、処理装置は、体外装置200である。第2カプセル内視鏡装置300は、トリガー信号を受信する第2通信部を有する。
 第2通信部は、第2実施形態では図3の情報送受信部206に対応する。また第2通信部は撮像画像受信部201を更に含んでもよい。
 このように体外装置200を処理装置として用いることで、一般的にカプセル内視鏡装置のシステムにおいて撮像画像の受信や蓄積に用いられている体外装置200を、2つのカプセル内視鏡装置100、300によるリレー撮影の制御装置として兼用することができる。
 なお、第1カプセル内視鏡装置100と第2カプセル内視鏡装置300は、それぞれ専用品として構成されてもよいし、或いはモード設定によって切り替え可能に構成されてもよい。後者の場合、例えば以下のように構成する。
 即ち、カプセル内視鏡装置は、撮像素子と、その撮像素子による撮像動作を制御する制御部と、を含む。カプセル内視鏡装置は、第1動作モードと第2動作モードに設定可能である。カプセル内視鏡装置が第2動作モードに設定された場合、制御部は、第1動作モードに設定されたカプセル内視鏡装置に関する第1情報に基づいて、撮像素子による撮像動作の制御の変更処理を行う。第1動作モードに設定されたカプセル内視鏡装置は、第2動作モードに設定されたカプセル内視鏡装置よりも以前に生体内に投入されたカプセル内視鏡装置である。
 例えば、カプセル内視鏡装置はモード設定部(例えばレジスターや不揮発性メモリー等)を含んでおり、外部の装置から無線等を介してモード設定部にモードを設定する。モード設定は、出荷前に行われてもよいし、ユーザーにより行われてもよい。第1動作モードは、上述した第1カプセル内視鏡装置100が行う動作と同じ動作を行うモードであり、第2動作モードは、上述した第2カプセル内視鏡装置300が行う動作と同じ動作を行うモードである。第1動作モードに設定されたカプセル内視鏡装置と、第2動作モードに設定されたカプセル内視鏡装置とにより、上述した内視鏡システムを構成する。また、更に体外装置200を含んで内視鏡システムを構成してもよい。
 このような構成によれば、第1モードに設定されたカプセル内視鏡装置と、第2モードに設定されたカプセル内視鏡装置により、2つのカプセル内視鏡装置によるリレー撮影を実現できる。2つのカプセル内視鏡装置を、モード切り替えできる同一構成のカプセル内視鏡装置で実現できるので、設計や製造を簡素化できる。
 3.第3の実施形態
 図15に、第3の実施形態における内視鏡システムの構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、体外装置200、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、撮像画像送信部103、情報送信部104、電源部105、光源部109、制御部110を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、撮像画像送信部303、情報受信部304、電源部305、光源部309、制御部310を含む。体外装置200は、撮像画像受信部201、画像処理部202、画像保存部203、分析部204、情報送受信部206、制御部207、提示部220を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
 第3の実施形態では、第2カプセル内視鏡装置300を患者の体内に投入するタイミングに関することが特徴である。
 本実施形態では、第1カプセル内視鏡装置100が患者の体内に投入されてから体外に排出される前に、第1カプセル内視鏡装置100の電源容量がなくなり、検診目標となる部位の撮像ができそうもないと判断された場合に、第2カプセル内視鏡装置300を患者の体内に投入する。
 図16に、第3の実施形態における動作例の説明図を示す。カプセル内視鏡を用いて大腸検診を実施する場合を考える。第1カプセル内視鏡装置100を患者の体内に投入してから約10時間後に電源容量がなくなる。その前(例えば15分前)に、制御部110の制御により、情報送信部104は、電池切れ信号を無線経由で体外装置200の情報送受信部206へ送信する。
 提示部220は、第1カプセル内視鏡装置100から電池切れ信号を受信したことを提示(通知)する。例えば、提示部220は発光部やスピーカーで構成されており、発光部の発光や、スピーカーからの警告音により、ユーザーに通知する。
 医師は、通知を受け取ったら、その時点前後の撮像画像を確認し、第1カプセル内視鏡装置100の患者体内における所在位置を確認する。第1カプセル内視鏡装置100が大腸に入っていない場合、あるいは、大腸に入っていたとしても電池容量がなくなる前に第1カプセル内視鏡装置100が体外に排出されないと予想される場合、医師は第2カプセル内視鏡装置300を患者の体内に投入する。
 あるいは、第2の実施形態と同様に体外装置200が画像認識により第1カプセル内視鏡装置100の所在位置を推定してもよい。この場合、体外装置200は、第1カプセル内視鏡装置100から電池切れ信号を受信したときの第1カプセル内視鏡装置100の所在位置を医師に提示する。例えば、提示部220は、消化管の各部位に対応した発光部で構成され、判定された所在部位に対応する発光部が発光してもよい。或いは、提示部220は、液晶ディスプレイ等の表示装置で構成され、その画像表示により所在位置を提示してもよい。
 具体的には、人間の小腸は通常5メートルから6メートルの長さがあり、絨毛が分布している。一方、胃や大腸など他の消化器官には絨毛は存在しない。そこで、「絨毛あり」と「絨毛なし」の分類項目を設定し、画像認識技術を用いて第1カプセル内視鏡装置100の所在位置を推定することができる。第1カプセル内視鏡装置100からの電池切れ信号を体外装置200の情報送受信部206が受信した場合、制御部207の制御により、分析部204は、画像保存部203から同じ時刻前後の第1カプセル内視鏡装置100の撮像画像を読み出し、その撮像画像を用いて分類を実施する。「絨毛あり」と判断された画像が所定枚数以上である場合、第1カプセル内視鏡装置100は、まだ小腸内にあると判断できる。その情報を医師に知らせて、患者に第2カプセル内視鏡装置300を飲んでもらう。
 あるいは、第1カプセル内視鏡装置100を患者体内に投入した以降に体外装置200へ送ってきた撮像画像を分類してもよい。第1カプセル内視鏡装置100から電池切れ信号を体外装置200の情報送受信部206が受信した場合、制御部207は、分析部204により「絨毛あり」と判断された最後の撮像画像の撮像時刻から、情報送受信部206により電池切れ信号が受信された時刻までの時間間隔T2を計算する。T2は、第1カプセル内視鏡装置100が大腸に入ってから電池切れ信号を送信するまでの時間間隔である。提示部220は、この時間間隔T2を医師に提示する。例えば、カプセル本体が大腸に滞在する時間が平均的に3時間とする。T2が1時間であると提示された場合、第1カプセル内視鏡装置100は大腸に入ったものの、排出されるまでに大腸領域を全部撮像できないと医師は判断できる。この場合、医師は、第2カプセル内視鏡装置300を患者の体内に投入する。
 検診の対象が小腸である場合には、第1カプセル内視鏡装置100から電池切れ信号を体外装置200の情報送受信部206が受信した場合に、分析部204が画像認識技術により第1カプセル内視鏡装置100がすでに大腸領域に入っていると判断した場合、医師は、第2カプセル内視鏡装置300を患者体内に投入しないと判断する。提示部220は、例えば電池切れ信号を受信したときの分析部204の分析結果を発光部や表示装置等で医師に提示する。
 第1カプセル内視鏡装置100は、患者の体内において、残渣の量によって進み具合が大きく影響をうける。残渣が多くなると(特に大腸領域)、第1カプセル内視鏡装置100の動きが鈍くなり、患者の体内に滞在する時間が長くなる。この場合、画像認識技術を用いて、第1カプセル内視鏡装置100の撮像画像に対して、「残渣あり」、「残渣なし」の分類項目で分類を実施する。大腸を検診する場合、第1カプセル内視鏡装置100を患者の体内に投入してから所定の時間(例えば5時間。この時間の設定に関しては、従来症例の経験値から設定してもよい)が経過するまでに体外に排出されておらず、且つ、撮像された画像の全画像の中で「残渣あり」と分類された撮像画像が占める割合(枚数の割合)が所定閾値より大きい場合、医師は、第1カプセル内視鏡装置100が体外に排出される前に電力がなくなる可能性が高いと判断し、第2カプセル内視鏡装置300を患者の体内に投入する。提示部220は、例えば第1カプセル内視鏡装置100を患者の体内に投入してからの経過時間と、撮像された画像の全画像の中で「残渣あり」と分類された撮像画像が占める割合とを、医師に提示する。
 また、患者によって、第1カプセル内視鏡装置100の体内における動き(進む速さ)が異なる。通常、動きが激しければ、第1カプセル内視鏡装置100が早く体外に排出される可能性が高く、動きが鈍ければ、第1カプセル内視鏡装置100が体外に排出されるまで時間がかかる。この特徴を利用して、第2カプセル内視鏡装置300の投入タイミングを測ってもよい。
 大腸を検診する場合を例に説明する。時系列に撮像した第1カプセル内視鏡装置100の撮像画像に基づいて、近隣の画像の類似度を算出し、第1カプセル内視鏡装置100の動きを測定する。例えば、下式(2)を用いてSAD値(Sum of Absolute Difference)を算出する。SAD値が0に近いほど、2枚の撮像画像の類似度は高いと判断される。SAD値の演算は、例えば画像処理部202が行う。或いは、不図示の動き量算出部を設けてもよい。
Figure JPOXMLDOC01-appb-M000002
 ここで、isadはSAD値、iは2次元撮像画像の横軸座標、jは2次元撮像画像の縦軸座標、Mは撮像画像の横幅サイズ、Nは撮像画像の縦幅サイズ、I(i,j)は現在の撮像画像の座標(i,j)の画素値(輝度値)、I’(i,j)は過去の撮像画像の座標(i,j)の画素値(輝度値)である。
 SAD値isadが所定の閾値より大きい場合、第1カプセル内視鏡装置100の動きがある(又は速い)と判定し、「動きあり」のフラグを保存する。一方、SAD値isadが所定の閾値以下である場合、第1カプセル内視鏡装置100の動きがない(又は遅い)と判定し、「動きなし」のフラグを保存する。このように各撮像画像の動き情報を算出して保存する。例えば、フラグを不図示の記憶部に保存する。
 次に、第1カプセル内視鏡装置100を患者の体内に投入してから所定の時間(例えば5時間。この時間の設定に関しては、従来症例の経験値から設定してもよい)が経過するまで体外に排出されておらず、且つ、撮像された画像の全画像の中で「動きなし」と判定された撮像画像が占める割合(枚数の割合)が所定閾値より大きい場合、医師は、第1カプセル内視鏡装置100が体外に排出される前に電力がなくなる可能性が高いと判断し、第2カプセル内視鏡装置300を患者体内に投入する。提示部220は、例えば第1カプセル内視鏡装置100を患者の体内に投入してからの経過時間と、撮像された画像の全画像の中で「動きなし」と判定された撮像画像が占める割合(又は、その割合が閾値より大きいか否かの情報)と、を医師に提示する。
 このように、第1カプセル内視鏡装置100が患者の体内に投入されてからの時間や、画像認識技術による識別情報(絨毛、残渣など)や、画像の相関関係(動き量)などを用いて、第1カプセル内視鏡装置100の体内位置を推定する。そして、電池の残量を把握した上で、適応的に第2カプセル内視鏡装置300を患者の体内に投入するか否かを判断する。第1カプセル内視鏡装置100が検診対象の全領域を撮像できる電力量が残っていないと判断された場合、第2カプセル内視鏡装置300を患者体内に投入し、リレー方式で一人の患者体内を検診する。一方、第1カプセル内視鏡装置100が検診対象の全領域を撮像できる電力量が残っていると判断された場合、第2カプセル内視鏡装置300を患者体内に投入しない。
 なお、第1カプセル内視鏡装置100が、体内のある場所(例えば、S状結腸)に止まって前に進まずに電源がなくなる場合がある。このとき、第2カプセル内視鏡装置300を投入したとしても、第1カプセル内視鏡装置100と同じ場所に止まって前に進まずに電源がなくなる可能性がある。
 このような状況に対処する変形例として、以下が考えられる。即ち、第1カプセル内視鏡装置100が体内のある場所(例えば、S状結腸)に止まって前に進まずに電源がなくなった場合、第1カプセル内視鏡装置100が体外に排出されるまで第2カプセル内視鏡装置300を体内に投入しない。腸内の蠕動で自然に第1カプセル内視鏡装置100が体外に排出されるのを待ってもよいが、医者がブースターや蠕動促進剤などを患者体内に投入したり、患者の運動やマッサージなどの処置などで第1カプセル内視鏡装置100を体外に排出させたりしてもよい。第1カプセル内視鏡装置100が体外に排出された後、医者の判断で投入タイミングを測って第2カプセル内視鏡装置300を体内に投入する。
 第2カプセル内視鏡装置300の撮像制御に関しては、第1、第2の実施形態で説明した手法(例えば画像認識やタイマーなど)を用いることができる。即ち、第1カプセル内視鏡装置100の電源が切れた場所に第2カプセル内視鏡装置300が到達したことを確認して、第2カプセル内視鏡装置300の撮像を開始させる(又は高フレームレートに切り替える)。このとき、到達を確認できたら直ちに第2カプセル内視鏡装置300の撮像を開始させてもよいし、或いは、到達を医師に通知して、医師が状況を判断して適応的に第2カプセル内視鏡装置300の撮像を制御してもよい。そうすることによって、複数のカプセル本体が同じ場所に止まって前に進まず電源切れになってしまう課題を解決することができる。
 以上の第3実施形態によれば、内視鏡システムは、第1カプセル内視鏡装置100と、第2カプセル内視鏡装置300と、第2カプセル内視鏡装置300よりも以前に生体内に投入された第1カプセル内視鏡装置100に関する第1情報に基づいて、第2カプセル内視鏡装置300を生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置と、を含む。
 このようにすれば、提示された投入判断用情報を医師が受け取り、それによって第2カプセル内視鏡装置300を生体内に投入する否か又は投入するタイミングを判断できる。これにより、必要に応じて2つ目のカプセル内視鏡装置を患者に投入して、リレー方式による撮影を行うことができる。
 ここで、処理装置は、第3の実施形態では図15の体外装置200に対応する。なお、これに限定されず、例えば図17で後述するように処理装置が第2カプセル内視鏡装置300に内蔵されてもよい。投入判断用情報とは、その情報を受け取った医師が第2カプセル内視鏡装置300を生体内に投入するか否か又は投入するタイミングを判断できる情報であれば、何でもよい。例えば、投入すべきこと又は投入のタイミングが来たことを知らせるランプの点灯や警告音、振動、画像表示等であってもよい。この場合、その情報を受け取った医師は、直ぐにカプセル内視鏡装置を投入してもよい。或いは、投入すべきか否か又はいつ投入のタイミングが来るかを医師に示唆する(又は推定させる)画像表示等であってもよい。この場合、その情報を受け取った医師は、その情報から示唆される(又は推定した)結論又はタイミングに基づいてカプセル内視鏡装置を投入してもよい。提示処理としては、例えばランプの点灯や警告音、振動、画像表示等の、装置から人間に情報を提示(又は通知)できる種々の手法を用いることができる。
 また本実施形態では、第1情報は、第1カプセル内視鏡装置100の電池の残量情報である。
 電池の残量が少なくなったとき(即ち、第1カプセル内視鏡装置100の撮影が終わりそうなとき)に、第1カプセル内視鏡装置100が体外に出ていない場合、第1カプセル内視鏡装置100のみで撮影を完了できる可能性が低いと判断できる。このように、電池の残量によって、医師が第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
 また本実施形態では、第1情報は、第1カプセル内視鏡装置100が生体内に投入されてからの経過時間情報である。
 カプセル内視鏡装置が動作を開始してから電池が無くなり、撮影ができなくなるまでの時間は、おおよそ仕様(例えば、電池の容量とカプセル内視鏡装置の消費電流)により決まっている。そのため、その時間が経過する前に第1カプセル内視鏡装置100が体外に出ていない場合、第1カプセル内視鏡装置100のみで撮影を完了できる可能性が低いと判断できる。このように、第1カプセル内視鏡装置100が生体内に投入されてからの経過時間情報によって、医師が第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
 また本実施形態では、投入判断用情報は、第1カプセル内視鏡装置100が生体のターゲット範囲を撮影し終えたか否かを表す情報である。
 例えば、ターゲット範囲が小腸や大腸である場合、第1カプセル内視鏡装置100が最後に(又は電池の残量が無くなる少し前に)撮影した画像から、小腸や大腸が撮影できたか否かを判断できる。例えば、投入判断用情報は、処理装置が画像認識によって判断した部位の情報であってもよいし、或いは、撮像画像そのものであってもよい。これらの情報から医師は、第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
 また本実施形態では、投入判断用情報は、第1カプセル内視鏡装置100による撮像画像である。
 上記のように、第1カプセル内視鏡装置100による撮像画像(特に、第1カプセル内視鏡装置100が最後に(又は電池の残量が無くなる少し前に)撮影した画像)から、第1カプセル内視鏡装置100が生体のターゲット範囲を撮影し終えたか否かを医師が判断できる。即ち、撮像画像から医師は、第2カプセル内視鏡装置300を投入するか否か又は投入するタイミングを判断できる。
 4.変形例
 図17に、内視鏡システムの変形構成例を示す。内視鏡システムは、第1カプセル内視鏡装置100、第2カプセル内視鏡装置300を含む。第1カプセル内視鏡装置100は、撮像部101、A/D変換部102、情報送信部104、電源部105、光源部109、制御部110、画像処理部121、分析部122、画像保存部123を含む。第2カプセル内視鏡装置300は、撮像部301、A/D変換部302、電源部305、光源部309、制御部310、処理装置400を含む。処理装置400は、画像処理部321、分析部322、画像保存部323、提示部324(通知部)、情報受信部304を含む。なお、既に説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
 この変形例では、処理装置400が第2カプセル内視鏡装置300に含まれており、その処理装置400が第1カプセル内視鏡装置100から電池切れ信号を受けて、第2カプセル内視鏡装置300を投入するタイミングを医師に提示(通知)する。処理装置400は、例えばCPUやMPU、ASIC等で構成できる。
 第1カプセル内視鏡装置100では、画像処理部121がベイヤ画像に対して画像処理を行ってRGB画像を生成する。画像保存部123は、そのRGB画像を撮像画像として記憶する。分析部122は、図6の分析部204の分類部401、記憶部404に対応している。即ち、分析部122は、予め学習しておいた分類基準(例えば絨毛の密度による分類、粘膜の種類の分類等)に基づいて、画像保存部123に記憶された撮像画像を分類する。情報送信部104は、その分類結果を第2カプセル内視鏡装置300の情報受信部304へ無線で送信する。また情報送信部104は、電池切れ信号を情報受信部304へ無線で送信する。例えば、分類結果として、電池残量が所定量以下となった時点(電池切れ信号を送信する時点)での分類結果を送信する。
 第2カプセル内視鏡装置300では、情報受信部304が第1カプセル内視鏡装置100から電池切れ信号を受信した場合、提示部324がその旨を医師に提示(通知)する。例えば発光部の発光やスピーカーからの警告音により提示する。或いは、提示部324は、電池切れ信号が受信され、且つ、受信された分類結果から第1カプセル内視鏡装置100で撮影目標の全範囲を撮影できないと判断される場合(例えば、電池切れ信号が受信されたときの分類結果が小腸を示す場合)に、その旨を医師に提示してもよい。医師は、提示部324の提示情報に基づいて、第2カプセル内視鏡装置300を患者の体内に投入する。
 第2カプセル内視鏡装置300が投入されたら、画像処理部321がベイヤ画像に対して画像処理を行ってRGB画像を生成する。画像保存部323は、そのRGB画像を撮像画像として記憶する。分析部322は、図6の分析部204の分類部402、分析判断部403、記憶部404に対応している。即ち、分析部322は、予め学習しておいた分類基準(例えば絨毛の密度による分類、粘膜の種類の分類等)に基づいて、画像保存部323に記憶された撮像画像を分類する。そして、その分類結果を、第1カプセル内視鏡装置100から情報受信部304が受信した分類結果と比較する。分類結果が一致した場合、第1カプセル内視鏡装置100の電池残量が所定量以下となったときの位置に、第2カプセル内視鏡装置300が到達したと判断できる。分析部322が分類結果が一致したと判定した場合、制御部310が撮像部301に撮像を開始させる(又は、低フレームレートから高フレームレートに切り替える)。
 ここで、第1~第3の実施形態や各種変形例におけるカプセル内視鏡装置100、300や体外装置200等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASICによるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係るカプセル内視鏡装置100、300や体外装置200等の各部が実現されることになる。ここでのメモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
 以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 第1カプセル内視鏡装置、101 撮像部、
102 A/D変換部、103 撮像画像送信部、
104 情報送信部、105 電源部、109 光源部、
110 制御部(第1制御部)、120 第1撮像素子、
121 画像処理部、122 分析部、123 画像保存部、
200 体外装置、201 撮像画像受信部、
202 画像処理部、203 画像保存部、204 分析部、
205 位置検出部、206 情報送受信部、207 制御部、
208 記憶部、220 提示部、
300 第2カプセル内視鏡装置、301 撮像部、
302 A/D変換部、303 撮像画像送信部、
304 情報受信部、305 電源部、309 光源部、
310 制御部(第2制御部)、320 第2撮像素子、
321 画像処理部、322 分析部、323 画像保存部、
324 提示部、400 処理装置、401 分類部、
402 分類部、403 分析判断部、404 記憶部、
501 ヒストグラム部、502 ヒストグラム部、
503 一致判断部、504 記憶部

Claims (17)

  1.  第1カプセル内視鏡装置と、
     第2カプセル内視鏡装置と、
     を含み、
     前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡装置は、
     第1撮像素子と、
     前記第1撮像素子による撮像動作を制御する第1制御部と、
     を有し、
     前記第2カプセル内視鏡装置は、
     第2撮像素子と、
     前記第1カプセル内視鏡装置に関する第1情報に基づいて、前記第2撮像素子による撮像動作の制御の変更処理を行う第2制御部と、
     を有することを特徴とする内視鏡システム。
  2.  請求項1において、
     前記第2制御部は、
     前記第1情報に基づくトリガー信号により、前記第2撮像素子による前記撮像動作の起動又はフレームレートの切り替えを前記変更処理として行うことを特徴とする内視鏡システム。
  3.  請求項2において、
     前記第1情報は、前記第1カプセル内視鏡装置の電池の残量情報であることを特徴とする内視鏡システム。
  4.  請求項2において、
     前記第1情報は、前記第1カプセル内視鏡装置による撮像画像、前記第1カプセル内視鏡装置が前記生体内に投入されてから前記第2カプセル内視鏡装置が前記生体内に投入されるまでの時間差の情報、及び前記第1カプセル内視鏡装置の前記生体内における位置の情報の少なくとも1つであることを特徴とする内視鏡システム。
  5.  請求項2において、
     前記第1情報を受けて、前記トリガー信号を出力する処理装置を含み、
     前記第2制御部は、
     前記処理装置からの前記トリガー信号を受けた場合に、前記変更処理を行うことを特徴とする内視鏡システム。
  6.  請求項5において、
     前記第1カプセル内視鏡装置は、
     前記第1カプセル内視鏡装置の電池の残量情報を前記第1情報として送信する第1通信部を有し、
     前記処理装置は、
     前記電池の残量が所定量以下となったときから所定時間が経過した場合に前記トリガー信号を出力することを特徴とする内視鏡システム。
  7.  請求項6において、
     前記所定時間は、前記第1カプセル内視鏡装置が前記生体内に投入されてから前記第2カプセル内視鏡装置が前記生体内に投入されるまでの時間差に対応するものであることを特徴とする内視鏡システム。
  8.  請求項5において、
     前記第1カプセル内視鏡装置は、
     前記第1カプセル内視鏡装置の電池の残量情報と、前記第1カプセル内視鏡装置による撮像画像とを前記第1情報として送信する第1通信部を有し、
     前記処理装置は、
     前記電池の残量が所定量以下となったときの前記第1カプセル内視鏡装置の前記生体内における位置情報を、前記撮像画像に基づいて取得し、
     前記第2カプセル内視鏡装置による撮像画像に基づいて、前記第2カプセル内視鏡装置の前記生体内における位置が、前記位置情報が表す位置に一致したと判定した場合に、前記トリガー信号を出力することを特徴とする内視鏡システム。
  9.  請求項8において、
     前記処理装置は、
     前記電池の残量が所定量以下となったときから所定時間後を基準とする所定時間範囲内において、前記一致の判定がなされた場合に、前記トリガー信号を出力することを特徴とする内視鏡システム。
  10.  請求項5において、
     前記処理装置は、体外装置であり、
     前記第2カプセル内視鏡装置は、
     前記トリガー信号を受信する第2通信部を有することを特徴とする内視鏡システム。
  11.  請求項1において、
     前記第1情報に基づいて、前記第2カプセル内視鏡装置を前記生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置を含むことを特徴とする内視鏡システム。
  12.  撮像素子と、
     前記撮像素子による撮像動作を制御する制御部と、
     を含むカプセル内視鏡装置であって、
     前記カプセル内視鏡装置は、第1動作モードと第2動作モードに設定可能であり、
     前記カプセル内視鏡装置が前記第2動作モードに設定された場合、
     前記制御部は、
     前記第2動作モードに設定された前記カプセル内視鏡装置よりも以前に生体内に投入され前記第1動作モードに設定されたカプセル内視鏡装置に関する第1情報に基づいて、前記撮像素子による撮像動作の制御の変更処理を行うことを特徴とするカプセル内視鏡装置。
  13.  第1カプセル内視鏡装置と、
     第2カプセル内視鏡装置と、
     前記第2カプセル内視鏡装置よりも以前に生体内に投入された前記第1カプセル内視鏡装置に関する第1情報に基づいて、前記第2カプセル内視鏡装置を前記生体内に投入するか否か又は投入するタイミングを判断するための投入判断用情報を提示処理する処理装置と、
     を含むことを特徴とする内視鏡システム。
  14.  請求項13において、
     前記第1情報は、前記第1カプセル内視鏡装置の電池の残量情報であることを特徴とする内視鏡システム。
  15.  請求項13において、
     前記第1情報は、前記第1カプセル内視鏡装置が前記生体内に投入されてからの経過時間情報であることを特徴とする内視鏡システム。
  16.  請求項13において、
     前記投入判断用情報は、前記第1カプセル内視鏡装置が前記生体のターゲット範囲を撮影し終えたか否かを表す情報であることを特徴とする内視鏡システム。
  17.  請求項13において、
     前記投入判断用情報は、前記第1カプセル内視鏡装置による撮像画像であることを特徴とする内視鏡システム。
PCT/JP2015/067330 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置 WO2016203548A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017524181A JP6498288B2 (ja) 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置
PCT/JP2015/067330 WO2016203548A1 (ja) 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置
US15/836,681 US10743752B2 (en) 2015-06-16 2017-12-08 Endoscope system, capsule endoscope device, and method for operating endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/067330 WO2016203548A1 (ja) 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/836,681 Continuation US10743752B2 (en) 2015-06-16 2017-12-08 Endoscope system, capsule endoscope device, and method for operating endoscope system

Publications (1)

Publication Number Publication Date
WO2016203548A1 true WO2016203548A1 (ja) 2016-12-22

Family

ID=57545123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/067330 WO2016203548A1 (ja) 2015-06-16 2015-06-16 内視鏡システム及びカプセル内視鏡装置

Country Status (3)

Country Link
US (1) US10743752B2 (ja)
JP (1) JP6498288B2 (ja)
WO (1) WO2016203548A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
KR102037303B1 (ko) * 2018-10-24 2019-10-28 아주대학교 산학협력단 캡슐 내시경의 위치를 추정하는 방법 및 장치
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
WO2019226744A1 (en) * 2018-05-22 2019-11-28 Velis Christopher J P Power supplies and methods of using miniaturized intra-body controllable medical device
CN112584744A (zh) * 2018-08-28 2021-03-30 奥林巴斯株式会社 内窥镜、驱动方法以及程序
WO2020069012A2 (en) 2018-09-25 2020-04-02 Miraki Innovation Think Tank, Llc In-vivo robotic imaging, sensing and deployment devices and methods for medical scaffolds
CN115251807B (zh) * 2022-09-26 2022-12-06 徐州医科大学 胶囊内窥镜***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313242A (ja) * 2003-04-11 2004-11-11 Olympus Corp 検査データ管理方法
JP2005103130A (ja) * 2003-10-01 2005-04-21 Olympus Corp カプセル投薬システム
JP2006061399A (ja) * 2004-08-26 2006-03-09 Hitachi Ltd 検査カプセル及び検査システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6709387B1 (en) 2000-05-15 2004-03-23 Given Imaging Ltd. System and method for controlling in vivo camera capture and display rate
KR101203719B1 (ko) * 2008-12-16 2012-11-21 한국전자통신연구원 캡슐형 내시경 시스템, 의료용 시스템 및 의료용 시스템의 동작방법
KR101103127B1 (ko) * 2010-04-29 2012-01-04 아이쓰리시스템 주식회사 듀얼모드 동작이 가능한 캡슐내시경용 이미지센서
KR101406370B1 (ko) * 2012-11-01 2014-06-12 가톨릭대학교 산학협력단 광 및 초음파 역학 치료용 캡슐 내시경
EP3046621B1 (en) * 2013-09-16 2021-05-26 The Board of Trustees of the Leland Stanford Junior University Multi-element coupler for generation of electromagnetic energy
JP6464329B2 (ja) * 2016-12-07 2019-02-06 オリンパス株式会社 内視鏡システム、受信装置、ワークステーション、設定方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313242A (ja) * 2003-04-11 2004-11-11 Olympus Corp 検査データ管理方法
JP2005103130A (ja) * 2003-10-01 2005-04-21 Olympus Corp カプセル投薬システム
JP2006061399A (ja) * 2004-08-26 2006-03-09 Hitachi Ltd 検査カプセル及び検査システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019123986A1 (ja) * 2017-12-22 2019-06-27 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JPWO2019123986A1 (ja) * 2017-12-22 2020-12-03 富士フイルム株式会社 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
KR102037303B1 (ko) * 2018-10-24 2019-10-28 아주대학교 산학협력단 캡슐 내시경의 위치를 추정하는 방법 및 장치
WO2020194568A1 (ja) * 2019-03-27 2020-10-01 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
JPWO2020194568A1 (ja) * 2019-03-27 2021-04-08 Hoya株式会社 内視鏡用プロセッサ、情報処理装置、内視鏡システム、プログラム及び情報処理方法
US11944262B2 (en) 2019-03-27 2024-04-02 Hoya Corporation Endoscope processor, information processing device, and endoscope system

Also Published As

Publication number Publication date
US10743752B2 (en) 2020-08-18
US20180098689A1 (en) 2018-04-12
JP6498288B2 (ja) 2019-04-10
JPWO2016203548A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
JP6498288B2 (ja) 内視鏡システム及びカプセル内視鏡装置
US8055033B2 (en) Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
US8562515B2 (en) Capsule endoscope, capsule endoscopic system, and endoscope control method
JP7313512B2 (ja) 内視鏡用プロセッサ、プログラム、情報処理方法及び情報処理装置
JP4956694B2 (ja) 情報処理装置及びカプセル型内視鏡システム
US20220296081A1 (en) Method for real-time detection of objects, structures or patterns in a video, an associated system and an associated computer readable medium
WO2016110993A1 (ja) 内視鏡システム、内視鏡装置及び内視鏡システムの制御方法
US9750395B2 (en) Information management apparatus and capsule endoscope inspection system
JPWO2018159347A1 (ja) プロセッサ装置、内視鏡システム及びプロセッサ装置の作動方法
JP5242852B2 (ja) 画像表示装置及びカプセル型内視鏡システム
US10932648B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
KR20150128297A (ko) 캡슐내시경을 이용한 의료 정보 처리 방법
KR102058192B1 (ko) 캡슐내시경의 촬영 제어 시스템 및 방법
CN112022067B (zh) 图像处理方法、电子设备及可读存储介质
JP2019136241A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US10939037B2 (en) Capsule endoscope, receiving device, operation method of capsule endoscope, and computer readable recording medium
US20200196845A1 (en) Capsule endoscope system, capsule endoscope, and receiving device
KR20180128216A (ko) 지능형 캡슐내시경 및 이를 이용한 촬영 방법
US10726553B2 (en) Image processing apparatus, image processing system, operation method of image processing apparatus, and computer-readable recording medium
Marques et al. Compressed domain topographic classification for capsule endoscopy
WO2015068494A1 (ja) 器官画像撮影装置
WO2023067922A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡システム
JP7440629B2 (ja) 内視鏡プロセッサ装置
JP6275344B1 (ja) 動き判定装置、被検体内導入装置、動き判定方法及びプログラム
Malagelada Vilarino et a

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15895569

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017524181

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15895569

Country of ref document: EP

Kind code of ref document: A1