WO2017158901A1 - 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理装置の作動方法、及び画像処理プログラム Download PDFInfo
- Publication number
- WO2017158901A1 WO2017158901A1 PCT/JP2016/081731 JP2016081731W WO2017158901A1 WO 2017158901 A1 WO2017158901 A1 WO 2017158901A1 JP 2016081731 W JP2016081731 W JP 2016081731W WO 2017158901 A1 WO2017158901 A1 WO 2017158901A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- representative
- unit
- processing apparatus
- image processing
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
Definitions
- the present invention relates to an image processing apparatus, an operation method of the image processing apparatus, and an image processing program.
- a user such as a doctor visually determines at which site in the digestive tract each acquired image is an image.
- an image corresponding to a characteristic part ie, ileocecal region, liver curvature, spleen curvature
- the space between the ileocecal region and liver curvature is ascending
- the colon, hepatic curvature and splenic curvature were determined to be the transverse colon, and the splenic curvature and subsequent were the descending colon.
- Patent Document 1 discloses a position for displaying a rough position where each image is captured in order to assist the user in grasping at which part in the digestive tract each acquired image is an image.
- An endoscope system that displays a marker on a display unit is disclosed.
- Patent Document 1 does not disclose a means for specifying at which part in the digestive tract each acquired image is an image taken. In addition, no means for specifying an image corresponding to a characteristic part is disclosed. Therefore, even if the technique of Patent Document 1 is used, the user can specify in which part of the digestive tract each image is captured, or specify the image corresponding to the characteristic part by visual inspection. There was a problem of requiring a lot of time.
- the present invention has been made in view of the above, and specifies which part in the digestive tract each acquired image is an image captured from, and features from an image group captured in the digestive tract
- An object of the present invention is to provide an image processing apparatus, an operation method of the image processing apparatus, and an image processing program capable of specifying an image corresponding to a part.
- an image processing apparatus is a representative of an image group captured by a capsule endoscope introduced into a digestive tract of a subject.
- a representative image setting unit for setting an image, and assigning a count to each of the representative images included in a predetermined section in the digestive tract, and based on the count and the total number of the representative images included in the section
- a distance ratio calculating unit that calculates a ratio of the length from the start position of the section to the representative image with respect to the total length of the section for each representative image.
- the image processing apparatus further includes a specifying unit that specifies at least one feature part image obtained by imaging the feature part of the digestive tract from the representative image based on the ratio. It is characterized by.
- the image processing apparatus further includes a comparison unit that compares a parameter relating to a position of a characteristic site in the digestive tract and the ratio for each representative image, and the specifying unit includes the comparison
- the at least one representative image is specified as the feature part image based on the comparison result of the parts.
- the ratio of the representative image included in a partial section of the section in which the ratio is determined based on the parameter based on a comparison result of the comparison unit is further provided, and the specifying unit matches the parameter and the ratio based on a comparison result of the comparison unit, or the parameter and the ratio
- the at least one representative image having a close value is specified as the feature part image from the candidate image group.
- the image processing apparatus further includes a storage unit that stores a position of the capsule endoscope when each image of the image group is captured, and the specifying unit includes the position Based on the above, at least one feature part image is specified from the candidate image group.
- the comparison unit compares the change amount of the position with a predetermined threshold value, and the characteristic part image is the change in the position of the subject in the left-right direction.
- the amount has a value larger than a predetermined threshold, the amount of change in the position of the subject in the vertical direction has a value smaller than a predetermined threshold, and the change in the position in the front-rear direction of the subject
- the representative image having a value smaller than a predetermined threshold value, or the amount of change in the position of the subject in the left-right direction has a value smaller than a predetermined threshold value, and the position in the vertical direction of the subject.
- the representative image has a value smaller than a predetermined threshold value, and the amount of change in the position of the subject in the front-rear direction has a value smaller than a predetermined threshold value.
- the image processing apparatus further includes a storage unit that stores a posture of the capsule endoscope when each image of the image group is captured, and the specifying unit includes the posture Based on the above, at least one feature part image is specified from the candidate image group.
- the comparison unit compares the elevation angle of the capsule endoscope with a predetermined threshold in the posture, and the feature part image has a predetermined elevation angle.
- the representative image having a value larger than the threshold value of.
- the image processing apparatus further includes a storage unit that stores, for each image, radio wave reception intensity when each image of the image group is captured, and the specifying unit includes the radio wave reception intensity. Based on the above, at least one feature part image is specified from the candidate image group.
- the storage unit stores a first radio wave reception intensity and a second radio wave reception intensity when each image of the image group is captured, A correlation calculation unit that calculates a correlation value between the first radio wave reception intensity and the second radio wave reception intensity; and the specifying unit calculates the correlation calculated by the correlation calculation unit from the candidate image group The representative image having the smallest value is specified as the feature part image.
- the image processing apparatus further includes a storage unit that stores acceleration of the capsule endoscope when each image of the image group is captured, and the specifying unit includes the acceleration Based on the above, at least one feature part image is specified from the candidate image group.
- the comparison unit compares the acceleration in the left-right direction of the subject with the predetermined threshold among the accelerations, and the feature part image is in the left-right direction
- the acceleration is a representative image having a value larger than a predetermined threshold, or the representative image having a value in which the acceleration in the left-right direction is smaller than a predetermined threshold.
- the image processing apparatus further includes a storage unit that stores a frame rate when each image of the image group is captured, and the specifying unit is configured to perform the above-described operation based on the frame rate. It is characterized in that at least one feature part image is specified from a candidate image group.
- the comparison unit compares the frame rate with a predetermined threshold value, and the feature part image has a value with the frame rate larger than the predetermined threshold value.
- the image processing apparatus further includes a storage unit that stores a time when each image of the image group is captured, and the specifying unit is based on the time interval between the images.
- the at least one feature part image is specified from the candidate image group.
- the comparison unit compares the time interval between the images with a predetermined threshold value, and the feature part image is the time between the images.
- the image processing apparatus is based on the ratio in the configuration diagram with respect to a display unit that displays the selected image selected from the image group and the configuration diagram of the digestive tract. And a display control unit for displaying an index indicating a position corresponding to the selected image.
- An operation method of the image processing apparatus includes a representative image setting step of setting a representative image representing an image group captured by a capsule endoscope introduced into the digestive tract of a subject; And assigning a count to each of the representative images included in a predetermined section in the digestive tract, and the section with respect to the total length of the section based on the count and the total number of the representative images included in the section
- An image processing program includes a representative image setting step of setting a representative image representing a group of images captured by a capsule endoscope introduced into a digestive tract of a subject, and the digestion A count is assigned to each of the representative images included in a predetermined section in the tube, and the start position of the section with respect to the total length of the section based on the count and the total number of the representative images included in the section And a distance ratio calculating step of calculating a ratio of the length from the representative image to the representative image for each representative image.
- each acquired image is an image taken
- an image corresponding to a characteristic part is specified from a group of images taken in the digestive tract.
- FIG. 1 is a block diagram illustrating an image processing apparatus according to the first embodiment.
- FIG. 2 is a schematic diagram showing the structure of the large intestine portion in the digestive tract of a subject.
- FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
- FIG. 4 is a schematic diagram showing a series of images in the digestive tract arranged in time series.
- FIG. 5 is a schematic diagram showing a distance ratio from the ileocecal part to each representative image.
- FIG. 6 is a schematic diagram illustrating a representative image group that is a candidate for a feature region image corresponding to liver curvature and a feature region image corresponding to liver curvature.
- FIG. 1 is a block diagram illustrating an image processing apparatus according to the first embodiment.
- FIG. 2 is a schematic diagram showing the structure of the large intestine portion in the digestive tract of a subject.
- FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
- FIG. 7 is a schematic diagram illustrating a representative image group that is a candidate for a feature part image corresponding to a spleen curve and a feature part image corresponding to a spleen curve.
- FIG. 8 is a schematic diagram illustrating a characteristic part image corresponding to the liver curvature specified by the image processing apparatus according to the modification of the first embodiment.
- FIG. 9 is a schematic diagram illustrating a characteristic part image corresponding to the splenic curvature specified by the image processing apparatus according to the modification of the first embodiment.
- FIG. 10 is a block diagram illustrating an image processing apparatus according to the second embodiment.
- FIG. 11 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
- FIG. 12 is a schematic diagram illustrating the movement of the capsule endoscope in the large intestine.
- FIG. 13 is a diagram illustrating a temporal change in the position of the capsule endoscope in the large intestine.
- FIG. 14 is a diagram illustrating the amount of change in the position of the capsule endoscope in the large intestine.
- FIG. 15 is a diagram illustrating a temporal change in the elevation angle of the capsule endoscope in the large intestine.
- FIG. 16 is a block diagram illustrating an image processing apparatus according to the third embodiment.
- FIG. 17 is a flowchart showing the operation of the image processing apparatus according to the third embodiment.
- FIG. 18 is a flowchart showing processing for specifying a feature part image executed by the specifying unit shown in FIG. FIG.
- FIG. 19 is a diagram illustrating the normalized radio wave reception intensity of the first antenna.
- FIG. 20 is a diagram illustrating the normalized radio wave reception intensity of the second antenna.
- FIG. 21 is a diagram illustrating a correlation coefficient between radio wave reception intensities of two antennas.
- FIG. 22 is a diagram illustrating another arrangement example of the antenna.
- FIG. 23 is a block diagram illustrating an image processing apparatus according to the fourth embodiment.
- FIG. 24 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment.
- FIG. 25 is a diagram illustrating acceleration in the X-axis direction of the capsule endoscope in the large intestine.
- FIG. 26 is a diagram illustrating a change over time in the cumulative number of captured images of the capsule endoscope.
- FIG. 27 is a diagram illustrating a temporal change in the imaging time interval of the capsule endoscope.
- FIG. 28 is a block diagram illustrating an image processing apparatus according to the fifth embodiment.
- FIG. 29 is a diagram for explaining the operation of the part classification unit.
- FIG. 30 is a diagram for explaining the operation of the part classification unit.
- FIG. 31 is a diagram for explaining the operation of the part classification unit.
- FIG. 32 is a diagram illustrating display on the display unit when the selected image is the ascending colon.
- FIG. 33 is a diagram illustrating display on the display unit when the selected image is the transverse colon.
- FIG. 34 is a diagram illustrating display on the display unit when the selected image is the descending colon.
- FIG. 35 is a block diagram showing an image processing apparatus according to the sixth embodiment.
- FIG. 29 is a diagram for explaining the operation of the part classification unit.
- FIG. 30 is a diagram for explaining the operation of the part classification unit.
- FIG. 31 is a diagram for explaining the
- FIG. 36 is a schematic diagram showing the structures of the small and large intestines in the digestive tract of a subject.
- FIG. 37 is a schematic diagram showing a distance ratio from the ileocecal part to each image.
- FIG. 38 is a schematic diagram showing a distance ratio from the ileocecal part to each image.
- an embodiment of an image processing apparatus, an operation method of the image processing apparatus, and an image processing program according to the present invention will be described with reference to the drawings. Note that the present invention is not limited to these embodiments.
- the present invention can be applied to an image processing device used for a capsule endoscope, an operation method of the image processing device, and an image processing program in general.
- FIG. 1 is a block diagram illustrating an image processing apparatus according to the first embodiment.
- the image processing apparatus 1 according to Embodiment 1 extracts an image of a predetermined section from a series of images acquired by sequentially capturing the inside of the digestive tract of a subject with a capsule endoscope, and the section It has a function that can easily specify a characteristic part image corresponding to a characteristic part (characteristic part).
- FIG. 2 is a schematic diagram showing the structure of the large intestine portion in the digestive tract of a subject.
- the large intestine portion of the subject's digestive tract has an ileocecal portion A ⁇ b> 1 that is a boundary between the ileum and the cecum along the direction in which the contents proceed, and the cecum from above the subject.
- the image processing apparatus 1 has a function of easily specifying images corresponding to the liver curvature A3 and the spleen curve A5 from the image group in the digestive tract.
- the image processing apparatus 1 acquires image data in the digestive tract of a subject imaged by a control unit 10 that controls the operation of the entire image processing apparatus 1 and a capsule endoscope (not shown).
- the control unit 10 is realized by hardware such as a CPU (Central Processing Unit) and reads various programs recorded in the storage unit 50 to input image data input from the image acquisition unit 20 or input from the input unit 30. In accordance with a signal or the like, instructions to each unit constituting the image processing apparatus 1 and data transfer are performed, and the overall operation of the image processing apparatus 1 is comprehensively controlled.
- a CPU Central Processing Unit
- the image acquisition unit 20 is appropriately configured according to the mode of the system including the capsule endoscope that images the inside of the subject.
- the image acquisition unit 20 detachably mounts the recording medium and records image data of the recorded image. It is comprised with the reader apparatus which reads.
- the server when installing a server that stores image data of an image captured by a capsule endoscope, the server includes an image acquisition unit 20, a communication device connected to the server, and performs data communication with the server. Get image data.
- the input unit 30 is realized by input devices such as a keyboard, a mouse, a touch panel, and various switches, for example, and outputs an input signal generated in response to an external operation on these input devices to the control unit 10.
- the storage unit 50 includes various IC memories such as ROM (Read Only Memory) and RAM (Random Access Memory) such as a flash memory that can be updated and recorded, information such as a built-in hard disk connected with a data communication terminal, or information such as a CD-ROM. This is realized by a recording device and its reading device.
- the storage unit 50 operates the image processing apparatus 1 in addition to the image data of the gastrointestinal tract image acquired by the image acquisition unit 20, and causes the image processing apparatus 1 to execute various functions. Stores data used during execution. In addition, the storage unit 50 stores the results calculated by each unit of the calculation unit 100.
- the calculation unit 100 is realized by hardware such as a CPU, and performs a process of specifying a feature part image corresponding to the liver curvature A3 and the spleen curve A5.
- the calculation unit 100 includes an ileocecal part specifying unit 110 that specifies an image corresponding to the ileocecal part A1, an anus part specifying unit 120 that specifies an image corresponding to the anus part A7, and a candidate image.
- a parameter for example, a statistical value
- a distance ratio calculation unit 150 that calculates, for each representative image, a distance ratio that is a ratio of the length from the start position of the section to each representative image with respect to the entire length of the section (for example, between the ileocecal part A1 and the anal part A7);
- the comparison unit 170 that compares the distance ratio calculated by the distance ratio calculation unit 150 with the parameter set by the parameter setting unit 130, and the liver curvature A3 and the spleen curve based on the comparison result of the comparison unit 170 5 corresponds to the liver curvature A3 and the spleen curve A5 from the candidate image group based on the comparison result of the candidate image group setting unit 160 that sets the candidate image group that is a candidate for the feature part image corresponding to 5, and the comparison unit 170
- a specifying unit 180 that specifies a feature part image to be performed.
- the ileocecal part specifying means 110 acquires information for specifying an image corresponding to the ileocecal part A1 from the image group. First, a user such as a doctor selects an image corresponding to the ileocecal part A ⁇ b> 1 from the image group in the digestive tract displayed on the display unit 40, and performs a predetermined input on the input unit 30. And the ileocecal part identification means 110 acquires the information received by the input unit 30, and identifies the image selected by the user as an image corresponding to the ileocecal part A1. Thereby, the first image (first position) of the section is specified.
- the ileocecal part specifying means 110 may perform image recognition on the image group in the digestive tract, and an image corresponding to the ileocecal valve may be an image corresponding to the ileocecal part A1.
- an image corresponding to the ileocecal valve may be an image corresponding to the ileocecal part A1.
- the capsule endoscope passes through the ileocecal valve, the entire captured image becomes dark. Therefore, a photo in which the entire image in the image group is dark may be detected by image recognition.
- Anal part specifying means 120 specifies an image corresponding to anal part A7 from the image group.
- a user such as a doctor selects an image corresponding to the anus A7 from the group of images in the digestive tract displayed on the display unit 40 and makes a predetermined input to the input unit 30.
- the anus specifying unit 120 acquires the information received by the input unit 30, and specifies the image selected by the user as an image corresponding to the anus A7.
- the last image (last position) of the section is specified.
- the anus specifying unit 120 may perform image recognition on the image group in the digestive tract, and an image corresponding to the anus may be an image corresponding to the anus A7. For example, the last image before the capsule endoscope is ejected from the anus A7 and the entire image becomes bright may be detected by image recognition.
- the parameter setting unit 130 sets parameters used when the candidate image group setting unit 160 sets a candidate image group. Specifically, when the input unit 30 receives a user input, the parameter setting unit 130 acquires the input information and sets parameters used when the candidate image group setting unit 160 sets a candidate image group.
- the distance ratio from the ileocecal portion A1 to the liver curvature A3 with respect to the entire length of the large intestine is 11% to 19%.
- the distance ratio from the ileocecal portion A1 to the splenic curve A5 with respect to the entire length of the large intestine is 39% to 52%.
- the user inputs parameters so that a representative image having a distance ratio of 11% to 19% is a candidate image group that is a candidate for a characteristic part image corresponding to liver curvature A3, and the distance ratio A parameter is input so that a representative image of 39% to 52% is a candidate image group that is a candidate for a characteristic part image corresponding to the splenic curve A5.
- the user can set parameters based on, for example, statistical values. Parameters may be set in advance so that user input can be omitted.
- the representative image setting unit 140 sets a representative image.
- the representative image is an image picked up when the capsule endoscope moves largely in the digestive tract.
- the representative image setting unit 140 calculates the similarity by comparing the images before and after the image group arranged in chronological order, and sets the image as the representative image when the calculated similarity is smaller than a predetermined threshold. Alternatively, it may be determined that the capsule endoscope has moved greatly in the digestive tract by various other methods and set as a representative image.
- the distance ratio calculation unit 150 sequentially assigns one count to each representative image in the section. That is, the number of representative images in time series in each section is counted. Then, the ratio between the count of each representative image and the total number of representative images in the section is calculated. That is, the distance ratio calculation unit 150 calculates the number ratio of each representative image in the section.
- the representative image corresponds to an image with a large movement of the capsule endoscope
- the number ratio is from the start position of the section (the ileocecal part A1) to each representative image with respect to the entire length of the section (for example, the large intestine). It can be approximated to the distance ratio of the length. Therefore, the distance ratio calculation unit 150 stores the calculated number ratio as a distance ratio in the storage unit 50 in association with each representative image.
- the comparison unit 170 compares the value determined based on the parameter with the distance ratio for each representative image. Specifically, as described above, the statistical value of the distance ratio from the ileocecal portion A1 to the liver curvature A3 is 11% to 19%, and this statistical value is compared with the distance ratio associated with each representative image. . Alternatively, for example, the median value of 15% of the statistical values is compared with the distance ratio associated with each representative image. Similarly, the statistical value of the distance ratio from the ileocecal region A1 to the splenic curve A5 is 39% to 52%, and this statistical value is compared with the distance ratio associated with each representative image. Alternatively, for example, the median value of 45% of the statistical values is compared with the distance ratio associated with each representative image.
- the candidate image group setting unit 160 sets a candidate image group that is a set of representative images included in a part of the large intestine based on the distance ratio calculated by the distance ratio calculation unit 150. Specifically, based on the comparison result of comparison unit 170, candidate image group setting unit 160 corresponds a representative image having a distance ratio calculated by distance ratio calculation unit 150 of 11% to 19% to liver curvature A3. A candidate image group is set, and a representative image having a distance ratio of 39% to 52% is set as a candidate image group corresponding to the splenic curve A5.
- the specifying unit 180 specifies at least one feature part image obtained by imaging the feature part of the digestive tract based on the distance ratio calculated by the distance ratio calculation unit 150. At this time, a feature part image may be specified from the candidate image group. Specifically, the specifying unit 180 specifies a representative image whose distance ratio calculated by the distance ratio calculating unit 150 is 15% as a feature part image corresponding to the liver curvature A3 based on the comparison result of the comparing unit 170. Then, a representative image having a distance ratio of 45% is specified as a feature part image corresponding to the splenic curve A5. If there is no representative image that matches the distance ratio of 15% or 45%, the specifying unit 180 specifies the representative image having the distance ratio closest to these values as the feature part image.
- the display unit 40 is realized by a display device such as a liquid crystal or an organic EL (Electro Luminescence), and displays various information and images including images in the digestive tract under the control of the control unit 10.
- a display device such as a liquid crystal or an organic EL (Electro Luminescence)
- FIG. 3 is a flowchart showing the operation of the image processing apparatus according to the first embodiment.
- the image processing apparatus 1 acquires image data of a series of gastrointestinal images captured in time series order via the image acquisition unit 20 and records them in the storage unit 50. To do.
- the representative image setting unit 140 compares the images before and after the image group arranged in time series order to calculate the similarity, and when the calculated similarity is smaller than a predetermined threshold, the representative image is set as the representative.
- FIG. 4 is a schematic diagram showing a series of images in the digestive tract arranged in time series.
- the images with the image number n 1 , the image number n 2 , and the image number n M shown in FIG. 4 are representative images. That is, the total number of representative images is M.
- step S12 when the user selects an image corresponding to the ileocecal part A1 from the input unit 30, the ileocecal part specifying unit 110 acquires the information received by the input unit 30, and the image selected by the user is the ileocecal part. It is specified as an image corresponding to A1. That is, the start position of the section is set. 4, the image of the originally captured image number n a of when images arranged in chronological order is an image corresponding to the ileocecal region A1.
- the image (image number n a ) corresponding to the ileocecal part A1 is not a representative image.
- step S13 when the user selects an image corresponding to the anus A7 from the input unit 30, the anus specifying unit 120 acquires information received by the input unit 30, and selects the image selected by the user from the anus A7. It is specified as an image corresponding to. That is, the end position of the section is set. As shown in FIG. 4, the image of the image number n r captured at the end of the image group arranged in time series is an image corresponding to the anus A7. Here, it is assumed that the image (image number n r ) corresponding to the anus A7 is not a representative image.
- step S14 the parameter setting unit 130 sets parameters used when the candidate image group setting unit 160 sets a candidate image group in accordance with the input received by the input unit 30. If parameters are set in advance, user input to the input unit 30 is not necessary.
- step S15 the distance ratio calculation unit 150 calculates the number ratio RNm for each representative image.
- m 1, 2,... M.
- RNm n m / (M + 1)
- FIG. 5 is a schematic diagram showing a distance ratio from the ileocecal part A1 to each representative image. As shown in FIG. 5, the distance ratio RLm of the image corresponding to the ileocecal region A1 of the image number n a is 0%, and the distance ratio RLm of the image corresponding to the anal area A7 of the image number n r 100% is there.
- the candidate image group setting unit 160 based on the distance ratio RLm and the parameter set by the parameter setting unit 130, represents a representative image group that is a candidate for the characteristic part image corresponding to the liver curvature A3 and the spleen curve A5.
- FIG. 6 is a schematic diagram illustrating a representative image group that is a candidate for a feature region image corresponding to liver curvature and a feature region image corresponding to liver curvature.
- the distance ratio RLm first representative image of the representative image group G A that are candidates for feature region image corresponding to the hepatic flexure A3 was 11%, the distance ratio RLm last representative image 19 %.
- FIG. 6 is a schematic diagram illustrating a representative image group that is a candidate for a feature region image corresponding to liver curvature and a feature region image corresponding to liver curvature.
- the distance ratio RLm first representative image of the representative image group G A that are candidates for feature region image corresponding to the hepatic flexure A3 was
- FIG. 7 is a schematic diagram illustrating a representative image group that is a candidate for a feature part image corresponding to a spleen curve and a feature part image corresponding to a spleen curve.
- the distance ratio RLm first representative image 39% of the representative image group G B which is a candidate of feature region image corresponding to the splenic flexure A5 distance ratio RLm last representative image 52 %.
- step S17 for each representative image, the comparison unit 170 sets a parameter (for example, a statistical median value) of the distance ratio RLm of the length from the ileocecal portion A1 to the liver curvature A3 and the splenic curve A5 with respect to the entire length of the large intestine. 15% or 45%) is compared with the distance ratio RLm.
- a parameter for example, a statistical median value
- step S18 the specifying unit 180, based on the comparison result of the comparison unit 170, as shown in FIG. 6, the image number substantially distance ratio RLm located in the center is 15% of the representative image group G A n A1 Is specified as a feature part image corresponding to the liver curvature A3.
- certain portions 180 based on the comparison result of the comparison unit 170, as shown in FIG. 7, the representative image of the image number n B1 substantially distance ratio RLm located in the center of 45% of the representative image group G B Is identified as a feature part image corresponding to the splenic curve A5.
- the specifying unit 180 corresponds to the liver curvature A3 and the spleen curve A5.
- the specifying unit 180 In order to identify the image, specify in which part of the digestive tract each acquired image is an image taken, and specify an image corresponding to the characteristic part from the group of images taken in the digestive tract
- the specifying unit 180 specifies the representative image of the image number n A1 having a distance ratio RLm of 15% as a feature part image corresponding to the liver curve A3, and the distance ratio RLm is 45%.
- the representative image of the image number n B1 is specified as the characteristic part image corresponding to the splenic curve A5, it is not limited to this.
- FIG. 8 is a schematic diagram illustrating a characteristic part image corresponding to the liver curvature specified by the image processing apparatus according to the modification of the first embodiment. Specifying unit 180, based on the comparison result of the comparison unit 170, as shown in FIG.
- FIG. 9 is a schematic diagram illustrating a characteristic part image corresponding to the splenic curvature specified by the image processing apparatus according to the modification of the first embodiment.
- Specifying unit 180 based on the comparison result of the comparison unit 170, as shown in FIG. 9, the end to the representative of the image number n B2 of the distance ratio RLm a representative image captured 52% of the representative image group G B
- the image may be specified as a characteristic part image corresponding to the splenic curve A5.
- certain portions 180 in response to user input by the input unit 30 has received, identified respectively feature region image corresponding to the hepatic flexure A3 and splenic flexure A5 from the representative image group G A and the representative image group G B May be.
- each representative image of the candidate image group is displayed on the display unit 40.
- the user selects a characteristic part image corresponding to the liver curve A3 and the spleen curve A5 from each representative image of the candidate image group displayed on the display unit 40, and performs a predetermined input to the input unit 30.
- the specifying unit 180 sets the representative image selected by the user based on the input information received by the input unit 30 as a feature part image corresponding to the liver curve A3 and the spleen curve A5.
- image n a image and the image number n r of the case is a representative image, it is possible to calculate the distance ratio RLm as follows.
- the distance ratio RLm can be calculated even if the image with the image number n a or the image with the image number n r is a representative image.
- FIG. 10 is a block diagram illustrating an image processing apparatus according to the second embodiment.
- the image processing apparatus 1A includes a receiving unit 21A, and the arithmetic unit 100A of the image processing apparatus 1A includes a position and orientation calculating unit 210A.
- Other configurations are the same as those in the first embodiment, and thus description thereof will be omitted as appropriate.
- the receiving unit 21A includes a plurality of antenna units 21Aa, and sequentially receives wireless signals from the capsule endoscope via the antenna units 21Aa.
- the image acquisition unit 20 of the reception unit 21A selects the antenna with the highest received electric field strength from these antenna units 21Aa, and demodulates the radio signal from the capsule endoscope received through the selected antenna. Perform processing. As a result, the image acquisition unit 20 extracts the image data in the digestive tract of the subject from the wireless signal and stores the image data in the storage unit 50.
- the position and orientation calculation unit 210A calculates the position and orientation of the capsule endoscope in the subject for each image based on the strength of the radio signal received by the plurality of antenna units 21Aa of the reception unit 21A.
- Information related to the position of the endoscope hereinafter referred to as position information
- information related to the posture hereinafter referred to as posture information
- the initial value of the position and orientation is set as appropriate, and the process of calculating the estimated value of the position and orientation by the Gauss-Newton method is performed using the calculated estimated value and the previous estimated value. It can be obtained by iterating until the amount of deviation is less than or equal to a predetermined value (see, for example, JP-A-2007-283001).
- FIG. 11 is a flowchart showing the operation of the image processing apparatus according to the second embodiment.
- the image processing apparatus 1 ⁇ / b> A acquires image data of a series of intra-gastrointestinal images captured in chronological order via the image acquisition unit 20 and records them in the storage unit 50. To do.
- the position and orientation calculation means 210A determines the position and orientation of the capsule endoscope in the subject for each image based on the intensity of the radio signal received by the plurality of antenna units 21Aa of the reception unit 21A. calculate. Furthermore, the position and orientation calculation unit 210A stores position information and orientation information when each image is captured in the storage unit 50 for each image.
- FIG. 12 is a schematic diagram showing the movement of the capsule endoscope in the large intestine.
- the capsule endoscope 2 moves from the ileocecal part A1 to the anal part A7 in the large intestine.
- the horizontal direction of the subject is the X-axis direction
- the vertical direction of the subject is the Y-axis direction
- the front-back direction of the subject is the Z-axis direction.
- FIG. 13 is a diagram showing the time change of the position of the capsule endoscope in the large intestine.
- the capsule endoscope 2 moves above the subject and moves in front of the subject in the ascending colon A2.
- the movement of the subject of the capsule endoscope 2 in the left-right direction is slight.
- the capsule endoscope 2 moves in the left-right direction of the subject in the transverse colon A4.
- the transverse colon A4 the movement of the subject of the capsule endoscope 2 in the vertical direction and the front-back direction is slight.
- the capsule endoscope 2 moves below the subject and moves behind the subject in the descending colon A6.
- the movement of the subject of the capsule endoscope 2 in the left-right direction is slight.
- FIG. 14 is a diagram showing the amount of change in the position of the capsule endoscope in the large intestine.
- FIG. 14 shows the amount of change in the position of the capsule endoscope 2 based on FIG.
- the comparison unit 170 compares the amount of change in position with a predetermined threshold value. Specifically, the comparing unit 170 compares the amount of change ( ⁇ X, ⁇ Y, ⁇ Z) of each representative image with the threshold value BX1, threshold value BX2, threshold value BY1, threshold value BY2, threshold value BZ1, threshold value BZ2 shown in FIG. To do.
- the specifying unit 180 has ⁇ X larger than the threshold BX1 among the candidate image groups set by the candidate image group setting unit 160 based on the comparison result of the comparison unit 170, and ⁇ Y A representative image having a value smaller than the threshold BY1 and ⁇ Z smaller than the threshold BZ1 is specified as a feature part image corresponding to the liver curvature A3.
- the representative image captured at the earliest time may be specified as the feature part image corresponding to the liver curvature A3.
- the specifying unit 180 includes a candidate image group set by the candidate image group setting unit 160, wherein ⁇ X has a value smaller than the threshold BX2, ⁇ Y has a value smaller than the threshold BY2, and A representative image having a value ⁇ Z smaller than the threshold value BZ2 is specified as a feature part image corresponding to the splenic curve A5.
- the representative image captured at the earliest time may be specified as the characteristic part image corresponding to the splenic curve A5.
- the specifying unit 180 has a characteristic part image corresponding to the liver curve A3 and the spleen curve A5.
- the specifying unit 180 has a characteristic part image corresponding to the liver curve A3 and the spleen curve A5.
- the specifying unit 180 specifies the feature part images corresponding to the liver curvature A3 and the spleen curve A5 based on the position calculated by the position and orientation calculation unit 210A. I can't.
- the specifying unit 180 may specify the characteristic part images corresponding to the liver curvature A3 and the splenic curve A5 based on the posture calculated by the position and posture calculation unit 210A.
- FIG. 15 is a diagram showing the time change of the elevation angle of the capsule endoscope in the large intestine.
- the elevation angle is an in-plane angle along a plane orthogonal to the direction of gravity, and the direction toward the upper side (head side) of the subject is 0 ° and the lower side (leg side) of the subject. The direction is defined as 180 °.
- the elevation angle changes slightly in the ascending colon A2, but the elevation angle changes abruptly in the liver curvature A3.
- the elevation angle changes slightly in the transverse colon A4, but the elevation angle changes abruptly in the splenic curve A5.
- the comparison unit 170 compares the elevation angle with a predetermined threshold value. Then, the specifying unit 180 specifies a representative image having an elevation angle greater than the threshold value BA1 as a feature part image corresponding to the liver curve A3. At this time, when there are a plurality of representative images that satisfy this condition, the representative image captured at the earliest time may be specified as the characteristic part image corresponding to the liver curvature A3. Similarly, the specifying unit 180 specifies a representative image having an elevation angle greater than the threshold value BA2 as a feature part image corresponding to the splenic curve A5. At this time, when there are a plurality of representative images satisfying this condition, the representative image captured at the earliest time may be specified as the feature part image corresponding to the splenic curve A5.
- FIG. 16 is a block diagram illustrating an image processing apparatus according to the third embodiment.
- the image processing apparatus 1B includes an antenna 70B attached to the body surface of the subject 3 swallowing the capsule endoscope 2, and a radio wave intensity receiving unit that receives the radio wave reception intensity from the antenna 70B.
- the calculation unit 100B of the image processing apparatus 1B includes a correlation calculation unit 310B.
- Other configurations are the same as those in the first embodiment, and thus description thereof will be omitted as appropriate.
- the radio wave intensity receiving unit 71B stores the radio wave reception intensity when each image is captured in the storage unit 50 for each image.
- the correlation calculation unit 310B calculates, for example, a correlation coefficient as the correlation value of the radio wave reception intensity of each antenna 70B received by the radio wave intensity reception unit 71B.
- the correlation value is not limited to the correlation coefficient, and may be a value representing the correlation of the plurality of antennas 70B such as a difference or product of radio wave reception intensity of each antenna 70B.
- FIG. 17 is a flowchart showing the operation of the image processing apparatus according to the third embodiment.
- the image processing apparatus 1 ⁇ / b> B acquires image data of a series of intra-gastrointestinal images taken in time series order via the image acquisition unit 20 and records them in the storage unit 50. To do.
- the radio wave intensity receiving unit 71B receives the signal intensity (radio wave reception intensity) received by the plurality of antennas 70B. Further, the radio wave intensity receiving unit 71B stores the radio wave reception intensity when each image is captured in the storage unit 50 for each image.
- FIG. 18 is a flowchart showing processing for specifying a feature part image executed by the specifying unit shown in FIG.
- step S31 the radio wave reception intensity of the first antenna closest to the ileocecal part A1 is normalized.
- FIG. 19 is a diagram illustrating the normalized radio wave reception intensity of the first antenna. As shown in FIG. 19, the radio wave reception intensity of the first antenna decreases as the capsule endoscope 2 advances through the digestive tract and moves from the ileocecal part A1 toward the liver curve A3.
- FIG. 20 is a diagram illustrating the normalized radio wave reception intensity of the second antenna.
- the radio wave reception intensity of the second antenna increases as the capsule endoscope 2 advances through the digestive tract and moves from the ileocecal portion A1 toward the liver curvature A3.
- the radio wave reception intensity of the second antenna decreases as the capsule endoscope 2 travels through the digestive tract and passes through the liver curve A3, and the capsule endoscope 2 moves away from the liver curve A3.
- step S33 the correlation calculation unit 310B sets the maximum calculation range of the correlation coefficient. Specifically, the correlation calculation unit 310B sets the maximum calculation range C in FIGS. 19 and 20 corresponding to the candidate image group (image group with a distance ratio of 11% to 19%) set by the candidate image group setting unit 160. Set as the maximum calculation range.
- correlation calculation section 310B sets a section for calculating a correlation coefficient. Initially, the first representative image captured in the candidate image group is set as the first image, and the first representative image to the second representative image are set as a section for calculating the correlation coefficient.
- step S35 the correlation calculation unit 310B calculates a correlation coefficient between the radio wave reception intensity of the first antenna and the radio wave reception intensity of the second antenna in the set section.
- step S36 correlation calculation section 310B increases the interval for calculating the correlation coefficient.
- the first representative image to the third representative image in the candidate image group are set as a section for calculating the correlation coefficient.
- step S37 the correlation calculation unit 310B determines whether or not the section to be calculated exceeds the maximum calculation range C. If the interval to be calculated does not exceed the maximum calculation range C (step S37: No), the calculation of the correlation coefficient is repeated while increasing the interval to be calculated. And when the area to calculate exceeds the maximum calculation range C (step S37: Yes), it progresses to the next step. That is, the correlation calculation unit 310B calculates correlation coefficients for all images within the maximum calculation range C.
- FIG. 21 is a diagram illustrating a correlation coefficient between radio wave reception intensities of two antennas. The correlation calculation unit 310B calculates a correlation coefficient within the maximum calculation range C (the thick broken line in FIG. 21) indicated by the solid line in FIG. Note that the correlation coefficient outside the maximum calculation range C indicated by the broken line in FIG. 21 may not be calculated in actual processing.
- the specifying unit 180 specifies, from the candidate image group, a representative image having the smallest value of the correlation coefficient calculated by the correlation calculating unit 310B as a feature part image. Thereafter, the operation of the image processing apparatus 1B returns to the main routine, and a series of operations ends.
- the feature part image corresponding to the spleen curve A5 is specified. can do.
- the specifying unit 180 uses the correlation value calculated by the correlation calculation unit 310B to display the characteristic part images corresponding to the liver curvature A3 and the spleen curve A5.
- the specifying unit 180 uses the correlation value calculated by the correlation calculation unit 310B to display the characteristic part images corresponding to the liver curvature A3 and the spleen curve A5.
- FIG. 22 is a diagram illustrating another arrangement example of the antenna. As shown in FIG. 22, only three antennas, that is, the antenna 70Ba close to the ileocecal part A1, the antenna 70Bb close to the liver curve A3, and the antenna 70Bc close to the spleen curve A5 may be arranged. In FIG. 22, the antenna 70Ba is disposed on the back side, and the antenna 70Bb and the antenna 70Bc are disposed on the chest side.
- FIG. 23 is a block diagram illustrating an image processing apparatus according to the fourth embodiment.
- the image processing device 1C includes a reception unit 21A, and the calculation unit 100C of the image processing device 1C includes an acceleration information acquisition unit 410C.
- Other configurations are the same as those in the first embodiment, and thus description thereof will be omitted as appropriate.
- the receiving unit 21A may have the same configuration as that of the second embodiment, but receives an acceleration signal output from an acceleration sensor arranged in the capsule endoscope.
- the acceleration information acquisition unit 410C causes the storage unit 50 to store the acceleration of the capsule endoscope in the subject for each image based on the acceleration signal received by the receiving unit 21A.
- FIG. 24 is a flowchart showing the operation of the image processing apparatus according to the fourth embodiment.
- the image processing apparatus 1 ⁇ / b> C acquires a series of intra-gastrointestinal images imaged in chronological order via the image acquisition unit 20 and records them in the storage unit 50. To do.
- the acceleration information acquisition unit 410C stores the acceleration in the X-axis direction of the capsule endoscope in the subject for each image based on the acceleration signals received by the plurality of antenna units 21Aa of the reception unit 21A. Stored in the unit 50.
- FIG. 25 is a diagram showing acceleration in the X-axis direction of the capsule endoscope in the large intestine.
- the capsule endoscope has slight movement in the X-axis direction in the ascending colon A2.
- transverse colon A4 acceleration is first performed, and then proceeds at a substantially constant speed.
- the traveling direction is changed, so that the capsule endoscope 2 is once decelerated.
- step S41 the comparison unit 170 compares the acceleration with a predetermined threshold value. Specifically, the comparison unit 170 compares the acceleration ax with the threshold values D1 and D2 shown in FIG.
- the specifying unit 180 selects a representative image having an acceleration ax greater than the threshold value D1 from the candidate image group set by the candidate image group setting unit 160 based on the comparison result of the comparison unit 170.
- the characteristic part image corresponding to the liver curvature A3 is specified.
- the representative image captured at the earliest time may be specified as the characteristic part image corresponding to the liver curvature A3.
- the specification unit 180 specifies a representative image having an acceleration ax smaller than the threshold value D2 as a feature part image corresponding to the splenic curve A5 from the candidate image group set by the candidate image group setting unit 160. .
- the representative image captured at the earliest time may be specified as the feature part image corresponding to the splenic curve A5.
- the specifying unit 180 displays the characteristic part images corresponding to the liver curve A3 and the spleen curve A5.
- the specifying unit 180 displays the characteristic part images corresponding to the liver curve A3 and the spleen curve A5.
- a feature part image may be specified based on the cumulative number of captured images.
- the capsule endoscope includes a frame rate control means, and the frame rate increases as the speed increases, and the frame rate decreases as the speed decreases.
- FIG. 26 is a diagram illustrating a change over time in the cumulative number of captured images of the capsule endoscope.
- the specifying unit 180 specifies a representative image in which the amount of change in the cumulative number of captured images N is greater than a predetermined threshold from the candidate image groups set by the candidate image group setting unit 160 as a feature part image corresponding to the liver curvature A3. To do. Similarly, the specifying unit 180 selects a representative image corresponding to the splenic curve A5 from the candidate image group set by the candidate image group setting unit 160, with a change amount of the cumulative number of captured images N being smaller than a predetermined threshold. Specify as an image.
- FIG. 27 is a diagram illustrating a temporal change in the imaging time interval of the capsule endoscope.
- the specifying unit 180 selects a representative image having a time interval ⁇ t between captured images smaller than the threshold E1 from the candidate image group set by the candidate image group setting unit 160 as a feature part image corresponding to the liver curvature A3. Identify. Similarly, the specifying unit 180 is a feature corresponding to the splenic curve A5, among the candidate image groups set by the candidate image group setting unit 160, for a representative image whose time interval ⁇ t between captured images is larger than the threshold value E2. It is specified as a part image.
- FIG. 28 is a block diagram illustrating an image processing apparatus according to the fifth embodiment.
- the control unit 10 of the image processing apparatus 1D includes a display control unit 11D
- the calculation unit 100D of the image processing apparatus 1D includes a part classification unit 510D.
- Other configurations are the same as those in the first embodiment, and thus description thereof will be omitted as appropriate.
- the display unit 40 includes a main display and a sub display. A selected image selected by the user from the image group is displayed on the main display of the display unit 40. A configuration diagram of the digestive tract is displayed on the sub-display of the display unit 40.
- the display control unit 11D displays a selection image determined based on the position corresponding to the characteristic part image specified by the specifying unit 180 and the distance ratio on the configuration diagram of the digestive tract displayed on the sub-display of the display unit 40. An index indicating the corresponding position is displayed.
- Part classification unit 510D provides a distance ratio to images other than the representative image based on the distance ratio calculated by distance ratio calculation unit 150.
- 29 to 31 are diagrams for explaining the operation of the part classification unit.
- the distance ratio of the image number n 1 is 0%
- the distance ratio of the image number n 2 is assumed to be 10%.
- the part classification unit 510D sets all the distance ratios of the image number n 11 , the image number n 12 , and the image number n 13 to 0%.
- the part classification unit 510D is distributed evenly distance ratio, the distance ratio of the image number n 11 2.5%, the distance ratio of the image number n 12 5%, the image number n 13 The distance ratio may be 7.5%.
- FIG. 32 is a diagram illustrating display on the display unit when the selected image is the ascending colon.
- a configuration diagram of the digestive tract large intestine
- the display control unit 11D causes the indicator M1 corresponding to the ileocecal portion A1, the indicator M2 corresponding to the liver curvature A3, the indicator M3 corresponding to the splenic curvature A5, and the indicator M4 corresponding to the selected image.
- the indicator M1 corresponding to the ileocecal portion A1 the indicator M2 corresponding to the liver curvature A3, the indicator M3 corresponding to the splenic curvature A5
- the indicator M4 corresponding to the selected image.
- the distance ratio display part F displays the distance ratio from the ileocecal part A1 to the selected image by a color-coded bar and a numerical value (11). Further, since the selected image is in the ascending colon A2, an area corresponding to the ascending colon A2 is highlighted.
- FIG. 33 is a diagram showing the display on the display unit when the selected image is the transverse colon.
- FIG. 34 is a diagram illustrating display on the display unit when the selected image is the descending colon. Similarly to FIG. 32, each index and the distance ratio (24, 80) are displayed on the sub-display of the display unit 40, and the transverse colon A4 or the descending colon A6 each having a selected image is highlighted.
- various indicators are displayed on the display unit 40 corresponding to the distance ratio and the characteristic part image, so that the user can intuitively grasp the image currently being viewed. It's easy to do.
- FIG. 35 is a block diagram showing an image processing apparatus according to the sixth embodiment.
- the calculation unit 100E of the image processing apparatus 1E includes a duodenum specifying unit 610E.
- the specifying unit 180 of the image processing apparatus 1E specifies a feature part image corresponding to the ileocecal part A1 as a feature part.
- Other configurations are the same as those in the first embodiment, and thus description thereof will be omitted as appropriate.
- FIG. 36 is a schematic diagram showing the structure of the small and large intestines in the digestive tract of a subject.
- the small and large intestines in the digestive tract of the subject include the pylorus A11 at the boundary between the stomach and the small intestine, the duodenum, the jejunum, the ileum, and the like along the direction in which the contents proceed. It consists of the small intestine A12, the ileocecal part A1 which is the boundary between the small intestine A12 and the large intestine A13, the large intestine A13, and the anal part A7 which is the exit of the large intestine A13.
- the duodenum specifying means 610E specifies an image corresponding to the ileocecal part A1 from the image group in the digestive tract, similarly to the ileocecal part specifying means 110.
- the parameter setting unit 130 sets parameters used when the candidate image group setting unit 160 sets a candidate image group in response to a user input to the input unit 30.
- the ratio of the distance from the pyloric part A11 to the ileocecal part A1 with respect to the total length of the small intestine A12 and the large intestine A13 is 75% to 82%.
- the user inputs parameters so that a representative image with a distance ratio of 75% to 82% is a candidate image group that is a candidate for a feature part image corresponding to the ileocecal part A1.
- the distance ratio calculation unit 150 calculates a distance ratio, which is a ratio with respect to the distance from the pylorus A11 to the anus A7, for each representative image.
- the comparison unit 170 compares the statistical value (75% to 82%) with the distance ratio associated with each representative image as described above. Alternatively, for example, the median value of 79% of the statistical values is compared with the distance ratio associated with each representative image.
- the candidate image group setting unit 160 sets a representative image having a distance ratio calculated by the distance ratio calculation unit 150 of 75% to 82% as a candidate image group corresponding to the ileocecal part A1. Set.
- the specifying unit 180 specifies a representative image having a distance ratio of 79% calculated by the distance ratio calculating unit 150 as a feature part image corresponding to the ileocecal part A1 based on the comparison result of the comparing unit 170.
- the corresponding feature part image can be specified not only for the ileocecal part A1, the liver curvature A3, and the spleen curve A5, but also for any feature part.
- an image corresponding to the boundary between the duodenum and the jejunum or the boundary between the jejunum and the ileum may be specified as the feature part image.
- the image in the above embodiment a section from the image corresponding to the ileocecal region A1 of the image number n a to the representative image of the first (image number n 1), and from the representative image of the last (image number n M)
- the distance ratio RLm is calculated in consideration of the section to the image corresponding to the anal part A7 of the number n r , but may be calculated by excluding these sections.
- 37 and 38 are schematic diagrams showing the distance ratio from the ileocecal part A1 to each image. First, as shown in FIG.
- the image of image number na is a representative image
- the image of the image number n r is independent of whether or not the representative image The formula is the same.
- calculation is performed by excluding the section from the image with the image number n a to the representative image with the image number n 1 and the section from the representative image with the image number n M to the image with the image number n r. to case, next distance ratio RLm of the representative image of the image number n 1 is 0%, the distance ratio RLm of the representative image of the image number n M is 100%. Therefore, the distance ratio RLm can be calculated as follows.
- RLm (n m ⁇ 1) / M ⁇ 1
- the equation is the same regardless of whether the images of the image number n a and the image number n r are representative images. Further, the image number n a and the image number n r may always be representative images.
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
画像処理装置は、被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定部と、前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出部と、を備える。これにより、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置を提供する。
Description
本発明は、画像処理装置、画像処理装置の作動方法、及び画像処理プログラムに関する。
従来、カプセル型内視鏡が被検体の消化管内を時系列順に撮像することにより取得した一連の画像群を用いて、被検体の診断を行う技術が知られている。
この技術では、取得された各画像が消化管内のどの部位で撮像された画像であるかについては、医師等のユーザが目視により判断する。例えば、大腸の診断を行う際には、ユーザが目視により判別しやすい特徴部位(回盲部、肝湾曲、脾湾曲)に対応する画像を設定し、回盲部と肝湾曲との間が上行結腸、肝湾曲と脾湾曲との間が横行結腸、脾湾曲以降が下行結腸であると判断していた。
特許文献1には、ユーザが、取得された各画像が消化管内のどの部位で撮像された画像であるかを把握するのを補助するため、各画像が撮像された大まかな位置を表示する位置マーカーを表示部に表示させる内視鏡システムが開示されている。
しかしながら、特許文献1には、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定する手段は開示されていない。また、特徴部位に対応する画像を特定する手段も開示されていない。従って、特許文献1の技術を用いたとしても、ユーザが各画像が消化管内のどの部位で撮像された画像であるかを特定する、あるいは、特徴部位に対応する画像を目視により特定するのに、多大な時間を要するという課題があった。
本発明は、上記に鑑みてなされたものであって、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置、画像処理装置の作動方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る画像処理装置は、被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定部と、前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出部と、を備えることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比率に基づいて、前記代表画像の中から前記消化管の特徴部位を撮像した少なくとも1つの特徴部位画像を特定する特定部をさらに備えることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記消化管内における特徴部位の位置に関するパラメータと、前記比率とを前記代表画像ごとに比較する比較部をさらに備え、前記特定部は、前記比較部の比較結果に基づいて、少なくとも1つの前記代表画像を前記特徴部位画像として特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比較部の比較結果に基づいて、前記比率が、前記パラメータに基づいて定められた、前記区間の一部区間に含まれる前記代表画像の集合である候補画像群を設定する候補画像群設定部をさらに備え、前記特定部は、前記比較部の比較結果に基づいて、前記パラメータと前記比率とが合致する、又は、前記パラメータと前記比率が近い値を有する少なくとも1つの前記代表画像を前記候補画像群の中から前記特徴部位画像として特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群の各画像が撮像された時の前記カプセル型内視鏡の位置を記憶する記憶部をさらに備え、前記特定部は、前記位置に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比較部は、前記位置の変化量と所定の閾値とを比較し、前記特徴部位画像は、前記被検体の左右方向の前記位置の変化量が所定の閾値より大きい値を有し、かつ、前記被検体の上下方向の前記位置の変化量が所定の閾値より小さい値を有し、かつ、前記被検体の前後方向の前記位置の変化量が所定の閾値より小さい値を有する前記代表画像、又は、前記被検体の左右方向の前記位置の変化量が所定の閾値より小さい値を有し、かつ、前記被検体の上下方向の前記位置の変化量が所定の閾値より小さい値を有し、かつ、前記被検体の前後方向の前記位置の変化量が所定の閾値より小さい値を有する前記代表画像、であることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群の各画像が撮像された時の前記カプセル型内視鏡の姿勢を記憶する記憶部をさらに備え、前記特定部は、前記姿勢に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比較部は、前記姿勢のうち前記カプセル型内視鏡の仰角と所定の閾値とを比較し、前記特徴部位画像は、前記仰角が所定の閾値よりも大きい値を有する前記代表画像であることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群の各画像が撮像された時の電波受信強度を画像ごとに記憶する記憶部をさらに備え、前記特定部は、前記電波受信強度に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記記憶部は、前記画像群の各画像が撮像された時の第1の電波受信強度と第2の電波受信強度とを記憶し、前記第1の電波受信強度と前記第2の電波受信強度との相関値を算出する相関算出部をさらに備え、前記特定部は、前記候補画像群の中から、前記相関算出部が算出した前記相関値が最も小さい値を有する前記代表画像を前記特徴部位画像として特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群の各画像が撮像された時の前記カプセル型内視鏡の加速度を記憶する記憶部をさらに備え、前記特定部は、前記加速度に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比較部は、前記加速度のうち前記被検体の左右方向の前記加速度と所定の閾値とを比較し、前記特徴部位画像は、前記左右方向の前記加速度が所定の閾値よりも大きい値を有する前記代表画像、又は、前記左右方向の前記加速度が所定の閾値よりも小さい値を有する前記代表画像、であることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群の各画像が撮像された時のフレームレートを記憶する記憶部をさらに備え、前記特定部は、前記フレームレートに基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比較部は、前記フレームレートと所定の閾値とを比較し、前記特徴部位画像は、前記フレームレートが所定の閾値よりも大きい値を有する前記代表画像、又は、前記フレームレートが所定の閾値よりも小さい値を有する前記代表画像、であることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群の各画像が撮像された時刻を記憶する記憶部をさらに備え、前記特定部は、各画像間の前記時刻の間隔に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記比較部は、前記各画像間の前記時刻の間隔と所定の閾値とを比較し、前記特徴部位画像は、前記各画像間の前記時刻の間隔が所定の閾値よりも小さい値を有する前記代表画像、又は、前記各画像間の前記時刻の間隔が所定の閾値よりも大きい値を有する前記代表画像、であることを特徴とする。
また、本発明の一態様に係る画像処理装置は、前記画像群から選択された選択画像と、前記消化管の構成図とを表示する表示部に対して、前記構成図上における前記比率に基づいた前記選択画像に対応する位置を表す指標を表示させる表示制御部をさらに備えることを特徴とする。
また、本発明の一態様に係る画像処理装置の作動方法は、被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定ステップと、前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出ステップと、を含むことを特徴とする。
また、本発明の一態様に係る画像処理プログラムは、被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定ステップと、前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出ステップと、をコンピュータに実行させることを特徴とする。
本発明によれば、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置、画像処理装置の作動方法、及び画像処理プログラムを実現することができる。
以下に、図面を参照して本発明に係る画像処理装置、画像処理装置の作動方法、及び画像処理プログラムの実施の形態を説明する。なお、これらの実施の形態により本発明が限定されるものではない。本発明は、カプセル型内視鏡に用いる画像処理装置、画像処理装置の作動方法、及び画像処理プログラム一般に適用することができる。
また、図面の記載において、同一又は対応する要素には適宜同一の符号を付している。また、図面は模式的なものであり、各要素の寸法の関係、各要素の比率などは、現実と異なる場合があることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている場合がある。
(実施の形態1)
図1は、実施の形態1に係る画像処理装置を示すブロック図である。実施の形態1に係る画像処理装置1は、被検体の消化管内をカプセル型内視鏡により順次撮像することにより取得された一連の画像群から、予め定められた区間の画像を抜き出し、その区間内の特徴的な部位(特徴部位)に対応する特徴部位画像を簡単に特定することができる機能を有する。
図1は、実施の形態1に係る画像処理装置を示すブロック図である。実施の形態1に係る画像処理装置1は、被検体の消化管内をカプセル型内視鏡により順次撮像することにより取得された一連の画像群から、予め定められた区間の画像を抜き出し、その区間内の特徴的な部位(特徴部位)に対応する特徴部位画像を簡単に特定することができる機能を有する。
予め定められた区間が大腸である場合、特徴部位は、肝湾曲や脾湾曲に対応する。図2は、被検体の消化管における大腸部分の構造を表す模式図である。図2に示すように、被検体の消化管における大腸部分は、内容物が進行する方向に沿って、回腸と盲腸との境界である回盲部A1と、盲腸から被検体の上方(頭側)に向かって延在する上行結腸A2と、湾曲部である肝湾曲A3と、被検体の左右方向に延在する横行結腸A4と、湾曲部である脾湾曲A5と、被検体の下方(脚側)に向かって延在する下行結腸A6と、大腸の出口である肛門部A7とからなる。画像処理装置1は、消化管内の画像群の中から肝湾曲A3及び脾湾曲A5に対応する画像を簡単に特定することができる機能を有する。
図1に戻り、画像処理装置1は、該画像処理装置1全体の動作を制御する制御部10と、カプセル型内視鏡(図示しない)により撮像された被検体の消化管内の画像データを取得する画像取得部20と、外部からの操作に応じた信号を制御部10に入力する入力部30と、画像取得部20によって取得された画像データや種々のプログラムを格納する記憶部50と、画像データに対して所定の画像処理を実行する演算部100と、を備え、画像処理装置1に接続された表示部40に、各種情報や画像を表示させる。
制御部10は、CPU(Central Processing Unit)等のハードウェアによって実現され、記憶部50に記録された各種プログラムを読み込むことにより、画像取得部20から入力される画像データや入力部30から入力される信号等に従って、画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
画像取得部20は、被検体内を撮像するカプセル型内視鏡を含むシステムの態様に応じて適宜構成される。例えば、カプセル型内視鏡との間の画像データの受け渡しに可搬型の記録媒体が使用される場合、画像取得部20は、この記録媒体を着脱自在に装着し、記録された画像の画像データを読み出すリーダ装置で構成される。また、カプセル型内視鏡によって撮像された画像の画像データを保存しておくサーバを設置する場合、画像取得部20、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って画像データを取得する。
入力部30は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部10に出力する。
記憶部50は、更新記録可能なフラッシュメモリ等のROM(Read Only Memory)やRAM(Random Access Memory)といった各種ICメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、CD-ROM等の情報記録装置及びその読取装置等によって実現される。記憶部50は、画像取得部20によって取得された消化管内画像の画像データの他、画像処理装置1を動作させるとともに、種々の機能を画像処理装置1に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。また、記憶部50は、演算部100の各部が演算した結果を記憶する。
演算部100は、CPU等のハードウェアによって実現され、肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定する処理を行う。
次に、演算部100の構成について説明する。図1に示すように、演算部100は、回盲部A1に対応する画像を特定する回盲部特定手段110と、肛門部A7に対応する画像を特定する肛門部特定手段120と、候補画像群を抽出するためのパラメータ(例えば、統計値)を設定するパラメータ設定部130と、画像取得部20が取得した画像群を代表する代表画像を設定する代表画像設定部140と、予め定められた区間(例えば、回盲部A1から肛門部A7までの間)の全長に対する区間の開始位置から各代表画像までの長さの比率である距離比を代表画像ごとに算出する距離比算出部150と、距離比算出部150により算出された距離比とパラメータ設定部130が設定したパラメータとを比較する比較部170と、比較部170の比較結果に基づいて、肝湾曲A3及び脾湾曲A5に対応する特徴部位画像の候補となる候補画像群を設定する候補画像群設定部160と、比較部170の比較結果に基づいて、候補画像群の中から肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定する特定部180と、を備える。
回盲部特定手段110は、画像群の中から回盲部A1に対応する画像を特定する情報を取得する。まず、医師等のユーザは、表示部40に表示された消化管内の画像群の中から回盲部A1に対応する画像を選択し、入力部30に所定の入力を行う。そして、回盲部特定手段110は、入力部30が受け付けた情報を取得し、ユーザが選択した画像を回盲部A1に対応する画像として特定する。これにより、区間の最初の画像(最初の位置)が特定される。なお、回盲部特定手段110は、消化管内の画像群に対して画像認識を行い、回盲弁に対応する画像を回盲部A1に対応する画像としてもよい。例えば、カプセル型内視鏡が回盲弁を通過する際には、撮像した画像全体が暗くなるため、画像群の中の画像全体が暗い写真を画像認識により検出すればよい。
肛門部特定手段120は、画像群の中から肛門部A7に対応する画像を特定する。まず、医師等のユーザは、表示部40に表示された消化管内の画像群の中から肛門部A7に対応する画像を選択し、入力部30に所定の入力を行う。そして、肛門部特定手段120は、入力部30が受け付けた情報を取得し、ユーザが選択した画像を肛門部A7に対応する画像として特定する。これにより、区間の最後の画像(最後の位置)が特定される。なお、肛門部特定手段120は、消化管内の画像群に対して画像認識を行い、肛門部に対応する画像を肛門部A7に対応する画像としてもよい。例えば、カプセル型内視鏡が肛門部A7から排出され、画像全体が明るくなる前の最後の画像を画像認識により検出すればよい。
パラメータ設定部130は、候補画像群設定部160が候補画像群を設定する際に用いるパラメータを設定する。具体的には、入力部30がユーザの入力を受け付けると、パラメータ設定部130は、その入力情報を取得して候補画像群設定部160が候補画像群を設定する際に用いるパラメータを設定する。ここで、大腸の全長に対する、回盲部A1から肝湾曲A3までの距離比は、11%~19%であることが統計的に知られている。同様に、大腸の全長に対する、回盲部A1から脾湾曲A5までの距離比は、39%~52%であることが統計的に知られている。これらの統計値に基づいて、ユーザは、距離比が11%~19%の代表画像を肝湾曲A3に対応する特徴部位画像の候補となる候補画像群とするようにパラメータを入力し、距離比が39%~52%の代表画像を脾湾曲A5に対応する特徴部位画像の候補となる候補画像群とするようにパラメータを入力する。このように、ユーザは、例えば、統計値に基づいてパラメータを設定することができる。なお、パラメータは予め設定しておき、ユーザによる入力を省略できるようにしてもよい。
代表画像設定部140は、代表画像を設定する。ここで、代表画像は、カプセル型内視鏡が消化管内で大きく動いた際に撮像された画像である。代表画像設定部140は、時系列順に並べられた画像群の前後の画像を比較して類似度を算出し、算出した類似度が所定の閾値より小さい場合にその画像を代表画像に設定する。あるいは、別の種々の方法でカプセル型内視鏡が消化管内で大きく動いたと判断し、代表画像として設定してもよい。
距離比算出部150は、まず、区間内の代表画像それぞれに対し順次1起算の計数を割り当てる。つまり、各代表画像が区間内において時系列で何枚目の代表画像であるのかを数える。そして、各代表画像の計数と区間内の代表画像の総枚数との比率を算出する。すなわち、距離比算出部150は、区間内における各代表画像の枚数比を算出する。ここで、代表画像は、カプセル型内視鏡の動きが大きい画像に対応するため、枚数比は、区間(例えば大腸)の全長に対する、区間の開始位置(回盲部A1)から各代表画像までの長さの距離比に近似することができる。そこで、距離比算出部150は、算出した枚数比を距離比として各代表画像と関連付けて記憶部50に記憶させる。
比較部170は、パラメータに基づいて定められた値と、距離比とを代表画像ごとに比較する。具体的には、上述したように回盲部A1から肝湾曲A3までの距離比の統計値は11%~19%であり、この統計値と各代表画像に関連付けられた距離比とを比較する。あるいは、例えばこの統計値の中央値である15%と各代表画像に関連付けられた距離比とを比較する。同様に、回盲部A1から脾湾曲A5までの距離比の統計値は39%~52%であり、この統計値と各代表画像に関連付けられた距離比とを比較する。あるいは、例えばこの統計値の中央値である45%と各代表画像に関連付けられた距離比とを比較する。
候補画像群設定部160は、距離比算出部150により算出された距離比に基づいて、大腸の一部区間に含まれる代表画像の集合である候補画像群を設定する。具体的には、候補画像群設定部160は、比較部170の比較結果に基づいて、距離比算出部150により算出された距離比が11%~19%の代表画像を肝湾曲A3に対応する候補画像群として設定し、距離比が39%~52%の代表画像を脾湾曲A5に対応する候補画像群として設定する。
特定部180は、距離比算出部150により算出された距離比に基づいて、消化管の特徴部位を撮像した少なくとも1つの特徴部位画像を特定する。このとき、候補画像群の中から特徴部位画像を特定してもよい。具体的には、特定部180は、比較部170の比較結果に基づいて、距離比算出部150により算出された距離比が15%の代表画像を肝湾曲A3に対応する特徴部位画像として特定し、距離比が45%の代表画像を脾湾曲A5に対応する特徴部位画像として特定する。なお、特定部180は、距離比が15%又は45%に合致する代表画像がない場合、これらの値に最も近い距離比を有する代表画像を特徴部位画像として特定する。
表示部40は、液晶や有機EL(Electro Luminescence)等の表示装置によって実現され、制御部10の制御の下で、消化管内画像を含む各種情報や画像を表示する。
次に、図1に示す画像処理装置1の動作について説明する。図3は、実施の形態1に係る画像処理装置の動作を示すフローチャートである。図3に示すように、まず、ステップS10において、画像処理装置1は、時系列順に撮像された一連の消化管内画像の画像データを、画像取得部20を介して取得し、記憶部50に記録する。
続くステップS11において、代表画像設定部140は、時系列順に並べられた画像群の前後の画像を比較して類似度を算出し、算出した類似度が所定の閾値より小さい場合にその画像を代表画像に設定する。図4は、時系列順に並べられた一連の消化管内の画像を示す模式図である。図4に示す画像番号n1、画像番号n2、及び画像番号nMの画像が代表画像である。すなわち、代表画像の総枚数はM枚である。
ステップS12において、ユーザが入力部30から回盲部A1に対応する画像を選択すると、回盲部特定手段110は、入力部30が受け付けた情報を取得し、ユーザが選択した画像を回盲部A1に対応する画像として特定する。つまり、区間の開始位置を設定する。図4に示すように、時系列順に並べられた画像群の最初に撮像された画像番号naの画像が回盲部A1に対応する画像である。なお、ここでは、回盲部A1に対応する画像(画像番号na)は、代表画像でないものとする。
さらに、ステップS13において、ユーザが入力部30から肛門部A7に対応する画像を選択すると、肛門部特定手段120は、入力部30が受け付けた情報を取得し、ユーザが選択した画像を肛門部A7に対応する画像として特定する。つまり、区間の終了位置を設定する。図4に示すように、時系列順に並べられた画像群の最後に撮像された画像番号nrの画像が肛門部A7に対応する画像である。なお、ここでは、肛門部A7に対応する画像(画像番号nr)は、代表画像でないものとする。
ステップS14において、パラメータ設定部130は、入力部30が受け付けた入力に応じて、候補画像群設定部160が候補画像群を設定する際に用いるパラメータを設定する。なお、パラメータが予め設定されている場合には、入力部30へのユーザの入力は不要である。
そして、ステップS15において、距離比算出部150は、各代表画像について、枚数比RNmを算出する。なお、以下の各式において、m=1、2、…Mである。
RNm=nm/(M+1)
さらに、枚数比RNmが距離比RLmに近似できることから、RNm=RLmとして距離比RLmが算出される。図5は、回盲部A1から各代表画像までの距離比を示す模式図である。図5に示すように、画像番号naの回盲部A1に対応する画像の距離比RLmが0%であり、画像番号nrの肛門部A7に対応する画像の距離比RLmが100%である。
RNm=nm/(M+1)
さらに、枚数比RNmが距離比RLmに近似できることから、RNm=RLmとして距離比RLmが算出される。図5は、回盲部A1から各代表画像までの距離比を示す模式図である。図5に示すように、画像番号naの回盲部A1に対応する画像の距離比RLmが0%であり、画像番号nrの肛門部A7に対応する画像の距離比RLmが100%である。
続くステップS16において、候補画像群設定部160は、距離比RLmとパラメータ設定部130が設定したパラメータとに基づいて、肝湾曲A3及び脾湾曲A5に対応する特徴部位画像の候補となる代表画像群を設定する。図6は、肝湾曲に対応する特徴部位画像の候補となる代表画像群、及び肝湾曲に対応する特徴部位画像を示す模式図である。図6に示すように、肝湾曲A3に対応する特徴部位画像の候補となる代表画像群GAの最初の代表画像の距離比RLmが11%であり、最後の代表画像の距離比RLmが19%である。図7は、脾湾曲に対応する特徴部位画像の候補となる代表画像群、及び脾湾曲に対応する特徴部位画像を示す模式図である。図7に示すように、脾湾曲A5に対応する特徴部位画像の候補となる代表画像群GBの最初の代表画像の距離比RLmが39%であり、最後の代表画像の距離比RLmが52%である。
その後、ステップS17において、比較部170は、各代表画像について、大腸の全長に対する回盲部A1から肝湾曲A3及び脾湾曲A5までの長さの距離比RLmのパラメータ(例えば、統計の中央値である15%又は45%)と、距離比RLmとを比較する。
さらに、ステップS18において、特定部180は、比較部170の比較結果に基づいて、図6に示すように、代表画像群GAの略中央に位置する距離比RLmが15%の画像番号nA1の代表画像を肝湾曲A3に対応する特徴部位画像として特定する。同様に、特定部180は、比較部170の比較結果に基づいて、図7に示すように、代表画像群GBの略中央に位置する距離比RLmが45%の画像番号nB1の代表画像を脾湾曲A5に対応する特徴部位画像として特定する。
以上説明したように、本実施の形態1に係る画像処理装置1は、距離比算出部150が算出した距離比RLmに基づいて、特定部180が肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定するため、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置である。
なお、上述した実施の形態1において、特定部180は、距離比RLmが15%の画像番号nA1の代表画像を肝湾曲A3に対応する特徴部位画像として特定し、距離比RLmが45%の画像番号nB1の代表画像を脾湾曲A5に対応する特徴部位画像として特定したが、これに限られない。図8は、実施の形態1の変形例に係る画像処理装置が特定する肝湾曲に対応する特徴部位画像を示す模式図である。特定部180は、比較部170の比較結果に基づいて、図8に示すように、代表画像群GAの最初に撮像された代表画像である距離比RLmが11%の画像番号nA2の代表画像を肝湾曲A3に対応する特徴部位画像として特定してもよい。図9は、実施の形態1の変形例に係る画像処理装置が特定する脾湾曲に対応する特徴部位画像を示す模式図である。特定部180は、比較部170の比較結果に基づいて、図9に示すように、代表画像群GBの最後に撮像された代表画像である距離比RLmが52%の画像番号nB2の代表画像を脾湾曲A5に対応する特徴部位画像として特定してもよい。また、特定部180は、入力部30が受け付けたユーザの入力に応じて、肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を代表画像群GA及び代表画像群GBの中からそれぞれ特定してもよい。具体的には、候補画像群設定部160が候補画像群を設定した後、候補画像群の各代表画像を表示部40に表示させる。そして、ユーザは、表示部40に表示された候補画像群の各代表画像の中から肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を選択し、入力部30に所定の入力を行う。特定部180は、入力部30が受け付けた入力情報に基づいて、ユーザが選択した代表画像を肝湾曲A3及び脾湾曲A5に対応する特徴部位画像とする。
また、上述した実施の形態1では、画像番号naの回盲部A1に対応する画像及び画像番号nrの肛門部A7に対応する画像が、代表画像ではない場合について説明したが、画像番号naの画像及び画像番号nrの画像が、代表画像である場合には、以下のように距離比RLmを算出することができる。
(1)画像番号naの画像が代表画像である場合
RLm=(nm-1)/M
(2)画像番号nrの画像が代表画像である場合
RLm=nm/M
(3)画像番号naの画像及び画像番号nrの画像が代表画像である場合
RLm=(nm-1)/M-1
以上のように計算することにより、画像番号naの画像又は画像番号nrの画像が代表画像であっても距離比RLmを算出することができる。
(1)画像番号naの画像が代表画像である場合
RLm=(nm-1)/M
(2)画像番号nrの画像が代表画像である場合
RLm=nm/M
(3)画像番号naの画像及び画像番号nrの画像が代表画像である場合
RLm=(nm-1)/M-1
以上のように計算することにより、画像番号naの画像又は画像番号nrの画像が代表画像であっても距離比RLmを算出することができる。
(実施の形態2)
図10は、実施の形態2に係る画像処理装置を示すブロック図である。図10に示すように、画像処理装置1Aは、受信部21Aを備え、画像処理装置1Aの演算部100Aは、位置及び姿勢算出手段210Aを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
図10は、実施の形態2に係る画像処理装置を示すブロック図である。図10に示すように、画像処理装置1Aは、受信部21Aを備え、画像処理装置1Aの演算部100Aは、位置及び姿勢算出手段210Aを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
受信部21Aは、複数のアンテナ部21Aaを備え、これらのアンテナ部21Aaを介してカプセル型内視鏡からの無線信号を順次受信する。受信部21Aの画像取得部20は、これらのアンテナ部21Aaの中から最も受信電界強度の高いアンテナを選択し、選択したアンテナを介して受信したカプセル型内視鏡からの無線信号に対して復調処理等を行う。これにより、画像取得部20は、無線信号から被検体の消化管内の画像データを抽出し、記憶部50に記憶させる。
位置及び姿勢算出手段210Aは、受信部21Aの複数のアンテナ部21Aaが受信した無線信号の強度に基づいて、被検体内におけるカプセル型内視鏡の位置及び姿勢を画像ごとに算出し、カプセル型内視鏡の位置に関する情報(以下、位置情報)及び姿勢に関する情報(以下、姿勢情報)を生成して、記憶部50に記憶させる。
カプセル型内視鏡の位置及び姿勢は、例えば、位置及び姿勢の初期値を適宜設定し、ガウス-ニュートン法により位置及び姿勢の推定値を算出する処理を、算出した推定値と前回の推定値とのずれ量が所定値以下となるまで反復することにより求めることができる(例えば特開2007-283001参照)。
次に、図10に示す画像処理装置1Aの動作について説明する。図11は、実施の形態2に係る画像処理装置の動作を示すフローチャートである。図11に示すように、まず、ステップS10において、画像処理装置1Aは、時系列順に撮像された一連の消化管内画像の画像データを、画像取得部20を介して取得し、記憶部50に記録する。
続くステップS20において、位置及び姿勢算出手段210Aは、受信部21Aの複数のアンテナ部21Aaが受信した無線信号の強度に基づいて、被検体内におけるカプセル型内視鏡の位置及び姿勢を画像ごとに算出する。さらに、位置及び姿勢算出手段210Aは、各画像が撮像された時の位置情報及び姿勢情報を画像ごとに記憶部50に記憶させる。
図12は、大腸におけるカプセル型内視鏡の動きを表す模式図である。図12において、時刻t=0が回盲部A1に対応し、時刻t=t1が肝湾曲A3に対応し、時刻t=t2が脾湾曲A5に対応し、時刻t=t3が肛門部A7に対応する。図12に示すように、カプセル型内視鏡2は、大腸内を回盲部A1から肛門部A7まで移動する。なお、以下において、図12に示すように、被検体の左右方向をX軸方向とし、被検体の上下方向をY軸方向とし、被検体の前後方向をZ軸方向とする。
図13は、大腸におけるカプセル型内視鏡の位置の時間変化を表す図である。図13に示すように、カプセル型内視鏡2は、上行結腸A2において、被検体の上方に移動するとともに被検体の前方に移動する。一方、上行結腸A2において、カプセル型内視鏡2の被検体の左右方向の移動はわずかである。また、カプセル型内視鏡2は、横行結腸A4において、被検体の左右方向に移動する。一方、横行結腸A4において、カプセル型内視鏡2の被検体の上下方向及び前後方向の移動はわずかである。また、カプセル型内視鏡2は、下行結腸A6において、被検体の下方に移動するとともに被検体の後方に移動する。一方、下行結腸A6において、カプセル型内視鏡2の被検体の左右方向の移動はわずかである。
図14は、大腸におけるカプセル型内視鏡の位置の変化量を表す図である。図13に基づいて、カプセル型内視鏡2の位置の変化量を求めると図14のようになる。
その後、実施の形態1と同様の処理が行われ、ステップS21において、比較部170は、位置の変化量と所定の閾値とを比較する。具体的には、比較部170は、代表画像ごとに位置の変化量(ΔX、ΔY、ΔZ)と図14に示す閾値BX1、閾値BX2、閾値BY1、閾値BY2、閾値BZ1、閾値BZ2とを比較する。
続くステップS18において、特定部180は、比較部170の比較結果に基づいて、候補画像群設定部160が設定した候補画像群の中から、ΔXが閾値BX1より大きい値を有し、かつ、ΔYが閾値BY1より小さい値を有し、かつ、ΔZが閾値BZ1より小さい値を有する代表画像を、肝湾曲A3に対応する特徴部位画像として特定する。このとき、これらの条件を満たす代表画像が複数枚ある場合には、最も早い時刻に撮像された代表画像を、肝湾曲A3に対応する特徴部位画像として特定してもよい。同様に、特定部180は、候補画像群設定部160が設定した候補画像群の中から、ΔXが閾値BX2より小さい値を有し、かつ、ΔYが閾値BY2より小さい値を有し、かつ、ΔZが閾値BZ2より小さい値を有する代表画像を、脾湾曲A5に対応する特徴部位画像として特定する。このとき、これらの条件を満たす代表画像が複数枚ある場合には、最も早い時刻に撮像された代表画像を、脾湾曲A5に対応する特徴部位画像として特定してもよい。
以上説明したように、本実施の形態2に係る画像処理装置1Aは、位置及び姿勢算出手段210Aが算出した位置に基づいて、特定部180が肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定するため、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置である。
なお、上述した実施の形態2においては、位置及び姿勢算出手段210Aが算出した位置に基づいて、特定部180が肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定するが、これに限られない。特定部180は、位置及び姿勢算出手段210Aが算出した姿勢に基づいて、特定部180が肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定してもよい。
図15は、大腸におけるカプセル型内視鏡の仰角の時間変化を表す図である。図15において、時刻t=0が回盲部A1に対応し、時刻t=t11が肝湾曲A3に対応し、時刻t=t12が脾湾曲A5に対応し、時刻t=t13が肛門部A7に対応する。なお、以下において、仰角とは、重力方向と直交する面に沿った面内の角度であり、被検体の上方(頭側)に向かう方向を0°、被検体の下方(脚側)に向かう方向を180°と定義する。具体的には、カプセル型内視鏡2は、上行結腸A2における仰角の変化はわずかであるが、肝湾曲A3において急激に仰角が変化する。同様に、カプセル型内視鏡2は、横行結腸A4における仰角の変化はわずかであるが、脾湾曲A5において急激に仰角が変化する。
この構成では、比較部170は、仰角と所定の閾値とを比較する。そして、特定部180は、仰角が閾値BA1よりも大きい値を有する代表画像を、肝湾曲A3に対応する特徴部位画像として特定する。このとき、この条件を満たす代表画像が複数枚ある場合には、最も早い時刻に撮像された代表画像を、肝湾曲A3に対応する特徴部位画像として特定してもよい。同様に、特定部180は、仰角が閾値BA2よりも大きい値を有する代表画像を、脾湾曲A5に対応する特徴部位画像として特定する。このとき、この条件を満たす代表画像が複数枚ある場合には、最も早い時刻に撮像された代表画像を、脾湾曲A5に対応する特徴部位画像として特定してもよい。
(実施の形態3)
図16は、実施の形態3に係る画像処理装置を示すブロック図である。図16に示すように、画像処理装置1Bは、カプセル型内視鏡2を嚥下する被検体3の体表に取り付けられたアンテナ70Bと、アンテナ70Bからの電波受信強度を受信する電波強度受信部71Bと、を備え、画像処理装置1Bの演算部100Bは、相関算出部310Bを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
図16は、実施の形態3に係る画像処理装置を示すブロック図である。図16に示すように、画像処理装置1Bは、カプセル型内視鏡2を嚥下する被検体3の体表に取り付けられたアンテナ70Bと、アンテナ70Bからの電波受信強度を受信する電波強度受信部71Bと、を備え、画像処理装置1Bの演算部100Bは、相関算出部310Bを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
電波強度受信部71Bは、各画像が撮像された時の電波受信強度を画像ごとに記憶部50に記憶させる。
相関算出部310Bは、電波強度受信部71Bが受信した各アンテナ70Bの電波受信強度の相関値として、例えば相関係数を算出する。ただし、相関値は、相関係数に限られず、各アンテナ70Bの電波受信強度の差、積等の複数のアンテナ70Bの相関を表す値であってよい。
次に、図16に示す画像処理装置1Bの動作について説明する。図17は、実施の形態3に係る画像処理装置の動作を示すフローチャートである。図17に示すように、まず、ステップS10において、画像処理装置1Bは、時系列順に撮像された一連の消化管内画像の画像データを、画像取得部20を介して取得し、記憶部50に記録する。
続くステップS30において、電波強度受信部71Bは、複数のアンテナ70Bが受信した信号強度(電波受信強度)を受信する。さらに、電波強度受信部71Bは、各画像が撮像された時の電波受信強度を画像ごとに記憶部50に記憶させる。
その後、実施の形態1と同様の処理が行われ、ステップS18において、特定部180は、特徴部位画像を特定する。図18は、図16に示す特定部が実行する特徴部位画像を特定する処理を示すフローチャートである。
まず、ステップS31において、回盲部A1に最も近い第1のアンテナの電波受信強度を正規化する。図19は、第1のアンテナの正規化した電波受信強度を表す図である。図19に示すように、第1のアンテナの電波受信強度は、カプセル型内視鏡2が消化管内を進み、回盲部A1から肝湾曲A3に向かうにつれて小さくなる。
続くステップS32において、肝湾曲A3に最も近い第2のアンテナの電波受信強度を正規化する。図20は、第2のアンテナの正規化した電波受信強度を表す図である。図20に示すように、第2のアンテナの電波受信強度は、カプセル型内視鏡2が消化管内を進み、回盲部A1から肝湾曲A3に向かうにつれて大きくなる。さらに、第2のアンテナの電波受信強度は、カプセル型内視鏡2が消化管内を進んで肝湾曲A3を通過し、カプセル型内視鏡2が肝湾曲A3から離れて行くにつれて小さくなる。
ステップS33において、相関算出部310Bは、相関係数の最大算出範囲を設定する。具体的には、相関算出部310Bは、候補画像群設定部160が設定した候補画像群(距離比が11%~19%の画像群)に対応する図19及び図20の最大算出範囲Cを最大算出範囲として設定する。
続くステップS34において、相関算出部310Bは、相関係数を算出する区間を設定する。はじめは、候補画像群の最初に撮像された代表画像を1枚目として、1枚目の代表画像から2枚目の代表画像までを、相関係数を算出する区間に設定する。
そして、ステップS35において、相関算出部310Bは、設定した区間の第1のアンテナの電波受信強度と第2のアンテナの電波受信強度との相関係数を算出する。
その後、ステップS36において、相関算出部310Bは、相関係数を算出する区間を増やす。具体的には、候補画像群の1枚目の代表画像から3枚目の代表画像までを、相関係数を算出する区間に設定する。
ステップS37において、相関算出部310Bは、算出する区間が最大算出範囲Cを超えているか否かを判定する。算出する区間が最大算出範囲Cを超えていない場合(ステップS37:No)には、算出する区間を増やしながら相関係数の算出を繰り返す。そして、算出する区間が最大算出範囲Cを超えている場合(ステップS37:Yes)には、次のステップに進む。すなわち、相関算出部310Bは、最大算出範囲C内の全ての画像に対する相関係数を算出する。図21は、2つのアンテナの電波受信強度の相関係数を表す図である。相関算出部310Bにより、図21に実線で示す最大算出範囲C(図21の太い破線)内の相関係数が算出される。なお、図21に破線で示す最大算出範囲C外の相関係数は、実際の処理では算出しなくてよい。
続くステップS38において、特定部180は、候補画像群の中から、相関算出部310Bが算出した相関係数が最も小さい値を有する代表画像を特徴部位画像として特定する。その後、画像処理装置1Bの動作はメインルーチンに戻り、一連の動作が終了する。
同様に、第1のアンテナとして、肝湾曲A3に最も近いアンテナを選択し、第2のアンテナとして、脾湾曲A5に最も近いアンテナを設定することにより、脾湾曲A5に対応する特徴部位画像を特定することができる。
以上説明したように、本実施の形態3に係る画像処理装置1Bは、相関算出部310Bが算出した相関値に基づいて、特定部180が肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定するため、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置である。
なお、上述した実施の形態3では、アンテナ70Bがランダムに配置された構成を説明したが、これに限られない。図22は、アンテナの他の配置例を示す図である。図22に示すように、回盲部A1に近いアンテナ70Ba、肝湾曲A3に近いアンテナ70Bb、脾湾曲A5に近いアンテナ70Bcの3つのアンテナのみを配置してもよい。なお、図22において、アンテナ70Baは背中側に配置されており、アンテナ70Bb及びアンテナ70Bcは胸側に配置されている。
(実施の形態4)
図23は、実施の形態4に係る画像処理装置を示すブロック図である。図23に示すように、画像処理装置1Cは、受信部21Aを備え、画像処理装置1Cの演算部100Cは、加速度情報取得部410Cを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
図23は、実施の形態4に係る画像処理装置を示すブロック図である。図23に示すように、画像処理装置1Cは、受信部21Aを備え、画像処理装置1Cの演算部100Cは、加速度情報取得部410Cを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
受信部21Aは、実施の形態2と同様の構成であってよいが、カプセル型内視鏡内に配置された加速度センサから出力される加速度信号を受信する。
加速度情報取得部410Cは、受信部21Aが受信した加速度信号に基づいて、被検体内におけるカプセル型内視鏡の加速度を画像ごとに記憶部50に記憶させる。
次に、図23に示す画像処理装置1Cの動作について説明する。図24は、実施の形態4に係る画像処理装置の動作を示すフローチャートである。図24に示すように、まず、ステップS10において、画像処理装置1Cは、時系列順に撮像された一連の消化管内画像の画像データを、画像取得部20を介して取得し、記憶部50に記録する。
続くステップS40において、加速度情報取得部410Cは、受信部21Aの複数のアンテナ部21Aaが受信した加速度信号に基づいて、被検体内におけるカプセル型内視鏡のX軸方向の加速度を画像ごとに記憶部50に記憶させる。
図25は、大腸におけるカプセル型内視鏡のX軸方向の加速度を表す図である。図25において、時刻t=0が回盲部A1に対応し、時刻t=t21が肝湾曲A3に対応し、時刻t=t22が脾湾曲A5に対応する。図25に示すように、カプセル型内視鏡は、上行結腸A2において、X軸方向の移動はわずかである。続く横行結腸A4では、はじめに加速し、その後略一定の速度で進む。さらに、カプセル型内視鏡2が脾湾曲A5に到達すると、進行方向が変えられるため、一端減速する。
その後、実施の形態1と同様の処理が行われ、ステップS41において、比較部170は、加速度と所定の閾値とを比較する。具体的には、比較部170は、加速度axと図25に示す閾値D1、閾値D2とを比較する。
続くステップS18において、特定部180は、比較部170の比較結果に基づいて、候補画像群設定部160が設定した候補画像群の中から、加速度axが閾値D1より大きい値を有する代表画像を、肝湾曲A3に対応する特徴部位画像として特定する。このとき、この条件を満たす代表画像が複数枚ある場合には、最も早い時刻に撮像された代表画像を、肝湾曲A3に対応する特徴部位画像として特定してもよい。同様に、特定部180は、候補画像群設定部160が設定した候補画像群の中から、加速度axが閾値D2より小さい値を有する代表画像を、脾湾曲A5に対応する特徴部位画像として特定する。このとき、この条件を満たす代表画像が複数枚ある場合には、最も早い時刻に撮像された代表画像を、脾湾曲A5に対応する特徴部位画像として特定してもよい。
以上説明したように、本実施の形態4に係る画像処理装置1Cは、加速度情報取得部410Cが算出した加速度に基づいて、特定部180が肝湾曲A3及び脾湾曲A5に対応する特徴部位画像を特定するため、取得された各画像が消化管内のどの部位で撮像された画像であるかを特定し、また、消化管内で撮像された画像群から特徴部位に対応する画像を特定することができる画像処理装置である。
なお、実施の形態4と同様の構成として累積撮像画像枚数に基づいて特徴部位画像を特定してもよい。まず、カプセル型内視鏡は、フレームレート制御手段を備え、速度が上がるとフレームレートが上昇し、速度が下がるとフレームレートが下がる構成である。図26は、カプセル型内視鏡の累積撮像画像枚数の時間変化を表す図である。図26において、時刻t=0が回盲部A1に対応し、時刻t=t31が肝湾曲A3に対応し、時刻t=t32が脾湾曲A5に対応し、時刻t=t33が肛門部A7に対応する。まず、上行結腸A2では、カプセル型内視鏡の速度が低速であるため、カプセル型内視鏡のフレームレートが低く、累積撮像画像枚数Nの上昇は緩やかである。続いて、横行結腸A4では、カプセル型内視鏡の速度が高速であるため、カプセル型内視鏡のフレームレートが高く、累積撮像画像枚数Nの上昇が大きくなる。そして、下行結腸A6では、カプセル型内視鏡の速度が低速であるため、カプセル型内視鏡のフレームレートが低く、累積撮像画像枚数Nの上昇は緩やかである。
特定部180は、候補画像群設定部160が設定した候補画像群の中から、累積撮像画像枚数Nの変化量が所定の閾値より大きい代表画像を、肝湾曲A3に対応する特徴部位画像として特定する。同様に、特定部180は、候補画像群設定部160が設定した候補画像群の中から、累積撮像画像枚数Nの変化量が所定の閾値より小さい代表画像を、脾湾曲A5に対応する特徴部位画像として特定する。
同様に、特定部180は、撮像した各画像間の時刻の間隔に基づいて特徴部位画像を特定してもよい。図27は、カプセル型内視鏡の撮像時間間隔の時間変化を表す図である。図27において、時刻t=0が回盲部A1に対応し、時刻t=t41が肝湾曲A3に対応し、時刻t=t42が脾湾曲A5に対応する。まず、上行結腸A2では、カプセル型内視鏡の速度が低速であるため、カプセル型内視鏡のフレームレートが低く、撮像した各画像間の時刻の間隔Δtが大きい。続いて、横行結腸A4では、カプセル型内視鏡の速度が高速であるため、カプセル型内視鏡のフレームレートが高く、撮像した各画像間の時刻の間隔Δtが小さい。そして、下行結腸A6では、カプセル型内視鏡の速度が低速であるため、カプセル型内視鏡のフレームレートが低く、撮像した各画像間の時刻の間隔Δtが大きい。
特定部180は、候補画像群設定部160が設定した候補画像群の中から、撮像した各画像間の時刻の間隔Δtが閾値E1より小さい代表画像を、肝湾曲A3に対応する特徴部位画像として特定する。同様に、特定部180は、候補画像群設定部160が設定した候補画像群の中から、撮像した各画像間の時刻の間隔Δtが閾値E2より大きい代表画像を、脾湾曲A5に対応する特徴部位画像として特定する。
(実施の形態5)
図28は、実施の形態5に係る画像処理装置を示すブロック図である。図28に示すように、画像処理装置1Dの制御部10は、表示制御部11Dを有し、画像処理装置1Dの演算部100Dは、部位分類部510Dを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
図28は、実施の形態5に係る画像処理装置を示すブロック図である。図28に示すように、画像処理装置1Dの制御部10は、表示制御部11Dを有し、画像処理装置1Dの演算部100Dは、部位分類部510Dを備える。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
表示部40は、メインディスプレイとサブディスプレイとを含んで構成される。表示部40のメインディスプレイには、画像群からユーザが選択した選択画像が表示される。表示部40のサブディスプレイには、消化管の構成図が表示される。
表示制御部11Dは、表示部40のサブディスプレイに表示された消化管の構成図上に、特定部180が特定した特徴部位画像に対応する位置、及び、距離比に基づいて定めた選択画像に対応する位置、を表す指標を表示させる。
部位分類部510Dは、距離比算出部150によって算出された距離比に基づいて、代表画像以外の画像に対しても距離比を付与する。図29~図31は、部位分類部の動作を説明するための図である。まず、図29に示すように、代表画像である画像番号n1と画像番号n2との間に、代表画像でない画像番号n11、画像番号n12、画像番号n13の画像があるとする。また、画像番号n1の距離比は0%、画像番号n2の距離比は10%であるとする。このとき、図30に示すように、部位分類部510Dは、画像番号n11、画像番号n12、画像番号n13の距離比を全て0%とする。ただし、図31に示すように、部位分類部510Dは、距離比を均等に振り分け、画像番号n11の距離比を2.5%、画像番号n12の距離比を5%、画像番号n13の距離比を7.5%としてもよい。
次に、表示部40のサブディスプレイに表示される画像について詳細に説明する。図32は、選択画像が上行結腸である場合の表示部の表示を表す図である。表示部40のサブディスプレイには、図32に示すように、消化管(大腸)の構成図が表示されている。そして、この構成図上には、表示制御部11Dにより、回盲部A1に対応する指標M1、肝湾曲A3に対応する指標M2、脾湾曲A5に対応する指標M3、選択画像に対応する指標M4がそれぞれ表示されている。さらに、距離比表示部Fには、回盲部A1から選択画像までの距離比が色分けされたバーと数値(11)によって表示されている。また、選択画像は、上行結腸A2にあるので、上行結腸A2に対応する領域がハイライト表示されている。
図33は、選択画像が横行結腸である場合の表示部の表示を表す図である。図34は、選択画像が下行結腸である場合の表示部の表示を表す図である。図32と同様に表示部40のサブディスプレイには各指標と距離比(24、80)とが表示され、それぞれ選択画像がある横行結腸A4又は下行結腸A6がハイライト表示されている。
以上説明したように、実施の形態5によれば、距離比及び特徴部位画像に対応して各種指標が表示部40に表示されていることにより、ユーザが現在見ている画像を直感的に把握しやすい。
(実施の形態6)
図35は、実施の形態6に係る画像処理装置を示すブロック図である。図35に示すように、画像処理装置1Eの演算部100Eは、十二指腸特定手段610Eを備える。そして、画像処理装置1Eの特定部180は、特徴部位として回盲部A1に対応する特徴部位画像を特定する。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
図35は、実施の形態6に係る画像処理装置を示すブロック図である。図35に示すように、画像処理装置1Eの演算部100Eは、十二指腸特定手段610Eを備える。そして、画像処理装置1Eの特定部180は、特徴部位として回盲部A1に対応する特徴部位画像を特定する。その他の構成については、実施の形態1と同様であるから適宜説明を省略する。
図36は、被検体の消化管における小腸及び大腸部分の構造を表す模式図である。図36に示すように、被検体の消化管における小腸及び大腸部分は、内容物が進行する方向に沿って、胃と小腸との境界にある幽門部A11と、十二指腸、空腸、回腸等を含む小腸A12と、小腸A12と大腸A13との境界である回盲部A1と、大腸A13と、大腸A13の出口である肛門部A7とからなる。
十二指腸特定手段610Eは、回盲部特定手段110と同様に、消化管内の画像群の中から回盲部A1に対応する画像を特定する。
パラメータ設定部130は、入力部30へのユーザの入力に応じて、候補画像群設定部160が候補画像群を設定する際に用いるパラメータを設定する。ここで、小腸A12及び大腸A13の全長に対する、幽門部A11から回盲部A1までの距離比は、75%~82%であることが統計的に知られている。この統計値に基づいて、ユーザは、距離比が75%~82%の代表画像を回盲部A1に対応する特徴部位画像の候補となる候補画像群とするようにパラメータを入力する。
距離比算出部150は、幽門部A11から肛門部A7までの距離に対する比率である距離比を代表画像ごとに算出する。
比較部170は、上述したように統計値(75%~82%)と各代表画像に関連付けられた距離比とを比較する。あるいは、例えばこの統計値の中央値である79%と各代表画像に関連付けられた距離比とを比較する。
候補画像群設定部160は、比較部170の比較結果に基づいて、距離比算出部150により算出された距離比が75%~82%の代表画像を回盲部A1に対応する候補画像群として設定する。
特定部180は、比較部170の比較結果に基づいて、距離比算出部150により算出された距離比が79%の代表画像を回盲部A1に対応する特徴部位画像として特定する。
実施の形態6のように、統計値が明らかであれば、回盲部A1、肝湾曲A3、脾湾曲A5に限らず、どのような特徴部位でも対応する特徴部位画像を特定することができる。なお、実施の形態6において、十二指腸と空腸との境界や、空腸と回腸との境界に対応する画像を特徴部位画像として特定してもよい。
なお、上述した実施の形態では、画像番号naの回盲部A1に対応する画像から最初(画像番号n1)の代表画像までの区間、及び最後(画像番号nM)の代表画像から画像番号nrの肛門部A7に対応する画像までの区間を考慮して距離比RLmを計算したが、これらの区間を除外して計算してもよい。図37及び図38は、回盲部A1から各画像までの距離比を示す模式図である。まず、図37に示すように、画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算する場合、画像番号nMの代表画像の距離比RLmが100%となる。従って、以下のように距離比RLmを算出することができる。
RLm=nm/M
ただし、画像番号naの画像が代表画像である場合には、以下のように算出することができる。
RLm=(nm-1)/M-1
なお、この場合には、画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算しているので、画像番号nrの画像が代表画像であるか否かに依らず式は同じである。次に、図38に示すように、画像番号naの画像から画像番号n1の代表画像の区間、及び画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算する場合、画像番号n1の代表画像の距離比RLmが0%となり、画像番号nMの代表画像の距離比RLmが100%となる。従って、以下のように距離比RLmを算出することができる。
RLm=(nm-1)/M-1
なお、この場合には、画像番号naの画像から画像番号n1の代表画像の区間、及び画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算しているので、画像番号na及び画像番号nrの画像が代表画像であるか否かに依らず式は同じである。また、画像番号naの画像及び画像番号nrの画像を必ず代表画像とする構成であってもよい。
RLm=nm/M
ただし、画像番号naの画像が代表画像である場合には、以下のように算出することができる。
RLm=(nm-1)/M-1
なお、この場合には、画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算しているので、画像番号nrの画像が代表画像であるか否かに依らず式は同じである。次に、図38に示すように、画像番号naの画像から画像番号n1の代表画像の区間、及び画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算する場合、画像番号n1の代表画像の距離比RLmが0%となり、画像番号nMの代表画像の距離比RLmが100%となる。従って、以下のように距離比RLmを算出することができる。
RLm=(nm-1)/M-1
なお、この場合には、画像番号naの画像から画像番号n1の代表画像の区間、及び画像番号nMの代表画像から画像番号nrの画像までの区間を除外して計算しているので、画像番号na及び画像番号nrの画像が代表画像であるか否かに依らず式は同じである。また、画像番号naの画像及び画像番号nrの画像を必ず代表画像とする構成であってもよい。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細及び代表的な実施の形態に限定されるものではない。従って、添付のクレーム及びその均等物によって定義される総括的な発明の概念の精神又は範囲から逸脱することなく、様々な変更が可能である。
1、1A、1B、1C、1D、1E 画像処理装置
2 カプセル型内視鏡
3 被検体
10 制御部
11D 表示制御部
20 画像取得部
21A 受信部
21Aa アンテナ部
30 入力部
40 表示部
50 記憶部
70B、70Ba、70Bb、70Bc アンテナ
71B 電波強度受信部
100、100A、100B、100C、100D、100E 演算部
110 回盲部特定手段
120 肛門部特定手段
130 パラメータ設定部
140 代表画像設定部
150 距離比算出部
160 候補画像群設定部
170 比較部
180 特定部
210A 位置及び姿勢算出手段
310B 相関算出部
410C 加速度情報取得部
510D 部位分類部
610E 十二指腸特定手段
A1 回盲部
A2 上行結腸
A3 肝湾曲
A4 横行結腸
A5 脾湾曲
A6 下行結腸
A7 肛門部
A11 幽門部
A12 小腸
A13 大腸
C 最大算出範囲
D1、D2、E1、E2 閾値
F 距離比表示部
GA、GB 代表画像群
M1、M2、M3、M4 指標
N 累積撮像画像枚数
n1、n2、na、nr、n11、n12、n13、nM、nA1、nA2、nB1、nB2 画像番号
2 カプセル型内視鏡
3 被検体
10 制御部
11D 表示制御部
20 画像取得部
21A 受信部
21Aa アンテナ部
30 入力部
40 表示部
50 記憶部
70B、70Ba、70Bb、70Bc アンテナ
71B 電波強度受信部
100、100A、100B、100C、100D、100E 演算部
110 回盲部特定手段
120 肛門部特定手段
130 パラメータ設定部
140 代表画像設定部
150 距離比算出部
160 候補画像群設定部
170 比較部
180 特定部
210A 位置及び姿勢算出手段
310B 相関算出部
410C 加速度情報取得部
510D 部位分類部
610E 十二指腸特定手段
A1 回盲部
A2 上行結腸
A3 肝湾曲
A4 横行結腸
A5 脾湾曲
A6 下行結腸
A7 肛門部
A11 幽門部
A12 小腸
A13 大腸
C 最大算出範囲
D1、D2、E1、E2 閾値
F 距離比表示部
GA、GB 代表画像群
M1、M2、M3、M4 指標
N 累積撮像画像枚数
n1、n2、na、nr、n11、n12、n13、nM、nA1、nA2、nB1、nB2 画像番号
Claims (19)
- 被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定部と、
前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出部と、
を備えることを特徴とする画像処理装置。 - 前記比率に基づいて、前記代表画像の中から前記消化管の特徴部位を撮像した少なくとも1つの特徴部位画像を特定する特定部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
- 前記消化管内における特徴部位の位置に関するパラメータと、前記比率とを前記代表画像ごとに比較する比較部をさらに備え、
前記特定部は、前記比較部の比較結果に基づいて、少なくとも1つの前記代表画像を前記特徴部位画像として特定することを特徴とする請求項2に記載の画像処理装置。 - 前記比較部の比較結果に基づいて、前記比率が、前記パラメータに基づいて定められた、前記区間の一部区間に含まれる前記代表画像の集合である候補画像群を設定する候補画像群設定部をさらに備え、
前記特定部は、前記比較部の比較結果に基づいて、前記パラメータと前記比率とが合致する、又は、前記パラメータと前記比率が近い値を有する少なくとも1つの前記代表画像を前記候補画像群の中から前記特徴部位画像として特定することを特徴とする請求項3に記載の画像処理装置。 - 前記画像群の各画像が撮像された時の前記カプセル型内視鏡の位置を記憶する記憶部をさらに備え、
前記特定部は、前記位置に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする請求項4に記載の画像処理装置。 - 前記比較部は、前記位置の変化量と所定の閾値とを比較し、
前記特徴部位画像は、
前記被検体の左右方向の前記位置の変化量が所定の閾値より大きい値を有し、かつ、
前記被検体の上下方向の前記位置の変化量が所定の閾値より小さい値を有し、かつ、
前記被検体の前後方向の前記位置の変化量が所定の閾値より小さい値を有する前記代表画像、
又は、
前記被検体の左右方向の前記位置の変化量が所定の閾値より小さい値を有し、かつ、
前記被検体の上下方向の前記位置の変化量が所定の閾値より小さい値を有し、かつ、
前記被検体の前後方向の前記位置の変化量が所定の閾値より小さい値を有する前記代表画像、
であることを特徴とする請求項5に記載の画像処理装置。 - 前記画像群の各画像が撮像された時の前記カプセル型内視鏡の姿勢を記憶する記憶部をさらに備え、
前記特定部は、前記姿勢に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする請求項4に記載の画像処理装置。 - 前記比較部は、前記姿勢のうち前記カプセル型内視鏡の仰角と所定の閾値とを比較し、
前記特徴部位画像は、
前記仰角が所定の閾値よりも大きい値を有する前記代表画像であることを特徴とする請求項7に記載の画像処理装置。 - 前記画像群の各画像が撮像された時の電波受信強度を画像ごとに記憶する記憶部をさらに備え、
前記特定部は、前記電波受信強度に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする請求項4に記載の画像処理装置。 - 前記記憶部は、前記画像群の各画像が撮像された時の第1の電波受信強度と第2の電波受信強度とを記憶し、
前記第1の電波受信強度と前記第2の電波受信強度との相関値を算出する相関算出部をさらに備え、
前記特定部は、前記候補画像群の中から、前記相関算出部が算出した前記相関値が最も小さい値を有する前記代表画像を前記特徴部位画像として特定することを特徴とする請求項9に記載の画像処理装置。 - 前記画像群の各画像が撮像された時の前記カプセル型内視鏡の加速度を記憶する記憶部をさらに備え、
前記特定部は、前記加速度に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする請求項4に記載の画像処理装置。 - 前記比較部は、前記加速度のうち前記被検体の左右方向の前記加速度と所定の閾値とを比較し、
前記特徴部位画像は、
前記左右方向の前記加速度が所定の閾値よりも大きい値を有する前記代表画像、
又は、
前記左右方向の前記加速度が所定の閾値よりも小さい値を有する前記代表画像、
であることを特徴とする請求項11に記載の画像処理装置。 - 前記画像群の各画像が撮像された時のフレームレートを記憶する記憶部をさらに備え、
前記特定部は、前記フレームレートに基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする請求項4に記載の画像処理装置。 - 前記比較部は、前記フレームレートと所定の閾値とを比較し、
前記特徴部位画像は、
前記フレームレートが所定の閾値よりも大きい値を有する前記代表画像、
又は、
前記フレームレートが所定の閾値よりも小さい値を有する前記代表画像、
であることを特徴とする請求項13に記載の画像処理装置。 - 前記画像群の各画像が撮像された時刻を記憶する記憶部をさらに備え、
前記特定部は、各画像間の前記時刻の間隔に基づいて、前記候補画像群の中から少なくとも1つの前記特徴部位画像を特定することを特徴とする請求項4に記載の画像処理装置。 - 前記比較部は、前記各画像間の前記時刻の間隔と所定の閾値とを比較し、
前記特徴部位画像は、
前記各画像間の前記時刻の間隔が所定の閾値よりも小さい値を有する前記代表画像、
又は、
前記各画像間の前記時刻の間隔が所定の閾値よりも大きい値を有する前記代表画像、
であることを特徴とする請求項15に記載の画像処理装置。 - 前記画像群から選択された選択画像と、前記消化管の構成図とを表示する表示部に対して、前記構成図上における前記比率に基づいた前記選択画像に対応する位置を表す指標を表示させる表示制御部をさらに備えることを特徴とする請求項1に記載の画像処理装置。
- 被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定ステップと、
前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出ステップと、
を含むことを特徴とする画像処理装置の作動方法。 - 被検体の消化管内に導入されたカプセル型内視鏡によって撮像された画像群を代表する代表画像を設定する代表画像設定ステップと、
前記消化管において予め定められた区間に含まれる前記代表画像のそれぞれに計数を割り当て、前記計数と前記区間に含まれる前記代表画像の総枚数とに基づいて、前記区間の全長に対する、前記区間の開始位置から前記代表画像までの長さの比率を、前記代表画像ごとに算出する距離比算出ステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017525420A JPWO2017158901A1 (ja) | 2016-03-18 | 2016-10-26 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-056251 | 2016-03-18 | ||
JP2016056251 | 2016-03-18 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017158901A1 true WO2017158901A1 (ja) | 2017-09-21 |
Family
ID=59852092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/081731 WO2017158901A1 (ja) | 2016-03-18 | 2016-10-26 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017158901A1 (ja) |
WO (1) | WO2017158901A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020121380A1 (ja) * | 2018-12-10 | 2020-06-18 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006061469A (ja) * | 2004-08-27 | 2006-03-09 | Olympus Corp | 画像表示装置および画像表示プログラム |
JP2010035746A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | カプセル内視鏡システム、カプセル内視鏡及びカプセル内視鏡の動作制御方法 |
JP2010094185A (ja) * | 2008-10-14 | 2010-04-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2010524557A (ja) * | 2007-09-06 | 2010-07-22 | アイスリーシステム コーポレーション | 画像のフレームレートを制御できるカプセル型内視鏡 |
WO2010103868A1 (ja) * | 2009-03-11 | 2010-09-16 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、その外部装置およびその画像処理方法 |
JP2010240000A (ja) * | 2009-04-01 | 2010-10-28 | Hoya Corp | 画像処理装置、画像処理方法、およびシステム |
JP2011156203A (ja) * | 2010-02-02 | 2011-08-18 | Olympus Corp | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 |
WO2012102204A1 (ja) * | 2011-01-28 | 2012-08-02 | オリンパスメディカルシステムズ株式会社 | カプセル内視鏡システム |
WO2014061553A1 (ja) * | 2012-10-18 | 2014-04-24 | オリンパスメディカルシステムズ株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195586A (ja) * | 2006-01-23 | 2007-08-09 | Olympus Medical Systems Corp | カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム |
JP6027960B2 (ja) * | 2013-12-13 | 2016-11-16 | オリンパス株式会社 | 画像表示装置、画像表示方法、及び画像表示プログラム |
-
2016
- 2016-10-26 WO PCT/JP2016/081731 patent/WO2017158901A1/ja active Application Filing
- 2016-10-26 JP JP2017525420A patent/JPWO2017158901A1/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006061469A (ja) * | 2004-08-27 | 2006-03-09 | Olympus Corp | 画像表示装置および画像表示プログラム |
JP2010524557A (ja) * | 2007-09-06 | 2010-07-22 | アイスリーシステム コーポレーション | 画像のフレームレートを制御できるカプセル型内視鏡 |
JP2010035746A (ja) * | 2008-08-04 | 2010-02-18 | Fujifilm Corp | カプセル内視鏡システム、カプセル内視鏡及びカプセル内視鏡の動作制御方法 |
JP2010094185A (ja) * | 2008-10-14 | 2010-04-30 | Olympus Medical Systems Corp | 画像表示装置 |
WO2010103868A1 (ja) * | 2009-03-11 | 2010-09-16 | オリンパスメディカルシステムズ株式会社 | 画像処理システム、その外部装置およびその画像処理方法 |
JP2010240000A (ja) * | 2009-04-01 | 2010-10-28 | Hoya Corp | 画像処理装置、画像処理方法、およびシステム |
JP2011156203A (ja) * | 2010-02-02 | 2011-08-18 | Olympus Corp | 画像処理装置、内視鏡システム、プログラム及び画像処理方法 |
WO2012102204A1 (ja) * | 2011-01-28 | 2012-08-02 | オリンパスメディカルシステムズ株式会社 | カプセル内視鏡システム |
WO2014061553A1 (ja) * | 2012-10-18 | 2014-04-24 | オリンパスメディカルシステムズ株式会社 | 画像処理装置及び画像処理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020121380A1 (ja) * | 2018-12-10 | 2020-06-18 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
JPWO2020121380A1 (ja) * | 2018-12-10 | 2021-10-28 | オリンパス株式会社 | 画像処理装置、消化管の形状モデルの生成方法、及び画像処理装置の作動プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2017158901A1 (ja) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6656357B2 (ja) | 学習方法、画像認識装置およびプログラム | |
US11947786B2 (en) | System and method for controlling the display of an image stream | |
US8290280B2 (en) | Image processing device, image processing method, and computer readable storage medium storing image processing program | |
US9463359B2 (en) | Rehabilitation assistance system | |
US8830307B2 (en) | Image display apparatus | |
US20120051612A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
EP2842478A1 (en) | Image processing device, image processing method, and image processing program | |
CN101945610B (zh) | 图像处理装置 | |
WO2014050432A1 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2011158549A (ja) | 内視鏡装置およびプログラム | |
US20120051654A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP6411834B2 (ja) | 画像表示装置、画像表示方法、及び画像表示プログラム | |
JP6956853B2 (ja) | 診断支援装置、診断支援プログラム、及び、診断支援方法 | |
WO2017158901A1 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
US20080292150A1 (en) | Image Display Apparatus | |
JP4472602B2 (ja) | 画像表示装置 | |
JP2017103619A (ja) | 制御装置、制御方法、およびプログラム | |
WO2019003597A1 (ja) | 画像処理装置、カプセル型内視鏡システム、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
EP1922979B1 (en) | Image display apparatus | |
JP7040627B2 (ja) | 算出装置、情報処理方法およびプログラム | |
CN116745808A (zh) | 作业估计装置、作业估计方法和作业估计程序 | |
JP7100505B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム | |
JP5408850B2 (ja) | 画像解析装置および画像解析プログラム | |
JP2009089910A (ja) | 撮像方向判別装置、撮像方向判別方法、撮像方向判別プログラム、及び撮像方向判別プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Seguí et al. | Deep learning features for wireless capsule endoscopy analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017525420 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16894518 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16894518 Country of ref document: EP Kind code of ref document: A1 |