WO2006129430A1 - 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム - Google Patents
内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム Download PDFInfo
- Publication number
- WO2006129430A1 WO2006129430A1 PCT/JP2006/308330 JP2006308330W WO2006129430A1 WO 2006129430 A1 WO2006129430 A1 WO 2006129430A1 JP 2006308330 W JP2006308330 W JP 2006308330W WO 2006129430 A1 WO2006129430 A1 WO 2006129430A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- endoscopic
- endoscope
- color tone
- diagnosis support
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Definitions
- Endoscopic diagnosis support method Endoscopic diagnosis support apparatus, and endoscopic diagnosis support program
- the present invention relates to an endoscopic diagnosis for supporting an endoscopic diagnosis performed based on an endoscopic image captured by an endoscopic observation device that self-travels in a lumen and images an observation site.
- Support method, endoscopic diagnosis support apparatus and endoscopic diagnosis support program in particular, an endoscopic diagnosis support method for supporting endoscopic diagnosis by identifying a bleeding site based on an endoscopic image
- the present invention relates to an endoscope diagnosis support apparatus and an endoscope diagnosis support program.
- endoscopes have been widely adopted in the medical field and the industrial field.
- Some recent medical endoscopes are so-called capsule endoscopes that have a capsule shape and do not require an insertion portion.
- This capsule endoscope has an imaging function and a wireless communication function, and after being swallowed by a patient for observation (examination), during the observation period until the human body is naturally discharged,
- images of organs such as the small intestine are sequentially imaged, and image information (electronic data representing the image) is sequentially wirelessly transmitted to the outside.
- the image information wirelessly transmitted in this manner is received by a receiver provided outside the patient's body and stored in a predetermined memory, and then read out and displayed on a display device as necessary. By displaying it, it can be used for doctor's diagnosis.
- such a capsule endoscope has an observation period from when it is swallowed from the patient's mouth until it is naturally discharged.
- the period of time is, for example, 8 hours to 10 hours or more, and the number of pieces of image information obtained by imaging during this period is enormous.
- Patent Document 1 Pamphlet of International Publication No. 02Z073507
- the hue, saturation, and lightness sample values of the bleeding part and the normal mucosa hue, saturation, and lightness sample values in the image are set in advance, and the target region value is either The method of discriminating whether it is a normal mucous membrane or a bleeding part by judging whether it is close to or not has a problem that the discrimination result depends on the sample value.
- the present invention has been made in view of the above circumstances, and an image in which a bleeding site is imaged can be easily and accurately selected from an endoscopic image obtained by an endoscope observation apparatus that has been imaged in large quantities. It is an object of the present invention to provide an endoscopic diagnosis support method, an endoscopic diagnosis support apparatus, and an endoscopic diagnosis support program that can be extracted in the first place.
- the present invention employs the following configuration in order to solve the above problems.
- the endoscopic diagnosis support method of the present invention provides an endoscope.
- An image including a bleeding site is calculated by calculating a color tone from the color signals of each of the plurality of image areas obtained by determining the difference between the plurality of image areas based on the calculated color tone of each of the image areas. It is characterized by discriminating an area.
- the endoscopic diagnosis support method of the present invention preferably further selects an endoscopic image including the discriminated image region.
- the endoscopic diagnosis support method of the present invention when determining the bleeding site, the calculated average color tone value of all the image areas constituting the endoscopic image and the color tone value of each image area. It is desirable to determine a difference between the plurality of image areas by comparing
- the average value of the color tone is calculated based on an endoscopic image other than the endoscope image selected in the past.
- the average value calculated based on the endoscopic image other than the previously selected endoscopic image and the color tone value of each image region It is desirable to judge the difference between the plurality of image areas.
- the difference between the plurality of image areas is determined, and the calculated average value and the color tone of each image area are determined. It is desirable to compare this value with a value obtained by adding a predetermined margin.
- the predetermined margin dynamically varies depending on a variation parameter.
- the variation parameter is a standard deviation, a chromaticity variation coefficient, a variation value, or a gradient.
- the variation parameter is the calculated average chromaticity.
- the endoscopic diagnosis support method of the present invention is based on the chromaticity deviation from the average value of the hues of all the image areas constituting the endoscopic image calculated when the bleeding site is determined. It is desirable to determine the difference between the plurality of image areas.
- the endoscope diagnosis support method of the present invention when calculating the color tone, the color from the average value of the color tone based on the endoscope image other than the endoscope image selected in the past is used.
- the degree deviation and discriminating the bleeding site based on the chromaticity deviation calculated based on the endoscope image other than the endoscope image selected in the past, the difference between the plurality of image regions is calculated. It is desirable to judge the difference.
- the endoscopic diagnosis support method of the present invention when calculating the color tone, a predetermined image area of a plurality of image areas obtained by dividing the endoscopic image is calculated. It is desirable to calculate the color tone of the color signal.
- the average value is calculated using the central portion of the color tone distribution of all image areas constituting the endoscopic image. It is desirable to do.
- the endoscopic diagnosis support apparatus of the present invention is an endoscope for supporting endoscopic diagnosis performed based on an endoscopic image captured by the endoscopic observation apparatus.
- a mirror diagnosis support apparatus which is a color tone calculation unit that calculates a color tone from color signals of a plurality of image areas obtained by dividing the endoscope image, and each of the color tone calculation units calculated by the color tone calculation unit And a bleeding part discriminating means for discriminating an image area including a bleeding part by judging a difference between the plurality of image areas based on a color tone of the image area.
- the endoscopic diagnosis support apparatus of the present invention preferably further includes a bleeding endoscopic image selection unit that selects an endoscopic image including an image region determined by the bleeding part determination unit.
- the bleeding site determination unit is configured to calculate an average color tone value of all image regions constituting the endoscopic image calculated by the color tone calculation unit and each image region. It is desirable to determine the difference between the plurality of image areas by comparing the color tone values.
- the color tone calculation means is based on an endoscopic image other than the endoscopic image selected in the past by the bleeding endoscope image selection means.
- An average value of the endoscope, and the bleeding site determination means is the endoscope selected in the past It is desirable to determine a difference between the plurality of image areas by comparing an average value calculated based on an endoscopic image other than the image and a color tone value of each image area.
- the bleeding site determination unit determines a difference between the plurality of image areas, the calculated average value and a color tone value of each image area It is desirable to compare with a value obtained by adding a predetermined margin.
- the predetermined margin dynamically varies depending on a variation parameter.
- the variation parameter is a standard deviation, a chromaticity variation coefficient, a variation value, or a gradient U.
- the variation parameter is the calculated average chromaticity.
- the bleeding site determination means has an average value of color tones of all image areas constituting the endoscopic image calculated by the color tone calculation means. Based on this, it is desirable to determine the difference between the plurality of image areas.
- the color tone calculation unit performs color tone based on an endoscopic image other than the endoscopic image selected in the past by the bleeding endoscopic image selection unit.
- the color tone calculation means determines whether the color signal of a predetermined image area out of a plurality of image areas obtained by dividing the endoscopic image. It is desirable to calculate the color tone.
- the color tone calculating means may calculate an average value using a central portion of the color tone distribution of all image regions constituting the endoscopic image. desirable.
- the endoscope diagnosis support program of the present invention supports an endoscopic diagnosis performed based on an endoscopic image captured by an endoscopic observation apparatus.
- FIG. 1 is an overall configuration diagram of a capsule endoscope system including an endoscope diagnosis support apparatus to which the present invention is applied.
- FIG. 2 is a diagram for explaining a system configuration of an endoscope diagnosis support apparatus 7;
- FIG. 3 is a flowchart showing a flow (part 1) of an endoscopic diagnosis support process executed by an endoscopic diagnosis support apparatus 7 to which the present invention is applied.
- FIG. 4 A chromaticity distribution diagram of an image without a bleeding site.
- FIG. 5 is a chromaticity distribution diagram of an image including a bleeding site.
- FIG. 6 is a flowchart showing a flow (No. 2) of an endoscope diagnosis support process executed by an endoscope diagnosis support apparatus 7 to which the present invention is applied.
- FIG. 7 is a flow chart showing the flow of processing for calculating an average value based only on the normal mucosal region.
- FIG. 8 is a flowchart showing a flow of processing for calculating an average value based on a region around the center of the chromaticity distribution.
- FIG. 9 is a graph showing the distribution of the ratio of green component to red component, gZr (i).
- FIG. 10 is a diagram showing the positional relationship of regions.
- FIG. 11 is a flowchart showing a flow of endoscopic diagnosis support processing for identifying a bleeding site existing in a mucosal region having yellow chromaticity.
- FIG. 12 is a flowchart showing a flow of endoscopic diagnosis support processing in an example in which bleeding site extraction conditions differ depending on a plurality of categories.
- FIG. 1 is an overall configuration diagram of a capsule endoscope system including an endoscope diagnosis support apparatus to which the present invention is applied.
- a capsule endoscope system 1 includes a capsule endoscope observation device 2 packaged in a package 3, a jacket 5 worn by a patient 4, and a receiver 6 detachably attached to the jacket 5.
- Endoscopic diagnosis support device 7 to which the present invention is applied Endoscopic diagnosis support device 7 to which the present invention is applied, CF (Compact Flash (registered trademark)) memory reader Z writer 8, label printer 9, endoscope filing device 10 and network 11 such as LAN It has been.
- CF Compact Flash (registered trademark)
- the endoscope observation apparatus 2 is provided with an imaging unit (not shown), a wireless communication unit, and the like, and image information captured by the imaging unit (image information related to the captured image) is externally transmitted by the wireless communication unit. Are provided for wireless transmission.
- the jacket 5 is provided with antennas 5a, 5b, 5c, and 5d that capture radio waves of image information related to the captured image transmitted from the wireless communication unit of the endoscope observation apparatus 2, and the receiver 6 It is installed so that it can be communicated by wireless or wired by cable.
- the receiver 6 includes an antenna 6a used for receiving image information directly from the jacket 5 by radio waves, a display unit 6b for displaying information necessary for observation (inspection), and necessary for observation (inspection). An input unit 6c for inputting various information is provided.
- the receiver 6 can be detachably mounted with a CF memory 12 in which received image information is stored.
- the endoscopic diagnosis support apparatus 7 includes a main body 7a, a display apparatus 7b, a keyboard 7c, a mouse 7d, and the like, and an image of an organ or the like in a patient's body taken by a doctor or the like by the endoscope observation apparatus 2. It has a processing function for making a diagnosis based on it.
- Endoscope diagnosis support device 7 has interfaces that can be connected to receiver 6, CF memory reader / writer 8, and label printer 9, respectively. Etc. Further, the endoscopic diagnosis support apparatus 7 displays an image of an organ or the like on the display unit 7b based on, for example, image information relating to a captured image in the patient body transferred from the receiver 6.
- the endoscopic diagnosis support apparatus 7 has a communication function for connecting to the network 11, and accumulates patient diagnosis results and the like in the endoscope filing apparatus 10 via the network 11. Note that the endoscope filing device 10 may be incorporated in the endoscope diagnosis support device 7.
- the endoscope observation apparatus is started from the package 3. 2 is taken out and the patient's 4 locus is swallowed, the endoscopic observation device 2 passes through the esophagus and advances through the body cavity due to peristalsis of the digestive tract cavity, and sequentially enters the body cavity. The image of is taken.
- radio waves of image information relating to the captured image are output from the endoscope observation device 2 as necessary or as needed for the imaging results, and the radio waves are output by the antennas 5a, 5b, 5c, 5d of the jacket 5. Is captured. A signal from the antenna 5a, 5b, 5c or 5d having a high received radio wave intensity is transmitted to the receiver 6 outside the body.
- image information relating to captured images that are sequentially received is stored in the CF memory 12.
- the receiver 6 is not synchronized with the imaging start of the endoscope observation apparatus 2, and the reception start and reception end are controlled by the operation of the input unit 6c.
- the image information related to the captured image may be image information related to a still image captured in a plurality of frames Z seconds for display as a moving image, or may be image information related to a normal moving image. Image information related to still images.
- the image information related to the captured image stored in the CF memory 12 is transferred to the endoscope diagnosis support apparatus 7 via the cable. Sent.
- the CF memory 12 storing the image information related to the captured image is attached to the CF memory reader / writer 8, and the image information related to the captured image is supported by the endoscope diagnosis via the CF memory card / writer 8. It can also be forwarded to the device 7.
- the image information related to the transferred captured image is stored for each patient, and the image information related to the captured image of a specific patient is read and displayed as necessary.
- the image is displayed by the unit 7b.
- the endoscope observation apparatus 2 is moved by the peristalsis of the digestive tract cavity, and thus performs imaging while repeating movement and stoppage. Therefore, although the total number of images related to the image information captured during this period is enormous, images that are continuous in time series often have the same or substantially the same image.
- time series images are the same or substantially the same.
- the display is suitable for easily grasping the large number of images, and a desired image, for example, a diseased part is taken from the large number of images.
- a display suitable for easily finding an image can be performed.
- FIG. 2 is a diagram for explaining the system configuration of the endoscope diagnosis support apparatus 7.
- the main body 7a of the endoscopic diagnosis support apparatus that executes image processing and information processing is generally a personal computer, and is used for endoscopic observation that images an in-vivo image and outputs an image signal.
- Image signal force output by device 2 Endoscopic filing device that generates image data and stores the generated image data
- Image data stored in 10 is acquired via network 11, and various processing is performed on the image data To display the processing result on the display device 7b.
- the designation of the image data to be processed, the acquisition and display of the designated image data, and the instruction to execute the processing are performed by an operation using an operation device that can also work with the keyboard 7c and the mouse 7d.
- the main body 7a includes a CPU 21 that executes control 'processing, a memory 24 that stores processing program data, and an external storage IZF 25 that executes reading and writing of information between the storage device 7e that also has hard disk power, Network card 21 that performs communication with external devices, operation that performs input / output with the operation device IZF22, graphic board 26 that outputs video signals to the display device 7b, and power bus 27 Communicate with each other via 27.
- the network card 21 transmits and receives data to and from the endoscope filing device 10 connected on the LAN.
- the operation IZF 22 receives input signals input by the keyboard 7c and the mouse 7d, which are operation devices, and executes necessary data processing.
- the storage device 7e is connected to the main body 7a and stores an endoscope diagnosis support program for executing analysis processing.
- the endoscopic diagnosis support program is composed of a plurality of executable files, dynamic link library files or setting file modules, and the color signal power and color tone of a plurality of image areas obtained by dividing an endoscopic image.
- the image area including the blood discharge site is discriminated by determining the difference between the plurality of image areas based on the calculated color tone of each image area.
- the external storage IZF 25 reads the endoscope diagnosis support program stored in the storage device 7e and stores it in the memory 24.
- the CPU 23 executes the endoscope diagnosis support program stored in the memory 24.
- image analysis processing including acquisition of an endoscopic image and endoscopic diagnosis support processing is performed.
- FIG. 3 is a flowchart showing a flow (part 1) of the endoscope diagnosis support process executed by the endoscope diagnosis support apparatus 7 to which the present invention is applied.
- the endoscopic diagnosis support process shown in FIG. 3 calculates the average chromaticity in the image information, and calculates the bleeding site based on the calculated chromaticity deviation from the average chromaticity or the absolute chromaticity. To identify.
- the endoscope diagnosis support apparatus 7 images the endoscope observation apparatus 2 from the endoscope filing apparatus 10 or from the storage apparatus 7e that receives data from the endoscope filing apparatus 10. Acquired image information.
- step S32 the image data acquired in step S31 is divided into a plurality of (for example, M X N) regions.
- dividing into a plurality of areas means, for example, vertical 288 pixels X horizontal
- steps S33 to S36 the chromaticity of each region divided in step S32 is calculated.
- step S37 the average value MgZr and the average value MbZg of gZr (i) up to the first force M X N calculated in step S35 are calculated.
- each region divided in step S32 is a bleeding site. It is determined whether or not the force contains. That is, in step S38, 1 is assigned to variable i to start processing, and in step S39, gZr (i) is smaller than the value obtained by adding a predetermined margin to MgZr, and bZg (i) has a predetermined margin for MbZg. Judge whether it is larger than the added value. gZr (i) is determined to be smaller than the value obtained by adding a predetermined margin (eg, -0.1) to MgZr, and bZg (i) is greater than the value obtained by adding a predetermined margin (eg, -0.01) to MbZg. If so (step S39: YES), in step S40, it is determined that the i-th region includes a bleeding site.
- a predetermined margin eg, -0.1
- adding a predetermined margin to MgZr or adding a predetermined margin to Mb / g (i) does not include the bleeding site shown in FIG.
- the ratio of the green component to the red component is smaller than the average value MgZr plus a predetermined margin and the blue component to the green component
- the force that indicates the regional force or bleeding site where the ratio is greater than the average value MbZg plus a specified margin.
- the i-th region is the bleeding site regardless of the average values MgZr and MbZg. May be included. This makes it possible to determine the presence of a bleeding site even when the mean values MgZr and MbZg are significantly biased toward the bleeding site region because a large bleeding region is included.
- the above is the endoscopic diagnosis support process for calculating the average chromaticity in the image information and identifying the bleeding site based on the chromaticity deviation from the calculated average chromaticity or based on the absolute chromaticity Natsu!
- the average value of the mucous membrane of the image is biased toward the bleeding site, and the wrong bleeding site is identified by using the chromaticity deviation from this average value. There is a possibility that.
- FIG. 6 is a flowchart showing a flow (part 2) of the endoscope diagnosis support process executed by the endoscope diagnosis support apparatus 7 to which the present invention is applied.
- steps S61 to S63 the past image data acquired in time series is displayed.
- the average mucosa value is calculated using the information.
- step S61 all image data acquired in the past is acquired in time series.
- step S62 arbitrary image data Pj is acquired from the acquired image data.
- step S63 image data Pj is acquired.
- time series image data from Pj-1 to Pj-n up to n images before the previous force other than the area that has already been determined to contain a bleeding site by endoscopic diagnosis support processing
- the average chromaticities MgZr and MbZg are calculated using the data of the region (region that is a non-bleeding region).
- step S64 the image data Pj acquired in step S62 is divided into a plurality of (for example, MXN) image data, for example, image data of 288 pixels high by 288 pixels wide. Divide the area of 8 pixels x 8 pixels horizontally into 36 x 36 x 36.
- step S67 it is determined whether gZr (i) is smaller than a value obtained by adding a predetermined margin to MgZr, and bZg (i) is greater than a value obtained by adding the predetermined margin to MbZg. If gZr (i) is smaller than the value of MgZr plus a predetermined margin (for example, --0.1), and bZ g (i) is larger than the value of MbZg plus a predetermined margin (for example, --0.01). If it is determined (step S67: YES), it is determined in step S68 that the i-th region includes a bleeding site.
- Fig. 7 is a flowchart showing the flow of processing to calculate the average value based only on the normal mucosal area. It is a chart.
- step S71 the endoscope diagnosis support apparatus 7 captures images from the endoscope filing apparatus 10 or from the storage apparatus 7e that has received data from the endoscope filing apparatus 10. Acquired image information.
- step S72 the image data acquired in step S71 is divided into a plurality of (for example, MXN) regions, for example, image data of 288 pixels by 288 pixels by 8 pixels by X pixels. Divide the 8-pixel area into 36 x 36.
- step S73 processing is started by substituting 1 for the variable i.
- step S75 it is determined whether gZr (i) is larger than a predetermined value (threl 1) and b / g (i) is larger than a predetermined value (threl2).
- step S75 YES
- step S79 the average chromaticity MgZr and MbZg for the region determined to be normal mucosa in step S76, that is, the value NEN is assigned to the variable flag! Is calculated.
- FIG. 8 is a flowchart showing a flow of processing for calculating an average value based on the last region near the center of the chromaticity distribution.
- step S81 the endoscope diagnosis support apparatus 7 captures images from the endoscope filing apparatus 10 or from the storage apparatus 7e that has received data from the endoscope filing apparatus 10. Acquired image information.
- step S82! / A plurality of image data acquired in step S81 (for example, MXN Area), for example, image data of 288 pixels long by 288 pixels wide is divided into an area of 8 pixels wide by 8 pixels wide divided into 36 pixels wide by 36 pixels wide.
- image data acquired in step S81 for example, MXN Area
- image data of 288 pixels long by 288 pixels wide is divided into an area of 8 pixels wide by 8 pixels wide divided into 36 pixels wide by 36 pixels wide.
- step S87 among the chromaticity of each region calculated in step S84, the ratio gZr (i) of the green component to the red component is arranged in ascending order (see Fig. 9), and in step S88, from the bottom
- the area excluding the part below the specified ratio (x%) and the area above the specified ratio (y%) above is defined as the normal mucosa (see Fig. 9).
- step S89 the area determined as the normal mucosa in step S88 Calculate the average value MbZg of the average value MgZr and bZg (i).
- an endoscopic diagnosis support process capable of reducing the erroneous extraction of a bleeding site with respect to mucosal chromaticity variation due to a ciliary region or a chronic disease region such as gastritis will be described.
- the processing flow is the same as in Fig. 3 or Fig. 6 except that the extraction conditions for the region including the bleeding site are different. That is, the condition shown in step S39 in FIG. 3 or step S67 in FIG.
- Each predetermined margin in “greater than or not” is different.
- the predetermined margin stored in MgZr is “ ⁇ 0.1”, Mb / g
- the predetermined margin to be added to MgZr is set to “0.1.A” and Mb / g (i). Let's say “1. 01 + B”.
- the variable A is the standard deviation X k of the value of gZr (i) in the peripheral region of the divided region i
- the variable B is the value of bZg (i) in the peripheral region of the divided region i.
- the standard deviation is X k. That is, the bleeding site extraction condition becomes more severe in the region where the deviation is large, and it is possible to reduce the erroneous detection of the bleeding site due to the mucosal chromaticity variation due to the chronic disease region such as the cilia region or gastritis.
- Variable A is a coefficient of variation X k of the value of gZr (i) in the peripheral region of divided region i.
- variable B may be the coefficient of variation X k of the value of bZg (i) in the peripheral region of the divided region i.
- variable A is G variation ZR variation maximum value X k in 8 directions (direction (1) to direction (8) in FIG. 10) in divided region i as shown in FIG. May be the maximum value Xk of B fluctuation ZG fluctuation in eight directions (direction (1) to direction (8) in FIG. 10) in the divided region i.
- G fluctuation loge (G ′) — loge (G)
- R fluctuation loge (lT) —loge (R).
- Variable A and variable B may use gradient Xk in divided region i.
- a bleeding site existing in a mucous membrane region having a yellow chromaticity covered with intestinal fluid or the like is identified. An example will be described. Distinguish the bleeding site because the chromaticity deviation of the bleeding site existing in the mucous membrane area with yellow chromaticity covered with intestinal fluid etc. is different from the chromaticity deviation of the bleeding site existing in the normal mucosal area. It is necessary to change the conditions for.
- FIG. 11 is a flowchart showing a flow of endoscopic diagnosis support processing for identifying a bleeding site existing in a mucosal region having yellow chromaticity.
- the endoscope diagnosis support apparatus 7 is an image captured by the endoscope observation apparatus 2 from the endoscope filing apparatus 10 or from the storage apparatus 7e that has received data from the endoscope filing apparatus 10. Get information.
- step S112 a plurality of image data acquired in step SI11 (for example, M
- X N X N areas, for example, image data of 288 pixels in the vertical direction and 288 pixels in the horizontal direction are divided, and the region of 8 pixels in the vertical direction and 8 pixels in the horizontal direction is divided into 36 vertical and 36 horizontal.
- step S117 the average value MgZr and the average value MbZg of gZr (i) up to M X Nth are also calculated as the first force calculated in step S115.
- step S118 the average value MbZg calculated in step 117 is a predetermined value ( ⁇ )), and if it is determined to be smaller (step S118: YES), in step S119, the image data has a yellow chromaticity covered with intestinal fluid or the like. Judged as an image of the mucous membrane.
- steps S120 to S124 it is determined whether or not each region divided in step S112 includes a blood discharge site. That is, in step S120, 1 is assigned to variable i and the process is started.In step S121, gZr (i) is smaller than the value obtained by adding a predetermined margin to MgZr, and b / g (i) is Mb / g. It is judged whether the value is larger than the value obtained by adding a predetermined margin to.
- gZr (i) is smaller than the value obtained by adding a predetermined margin (eg, -0.1) to MgZr, and bZg (i) is larger than the value obtained by adding a predetermined margin (eg, 0.03) to MbZg. If it has been cut (step S121: YES), it is determined in step S122 that the i-th region includes a bleeding site.
- a predetermined margin eg, -0.1
- bZg (i) is larger than the value obtained by adding a predetermined margin (eg, 0.03) to MbZg.
- FIG. 12 is a flowchart showing the flow of endoscopic diagnosis support processing in an example in which bleeding site extraction conditions differ depending on a plurality of categories.
- step S131 the endoscope diagnosis support device 7 is imaged by the endoscope observation device 2 from the endoscope filing device 10 or from the storage device 7e that has received data from the endoscope filing device 10. Get image information.
- step S132 a plurality of image data (for example, M
- step S133 an area feature amount in each area is calculated.
- step S135 the region chromaticity of the divided region i is calculated.
- variable class (i) 1 belonging to the first category
- gZr (i) 1 belonging to the first category
- bZg (i) is MgZr ( It is determined whether or not bZg (i) is larger than the value obtained by adding the predetermined margin to lb and smaller than the value obtained by adding the predetermined margin to l).
- gZr (i) is smaller than MgZr (l) with a predetermined margin (for example, -0.1), and bZg (i) has a predetermined margin (for example, -0.01) for MbZg (l).
- the area of the cell that is judged to be larger than the added value is judged to contain the bleeding site.
- the bleeding part detection conditional expression of the first category is applied to all the areas belonging to the first category among the first to MXN areas of the divided area i to include the bleeding site.
- the variable j is incremented, and the processing of steps S137 to S139 is applied to the second and subsequent categories, and the processing for all categories is executed and the processing ends.
- the endoscope diagnosis support apparatus to which the present invention is applied is limited to the above-described embodiment as long as the function is executed. Regardless of whether it is a single device, a system with multiple devices, or an integrated device, it can be a system that performs processing via a network such as a LAN or WAN. Needless to say! /.
- the present invention is not limited to the embodiments described above, and can take various configurations or shapes without departing from the gist of the present invention.
- ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to extract easily and correctly the image by which the bleeding part was imaged from the endoscopic image by the endoscope observation apparatus imaged in large quantities.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Endoscopes (AREA)
Abstract
内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援装置において、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断することにより出血部位を含む画像領域を判別することにより、大量に撮像された内視鏡観察装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に抽出することが可能な内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラムを提供する。
Description
明 細 書
内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プロ グラム
技術分野
[0001] 本発明は、管腔内を自走して観察部位を撮像する内視鏡観察装置が撮像した内 視鏡画像に基づいて行なわれる内視鏡診断を支援するための内視鏡診断支援方法 、内視鏡診断支援装置および内視鏡診断支援プログラムに関し、特に、内視鏡画像 に基づいて出血部位を特定することにより内視鏡診断を支援する内視鏡診断支援方 法、内視鏡診断支援装置および内視鏡診断支援プログラムに関する。
背景技術
[0002] 従来、内視鏡は医療用分野及び工業用分野で広く採用されている。近年の医療用 内視鏡には、その形状をカプセル形状にして挿入部を不要としている、所謂カプセ ル内視鏡なるものがある。このカプセル内視鏡は、撮像機能と無線通信機能とを有し ており、観察 (検査)のために患者のロカ 飲込まれた後、人体力 自然排出される までの観察期間中に、胃、小腸等の臓器を順次撮像し、撮像による画像情報 (画像 を表現する電子データ)を順次外部に無線送信するものである。
[0003] このようにして無線送信された画像情報は、患者の体外に設けられた受信機により 受信され所定のメモリに蓄積されるようになっており、その後、必要に応じて読み出し 表示装置に表示等することにより、医師の診断等に利用することができるようになって いる。
[0004] し力しながら、このようなカプセル内視鏡は、通常の内視鏡と異なり、患者の口から 飲み込まれてから自然排出されるまでの期間が観察期間となることから、その観察期 間が例えば 8時間乃至 10時間以上といった具合に長時間におよぶこととなり、この間 の撮像により得られた画像情報の数は膨大である。
[0005] このことから、診断等の段階にお!、て、このような膨大な数の画像情報を短時間で 把握することは容易ではなぐまた、膨大な数の画像情報の中から所望の画像情報、 例えば疾患部位等が撮影された画像に係る画像情報を探し出すのも容易ではない
[0006] また、カプセル内視鏡に限らず、通常の内視鏡を含む内視鏡検査における診断は 、医師の主観に依存している部分が多大であり、画像診断の品質の向上及び読影時 間の短縮を目的とした出病巣の存在を画像データから検出するコンピュータ診断支 援(CAD : Computer Aided Diagnosis)の実現が望まれている。この CADを利用した 内視鏡診断支援装置は、画像内における関心領域 (ROI : Region Of Interest)から 算出された様々な特徴量を用い、閾値処理あるいは統計的 ·非統計的識別器を用い て診断対象とする画像がどのような所見や病変に分類されるのかを医師に提示する ことにより、客観的 '定量的な診断の支援を行ない、また病変が疑われる画像を選択 することで医師の読影負担を軽減するものである。
[0007] このような内視鏡画像を用いた診断において、出血の存在には様々な病理学的な 理由が考えられ、出血の検出にぉ 、て 、くつかのアプローチが用いられてきた。 その 1つに、出血部の色相、彩度、明度のサンプル値と、その画像における通常粘 膜の色相、彩度、明度のサンプル値とを予め設定しておき、対象領域の値がどちら に近いのかを判定することにより、通常粘膜であるのか出血部であるのかを判別する 手法が開示されている (例えば、特許文献 1参照。 ) o
特許文献 1:国際公開第 02Z073507号パンフレット
発明の開示
[0008] しかしながら、出血部の色相、彩度、明度のサンプル値と、その画像における通常 粘膜の色相、彩度、明度のサンプル値とを予め設定しておき、対象領域の値がどち らに近いのかを判定することにより、通常粘膜であるのか出血部であるのかを判別す る手法は、その判別結果がサンプル値に依存してしまうという問題点があった。
[0009] 本発明は、上記事情に鑑みてなされたものであり、大量に撮像された内視鏡観察 装置による内視鏡画像の中から、出血部位が撮像された画像を容易に、かつ正確に 抽出することが可能な内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診 断支援プログラムを提供することを目的にしている。
[0010] 本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明の内視鏡診断支援方法は、内視鏡
観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するため の内視鏡診断支援装置において実行する内視鏡診断支援方法であって、上記内視 鏡画像を分割することにより得られた複数の各画像領域の色信号から色調を算出し 、上記算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判 断することにより出血部位を含む画像領域を判別することを特徴とする。
[0011] また、本発明の内視鏡診断支援方法は、さらに、上記判別された画像領域を含む 内視鏡画像を選択することが望まし 、。
また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記算出 された上記内視鏡画像を構成する全画像領域の色調の平均値と各画像領域の色調 の値とを比較することにより、上記複数の画像領域間の相違を判断することが望まし い。
[0012] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、過去に選択さ れた内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、上記出血部 位を判別する際に、上記過去に選択された内視鏡画像以外の内視鏡画像に基づい て算出された平均値と各画像領域の色調の値とを比較することにより、上記複数の画 像領域間の相違を判断することが望まし ヽ。
[0013] また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記複数 の画像領域間の相違を判断する際、上記算出された平均値と各画像領域の色調の 値に所定マージンを加えた値と比較することが望ましい。
[0014] また、本発明の内視鏡診断支援方法は、上記所定マージンが、変動パラメータによ り動的に変動することが望ましい。
また、本発明の内視鏡診断支援方法は、上記変動パラメータが、標準偏差、色度 変動係数、変動値またはグラディエントであることが望ま U、。
[0015] また、本発明の内視鏡診断支援方法は、上記変動パラメータが、上記算出した平 均色度であることが望ま ヽ。
また、本発明の内視鏡診断支援方法は、上記出血部位を判別する際に、上記算出 された上記内視鏡画像を構成する全画像領域の色調の平均値からの色度偏差に基 づ 、て、上記複数の画像領域間の相違を判断することが望ま 、。
[0016] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、過去に選択さ れた内視鏡画像以外の内視鏡画像に基づいて色調の平均値からの色度偏差を算 出し、上記出血部位を判別する際に、上記過去に選択された内視鏡画像以外の内 視鏡画像に基づいて算出された色度偏差に基づいて、上記複数の画像領域間の相 違を判断することが望ましい。
[0017] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、上記内視鏡画 像を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号 力も色調を算出することが望ましい。
[0018] また、本発明の内視鏡診断支援方法は、上記色調を算出する際に、上記内視鏡画 像を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出すること が望ましい。
また、本発明の一態様によれば、本発明の内視鏡診断支援装置は、内視鏡観察 装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するための内 視鏡診断支援装置であって、上記内視鏡画像を分割することにより得られた複数の 各画像領域の色信号から色調を算出する色調算出手段と、上記色調算出手段によ つて算出された各画像領域の色調に基づいて上記複数の画像領域間の相違を判断 することにより出血部位を含む画像領域を判別する出血部位判別手段とを備えること を特徴とする。
[0019] また、本発明の内視鏡診断支援装置は、上記出血部判別手段によって判別された 画像領域を含む内視鏡画像を選択する出血内視鏡画像選択手段さらに備えること が望ましい。
また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記色調算 出手段によって算出された上記内視鏡画像を構成する全画像領域の色調の平均値 と各画像領域の色調の値とを比較することにより、上記複数の画像領域間の相違を 判断することが望ましい。
[0020] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記出血内視鏡 画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて 色調の平均値を算出し、上記出血部位判別手段が、上記過去に選択された内視鏡
画像以外の内視鏡画像に基づいて算出された平均値と各画像領域の色調の値とを 比較することにより、上記複数の画像領域間の相違を判断することが望ましい。
[0021] また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記複数の 画像領域間の相違を判断する際、上記算出された平均値と各画像領域の色調の値 に所定マージンを加えた値と比較することが望ましい。
[0022] また、本発明の内視鏡診断支援装置は、上記所定マージンが、変動パラメータによ り動的に変動することが望ましい。
また、本発明の内視鏡診断支援装置は、上記変動パラメータが、標準偏差、色度 変動係数、変動値またはグラディエントであることが望ま U 、。
[0023] また、本発明の内視鏡診断支援装置は、上記変動パラメータが、上記算出した平 均色度であることが望まし ヽ。
また、本発明の内視鏡診断支援装置は、上記出血部位判別手段が、上記色調算 出手段によって算出された上記内視鏡画像を構成する全画像領域の色調の平均値 力もの色度偏差に基づ 、て、上記複数の画像領域間の相違を判断することが望まし い。
[0024] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記出血内視鏡 画像選択手段によって過去に選択された内視鏡画像以外の内視鏡画像に基づいて 色調の平均値からの色度偏差を算出し、上記出血部位判別手段が、上記過去に選 択された内視鏡画像以外の内視鏡画像に基づいて算出された色度偏差に基づいて 、上記複数の画像領域間の相違を判断することが望ま U 、。
[0025] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記内視鏡画像 を分割することにより得られた複数の各画像領域のうち所定の画像領域の色信号か ら色調を算出することが望ましい。
[0026] また、本発明の内視鏡診断支援装置は、上記色調算出手段が、上記内視鏡画像 を構成する全画像領域の色調分布のうち中心部分を用いて平均値を算出することが 望ましい。
また、本発明の一態様によれば、本発明の内視鏡診断支援プログラムは、内視鏡 観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援するため
の内視鏡診断支援装置において実行させるための内視鏡診断支援プログラムであ つて、上記内視鏡画像を分割することにより得られた複数の各画像領域の色信号か ら色調を算出する手順と、上記算出された各画像領域の色調に基づいて上記複数 の画像領域間の相違を判断することにより出血部位を含む画像領域を判別する手順 とを実行させるための内視鏡診断支援プログラムまたは内視鏡診断支援プログラム 製品である。
図面の簡単な説明
[0027] [図 1]本発明を適用した内視鏡診断支援装置を含むカプセル内視鏡システムの全体 構成図である。
[図 2]内視鏡診断支援装置 7のシステム構成を説明するための図である。
[図 3]本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理の 流れ (その 1)を示すフローチャートである。
[図 4]出血部位を含まな 、画像の色度分布図である。
[図 5]出血部位を含む画像の色度分布図である。
[図 6]本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理の 流れ (その 2)を示すフローチャートである。
[図 7]通常粘膜の領域のみに基づいて平均値を算出する処理の流れを示すフローチ ヤートである。
[図 8]色度分布の中心付近についての領域に基づいて平均値を算出する処理の流 れを示すフローチャートである。
[図 9]赤色成分に対する緑色成分の比 gZr (i)の分布を示す図である。
[図 10]領域の位置関係を示す図である。
[図 11]黄色の色度を有する粘膜領域に存在する出血部位を識別する内視鏡診断支 援処理の流れを示すフローチャートである。
[図 12]複数のカテゴリにより出血部位の抽出条件が異なる例の内視鏡診断支援処理 の流れを示すフローチャートである。
発明を実施するための最良の形態
[0028] 以下、図面を参照しながら本発明の実施の形態について述べる。
図 1は、本発明を適用した内視鏡診断支援装置を含むカプセル内視鏡システムの 全体構成図である。
[0029] 図 1において、カプセル内視鏡システム 1は、パッケージ 3にパッケージングされた カプセル型の内視鏡観察装置 2、患者 4に着用させるジャケット 5、そのジャケット 5に 着脱自在の受信機 6、本発明を適用した内視鏡診断支援装置 7、 CF (コンパクトフラ ッシュ (登録商標))メモリリーダ Zライタ 8、ラベルプリンタ 9、内視鏡フアイリング装置 1 0、及び LAN等のネットワーク 11により構成されて 、る。
[0030] 内視鏡観察装置 2には、不図示の撮像部と無線通信部等が設けられ、撮像部によ り撮像された画像情報 (撮像画像に係る画像情報)が無線通信部により外部に無線 送信可能に設けられている。
[0031] ジャケット 5には、内視鏡観察装置 2の無線通信部から送信される撮像画像に係る 画像情報の電波を捕捉するアンテナ 5a, 5b, 5c,及び 5dが設けられ、受信機 6との 間で無線もしくはケーブルによる有線にて通信可能に設けられている。
[0032] 受信機 6には、ジャケット 5から直接電波で画像情報を受信する場合に用いられる アンテナ 6a、観察 (検査)に必要な情報を表示する表示部 6b、及び観察 (検査)に必 要な情報を入力する入力部 6cが設けられている。また、受信機 6は、受信した画像情 報が記憶される CFメモリ 12を着脱可能に装着することができる。
[0033] 内視鏡診断支援装置 7は、本体 7a、表示装置 7b、キーボード 7c、マウス 7d等から 構成され、医師等が内視鏡観察装置 2により撮影された患者体内の臓器等の画像に 基づいて診断を行なうための処理機能を有している。内視鏡診断支援装置 7は、受 信機 6、 CFメモリリーダ/ライタ 8、ラベルプリンタ 9とそれぞれ通信可能に接続するィ ンターフェイスを有しており、 CFメモリ 12のリード Zライト、カルテ印刷等を行なう。ま た、内視鏡診断支援装置 7は、例えば受信機 6から転送された患者体内の撮像画像 に係る画像情報に基づいて表示部 7bに臓器等の画像を表示する。更に、内視鏡診 断支援装置 7は、ネットワーク 11に接続するための通信機能を有しており、ネットヮー ク 11を介して内視鏡フアイリング装置 10に患者の診察結果等を蓄積する。尚、内視 鏡フアイリング装置 10は、内視鏡診断支援装置 7に内蔵されていても良い。
[0034] 図 1に示したように、検査を開始する前において、パッケージ 3から内視鏡観察装置
2が取り出され、患者 4のロカ 当該内視鏡観察装置 2が飲み込まれると、当該内視 鏡観察装置 2は、食道を通過し、消化管腔の蠕動により体腔内を進行し、逐次体腔 内の像を撮像する。
[0035] そして、必要に応じてまたは随時撮像結果について内視鏡観察装置 2から撮像画 像に係る画像情報の電波が出力され、ジャケット 5の各アンテナ 5a, 5b, 5c, 5dでそ の電波が捕捉される。受信電波強度の高いアンテナ 5a, 5b, 5cまたは 5dからの信 号が体外の受信機 6へ送信される。
[0036] 受信機 6においては、逐次受信される撮像画像に係る画像情報が CFメモリ 12に格 納される。尚、この受信機 6は内視鏡観察装置 2の撮像開始とは同期しておらず、入 力部 6cの操作により受信開始と受信終了とが制御される。また、撮像画像に係る画 像情報としては、動画的に表示するために複数コマ Z秒で撮像した静止画像に係る 画像情報でもよいし、通常の動画像に係る画像情報でもよいが、ここでは、静止画像 に係る画像情報とする。
[0037] 内視鏡観察装置 2による患者 4の観察 (検査)が終了すると、 CFメモリ 12に格納さ れている撮像画像に係る画像情報がケーブルを介して内視鏡診断支援装置 7に転 送される。或いは、その撮像画像に係る画像情報が格納されている CFメモリ 12が C Fメモリリーダ/ライタ 8に装着され、撮像画像に係る画像情報が CFメモリカード/ラ イタ 8を介して内視鏡診断支援装置 7に転送されるようにすることも可能である。
[0038] 内視鏡診断支援装置 7では、転送されてきた撮像画像に係る画像情報が患者別に 記憶され、必要に応じて、特定の患者の撮像画像に係る画像情報が読み出され、表 示部 7bにより画像表示される。これにより、超音波プローブ、通常の内視鏡等では到 達し得ない体深部 (小腸等)も含め、人体の消化管のすべてに亙って、生理学的研 究の有用なデータ獲得や病変の診断を行なうことができる。
[0039] ところで、内視鏡観察装置 2は、前述のとおり、消化管腔の蠕動に委ねて移動する ものであるから、移動と停止を繰り返しながら撮像を行なう。従って、この間に撮像さ れた画像情報に係る画像の総数は膨大となるものの、時系列に連続する画像は、同 一或いは略同一の画像となることが多くなると 、う特徴を有して 、る。
[0040] 内視鏡診断支援装置 7では、このような時系列に連続する画像が同一或いは略同
一の画像となる多数の画像を表示する際に、その多数の画像を容易に把握するのに 適した表示であって、その多数の画像の中から所望の画像、例えば疾患部位が撮影 された画像を容易に探し出すのに適した表示を行なうことができるようになつている。
[0041] 次に、本内視鏡診断支援装置 7の構成及び動作について、更に詳細に説明する。
図 2は、内視鏡診断支援装置 7のシステム構成を説明するための図である。
図 2にお ヽて、画像処理及び情報処理を実行する内視鏡診断支援装置の本体 7a は、一般にパーソナルコンピュータが用いられており、生体内を撮像して画像信号を 出力する内視鏡観察装置 2の出力する画像信号力 画像データを生成するとともに 生成された画像データを蓄積する内視鏡フアイリング装置 10に蓄積されている画像 データをネットワーク 11経由で取得し、画像データに対して各種処理を実行し、処理 結果を表示装置 7bに表示する。処理を実行する画像データの指定、指定された画 像データの取得表示、処理実行の指示は、キーボード 7c及びマウス 7dと力もなる操 作装置を用いた操作によって行なわれる。
[0042] また、本体 7aは、制御'処理を実行する CPU21と、処理プログラム 'データを記憶 するメモリ 24と、ハードディスク力もなる記憶装置 7eとの間で情報の読み書きを実行 する外部記憶 IZF25と、外部機器との通信を実行するネットワークカード 21と、操作 装置との入出力を実行する操作 IZF22と、表示装置 7bにビデオ信号を出力するグ ラフィックボード 26と力 バス 27に接続されており、バス 27を介して相互に通信を行 なう。
[0043] ネットワークカード 21は、 LAN上に接続されている内視鏡フアイリング装置 10とデ ータの送受信を行なう。操作 IZF22は、操作装置であるキーボード 7c及びマウス 7d によって入力された入力信号を受け取り、必要なデータ処理を実行する。
[0044] 記憶装置 7eは、本体 7aに接続されており、解析処理を実行する内視鏡診断支援 プログラムを格納している。内視鏡診断支援プログラムは、複数の実行ファイルまた は動的リンクライブラリファイルまたは設定ファイルカゝら構成され、内視鏡画像を分割 することにより得られた複数の各画像領域の色信号力 色調を算出し、算出された各 画像領域の色調に基づ ヽて上記複数の画像領域間の相違を判断することにより出 血部位を含む画像領域を判別する。
[0045] 外部記憶 IZF25は、記憶装置 7eに記憶されている内視鏡診断支援プログラムを 読み込み、メモリ 24に記憶させる。
CPU23は、メモリ 24に記憶された内視鏡診断支援プログラムを実行することにより
、内視鏡画像の取得および内視鏡診断支援処理を含む画像解析処理を行なう。
[0046] 次に、図 3乃至図 12を用いて内視鏡診断支援装置 7が実行する内視鏡診断支援 の動作について説明する。尚、本内視鏡診断支援の動作は、前述のとおり、 CPU 13 が ROM14に予め格納されている制御プログラムを読み出し実行することによって行 われる動作である。
[0047] 図 3は、本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理 の流れ (その 1)を示すフローチャートである。
図 3に示した内視鏡診断支援処理は、画像情報における平均色度を算出し、この 算出して平均色度からの色度偏差に基づいて、あるいは絶対色度に基づいて、出血 部位を識別するものである。
[0048] まず、ステップ S31において、内視鏡診断支援装置 7は内視鏡フアイリング装置 10 から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視 鏡観察装置 2が撮像した画像情報を取得する。
[0049] ステップ S32にお!/、て、ステップ S31で取得した画像データを複数(例えば、 M X N 個)の領域に分割する。ここで、複数の領域に分割するとは、例えば縦 288画素 X横
288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分 割することをいい、その場合、 M = 36、 N = 36となる。
[0050] ステップ S33乃至 S36において、ステップ S32で分割した各領域の色度を算出する
。すなわち、ステップ S33で変数 iに 1を代入して処理を開始し、ステップ S34および ステップ S35において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色 成分の赤色成分に対する緑色成分の比 (gZr (i) = G (i) ZR (i) )と緑色成分に対す る青色成分の比 (bZg (i) =B (i) /G (i) )を算出する。
[0051] そして、ステップ S37において、ステップ S35で算出した 1番目力 M X N番目まで の gZr (i)の平均値 MgZrおよび bZg (i)の平均値 MbZgを算出する。
次に、ステップ S38乃至 S42において、ステップ S32で分割した各領域が出血部位
を含んでいる力否かを判断する。すなわち、ステップ S 38で変数 iに 1を代入して処理 を開始し、ステップ S39において、 gZr (i)が MgZrに所定マージンをカ卩えた値より 小さくかつ bZg (i)が MbZgに所定マージンを加えた値より大きいか否かを判断する 。 gZr (i)が MgZrに所定マージン (例えば、—0. 1)を加えた値より小さくかつ bZg (i)が MbZgに所定マージン (例えば、—0. 01)を加えた値より大きいと判断した場 合 (ステップ S39 :YES)は、ステップ S40において、 i番目の領域は出血部位を含ん でいると判断する。
[0052] ここで、 MgZrに所定マージンを加えたり、 Mb/g (i)に所定マージンを加えたりし たのは、図 4に示した出血部位を含まな 、画像の色度分布図と図 5に示した出血部 位を含む画像の色度分布図とから明らかなように、赤色成分に対する緑色成分の比 が平均値 MgZrに所定マージンを加えた値より小さぐかつ緑色成分に対する青色 成分の比が平均値 MbZgに所定マージンを加えた値より大きい領域力 出血部位 を示す力もである。また、 g/r (i)が所定の絶対出血閾値 ZgZrより小さぐかつ bZg (i)が所定の絶対出血閾値 ZbZgより大きければ、平均値 MgZr、 MbZgに因らず i 番目の領域は出血部位を含んでいると判断してもよい。これにより、大出血領域が含 まれるために平均値 MgZrおよび MbZgが出血部位の領域に大きく偏ってしまう場 合にも出血部位の存在を判断することが可能となる。
[0053] 以上が、画像情報における平均色度を算出し、この算出した平均色度からの色度 偏差に基づいて、あるいは絶対色度に基づいて、出血部位を識別する内視鏡診断 支援処理につ!、ての説明である。
[0054] ところが、出血部位が存在する画像データにおいては、画像粘膜平均値が出血部 位の方に偏ってしまい、この平均値からの色度偏差を用いることにより誤った出血部 位の識別をしてしまう可能性がある。
[0055] そこで、異物や出血部位の影響の小さ 、通常粘膜のみの画像データ力 画像粘膜 平均値を算出することが可能な内視鏡診断支援処理について説明する。
図 6は、本発明を適用した内視鏡診断支援装置 7が実行する内視鏡診断支援処理 の流れ (その 2)を示すフローチャートである。
[0056] まず、ステップ S61乃至 S63において、時系列に取得された過去の画像データの
情報を用いて粘膜平均値を算出する。具体的には、ステップ S61において、過去に 取得した画像データを時系列に全て取得し、ステップ S62において、取得した画像 データのうち任意の画像データ Pjを取得し、ステップ S63において、画像データ Pjよ り時系列的に 1つ前力も n個前までの画像データ Pj-1から Pj-nまでの画像データのう ち、既に内視鏡診断支援処理によって出血部位を含むと判断された領域以外の領 域 (非出血部位である領域)のデータを用いて、平均色度 MgZrおよび MbZgを算 出する。
[0057] 次に、ステップ S64にお!/、て、ステップ S62で取得した画像データ Pjを複数(例え ば、 M X N個)の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割する。
[0058] ステップ S65乃至 S70において、ステップ S62で分割した各領域の色度を算出し、 その各領域が出血部位を含んでいる力否かを判断する。すなわち、ステップ S65で 変数 iに 1を代入して処理を開始し、ステップ S66において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr (i ) =G (i) ZR (i) )と緑色成分に対する青色成分の比 (bZg (i) = B (i) /G (i) )を算出 する。そして、ステップ S67において、 gZr(i)が MgZrに所定マージンをカ卩えた値よ り小さくかつ bZg(i)が MbZgに所定マージンを加えた値より大きいか否かを判断す る。 gZr(i)が MgZrに所定マージン (例えば、—0. 1)をカ卩えた値より小さくかつ bZ g (i)が MbZgに所定マージン (例えば、—0. 01)を加えた値より大きいと判断した場 合 (ステップ S67 : YES)は、ステップ S68において、 i番目の領域は出血部位を含ん でいると判断する。
[0059] このように、時系列に取得され、既に出血部位を含んでいる力否かの判断がされた 過去の画像データに基づいて平均色度 MgZrおよび MbZgを算出することにより、 観察対象の部位における通常粘膜の平均色度に基づいた内視鏡診断支援処理を 実行することができる。
[0060] また、分割された領域のうち通常粘膜に属する領域のみに限定し、それらの領域の 平均値を算出することも可能である。
図 7は、通常粘膜の領域のみに基づいて平均値を算出する処理の流れを示すフロ
一チャートである。
[0061] まず、ステップ S71において、内視鏡診断支援装置 7は内視鏡フアイリング装置 10 から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視 鏡観察装置 2が撮像した画像情報を取得する。
[0062] そして、ステップ S72にお 、て、ステップ S71で取得した画像データを複数 (例えば 、 M X N個)の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8 画素 X横 8画素の領域を縦 36 X横 36個に分割する。
[0063] 次に、ステップ S73乃至 S78において、ステップ S72で分割した各領域の色度を算 出し、その各領域が通常粘膜であるか否かを判断する。すなわち、ステップ S73で変 数 iに 1を代入して処理を開始し、ステップ S74において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色成分の赤色成分に対する緑色成分の比 (gZr (i) = G (i) ZR (i) )と緑色成分に対する青色成分の比 (bZg (i) = B (i) /G (i) )を算出 する。そして、ステップ S75において、 gZr (i)が所定値 (threl l)より大きくかつ b/g (i)が所定値 (threl2)より大き 、か否かを判断する。 g/r (i)が所定値 (threl 1)より 大きくかつ bZg (i)が所定値 (threl 2)より大き 、と判断した場合 (ステップ S75: YE S)は、ステップ S76において、 i番目の領域は通常粘膜であると判断して、フラグを立 てる(変数 flagに値 NENを代入する)。
[0064] そして、ステップ S79において、ステップ S76で通常粘膜であると判断された領域、 すなわち変数 flagに値 NENが代入されて!、る領域につ!、ての平均色度 MgZrおよ び MbZgを算出する。
[0065] また、分割された領域の色度分布を参照し、異物や出血部位等の影響の少な!/、で あろう分布中心付近についての平均値を算出することも可能である。
図 8は、色度分布の中心付近につ!、ての領域に基づ!/、て平均値を算出する処理 の流れを示すフローチャートである。
[0066] まず、ステップ S81において、内視鏡診断支援装置 7は内視鏡フアイリング装置 10 から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内視 鏡観察装置 2が撮像した画像情報を取得する。
[0067] ステップ S82にお!/、て、ステップ S81で取得した画像データを複数(例えば、 M X N
個)の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割する。
[0068] ステップ S83乃至 S86において、ステップ S82で分割した各領域の色度を算出する 。すなわち、ステップ S83で変数 iに 1を代入して処理を開始し、ステップ S84および ステップ S85において、 i番目の領域 (i= l乃至 M X N)における色度として、三原色 成分の赤色成分に対する緑色成分の比 (gZr (i) = G (i) ZR (i) )と緑色成分に対す る青色成分の比 (bZg (i) =B (i) /G (i) )を算出する。
[0069] そして、ステップ S87において、ステップ S84で算出した各領域の色度のうち、赤色 成分に対する緑色成分の比 gZr (i)を昇順に並べ(図 9参照)、ステップ S88におい て、下から所定割合 (x%)以下の部分および上から所定割合 (y%)以上の部分を除 く領域を通常粘膜として定め(図 9参照)、ステップ S89において、ステップ S88で通 常粘膜と定めた領域につ!、ての平均値 MgZrおよび bZg (i)の平均値 MbZgを算 出する。
[0070] 次に、繊毛領域や胃炎等の慢性疾患領域による、粘膜の色度変動に対する出血 部位の誤抽出を削減することが可能な内視鏡診断支援処理について説明する。 処理の流れは、出血部位を含む領域の抽出条件が異なること以外、図 3または図 6 と同様である。すなわち、図 3のステップ S39または図 6のステップ S67で示した条件 「gZr (i)が MgZrに所定マージンをカ卩えた値より小さくかつ bZg (i)が MbZgに所 定マージンをカ卩えた値より大きいか否力」においての各所定マージンが異なる。
[0071] 図 3または図 6に示した例では、 MgZrにカ卩えた所定マージンを『ー0. 1』、 Mb/g
(i)に加えた所定マージンを『一 0. 01』とした力 ここでは、 MgZrに加える所定マー ジンを『一 0. 1— A』、 Mb/g (i)にカ卩える所定マージンを『一0. 01 + B』とする。
[0072] 変数 Aは、分割された領域 iの周辺領域における gZr (i)の値の標準偏差 X kであり 、変数 Bは、分割された領域 iの周辺領域における bZg (i)の値の標準偏差 X kであ る。すなわち、偏差が大きい領域で出血部位の抽出条件がさらに厳しくなり、繊毛領 域や胃炎等の慢性疾患領域による、粘膜の色度変動に対する出血部位の誤検出を 削減することが可能となる。
[0073] また、変数 Aを、分割された領域 iの周辺領域における gZr (i)の値の変動係数 X k
とし、変数 Bを、分割された領域 iの周辺領域における bZg (i)の値の変動係数 X kと してちよい。
[0074] また、変数 Aは、図 10に示すような分割領域 i内の 8方向(図 10の方向(1)乃至方 向(8) )における G変動 ZR変動の最大値 X k、変数 Bは、分割領域 i内の 8方向(図 1 0の方向(1)乃至方向(8) )における B変動 ZG変動の最大値 X kとしてもよ 、。なお 、ここで、 G変動 = loge (G')— loge (G)、 R変動 = loge (lT)— loge (R)とする。
[0075] また、変数 Aおよぶ変数 Bは、分割領域 iにおけるグラディエント X kを用いてもょ ヽ 次に、腸液等に覆われた黄色の色度を有する粘膜領域に存在する出血部位を識 別する例を説明する。腸液等で覆われた黄色の色度を有する粘膜領域に存在する 出血部位の色度偏差は、通常の粘膜領域に存在する出血部位の色度偏差は異なる 特徴を有するため、出血部位を識別するための条件を変更する必要がある。
[0076] 図 11は、黄色の色度を有する粘膜領域に存在する出血部位を識別する内視鏡診 断支援処理の流れを示すフローチャートである。
まず、ステップ S111において、内視鏡診断支援装置 7は内視鏡フアイリング装置 1 0から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内 視鏡観察装置 2が撮像した画像情報を取得する。
[0077] ステップ S112にお!/、て、ステップ SI 11で取得した画像データを複数(例えば、 M
X N個)の領域、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個に分割する。
[0078] ステップ S 113乃至 S 116において、ステップ S 112で分割した各領域の色度を算 出する。すなわち、ステップ S113で変数 iに 1を代入して処理を開始し、ステップ S11 4およびステップ S 115にお!/、て、 i番目の領域 (i= 1乃至 M X N)における色度として 、三原色成分の赤色成分に対する緑色成分の比 (gZr(i) =G (i) ZR(i) )と緑色成 分に対する青色成分の比 (bZg (i) =B (i) ZG (i) )を算出する。
[0079] そして、ステップ S 117にお!/、て、ステップ S 115で算出した 1番目力も M X N番目ま での gZr (i)の平均値 MgZrおよび bZg (i)の平均値 MbZgを算出する。
[0080] 次に、ステップ S118において、ステップ 117で算出した平均値 MbZgが所定値(
α )より小さいか否かを判断し、小さいと判断された場合 (ステップ S 118 :YES)は、ス テツプ S 119にお 、て、その画像データは腸液等に覆われた黄色の色度を有する粘 膜の画像であると判断する。
[0081] 最後に、ステップ S 120乃至 S124において、ステップ S 112で分割した各領域が出 血部位を含んでいる力否かを判断する。すなわち、ステップ S 120で変数 iに 1を代入 して処理を開始し、ステップ S 121において、 gZr (i)が MgZrに所定マージンをカロ えた値より小さくかつ b/g (i)が Mb/gに所定マージンを加えた値より大きいか否か を判断する。 gZr (i)が MgZrに所定マージン (例えば、—0. 1)を加えた値より小さ くかつ bZg (i)が MbZgに所定マージン(例えば、 0. 03)をカ卩えた値より大きいと判 断した場合 (ステップ S 121: YES)は、ステップ S 122において、 i番目の領域は出血 部位を含んで 、ると判断する。
[0082] 次に、画像における分割領域を複数のカテゴリに分類し、カテゴリ毎の粘膜平均色 度を算出し、それぞれのカテゴリにより出血部位の抽出条件が異なる例について説 明する。この例は、 1つの画像に複数のカテゴリに属する領域が混在する場合に最適 な抽出条件を選択することができ、出血部位の検出精度を上げることが可能となる。
[0083] 図 12は、複数のカテゴリにより出血部位の抽出条件が異なる例の内視鏡診断支援 処理の流れを示すフローチャートである。
まず、ステップ S 131において、内視鏡診断支援装置 7は内視鏡フアイリング装置 1 0から、または内視鏡フアイリング装置 10からデータを受信した記憶装置 7eから、内 視鏡観察装置 2が撮像した画像情報を取得する。
[0084] ステップ S132において、ステップ S131で取得した画像データを複数(例えば、 M
X N個)の領域に分割する。ここで、複数の領域に分割するとは、例えば縦 288画素 X横 288画素の画像データを分割して縦 8画素 X横 8画素の領域を縦 36 X横 36個 に分害 IJすることを 、、その場合、 M = 36、 N = 36となる。
[0085] そして、ステップ S133において、各領域における領域特徴量を算出する。例えば 領域特徴量として、 i番目の領域 (i= l乃至 M X N)における三原色成分の緑色成分 に対する青色成分の比 (bZg (i) =B (i) /G (i) )を算出する。
[0086] 次に、ステップ S 134において、ステップ S 133で算出した領域特徴量に基づいて、
各領域が属するカテゴリを識別する。例えば、緑色成分に対する青色成分の比 bZg (i)が、所定値より大きければ通常粘膜の領域のカテゴリであるとして分類しフラグを 立て(変数 class (i) = 1を代入する)、緑色成分に対する青色成分の比 bZg (i)が、 所定値以下であれば黄色粘膜の領域のカテゴリであるとして分類しフラグを立てる( 変数 class (i) =2を代入する。カテゴリの数を示す K = 2)。なお、領域特徴量として 複数の特徴量を算出し、識別器を用いて複数のカテゴリに分類してもよい。
[0087] そして、ステップ S135において、分割された領域 iの領域色度を算出する。例えば 、領域色度として、 i番目の領域 (i= 1乃至 M X N)における gZr (i)、 b/g (i)を算出 する。
[0088] 次に、ステップ S 136乃至 S 141において、ステップ S 132で分割してステップ S 134 でカテゴリ分けした、各カテゴリの各領域が出血部位を含んで 、るか否かを判断する 。すなわち、ステップ S 136で変数 jに 1を代入して処理を開始し、ステップ S137でま ず第 1番目のカテゴリにおける平均色度として、分割領域 iの 1番目力 M X N番目ま での領域のうち第 1番目のカテゴリに属する領域 (変数 class (i) = 1)の gZr (i)の平 均値 MgZr (l)および gZr (i)の平均値 MgZr (l)を算出する。そして、ステップ S1 38乃至 S 139にお 、て、第 1番目のカテゴリに属する領域 (変数 class (i) = 1)にお ヽ て、第 1番目のカテゴリの出血部検出条件式を適用する。つまり第 1番目のカテゴリは 通常粘膜であるので、第 1番目のカテゴリに属する i番目の領域 (i= l乃至 M XN、変 数 class (i) = 1)において、 gZr(i)が MgZr(l)に所定マージンをカ卩えた値より小さ くかつ bZg (i)が MbZg (l)に所定マージンを加えた値より大きいか否かを判断する 。 gZr(i)が MgZr (l)に所定マージン (例えば、—0. 1)をカ卩えた値より小さくかつ b Zg (i)が MbZg (l)に所定マージン (例えば、—0. 01)を加えた値より大きいと判断 した潘目の領域は出血部位を含んでいると判断する。そして、分割領域 iの 1番目か ら M X N番目までの領域のうち第 1番目のカテゴリに属する全ての領域にっ 、て第 1 番目のカテゴリの出血部検出条件式を適用し、出血部位を含んでいるか否かを判断 する。ステップ S 141のおいて変数 jをインクリメントし、ステップ S137乃至 S139の処 理を 2番目以降のカテゴリにも適用し、全てのカテゴリについての処理を実行して終 了する。
[0089] 以上、本発明を適用した実施の形態を説明してきたが、本発明が適用される内視 鏡診断支援装置は、その機能が実行されるのであれば、上述の実施の形態に限定 されることなく、単体の装置であっても、複数の装置力 なるシステムあるいは統合装 置であっても、 LAN、 WAN等のネットワークを介して処理が行なわれるシステムであ つてもょ 、ことは言うまでもな!/、。
[0090] すなわち、本発明は、以上に述べた実施の形態に限定されるものではなぐ本発明 の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
本発明によれば、大量に撮像された内視鏡観察装置による内視鏡画像の中から、 出血部位が撮像された画像を容易に、かつ正確に抽出することが可能となる。
Claims
[1] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援 するための内視鏡診断支援装置において実行する内視鏡診断支援方法であって、 前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色 調を算出し、
前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判 断することにより出血部位を含む画像領域を判別することを特徴とする内視鏡診断支 援方法。
[2] さらに、前記判別された画像領域を含む内視鏡画像を選択することを特徴とする請 求項 1に記載の内視鏡診断支援方法。
[3] 前記出血部位を判別する際は、前記算出された前記内視鏡画像を構成する全画 像領域の色調の平均値と各画像領域の色調の値とを比較することにより、前記複数 の画像領域間の相違を判断することを特徴とする請求項 1に記載の内視鏡診断支援 方法。
[4] 前記色調を算出する際は、過去に選択された内視鏡画像以外の内視鏡画像に基 づいて色調の平均値を算出し、
前記出血部位を判別する際は、前記過去に選択された内視鏡画像以外の内視鏡 画像に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、 前記複数の画像領域間の相違を判断することを特徴とする請求項 3に記載の内視鏡 診断支援方法。
[5] 前記出血部位を判別する際は、前記複数の画像領域間の相違を判断する際、前 記算出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較す ることを特徴とする請求項 3に記載の内視鏡診断支援方法。
[6] 前記所定マージンは、変動パラメータにより動的に変動することを特徴とする請求 項 5に記載の内視鏡診断支援方法。
[7] 前記変動パラメータは、標準偏差、色度変動係数、変動値またはグラディエントで あることを特徴とする請求項 6に記載の内視鏡診断支援方法。
[8] 前記変動パラメータは、前記算出した平均色度であることを特徴とする請求項 6に
記載の内視鏡診断支援方法。
[9] 前記出血部位を判別する際は、前記算出された前記内視鏡画像を構成する全画 像領域の色調の平均値からの色度偏差に基づ!、て、前記複数の画像領域間の相違 を判断することを特徴とする請求項 1に記載の内視鏡診断支援方法。
[10] 前記色調を算出する際は、過去に選択された内視鏡画像以外の内視鏡画像に基 づいて色調の平均値力 の色度偏差を算出し、
前記出血部位を判別する際は、前記過去に選択された内視鏡画像以外の内視鏡 画像に基づいて算出された色度偏差に基づいて、前記複数の画像領域間の相違を 判断することを特徴とする請求項 9に記載の内視鏡診断支援方法。
[11] 前記色調を算出する際は、前記内視鏡画像を分割することにより得られた複数の 各画像領域のうち所定の画像領域の色信号から色調を算出することを特徴とする請 求項 1に記載の内視鏡診断支援方法。
[12] 前記色調を算出する際は、前記内視鏡画像を構成する全画像領域の色調分布の うち中心部分を用いて平均値を算出することを特徴とする請求項 2に記載の内視鏡 診断支援方法。
[13] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援 するための内視鏡診断支援装置であって、
前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色 調を算出する色調算出手段と、
前記色調算出手段によって算出された各画像領域の色調に基づいて前記複数の 画像領域間の相違を判断することにより出血部位を含む画像領域を判別する出血部 位判別手段と、
を備えることを特徴とする内視鏡診断支援装置。
[14] 前記出血部判別手段によって判別された画像領域を含む内視鏡画像を選択する 出血内視鏡画像選択手段さらに備えることを特徴とする請求項 13に記載の内視鏡 診断支援装置。
[15] 前記出血部位判別手段は、前記色調算出手段によって算出された前記内視鏡画 像を構成する全画像領域の色調の平均値と各画像領域の色調の値とを比較すること
により、前記複数の画像領域間の相違を判断することを特徴とする請求項 13に記載 の内視鏡診断支援装置。
[16] 前記色調算出手段は、前記出血内視鏡画像選択手段によって過去に選択された 内視鏡画像以外の内視鏡画像に基づいて色調の平均値を算出し、
前記出血部位判別手段は、前記過去に選択された内視鏡画像以外の内視鏡画像 に基づいて算出された平均値と各画像領域の色調の値とを比較することにより、前記 複数の画像領域間の相違を判断することを特徴とする請求項 15に記載の内視鏡診 断支援装置。
[17] 前記出血部位判別手段は、前記複数の画像領域間の相違を判断する際、前記算 出された平均値と各画像領域の色調の値に所定マージンを加えた値と比較すること を特徴とする請求項 15に記載の内視鏡診断支援装置。
[18] 前記所定マージンは、変動パラメータにより動的に変動することを特徴とする請求 項 17に記載の内視鏡診断支援装置。
[19] 前記変動パラメータは、標準偏差、色度変動係数、変動値またはグラディエントで あることを特徴とする請求項 18に記載の内視鏡診断支援装置。
[20] 前記変動パラメータは、前記算出した平均色度であることを特徴とする請求項 18に 記載の内視鏡診断支援装置。
[21] 前記出血部位判別手段は、前記色調算出手段によって算出された前記内視鏡画 像を構成する全画像領域の色調の平均値からの色度偏差に基づ!、て、前記複数の 画像領域間の相違を判断することを特徴とする請求項 13に記載の内視鏡診断支援 装置。
[22] 前記色調算出手段は、前記出血内視鏡画像選択手段によって過去に選択された 内視鏡画像以外の内視鏡画像に基づいて色調の平均値力 の色度偏差を算出し、 前記出血部位判別手段は、前記過去に選択された内視鏡画像以外の内視鏡画像 に基づいて算出された色度偏差に基づいて、前記複数の画像領域間の相違を判断 することを特徴とする請求項 21に記載の内視鏡診断支援装置。
[23] 前記色調算出手段は、前記内視鏡画像を分割することにより得られた複数の各画 像領域のうち所定の画像領域の色信号から色調を算出することを特徴とする請求項
13に記載の内視鏡診断支援装置。
[24] 前記色調算出手段は、前記内視鏡画像を構成する全画像領域の色調分布のうち 中心部分を用いて平均値を算出することを特徴とする請求項 14に記載の内視鏡診 断支援装置。
[25] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援 するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログ ラムであって、
前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色 調を算出する手順と、
前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判 断することにより出血部位を含む画像領域を判別する手順と、
を実行させるための内視鏡診断支援プログラム。
[26] 内視鏡観察装置が撮像した内視鏡画像に基づいて行なわれる内視鏡診断を支援 するための内視鏡診断支援装置において実行させるための内視鏡診断支援プログ ラム製品であって、
前記内視鏡画像を分割することにより得られた複数の各画像領域の色信号から色 調を算出する手順と、
前記算出された各画像領域の色調に基づいて前記複数の画像領域間の相違を判 断することにより出血部位を含む画像領域を判別する手順と、
を実行させるための内視鏡診断支援プログラム製品。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP06745511A EP1897483A4 (en) | 2005-06-01 | 2006-04-20 | ENDOSCOPE DIAGNOSTIC ASSISTANCE PROCEDURE, ENDOSCOPE DIAGNOSTIC SUPPORT DEVICE AND ENDOSCOPE DIAGNOSTICS ASSISTANCE PROGRAM |
US11/639,687 US8581973B2 (en) | 2005-06-01 | 2006-12-15 | Endoscopic diagnosis support method, endoscopic diagnosis support apparatus and endoscopic diagnosis support program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005-162023 | 2005-06-01 | ||
JP2005162023A JP4767591B2 (ja) | 2005-06-01 | 2005-06-01 | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US11/639,687 Continuation US8581973B2 (en) | 2005-06-01 | 2006-12-15 | Endoscopic diagnosis support method, endoscopic diagnosis support apparatus and endoscopic diagnosis support program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2006129430A1 true WO2006129430A1 (ja) | 2006-12-07 |
Family
ID=37481363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2006/308330 WO2006129430A1 (ja) | 2005-06-01 | 2006-04-20 | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US8581973B2 (ja) |
EP (1) | EP1897483A4 (ja) |
JP (1) | JP4767591B2 (ja) |
KR (1) | KR100991915B1 (ja) |
CN (1) | CN100558289C (ja) |
WO (1) | WO2006129430A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010115413A (ja) * | 2008-11-14 | 2010-05-27 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005000101A2 (en) * | 2003-06-12 | 2005-01-06 | University Of Utah Research Foundation | Apparatus, systems and methods for diagnosing carpal tunnel syndrome |
EP1969992B1 (en) * | 2005-12-28 | 2012-05-02 | Olympus Medical Systems Corp. | Image processing device and image processing method in the image processing device |
CN101621956B (zh) * | 2007-02-22 | 2013-08-14 | 奥林巴斯医疗株式会社 | 被检体内导入*** |
JP5312807B2 (ja) | 2008-01-08 | 2013-10-09 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP4760883B2 (ja) * | 2008-09-25 | 2011-08-31 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
DE102010006741A1 (de) | 2010-02-03 | 2011-08-04 | Friedrich-Alexander-Universität Erlangen-Nürnberg, 91054 | Verfahren zum Verarbeiten eines Endoskopiebildes |
JP5452300B2 (ja) * | 2010-03-19 | 2014-03-26 | 富士フイルム株式会社 | 電子内視鏡システム、電子内視鏡用のプロセッサ装置、電子内視鏡システムの作動方法、病理観察装置および病理顕微鏡装置 |
EP2502546B1 (en) * | 2010-04-12 | 2015-07-01 | Olympus Medical Systems Corp. | Medical image processing apparatus and medical image processing method |
US8768024B1 (en) * | 2010-06-01 | 2014-07-01 | Given Imaging Ltd. | System and method for real time detection of villi texture in an image stream of the gastrointestinal tract |
US8922633B1 (en) | 2010-09-27 | 2014-12-30 | Given Imaging Ltd. | Detection of gastrointestinal sections and transition of an in-vivo device there between |
US8965079B1 (en) | 2010-09-28 | 2015-02-24 | Given Imaging Ltd. | Real time detection of gastrointestinal sections and transitions of an in-vivo device therebetween |
CN104487014B (zh) * | 2012-07-25 | 2017-10-27 | 直观外科手术操作公司 | 手术***中有效的交互式出血检测 |
JP5622903B2 (ja) * | 2013-08-05 | 2014-11-12 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法および画像処理プログラム |
US9324145B1 (en) | 2013-08-08 | 2016-04-26 | Given Imaging Ltd. | System and method for detection of transitions in an image stream of the gastrointestinal tract |
JP6293384B2 (ja) * | 2015-11-25 | 2018-03-14 | オリンパス株式会社 | 内視鏡システム |
JP6669539B2 (ja) * | 2016-03-11 | 2020-03-18 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
TWI616180B (zh) * | 2016-06-29 | 2018-03-01 | 國立成功大學 | 上消化道出血偵測裝置及方法 |
WO2019164277A1 (ko) * | 2018-02-20 | 2019-08-29 | (주)휴톰 | 수술영상을 이용한 출혈 평가 방법 및 장치 |
KR102014385B1 (ko) * | 2018-02-20 | 2019-08-26 | (주)휴톰 | 수술영상 학습 및 학습 기반 수술동작 인식 방법 및 장치 |
CN109117890B (zh) * | 2018-08-24 | 2020-04-21 | 腾讯科技(深圳)有限公司 | 一种图像分类方法、装置和存储介质 |
WO2020100630A1 (ja) | 2018-11-14 | 2020-05-22 | 富士フイルム株式会社 | 医療画像処理システム |
CN110689014B (zh) * | 2019-10-14 | 2022-02-11 | 腾讯科技(深圳)有限公司 | 感兴趣区域的检测方法、装置、电子设备及可读存储介质 |
KR102360615B1 (ko) * | 2019-11-05 | 2022-02-09 | 주식회사 인피니트헬스케어 | 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 |
JP6855610B2 (ja) * | 2020-02-27 | 2021-04-07 | 富士フイルム株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02124131A (ja) * | 1988-11-02 | 1990-05-11 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2001037718A (ja) * | 1999-05-26 | 2001-02-13 | Olympus Optical Co Ltd | 画像診断装置及び内視鏡装置 |
JP2002165757A (ja) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | 診断支援装置 |
WO2002073507A2 (en) * | 2001-03-14 | 2002-09-19 | Given Imaging Ltd. | Method and system for detecting colorimetric abnormalities |
WO2004052188A1 (ja) * | 2002-12-12 | 2004-06-24 | Olympus Corporation | 情報処理装置 |
JP2005192880A (ja) * | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5932824A (ja) * | 1982-08-18 | 1984-02-22 | Sanyo Electric Co Ltd | 色度差検出装置 |
JPH01101962A (ja) * | 1987-10-15 | 1989-04-19 | Olympus Optical Co Ltd | 経内視鏡分光診断装置 |
US7356190B2 (en) * | 2002-07-02 | 2008-04-08 | Canon Kabushiki Kaisha | Image area extraction method, image reconstruction method using the extraction result and apparatus thereof |
US7282723B2 (en) * | 2002-07-09 | 2007-10-16 | Medispectra, Inc. | Methods and apparatus for processing spectral data for use in tissue characterization |
US7200252B2 (en) * | 2002-10-28 | 2007-04-03 | Ventana Medical Systems, Inc. | Color space transformations for use in identifying objects of interest in biological specimens |
AU2003293421A1 (en) | 2002-12-04 | 2004-06-23 | The Johns Hopkins University | Elimination of mr signals of selected components in a target area of an imaged object |
US7538761B2 (en) * | 2002-12-12 | 2009-05-26 | Olympus Corporation | Information processor |
CN101288582A (zh) * | 2003-04-25 | 2008-10-22 | 奥林巴斯株式会社 | 图像显示装置和图像显示方法 |
EP1969992B1 (en) * | 2005-12-28 | 2012-05-02 | Olympus Medical Systems Corp. | Image processing device and image processing method in the image processing device |
-
2005
- 2005-06-01 JP JP2005162023A patent/JP4767591B2/ja not_active Expired - Fee Related
-
2006
- 2006-04-20 CN CNB2006800189163A patent/CN100558289C/zh not_active Expired - Fee Related
- 2006-04-20 WO PCT/JP2006/308330 patent/WO2006129430A1/ja active Application Filing
- 2006-04-20 KR KR1020077030955A patent/KR100991915B1/ko not_active IP Right Cessation
- 2006-04-20 EP EP06745511A patent/EP1897483A4/en not_active Withdrawn
- 2006-12-15 US US11/639,687 patent/US8581973B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02124131A (ja) * | 1988-11-02 | 1990-05-11 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2001037718A (ja) * | 1999-05-26 | 2001-02-13 | Olympus Optical Co Ltd | 画像診断装置及び内視鏡装置 |
JP2002165757A (ja) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | 診断支援装置 |
WO2002073507A2 (en) * | 2001-03-14 | 2002-09-19 | Given Imaging Ltd. | Method and system for detecting colorimetric abnormalities |
WO2004052188A1 (ja) * | 2002-12-12 | 2004-06-24 | Olympus Corporation | 情報処理装置 |
JP2005192880A (ja) * | 2004-01-08 | 2005-07-21 | Olympus Corp | 画像処理方法 |
Non-Patent Citations (1)
Title |
---|
See also references of EP1897483A4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010115413A (ja) * | 2008-11-14 | 2010-05-27 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
US8705818B2 (en) | 2008-11-14 | 2014-04-22 | Olympus Corporation | Image processing device, computer readable storage medium storing image processing program, and image processing method |
Also Published As
Publication number | Publication date |
---|---|
US8581973B2 (en) | 2013-11-12 |
US20070135715A1 (en) | 2007-06-14 |
JP2006334115A (ja) | 2006-12-14 |
EP1897483A4 (en) | 2011-02-23 |
JP4767591B2 (ja) | 2011-09-07 |
CN101184430A (zh) | 2008-05-21 |
KR20080020652A (ko) | 2008-03-05 |
EP1897483A1 (en) | 2008-03-12 |
KR100991915B1 (ko) | 2010-11-04 |
CN100558289C (zh) | 2009-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2006129430A1 (ja) | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム | |
US7907775B2 (en) | Image processing apparatus, image processing method and image processing program | |
EP1849402B1 (en) | Medical image processing device, lumen image processing device, lumen image processing method, and programs for them | |
JP4493386B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
US7319781B2 (en) | Method and system for multiple passes diagnostic alignment for in vivo images | |
US8107704B2 (en) | Image processing device, image processing program and image processing method | |
US20080212881A1 (en) | Image Display Apparatus | |
EP2397990B1 (en) | Image processing apparatus, image processing method, and image processing program | |
JP4956694B2 (ja) | 情報処理装置及びカプセル型内視鏡システム | |
US20200090548A1 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP4832794B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP4554647B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
US8406489B2 (en) | Image display apparatus | |
JP2006304995A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
EP1681009A1 (en) | Image processing device, image processing method, and image processing program | |
JP2005218584A (ja) | 画像情報の表示処理装置、その表示処理方法及び表示処理プログラム | |
JP2007075158A (ja) | 画像表示装置 | |
JP4547402B2 (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
EP1922979B1 (en) | Image display apparatus | |
AU2008200088A1 (en) | Image Display Apparatus, Image Display Method and Image Display Program | |
Kho et al. | Gastrointestinal endoscopy colour-based image processing technique for bleeding, lesion and reflux | |
JP2024008474A (ja) | 検査支援装置、検査支援方法および検査支援プログラム | |
CN116324885A (zh) | 用于检测胃肠道疾病的***和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200680018916.3 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application | ||
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2006745511 Country of ref document: EP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 1020077030955 Country of ref document: KR |