WO2009087821A1 - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- WO2009087821A1 WO2009087821A1 PCT/JP2008/071048 JP2008071048W WO2009087821A1 WO 2009087821 A1 WO2009087821 A1 WO 2009087821A1 JP 2008071048 W JP2008071048 W JP 2008071048W WO 2009087821 A1 WO2009087821 A1 WO 2009087821A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- time series
- section
- category
- image processing
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Definitions
- the present invention relates to an image processing apparatus and an image processing program for processing a time series image composed of a plurality of images taken in time series.
- capsule endoscopes medical devices have been developed that sequentially capture images inside the tube while moving inside the tube such as the digestive tract. After being swallowed from the mouth, the capsule endoscope is carried inside the tube by a peristaltic motion, etc., and sequentially captures images at a predetermined imaging rate, transmits them to the external receiver, and is finally discharged out of the body.
- a doctor spends a lot of time to confirm a large amount of time-series images transmitted to these extracorporeal receivers on a diagnostic workstation or the like and to identify a lesioned part. For this reason, there is a strong demand for a technique for improving the efficiency of checking images by a doctor.
- a time-series image captured by a capsule endoscope is divided into regions such as mucous membranes, stool, bubbles, and unknown areas, and an image unnecessary for observation or an image including a lesion site is discriminated.
- the method is shown. Specifically, a plurality of images obtained by sampling time-series images at predetermined intervals are divided into small sections, and these small sections are mapped to a predetermined feature space such as an average color ratio space, and then clustered. Then, the obtained clusters are classified into classes (categories) such as mucous membranes, stool and bubbles using a classifier created in advance based on teacher data.
- classes categories
- the sampled image is divided into subsets of predetermined time series intervals, and the occurrence frequency and distribution information of each class in the subset are calculated based on the previous class classification result. Then, based on these pieces of information, the image in the time series section indicated by each subset is classified into each class region, and a lesioned part is detected.
- class distribution information of each class such as mucous membrane, feces, and foam is obtained using images sampled at predetermined intervals within a time series section having a predetermined width as a subset, and the image is classified into regions.
- the capsule endoscope passes through the airway such as the digestive tract by peristaltic movement, the passing speed is not constant, and the time-series images to be captured are continuously changed or similar images. And so on. For this reason, when the image changes greatly in the time-series section in the subset, the capsule moves greatly and the surrounding situation changes, so the data of each class changes greatly.
- the present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus and an image processing program capable of accurately and efficiently classifying images in a time series image.
- an image processing apparatus is an image processing apparatus that processes a time-series image composed of a plurality of images captured in time series, and Section setting means for setting a predetermined time series section based on the amount of change between images constituting the series image, and the time series section using the classification criteria for each time series section set by the section setting means And an area classification means for classifying an included image into a plurality of category areas.
- an image processing program provides a computer that processes a time-series image composed of a plurality of images captured in time series, based on a change amount between the images constituting the time-series image.
- Section setting step for setting the time series section, and region classification step for classifying the image included in the time series section into a plurality of category areas using the classification criteria for each time series section set by the section setting step Are executed.
- the image display device of the present invention it is possible to set a time series section based on the amount of change between images constituting a time series image. And since the inside of the image included in the set time series section can be classified into the category area using the classification standard for each time series section, the classification accuracy of the category area can be improved. Therefore, there is an effect that the images constituting the time-series image can be classified accurately and efficiently.
- FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus.
- FIG. 2 is a diagram illustrating an example of an intraluminal image.
- FIG. 3 is a block diagram illustrating a functional configuration of the image processing apparatus.
- FIG. 4 is an overall flowchart illustrating a processing procedure performed by the image processing apparatus.
- FIG. 5 is a schematic diagram showing how time-series sections are set.
- FIG. 6 is a flowchart showing a detailed procedure of the temporary area classification process.
- FIG. 7 is a schematic diagram showing a state of image selection.
- FIG. 8 is a schematic diagram showing the effect of classification using clustering.
- FIG. 9 is a schematic diagram showing the update of the category discrimination criterion.
- an image processing apparatus that processes a time-series image in the body vessel air captured in time series by the capsule endoscope will be described.
- the image processing apparatus of the present invention can process the image processing apparatus.
- Such a time-series image is not limited to a time-series image obtained by imaging the inside of the body tube.
- FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus according to an embodiment.
- the image processing system wirelessly transmits from the capsule endoscope 10 that captures an image inside the subject 1 (hereinafter referred to as “intraluminal image”) and the capsule endoscope 10.
- a receiving device 30 that receives an intraluminal image
- an image processing device 70 that processes and displays the intraluminal image captured by the capsule endoscope 10 based on the intraluminal image received by the receiving device 30.
- a portable recording medium (portable recording medium) 50 is used for transferring image data between the receiving device 30 and the image processing device 70.
- the capsule endoscope 10 has an imaging function, a wireless function, and the like.
- the capsule endoscope 10 is swallowed from the mouth of the subject 1 and introduced into the subject 1, and sequentially captures the tube aerial images while moving through the body cavity. Take an image. Then, the captured intraluminal image is wirelessly transmitted outside the body.
- the receiving device 30 includes a plurality of receiving antennas A1 to An, and receives an intraluminal image wirelessly transmitted from the capsule endoscope 10 via each of the receiving antennas A1 to An.
- the receiving device 30 is configured so that the portable recording medium 50 can be freely attached and detached, and sequentially stores the received image data of the intraluminal image in the portable recording medium 50. In this way, the intraluminal image inside the subject 1 captured by the capsule endoscope 10 is accumulated in the portable recording medium 50 in time series by the receiving device 30 and stored as a time series image.
- the receiving antennas A1 to An are constituted by, for example, loop antennas and are attached to the external surface of the subject 1. Specifically, they are distributed and arranged at positions corresponding to the passage route of the capsule endoscope 10 in the subject 1.
- the receiving antennas A1 to An may be arranged in a distributed manner on a jacket worn by the subject 1. In this case, the receiving antennas A1 to An are predetermined on the body surface of the subject 1 corresponding to the passage path of the capsule endoscope 10 in the subject 1 when the subject 1 wears this jacket. Placed in position.
- one or more receiving antennas may be arranged with respect to the subject 1, and the number thereof is not limited.
- the image processing device 70 is for a doctor or the like to observe and diagnose an intravascular image captured by the capsule endoscope 10, and is realized by a general-purpose computer such as a workstation or a personal computer.
- the image processing apparatus 70 is configured so that the portable recording medium 50 can be freely attached and detached.
- the image processing apparatus 70 processes each image in the tube constituting the time-series image stored in the portable recording medium 50, and performs an LCD, ELD, or the like. Are displayed sequentially on the display in chronological order.
- FIG. 2 is a diagram illustrating an example of an intraluminal image captured by the capsule endoscope 10 and processed by the image processing device 70.
- the intraluminal image captured by the capsule endoscope 10 is a color image having a pixel level (pixel value) for each color component of R (red), G (green), and B (blue) at each pixel position. is there.
- FIG. 3 is a block diagram illustrating a functional configuration of the image processing apparatus 70.
- the image processing apparatus 70 includes an image acquisition unit 710, an input unit 720, a display unit 730, a storage unit 740, a calculation unit 750, and a control unit 760 that controls each unit of the apparatus.
- the image acquisition unit 710 acquires an intraluminal image that constitutes a time-series image captured by the capsule endoscope 10 and stored in the portable recording medium 50 by the receiving device 30, for example, portable recording
- the medium 50 is detachably mounted, and the image data of the tube image stored in the mounted portable recording medium 50 is read and acquired.
- the image acquisition unit 710 is realized by, for example, a read / write device corresponding to the type of the portable recording medium 50. Note that the acquisition of the time-series tube images captured by the capsule endoscope 10 is not limited to the configuration using the portable recording medium 50. For example, a hard disk is used instead of the image acquisition unit 710.
- the image acquisition unit is configured by a communication device or the like for connecting to the server, and is connected to the server via the image acquisition unit to acquire a time-series tube image from the server.
- the input unit 720 is realized by, for example, a keyboard, a mouse, a touch panel, various switches, and the like, and outputs an operation signal corresponding to the operation input to the control unit 760.
- the display unit 730 is realized by a display device such as an LCD or an ELD, and displays various screens including a display screen of time-series images in the tube under the control of the control unit 760.
- the storage unit 740 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and stored, a hard disk connected by a built-in or data communication terminal, an information recording medium such as a CD-ROM, and a reading device thereof.
- a program relating to the operation of the image processing apparatus 70, a program for realizing various functions provided in the image processing apparatus 70, data relating to execution of these programs, and the like are stored.
- an image processing program 741 for classifying each intraluminal image constituting the time series image into a category area is stored.
- the calculation unit 750 is realized by hardware such as a CPU, sequentially processes time-series tube images acquired by the image acquisition unit 710, and performs various calculations for classifying each tube image into category regions. Process.
- the calculation unit 750 calculates a change amount with respect to a time-series tube image captured by the capsule endoscope 10 moving in the tube space with another image that is close to the time-series image.
- a section setting unit 752 as a section setting means for setting a predetermined time series section based on a change amount between images, and a time series section using a classification criterion for each time series section
- an area classification unit 753 as an area classification means for classifying the image included in the image into a plurality of category areas such as “mucous membrane”, “content”, “bubble”, and “lesion”.
- the region classification unit 753 includes an image selection unit 754 as an image selection unit that selects an image from a time series section, and a feature amount calculation unit 755 as a feature amount calculation unit that calculates a feature amount from each image in the time series section.
- a distribution estimation unit 756 as a distribution estimation unit that estimates the feature amount distribution of each category region existing in the image included in the time series section, and the distribution estimation unit 756 includes the image selected by the image selection unit 754.
- a clustering unit 757 as a clustering unit for clustering the feature amount distribution of the selected image
- a category determination unit 758 as a category determination unit for determining the category of each cluster based on the information of each cluster.
- the control unit 760 is realized by hardware such as a CPU.
- the control unit 760 transfers the image data input from the image acquisition unit 710, the operation signal input from the input unit 720, the programs and data stored in the storage unit 740, and the like to each unit constituting the image processing apparatus 70. Instruction, data transfer, and the like, and overall operation of the image processing apparatus 70 is controlled.
- FIG. 4 is an overall flowchart showing a processing procedure performed by the image processing apparatus 70. The processing described here is realized by the calculation unit 750 executing the image processing program 741 stored in the storage unit 740. FIG. 4 shows a flow when processing time-series images I (0) to I (T) from time-series order 0 to T.
- the arithmetic unit 750 first sets a code i indicating the time series order of the target tube image to 0 and sets a code s indicating the time series order of the start image in the time series section. Is set to 0 (step S10). Subsequently, the calculation unit 750 obtains an image I (i) that is an intraluminal image in the time series order i (step S11). Then, an image I (i + 1), which is an intraluminal image of the time order i + 1 that is continuous in time series with respect to the image I (i), is acquired (step S13).
- the change amount calculation unit 751 calculates the change amount between the image I (i) and the image I (i + 1) (step S15).
- an image composed of G components of images I (i) and I (i + 1) is acquired.
- the G component is used here because it is close to the absorption wavelength band of hemoglobin in blood and has high sensitivity and resolution, so that it expresses light and dark information of the intraluminal image well.
- other pixel values or values indicating brightness information that has already been secondarily calculated by known conversion, luminance (YCbCr conversion), brightness (HSI conversion), or the like may be used.
- each G component image is divided into small sections of a predetermined size. For example, the image is divided into m rows and n columns. Subsequently, an average G component value is obtained for each divided small section. Then, the absolute value of the difference between the average G component values of the positionally corresponding small sections is obtained according to the following equation (1), and the sum of all the sections in the image is defined as a change amount v (i + 1).
- This amount of change reflects the movement of the capsule endoscope 10, and it is considered that the surrounding environment differs as the value increases.
- the sum of absolute values of differences is shown as the amount of change, but the sum of squares of differences may be used.
- the pixel values of the pixels corresponding to each other in position may be obtained without being divided into small sections.
- image data that has been subjected to discrete cosine transform (DCT) and compressed and encoded is used for each block, such as JPEG
- the values calculated secondarily from the DCT coefficients may be compared. Further, it may be obtained by comparing statistic values of pixel values in the image.
- DCT discrete cosine transform
- moving image compression data such as MPEG
- the amount of change between images is calculated and recorded at the time of compression encoding, so these values are calculated without calculating the amount of change between images. May be used. In this case, the change amount calculation unit 751 is not necessary.
- the section setting unit 752 calculates a cumulative change amount sv, which is a cumulative value obtained by accumulating the amount of change from the section start image I (s) in chronological order according to the following equation (2) (step S17). Then, the section setting unit 752 determines whether the calculated cumulative change amount sv exceeds a predetermined threshold value set in advance, or whether the processed image I (i + 1) is the last image I (T) in time series. It is determined whether or not (step S19).
- FIG. 5 is a schematic diagram showing how time-series sections are set.
- the time-series section L-1 that has been processed and the time-series section L-2 in which the process progresses and the tube image in another time-series order i is set as the section start image I (s) is shown. As shown in FIG.
- FIG. 6 is a flowchart showing a detailed procedure of the temporary area classification process.
- the feature quantity calculation unit 755 divides each image in the time series sections s to e into small sections, and calculates a feature quantity for each small section (step S251). For example, an image is divided into m rows and n columns, and the color ratio calculated secondarily from the average value, standard deviation value, histogram, or R, G, B component value of R, G, B components for each section Average values such as color difference, hue, saturation, and histogram are obtained. It is possible to obtain a feature including a relationship with surrounding pixels by collecting the pixels as a set of pixels instead of a single pixel.
- DCT discrete cosine transform
- JPEG JPEG
- the image selection unit 754 selects an image based on the change amount change in the time series sections s to e (step S253).
- a selection method first, the cumulative change amount in the time series sections s to e is divided into a predetermined number. A method of selecting an image closest to the cumulative change amount corresponding to each division position, a section start image, and a section end image can be given.
- the time series sections s to e in which the image is set as the section start image I (s) are shown.
- the cumulative amount of change in the time series sections s to e is divided into four, and the images in the time series order a1 to a5 are selected as the image closest to the division position and the section start image and section end image. It shows how it works. In this way, by selecting an image from the time series sections s to e so that the amount of change between the images becomes approximately the same, it is possible to reduce the data bias in the subsequent distribution estimation of each category.
- an image may be selected by a method of selecting an image having a change value equal to or greater than a predetermined threshold without using the cumulative change amount.
- the clustering unit 757 selects the selected image as shown in FIG. Are clustered in the feature space (step S255).
- Clustering is a technique for grouping data distribution in a feature space. For example, it is disclosed in various known techniques such as a hierarchical method, a k-means method, a self-organizing map, and Patent Document 1 shown in the background art. Can be used. Here, the effect of performing clustering will be described with reference to FIG. FIG. 8 is a schematic diagram showing the effect of classification using clustering.
- the mucous membranes and lesions are mainly different in color tone. For this reason, in the feature space showing the color information as shown in FIG. 8, these areas form clusters (clusters) having different distributions. However, the distribution varies depending on the subject, the organ, the difference in the section in the tube, and the like.
- FIG. 8 an example of the distribution of “mucosa” and “lesion” performed on the image in the time series section L-1 shown in FIG.
- An example of the distribution of mucous membranes and lesions is shown with broken lines.
- Th_all indicated by the one-dot chain line in FIG.
- misclassification occurs in both time series sections L-1 and L-2. It will occur.
- the feature amount data of the selected image is once clustered and divided to obtain each cluster.
- the discriminant criterion Th_all by setting the boundary of each cluster as the classification criterion, it is possible to perform good classification for both the time series sections L-1 and L-2. Yes. That is, for example, focusing on the clusters 21 and 23 obtained by clustering the images in the time-series section L-1 indicated by the solid line in FIG. 8, first, the centers 211 and 231 of the clusters 21 and 23 are determined as discrimination criteria. It discriminate
- the center 231 is determined as the mucosa, and the center 211 is determined as the lesion.
- the boundary Th_L-1 between the clusters 21 and 23 is set as a classification reference in the time series section L-1.
- the center 331 is determined as the mucosa by the determination criterion Th_all, and the center 311 is determined as the lesion. Determined.
- the boundary Th_L-2 between the clusters 31 and 33 is set as a classification reference in the time series section L-2.
- the category discriminating unit 758 sets a category discrimination criterion based on the already-categorized feature amount data (step S257).
- a highly accurate discrimination is performed by updating the discrimination standard in accordance with the change of the feature amount distribution in the time series.
- FIG. 9 is a schematic diagram showing the update of the category discrimination criterion.
- the discrimination criterion Th1 indicated by the broken line when processing the first time series section (L-1) is determined in advance based on the teacher data that has been categorized in advance indicated by the broken lines 41 and 43, and is stored in the storage unit 740. Save to.
- the time series section is changed through each processing step described later, but the applied discrimination criterion is changed in the changed time series section.
- the feature amount distribution of the first time-series section which is the previous time-series section indicated by the solid line to which the determination standard Th1 is applied, is changed to the determination standard Th2 that can be well classified.
- the discrimination criterion is a hyperplane for discriminating two categories (a plane indicated by a line format having a dimension number of dimension-1 of the feature space, which is a straight line in the two-dimensional feature space as shown in FIG. 9).
- the discrimination surface does not have to be a hyperplane.
- the feature vector Fn (fn_1, fn_2,..., Fn_k) t of the feature amount data included in each category distribution of the teacher data is calculated.
- fn_i is the i-th feature value of the n-th data
- k is the dimension number of the feature value.
- the probability distribution function P for a multidimensional normal distribution that can be estimated from the values of the obtained mean vector ⁇ and variance-covariance matrix Z is set for each category according to the following equation (4), thereby taking into account the distribution of the category: Discrimination criteria can be set.
- the time series section is changed, the feature value of the data that has been categorized in the previous time series section is added, and the discrimination criterion is updated by performing calculations according to Expressions (3) and (4). .
- the occurrence probability of each category can be obtained for each category according to the number of areas in each category / the total number of areas.
- the category discrimination unit 758 discriminates the category of each cluster as shown in FIG. 6 (step S259). Specifically, the category determination unit 758 obtains an average vector of each cluster obtained by clustering. Subsequently, the category determination unit 758 calculates a probability P (x) using the obtained average vector value as a feature vector x to be determined shown in Expression (4). Then, the category determining unit 758 determines the belonging probability to each category multiplied by the occurrence probability of each category, and determines the category having the highest probability as the category of each cluster.
- the distribution estimation unit 756 estimates the distribution of each category based on the feature amount data in the cluster after the category determination, and obtains distribution estimation information (step S261). This is a process corresponding to the part for setting Th_L1 and Th_L2 in FIG. 8, and can be realized by performing calculations according to the equations (3) and (4) based on the data in each cluster. The occurrence probability of each category can be obtained for each category according to the number of areas in each category / the total number of areas.
- the area classification unit 753 uses the feature amount obtained for each small section of each image in step S251 of the area temporary classification process and the distribution estimation information of each category obtained in step S261 to obtain a target small object.
- the sections are provisionally classified (step S263).
- the region classification unit 753 calculates the probability P (x) using the feature quantity vector obtained for each subsection as the feature vector x to be discriminated shown in Expression (4), and the occurrence probability of each category is calculated. Is assigned to each category and provisionally classified into the category having the highest probability. At this time, the attribution probability is also stored. And it returns to step S25 of FIG. 4, and transfers to step S27 after that.
- the section setting unit 752 displays the end image I ( It is determined whether e) is the final image I (T) of the time series image (step S27).
- the section start image and the section end image that are the ends of the time series section are as follows:
- the classification criteria for images that are continuous in time series change suddenly. Therefore, for example, by calculating the time series width according to the following equation (5), a new section start image is set so that the time series sections always overlap. Then, for a plurality of overlapping time series sections, the result of provisional classification based on the classification criteria for each time series section is finally integrated to obtain a classification result.
- the area classification unit 753 classifies each of the images I (s ′) to I (s ⁇ 1) into category areas (step S31).
- each overlapping time series For the images of I (s ′) to I (s ⁇ 1), each overlapping time series The temporary classification result for the section is obtained. Therefore, for these images, a final classification result is obtained based on the temporary classification result.
- the overlapping width of the sections is large and one small section is processed in a number of time-series sections and a large number of provisional classification results are obtained, the sections may be classified into the category with the largest number of times.
- the region classification unit 753 displays the image I (s).
- Each image of .about.I (T) is classified into a category area (step S35).
- the calculation unit 750 outputs the category classification result for each image constituting the time series image (step S37), and ends the processing in the image processing device 70.
- the calculation unit 750 causes the display unit 730 to display and output the category classification result via the control unit 760.
- the time series section can be set so that the cumulative value of the amount of change between images included in the time series section becomes a predetermined value. Then, by using the set classification criteria for each time series section, it is possible to classify the image included in the time series section. According to this, the image included in each time-series section can be classified into each category region using an appropriate classification criterion, and the classification accuracy can be improved. Therefore, each image constituting the time-series image can be processed efficiently, and the lesioned part can be accurately detected from each image.
- the image processing apparatus and the image processing program of the present invention are useful for accurately and efficiently classifying the images constituting the time-series images.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Optics & Photonics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
ある実施形態にかかる画像処理装置において、変化量算出部(751)は、管空内を移動するカプセル内視鏡によって撮像されて可搬型記録媒体(50)に保存された時系列画像を構成する各管空内画像に対して時系列近傍となる他の画像との変化量を算出する。区間設定部(752)は、画像間の変化量をもとに所定の時系列区間を設定する。領域分類部(753)は、時系列区間毎の分類基準を用いて時系列区間に含まれる画像内を複数のカテゴリ領域に分類する。
Description
本発明は、時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置および画像処理プログラムに関するものである。
近年、カプセル内視鏡に代表されるように、消化管等の体内の管空内を移動しながら管空内の画像を順次撮像する医用機器が開発されている。カプセル内視鏡は、口から飲み込まれた後、管空内を蠕動運動等により運ばれ、所定の撮像レートで順次画像を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される時系列画像の枚数は、撮像レート(約2~4frame/sec)×カプセル内視鏡の体内滞在時間(約8hours=8×60×60sec)で概ね示され、数万枚以上になる。医師は、これら体外受信機に送信された大量の時系列画像を診断用のワークステーション等で確認し、病変部を特定するために多くの時間を費やしている。このため、医師による画像の確認作業を効率化する技術が強く望まれている。
例えば、特許文献1には、カプセル内視鏡によって撮像された時系列画像内を粘膜、便、泡、不明等の領域に分割し、観察に不要な画像や病変部位が含まれる画像を判別する方法が示されている。具体的には、時系列画像を所定間隔でサンプリングした複数の画像をそれぞれ小区画に分割し、これら小区画を平均色比空間等の所定の特徴空間に写像した後、クラスタリングする。そして、得られたクラスタを予め教師データをもとに作成した分類器を用いて粘膜、便、泡等のクラス(カテゴリ)に分類する。続いて、サンプリングした画像を所定の時系列間隔のサブセットに区切り、先のクラス分類結果をもとにサブセット内における各クラスの発生頻度や分布情報を計算する。そして、これらの情報をもとに、各サブセットが示す時系列区間の画像内を各クラス領域に分類し、病変部を検出している。
特許文献1では、サブセットとなる所定幅の時系列区間内において、所定間隔でサンプリングした画像を用いながら粘膜、便、泡等の各クラスのクラス分布情報を求め、画像内を領域分類している。しかしながら、カプセル内視鏡は蠕動運動等により消化管等の管空内を通過していくため、その通過速度は一定ではなく、撮像される時系列画像も大きく変化する画像が続いたり類似する画像が続いたりと様々である。このため、サブセット内の時系列区間において画像が大きく変化する場合には、カプセルが大きく移動して周囲の状況が変わることから各クラスのデータが大きく変動してしまう。この結果、クラス分布情報を正確に求めることが難しくなり、分類精度が低下して病変部を精度よく検出できないという問題がある。一方で、時系列区間において画像が全く変化しない場合には、同程度のクラス分布情報を得るための処理を繰り返し行うことになり、計算時間を浪費するという問題がある。
本発明は、上記に鑑み為されたものであって、時系列画像を構成する画像内を精度よく且つ効率よく分類することができる画像処理装置および画像処理プログラムを提供することを目的とする。
上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置であって、前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定手段と、前記区間設定手段によって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類手段と、を備えることを特徴とする。
また、本発明にかかる画像処理プログラムは、時系列で撮像された複数の画像で構成される時系列画像を処理するコンピュータに、前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定ステップと、前記区間設定ステップによって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、を実行させることを特徴とする。
本発明に係る画像表示装置によれば、時系列画像を構成する画像間の変化量をもとに時系列区間を設定することができる。そして、設定した時系列区間に含まれる画像内を時系列区間毎の分類基準を用いてカテゴリ領域に分類できるので、カテゴリ領域の分類精度を向上させることができる。したがって、時系列画像を構成する画像内を精度よく且つ効率よく分類することができるという効果を奏する。
10 カプセル内視鏡
30 受信装置
A1~An 受信用アンテナ
50 可搬型記録媒体
70 画像処理装置
710 画像取得部
720 入力部
730 表示部
740 記憶部
741 画像処理プログラム
750 演算部
751 変化量算出部
752 区間設定部
753 領域分類部
754 画像選択部
755 特徴量算出部
756 分布推定部
757 クラスタリング部
758 カテゴリ判別部
760 制御部
1 被検体
30 受信装置
A1~An 受信用アンテナ
50 可搬型記録媒体
70 画像処理装置
710 画像取得部
720 入力部
730 表示部
740 記憶部
741 画像処理プログラム
750 演算部
751 変化量算出部
752 区間設定部
753 領域分類部
754 画像選択部
755 特徴量算出部
756 分布推定部
757 クラスタリング部
758 カテゴリ判別部
760 制御部
1 被検体
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、以下説明する実施の形態では、カプセル内視鏡が時系列に沿って撮像した体内管空内の時系列画像を処理する画像処理装置について説明するが、本発明の画像処理装置が処理可能な時系列画像は体内管空内を撮像して得た時系列画像に限定されるものではない。
(実施の形態)
図1は、実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検体1内部の画像(以下、「管空内画像」と呼ぶ。)を撮像するカプセル内視鏡10、カプセル内視鏡10から無線送信される管空内画像を受信する受信装置30、受信装置30によって受信された管空内画像をもとに、カプセル内視鏡10によって撮像された管空内画像を処理して表示する画像処理装置70等で構成される。受信装置30と画像処理装置70との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)50が使用される。
図1は、実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検体1内部の画像(以下、「管空内画像」と呼ぶ。)を撮像するカプセル内視鏡10、カプセル内視鏡10から無線送信される管空内画像を受信する受信装置30、受信装置30によって受信された管空内画像をもとに、カプセル内視鏡10によって撮像された管空内画像を処理して表示する画像処理装置70等で構成される。受信装置30と画像処理装置70との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)50が使用される。
カプセル内視鏡10は、撮像機能や無線機能等を具備するものであって、被検体1の口から飲み込まれて被検体1内部に導入され、体腔内を移動しながら逐次管空内画像を撮像する。そして、撮像した管空内画像を体外に無線送信する。
受信装置30は、複数の受信用アンテナA1~Anを備え、各受信用アンテナA1~Anを介してカプセル内視鏡10から無線送信される管空内画像を受信する。受信装置30は、可搬型記録媒体50の着脱が自在に構成されており、受信した管空内画像の画像データを可搬型記録媒体50に逐次保存する。このようにして、カプセル内視鏡10が撮像した被検体1内部の管空内画像は、受信装置30によって時系列順に可搬型記録媒体50に蓄積され、時系列画像として保存される。
受信用アンテナA1~Anは、例えばループアンテナで構成され、被検体1の体外表面に貼付される。具体的には、被検体1内におけるカプセル内視鏡10の通過経路に対応する位置に分散配置される。なお、受信用アンテナA1~Anは、被検体1に着用させるジャケットに分散配置されるものであってもよい。この場合には、受信用アンテナA1~Anは、被検体1がこのジャケットを着用することによって、被検体1内におけるカプセル内視鏡10の通過経路に対応する被検体1の体表上の所定位置に配置される。なお、受信用アンテナは、被検体1に対して1つ以上配置されればよく、その数は限定されない。
画像処理装置70は、カプセル内視鏡10によって撮像された管空内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置70は、可搬型記録媒体50の着脱が自在に構成されており、可搬型記録媒体50に保存された時系列画像を構成する各管空内画像を処理し、LCDやELD等のディスプレイに時系列順に順次表示する。図2は、カプセル内視鏡10によって撮像され、画像処理装置70によって処理される管空内画像の一例を示す図である。管空内画像には、粘膜11や、体腔内を浮遊する内容物13、泡15等が映るとともに、時として病変等の重要箇所が映る。なお、カプセル内視鏡10によって撮像される管空内画像は、各画素位置においてR(赤),G(緑),B(青)の各色成分に対する画素レベル(画素値)を持つカラー画像である。
図3は、画像処理装置70の機能構成を説明するブロック図である。本実施の形態では、画像処理装置70は、画像取得部710と、入力部720と、表示部730と、記憶部740と、演算部750と、装置各部を制御する制御部760とを備える。
画像取得部710は、カプセル内視鏡10によって撮像されて受信装置30によって可搬型記録媒体50に保存された時系列画像を構成する管空内画像を取得するものであり、例えば、可搬型記録媒体50を着脱自在に装着し、装着した可搬型記録媒体50に蓄積された管空内画像の画像データを読み出して取得する。この画像取得部710は、例えば、可搬型記録媒体50の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡10によって撮像された時系列の管空内画像の取得は、可搬型記録媒体50を用いた構成に限定されるものではなく、例えば、画像取得部710の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡10によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体50の代わりに別途サーバーを設置し、このサーバーに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、画像取得部を、サーバーと接続するための通信装置等で構成し、この画像取得部を介してサーバーに接続して、サーバーから時系列の管空内画像を取得する。
入力部720は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部760に出力する。表示部730は、LCDやELD等の表示装置によって実現されるものであり、制御部760の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。
記憶部740は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD-ROM等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置70の動作に係るプログラムや、画像処理装置70の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、時系列画像を構成する各管空内画像をカテゴリ領域に分類するための画像処理プログラム741が格納される。
演算部750は、CPU等のハードウェアによって実現され、画像取得部710によって取得される時系列の管空内画像を順次処理し、各管空内画像をカテゴリ領域に分類するための種々の演算処理を行う。この演算部750は、管空内を移動するカプセル内視鏡10によって撮像された時系列の管空内画像に対して時系列近傍となる他の画像との変化量を算出する変化量算出手段としての変化量算出部751と、画像間の変化量をもとに所定の時系列区間を設定する区間設定手段としての区間設定部752と、時系列区間毎の分類基準を用いて時系列区間に含まれる画像内を「粘膜」「内容物」「泡」「病変」等の複数のカテゴリ領域に分類する領域分類手段としての領域分類部753とを含む。また、領域分類部753は、時系列区間から画像を選択する画像選択手段としての画像選択部754と、時系列区間の各画像より特徴量を算出する特徴量算出手段としての特徴量算出部755と、時系列区間に含まれる画像内に存在する各カテゴリ領域の特徴量分布を推定する分布推定手段としての分布推定部756を備え、分布推定部756は、画像選択部754で選択された画像である選択画像の特徴量分布をクラスタリングするクラスタリング手段としてのクラスタリング部757と、各クラスタの情報をもとに各クラスタのカテゴリを判別するカテゴリ判別手段としてのカテゴリ判別部758とを備える。
制御部760は、CPU等のハードウェアによって実現される。この制御部760は、画像取得部710から入力される画像データや入力部720から入力される操作信号、記憶部740に格納されるプログラムやデータ等に基づいて画像処理装置70を構成する各部への指示やデータの転送等を行い、画像処理装置70全体の動作を統括的に制御する。
図4は、画像処理装置70が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部750が記憶部740に格納された画像処理プログラム741を実行することにより実現される。なお、図4では、時系列順序0からTまでの時系列画像I(0)からI(T)を処理する際の流れを示している。
図4に示すように、演算部750は、まず、処理対象の管空内画像の時系列順序を示す符号iを0に設定するとともに、時系列区間の開始画像の時系列順序を示す符号sを0に設定する(ステップS10)。続いて、演算部750は、時系列順序iの管空内画像である画像I(i)を取得する(ステップS11)。そして、画像I(i)に対して時系列的に連続する時刻順序i+1の管空内画像である画像I(i+1)を取得する(ステップS13)。
次に、変化量算出部751が、画像I(i)と画像I(i+1)の変化量を算出する(ステップS15)。変化量の算出方法には様々な方法があるが、例として画像間で位置的に対応する領域を比較する方法の手順を以下に示す。まず、画像I(i)、I(i+1)のG成分からなる画像を取得する。ここでG成分を用いるのは、血液中のヘモグロビンの吸収波長帯域に近く、また感度や解像度が高いことから、管空内画像の明暗情報をよく表すためである。もちろん他の画素値、あるいは既に公知の変換によって2次的に算出される明暗情報を示す値、輝度(YCbCr変換)、明度(HSI変換)等を用いてもよい。次に、各々のG成分画像内を所定サイズの小区画に分割する。例えば、画像内をm行n列に分割する。続いて、分割した小区画毎に平均G成分値を求める。そして、次式(1)に従って、位置的に対応する小区画の平均G成分値の差の絶対値を求め、画像内全区画の和を変化量v(i+1)とする。
この変化量は、カプセル内視鏡10の動きを反映したものであり、値が大きくなるほど周囲環境が異なると考えられる。なお、上記の手法では、変化量として差の絶対値和を示したが、差の二乗和を用いてもよい。また小区画に分割せず位置的に対応する画素の画素値を比較して求めてもよい。また、JPEG等のように撮像データを区画単位で離散コサイン変換(Discrete Cosine Transform:DCT)し、圧縮符号化された画像データを用いる場合には、圧縮伸張時に単位区画毎に求められるDCT係数や、DCT係数から2次的に計算される値を比較して求めてもよい。また、画像内の画素値の統計量を比較して求めてもよい。例えば、R,G,B成分の画像内平均値や画像内標準偏差値、ヒストグラム、またはR,G,B成分値より2次的に計算される色比、色差、色相、彩度等の平均値やヒストグラムを比較して求めてもよい。あるいは、MPEG等の動画像圧縮データを用いる場合であれば、画像間の変化量を圧縮符号化時に算出して記録しているため、画像間の変化量算出を行わずに、これらの値を利用してもよい。この場合には、変化量算出部751は必要ない。
次に、区間設定部752が、区間開始画像I(s)からの変化量を時系列順に累積した累積値である累積変化量svを、次式(2)に従って算出する(ステップS17)。そして、区間設定部752は、算出された累積変化量svが予め設定される所定の閾値を超えたか否か、または処理した画像I(i+1)が時系列最後の画像I(T)であるか否かを判定する(ステップS19)。
ステップS19の判定がNoである場合には、演算部750が、時系列順序を示す符号iをインクリメントしてi=i+1とし(ステップS21)、ステップS13に戻る。一方、判定がYesである場合には、区間設定部752は、区間終了画像I(e)=I(i+1)とし、時系列区間s~eを設定する(ステップS23)。
図5は、時系列区間設定の様子を示す模式図である。図5では、横軸を時系列順序、縦軸を累積変化量svとして示した累積変化量svの推移とともに、時系列順序i=0の管空内画像が区間開始画像I(s)として設定された時系列区間L-1と、処理が進み別の時系列順序iの管空内画像が区間開始画像I(s)として設定された時系列区間L-2とを示している。図5に示すように、累積変化量svが閾値を超えたか否かによって時系列区間が設定されるため、画像間の変化量が少ないと時系列区間L-1のように長めの時系列区間が設定され、変化量が大きい場合には時系列区間L-2のように短めの時系列区間が設定される。なお、図示していないが、時系列区間L-1の区間終了画像I(e)と時系列区間L-2の区間開始画像I(s)との間においても、所定の閾値に従って時系列区間が設定される。
そして、図4のステップS23において時系列区間s~eを設定した後、続いて、領域分類部753が領域仮分類処理を行い、時系列区間s~eの各画像I(j)(s≦j≦e)内を、カテゴリ領域に仮分類する(ステップS25)。図6は、領域仮分類処理の詳細な手順を示すフローチャートである。
領域仮分類処理では、まず、特徴量算出部755が、時系列区間s~e内の各画像を小区画に分割し、小区画毎に特徴量を算出する(ステップS251)。例えば、画像内をm行n列に分割し、区画毎にR,G,B成分の平均値や標準偏差値、ヒストグラム、またはR,G,B成分値より2次的に計算される色比、色差、色相、彩度等の平均値やヒストグラムを求める。画素単体でなく、画素の集合である区画として纏めることによって、周囲画素との関係を含む特徴を得ることが可能となる。また、JPEG等のように撮像データを区画単位で離散コサイン変換(DCT)し、圧縮符号化された画像データを用いる場合には、圧縮伸張時に単位区画毎に求められるDCT係数や、DCT係数から2次的に計算される値を特徴量として求めてもよい。
次に、画像選択部754が、時系列区間s~e内の変化量推移をもとに画像を選択する(ステップS253)。選択方法としては、まず、時系列区間s~eにおける累積変化量を所定数に分割する。そして、各分割位置に相当する累積変化量に最も近い画像と、区間開始画像および区間終了画像とを選択する方法が挙げられる。図7は、画像選択の様子を示す模式図であり、横軸を時系列順序、縦軸を累積変化量svとして示した累積変化量svの推移とともに、時系列順序i=0の管空内画像が区間開始画像I(s)として設定された時系列区間s~eを示している。図7では、時系列区間s~eにおける累積変化量を4分割しており、分割位置に最も近い画像と、区間開始画像および区間終了画像として、時系列順序a1~a5の各画像が選択される様子を示している。このように、画像間の変化量が同程度となるように時系列区間s~e内から画像を選択することによって、以後の各カテゴリの分布推定におけるデータの偏りを軽減することができる。なお、累積変化量を用いずに変化量の値が所定の閾値以上の画像を選択する方法で画像を選択してもよい。
画像選択部754が時系列区間s~e内の画像を選択(以下、選択された画像を適宜「選択画像」と呼ぶ。)した後、図6に示すように、クラスタリング部757が、選択画像の特徴量データを特徴空間においてクラスタリングする(ステップS255)。クラスタリングは、特徴空間内のデータ分布を塊分けする手法であり、例えば階層法、k-means法、自己組織化マップ等の既に公知の様々な手法や、背景技術で示した特許文献1に開示される手法を用いることができる。ここで、クラスタリングを行う効果に関して、図8を参照して説明する。図8は、クラスタリングを利用した分類の効果を示す模式図である。管空内画像では、粘膜や病変等は主に色調が異なる。このため、図8に示すような色情報を示す特徴空間においては、これらの領域はそれぞれ互いに異なる分布の塊(クラスタ)を形成する。ただし、被験者や臓器、管空内の区間の差等によってその分布は変動する。図8では、図5に示した時系列区間L-1内の画像に対して行った「粘膜」と「病変」の分布の一例を実線で示し、時系列区間L-2内の画像に対して行った粘膜と病変の分布の一例を破線で示している。ここで、例えば図8中に一点鎖線で示される判別基準Th_allによって「粘膜」および「病変」双方の分布を分類しようとした場合、時系列区間L-1およびL-2の両方に誤分類が生じてしまう。本実施の形態では、この問題を解決するため、まず、選択画像の特徴量データを一旦クラスタリングして塊分けして各クラスタを得る。そして、各クラスタの中心を判別基準Th_allに従って判別した上で、各クラスタの境界を分類基準に設定することによって、各時系列区間L-1およびL-2の両方について良好な分類を可能にしている。すなわち、例えば図8に実線で示す時系列区間L-1内の画像をクラスタリングして得たクラスタ21,23に着目して説明すると、まず、各クラスタ21,23の中心211,231を判別基準Th_allに従って判別する。これによって、中心231が粘膜に判別され、中心211が病変に判別される。そして、このクラスタ21,23の境界Th_L-1を時系列区間L-1における分類基準とする。同様にして、図8中に破線で示す時系列区間L-2内の画像をクラスタリングして得たクラスタ31,33については、判別基準Th_allによって中心331が粘膜に判別され、中心311が病変に判別される。そして、このクラスタ31,33の境界Th_L-2を時系列区間L-2における分類基準とする。
選択画像の特徴量データをクラスタリングした後、図6に示すように、カテゴリ判別部758が、カテゴリの判別基準を、既にカテゴリ判別した特徴量データをもとに設定する(ステップS257)。時系列における特徴量分布の移り変りに合せて、判別基準を更新することで、精度の高い判別を行う。図9は、カテゴリの判別基準の更新を示す模式図である。最初の時系列区間(L-1)を処理する際の破線で示す判別基準Th1は、破線41,43で示す事前にカテゴリ判別しておいた教師データをもとに予め決定して記憶部740に保存しておく。その後、後述の各処理ステップを経て時系列区間が変更されることとなるが、変更後の時系列区間では、適用する判別基準を変更する。具体的には、判別基準Th1が適用された実線で示す前回の時系列区間である最初の時系列区間の特徴量分布を良好に分類できる判別基準Th2へと変更する。なお、基準Th1とTh2の間となる図9中に一点鎖線で示すTh2´へと判別基準を変更してもよい。図9では、判別基準を、2つのカテゴリを判別する超平面(特徴空間の次元数-1の線形式で示される平面のことであり、図9のように2次元特徴空間では直線となる)を示しているが、判別面は超平面でなくともよい。例えば教師データの各カテゴリ分布に含まれる特徴量データの特徴ベクトルFn=(fn_1,fn_2,…,fn_k)tを算出する。ここで、fn_iはn番目のデータのi番目の特徴量値であり、kは特徴量の次元数である。そして、求めた特徴ベクトルFnをもとに、次式(3)に従って平均ベクトルμ、分散共分散行列Zを求める。
続いて、求めた平均ベクトルμ、分散共分散行列Zの値から推定できる多次元正規分布に対する確率密度関数Pを、次式(4)に従ってカテゴリ毎に設定することで、カテゴリの分布を考慮した判別基準を設定することができる。
そして、時系列区間を変更したならば、前回の時系列区間においてカテゴリ判別したデータの特徴量を加えて、式(3)および式(4)に従った計算を行うことで判別基準を更新する。各カテゴリの発生確率は、各カテゴリの領域数/全領域数によって、カテゴリ毎に求めることができる。
判別基準を設定した後、図6に示すように、カテゴリ判別部758は、各クラスタのカテゴリを判別する(ステップS259)。具体的には、カテゴリ判別部758は、クラスタリングによって得られた各クラスタの平均ベクトルを求める。続いて、カテゴリ判別部758は、求めた平均ベクトルの値を式(4)に示す判別対象の特徴ベクトルxとして確率P(x)を算出する。そして、カテゴリ判別部758は、各カテゴリの発生確率を乗算した各カテゴリへの帰属確率を求め、最も大きな確率となるカテゴリを各クラスタのカテゴリであるとして判別する。
続いて、分布推定部756が、カテゴリ判別後のクラスタ内の特徴量データをもとに各カテゴリの分布を推定し、分布推定情報を求める(ステップS261)。これは、図8におけるTh_L1やTh_L2を設定する部分に相当する処理であり、各クラスタ内のデータをもとに式(3)および式(4)に従った計算を行うことで実現できる。各カテゴリの発生確率は、各カテゴリの領域数/全領域数によって、カテゴリ毎に求めることができる。
続いて、領域分類部753が、領域仮分類処理のステップS251で各画像の小区画毎に求めた特徴量と、ステップS261で求めた各カテゴリの分布推定情報をもとに、対象となる小区画を仮分類する(ステップS263)。具体的には、領域分類部753は、小区画毎に求めた特徴量ベクトルを式(4)に示す判別対象の特徴ベクトルxとして確率P(x)を算出し、これに各カテゴリの発生確率を乗算した各カテゴリへの帰属確率を求め、最も大きな確率となるカテゴリに仮分類する。なお、この際に帰属確率も記憶しておく。そして、図4のステップS25にリターンし、その後ステップS27に移行する。
時系列区間s~eの各画像I(j)(s≦j≦e)内をカテゴリ領域に仮分類する領域仮分類処理を終えると、区間設定部752が、時系列区間の終了画像I(e)が、時系列画像最終の画像I(T)であるか判定する(ステップS27)。判定がNoである場合には時系列区間の開始画像順序sをs´として記憶し、その後、所定の時系列幅dsだけ時系列後方に変更した新たな開始画像順序s=s+dsを設定する(ステップS29)。ここで、時系列区間内の画像をもとに特徴量分布を推定し、この推定結果をもとにカテゴリ分類を行う場合、時系列区間の端となる区間開始画像や区間終了画像に関しては、時系列的に連続する画像との分類基準が急に変化することになる。そこで、例えば次式(5)に従って時系列幅を算出することによって時系列区間が必ず重なり合うように新たな区間開始画像を設定する。そして、重なり合った複数の時系列区間については、その時系列区間毎の分類基準で仮分類した結果を最終的に統合し、分類結果を求めるようにする。
ds=0.5*(e-s+1)・・・(5)
なお、処理速度等の観点から、全く区間に重なりが生じないようにds=e-s+1としてもよい。
ds=0.5*(e-s+1)・・・(5)
なお、処理速度等の観点から、全く区間に重なりが生じないようにds=e-s+1としてもよい。
次に、領域分類部753は、画像I(s´)~I(s-1)の各画像内をカテゴリ領域に分類する(ステップS31)。先に述べたように、分類基準の不連続性を解決するため、時系列区間を重ねた場合、I(s´)~I(s-1)の画像に対しては、重複する各時系列区間についての仮分類結果が得られている状態にある。そこでこれらの画像に対しては、仮分類結果をもとに最終的な分類結果を求める。区間の重なり幅が大きく、一つの小区画を多数の時系列区間で処理し、多数の仮分類結果が得られている場合には、最も回数の多いカテゴリに分類すればよい。また仮分類結果が2個等の場合には、分類の確信度に相当する値、例えばカテゴリ分布への帰属確率などが大きな方のカテゴリを最終的なカテゴリにする方法でもよい。そして、演算部750が、処理対象となる管空内画像の時系列順序を示す符号i=i+1とした後(ステップS33)、処理ステップS13に戻って上記の処理を繰り返し実行する。
一方、処理ステップS27での判定がYesである場合、すなわち時系列区間s~eの区間終了画像が時系列画像の最後の画像である場合には、領域分類部753は、画像I(s)~I(T)の各画像内をカテゴリ領域に分類する(ステップS35)。これは、処理対象の画像が異なる以外は、ステップS31と同様の処理である。そして、演算部750は、時系列画像を構成する各画像に対するカテゴリ分類結果を出力して(ステップS37)、画像処理装置70での処理を終了する。例えば、演算部750は、制御部760を介してカテゴリ分類結果を表示部730に表示出力させる。
以上説明したように、本実施の形態によれば、時系列区間に含まれる画像間の変化量の累積値が所定値となるように時系列区間を設定することができる。そして、設定した時系列区間毎の分類基準を用いて、この時系列区間に含まれる画像内をカテゴリ分類することができる。これによれば、各時系列区間に含まれる画像内を、適正な分類基準を用いて各カテゴリ領域に分類することができ、分類精度を向上させることができる。したがって、時系列画像を構成する各画像を効率よく処理できるとともに、各画像から病変部を精度よく検出することができるという効果を奏する。
以上のように、本発明の画像処理装置および画像処理プログラムは、時系列画像を構成する画像内を精度よく且つ効率よく分類するのに有用である。
Claims (17)
- 時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置であって、
前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定手段と、
前記区間設定手段によって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類手段と、
を備えることを特徴とする画像処理装置。 - 前記時系列画像を構成する画像に対して時系列近傍となる他の画像との変化量を算出する変化量算出手段をさらに備え、
前記区間設定手段は、前記変化量算出手段で算出した変化量をもとに前記時系列区間を設定することを特徴とする請求項1に記載の画像処理装置。 - 前記領域分類手段は、
前記時系列区間に含まれる画像の特徴量を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された特徴量の分布である特徴量分布をもとに、前記時系列区間に含まれる画像内に存在する前記各カテゴリ領域の特徴量分布を推定する分布推定手段と、
を有し、前記分布推定手段によって推定された前記各カテゴリ領域の特徴量分布をもとに、前記時系列区間に含まれる画像内を前記各カテゴリ領域に分類する請求項1または2に記載の画像処理装置。 - 前記領域分類手段は、前記時系列区間から画像を選択する画像選択手段を有し、
前記分布推定手段は、前記画像選択手段で選択した画像の特徴量分布をもとに、前記時系列区間の画像内に存在する前記各カテゴリ領域の特徴量分布を推定することを特徴とする請求項3に記載の画像処理装置。 - 前記分布推定手段は、
前記特徴量算出手段によって算出された特徴量の分布である特徴量分布をクラスタリングするクラスタリング手段と、
前記クラスタリング手段によって得られた各クラスタのカテゴリを判別するカテゴリ判別手段と、
を有し、前記カテゴリ判別手段によってカテゴリが判別された前記各クラスタ内の特徴量データをもとに、前記各カテゴリ領域の特徴量分布を推定することを特徴とする請求項3または4に記載の画像処理装置。 - 前記区間設定手段は、前記画像間の変化量を時系列順に累積した累積値をもとに前記時系列区間を設定することを特徴とする請求項1~5のいずれか1つに記載の画像処理装置。
- 前記区間設定手段は、一部が時系列的に重なり合うように前記時系列区間を設定し、
前記領域分類手段は、前記時系列区間それぞれについての分類結果を統合して、重なり合った区間に含まれる画像内を前記各カテゴリ領域に分類することを特徴とする請求項1~6のいずれか1つに記載の画像処理装置。 - 前記画像選択手段は、前記画像間の変化量をもとに画像を選択することを特徴とする請求項4~7のいずれか1つに記載の画像処理装置。
- 前記画像選択手段は、前記画像間の変化量を時系列順に累積した累積値をもとに画像を選択することを特徴とする請求項8に記載の画像処理装置。
- 前記カテゴリ判別手段は、前記時系列区間毎にカテゴリの判別基準を変更することを特徴とする請求項5~9のいずれか1つに記載の画像処理装置。
- 前記変化量算出手段は、画像間で位置的に対応する画素または領域を比較することによって変化量を算出することを特徴とする請求項2~10のいずれか1つに記載の画像処理装置。
- 前記変化量算出手段は、画素値の統計量を比較することによって変化量を算出することを特徴とする請求項2~11のいずれか1つに記載の画像処理装置。
- 前記特徴量算出手段は、前記時系列区間に含まれる画像を複数の領域に分割し、分割領域毎に特徴量を算出することを特徴とする請求項3~12のいずれか1つに記載の画像処理装置。
- 前記領域分類手段は、前記時系列区間に含まれる画像を複数の領域に分割し、分割領域毎にカテゴリを分類することを特徴とする請求項1~13のいずれか1つに記載の画像処理装置。
- 前記時系列画像は、体内管空内の画像であることを特徴とする請求項1~14のいずれか1つに記載の画像処理装置。
- 前記カテゴリは、粘膜、内容物、泡、病変のいずれか一つを含むことを特徴とする請求項1~15のいずれか1つに記載の画像処理装置。
- 時系列で撮像された複数の画像で構成される時系列画像を処理するコンピュータに、
前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定ステップと、
前記区間設定ステップによって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、
を実行させることを特徴とする画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2008801242782A CN101909510B (zh) | 2008-01-08 | 2008-11-19 | 图像处理装置以及图像处理程序 |
EP08869808.9A EP2229867A4 (en) | 2008-01-08 | 2008-11-19 | IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM |
US12/831,551 US8724847B2 (en) | 2008-01-08 | 2010-07-07 | Image processing apparatus and program storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008001675A JP5312807B2 (ja) | 2008-01-08 | 2008-01-08 | 画像処理装置および画像処理プログラム |
JP2008-001675 | 2008-01-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US12/831,551 Continuation US8724847B2 (en) | 2008-01-08 | 2010-07-07 | Image processing apparatus and program storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009087821A1 true WO2009087821A1 (ja) | 2009-07-16 |
Family
ID=40852947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2008/071048 WO2009087821A1 (ja) | 2008-01-08 | 2008-11-19 | 画像処理装置および画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US8724847B2 (ja) |
EP (1) | EP2229867A4 (ja) |
JP (1) | JP5312807B2 (ja) |
CN (1) | CN101909510B (ja) |
WO (1) | WO2009087821A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011121504A1 (en) * | 2010-03-31 | 2011-10-06 | Koninklijke Philips Electronics N.V. | Automated identification of an anatomy part |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5576711B2 (ja) * | 2010-05-14 | 2014-08-20 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
CN103180718B (zh) * | 2010-10-29 | 2016-01-13 | 奥林巴斯株式会社 | 图像分析方法以及图像分析装置 |
EP2623957B1 (en) * | 2010-10-29 | 2018-12-26 | Olympus Corporation | Image analysis method and image analysis device |
JP5816459B2 (ja) * | 2011-05-16 | 2015-11-18 | Hoya株式会社 | 電子内視鏡システム、電子内視鏡システムの動作方法、及びソフトウェア |
JP5851160B2 (ja) * | 2011-08-31 | 2016-02-03 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
IN2014DN07441A (ja) * | 2012-02-23 | 2015-04-24 | Smith & Nephew Inc | |
US9117121B2 (en) * | 2012-05-21 | 2015-08-25 | The Chinese University Of Hong Kong | Detection of disease-related retinal nerve fiber layer thinning |
EP2910173A4 (en) * | 2012-10-18 | 2016-06-01 | Olympus Corp | IMAGE PROCESSING DEVICE AND METHOD |
JP6339872B2 (ja) * | 2014-06-24 | 2018-06-06 | オリンパス株式会社 | 画像処理装置、内視鏡システム及び画像処理方法 |
CN106687023B (zh) | 2015-08-13 | 2018-12-18 | Hoya株式会社 | 评价值计算装置以及电子内窥镜*** |
WO2017026539A1 (ja) | 2015-08-13 | 2017-02-16 | Hoya株式会社 | 評価値計算装置及び電子内視鏡システム |
EP3539455A1 (fr) * | 2018-03-14 | 2019-09-18 | Sorbonne Université | Procédé pour déterminer automatiquement la qualité de visualisation des images en vidéocapsule endoscopique |
DE112018007522T5 (de) * | 2018-05-31 | 2021-01-14 | Mitsubishi Electric Corporation | Arbeitsanalyseeinrichtung |
US10509991B1 (en) | 2019-03-18 | 2019-12-17 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light |
US10496862B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light |
US10496911B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light |
US10534948B1 (en) | 2019-03-18 | 2020-01-14 | Capital One Services, Llc | Optimizing detection of images in relation to targets based on colorspace transformation techniques |
US10523420B1 (en) | 2019-04-18 | 2019-12-31 | Capital One Services, Llc | Transmitting encoded data along transmission mediums based on colorspace schemes |
US10504013B1 (en) | 2019-04-24 | 2019-12-10 | Capital One Services, Llc | Colorspace encoding multimedia data on a physical page |
US10799090B1 (en) * | 2019-06-13 | 2020-10-13 | Verb Surgical Inc. | Method and system for automatically turning on/off a light source for an endoscope during a surgery |
US10529300B1 (en) | 2019-06-20 | 2020-01-07 | Capital One Services, Llc | Adaptive image display based on colorspace conversions |
US10614635B1 (en) | 2019-07-25 | 2020-04-07 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker |
US10833852B1 (en) | 2019-10-03 | 2020-11-10 | Capital One Services, Llc | Encoded data along tape based on colorspace schemes |
US10715183B1 (en) | 2019-10-25 | 2020-07-14 | Capital One Services, Llc | Data encoding with error-correcting code pursuant to colorspace schemes |
US10867226B1 (en) | 2019-11-04 | 2020-12-15 | Capital One Services, Llc | Programmable logic array and colorspace conversions |
US10762371B1 (en) * | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
US10878600B1 (en) | 2019-12-10 | 2020-12-29 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker utilizing local adaptive technology |
US11302036B2 (en) | 2020-08-19 | 2022-04-12 | Capital One Services, Llc | Color conversion between color spaces using reduced dimension embeddings |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02124131A (ja) * | 1988-11-02 | 1990-05-11 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2006288878A (ja) * | 2005-04-13 | 2006-10-26 | Olympus Medical Systems Corp | 画像処理装置および当該画像処理装置における画像処理方法 |
JP2006320585A (ja) * | 2005-05-19 | 2006-11-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2006334297A (ja) * | 2005-06-06 | 2006-12-14 | Olympus Medical Systems Corp | 画像表示装置 |
JP2006334115A (ja) * | 2005-06-01 | 2006-12-14 | Olympus Medical Systems Corp | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
JP2007175434A (ja) * | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp | 画像処理装置および当該画像処理装置における画像処理方法 |
JP2007175432A (ja) | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp | 画像処理装置および当該画像処理装置における画像処理方法 |
JP2007244519A (ja) * | 2006-03-14 | 2007-09-27 | Olympus Medical Systems Corp | 画像解析装置 |
JP2007307396A (ja) * | 2003-04-25 | 2007-11-29 | Olympus Corp | 画像表示装置、画像表示方法および画像表示プログラム |
JP2007307395A (ja) * | 2003-04-25 | 2007-11-29 | Olympus Corp | 画像表示装置、画像表示方法および画像表示プログラム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4396903A (en) * | 1981-05-29 | 1983-08-02 | Westinghouse Electric Corp. | Electro-optical system for correlating and integrating image data from frame-to-frame |
JP4156084B2 (ja) * | 1998-07-31 | 2008-09-24 | 松下電器産業株式会社 | 移動物体追跡装置 |
JP3333468B2 (ja) * | 1999-05-24 | 2002-10-15 | 本田技研工業株式会社 | 車両自律走行の走行路画像処理装置 |
JP2001155167A (ja) * | 1999-11-30 | 2001-06-08 | Canon Inc | 領域分割方法及び装置並びに記憶媒体 |
US20040190607A1 (en) * | 2002-04-03 | 2004-09-30 | Koji Wakimoto | Video relay device, video distribution system, video relay method |
JP4080276B2 (ja) | 2002-08-27 | 2008-04-23 | 富士フイルム株式会社 | オブジェクト抽出方法および装置ならびにプログラム |
US7664298B2 (en) * | 2003-03-25 | 2010-02-16 | Imaging Therapeutics, Inc. | Methods for the compensation of imaging technique in the processing of radiographic images |
CN101288582A (zh) * | 2003-04-25 | 2008-10-22 | 奥林巴斯株式会社 | 图像显示装置和图像显示方法 |
JP4546762B2 (ja) * | 2004-05-20 | 2010-09-15 | 日本放送協会 | 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム |
KR100568237B1 (ko) * | 2004-06-10 | 2006-04-07 | 삼성전자주식회사 | 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법 |
JP2006041648A (ja) * | 2004-07-23 | 2006-02-09 | Renesas Technology Corp | 動画像処理ユニット |
KR100970295B1 (ko) * | 2005-04-13 | 2010-07-15 | 올림푸스 메디칼 시스템즈 가부시키가이샤 | 화상 처리 장치 및 화상 처리 방법 |
US20070060798A1 (en) * | 2005-09-15 | 2007-03-15 | Hagai Krupnik | System and method for presentation of data streams |
EP1969992B1 (en) * | 2005-12-28 | 2012-05-02 | Olympus Medical Systems Corp. | Image processing device and image processing method in the image processing device |
WO2008007471A1 (fr) * | 2006-07-10 | 2008-01-17 | Kyoto University | Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur |
-
2008
- 2008-01-08 JP JP2008001675A patent/JP5312807B2/ja active Active
- 2008-11-19 WO PCT/JP2008/071048 patent/WO2009087821A1/ja active Application Filing
- 2008-11-19 EP EP08869808.9A patent/EP2229867A4/en not_active Withdrawn
- 2008-11-19 CN CN2008801242782A patent/CN101909510B/zh active Active
-
2010
- 2010-07-07 US US12/831,551 patent/US8724847B2/en active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02124131A (ja) * | 1988-11-02 | 1990-05-11 | Olympus Optical Co Ltd | 内視鏡画像処理装置 |
JP2007307396A (ja) * | 2003-04-25 | 2007-11-29 | Olympus Corp | 画像表示装置、画像表示方法および画像表示プログラム |
JP2007307395A (ja) * | 2003-04-25 | 2007-11-29 | Olympus Corp | 画像表示装置、画像表示方法および画像表示プログラム |
JP2006288878A (ja) * | 2005-04-13 | 2006-10-26 | Olympus Medical Systems Corp | 画像処理装置および当該画像処理装置における画像処理方法 |
JP2006320585A (ja) * | 2005-05-19 | 2006-11-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2006334115A (ja) * | 2005-06-01 | 2006-12-14 | Olympus Medical Systems Corp | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
JP2006334297A (ja) * | 2005-06-06 | 2006-12-14 | Olympus Medical Systems Corp | 画像表示装置 |
JP2007175434A (ja) * | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp | 画像処理装置および当該画像処理装置における画像処理方法 |
JP2007175432A (ja) | 2005-12-28 | 2007-07-12 | Olympus Medical Systems Corp | 画像処理装置および当該画像処理装置における画像処理方法 |
JP2007244519A (ja) * | 2006-03-14 | 2007-09-27 | Olympus Medical Systems Corp | 画像解析装置 |
Non-Patent Citations (1)
Title |
---|
See also references of EP2229867A4 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011121504A1 (en) * | 2010-03-31 | 2011-10-06 | Koninklijke Philips Electronics N.V. | Automated identification of an anatomy part |
US10524741B2 (en) | 2010-03-31 | 2020-01-07 | Koninklijke Philips N.V. | Automated identification of an anatomy part |
Also Published As
Publication number | Publication date |
---|---|
EP2229867A4 (en) | 2014-12-17 |
CN101909510B (zh) | 2012-12-12 |
JP2009163579A (ja) | 2009-07-23 |
JP5312807B2 (ja) | 2013-10-09 |
EP2229867A1 (en) | 2010-09-22 |
CN101909510A (zh) | 2010-12-08 |
US8724847B2 (en) | 2014-05-13 |
US20100272358A1 (en) | 2010-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5312807B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5281826B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
US8290280B2 (en) | Image processing device, image processing method, and computer readable storage medium storing image processing program | |
US10860930B2 (en) | Learning method, image recognition device, and computer-readable storage medium | |
US8743189B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program | |
US8705818B2 (en) | Image processing device, computer readable storage medium storing image processing program, and image processing method | |
US9186051B2 (en) | Image processing device, computer-readable recording device, and image processing method | |
JP5005032B2 (ja) | 画像表示装置および画像表示プログラム | |
JP5147308B2 (ja) | 画像抽出装置および画像抽出プログラム | |
US8135192B2 (en) | Image processing apparatus and image processing method | |
CN113379693B (zh) | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 | |
JP5424584B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法 | |
US20110301447A1 (en) | Versatile video interpretation, visualization, and management system | |
CN104350742A (zh) | 用于显示图像流的***和方法 | |
JP2013027636A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
CN111862090A (zh) | 一种基于人工智能的食管癌术前管理的方法和*** | |
JP5784751B2 (ja) | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム | |
Arnold et al. | Indistinct frame detection in colonoscopy videos | |
TW202322744A (zh) | 用於分析內視鏡程序之檢查品質之電腦執行系統及方法 | |
JP2010142375A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 | |
Klepaczko et al. | Local polynomial approximation for unsupervised segmentation of endoscopic images | |
CN117854705A (zh) | 上消化道多病变多任务智能诊断方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 200880124278.2 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 08869808 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2008869808 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |