WO2009087821A1 - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
WO2009087821A1
WO2009087821A1 PCT/JP2008/071048 JP2008071048W WO2009087821A1 WO 2009087821 A1 WO2009087821 A1 WO 2009087821A1 JP 2008071048 W JP2008071048 W JP 2008071048W WO 2009087821 A1 WO2009087821 A1 WO 2009087821A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
time series
section
category
image processing
Prior art date
Application number
PCT/JP2008/071048
Other languages
English (en)
French (fr)
Inventor
Yamato Kanda
Original Assignee
Olympus Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corporation filed Critical Olympus Corporation
Priority to CN2008801242782A priority Critical patent/CN101909510B/zh
Priority to EP08869808.9A priority patent/EP2229867A4/en
Publication of WO2009087821A1 publication Critical patent/WO2009087821A1/ja
Priority to US12/831,551 priority patent/US8724847B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present invention relates to an image processing apparatus and an image processing program for processing a time series image composed of a plurality of images taken in time series.
  • capsule endoscopes medical devices have been developed that sequentially capture images inside the tube while moving inside the tube such as the digestive tract. After being swallowed from the mouth, the capsule endoscope is carried inside the tube by a peristaltic motion, etc., and sequentially captures images at a predetermined imaging rate, transmits them to the external receiver, and is finally discharged out of the body.
  • a doctor spends a lot of time to confirm a large amount of time-series images transmitted to these extracorporeal receivers on a diagnostic workstation or the like and to identify a lesioned part. For this reason, there is a strong demand for a technique for improving the efficiency of checking images by a doctor.
  • a time-series image captured by a capsule endoscope is divided into regions such as mucous membranes, stool, bubbles, and unknown areas, and an image unnecessary for observation or an image including a lesion site is discriminated.
  • the method is shown. Specifically, a plurality of images obtained by sampling time-series images at predetermined intervals are divided into small sections, and these small sections are mapped to a predetermined feature space such as an average color ratio space, and then clustered. Then, the obtained clusters are classified into classes (categories) such as mucous membranes, stool and bubbles using a classifier created in advance based on teacher data.
  • classes categories
  • the sampled image is divided into subsets of predetermined time series intervals, and the occurrence frequency and distribution information of each class in the subset are calculated based on the previous class classification result. Then, based on these pieces of information, the image in the time series section indicated by each subset is classified into each class region, and a lesioned part is detected.
  • class distribution information of each class such as mucous membrane, feces, and foam is obtained using images sampled at predetermined intervals within a time series section having a predetermined width as a subset, and the image is classified into regions.
  • the capsule endoscope passes through the airway such as the digestive tract by peristaltic movement, the passing speed is not constant, and the time-series images to be captured are continuously changed or similar images. And so on. For this reason, when the image changes greatly in the time-series section in the subset, the capsule moves greatly and the surrounding situation changes, so the data of each class changes greatly.
  • the present invention has been made in view of the above, and an object of the present invention is to provide an image processing apparatus and an image processing program capable of accurately and efficiently classifying images in a time series image.
  • an image processing apparatus is an image processing apparatus that processes a time-series image composed of a plurality of images captured in time series, and Section setting means for setting a predetermined time series section based on the amount of change between images constituting the series image, and the time series section using the classification criteria for each time series section set by the section setting means And an area classification means for classifying an included image into a plurality of category areas.
  • an image processing program provides a computer that processes a time-series image composed of a plurality of images captured in time series, based on a change amount between the images constituting the time-series image.
  • Section setting step for setting the time series section, and region classification step for classifying the image included in the time series section into a plurality of category areas using the classification criteria for each time series section set by the section setting step Are executed.
  • the image display device of the present invention it is possible to set a time series section based on the amount of change between images constituting a time series image. And since the inside of the image included in the set time series section can be classified into the category area using the classification standard for each time series section, the classification accuracy of the category area can be improved. Therefore, there is an effect that the images constituting the time-series image can be classified accurately and efficiently.
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus.
  • FIG. 2 is a diagram illustrating an example of an intraluminal image.
  • FIG. 3 is a block diagram illustrating a functional configuration of the image processing apparatus.
  • FIG. 4 is an overall flowchart illustrating a processing procedure performed by the image processing apparatus.
  • FIG. 5 is a schematic diagram showing how time-series sections are set.
  • FIG. 6 is a flowchart showing a detailed procedure of the temporary area classification process.
  • FIG. 7 is a schematic diagram showing a state of image selection.
  • FIG. 8 is a schematic diagram showing the effect of classification using clustering.
  • FIG. 9 is a schematic diagram showing the update of the category discrimination criterion.
  • an image processing apparatus that processes a time-series image in the body vessel air captured in time series by the capsule endoscope will be described.
  • the image processing apparatus of the present invention can process the image processing apparatus.
  • Such a time-series image is not limited to a time-series image obtained by imaging the inside of the body tube.
  • FIG. 1 is a schematic diagram illustrating an overall configuration of an image processing system including an image processing apparatus according to an embodiment.
  • the image processing system wirelessly transmits from the capsule endoscope 10 that captures an image inside the subject 1 (hereinafter referred to as “intraluminal image”) and the capsule endoscope 10.
  • a receiving device 30 that receives an intraluminal image
  • an image processing device 70 that processes and displays the intraluminal image captured by the capsule endoscope 10 based on the intraluminal image received by the receiving device 30.
  • a portable recording medium (portable recording medium) 50 is used for transferring image data between the receiving device 30 and the image processing device 70.
  • the capsule endoscope 10 has an imaging function, a wireless function, and the like.
  • the capsule endoscope 10 is swallowed from the mouth of the subject 1 and introduced into the subject 1, and sequentially captures the tube aerial images while moving through the body cavity. Take an image. Then, the captured intraluminal image is wirelessly transmitted outside the body.
  • the receiving device 30 includes a plurality of receiving antennas A1 to An, and receives an intraluminal image wirelessly transmitted from the capsule endoscope 10 via each of the receiving antennas A1 to An.
  • the receiving device 30 is configured so that the portable recording medium 50 can be freely attached and detached, and sequentially stores the received image data of the intraluminal image in the portable recording medium 50. In this way, the intraluminal image inside the subject 1 captured by the capsule endoscope 10 is accumulated in the portable recording medium 50 in time series by the receiving device 30 and stored as a time series image.
  • the receiving antennas A1 to An are constituted by, for example, loop antennas and are attached to the external surface of the subject 1. Specifically, they are distributed and arranged at positions corresponding to the passage route of the capsule endoscope 10 in the subject 1.
  • the receiving antennas A1 to An may be arranged in a distributed manner on a jacket worn by the subject 1. In this case, the receiving antennas A1 to An are predetermined on the body surface of the subject 1 corresponding to the passage path of the capsule endoscope 10 in the subject 1 when the subject 1 wears this jacket. Placed in position.
  • one or more receiving antennas may be arranged with respect to the subject 1, and the number thereof is not limited.
  • the image processing device 70 is for a doctor or the like to observe and diagnose an intravascular image captured by the capsule endoscope 10, and is realized by a general-purpose computer such as a workstation or a personal computer.
  • the image processing apparatus 70 is configured so that the portable recording medium 50 can be freely attached and detached.
  • the image processing apparatus 70 processes each image in the tube constituting the time-series image stored in the portable recording medium 50, and performs an LCD, ELD, or the like. Are displayed sequentially on the display in chronological order.
  • FIG. 2 is a diagram illustrating an example of an intraluminal image captured by the capsule endoscope 10 and processed by the image processing device 70.
  • the intraluminal image captured by the capsule endoscope 10 is a color image having a pixel level (pixel value) for each color component of R (red), G (green), and B (blue) at each pixel position. is there.
  • FIG. 3 is a block diagram illustrating a functional configuration of the image processing apparatus 70.
  • the image processing apparatus 70 includes an image acquisition unit 710, an input unit 720, a display unit 730, a storage unit 740, a calculation unit 750, and a control unit 760 that controls each unit of the apparatus.
  • the image acquisition unit 710 acquires an intraluminal image that constitutes a time-series image captured by the capsule endoscope 10 and stored in the portable recording medium 50 by the receiving device 30, for example, portable recording
  • the medium 50 is detachably mounted, and the image data of the tube image stored in the mounted portable recording medium 50 is read and acquired.
  • the image acquisition unit 710 is realized by, for example, a read / write device corresponding to the type of the portable recording medium 50. Note that the acquisition of the time-series tube images captured by the capsule endoscope 10 is not limited to the configuration using the portable recording medium 50. For example, a hard disk is used instead of the image acquisition unit 710.
  • the image acquisition unit is configured by a communication device or the like for connecting to the server, and is connected to the server via the image acquisition unit to acquire a time-series tube image from the server.
  • the input unit 720 is realized by, for example, a keyboard, a mouse, a touch panel, various switches, and the like, and outputs an operation signal corresponding to the operation input to the control unit 760.
  • the display unit 730 is realized by a display device such as an LCD or an ELD, and displays various screens including a display screen of time-series images in the tube under the control of the control unit 760.
  • the storage unit 740 is realized by various IC memories such as ROM and RAM such as flash memory that can be updated and stored, a hard disk connected by a built-in or data communication terminal, an information recording medium such as a CD-ROM, and a reading device thereof.
  • a program relating to the operation of the image processing apparatus 70, a program for realizing various functions provided in the image processing apparatus 70, data relating to execution of these programs, and the like are stored.
  • an image processing program 741 for classifying each intraluminal image constituting the time series image into a category area is stored.
  • the calculation unit 750 is realized by hardware such as a CPU, sequentially processes time-series tube images acquired by the image acquisition unit 710, and performs various calculations for classifying each tube image into category regions. Process.
  • the calculation unit 750 calculates a change amount with respect to a time-series tube image captured by the capsule endoscope 10 moving in the tube space with another image that is close to the time-series image.
  • a section setting unit 752 as a section setting means for setting a predetermined time series section based on a change amount between images, and a time series section using a classification criterion for each time series section
  • an area classification unit 753 as an area classification means for classifying the image included in the image into a plurality of category areas such as “mucous membrane”, “content”, “bubble”, and “lesion”.
  • the region classification unit 753 includes an image selection unit 754 as an image selection unit that selects an image from a time series section, and a feature amount calculation unit 755 as a feature amount calculation unit that calculates a feature amount from each image in the time series section.
  • a distribution estimation unit 756 as a distribution estimation unit that estimates the feature amount distribution of each category region existing in the image included in the time series section, and the distribution estimation unit 756 includes the image selected by the image selection unit 754.
  • a clustering unit 757 as a clustering unit for clustering the feature amount distribution of the selected image
  • a category determination unit 758 as a category determination unit for determining the category of each cluster based on the information of each cluster.
  • the control unit 760 is realized by hardware such as a CPU.
  • the control unit 760 transfers the image data input from the image acquisition unit 710, the operation signal input from the input unit 720, the programs and data stored in the storage unit 740, and the like to each unit constituting the image processing apparatus 70. Instruction, data transfer, and the like, and overall operation of the image processing apparatus 70 is controlled.
  • FIG. 4 is an overall flowchart showing a processing procedure performed by the image processing apparatus 70. The processing described here is realized by the calculation unit 750 executing the image processing program 741 stored in the storage unit 740. FIG. 4 shows a flow when processing time-series images I (0) to I (T) from time-series order 0 to T.
  • the arithmetic unit 750 first sets a code i indicating the time series order of the target tube image to 0 and sets a code s indicating the time series order of the start image in the time series section. Is set to 0 (step S10). Subsequently, the calculation unit 750 obtains an image I (i) that is an intraluminal image in the time series order i (step S11). Then, an image I (i + 1), which is an intraluminal image of the time order i + 1 that is continuous in time series with respect to the image I (i), is acquired (step S13).
  • the change amount calculation unit 751 calculates the change amount between the image I (i) and the image I (i + 1) (step S15).
  • an image composed of G components of images I (i) and I (i + 1) is acquired.
  • the G component is used here because it is close to the absorption wavelength band of hemoglobin in blood and has high sensitivity and resolution, so that it expresses light and dark information of the intraluminal image well.
  • other pixel values or values indicating brightness information that has already been secondarily calculated by known conversion, luminance (YCbCr conversion), brightness (HSI conversion), or the like may be used.
  • each G component image is divided into small sections of a predetermined size. For example, the image is divided into m rows and n columns. Subsequently, an average G component value is obtained for each divided small section. Then, the absolute value of the difference between the average G component values of the positionally corresponding small sections is obtained according to the following equation (1), and the sum of all the sections in the image is defined as a change amount v (i + 1).
  • This amount of change reflects the movement of the capsule endoscope 10, and it is considered that the surrounding environment differs as the value increases.
  • the sum of absolute values of differences is shown as the amount of change, but the sum of squares of differences may be used.
  • the pixel values of the pixels corresponding to each other in position may be obtained without being divided into small sections.
  • image data that has been subjected to discrete cosine transform (DCT) and compressed and encoded is used for each block, such as JPEG
  • the values calculated secondarily from the DCT coefficients may be compared. Further, it may be obtained by comparing statistic values of pixel values in the image.
  • DCT discrete cosine transform
  • moving image compression data such as MPEG
  • the amount of change between images is calculated and recorded at the time of compression encoding, so these values are calculated without calculating the amount of change between images. May be used. In this case, the change amount calculation unit 751 is not necessary.
  • the section setting unit 752 calculates a cumulative change amount sv, which is a cumulative value obtained by accumulating the amount of change from the section start image I (s) in chronological order according to the following equation (2) (step S17). Then, the section setting unit 752 determines whether the calculated cumulative change amount sv exceeds a predetermined threshold value set in advance, or whether the processed image I (i + 1) is the last image I (T) in time series. It is determined whether or not (step S19).
  • FIG. 5 is a schematic diagram showing how time-series sections are set.
  • the time-series section L-1 that has been processed and the time-series section L-2 in which the process progresses and the tube image in another time-series order i is set as the section start image I (s) is shown. As shown in FIG.
  • FIG. 6 is a flowchart showing a detailed procedure of the temporary area classification process.
  • the feature quantity calculation unit 755 divides each image in the time series sections s to e into small sections, and calculates a feature quantity for each small section (step S251). For example, an image is divided into m rows and n columns, and the color ratio calculated secondarily from the average value, standard deviation value, histogram, or R, G, B component value of R, G, B components for each section Average values such as color difference, hue, saturation, and histogram are obtained. It is possible to obtain a feature including a relationship with surrounding pixels by collecting the pixels as a set of pixels instead of a single pixel.
  • DCT discrete cosine transform
  • JPEG JPEG
  • the image selection unit 754 selects an image based on the change amount change in the time series sections s to e (step S253).
  • a selection method first, the cumulative change amount in the time series sections s to e is divided into a predetermined number. A method of selecting an image closest to the cumulative change amount corresponding to each division position, a section start image, and a section end image can be given.
  • the time series sections s to e in which the image is set as the section start image I (s) are shown.
  • the cumulative amount of change in the time series sections s to e is divided into four, and the images in the time series order a1 to a5 are selected as the image closest to the division position and the section start image and section end image. It shows how it works. In this way, by selecting an image from the time series sections s to e so that the amount of change between the images becomes approximately the same, it is possible to reduce the data bias in the subsequent distribution estimation of each category.
  • an image may be selected by a method of selecting an image having a change value equal to or greater than a predetermined threshold without using the cumulative change amount.
  • the clustering unit 757 selects the selected image as shown in FIG. Are clustered in the feature space (step S255).
  • Clustering is a technique for grouping data distribution in a feature space. For example, it is disclosed in various known techniques such as a hierarchical method, a k-means method, a self-organizing map, and Patent Document 1 shown in the background art. Can be used. Here, the effect of performing clustering will be described with reference to FIG. FIG. 8 is a schematic diagram showing the effect of classification using clustering.
  • the mucous membranes and lesions are mainly different in color tone. For this reason, in the feature space showing the color information as shown in FIG. 8, these areas form clusters (clusters) having different distributions. However, the distribution varies depending on the subject, the organ, the difference in the section in the tube, and the like.
  • FIG. 8 an example of the distribution of “mucosa” and “lesion” performed on the image in the time series section L-1 shown in FIG.
  • An example of the distribution of mucous membranes and lesions is shown with broken lines.
  • Th_all indicated by the one-dot chain line in FIG.
  • misclassification occurs in both time series sections L-1 and L-2. It will occur.
  • the feature amount data of the selected image is once clustered and divided to obtain each cluster.
  • the discriminant criterion Th_all by setting the boundary of each cluster as the classification criterion, it is possible to perform good classification for both the time series sections L-1 and L-2. Yes. That is, for example, focusing on the clusters 21 and 23 obtained by clustering the images in the time-series section L-1 indicated by the solid line in FIG. 8, first, the centers 211 and 231 of the clusters 21 and 23 are determined as discrimination criteria. It discriminate
  • the center 231 is determined as the mucosa, and the center 211 is determined as the lesion.
  • the boundary Th_L-1 between the clusters 21 and 23 is set as a classification reference in the time series section L-1.
  • the center 331 is determined as the mucosa by the determination criterion Th_all, and the center 311 is determined as the lesion. Determined.
  • the boundary Th_L-2 between the clusters 31 and 33 is set as a classification reference in the time series section L-2.
  • the category discriminating unit 758 sets a category discrimination criterion based on the already-categorized feature amount data (step S257).
  • a highly accurate discrimination is performed by updating the discrimination standard in accordance with the change of the feature amount distribution in the time series.
  • FIG. 9 is a schematic diagram showing the update of the category discrimination criterion.
  • the discrimination criterion Th1 indicated by the broken line when processing the first time series section (L-1) is determined in advance based on the teacher data that has been categorized in advance indicated by the broken lines 41 and 43, and is stored in the storage unit 740. Save to.
  • the time series section is changed through each processing step described later, but the applied discrimination criterion is changed in the changed time series section.
  • the feature amount distribution of the first time-series section which is the previous time-series section indicated by the solid line to which the determination standard Th1 is applied, is changed to the determination standard Th2 that can be well classified.
  • the discrimination criterion is a hyperplane for discriminating two categories (a plane indicated by a line format having a dimension number of dimension-1 of the feature space, which is a straight line in the two-dimensional feature space as shown in FIG. 9).
  • the discrimination surface does not have to be a hyperplane.
  • the feature vector Fn (fn_1, fn_2,..., Fn_k) t of the feature amount data included in each category distribution of the teacher data is calculated.
  • fn_i is the i-th feature value of the n-th data
  • k is the dimension number of the feature value.
  • the probability distribution function P for a multidimensional normal distribution that can be estimated from the values of the obtained mean vector ⁇ and variance-covariance matrix Z is set for each category according to the following equation (4), thereby taking into account the distribution of the category: Discrimination criteria can be set.
  • the time series section is changed, the feature value of the data that has been categorized in the previous time series section is added, and the discrimination criterion is updated by performing calculations according to Expressions (3) and (4). .
  • the occurrence probability of each category can be obtained for each category according to the number of areas in each category / the total number of areas.
  • the category discrimination unit 758 discriminates the category of each cluster as shown in FIG. 6 (step S259). Specifically, the category determination unit 758 obtains an average vector of each cluster obtained by clustering. Subsequently, the category determination unit 758 calculates a probability P (x) using the obtained average vector value as a feature vector x to be determined shown in Expression (4). Then, the category determining unit 758 determines the belonging probability to each category multiplied by the occurrence probability of each category, and determines the category having the highest probability as the category of each cluster.
  • the distribution estimation unit 756 estimates the distribution of each category based on the feature amount data in the cluster after the category determination, and obtains distribution estimation information (step S261). This is a process corresponding to the part for setting Th_L1 and Th_L2 in FIG. 8, and can be realized by performing calculations according to the equations (3) and (4) based on the data in each cluster. The occurrence probability of each category can be obtained for each category according to the number of areas in each category / the total number of areas.
  • the area classification unit 753 uses the feature amount obtained for each small section of each image in step S251 of the area temporary classification process and the distribution estimation information of each category obtained in step S261 to obtain a target small object.
  • the sections are provisionally classified (step S263).
  • the region classification unit 753 calculates the probability P (x) using the feature quantity vector obtained for each subsection as the feature vector x to be discriminated shown in Expression (4), and the occurrence probability of each category is calculated. Is assigned to each category and provisionally classified into the category having the highest probability. At this time, the attribution probability is also stored. And it returns to step S25 of FIG. 4, and transfers to step S27 after that.
  • the section setting unit 752 displays the end image I ( It is determined whether e) is the final image I (T) of the time series image (step S27).
  • the section start image and the section end image that are the ends of the time series section are as follows:
  • the classification criteria for images that are continuous in time series change suddenly. Therefore, for example, by calculating the time series width according to the following equation (5), a new section start image is set so that the time series sections always overlap. Then, for a plurality of overlapping time series sections, the result of provisional classification based on the classification criteria for each time series section is finally integrated to obtain a classification result.
  • the area classification unit 753 classifies each of the images I (s ′) to I (s ⁇ 1) into category areas (step S31).
  • each overlapping time series For the images of I (s ′) to I (s ⁇ 1), each overlapping time series The temporary classification result for the section is obtained. Therefore, for these images, a final classification result is obtained based on the temporary classification result.
  • the overlapping width of the sections is large and one small section is processed in a number of time-series sections and a large number of provisional classification results are obtained, the sections may be classified into the category with the largest number of times.
  • the region classification unit 753 displays the image I (s).
  • Each image of .about.I (T) is classified into a category area (step S35).
  • the calculation unit 750 outputs the category classification result for each image constituting the time series image (step S37), and ends the processing in the image processing device 70.
  • the calculation unit 750 causes the display unit 730 to display and output the category classification result via the control unit 760.
  • the time series section can be set so that the cumulative value of the amount of change between images included in the time series section becomes a predetermined value. Then, by using the set classification criteria for each time series section, it is possible to classify the image included in the time series section. According to this, the image included in each time-series section can be classified into each category region using an appropriate classification criterion, and the classification accuracy can be improved. Therefore, each image constituting the time-series image can be processed efficiently, and the lesioned part can be accurately detected from each image.
  • the image processing apparatus and the image processing program of the present invention are useful for accurately and efficiently classifying the images constituting the time-series images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　ある実施形態にかかる画像処理装置において、変化量算出部（７５１）は、管空内を移動するカプセル内視鏡によって撮像されて可搬型記録媒体（５０）に保存された時系列画像を構成する各管空内画像に対して時系列近傍となる他の画像との変化量を算出する。区間設定部（７５２）は、画像間の変化量をもとに所定の時系列区間を設定する。領域分類部（７５３）は、時系列区間毎の分類基準を用いて時系列区間に含まれる画像内を複数のカテゴリ領域に分類する。

Description

画像処理装置および画像処理プログラム
　本発明は、時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置および画像処理プログラムに関するものである。
　近年、カプセル内視鏡に代表されるように、消化管等の体内の管空内を移動しながら管空内の画像を順次撮像する医用機器が開発されている。カプセル内視鏡は、口から飲み込まれた後、管空内を蠕動運動等により運ばれ、所定の撮像レートで順次画像を撮像して体外受信機に送信し、最終的に体外に排出される。撮像される時系列画像の枚数は、撮像レート（約２～４frame/sec）×カプセル内視鏡の体内滞在時間（約８hours＝８×６０×６０sec）で概ね示され、数万枚以上になる。医師は、これら体外受信機に送信された大量の時系列画像を診断用のワークステーション等で確認し、病変部を特定するために多くの時間を費やしている。このため、医師による画像の確認作業を効率化する技術が強く望まれている。
　例えば、特許文献１には、カプセル内視鏡によって撮像された時系列画像内を粘膜、便、泡、不明等の領域に分割し、観察に不要な画像や病変部位が含まれる画像を判別する方法が示されている。具体的には、時系列画像を所定間隔でサンプリングした複数の画像をそれぞれ小区画に分割し、これら小区画を平均色比空間等の所定の特徴空間に写像した後、クラスタリングする。そして、得られたクラスタを予め教師データをもとに作成した分類器を用いて粘膜、便、泡等のクラス（カテゴリ）に分類する。続いて、サンプリングした画像を所定の時系列間隔のサブセットに区切り、先のクラス分類結果をもとにサブセット内における各クラスの発生頻度や分布情報を計算する。そして、これらの情報をもとに、各サブセットが示す時系列区間の画像内を各クラス領域に分類し、病変部を検出している。
特開２００７－１７５４３２号公報
　特許文献１では、サブセットとなる所定幅の時系列区間内において、所定間隔でサンプリングした画像を用いながら粘膜、便、泡等の各クラスのクラス分布情報を求め、画像内を領域分類している。しかしながら、カプセル内視鏡は蠕動運動等により消化管等の管空内を通過していくため、その通過速度は一定ではなく、撮像される時系列画像も大きく変化する画像が続いたり類似する画像が続いたりと様々である。このため、サブセット内の時系列区間において画像が大きく変化する場合には、カプセルが大きく移動して周囲の状況が変わることから各クラスのデータが大きく変動してしまう。この結果、クラス分布情報を正確に求めることが難しくなり、分類精度が低下して病変部を精度よく検出できないという問題がある。一方で、時系列区間において画像が全く変化しない場合には、同程度のクラス分布情報を得るための処理を繰り返し行うことになり、計算時間を浪費するという問題がある。
　本発明は、上記に鑑み為されたものであって、時系列画像を構成する画像内を精度よく且つ効率よく分類することができる画像処理装置および画像処理プログラムを提供することを目的とする。
　上記した課題を解決し、目的を達成するため、本発明にかかる画像処理装置は、時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置であって、前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定手段と、前記区間設定手段によって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類手段と、を備えることを特徴とする。
　また、本発明にかかる画像処理プログラムは、時系列で撮像された複数の画像で構成される時系列画像を処理するコンピュータに、前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定ステップと、前記区間設定ステップによって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、を実行させることを特徴とする。
　本発明に係る画像表示装置によれば、時系列画像を構成する画像間の変化量をもとに時系列区間を設定することができる。そして、設定した時系列区間に含まれる画像内を時系列区間毎の分類基準を用いてカテゴリ領域に分類できるので、カテゴリ領域の分類精度を向上させることができる。したがって、時系列画像を構成する画像内を精度よく且つ効率よく分類することができるという効果を奏する。
図１は、画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 図２は、管空内画像の一例を示す図である。 図３は、画像処理装置の機能構成を説明するブロック図である。 図４は、画像処理装置が行う処理手順を示す全体フローチャートである。 図５は、時系列区間設定の様子を示す模式図である。 図６は、領域仮分類処理の詳細な手順を示すフローチャートである。 図７は、画像選択の様子を示す模式図である。 図８は、クラスタリングを利用した分類の効果を示す模式図である。 図９は、カテゴリの判別基準の更新を示す模式図である。
符号の説明
　１０　　　カプセル内視鏡
　３０　　　受信装置
　Ａ１～Ａｎ　　　受信用アンテナ
　５０　　　可搬型記録媒体
　７０　　　画像処理装置
　７１０　　　画像取得部
　７２０　　　入力部
　７３０　　　表示部
　７４０　　　記憶部
　７４１　　　画像処理プログラム
　７５０　　　演算部
　７５１　　　変化量算出部
　７５２　　　区間設定部
　７５３　　　領域分類部
　７５４　　　画像選択部
　７５５　　　特徴量算出部
　７５６　　　分布推定部
　７５７　　　クラスタリング部
　７５８　　　カテゴリ判別部
　７６０　　　制御部
　１　　　被検体
　以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、以下説明する実施の形態では、カプセル内視鏡が時系列に沿って撮像した体内管空内の時系列画像を処理する画像処理装置について説明するが、本発明の画像処理装置が処理可能な時系列画像は体内管空内を撮像して得た時系列画像に限定されるものではない。
（実施の形態）
　図１は、実施の形態の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図１に示すように、画像処理システムは、被検体１内部の画像（以下、「管空内画像」と呼ぶ。）を撮像するカプセル内視鏡１０、カプセル内視鏡１０から無線送信される管空内画像を受信する受信装置３０、受信装置３０によって受信された管空内画像をもとに、カプセル内視鏡１０によって撮像された管空内画像を処理して表示する画像処理装置７０等で構成される。受信装置３０と画像処理装置７０との間の画像データの受け渡しには、例えば可搬型の記録媒体（可搬型記録媒体）５０が使用される。
　カプセル内視鏡１０は、撮像機能や無線機能等を具備するものであって、被検体１の口から飲み込まれて被検体１内部に導入され、体腔内を移動しながら逐次管空内画像を撮像する。そして、撮像した管空内画像を体外に無線送信する。
　受信装置３０は、複数の受信用アンテナＡ１～Ａｎを備え、各受信用アンテナＡ１～Ａｎを介してカプセル内視鏡１０から無線送信される管空内画像を受信する。受信装置３０は、可搬型記録媒体５０の着脱が自在に構成されており、受信した管空内画像の画像データを可搬型記録媒体５０に逐次保存する。このようにして、カプセル内視鏡１０が撮像した被検体１内部の管空内画像は、受信装置３０によって時系列順に可搬型記録媒体５０に蓄積され、時系列画像として保存される。
　受信用アンテナＡ１～Ａｎは、例えばループアンテナで構成され、被検体１の体外表面に貼付される。具体的には、被検体１内におけるカプセル内視鏡１０の通過経路に対応する位置に分散配置される。なお、受信用アンテナＡ１～Ａｎは、被検体１に着用させるジャケットに分散配置されるものであってもよい。この場合には、受信用アンテナＡ１～Ａｎは、被検体１がこのジャケットを着用することによって、被検体１内におけるカプセル内視鏡１０の通過経路に対応する被検体１の体表上の所定位置に配置される。なお、受信用アンテナは、被検体１に対して１つ以上配置されればよく、その数は限定されない。
　画像処理装置７０は、カプセル内視鏡１０によって撮像された管空内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置７０は、可搬型記録媒体５０の着脱が自在に構成されており、可搬型記録媒体５０に保存された時系列画像を構成する各管空内画像を処理し、ＬＣＤやＥＬＤ等のディスプレイに時系列順に順次表示する。図２は、カプセル内視鏡１０によって撮像され、画像処理装置７０によって処理される管空内画像の一例を示す図である。管空内画像には、粘膜１１や、体腔内を浮遊する内容物１３、泡１５等が映るとともに、時として病変等の重要箇所が映る。なお、カプセル内視鏡１０によって撮像される管空内画像は、各画素位置においてＲ（赤），Ｇ（緑），Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
　図３は、画像処理装置７０の機能構成を説明するブロック図である。本実施の形態では、画像処理装置７０は、画像取得部７１０と、入力部７２０と、表示部７３０と、記憶部７４０と、演算部７５０と、装置各部を制御する制御部７６０とを備える。
　画像取得部７１０は、カプセル内視鏡１０によって撮像されて受信装置３０によって可搬型記録媒体５０に保存された時系列画像を構成する管空内画像を取得するものであり、例えば、可搬型記録媒体５０を着脱自在に装着し、装着した可搬型記録媒体５０に蓄積された管空内画像の画像データを読み出して取得する。この画像取得部７１０は、例えば、可搬型記録媒体５０の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡１０によって撮像された時系列の管空内画像の取得は、可搬型記録媒体５０を用いた構成に限定されるものではなく、例えば、画像取得部７１０の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡１０によって撮像された時系列の管空内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体５０の代わりに別途サーバーを設置し、このサーバーに時系列の管空内画像を予め保存しておく構成としてもよい。この場合には、画像取得部を、サーバーと接続するための通信装置等で構成し、この画像取得部を介してサーバーに接続して、サーバーから時系列の管空内画像を取得する。
　入力部７２０は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部７６０に出力する。表示部７３０は、ＬＣＤやＥＬＤ等の表示装置によって実現されるものであり、制御部７６０の制御によって、時系列の管空内画像の表示画面を含む各種画面を表示する。
　記憶部７４０は、更新記憶可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、ＣＤ－ＲＯＭ等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置７０の動作に係るプログラムや、画像処理装置７０の備える種々の機能を実現するためのプログラム、これらプログラムの実行に係るデータ等が格納される。また、時系列画像を構成する各管空内画像をカテゴリ領域に分類するための画像処理プログラム７４１が格納される。
　演算部７５０は、ＣＰＵ等のハードウェアによって実現され、画像取得部７１０によって取得される時系列の管空内画像を順次処理し、各管空内画像をカテゴリ領域に分類するための種々の演算処理を行う。この演算部７５０は、管空内を移動するカプセル内視鏡１０によって撮像された時系列の管空内画像に対して時系列近傍となる他の画像との変化量を算出する変化量算出手段としての変化量算出部７５１と、画像間の変化量をもとに所定の時系列区間を設定する区間設定手段としての区間設定部７５２と、時系列区間毎の分類基準を用いて時系列区間に含まれる画像内を「粘膜」「内容物」「泡」「病変」等の複数のカテゴリ領域に分類する領域分類手段としての領域分類部７５３とを含む。また、領域分類部７５３は、時系列区間から画像を選択する画像選択手段としての画像選択部７５４と、時系列区間の各画像より特徴量を算出する特徴量算出手段としての特徴量算出部７５５と、時系列区間に含まれる画像内に存在する各カテゴリ領域の特徴量分布を推定する分布推定手段としての分布推定部７５６を備え、分布推定部７５６は、画像選択部７５４で選択された画像である選択画像の特徴量分布をクラスタリングするクラスタリング手段としてのクラスタリング部７５７と、各クラスタの情報をもとに各クラスタのカテゴリを判別するカテゴリ判別手段としてのカテゴリ判別部７５８とを備える。
　制御部７６０は、ＣＰＵ等のハードウェアによって実現される。この制御部７６０は、画像取得部７１０から入力される画像データや入力部７２０から入力される操作信号、記憶部７４０に格納されるプログラムやデータ等に基づいて画像処理装置７０を構成する各部への指示やデータの転送等を行い、画像処理装置７０全体の動作を統括的に制御する。
　図４は、画像処理装置７０が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部７５０が記憶部７４０に格納された画像処理プログラム７４１を実行することにより実現される。なお、図４では、時系列順序０からＴまでの時系列画像Ｉ（０）からＩ（Ｔ）を処理する際の流れを示している。
　図４に示すように、演算部７５０は、まず、処理対象の管空内画像の時系列順序を示す符号ｉを０に設定するとともに、時系列区間の開始画像の時系列順序を示す符号ｓを０に設定する（ステップＳ１０）。続いて、演算部７５０は、時系列順序ｉの管空内画像である画像Ｉ（ｉ）を取得する（ステップＳ１１）。そして、画像Ｉ（ｉ）に対して時系列的に連続する時刻順序ｉ＋１の管空内画像である画像Ｉ(ｉ＋１)を取得する（ステップＳ１３）。
　次に、変化量算出部７５１が、画像Ｉ（ｉ）と画像Ｉ(ｉ＋１)の変化量を算出する（ステップＳ１５）。変化量の算出方法には様々な方法があるが、例として画像間で位置的に対応する領域を比較する方法の手順を以下に示す。まず、画像Ｉ（ｉ）、Ｉ（ｉ＋１）のＧ成分からなる画像を取得する。ここでＧ成分を用いるのは、血液中のヘモグロビンの吸収波長帯域に近く、また感度や解像度が高いことから、管空内画像の明暗情報をよく表すためである。もちろん他の画素値、あるいは既に公知の変換によって２次的に算出される明暗情報を示す値、輝度（ＹＣｂＣｒ変換）、明度（ＨＳＩ変換）等を用いてもよい。次に、各々のＧ成分画像内を所定サイズの小区画に分割する。例えば、画像内をｍ行ｎ列に分割する。続いて、分割した小区画毎に平均Ｇ成分値を求める。そして、次式（１）に従って、位置的に対応する小区画の平均Ｇ成分値の差の絶対値を求め、画像内全区画の和を変化量ｖ(ｉ＋１)とする。
Figure JPOXMLDOC01-appb-M000001
　この変化量は、カプセル内視鏡１０の動きを反映したものであり、値が大きくなるほど周囲環境が異なると考えられる。なお、上記の手法では、変化量として差の絶対値和を示したが、差の二乗和を用いてもよい。また小区画に分割せず位置的に対応する画素の画素値を比較して求めてもよい。また、ＪＰＥＧ等のように撮像データを区画単位で離散コサイン変換（Discrete　Cosine　Transform：ＤＣＴ）し、圧縮符号化された画像データを用いる場合には、圧縮伸張時に単位区画毎に求められるＤＣＴ係数や、ＤＣＴ係数から２次的に計算される値を比較して求めてもよい。また、画像内の画素値の統計量を比較して求めてもよい。例えば、Ｒ，Ｇ，Ｂ成分の画像内平均値や画像内標準偏差値、ヒストグラム、またはＲ，Ｇ，Ｂ成分値より２次的に計算される色比、色差、色相、彩度等の平均値やヒストグラムを比較して求めてもよい。あるいは、ＭＰＥＧ等の動画像圧縮データを用いる場合であれば、画像間の変化量を圧縮符号化時に算出して記録しているため、画像間の変化量算出を行わずに、これらの値を利用してもよい。この場合には、変化量算出部７５１は必要ない。
　次に、区間設定部７５２が、区間開始画像Ｉ（ｓ）からの変化量を時系列順に累積した累積値である累積変化量ｓｖを、次式（２）に従って算出する（ステップＳ１７）。そして、区間設定部７５２は、算出された累積変化量ｓｖが予め設定される所定の閾値を超えたか否か、または処理した画像Ｉ（ｉ＋１）が時系列最後の画像Ｉ（Ｔ）であるか否かを判定する（ステップＳ１９）。
Figure JPOXMLDOC01-appb-M000002
　ステップＳ１９の判定がＮｏである場合には、演算部７５０が、時系列順序を示す符号ｉをインクリメントしてｉ＝ｉ＋１とし（ステップＳ２１）、ステップＳ１３に戻る。一方、判定がＹｅｓである場合には、区間設定部７５２は、区間終了画像Ｉ（ｅ）＝Ｉ（ｉ＋１）とし、時系列区間ｓ～ｅを設定する（ステップＳ２３）。
　図５は、時系列区間設定の様子を示す模式図である。図５では、横軸を時系列順序、縦軸を累積変化量ｓｖとして示した累積変化量ｓｖの推移とともに、時系列順序ｉ＝０の管空内画像が区間開始画像Ｉ（ｓ）として設定された時系列区間Ｌ－１と、処理が進み別の時系列順序ｉの管空内画像が区間開始画像Ｉ（ｓ）として設定された時系列区間Ｌ－２とを示している。図５に示すように、累積変化量ｓｖが閾値を超えたか否かによって時系列区間が設定されるため、画像間の変化量が少ないと時系列区間Ｌ－１のように長めの時系列区間が設定され、変化量が大きい場合には時系列区間Ｌ－２のように短めの時系列区間が設定される。なお、図示していないが、時系列区間Ｌ－１の区間終了画像Ｉ（ｅ）と時系列区間Ｌ－２の区間開始画像Ｉ（ｓ）との間においても、所定の閾値に従って時系列区間が設定される。
　そして、図４のステップＳ２３において時系列区間ｓ～ｅを設定した後、続いて、領域分類部７５３が領域仮分類処理を行い、時系列区間ｓ～ｅの各画像Ｉ（ｊ）（ｓ≦ｊ≦ｅ）内を、カテゴリ領域に仮分類する（ステップＳ２５）。図６は、領域仮分類処理の詳細な手順を示すフローチャートである。
　領域仮分類処理では、まず、特徴量算出部７５５が、時系列区間ｓ～ｅ内の各画像を小区画に分割し、小区画毎に特徴量を算出する（ステップＳ２５１）。例えば、画像内をｍ行ｎ列に分割し、区画毎にＲ，Ｇ，Ｂ成分の平均値や標準偏差値、ヒストグラム、またはＲ，Ｇ，Ｂ成分値より２次的に計算される色比、色差、色相、彩度等の平均値やヒストグラムを求める。画素単体でなく、画素の集合である区画として纏めることによって、周囲画素との関係を含む特徴を得ることが可能となる。また、ＪＰＥＧ等のように撮像データを区画単位で離散コサイン変換（ＤＣＴ）し、圧縮符号化された画像データを用いる場合には、圧縮伸張時に単位区画毎に求められるＤＣＴ係数や、ＤＣＴ係数から２次的に計算される値を特徴量として求めてもよい。
　次に、画像選択部７５４が、時系列区間ｓ～ｅ内の変化量推移をもとに画像を選択する（ステップＳ２５３）。選択方法としては、まず、時系列区間ｓ～ｅにおける累積変化量を所定数に分割する。そして、各分割位置に相当する累積変化量に最も近い画像と、区間開始画像および区間終了画像とを選択する方法が挙げられる。図７は、画像選択の様子を示す模式図であり、横軸を時系列順序、縦軸を累積変化量ｓｖとして示した累積変化量ｓｖの推移とともに、時系列順序ｉ＝０の管空内画像が区間開始画像Ｉ（ｓ）として設定された時系列区間ｓ～ｅを示している。図７では、時系列区間ｓ～ｅにおける累積変化量を４分割しており、分割位置に最も近い画像と、区間開始画像および区間終了画像として、時系列順序ａ１～ａ５の各画像が選択される様子を示している。このように、画像間の変化量が同程度となるように時系列区間ｓ～ｅ内から画像を選択することによって、以後の各カテゴリの分布推定におけるデータの偏りを軽減することができる。なお、累積変化量を用いずに変化量の値が所定の閾値以上の画像を選択する方法で画像を選択してもよい。
　画像選択部７５４が時系列区間ｓ～ｅ内の画像を選択（以下、選択された画像を適宜「選択画像」と呼ぶ。）した後、図６に示すように、クラスタリング部７５７が、選択画像の特徴量データを特徴空間においてクラスタリングする（ステップＳ２５５）。クラスタリングは、特徴空間内のデータ分布を塊分けする手法であり、例えば階層法、ｋ－ｍｅａｎｓ法、自己組織化マップ等の既に公知の様々な手法や、背景技術で示した特許文献１に開示される手法を用いることができる。ここで、クラスタリングを行う効果に関して、図８を参照して説明する。図８は、クラスタリングを利用した分類の効果を示す模式図である。管空内画像では、粘膜や病変等は主に色調が異なる。このため、図８に示すような色情報を示す特徴空間においては、これらの領域はそれぞれ互いに異なる分布の塊（クラスタ）を形成する。ただし、被験者や臓器、管空内の区間の差等によってその分布は変動する。図８では、図５に示した時系列区間Ｌ－１内の画像に対して行った「粘膜」と「病変」の分布の一例を実線で示し、時系列区間Ｌ－２内の画像に対して行った粘膜と病変の分布の一例を破線で示している。ここで、例えば図８中に一点鎖線で示される判別基準Ｔｈ＿ａｌｌによって「粘膜」および「病変」双方の分布を分類しようとした場合、時系列区間Ｌ－１およびＬ－２の両方に誤分類が生じてしまう。本実施の形態では、この問題を解決するため、まず、選択画像の特徴量データを一旦クラスタリングして塊分けして各クラスタを得る。そして、各クラスタの中心を判別基準Ｔｈ＿ａｌｌに従って判別した上で、各クラスタの境界を分類基準に設定することによって、各時系列区間Ｌ－１およびＬ－２の両方について良好な分類を可能にしている。すなわち、例えば図８に実線で示す時系列区間Ｌ－１内の画像をクラスタリングして得たクラスタ２１，２３に着目して説明すると、まず、各クラスタ２１，２３の中心２１１，２３１を判別基準Ｔｈ＿ａｌｌに従って判別する。これによって、中心２３１が粘膜に判別され、中心２１１が病変に判別される。そして、このクラスタ２１，２３の境界Ｔｈ＿Ｌ－１を時系列区間Ｌ－１における分類基準とする。同様にして、図８中に破線で示す時系列区間Ｌ－２内の画像をクラスタリングして得たクラスタ３１，３３については、判別基準Ｔｈ＿ａｌｌによって中心３３１が粘膜に判別され、中心３１１が病変に判別される。そして、このクラスタ３１，３３の境界Ｔｈ＿Ｌ－２を時系列区間Ｌ－２における分類基準とする。
　選択画像の特徴量データをクラスタリングした後、図６に示すように、カテゴリ判別部７５８が、カテゴリの判別基準を、既にカテゴリ判別した特徴量データをもとに設定する（ステップＳ２５７）。時系列における特徴量分布の移り変りに合せて、判別基準を更新することで、精度の高い判別を行う。図９は、カテゴリの判別基準の更新を示す模式図である。最初の時系列区間（Ｌ－１）を処理する際の破線で示す判別基準Ｔｈ１は、破線４１，４３で示す事前にカテゴリ判別しておいた教師データをもとに予め決定して記憶部７４０に保存しておく。その後、後述の各処理ステップを経て時系列区間が変更されることとなるが、変更後の時系列区間では、適用する判別基準を変更する。具体的には、判別基準Ｔｈ１が適用された実線で示す前回の時系列区間である最初の時系列区間の特徴量分布を良好に分類できる判別基準Ｔｈ２へと変更する。なお、基準Ｔｈ１とＴｈ２の間となる図９中に一点鎖線で示すＴｈ２´へと判別基準を変更してもよい。図９では、判別基準を、２つのカテゴリを判別する超平面（特徴空間の次元数－１の線形式で示される平面のことであり、図９のように２次元特徴空間では直線となる）を示しているが、判別面は超平面でなくともよい。例えば教師データの各カテゴリ分布に含まれる特徴量データの特徴ベクトルＦｎ＝(ｆｎ＿１，ｆｎ＿２，…，ｆｎ＿ｋ）ｔを算出する。ここで、ｆｎ＿ｉはｎ番目のデータのｉ番目の特徴量値であり、ｋは特徴量の次元数である。そして、求めた特徴ベクトルＦｎをもとに、次式（３）に従って平均ベクトルμ、分散共分散行列Ｚを求める。
Figure JPOXMLDOC01-appb-M000003
　続いて、求めた平均ベクトルμ、分散共分散行列Ｚの値から推定できる多次元正規分布に対する確率密度関数Ｐを、次式（４）に従ってカテゴリ毎に設定することで、カテゴリの分布を考慮した判別基準を設定することができる。
Figure JPOXMLDOC01-appb-M000004
　そして、時系列区間を変更したならば、前回の時系列区間においてカテゴリ判別したデータの特徴量を加えて、式（３）および式（４）に従った計算を行うことで判別基準を更新する。各カテゴリの発生確率は、各カテゴリの領域数／全領域数によって、カテゴリ毎に求めることができる。
　判別基準を設定した後、図６に示すように、カテゴリ判別部７５８は、各クラスタのカテゴリを判別する（ステップＳ２５９）。具体的には、カテゴリ判別部７５８は、クラスタリングによって得られた各クラスタの平均ベクトルを求める。続いて、カテゴリ判別部７５８は、求めた平均ベクトルの値を式（４）に示す判別対象の特徴ベクトルｘとして確率Ｐ(ｘ）を算出する。そして、カテゴリ判別部７５８は、各カテゴリの発生確率を乗算した各カテゴリへの帰属確率を求め、最も大きな確率となるカテゴリを各クラスタのカテゴリであるとして判別する。
　続いて、分布推定部７５６が、カテゴリ判別後のクラスタ内の特徴量データをもとに各カテゴリの分布を推定し、分布推定情報を求める（ステップＳ２６１）。これは、図８におけるＴｈ＿Ｌ１やＴｈ＿Ｌ２を設定する部分に相当する処理であり、各クラスタ内のデータをもとに式（３）および式（４）に従った計算を行うことで実現できる。各カテゴリの発生確率は、各カテゴリの領域数／全領域数によって、カテゴリ毎に求めることができる。
　続いて、領域分類部７５３が、領域仮分類処理のステップＳ２５１で各画像の小区画毎に求めた特徴量と、ステップＳ２６１で求めた各カテゴリの分布推定情報をもとに、対象となる小区画を仮分類する（ステップＳ２６３）。具体的には、領域分類部７５３は、小区画毎に求めた特徴量ベクトルを式（４）に示す判別対象の特徴ベクトルｘとして確率Ｐ（ｘ）を算出し、これに各カテゴリの発生確率を乗算した各カテゴリへの帰属確率を求め、最も大きな確率となるカテゴリに仮分類する。なお、この際に帰属確率も記憶しておく。そして、図４のステップＳ２５にリターンし、その後ステップＳ２７に移行する。
　時系列区間ｓ～ｅの各画像Ｉ（ｊ）（ｓ≦ｊ≦ｅ）内をカテゴリ領域に仮分類する領域仮分類処理を終えると、区間設定部７５２が、時系列区間の終了画像Ｉ（ｅ）が、時系列画像最終の画像Ｉ（Ｔ）であるか判定する（ステップＳ２７）。判定がＮｏである場合には時系列区間の開始画像順序ｓをｓ´として記憶し、その後、所定の時系列幅ｄｓだけ時系列後方に変更した新たな開始画像順序ｓ＝ｓ＋ｄｓを設定する（ステップＳ２９）。ここで、時系列区間内の画像をもとに特徴量分布を推定し、この推定結果をもとにカテゴリ分類を行う場合、時系列区間の端となる区間開始画像や区間終了画像に関しては、時系列的に連続する画像との分類基準が急に変化することになる。そこで、例えば次式（５）に従って時系列幅を算出することによって時系列区間が必ず重なり合うように新たな区間開始画像を設定する。そして、重なり合った複数の時系列区間については、その時系列区間毎の分類基準で仮分類した結果を最終的に統合し、分類結果を求めるようにする。
　　ｄｓ＝０．５＊(ｅ－ｓ＋１）・・・（５）
　なお、処理速度等の観点から、全く区間に重なりが生じないようにｄｓ＝ｅ－ｓ＋１としてもよい。
　次に、領域分類部７５３は、画像Ｉ（ｓ´）～Ｉ（ｓ－１）の各画像内をカテゴリ領域に分類する（ステップＳ３１）。先に述べたように、分類基準の不連続性を解決するため、時系列区間を重ねた場合、Ｉ（ｓ´）～Ｉ（ｓ－１）の画像に対しては、重複する各時系列区間についての仮分類結果が得られている状態にある。そこでこれらの画像に対しては、仮分類結果をもとに最終的な分類結果を求める。区間の重なり幅が大きく、一つの小区画を多数の時系列区間で処理し、多数の仮分類結果が得られている場合には、最も回数の多いカテゴリに分類すればよい。また仮分類結果が２個等の場合には、分類の確信度に相当する値、例えばカテゴリ分布への帰属確率などが大きな方のカテゴリを最終的なカテゴリにする方法でもよい。そして、演算部７５０が、処理対象となる管空内画像の時系列順序を示す符号ｉ＝ｉ＋１とした後（ステップＳ３３）、処理ステップＳ１３に戻って上記の処理を繰り返し実行する。
　一方、処理ステップＳ２７での判定がＹｅｓである場合、すなわち時系列区間ｓ～ｅの区間終了画像が時系列画像の最後の画像である場合には、領域分類部７５３は、画像Ｉ（ｓ）～Ｉ（Ｔ）の各画像内をカテゴリ領域に分類する（ステップＳ３５）。これは、処理対象の画像が異なる以外は、ステップＳ３１と同様の処理である。そして、演算部７５０は、時系列画像を構成する各画像に対するカテゴリ分類結果を出力して（ステップＳ３７）、画像処理装置７０での処理を終了する。例えば、演算部７５０は、制御部７６０を介してカテゴリ分類結果を表示部７３０に表示出力させる。
　以上説明したように、本実施の形態によれば、時系列区間に含まれる画像間の変化量の累積値が所定値となるように時系列区間を設定することができる。そして、設定した時系列区間毎の分類基準を用いて、この時系列区間に含まれる画像内をカテゴリ分類することができる。これによれば、各時系列区間に含まれる画像内を、適正な分類基準を用いて各カテゴリ領域に分類することができ、分類精度を向上させることができる。したがって、時系列画像を構成する各画像を効率よく処理できるとともに、各画像から病変部を精度よく検出することができるという効果を奏する。
　以上のように、本発明の画像処理装置および画像処理プログラムは、時系列画像を構成する画像内を精度よく且つ効率よく分類するのに有用である。

Claims (17)

  1. 　時系列で撮像された複数の画像で構成される時系列画像を処理する画像処理装置であって、
    　前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定手段と、
    　前記区間設定手段によって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記時系列画像を構成する画像に対して時系列近傍となる他の画像との変化量を算出する変化量算出手段をさらに備え、
    　前記区間設定手段は、前記変化量算出手段で算出した変化量をもとに前記時系列区間を設定することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記領域分類手段は、
    　前記時系列区間に含まれる画像の特徴量を算出する特徴量算出手段と、
    　前記特徴量算出手段によって算出された特徴量の分布である特徴量分布をもとに、前記時系列区間に含まれる画像内に存在する前記各カテゴリ領域の特徴量分布を推定する分布推定手段と、
    　を有し、前記分布推定手段によって推定された前記各カテゴリ領域の特徴量分布をもとに、前記時系列区間に含まれる画像内を前記各カテゴリ領域に分類する請求項１または２に記載の画像処理装置。
  4. 　前記領域分類手段は、前記時系列区間から画像を選択する画像選択手段を有し、
    　前記分布推定手段は、前記画像選択手段で選択した画像の特徴量分布をもとに、前記時系列区間の画像内に存在する前記各カテゴリ領域の特徴量分布を推定することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記分布推定手段は、
    　前記特徴量算出手段によって算出された特徴量の分布である特徴量分布をクラスタリングするクラスタリング手段と、
    　前記クラスタリング手段によって得られた各クラスタのカテゴリを判別するカテゴリ判別手段と、
    　を有し、前記カテゴリ判別手段によってカテゴリが判別された前記各クラスタ内の特徴量データをもとに、前記各カテゴリ領域の特徴量分布を推定することを特徴とする請求項３または４に記載の画像処理装置。
  6. 　前記区間設定手段は、前記画像間の変化量を時系列順に累積した累積値をもとに前記時系列区間を設定することを特徴とする請求項１～５のいずれか１つに記載の画像処理装置。
  7. 　前記区間設定手段は、一部が時系列的に重なり合うように前記時系列区間を設定し、
    　前記領域分類手段は、前記時系列区間それぞれについての分類結果を統合して、重なり合った区間に含まれる画像内を前記各カテゴリ領域に分類することを特徴とする請求項１～６のいずれか１つに記載の画像処理装置。
  8. 　前記画像選択手段は、前記画像間の変化量をもとに画像を選択することを特徴とする請求項４～７のいずれか１つに記載の画像処理装置。
  9. 　前記画像選択手段は、前記画像間の変化量を時系列順に累積した累積値をもとに画像を選択することを特徴とする請求項８に記載の画像処理装置。
  10. 　前記カテゴリ判別手段は、前記時系列区間毎にカテゴリの判別基準を変更することを特徴とする請求項５～９のいずれか１つに記載の画像処理装置。
  11. 　前記変化量算出手段は、画像間で位置的に対応する画素または領域を比較することによって変化量を算出することを特徴とする請求項２～１０のいずれか１つに記載の画像処理装置。
  12. 　前記変化量算出手段は、画素値の統計量を比較することによって変化量を算出することを特徴とする請求項２～１１のいずれか１つに記載の画像処理装置。
  13. 　前記特徴量算出手段は、前記時系列区間に含まれる画像を複数の領域に分割し、分割領域毎に特徴量を算出することを特徴とする請求項３～１２のいずれか１つに記載の画像処理装置。
  14. 　前記領域分類手段は、前記時系列区間に含まれる画像を複数の領域に分割し、分割領域毎にカテゴリを分類することを特徴とする請求項１～１３のいずれか１つに記載の画像処理装置。
  15. 　前記時系列画像は、体内管空内の画像であることを特徴とする請求項１～１４のいずれか１つに記載の画像処理装置。
  16. 　前記カテゴリは、粘膜、内容物、泡、病変のいずれか一つを含むことを特徴とする請求項１～１５のいずれか１つに記載の画像処理装置。
  17. 　時系列で撮像された複数の画像で構成される時系列画像を処理するコンピュータに、
    　前記時系列画像を構成する画像間の変化量をもとに所定の時系列区間を設定する区間設定ステップと、
    　前記区間設定ステップによって設定される時系列区間毎の分類基準を用いて前記時系列区間に含まれる画像内を複数のカテゴリ領域に分類する領域分類ステップと、
    　を実行させることを特徴とする画像処理プログラム。
PCT/JP2008/071048 2008-01-08 2008-11-19 画像処理装置および画像処理プログラム WO2009087821A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2008801242782A CN101909510B (zh) 2008-01-08 2008-11-19 图像处理装置以及图像处理程序
EP08869808.9A EP2229867A4 (en) 2008-01-08 2008-11-19 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING PROGRAM
US12/831,551 US8724847B2 (en) 2008-01-08 2010-07-07 Image processing apparatus and program storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008001675A JP5312807B2 (ja) 2008-01-08 2008-01-08 画像処理装置および画像処理プログラム
JP2008-001675 2008-01-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/831,551 Continuation US8724847B2 (en) 2008-01-08 2010-07-07 Image processing apparatus and program storage medium

Publications (1)

Publication Number Publication Date
WO2009087821A1 true WO2009087821A1 (ja) 2009-07-16

Family

ID=40852947

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/071048 WO2009087821A1 (ja) 2008-01-08 2008-11-19 画像処理装置および画像処理プログラム

Country Status (5)

Country Link
US (1) US8724847B2 (ja)
EP (1) EP2229867A4 (ja)
JP (1) JP5312807B2 (ja)
CN (1) CN101909510B (ja)
WO (1) WO2009087821A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121504A1 (en) * 2010-03-31 2011-10-06 Koninklijke Philips Electronics N.V. Automated identification of an anatomy part

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5576711B2 (ja) * 2010-05-14 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
CN103180718B (zh) * 2010-10-29 2016-01-13 奥林巴斯株式会社 图像分析方法以及图像分析装置
EP2623957B1 (en) * 2010-10-29 2018-12-26 Olympus Corporation Image analysis method and image analysis device
JP5816459B2 (ja) * 2011-05-16 2015-11-18 Hoya株式会社 電子内視鏡システム、電子内視鏡システムの動作方法、及びソフトウェア
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
IN2014DN07441A (ja) * 2012-02-23 2015-04-24 Smith & Nephew Inc
US9117121B2 (en) * 2012-05-21 2015-08-25 The Chinese University Of Hong Kong Detection of disease-related retinal nerve fiber layer thinning
EP2910173A4 (en) * 2012-10-18 2016-06-01 Olympus Corp IMAGE PROCESSING DEVICE AND METHOD
JP6339872B2 (ja) * 2014-06-24 2018-06-06 オリンパス株式会社 画像処理装置、内視鏡システム及び画像処理方法
CN106687023B (zh) 2015-08-13 2018-12-18 Hoya株式会社 评价值计算装置以及电子内窥镜***
WO2017026539A1 (ja) 2015-08-13 2017-02-16 Hoya株式会社 評価値計算装置及び電子内視鏡システム
EP3539455A1 (fr) * 2018-03-14 2019-09-18 Sorbonne Université Procédé pour déterminer automatiquement la qualité de visualisation des images en vidéocapsule endoscopique
DE112018007522T5 (de) * 2018-05-31 2021-01-14 Mitsubishi Electric Corporation Arbeitsanalyseeinrichtung
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10496911B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US10504013B1 (en) 2019-04-24 2019-12-10 Capital One Services, Llc Colorspace encoding multimedia data on a physical page
US10799090B1 (en) * 2019-06-13 2020-10-13 Verb Surgical Inc. Method and system for automatically turning on/off a light source for an endoscope during a surgery
US10529300B1 (en) 2019-06-20 2020-01-07 Capital One Services, Llc Adaptive image display based on colorspace conversions
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US10715183B1 (en) 2019-10-25 2020-07-14 Capital One Services, Llc Data encoding with error-correcting code pursuant to colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) * 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02124131A (ja) * 1988-11-02 1990-05-11 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2006288878A (ja) * 2005-04-13 2006-10-26 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2006320585A (ja) * 2005-05-19 2006-11-30 Olympus Medical Systems Corp 画像表示装置
JP2006334297A (ja) * 2005-06-06 2006-12-14 Olympus Medical Systems Corp 画像表示装置
JP2006334115A (ja) * 2005-06-01 2006-12-14 Olympus Medical Systems Corp 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
JP2007175434A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2007175432A (ja) 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2007244519A (ja) * 2006-03-14 2007-09-27 Olympus Medical Systems Corp 画像解析装置
JP2007307396A (ja) * 2003-04-25 2007-11-29 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2007307395A (ja) * 2003-04-25 2007-11-29 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4396903A (en) * 1981-05-29 1983-08-02 Westinghouse Electric Corp. Electro-optical system for correlating and integrating image data from frame-to-frame
JP4156084B2 (ja) * 1998-07-31 2008-09-24 松下電器産業株式会社 移動物体追跡装置
JP3333468B2 (ja) * 1999-05-24 2002-10-15 本田技研工業株式会社 車両自律走行の走行路画像処理装置
JP2001155167A (ja) * 1999-11-30 2001-06-08 Canon Inc 領域分割方法及び装置並びに記憶媒体
US20040190607A1 (en) * 2002-04-03 2004-09-30 Koji Wakimoto Video relay device, video distribution system, video relay method
JP4080276B2 (ja) 2002-08-27 2008-04-23 富士フイルム株式会社 オブジェクト抽出方法および装置ならびにプログラム
US7664298B2 (en) * 2003-03-25 2010-02-16 Imaging Therapeutics, Inc. Methods for the compensation of imaging technique in the processing of radiographic images
CN101288582A (zh) * 2003-04-25 2008-10-22 奥林巴斯株式会社 图像显示装置和图像显示方法
JP4546762B2 (ja) * 2004-05-20 2010-09-15 日本放送協会 映像イベント判別用学習データ生成装置及びそのプログラム、並びに、映像イベント判別装置及びそのプログラム
KR100568237B1 (ko) * 2004-06-10 2006-04-07 삼성전자주식회사 비디오 영상으로부터 이동 물체를 추출하는 장치 및 방법
JP2006041648A (ja) * 2004-07-23 2006-02-09 Renesas Technology Corp 動画像処理ユニット
KR100970295B1 (ko) * 2005-04-13 2010-07-15 올림푸스 메디칼 시스템즈 가부시키가이샤 화상 처리 장치 및 화상 처리 방법
US20070060798A1 (en) * 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
EP1969992B1 (en) * 2005-12-28 2012-05-02 Olympus Medical Systems Corp. Image processing device and image processing method in the image processing device
WO2008007471A1 (fr) * 2006-07-10 2008-01-17 Kyoto University Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02124131A (ja) * 1988-11-02 1990-05-11 Olympus Optical Co Ltd 内視鏡画像処理装置
JP2007307396A (ja) * 2003-04-25 2007-11-29 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2007307395A (ja) * 2003-04-25 2007-11-29 Olympus Corp 画像表示装置、画像表示方法および画像表示プログラム
JP2006288878A (ja) * 2005-04-13 2006-10-26 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2006320585A (ja) * 2005-05-19 2006-11-30 Olympus Medical Systems Corp 画像表示装置
JP2006334115A (ja) * 2005-06-01 2006-12-14 Olympus Medical Systems Corp 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
JP2006334297A (ja) * 2005-06-06 2006-12-14 Olympus Medical Systems Corp 画像表示装置
JP2007175434A (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2007175432A (ja) 2005-12-28 2007-07-12 Olympus Medical Systems Corp 画像処理装置および当該画像処理装置における画像処理方法
JP2007244519A (ja) * 2006-03-14 2007-09-27 Olympus Medical Systems Corp 画像解析装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2229867A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011121504A1 (en) * 2010-03-31 2011-10-06 Koninklijke Philips Electronics N.V. Automated identification of an anatomy part
US10524741B2 (en) 2010-03-31 2020-01-07 Koninklijke Philips N.V. Automated identification of an anatomy part

Also Published As

Publication number Publication date
EP2229867A4 (en) 2014-12-17
CN101909510B (zh) 2012-12-12
JP2009163579A (ja) 2009-07-23
JP5312807B2 (ja) 2013-10-09
EP2229867A1 (en) 2010-09-22
CN101909510A (zh) 2010-12-08
US8724847B2 (en) 2014-05-13
US20100272358A1 (en) 2010-10-28

Similar Documents

Publication Publication Date Title
JP5312807B2 (ja) 画像処理装置および画像処理プログラム
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
US8290280B2 (en) Image processing device, image processing method, and computer readable storage medium storing image processing program
US10860930B2 (en) Learning method, image recognition device, and computer-readable storage medium
US8743189B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium storing image processing program
US8705818B2 (en) Image processing device, computer readable storage medium storing image processing program, and image processing method
US9186051B2 (en) Image processing device, computer-readable recording device, and image processing method
JP5005032B2 (ja) 画像表示装置および画像表示プログラム
JP5147308B2 (ja) 画像抽出装置および画像抽出プログラム
US8135192B2 (en) Image processing apparatus and image processing method
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
JP5424584B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
US20110301447A1 (en) Versatile video interpretation, visualization, and management system
CN104350742A (zh) 用于显示图像流的***和方法
JP2013027636A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN111862090A (zh) 一种基于人工智能的食管癌术前管理的方法和***
JP5784751B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
Arnold et al. Indistinct frame detection in colonoscopy videos
TW202322744A (zh) 用於分析內視鏡程序之檢查品質之電腦執行系統及方法
JP2010142375A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
Klepaczko et al. Local polynomial approximation for unsupervised segmentation of endoscopic images
CN117854705A (zh) 上消化道多病变多任务智能诊断方法、装置、设备及介质

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880124278.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08869808

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008869808

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE