WO2016151711A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2016151711A1
WO2016151711A1 PCT/JP2015/058616 JP2015058616W WO2016151711A1 WO 2016151711 A1 WO2016151711 A1 WO 2016151711A1 JP 2015058616 W JP2015058616 W JP 2015058616W WO 2016151711 A1 WO2016151711 A1 WO 2016151711A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature amount
abnormality
image processing
dimensions
processing apparatus
Prior art date
Application number
PCT/JP2015/058616
Other languages
English (en)
French (fr)
Inventor
北村　誠
都士也 上山
光隆 木村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2015/058616 priority Critical patent/WO2016151711A1/ja
Priority to JP2017507176A priority patent/JP6552601B2/ja
Publication of WO2016151711A1 publication Critical patent/WO2016151711A1/ja
Priority to US15/705,657 priority patent/US10687913B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and an image processing program for performing image processing on an in vivo lumen image obtained by imaging an in vivo lumen.
  • the present invention has been made in view of the above, and provides an image processing device, an image processing method, and an image processing program capable of accurately acquiring an integrated feature amount suitable for accurately expressing an observation target.
  • the purpose is to do.
  • an image processing apparatus has a predetermined condition regarding a tissue property of a living body or a state in a living body from a living body lumen image obtained by imaging a living body lumen.
  • An abnormality candidate area detecting means for detecting an abnormal candidate area that satisfies, a feature quantity calculating means for calculating a plurality of feature quantities including different types from each of the plurality of areas in the in-vivo lumen image, and
  • An integrated feature quantity calculating means for calculating an integrated feature quantity by integrating the plurality of feature quantities based on information; a detecting means for detecting an abnormality from the in-vivo lumen image using the integrated feature quantity; It is characterized by providing.
  • An image processing method includes an abnormal candidate region detection step of detecting an abnormal candidate region in which a tissue property or a state of a living body satisfies a predetermined condition from an in vivo lumen image obtained by imaging the in vivo lumen; A feature amount calculating step of calculating a plurality of feature amounts including different types from each of the plurality of regions in the in-vivo lumen image, and integrating the plurality of feature amounts based on information on the abnormal candidate region And an integrated feature amount calculating step for calculating an integrated feature amount, and a detecting step for detecting an abnormality of the in-vivo lumen image using the integrated feature amount.
  • An image processing program includes an abnormal candidate region detection step for detecting an abnormal candidate region in which a tissue property of the living body or a state in the living body satisfies a predetermined condition from an in-vivo lumen image obtained by imaging the in-vivo lumen; A feature amount calculating step of calculating a plurality of feature amounts including different types from each of the plurality of regions in the in-vivo lumen image, and integrating the plurality of feature amounts based on information on the abnormal candidate region An integrated feature amount calculating step for calculating an integrated feature amount by using the integrated feature amount and a detecting step for detecting an abnormality of the in-vivo lumen image using the integrated feature amount are executed by a computer.
  • an abnormality candidate region is detected, and a plurality of types of feature amounts are integrated based on the detected abnormality candidate region information. Therefore, an integrated feature amount suitable for accurately expressing an observation target is accurately determined. Can be acquired.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram schematically illustrating an outline of processing performed by the feature amount calculation unit of the image processing apparatus according to Embodiment 1 of the present invention on the abnormal candidate region.
  • FIG. 3 is a diagram schematically illustrating an outline of processing in which the feature amount calculation unit of the image processing apparatus according to Embodiment 1 of the present invention extracts a circular region.
  • FIG. 4 is a flowchart showing an outline of processing executed by the image processing apparatus according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram illustrating an example of an abnormal candidate area and an area that is not an abnormal candidate area in the extended area.
  • FIG. 6 is a diagram schematically illustrating a case where the gravity center position of the abnormality candidate region exists in the bubble inner region.
  • FIG. 7 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 8 is a flowchart showing an outline of processing performed by the image processing apparatus according to Embodiment 2 of the present invention.
  • FIG. 9 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 10 is a flowchart showing an outline of processing performed by the image processing apparatus according to Embodiment 3 of the present invention.
  • FIG. 1 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 1 of the present invention.
  • An image processing apparatus 1 shown in FIG. 1 includes a calculation unit 2 and a storage unit 3.
  • the image processing apparatus 1 has a function of acquiring an in-vivo lumen image captured by a capsule endoscope, an endoscope, or the like and performing predetermined image processing.
  • As the in-vivo lumen image a color image having pixel levels (pixel values) with respect to wavelength components of R (red), G (green), and B (blue) at each pixel position is used.
  • the calculation unit 2 includes an abnormal candidate region detection unit 4 that detects an abnormal candidate region that satisfies a predetermined condition of the tissue characteristics or in vivo condition of the living body from the in vivo lumen image, and a plurality of regions in the in vivo lumen image.
  • a feature amount calculation unit 5 that calculates a plurality of feature amounts including different types from each of the features, and an integrated feature amount calculation unit that calculates an integrated feature amount by integrating the plurality of feature amounts based on information on the abnormality candidate region 6 and a detection unit 7 that detects an abnormality from the in-vivo lumen image using the integrated feature amount.
  • the abnormal candidate region detection unit 4 detects, as an abnormal candidate region, a region that satisfies a predetermined condition of the tissue properties or the state of the living body in the in-vivo lumen image.
  • abnormal candidate regions for example, regions in which the tissue properties of the living body have changed, such as after, ulcer, erosion, polyp, tumor, redness, villi abnormality, and in vivo state changes such as bleeding have occurred An area can be mentioned.
  • Such an abnormal candidate region can also be referred to as a region that may cause a lesion.
  • the abnormality candidate region may be a partial region of the image or a region of the entire image.
  • the abnormal candidate region detection unit 4 detects an abnormal candidate region from the in-vivo lumen image based on the color feature amount, the shape feature amount, and / or the texture feature amount. For example, after and ulcers show a specific color of white, and bleeding and redness show a specific color of red, so detection by color feature amount is possible. Further, since polyps and tumors are often circular regions, they can be detected by shape feature amounts. In addition, abnormalities of villus or the like can often be detected by a texture feature amount because the mucosal surface pattern is often non-uniform. The abnormality candidate region detection unit 4 detects these abnormality candidate regions based on the color feature amount, the shape feature amount, and / or the texture feature amount.
  • the abnormal candidate area detection unit 4 determines whether each pixel is an abnormal candidate area based on the color feature amount and the discrimination criterion of each pixel to be processed.
  • the discrimination criterion for the color feature amount referred to by the abnormal candidate region detection unit 4 is secondarily obtained by known conversion based on the pixel values of the R, G, and B components of the specific region collected in advance. It is determined on the basis of color features such as the calculated value, color difference (YCbCr conversion), hue, saturation (HSI conversion), color ratio (G / R, B / G), etc., and is stored in the storage unit 3. Yes.
  • the abnormality candidate region detection unit 4 may detect the abnormality candidate region by a method based on the feature space distance with the representative color feature amount.
  • the abnormality candidate region detection unit 4 instead of using the color feature amount in units of pixels, divides the image into small regions based on edge information in the image, and then detects the color feature amounts in units of small regions. May be.
  • the abnormal candidate area detection unit 4 detects an abnormal candidate area based on the shape feature amount.
  • the abnormality candidate region detection unit 4 calculates the gradient strength of each pixel (luminance value, G value, etc.) in the image by using known Sobel, Laplacian, etc., and the gradient strength is stored in the storage unit 3 in advance.
  • a correlation value with a circular model is calculated, and a circular area where the correlation value is equal to or greater than a predetermined threshold is detected as an abnormal candidate area.
  • the method of detecting the abnormal candidate region by performing pattern matching with the circular model created in advance by the abnormal candidate region detecting unit 4 has been described.
  • the circular candidate region can be detected from the image. Any method may be employed, for example, known Hough transform, RANSAC (Random Sample Consensus), DPM (Deformable Part Model), ELSD (Ellipse and Line Segment Detector), etc. may be employed.
  • the abnormality candidate region detection unit 4 determines that each rectangular region is an abnormality candidate region based on the texture feature amount calculated for each rectangular region obtained by dividing the image into rectangles and the discrimination criterion stored in the storage unit 3 in advance. It is determined whether or not there is.
  • the discriminant criteria for the texture feature amount referred to by the abnormality candidate region detection unit 4 is determined based on the texture feature amount such as the LBP (Local Binary Pattern) feature amount of the abnormal region collected in advance and the dispersion of RGB values. .
  • the feature amount calculation unit 5 performs a labeling process on the abnormal candidate areas, extracts circumscribed rectangular areas circumscribing each abnormal candidate area, and sets an extended area by deforming the circumscribed rectangular area.
  • the extended area is set as an extended area obtained by expanding the circumscribed rectangular area by n (1.0 ⁇ n ⁇ 2.0) times.
  • the “maximum area variable” on the right side of Equation (1) is an area serving as a reference for setting the circumscribed rectangular area, and corresponds to the maximum area assumed as an abnormal candidate area.
  • FIG. 2 is a diagram schematically illustrating an outline of processing performed by the feature amount calculation unit 5 on the abnormality candidate region.
  • FIG. 2 shows a case where the circumscribed rectangular area 102 is extracted from the circular abnormal candidate area 101 and the extended area 103 is set.
  • the feature amount calculation unit 5 extracts representative pixel positions from the extended area at regular intervals or randomly, and extracts a circular area having a predetermined radius centered on the pixel position.
  • FIG. 3 is a diagram schematically illustrating an outline of processing in which the feature amount calculation unit 5 extracts a circular area.
  • FIG. 3 shows a case where the feature quantity calculation unit 5 extracts a plurality of circular regions 104 centering on each pixel position extracted at regular intervals with respect to the extended region 103.
  • a method for extracting a circular region in this way for example, a method called DENS can be applied.
  • SIFT Scale-invariant Feature Transform
  • the feature amount calculation unit 5 includes a color feature amount (RGB average value, YCbCr average value, HSI average value, G / R average value, B / G average value, etc.), shape feature amount (HoG) as a plurality of types of feature amounts. : Histograms of Oriented Gradients, SIFT, etc.) and texture features (LBP, variance, kurtosis, skewness, etc.) are calculated. Note that the types of feature values described here are merely examples, and other types of feature values can be used.
  • the integrated feature amount calculation unit 6 includes an abnormality candidate region information acquisition unit 61 that acquires information on an abnormality candidate region, and a parameter control unit 62 that controls an integrated feature amount calculation parameter based on the information on the abnormality candidate region.
  • the abnormality candidate area information acquisition unit 61 determines the type of abnormality in the abnormality candidate area based on the detection result of the abnormality candidate area detection unit 4. Specifically, the abnormality candidate area information acquisition unit 61 determines that an abnormality candidate area is determined to be an abnormality candidate area by the color feature amount when detected by the abnormality candidate region detection unit 4, and determines the color abnormality based on the shape feature amount. What is determined to be an abnormal candidate region is determined to be a shape abnormality, and what is determined to be an abnormal candidate region by the texture feature amount is determined to be a texture abnormality.
  • based on feature quantity distributions such as color feature quantities (RGB, HSV, etc.), shape information (HoG, area, perimeter, ferret diameter, etc.), texture feature quantities (LBP, etc.) calculated from each abnormality type
  • the type of abnormality may be determined based on the determination criteria created in step (b).
  • the parameter control unit 62 sets the number of dimensions for each type of feature amount used when calculating the integrated feature amount as a calculation parameter, and selects the feature amount according to the set number of dimensions for each type.
  • Have The feature amount selection unit 621 selects a color feature amount preferentially over other types of feature amounts when the abnormality type of the abnormality candidate region is a color abnormality, and selects a shape feature amount when the shape is abnormal.
  • a feature amount is selected with priority over other types of feature amounts, and if the texture is abnormal, a texture feature amount is selected with priority over other types of feature amounts.
  • the feature amount selection unit 621 sets the number of dimensions of the color feature amount to be larger than the number of dimensions of other types of feature amounts, and the shape abnormality If it is, the dimension number of the shape feature quantity is set to be larger than the dimension number of the feature quantity of the other type, and if the texture is abnormal, the dimension number of the texture feature quantity is set to the number of dimensions of the other type of feature quantity. Set larger than.
  • a specific example of setting the number of dimensions when there are three types of feature quantities (color feature quantity, shape feature quantity, texture feature quantity) and the feature quantity to be selected is 100 dimensions will be described below.
  • Color feature amount 80 dimensions, shape feature amount: 10 dimensions, texture feature amount: 10 dimensions (2) In case of shape abnormality Color feature amount: 10 dimensions, shape feature amount: 80 dimensions, texture feature Quantity: 10 dimensions (3) In case of texture abnormality Color feature quantity: 10 dimensions, shape feature quantity: 10 dimensions, texture feature quantity: 80 dimensions Note that the selection ratio described here is only an example, for example (1) In the case of color abnormality, as long as the number of dimensions of the color feature amount is the maximum, it may be set in any way.
  • the integrated feature quantity calculation unit 6 calculates an integrated feature quantity having a predetermined number of dimensions using the above-described BoF or a known Fisher Vector based on the feature quantity selected by the feature quantity selection unit 621.
  • the number of dimensions of the integrated feature amount is set in advance.
  • the integrated feature amount calculation unit 6 calculates the integrated feature amount using BoF
  • the number of dimensions of the integrated feature amount is equal to the number of representative vectors.
  • the integrated feature value calculation unit 6 calculates the integrated feature value using the Fisher Vector
  • the number of dimensions of the integrated feature value is equal to the number of distributions.
  • the detection unit 7 uses the integrated feature amount calculated by the integrated feature amount calculation unit 6 to detect an abnormal region with a discriminator such as a known SVM (Support Vector Machine) (for SVM, for example, Adcom Media Co., Ltd.) Company: See Computer Vision Advanced Guide 3, pages 95-102).
  • a discriminator such as a known SVM (Support Vector Machine) (for SVM, for example, Adcom Media Co., Ltd.) Company: See Computer Vision Advanced Guide 3, pages 95-102).
  • the arithmetic unit 2 is realized by using a general-purpose processor such as a CPU (Central Procuring Unit) having arithmetic and control functions, or a dedicated integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • a general-purpose processor such as a CPU (Central Procuring Unit) having arithmetic and control functions, or a dedicated integrated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • the storage unit 3 stores in-vivo lumen image data to be processed and various information necessary for processing.
  • the storage unit 3 includes various IC memories such as ROM (Read Only Memory) or RAM (Random Access Memory), a hard disk connected with a built-in or data communication terminal, or an information recording device such as a CD-ROM and its reading device. Realized.
  • the storage unit 3 operates the image processing device 1 in addition to the image data of the in-vivo lumen image acquired by the image processing device 1, and causes the image processing device 1 to execute various functions.
  • the data used during the execution of is stored.
  • the storage unit 3 stores the image processing program according to the first embodiment and various parameters such as a threshold value used when performing the image processing.
  • Various programs such as an image processing program stored in the storage unit 3 can be recorded on a computer-readable recording medium.
  • the recording of various programs in the storage unit 3 or the recording medium may be performed when the computer or the recording medium is shipped as a product, or may be performed by downloading via a communication network.
  • the communication network here is realized by, for example, an existing public line network, LAN (Local Area Network), WAN (Wide Area Network), etc., and may be wired or wireless.
  • the image processing apparatus 1 having the above configuration may be realized using a single computer or a plurality of computers. In the latter case, it is also possible to perform processing in cooperation with each other while transmitting and receiving data via a communication network.
  • the computer here can be comprised by a general purpose personal computer, a server, etc., for example.
  • FIG. 4 is a flowchart showing an outline of processing executed by the image processing apparatus 1.
  • the image processing apparatus 1 acquires a biological lumen image as a processing target, writes it in the storage unit 3, and stores it (step S1).
  • the image processing apparatus 1 may acquire a biological lumen image by communicating with a device such as a capsule endoscope that captures a biological lumen image, or from a recording medium on which the biological lumen image is recorded. You may acquire by reading the data of a lumen image in a living body.
  • the abnormal candidate region detection unit 4 detects an abnormal candidate region from the in-vivo lumen image based on the color feature amount, the shape feature amount, and / or the texture feature amount (step S2).
  • the feature amount calculation unit 5 calculates a plurality of feature amounts including different types from each of the plurality of regions in the image (step S3).
  • the feature quantity calculation unit 5 extracts a circumscribed rectangular area circumscribing each abnormality candidate area, and sets an extended area by deforming the circumscribed rectangular area (see FIG. 2).
  • the feature amount calculation unit 5 extracts pixel positions from the extension region at regular intervals or at random.
  • the feature amount calculation unit 5 extracts a plurality of circular regions centered on the extracted pixel positions as a plurality of regions (see FIG. 3), and calculates a plurality of feature amounts for each circular region.
  • the plurality of feature amounts calculated by the feature amount calculation unit 5 include, for example, a color feature amount, a shape feature amount, a texture feature amount, and the like.
  • the abnormality candidate area information acquisition unit 61 acquires information on the abnormality candidate area as information for controlling the calculation parameter of the integrated feature amount (step S4). Specifically, the abnormality candidate region information acquisition unit 61 determines the type of abnormality in the abnormality candidate region based on the detection result of the abnormality candidate region detection unit 4.
  • the feature quantity selection unit 621 selects a feature quantity based on the information on the abnormality candidate area (step S5). At this time, the feature quantity selection unit 621 sets the number of dimensions of each type of feature quantity according to the number of dimensions set for each type of feature quantity according to the information of the abnormality candidate region, and according to the number of dimensions. Select each type of feature.
  • the integrated feature quantity calculation unit 6 calculates an integrated feature quantity obtained by integrating a plurality of feature quantities based on the feature quantity selected by the feature quantity selection unit 621 (step S6).
  • the detection unit 7 detects an abnormality in the in-vivo lumen image based on the calculated integrated feature amount and outputs a detection result (step S7).
  • an abnormality candidate area is detected, and a plurality of types of feature quantities are integrated based on the detected abnormality candidate area information.
  • a suitable integrated feature amount can be accurately acquired.
  • the integrated feature amount corresponding to the abnormality candidate region is calculated. It is possible to prevent false detection and non-detection.
  • Modification 1-1 As a modification 1-1 of the first embodiment, a second example of the abnormality candidate area information acquisition process and the feature amount selection process performed by the abnormality candidate area information acquisition unit 61 will be described.
  • the abnormality candidate area information acquisition unit 61 calculates the clarity at the boundary of the abnormality candidate area. First, the abnormality candidate area information acquisition unit 61 calculates pixel average values (luminance average value, G average value, G / R average value, etc.) in each abnormality candidate area. Subsequently, the abnormal candidate area information acquisition unit 61 calculates pixel average values (luminance average value, G average value, G / R average value, etc.) of areas that are not abnormal candidate areas in each extended area.
  • the abnormality candidate area information acquisition unit 61 calculates the difference between the pixel average value in each abnormality candidate area and the pixel average value of an area that is not an abnormality candidate area in the extended area.
  • FIG. 5 is a diagram illustrating an example of an abnormal candidate area and an area that is not an abnormal candidate area in the extended area.
  • An area 105 illustrated in FIG. 5 indicates an area that is not the abnormal candidate area 101 in the extended area 103.
  • the abnormality candidate area information acquisition unit 61 determines that the boundary is clear when the difference between the pixel average values is greater than or equal to the predetermined value, and the boundary when the difference between the average pixel values is less than the predetermined value. Is determined to be unclear.
  • the feature quantity selection unit 621 sets the number of dimensions for each feature quantity to be selected based on the clarity at the boundary of the abnormality candidate region.
  • the feature quantity selection unit 621 preferentially selects the color feature quantity and sets the dimensionality of the color feature quantity and the shape feature quantity to be larger than the dimensionality of the texture feature quantity.
  • the feature quantity selection unit 621 sets color feature quantity: 40 dimensions, shape feature quantity: 40 dimensions, and texture feature quantity: 20 dimensions.
  • the feature amount selection unit 621 preferentially selects the texture feature amount, and sets the number of dimensions of the texture feature amount to be larger than the number of dimensions of the color feature amount and the shape feature amount.
  • the feature quantity selection unit 621 sets color feature quantity: 10 dimensions, shape feature quantity: 10 dimensions, and texture feature quantity: 80 dimensions when the dimension number of the feature quantities to be selected is 100 dimensions.
  • the abnormal candidate region information acquisition unit 61 determines the organ type in the in-vivo lumen image.
  • a method for discriminating the organ type a method for discriminating the organ type based on the average R, G, B values of the in-vivo luminal image (see, for example, JP-A-2006-288612) is used.
  • the storage unit 3 stores in advance numerical ranges of R, G, and B average values in stomach, small intestine, and large intestine images.
  • the abnormal candidate region information acquisition unit 61 determines the organ type by comparing the R, G, and B average values in the image with the numerical ranges of the stomach, small intestine, and large intestine stored in the storage unit 3.
  • the feature amount selection unit 621 sets the number of dimensions for each feature amount to be selected based on the organ type determined by the abnormality candidate region information acquisition unit 61.
  • the main detection target is an abnormality characterized by color or texture such as bleeding, erosion / ulcer.
  • the feature amount selection unit 621 preferentially selects the color feature amount and the texture feature amount, and sets the number of dimensions of the color feature amount and the texture feature amount to be larger than the number of dimensions of the shape feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100 dimensions, the feature quantity selection unit 621 sets color feature quantity: 40 dimensions, shape feature quantity: 20 dimensions, and texture feature quantity: 40 dimensions.
  • the feature amount selection unit 621 preferentially selects the shape feature amount, and sets the number of dimensions of the shape feature amount to be larger than the number of dimensions of the color feature amount and the texture feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100, the feature quantity selection unit 621 sets color feature quantity: 10 dimensions, shape feature quantity: 80 dimensions, and texture feature quantity: 10 dimensions.
  • Modification 1-3 As a modification 1-3 of the first embodiment, a fourth example of the abnormality candidate area information acquisition process and the feature amount selection process performed by the abnormality candidate area information acquisition unit 61 will be described.
  • the abnormality candidate area information acquisition unit 61 determines whether or not the abnormality candidate area is in the bubble inner area.
  • the storage unit 3 stores a bubble model created in advance from a bubble image.
  • the abnormality candidate area information acquisition unit 61 calculates the gradient strength from each pixel (luminance value, G value, etc.) in the image using a known Sobel, Laplacian, or the like.
  • the abnormality candidate area information acquisition unit 61 calculates a correlation value at each pixel position of the bubble model and the gradient intensity image stored in the storage unit 3. Thereafter, the abnormal candidate region information acquisition unit 61 extracts a region having a correlation value with the bubble model that is equal to or greater than a predetermined threshold as a bubble internal region. Subsequently, the abnormality candidate area information acquisition unit 61 calculates the gravity center position of each abnormality candidate area. Finally, the abnormality candidate region information acquisition unit 61 determines whether the center of gravity position of the abnormality candidate region exists in the bubble inner region or the bubble outer region.
  • FIG. 6 is a diagram schematically illustrating a case where the gravity center position of the abnormality candidate region exists in the bubble inner region. In the case illustrated in FIG. 6, the abnormality candidate area information acquisition unit 61 determines that the gravity center position exists in the bubble inner area.
  • the feature amount selecting unit 621 sets the number of dimensions for each feature amount to be selected when it is determined that the abnormality candidate region is in the bubble inner region. If the abnormal candidate region is in the bubble inner region, the redness of the mucous membrane region becomes strong, and it is considered that there is no significant difference in color between the abnormal region and the normal region. In this case, the feature amount selection unit 621 preferentially selects the shape feature amount and the texture feature amount, and sets the number of dimensions of the shape feature amount and the texture feature amount to be larger than the number of dimensions of the color feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100, the feature quantity selection unit 621 sets the color feature quantity: 20 dimensions, the shape feature quantity: 40 dimensions, and the texture feature quantity: 40 dimensions.
  • the feature amount selection unit 621 sets the number of dimensions of the three feature amounts substantially uniformly. For example, if the number of dimensions of the feature quantity to be selected is 100 dimensions, the feature quantity selection unit 621 sets the two kinds of dimensions to 33 dimensions and the remaining one kind of dimensions to 34 dimensions. Further, a predetermined balance that is not uniform and determined in advance may be set.
  • Modification 1-4 As a modification 1-4 of the first embodiment, a fifth example of the abnormality candidate area information acquisition process and the feature amount selection process performed by the abnormality candidate area information acquisition unit 61 will be described.
  • the abnormal candidate area information acquisition unit 61 determines whether or not the abnormal candidate area is in the dark area. First, the abnormality candidate area information acquisition unit 61 calculates a luminance average value (G average value or the like) in each extended area. After that, the abnormal candidate area information acquisition unit 61 determines that the abnormal candidate area is a dark area when the average luminance value is equal to or less than a predetermined threshold value.
  • G average value luminance average value
  • the feature quantity selection unit 621 sets the number of dimensions for each feature quantity to be selected when it is determined that the abnormal candidate area is in the dark area. If the abnormal candidate region is a dark region, it is considered that there is no significant difference in color between the abnormal region and the normal region. In this case, the feature amount selection unit 621 preferentially selects the shape feature amount and the texture feature amount, and sets the number of dimensions of the shape feature amount and the texture feature amount to be larger than the number of dimensions of the color feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100, the feature quantity selection unit 621 sets the color feature quantity: 20 dimensions, the shape feature quantity: 40 dimensions, and the texture feature quantity: 40 dimensions.
  • the feature amount selection unit 621 sets the number of dimensions of the three feature amounts substantially uniformly. For example, if the number of dimensions of the feature quantity to be selected is 100 dimensions, the feature quantity selection unit 621 sets the two kinds of dimensions to 33 dimensions and the remaining one kind of dimensions to 34 dimensions.
  • Modification 1-5) As a modification example 1-5 of the first embodiment, a sixth example of the abnormality candidate area information acquisition process and the feature amount selection process performed by the abnormality candidate area information acquisition unit 61 will be described.
  • the abnormality candidate area information acquisition unit 61 determines whether or not the abnormality candidate area is in the halation area. First, the abnormality candidate area information acquisition unit 61 calculates a luminance average value (G average value or the like) in each extended area. Thereafter, the abnormal candidate area information acquisition unit 61 determines that the abnormal candidate area is a halation area when the average luminance value is equal to or greater than a predetermined threshold value.
  • G average value or the like a luminance average value
  • the feature amount selection unit 621 sets the number of dimensions for each feature amount to be selected when it is determined that the abnormality candidate region is a halation region. If the abnormal candidate area is a halation area, it is considered that the color balance is lost. In this case, the feature amount selection unit 621 preferentially selects the shape feature amount and the texture feature amount, and sets the number of dimensions of the shape feature amount and the texture feature amount to be larger than the number of dimensions of the color feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100, the feature quantity selection unit 621 sets the color feature quantity: 20 dimensions, the shape feature quantity: 40 dimensions, and the texture feature quantity: 40 dimensions.
  • the feature amount selecting unit 621 sets the number of dimensions of the three feature amounts substantially uniformly. For example, if the number of dimensions of the feature quantity to be selected is 100 dimensions, the feature quantity selection unit 621 sets the two kinds of dimensions to 33 dimensions and the remaining one kind of dimensions to 34 dimensions.
  • Modification 1-6 As a modified example 1-6 of the first embodiment, a seventh example of the abnormality candidate area information acquisition process and the feature amount selection process performed by the abnormality candidate area information acquisition unit 61 will be described.
  • the abnormal candidate region information acquisition unit 61 calculates the mucosal color in the image.
  • the storage unit 3 stores pixel values of R, G, and B components of the mucous membrane area and the mucosa area collected in advance, values that are secondarily calculated based on these values, and color differences (YCbCr conversion). ), A mucous membrane region discrimination criterion (color range) determined based on color feature amounts such as hue, saturation (HSI conversion), color ratio (G / R, B / G), and the like.
  • the abnormality candidate area information acquisition unit 61 determines whether each pixel is a mucosal area based on the color feature amount of each pixel to be processed and the discrimination criterion of the mucosa area stored in the storage unit 3. . Subsequently, the abnormal candidate region information acquisition unit 61 calculates the color feature amount (G / R average value) of the mucous membrane region.
  • the abnormality candidate region information acquisition unit 61 determines that the region is a mucous membrane region having a strong reddish mucosal color, and G / R When the average value is equal to or greater than a predetermined threshold, it is determined that the region is a mucosal region having a mucous color with a weak redness.
  • the feature quantity selection unit 621 sets the number of dimensions for each feature quantity to be selected based on the intensity of redness of the mucous membrane color in the image.
  • the feature amount selection unit 621 preferentially selects the shape feature amount and the texture feature amount, and sets the number of dimensions of the shape feature amount and the texture feature amount to be larger than the number of dimensions of the color feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100, the feature quantity selection unit 621 sets the color feature quantity: 20 dimensions, the shape feature quantity: 40 dimensions, and the texture feature quantity: 40 dimensions.
  • the feature amount selection unit 621 preferentially selects the color feature amount and sets the number of dimensions of the color feature amount to be larger than the number of dimensions of the shape feature amount and the texture feature amount. For example, when the number of dimensions of the feature quantity to be selected is 100, the feature quantity selection unit 621 sets color feature quantity: 80 dimensions, shape feature quantity: 10 dimensions, and texture feature quantity: 10 dimensions.
  • the process of the feature quantity selection unit 621 described in the modified examples 1-1 to 1-6 can be appropriately combined with the process of the feature quantity selection unit 621 described in the first embodiment.
  • the average of the number of dimensions of the various feature quantities set for each is finally set. It may be a value.
  • the number of dimensions of various feature amounts set by one selection method is as follows: color feature amount: 80 dimensions, shape feature amount: 10 dimensions, texture feature amount: 10 dimensions
  • the dimension number of various feature amounts when set by another selection method is 10 color dimensions, shape feature amount: 80 dimensions, and texture feature amount: 10 dimensions
  • the feature amount selection unit 621 Then, by calculating the average of the number of dimensions of various feature amounts, the final set number of dimensions is set to color feature amount: 45 dimensions, shape feature amount: 45 dimensions, and texture feature amount: 10 dimensions.
  • priorities may be set in advance for a plurality of selection methods.
  • the number of dimensions in each feature quantity may be set by applying a predetermined weight according to the priority order.
  • the image processing apparatus 1 may be provided with a function of an input unit that receives an input of an instruction signal so that the user can instruct a selection method via the input unit.
  • the input unit can be realized using a user interface such as a keyboard or a mouse.
  • a touch panel can be provided on the surface of the display panel and the touch panel can function as an input unit.
  • FIG. 7 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 2 of the present invention.
  • An image processing apparatus 8 shown in the figure includes a calculation unit 9 and a storage unit 3.
  • the same components as those included in the calculation unit 2 of the image processing apparatus 1 according to Embodiment 1 will be described with the same reference numerals.
  • the calculation unit 9 includes an abnormal candidate region detection unit 4, a feature amount calculation unit 5, an integrated feature amount calculation unit 10, and a detection unit 7.
  • the integrated feature quantity calculation unit 10 includes an abnormality candidate area information acquisition unit 61 and a parameter control unit 63.
  • the parameter control unit 63 has an integrated feature quantity dimension determining unit 631 that determines the number of dimensions of the integrated feature quantity as a calculation parameter based on the type of abnormality in the abnormality candidate region. Specifically, when the abnormality type is a color abnormality, the integrated feature quantity dimension number determination unit 631 sets the dimension number of the integrated feature quantity to be smaller than the abnormality type is a shape abnormality or a texture abnormality. This is because, when the type of abnormality is color abnormality, it is considered that there is a significant difference between the abnormal area and the normal area.
  • the integrated feature quantity calculation unit 10 calculates the integrated feature quantity using the number of representative vectors as the number of dimensions of the integrated feature quantity, and when using Fisher Vector, the number of distributions as the number of dimensions of the integrated feature quantity. .
  • FIG. 8 is a flowchart showing an outline of processing performed by the image processing apparatus 8.
  • the processes in steps S11 to S14 and S17 are the same as the processes in steps S1 to S4 and S7 in FIG.
  • step S15 the integrated feature quantity dimension determining unit 631 determines the number of dimensions of the integrated feature quantity based on the information acquired from the abnormality candidate (step S15).
  • the integrated feature quantity calculating unit 10 calculates an integrated feature quantity based on the number of dimensions of the integrated feature quantity determined by the integrated feature quantity dimension determining unit 631 (step S16).
  • the image processing device 8 ends the series of processes.
  • an abnormality candidate region is detected, and a plurality of types of feature quantities are integrated based on the detected abnormality candidate region information. Therefore, it is possible to accurately acquire an integrated feature amount suitable for accurately expressing.
  • the integrated feature amount corresponding to the abnormality candidate region can be calculated, Detection or non-detection can be suppressed.
  • the integrated feature value dimension number determination unit 631 determines the number of dimensions of the integrated feature value based on the clarity at the boundary of the abnormal candidate region. Specifically, the integrated feature quantity dimension determining unit 631 sets the dimension number of the integrated feature quantity smaller when the boundary is clear than when the boundary is unclear. This is because when the boundary is clear, it is considered that there is a significant difference between the abnormal region and the normal region.
  • the integrated feature quantity dimension determining unit 631 determines the number of dimensions of the integrated feature quantity based on the organ type in the in-vivo lumen image in which the abnormal candidate region is imaged. Specifically, the integrated feature quantity dimension determining unit 631 sets the dimension number of the integrated feature quantity for the organ to be examined larger than the dimension number of the integrated feature quantity for the organ not to be examined. This makes it possible to accurately detect the organ to be examined.
  • the integrated feature quantity dimension determining unit 631 determines the number of dimensions of the integrated feature quantity based on whether or not the abnormal candidate area is in the bubble inner area. Specifically, the integrated feature value dimension number determination unit 631 sets the dimension number of the integrated feature value larger when the abnormality candidate region is in the bubble inner region than in the bubble outer region. This is because when the abnormality candidate region is in the bubble inner region, the redness of the mucous membrane region becomes strong, and it is considered that a remarkable difference is not easily generated between the abnormal region and the normal region.
  • the integrated feature quantity dimension determining unit 631 determines the number of dimensions of the integrated feature quantity based on whether or not the abnormal candidate area is in the dark part area. Specifically, the integrated feature quantity dimension determining unit 631 sets the dimension number of the integrated feature quantity larger when the abnormality candidate area is in the dark area than in the non-dark area. This is because, when the abnormal candidate area is in the dark area, it is considered that a significant difference is hardly generated between the abnormal area and the normal area.
  • the integrated feature quantity dimension determining unit 631 determines the number of dimensions of the integrated feature quantity based on whether or not the abnormal candidate area is in the halation area. Specifically, the integrated feature value dimension number determination unit 631 sets the dimension number of the integrated feature value larger when the abnormality candidate region is in the halation region than in the non-halation region. This is because, when the abnormal candidate region is in the halation region, it is considered that a significant difference is hardly generated between the abnormal region and the normal region.
  • the integrated feature value dimension number determination unit 631 determines the number of dimensions of the integrated feature value based on the mucous membrane color in the in-vivo lumen image. Specifically, the integrated feature value dimension number determination unit 631 sets the dimension number of the integrated feature value larger when the redness of the mucosa color is strong than when the redness of the mucosa color is weak. This is because, when the mucous membrane color is strongly reddish, it is considered difficult to make a significant difference between the abnormal region and the normal region.
  • the process of the integrated feature quantity dimension determining unit 631 described in the modified examples 2-1 to 2-6 can be appropriately combined with the process of the integrated feature quantity dimension determining unit 631 described in the second embodiment. is there.
  • the average of the number of dimensions determined in each integrated feature quantity dimension determination process may be determined as the number of dimensions of the integrated feature quantity.
  • priorities are set for a plurality of integrated feature quantity dimension determination processes to be combined, and the dimensions determined in each integrated feature quantity dimension determination process are added according to the priority order. The number of dimensions obtained by this may be finally determined as the number of dimensions of the integrated feature amount.
  • FIG. 9 is a block diagram showing a functional configuration of the image processing apparatus according to Embodiment 3 of the present invention.
  • An image processing apparatus 11 shown in the figure includes a calculation unit 12 and a storage unit 3.
  • the same components as those included in the calculation unit 2 of the image processing apparatus 1 according to Embodiment 1 will be described with the same reference numerals.
  • the calculation unit 12 includes an abnormality candidate area detection unit 4, a feature amount calculation unit 5, an integrated feature amount calculation unit 13, and a detection unit 7.
  • the integrated feature amount calculation unit 13 includes an abnormality candidate area information acquisition unit 61 and a parameter control unit 64.
  • the parameter control unit 64 includes a feature amount conversion dimension number determining unit 641 that determines the conversion dimension number of the feature amount based on the information of the abnormality candidate region. Specifically, the feature quantity conversion dimension number determining unit 641 converts the feature quantity when the abnormality candidate area type is color abnormality compared to when the abnormality candidate area type is shape abnormality or texture abnormality. Set the number of dimensions small. This is because, when the type of abnormality is color abnormality, it is considered that there is a significant difference between the abnormal area and the normal area.
  • FIG. 10 is a flowchart showing an outline of processing performed by the image processing apparatus 11. Steps S21 to S24 and S28 are the same as steps S1 to S4 and S7 in FIG. 4, respectively.
  • step S25 the feature quantity conversion dimension number determination unit 641 determines the conversion dimension number of the feature quantity based on the information of the abnormality candidate area (step S25).
  • the integrated feature quantity calculation unit 13 converts the number of dimensions into the conversion dimension number of the feature quantity determined by the feature quantity conversion dimension number determination unit 641 by a known principal component analysis, a kernel method, or the like (step S26). Note that the number of conversion dimensions may be smaller or larger than the number of dimensions of the feature amount before conversion.
  • the integrated feature amount calculation unit 13 calculates an integrated feature amount obtained by integrating a plurality of feature amounts by using BoF, Fisher Vector, or the like (step S27).
  • the number of dimensions of the integrated feature amount is determined in advance as in the first embodiment.
  • the image processing apparatus 11 ends the series of processes.
  • an abnormality candidate region is detected, and a plurality of types of feature amounts are integrated based on the detected information on the abnormality candidate region. Therefore, it is possible to accurately acquire an integrated feature amount suitable for accurately expressing.
  • the integrated feature amount according to the abnormality candidate region can be calculated, Detection or non-detection can be suppressed.
  • the feature quantity conversion dimension number determining unit 641 determines the conversion dimension number of the feature quantity based on the clarity at the boundary of the abnormality candidate region. Specifically, the feature quantity conversion dimension number determining unit 641 sets the feature quantity conversion dimension number smaller when the boundary is clear than when the boundary is unclear. This is because when the boundary is clear, it is considered that there is a significant difference between the abnormal region and the normal region.
  • the feature quantity conversion dimension number determination unit 641 determines the conversion dimension number of the feature quantity based on the organ type in the image in which the abnormal candidate region is captured. Specifically, the feature quantity conversion dimension number determination unit 641 sets the feature quantity conversion dimension number larger for the organ to be examined than for the organ that is not the examination object. Thereby, the organ to be examined can be detected with high accuracy.
  • the feature quantity conversion dimension number determining unit 641 determines the conversion dimension number of the feature quantity based on whether or not the abnormality candidate area is in the bubble inner area. Specifically, the feature quantity conversion dimension number determination unit 641 sets the feature quantity conversion dimension number larger when the abnormality candidate area is in the bubble inner area than in the bubble outer area. This is because when the abnormality candidate region is in the bubble inner region, the redness of the mucous membrane region becomes strong, and it is considered that a remarkable difference is not easily generated between the abnormal region and the normal region.
  • the feature quantity conversion dimension number determination unit 641 determines the conversion dimension number of the feature quantity based on whether or not the abnormality candidate area is in the dark part area. Specifically, the feature quantity conversion dimension number determination unit 641 sets the feature quantity conversion dimension number larger when the abnormality candidate area is in the dark area than in the non-dark area. This is because, when the abnormal candidate area is in the dark area, it is considered that a significant difference is hardly generated between the abnormal area and the normal area.
  • the feature quantity conversion dimension number determining unit 641 determines the conversion dimension number of the feature quantity based on whether or not the abnormality candidate area is in the halation area. Specifically, the feature quantity conversion dimension number determination unit 641 sets the feature quantity conversion dimension number larger when the abnormality candidate area is in the halation area than in the non-halation area. This is because, when the abnormal candidate region is in the halation region, it is considered that a significant difference is hardly generated between the abnormal region and the normal region.
  • the feature quantity conversion dimension number determining unit 641 determines the conversion dimension number of the feature quantity based on the mucous membrane color in the image. Specifically, the feature amount conversion dimension number determination unit 641 sets the feature amount conversion dimension number larger when the mucous membrane color redness in the image is strong than when the mucous membrane color redness is weak. . This is because when the mucous membrane color in the image is strongly reddish, it is considered difficult to make a significant difference between the abnormal region and the normal region.
  • the process of the feature quantity conversion dimension number determining unit 641 described in the modified examples 3-1 to 3-6 can be appropriately combined with the process of the feature quantity conversion dimension number determining unit 641 described in the third embodiment. is there.
  • the average of the number of dimensions determined in each feature amount conversion dimension number determination process may be determined as the feature amount conversion dimension number.
  • priorities are set for a plurality of feature quantity conversion dimension number determination processes to be combined, and the dimension numbers determined in each feature quantity conversion dimension number determination process are added according to the priority order. The number of dimensions obtained by this may be finally determined as the number of conversion dimensions.
  • the parameter control unit may include two or more of a feature amount selection unit 621, an integrated feature amount dimension number determination unit 631, and a feature amount conversion dimension number determination unit 641.
  • two or more of the feature quantity selection process, the integrated feature quantity dimension determination process, and the feature quantity conversion dimension number determination process can be performed in combination.
  • the feature amount calculation unit 5 sets the circular area based on the expanded area obtained by expanding the abnormal candidate area according to the equation (1), but based on the reduced area obtained by reducing the abnormal candidate area.
  • a circular area may be set.
  • the present invention can include various embodiments not described herein.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

　画像処理装置は、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、異常候補領域の情報をもとに複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出手段と、統合特徴量を用いて生体内管腔画像から異常を検出する検出手段と、を備える。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は、生体内管腔を撮像した生体内管腔画像に対して画像処理を施す画像処理装置、画像処理方法および画像処理プログラムに関する。
　従来、画像から複数の局所特徴量を算出し、各局所特徴量を統合した統合特徴量を用いて精度の高い識別を行う方法（ＢｏＦ：Bag　of　Features）が開示されている（例えば、特許文献１および非特許文献１を参照）。この方法の処理手順は、以下の通りである。
　手順１．画像内から局所特徴量を算出する。
　手順２．画像を複数サイズの矩形領域に分割して、ピラミッド画像を作成する。
　手順３．各矩形領域内における局所特徴量と事前に作成しておいた代表ベクトル群との局所特徴空間における距離を算出し、最近傍にある代表ベクトルを求め、その頻度分布（統合特徴量）を算出する。
　手順４．矩形領域ごとに算出した頻度分布と、事前に作成しておいた正常および異常の頻度分布を比較することで、正常または異常を判別する。
米国特許第８２３３７１１号明細書
　しかしながら、上述した従来技術では、例えば内視鏡画像等において生体内における病変等の異常部位を検出する場合、観察対象とする異常の特性に応じてその観察対象を精度よく表現するために必要な統合特徴量が異なっており、適切な統合特徴量を取得しないと誤検出や未検出が発生するおそれがあった。
　本発明は、上記に鑑みてなされたものであって、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出手段と、前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、を備えることを特徴とする。
　本発明に係る画像処理方法は、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出ステップと、前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、を含むことを特徴とする。
　本発明に係る画像処理プログラムは、生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出ステップと、前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、をコンピュータに実行させることを特徴とする。
　本発明によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置の特徴量算出部が異常候補領域に対して行う処理の概要を模式的に示す図である。 図３は、本発明の実施の形態１に係る画像処理装置の特徴量算出部が円形領域を抽出する処理の概要を模式的に示す図である。 図４は、本発明の実施の形態１に係る画像処理装置が実行する処理の概要を示すフローチャートである。 図５は、異常候補領域と拡張領域内の異常候補領域でない領域の例を示す図である。 図６は、異常候補領域の重心位置が泡内部領域に存在する場合を模式的に示す図である。 図７は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図８は、本発明の実施の形態２に係る画像処理装置が行う処理の概要を示すフローチャートである。 図９は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１０は、本発明の実施の形態３に係る画像処理装置が行う処理の概要を示すフローチャートである。
　以下に、本発明を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態１）
　図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１は、演算部２と、記憶部３とを備える。画像処理装置１は、カプセル内視鏡や内視鏡等により撮像された生体内管腔画像を取得して所定の画像処理を行う機能を有する。生体内管腔画像としては、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の波長成分に対する画素レベル（画素値）を持つカラー画像を用いる。
　演算部２は、生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出部４と、生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出部５と、異常候補領域の情報をもとに複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出部６と、統合特徴量を用いて生体内管腔画像から異常を検出する検出部７と、を有する。
　異常候補領域検出部４は、異常候補領域として、生体内管腔画像における生体の組織性状または生体内の状態が所定の条件を満たす領域を検出する。このような異常候補領域として、例えばアフタ、潰瘍、びらん、ポリープ、腫瘍、発赤、絨毛異常等の生体の組織性状が変化している領域、および出血等の生体内における状態変化が発生している領域を挙げることができる。このような異常候補領域は、病変を生じている可能性がある領域ということもできる。なお、異常候補領域は、画像の一部の領域でもよいし、画像全体の領域でもよい。
　異常候補領域検出部４は、色特徴量、形状特徴量および／またはテクスチャ特徴量に基づいて、生体内管腔画像から異常候補領域を検出する。例えば、アフタや潰瘍等は白色の特定色を示し、出血や発赤は赤色の特定色を示すため、色特徴量による検出が可能である。また、ポリープや腫瘍は円形状の領域であることが多いため、形状特徴量による検出が可能である。また、絨毛異常等は、粘膜表面の模様が不均一であることが多いため、テクスチャ特徴量による検出が可能である。異常候補領域検出部４は、これらの異常候補領域を色特徴量、形状特徴量および／またはテクスチャ特徴量に基づいて検出する。
　まず、異常候補領域検出部４が色特徴量に基づいて異常候補領域を抽出する場合を説明する。この場合、異常候補領域検出部４は、処理対象の各画素の色特徴量と判別基準とをもとに、各画素が異常候補領域であるか否かを判定する。異常候補領域検出部４が参照する色特徴量用の判別基準は、事前に収集した特定領域のＲ、Ｇ、Ｂ各成分の画素値や、それらをもとに公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等の色特徴量をもとに決定されて記憶部３に記憶されている。
　なお、ここでは異常候補領域検出部４が事前に作成しておいた判別基準に基づいて異常候補領域を検出する方法を示したが、画像内より異常な色領域を検出できるものであればいかなる方法を採用してもよい。例えば、異常候補領域検出部４が、代表的な色特徴量との特徴空間距離に基づく方法により異常候補領域を検出するようにしてもよい。また、異常候補領域検出部４が、画素単位の色特徴量を用いる代わりに、画像内のエッジ情報等をもとに小領域に分割した後、小領域単位の色特徴量を用いて検出してもよい。
　次に、異常候補領域検出部４が形状特徴量に基づいて異常候補領域を検出する場合を説明する。この場合、異常候補領域検出部４は、画像内における各画素（輝度値、Ｇ値等）の勾配強度を公知のSobelやLaplacian等により算出し、その勾配強度と予め記憶部３に記憶されている円形状モデルとの相関値を算出し、相関値が所定の閾値以上となった円形状領域を異常候補領域として検出する。
　なお、ここでは異常候補領域検出部４が事前に作成した円形状モデルとのパターンマッチングを行うことにより異常候補領域を検出する方法を示したが、画像内から円形状領域を検出できるものであればいかなる方法を採用してもよく、例えば公知のハフ変換、ＲＡＮＳＡＣ（Random　Sample　Consensus）、ＤＰＭ（Deformable　Part　Model）、ＥＬＳＤ（Ellipse　and　Line　Segment　Detector）等を採用してもよい。
　次に、異常候補領域検出部４がテクスチャ特徴量に基づいて異常候補領域を検出する場合を説明する。この場合、異常候補領域検出部４は、画像を矩形分割した矩形領域毎に算出したテクスチャ特徴量と、予め記憶部３が記憶する判別基準とをもとに、各矩形領域が異常候補領域であるか否かを判定する。異常候補領域検出部４が参照するテクスチャ特徴量用の判別基準は、事前に収集した異常領域のＬＢＰ（Local　Binary　Pattern）特徴量、ＲＧＢ値の分散等のテクスチャ特徴量をもとに決定される。
　特徴量算出部５は、異常候補領域に対してラベリング処理を行い、各異常候補領域に外接する外接矩形領域を抽出し、この外接矩形領域を変形することによって拡張領域を設定する。拡張領域は、外接矩形領域をｎ（１．０＜ｎ≦２．０）倍に拡張した拡張領域を設定する。このときのｎの値は、例えば異常候補領域の面積に基づいて、
　　ｎ＝１．０＋（異常候補領域の面積／最大面積変数）　・・・（１）
と設定される。式（１）の右辺の「最大面積変数」とは、外接矩形領域を設定するための基準となる面積であり、異常候補領域として想定される面積の最大値に相当する。図２は、特徴量算出部５が異常候補領域に対して行う処理の概要を模式的に示す図である。図２では、円形状の異常候補領域１０１に対して外接矩形領域１０２が抽出され、拡張領域１０３が設定された場合を示している。
　特徴量算出部５は、拡張領域内から代表となる画素位置を等間隔またはランダムに抽出し、この画素位置を中心とする所定の半径の円形領域を抽出する。図３は、特徴量算出部５が円形領域を抽出する処理の概要を模式的に示す図である。図３では、特徴量算出部５が、拡張領域１０３に対して等間隔に抽出した各画素位置を中心とする複数の円形領域１０４を抽出した場合を示している。このように円形領域を抽出する方法として、例えばＤＥＮＳと呼ばれる方法を適用することができる。なお、円形領域を抽出する方法としては、他にもキーポイント（特徴点）を検出するＳＩＦＴ（Scale-invariant　Feature　Transform）を用いることも可能である（例えば、アドコム・メディア株式会社：コンピュータビジョン最先端ガイド２、ｐ．５～２２を参照）。
　特徴量算出部５は、複数の種類の特徴量として、色特徴量（ＲＧＢ平均値、ＹＣｂＣｒ平均値、ＨＳＩ平均値、Ｇ／Ｒ平均値、Ｂ／Ｇ平均値等）、形状特徴量（ＨｏＧ：Histograms　of　Oriented　Gradients、ＳＩＦＴ等）、およびテクスチャ特徴量（ＬＢＰ、分散、尖度、歪度等）などを算出する。なお、ここで記載した特徴量の種類はあくまでも一例に過ぎず、他の種類の特徴量を用いることも可能である。
　統合特徴量算出部６は、異常候補領域の情報を取得する異常候補領域情報取得部６１と、異常候補領域の情報に基づいて統合特徴量の算出パラメータを制御するパラメータ制御部６２とを有する。
　異常候補領域情報取得部６１は、異常候補領域検出部４の検出結果に基づいて、異常候補領域における異常の種類を判定する。具体的には、異常候補領域情報取得部６１は、異常候補領域検出部４による検出の際、色特徴量により異常候補領域であると判定されたものを色異常と判定し、形状特徴量により異常候補領域であると判定されたものを形状異常と判定し、テクスチャ特徴量により異常候補領域であると判定されたものをテクスチャ異常と判定する。また、各異常種類から算出した色特徴量（ＲＧＢ、ＨＳＶ等）、形状情報（ＨｏＧ、面積、周囲長、フェレ径等）、テクスチャ特徴量（ＬＢＰ等）等の特徴量分布に基づいて、事前に作成しておいた判定基準により、異常種類を判定してもよい。
　パラメータ制御部６２は、統合特徴量を算出する際に用いる特徴量の種類ごとの次元数を算出パラメータとして設定し、設定した種類ごとの次元数に応じて特徴量を選択する特徴量選択部６２１を有する。特徴量選択部６２１は、異常候補領域の異常の種類が色異常である場合には色特徴量を他の種類の特徴量より優先的に選択し、形状異常である場合には形状特徴量を他の種類の特徴量より優先的に選択し、テクスチャ異常である場合にはテクスチャ特徴量を他の種類の特徴量より優先的に選択する。換言すると、特徴量選択部６２１は、異常候補領域の異常の種類が色異常である場合には、色特徴量の次元数を他の種類の特徴量の次元数よりも大きく設定し、形状異常である場合には形状特徴量の次元数を他の種類の特徴量の次元数よりも大きく設定し、テクスチャ異常である場合にはテクスチャ特徴量の次元数を他の種類の特徴量の次元数よりも大きく設定する。以下、特徴量が３種類（色特徴量、形状特徴量、テクスチャ特徴量）であり、選択する特徴量の次元数が１００次元である場合の具体的な次元数の設定例を記載する。
（１）色異常の場合
　色特徴量：８０次元、形状特徴量：１０次元、テクスチャ特徴量：１０次元
（２）形状異常の場合
　色特徴量：１０次元、形状特徴量：８０次元、テクスチャ特徴量：１０次元
（３）テクスチャ異常の場合
　色特徴量：１０次元、形状特徴量：１０次元、テクスチャ特徴量：８０次元
なお、ここで記載した選択比はあくまでも一例に過ぎない、例えば（１）色異常の場合には、色特徴量の次元数が最大であれば、どのように設定しても構わない。
　統合特徴量算出部６は、特徴量選択部６２１が選択した特徴量に基づいて、上述したＢｏＦまたは公知のFisher　Vector等を用いて、所定の次元数を有する統合特徴量を算出する。本実施の形態１において、統合特徴量の次元数はあらかじめ設定されている。統合特徴量算出部６がＢｏＦを用いて統合特徴量を算出する場合、統合特徴量の次元数は代表ベクトル数に等しい。また、統合特徴量算出部６がFisher　Vectorを用いて統合特徴量を算出する場合、統合特徴量の次元数は分布数に等しい。
　検出部７は、統合特徴量算出部６が算出した統合特徴量を用いて、公知のＳＶＭ（Support　Vector　Machine）等の識別器により、異常領域を検出する（ＳＶＭについては、例えばアドコム・メディア株式会社：コンピュータビジョン最先端ガイド３、ｐ．９５～１０２を参照）。
　演算部２は、演算および制御機能を有するＣＰＵ（Central　Proccesing　Unit）等の汎用プロセッサ、またはＡＳＩＣ（Application　Specific　Integrated　Circuit）もしくはＦＰＧＡ（Field　Programmable　Gate　Array）等の専用の集積回路等を用いて実現される。演算部２が汎用プロセッサまたはＦＰＧＡによって実現される場合は、記憶部３が記憶する各種プログラムや各種データを記憶部３から読み出し、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括して制御する。演算部２がＡＳＩＣを用いて実現される場合は、各種処理を単独で実行してもよいし、記憶部３が記憶する各種データ等を用いることによって各種処理を実行してもよい。
　記憶部３は、処理対象となる生体内管腔画像のデータ、および処理を行う際に必要な各種情報を記憶する。記憶部３は、ＲＯＭ（Read　Only　Memory）またはＲＡＭ（Random　Access　Memory）等の各種ＩＣメモリ、内蔵もしくはデータ通信端子で接続されたハードディスク、またはＣＤ－ＲＯＭ等の情報記録装置およびその読取装置等によって実現される。記憶部３は、画像処理装置１が取得した生体内管腔画像の画像データの他、画像処理装置１を動作させると共に、画像処理装置１に種々の機能を実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を記憶する。具体的には、記憶部３は、本実施の形態１に係る画像処理プログラムや、該画像処理を行う際に用いられる閾値等の各種パラメータを記憶する。
　記憶部３が記憶する画像処理プログラム等の各種プログラムは、コンピュータ読み取り可能な記録媒体に記録することも可能である。また、各種プログラムの記憶部３または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local　Area　Network）、ＷＡＮ（Wide　Area　Network）などによって実現されるものであり、有線、無線を問わない。
　以上の構成を有する画像処理装置１は、１つのコンピュータを用いて実現してもよいし、複数のコンピュータを用いて実現してもよい。後者の場合には、通信ネットワークを介してデータの送受信を行いながら、互いに連携して処理を行うようにすることも可能である。なお、ここでいうコンピュータは、例えば汎用のパーソナルコンピュータやサーバ等によって構成することができる。
　図４は、画像処理装置１が実行する処理の概要を示すフローチャートである。まず、画像処理装置１は、処理対象である生体内管腔画像を取得して記憶部３へ書き込んで記憶させる（ステップＳ１）。画像処理装置１は、生体内管腔画像を撮像するカプセル内視鏡等の機器との通信によって生体内管腔画像を取得してもよいし、生体内管腔画像が記録された記録媒体から生体内管腔画像のデータを読み出すことによって取得してもよい。
　続いて、異常候補領域検出部４は、色特徴量、形状特徴量および／またはテクスチャ特徴量に基づいて、生体内管腔画像内から異常候補領域を検出する（ステップＳ２）。
　この後、特徴量算出部５は、画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する（ステップＳ３）。まず、特徴量算出部５は、各異常候補領域に外接する外接矩形領域を抽出し、この外接矩形領域を変形することによって拡張領域を設定する（図２を参照）。続いて、特徴量算出部５は、拡張領域内から等間隔またはランダムに画素位置を抽出する。この後、特徴量算出部５は、抽出した画素位置を中心とする複数の円形領域を複数の領域として抽出し（図３を参照）、円形領域ごとに複数の特徴量を算出する。特徴量算出部５が算出する複数の特徴量は、例えば色特徴量、形状特徴量、テクスチャ特徴量などを含む。
　続いて、異常候補領域情報取得部６１は、統合特徴量の算出パラメータを制御するための情報として異常候補領域の情報を取得する（ステップＳ４）。具体的には、異常候補領域情報取得部６１は、異常候補領域検出部４の検出結果に基づいて、異常候補領域における異常の種類を判定する。
　この後、特徴量選択部６２１は、異常候補領域の情報に基づいて特徴量を選択する（ステップＳ５）。この際、特徴量選択部６２１は、異常候補領域の情報に応じて特徴量の種類ごとに設定される次元数に応じて、各種類の特徴量の次元数を設定し、次元数に応じた各種類の特徴量を選択する。
　続いて、統合特徴量算出部６は、特徴量選択部６２１が選択した特徴量に基づいて、複数の特徴量を統合した統合特徴量を算出する（ステップＳ６）。
　最後に、検出部７は、算出した統合特徴量に基づいて、生体内管腔画像の異常を検出し、検出結果を出力する（ステップＳ７）。
　以上説明した本発明の実施の形態１によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。
　また、本実施の形態１によれば、統合特徴量を算出する際に用いる特徴量を異常候補領域の情報に応じて適応的に選択するため、異常候補領域に応じた統合特徴量を算出することができ、誤検出や未検出を防止することが可能となる。
（変形例１－１）
　本実施の形態１の変形例１－１として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第２例を説明する。本変形例１－１において、異常候補領域情報取得部６１は、異常候補領域の境界における明瞭性を算出する。
　まず、異常候補領域情報取得部６１は、各異常候補領域内の画素平均値（輝度平均値、Ｇ平均値、Ｇ／Ｒ平均値等）を算出する。
　続いて、異常候補領域情報取得部６１は、各拡張領域内の異常候補領域でない領域の画素平均値（輝度平均値、Ｇ平均値、Ｇ／Ｒ平均値等）を算出する。
　その後、異常候補領域情報取得部６１は、各異常候補領域内の画素平均値と拡張領域内の異常候補領域でない領域の画素平均値との差を算出する。図５は、異常候補領域と拡張領域内の異常候補領域でない領域の例を示す図である。図５に示す領域１０５が、拡張領域１０３内で異常候補領域１０１でない領域を示している。
　最後に、異常候補領域情報取得部６１は、画素平均値の差が所定値以上の場合には境界が明瞭であると判定し、画素値の平均値の差が所定値未満の場合には境界が不明瞭であると判定する。
　本変形例１－１において、特徴量選択部６２１は、異常候補領域の境界における明瞭性に基づいて、選択する特徴量ごとの次元数を設定する。なお、以下で説明する変形例では特徴量が３種類（色特徴量、形状特徴量、テクスチャ特徴量）である場合を例示するが、これが一例に過ぎないことは勿論である。
（１）境界が明瞭である場合
　異常領域と正常領域で色や形状に顕著な差が出ると考えられる場合である。この場合、特徴量選択部６２１は、色特徴量を優先的に選択し、色特徴量および形状特徴量の次元数をテクスチャ特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：４０次元、形状特徴量：４０次元、テクスチャ特徴量：２０次元と設定する。
（２）境界が不明瞭である場合
　異常領域と正常領域で色や形状に顕著な差が出ないと考えられる場合である。この場合、特徴量選択部６２１は、テクスチャ特徴量を優先的に選択し、テクスチャ特徴量の次元数を色特徴量および形状特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：１０次元、形状特徴量：１０次元、テクスチャ特徴量：８０次元と設定する。
（変形例１－２）
　本実施の形態１の変形例１－２として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第３例を説明する。本変形例１－２において、異常候補領域情報取得部６１は、生体内管腔画像内における臓器種類を判別する。臓器種類の判別方法に関しては、生体内管腔画像の平均Ｒ、Ｇ、Ｂ値に基づいて臓器種類を判別する方法（例えば、特開２００６－２８８６１２号公報を参照）を用いる。記憶部３は、胃、小腸、大腸の画像内におけるＲ、Ｇ、Ｂ平均値の数値範囲を予め記憶している。異常候補領域情報取得部６１は、画像内におけるＲ、Ｇ、Ｂ平均値と記憶部３が記憶する胃、小腸および大腸の数値範囲とを比較することにより、臓器種類を判別する。
　本変形例１－２において、特徴量選択部６２１は、異常候補領域情報取得部６１によって判定された臓器種類に基づいて、選択する特徴量ごとの次元数を設定する。
（１）臓器種類が胃、小腸である場合
　主な検出対象が、出血、びらん・潰瘍などの色やテクスチャに特徴がある異常の場合である。この場合、特徴量選択部６２１は、色特徴量およびテクスチャ特徴量を優先的に選択し、色特徴量およびテクスチャ特徴量の次元数を形状特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：４０次元、形状特徴量：２０次元、テクスチャ特徴量：４０次元と設定する。
（２）臓器種類が大腸である場合
　主な検出対象が、ポリープ、腫瘍などの形状に特徴がある異常の場合である。この場合、特徴量選択部６２１は、形状特徴量を優先的に選択し、形状特徴量の次元数を色特徴量およびテクスチャ特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：１０次元、形状特徴量：８０次元、テクスチャ特徴量：１０次元と設定する。
（変形例１－３）
　本実施の形態１の変形例１－３として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第４例を説明する。本変形例１－３において、異常候補領域情報取得部６１は、異常候補領域が泡内部領域にあるか否かを判定する。記憶部３には、泡画像から事前に作成した泡モデルが記憶されている。
　まず、異常候補領域情報取得部６１は、画像内の各画素（輝度値、Ｇ値等）から公知のSobelやLaplacian等により勾配強度を算出する。
　続いて、異常候補領域情報取得部６１は、記憶部３が記憶する泡モデルと勾配強度画像の各画素位置における相関値を算出する。
　その後、異常候補領域情報取得部６１は、泡モデルとの相関値が所定の閾値以上である領域を泡内部領域として抽出する。
　続いて、異常候補領域情報取得部６１は、各異常候補領域について、その重心位置を算出する。
　最後に、異常候補領域情報取得部６１は、異常候補領域の重心位置が泡内部領域および泡外部領域のいずれに存在するかを判定する。図６は、異常候補領域の重心位置が泡内部領域に存在する場合を模式的に示す図である。図６に示す場合、異常候補領域情報取得部６１は、重心位置が泡内部領域に存在すると判定する。
　本変形例１－３において、特徴量選択部６２１は、異常候補領域が泡内部領域にあると判定された場合、選択する特徴量ごとの次元数を設定する。異常候補領域が泡内部領域にあると、粘膜領域の赤みが強くなるため、異常領域と正常領域で色に顕著な差が出ないと考えられる。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。
　異常候補領域が泡外部領域にあると判定された場合、特徴量選択部６２１は、３つの特徴量の次元数を略均一に設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、３種類のうち２種類の次元数を３３次元とし、残りの１種類の次元数を３４次元とする。また、均一ではなくあらかじめ決定しておいた所定のバランスを設定してもよい。
（変形例１－４）
　本実施の形態１の変形例１－４として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第５例を説明する。本変形例１－４において、異常候補領域情報取得部６１は、異常候補領域が暗部領域にあるか否かを判定する。
　まず、異常候補領域情報取得部６１は、各拡張領域内の輝度平均値（Ｇ平均値等）を算出する。
　この後、異常候補領域情報取得部６１は、輝度平均値が所定の閾値以下となる場合、その異常候補領域を暗部領域と判定する。
　本変形例１－４において、特徴量選択部６２１は、異常候補領域が暗部領域にあると判定された場合、選択する特徴量ごとの次元数を設定する。異常候補領域が暗部領域であると、異常領域と正常領域で色に顕著な差が出ないと考えられる。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。
　異常候補領域が明部領域にあると判定された場合、特徴量選択部６２１は、３つの特徴量の次元数を略均一に設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、３種類のうち２種類の次元数を３３次元とし、残りの１種類の次元数を３４次元とする。
（変形例１－５）
　本実施の形態１の変形例１－５として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第６例を説明する。本変形例１－５において、異常候補領域情報取得部６１は、異常候補領域がハレーション領域にあるか否かを判定する。
　まず、異常候補領域情報取得部６１は、各拡張領域内の輝度平均値（Ｇ平均値等）を算出する。
　この後、異常候補領域情報取得部６１は、輝度平均値が所定の閾値以上となる場合、その異常候補領域をハレーション領域と判定する。
　本変形例１－５において、特徴量選択部６２１は、異常候補領域がハレーション領域であると判定された場合、選択する特徴量ごとの次元数を設定する。異常候補領域がハレーション領域であると、色のバランスが崩れていると考えられる。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。
　異常候補領域が非ハレーション領域にあると判定された場合、特徴量選択部６２１は、３つの特徴量の次元数を略均一に設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、３種類のうち２種類の次元数を３３次元とし、残りの１種類の次元数を３４次元とする。
（変形例１－６）
　本実施の形態１の変形例１－６として、異常候補領域情報取得部６１が行う異常候補領域情報取得処理および特徴量選択処理の第７例を説明する。本変形例１－６において、異常候補領域情報取得部６１は、画像内における粘膜色を算出する。記憶部３は、事前に収集した粘膜領域と被粘膜領域のＲ、Ｇ、Ｂ各成分の画素値や、それらをもとに公知の変換により２次的に算出される値、色差（ＹＣｂＣｒ変換）、色相、彩度（ＨＳＩ変換）、色比（Ｇ／Ｒ、Ｂ／Ｇ）等の色特徴量をもとに決定される粘膜領域の判別基準（色範囲）を予め記憶している。
　異常候補領域情報取得部６１は、処理対象の各画素の色特徴量と、記憶部３が記憶する粘膜領域の判別基準とをもとに、各画素が粘膜領域であるか否かを判定する。
　続いて、異常候補領域情報取得部６１は、粘膜領域の色特徴量（Ｇ／Ｒ平均値）を算出する。
　最後に、異常候補領域情報取得部６１は、色特徴量（Ｇ／Ｒ平均値）が所定の閾値未満となる場合、赤味が強い粘膜色を有する粘膜領域であると判定し、Ｇ／Ｒ平均値が所定の閾値以上となる場合には、赤味が弱い粘膜色を有する粘膜領域であると判定する。
　本変形例１－６において、特徴量選択部６２１は、画像内における粘膜色の赤みの強さに基づいて、選択する特徴量ごとの次元数を設定する。
（１）粘膜色の赤味が強い場合
　異常領域と正常領域で色に顕著な差が出ないと考えられる場合である。この場合、特徴量選択部６２１は、形状特徴量およびテクスチャ特徴量を優先的に選択し、形状特徴量およびテクスチャ特徴量の次元数を色特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：２０次元、形状特徴量：４０次元、テクスチャ特徴量：４０次元と設定する。
（２）粘膜色の赤味が弱い場合
　異常領域と正常領域で色に顕著な差が出ると考えられる場合である。この場合、特徴量選択部６２１は、色特徴量を優先的に選択し、色特徴量の次元数を形状特徴量およびテクスチャ特徴量の次元数より大きく設定する。例えば、特徴量選択部６２１は、選択する特徴量の次元数が１００次元である場合、色特徴量：８０次元、形状特徴量：１０次元、テクスチャ特徴量：１０次元と設定する。
　以上説明した変形例１－１～１－６が、実施の形態１と同様の効果を奏することはいうまでもない。
　なお、変形例１－１～１－６で説明した特徴量選択部６２１の処理を、実施の形態１で説明した特徴量選択部６２１の処理と適宜組み合わせることも可能である。例えば、実施の形態１および変形例１－１～１－６の選択方法を適宜組み合わせて各種特徴量を選択する場合には、それぞれで設定した各種特徴量の次元数の平均を最終的な設定値としてもよい。具体的には、例えば２つの選択方法を組み合わせる場合において、１つの選択方法で設定した各種特徴量の次元数が、色特徴量：８０次元、形状特徴量：１０次元、テクスチャ特徴量：１０次元であり、もう１つの選択方法で設定した場合の各種特徴量の次元数が色特徴量：１０次元、形状特徴量：８０次元、テクスチャ特徴量：１０次元であるとき、特徴量選択部６２１は、各種特徴量の次元数の平均を計算することにより、最終的な次元数の設定値を、色特徴量：４５次元、形状特徴量：４５次元、テクスチャ特徴量：１０次元とする。
　また、複数の選択方法に対して予め優先順位を設けておいてもよい。この場合には、優先順位に応じた所定の重み付けをして各特徴量における次元数を設定するようにしてもよい。
　また、画像処理装置１に対して指示信号の入力を受け付ける入力部の機能を具備させ、ユーザが入力部を介して選択方法を指示することができるようにしてもよい。ここで、入力部は、例えばキーボードやマウス等のユーザインタフェースを用いて実現することができる。なお、画像処理装置１が表示部を有する場合には、表示パネルの表面にタッチパネルを配設し、このタッチパネルを入力部として機能させることも可能である。
（実施の形態２）
　図７は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置８は、演算部９と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
　演算部９は、異常候補領域検出部４と、特徴量算出部５と、統合特徴量算出部１０と、検出部７とを有する。統合特徴量算出部１０は、異常候補領域情報取得部６１と、パラメータ制御部６３とを有する。
　パラメータ制御部６３は、異常候補領域における異常の種類に基づいて、統合特徴量の次元数を算出パラメータとして決定する統合特徴量次元数決定部６３１を有する。具体的には、統合特徴量次元数決定部６３１は、異常の種類が色異常である場合、異常の種類が形状異常やテクスチャ異常と比べて統合特徴量の次元数を小さく設定する。これは、異常の種類が色異常である場合、異常領域と正常領域に顕著な差が出ると考えられるためである。
　統合特徴量算出部１０は、例えばＢｏＦを用いる場合には代表ベクトル数を統合特徴量の次元数とし、Fisher　Vectorを用いる場合には分布数を統合特徴量の次元数として統合特徴量を算出する。
　図８は、画像処理装置８が行う処理の概要を示すフローチャートである。ステップＳ１１～Ｓ１４およびＳ１７の処理は、図４におけるステップＳ１～Ｓ４およびＳ７の処理とそれぞれ同様である。
　ステップＳ１５において、統合特徴量次元数決定部６３１は、異常候補から取得した情報に基づいて、統合特徴量の次元数を決定する（ステップＳ１５）。
　この後、統合特徴量算出部１０は、統合特徴量次元数決定部６３１が決定した統合特徴量の次元数に基づいて統合特徴量を算出する（ステップＳ１６）。
　ステップＳ１７において検出部７が異常を検出した後、画像処理装置８は一連の処理を終了する。
　以上説明した本発明の実施の形態２によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、実施の形態１と同様、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。
　また、本実施の形態２によれば、統合特徴量の次元数を異常候補領域の情報に応じて適応的に決定するため、異常候補領域に応じた統合特徴量を算出することができ、誤検出や未検出を抑制することが可能となる。
（変形例２－１）
　本実施の形態の変形例２－１として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第２例を説明する。統合特徴量次元数決定部６３１は、異常候補領域の境界における明瞭性に基づいて統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、境界が明瞭な場合には、境界が不明瞭な場合に比べて統合特徴量の次元数を小さく設定する。これは、境界が明瞭な場合、異常領域と正常領域に顕著な差が出ると考えられるためである。
（変形例２－２）
　本実施の形態の変形例２－２として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第３例を説明する。統合特徴量次元数決定部６３１は、異常候補領域が撮像された生体内管腔画像内における臓器種類に基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、検査対象の臓器に対する統合特徴量の次元数を、検査対象でない臓器に対する統合特徴量の次元数より大きく設定する。これにより、検査対象の臓器を精度よく検出することが可能となる。
（変形例２－３）
　本実施の形態の変形例２－３として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第４例を説明する。統合特徴量次元数決定部６３１は、異常候補領域が泡内部領域にあるか否かに基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、異常候補領域が泡内部領域にある場合には、泡外部領域にある場合と比べて統合特徴量の次元数を大きく設定する。これは、異常候補領域が泡内部領域にある場合、粘膜領域の赤みが強くなり、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
（変形例２－４）
　本実施の形態の変形例２－４として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第５例を説明する。統合特徴量次元数決定部６３１は、異常候補領域が暗部領域にあるか否かに基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、異常候補領域が暗部領域にある場合には、非暗部領域にある場合と比べて統合特徴量の次元数を大きく設定する。これは、異常候補領域が暗部領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
（変形例２－５）
　本実施の形態の変形例２－５として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第６例を説明する。統合特徴量次元数決定部６３１は、異常候補領域がハレーション領域にあるか否かに基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、異常候補領域がハレーション領域にある場合には、非ハレーション領域にある場合と比べて統合特徴量の次元数を大きく設定する。これは、異常候補領域がハレーション領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
（変形例２－６）
　本実施の形態の変形例２－６として、統合特徴量次元数決定部６３１が行う統合特徴量次元数決定処理の第７例を説明する。統合特徴量次元数決定部６３１は、生体内管腔画像内における粘膜色に基づいて、統合特徴量の次元数を決定する。具体的には、統合特徴量次元数決定部６３１は、粘膜色の赤味が強い場合には、粘膜色の赤みが弱い場合と比べて統合特徴量の次元数を大きく設定する。これは、粘膜色の赤味が強い場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
　以上説明した変形例２－１～２－６が、上述した実施の形態２と同様の効果を奏することはいうまでもない。
　なお、変形例２－１～２－６で説明した統合特徴量次元数決定部６３１の処理を、実施の形態２で説明した統合特徴量次元数決定部６３１の処理と適宜組み合わせることも可能である。例えば、各統合特徴量次元数決定処理で決定した次元数の平均を統合特徴量の次元数として決定してもよい。また、組み合わせる複数の統合特徴量次元数決定処理に対して優先順位を設けておき、各統合特徴量次元数決定処理で決定された次元数に対して優先順位に応じて重み付けしたものを足し合わせることによって得られる次元数を統合特徴量の次元数として最終的に決定してもよい。
（実施の形態３）
　図９は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。同図に示す画像処理装置１１は、演算部１２と、記憶部３とを備える。以下、実施の形態１に係る画像処理装置１の演算部２が有する構成部位と同様の構成部位については、同じ符号を付して説明する。
　演算部１２は、異常候補領域検出部４と、特徴量算出部５と、統合特徴量算出部１３と、検出部７とを有する。統合特徴量算出部１３は、異常候補領域情報取得部６１と、パラメータ制御部６４とを有する。
　パラメータ制御部６４は、異常候補領域の情報に基づいて特徴量の変換次元数を決定する特徴量変換次元数決定部６４１を有する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域の種類が色異常である場合には、異常候補領域の種類が形状異常やテクスチャ異常である場合に比べて特徴量の変換次元数を小さく設定する。これは、異常の種類が色異常である場合、異常領域と正常領域に顕著な差が出ると考えられるためである。
　図１０は、画像処理装置１１が行う処理の概要を示すフローチャートである。ステップＳ２１～Ｓ２４およびＳ２８の処理は、図４におけるステップＳ１～Ｓ４およびＳ７の処理とそれぞれ同様である。
　ステップＳ２５において、特徴量変換次元数決定部６４１は、異常候補領域の情報に基づいて特徴量の変換次元数を決定する（ステップＳ２５）。
　続いて、統合特徴量算出部１３は、公知の主成分分析やカーネル法等により、特徴量変換次元数決定部６４１が決定した特徴量の変換次元数に次元数を変換する（ステップＳ２６）。なお、変換次元数は変換前の特徴量の次元数より小さくてもよいし、大きくてもよい。
　この後、統合特徴量算出部１３は、ＢｏＦまたはFisher　Vector等を用いることにより、複数の特徴量を統合した統合特徴量を算出する（ステップＳ２７）。本実施の形態３において、統合特徴量の次元数は、実施の形態１と同様に予め定められている。
　ステップＳ２８において検出部７が異常を検出した後、画像処理装置１１は一連の処理を終了する。
　以上説明した本発明の実施の形態３によれば、異常候補領域を検出し、検出した異常候補領域の情報に基づいて複数種類の特徴量を統合するため、実施の形態１と同様、観察対象を精度よく表現するのに適した統合特徴量を的確に取得することができる。
　また、本実施の形態３によれば、特徴量の変換次元数を異常候補領域の情報に応じて適応的に決定するため、異常候補領域に応じた統合特徴量を算出することができ、誤検出や未検出を抑制することが可能となる。
（変形例３－１）
　本実施の形態の変形例３－１として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第２例を説明する。特徴量変換次元数決定部６４１は、異常候補領域の境界における明瞭性に基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、境界が明瞭である場合には、境界が不明瞭な場合に比べて特徴量の変換次元数を小さく設定する。これは、境界が明瞭である場合、異常領域と正常領域に顕著な差が出ると考えられるためである。
（変形例３－２）
　本実施の形態の変形例３－２として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第３例を説明する。特徴量変換次元数決定部６４１は、異常候補領域が撮像された画像内における臓器種類に基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、検査対象の臓器に対し、検査対象ではない臓器に比べて特徴量の変換次元数を大きく設定する。これにより、検査対象の臓器を精度よく検出することができる。
（変形例３－３）
　本実施の形態の変形例３－３として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第４例を説明する。特徴量変換次元数決定部６４１は、異常候補領域が泡内部領域にあるか否かに基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域が泡内部領域にある場合には、泡外部領域にある場合と比べて特徴量の変換次元数を大きく設定する。これは、異常候補領域が泡内部領域にある場合、粘膜領域の赤みが強くなり、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
（変形例３－４）
　本実施の形態の変形例３－４として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第５例を説明する。特徴量変換次元数決定部６４１は、異常候補領域が暗部領域にあるか否かに基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域が暗部領域にある場合には、非暗部領域にある場合と比べて特徴量の変換次元数を大きく設定する。これは、異常候補領域が暗部領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
（変形例３－５）
　本実施の形態の変形例３－５として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第６例を説明する。特徴量変換次元数決定部６４１は、異常候補領域がハレーション領域にあるか否かに基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、異常候補領域がハレーション領域にある場合には、非ハレーション領域にある場合と比べて特徴量の変換次元数を大きく設定する。これは、異常候補領域がハレーション領域にある場合、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
（変形例３－６）
　本実施の形態の変形例３－６として、特徴量変換次元数決定部６４１が行う特徴量変換次元数決定処理の第７例を説明する。特徴量変換次元数決定部６４１は、画像内における粘膜色に基づいて、特徴量の変換次元数を決定する。具体的には、特徴量変換次元数決定部６４１は、画像内の粘膜色の赤味が強い場合には、粘膜色の赤味が弱い場合に比べて特徴量の変換次元数を大きく設定する。これは、画像内の粘膜色の赤味が強い場合には、異常領域と正常領域で顕著な差が出にくいと考えられるためである。
　以上説明した変形例３－１～３－６が、上述した実施の形態３と同様の効果を奏することはいうまでもない。
　なお、変形例３－１～３－６で説明した特徴量変換次元数決定部６４１の処理を、実施の形態３で説明した特徴量変換次元数決定部６４１の処理と適宜組み合わせることも可能である。例えば、各特徴量変換次元数決定処理で決定した次元数の平均を特徴量変換次元数として決定してもよい。また、組み合わせる複数の特徴量変換次元数決定処理に対して優先順位を設けておき、各特徴量変換次元数決定処理で決定された次元数に対して優先順位に応じて重み付けしたものを足し合わせることによって得られる次元数を変換次元数として最終的に決定してもよい。
（その他の実施の形態）
　ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１～３によってのみ限定されるべきものではない。例えば、パラメータ制御部が、特徴量選択部６２１、統合特徴量次元数決定部６３１および特徴量変換次元数決定部６４１の２つ以上を具備してもよい。この場合には、特徴量選択処理、統合特徴量次元数決定処理および特徴量変換次元数決定処理の２つ以上を組み合わせて行うことが可能となる。
　また、実施の形態１において、特徴量算出部５は、式（１）にしたがって異常候補領域を拡張した拡張領域に基づいて円形領域を設定したが、異常候補領域を縮小した縮小領域に基づいて円形領域を設定してもよい。
　このように、本発明はここでは記載していない様々な実施の形態等を含み得るものである。
　１、８、１１　画像処理装置
　２、９、１２　演算部
　３　記憶部
　４　異常候補領域検出部
　５　特徴量算出部
　６、１０、１３　統合特徴量算出部
　６１　異常候補領域情報取得部
　６２、６３、６４　パラメータ制御部
　１０１　異常候補領域
　１０２　外接矩形領域
　１０３　拡張領域
　１０４　円形領域
　１０５　拡張領域内の異常候補領域でない領域
　６２１　特徴量選択部
　６３１　統合特徴量次元数決定部
　６４１　特徴量変換次元数決定部

Claims (35)

  1. 　生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出手段と、
    　前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出手段と、
    　前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出手段と、
    　前記統合特徴量を用いて前記生体内管腔画像から異常を検出する検出手段と、
    　を備えることを特徴とする画像処理装置。
  2. 　前記統合特徴量算出手段は、
    　前記異常候補領域の情報を取得する異常候補領域情報取得手段と、
    　前記異常候補領域の情報に基づいて、前記統合特徴量の算出パラメータを制御するパラメータ制御手段と、
    　を有し、
    　前記算出パラメータに基づいて前記統合特徴量を算出することを特徴とする請求項１に記載の画像処理装置。
  3. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域における異常の種類を推定することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記パラメータ制御手段は、
    　前記異常候補領域情報取得手段の推定結果に基づいて、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有することを特徴とする請求項３に記載の画像処理装置。
  5. 　前記異常の種類は、前記生体内管腔画像における色、形状およびテクスチャの異常を含み、
    　前記特徴量選択手段は、
    　前記異常候補領域情報取得手段の推定結果に応じて、前記異常の種類に対応する特徴量を他の種類に対応する特徴量よりも優先的に選択することを特徴とする請求項４に記載の画像処理装置。
  6. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域における異常の種類を互いに異なる複数の方法によって推定し、
    　前記パラメータ制御手段は、
    　前記複数の方法による前記異常の種類の推定結果の少なくとも一部を組み合わせることにより、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有することを特徴とする請求項３に記載の画像処理装置。
  7. 　前記パラメータ制御手段は、
    　前記統合特徴量の次元数を決定する統合特徴量次元数決定手段、および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする請求項３に記載の画像処理装置。
  8. 　前記異常候補領域情報取得手段は、
    　前記異常の種類として、色、形状およびテクスチャのいずれに異常があるかを推定し、
    　前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
    　前記色に異常がある場合の次元数が、前記形状および／または前記テクスチャに異常がある場合の次元数より小さいことを特徴とする請求項７に記載の画像処理装置。
  9. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域における異常の種類を互いに異なる複数の方法によって推定し、
    　前記パラメータ制御手段は、
    　前記複数の方法による前記異常の種類の推定結果の少なくとも一部を組み合わせることにより、前記統合特徴量の次元数を決定する統合特徴量次元数決定手段、および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする請求項３に記載の画像処理装置。
  10. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域の境界における明瞭性を算出することを特徴とする請求項２に記載の画像処理装置。
  11. 　前記パラメータ制御手段は、
    　前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有することを特徴とする請求項１０に記載の画像処理装置。
  12. 　前記特徴量選択手段は、
    　前記境界が明瞭な場合には、色特徴量および形状特徴量の少なくともいずれかを優先的に選択し、
    　前記境界が不明瞭な場合には、テクスチャ特徴量を優先的に選択する、
    　ことを特徴とする請求項１１に記載の画像処理装置。
  13. 　前記パラメータ制御手段は、
    　前記統合特徴量の次元数を決定する統合特徴量次元数決定手段および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする請求項１０に記載の画像処理装置。
  14. 　前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
    　前記境界が明瞭な場合の次元数が、前記境界が不明瞭な場合の次元数よりも小さいことを特徴とする請求項１３に記載の画像処理装置。
  15. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域の周辺領域における情報を算出することを特徴とする請求項２に記載の画像処理装置。
  16. 　前記パラメータ制御手段は、
    　前記異常候補領域の周辺領域における情報に基づいて、前記統合特徴量算出手段が統合特徴量を算出する際に用いる特徴量を選択する特徴量選択手段を有することを特徴とする請求項１５に記載の画像処理装置。
  17. 　前記異常候補領域情報取得手段は、
    　前記生体内管腔画像内における臓器種類を分類することを特徴とする請求項１６に記載の画像処理装置。
  18. 　前記特徴量選択手段は、
    　前記臓器種類が胃または小腸である場合には、色特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択し、
    　前記臓器種類が大腸である場合には、形状特徴量を優先的に選択する、
    　ことを特徴とする請求項１７に記載の画像処理装置。
  19. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域が泡内部領域にあるか否かを判定することを特徴とする請求項１６に記載の画像処理装置。
  20. 　前記特徴量選択手段は、
    　前記異常候補領域が泡内部領域にある場合には、形状特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択することを特徴とする請求項１９に記載の画像処理装置。
  21. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域が暗部領域にあるか否か、および前記異常候補領域がハレーション領域にあるか否かの少なくともいずれかを判定することを特徴とする請求項１６に記載の画像処理装置。
  22. 　前記特徴量選択手段は、
    　前記異常候補領域が暗部領域またはハレーション領域にある場合には、形状特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択することを特徴とする請求項２１に記載の画像処理装置。
  23. 　前記異常候補領域情報取得手段は、
    　前記生体内管腔画像内における粘膜色を算出することを特徴とする請求項１６に記載の画像処理装置。
  24. 　前記特徴量選択手段は、
    　前記粘膜色において赤味が弱い場合には、色特徴量を優先的に選択し、
    　前記粘膜色において赤味が強い場合には、形状特徴量およびテクスチャ特徴量の少なくともいずれかを優先的に選択する、
    　ことを特徴とする請求項２３に記載の画像処理装置。
  25. 　前記パラメータ制御手段は、
    　前記統合特徴量の次元数を決定する統合特徴量次元数決定手段、および前記特徴量の変換次元数を決定する特徴量変換次元数決定手段の少なくともいずれかを有することを特徴とする請求項１５に記載の画像処理装置。
  26. 　前記異常候補領域情報取得手段は、
    　前記生体内管腔画像内における臓器種類を分類することを特徴とする請求項２５に記載の画像処理装置。
  27. 　前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
    　検査対象である臓器の次元数が、非検査対象である臓器の次元数より大きいことを特徴とする請求項２６に記載の画像処理装置。
  28. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域が泡内部領域にあるか否かを判定することを特徴とする請求項２５に記載の画像処理装置。
  29. 　前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
    　前記異常候補領域が前記泡内部領域にある場合の次元数が、泡外部領域にある場合の次元数より大きいことを特徴とする請求項２８に記載の画像処理装置。
  30. 　前記異常候補領域情報取得手段は、
    　前記異常候補領域が暗部領域にあるか否か、および前記異常候補領域がハレーション領域にあるか否かの少なくともいずれかを判定することを特徴とする請求項２５に記載の画像処理装置。
  31. 　前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
    　前記異常候補領域が前記暗部領域または前記ハレーション領域にある場合の次元数が、非暗部領域または非ハレーション領域にある場合の次元数より大きいことを特徴とする請求項３０に記載の画像処理装置。
  32. 　前記異常候補領域情報取得手段は、
    　前記生体内管腔画像内における粘膜色を算出することを特徴とする請求項２５に記載の画像処理装置。
  33. 　前記統合特徴量次元数決定手段および前記特徴量変換次元数決定手段の少なくともいずれかが決定する次元数は、
    　前記粘膜色において赤味が強い場合の次元数が、前記粘膜色において赤味が弱い場合の次元数より大きいことを特徴とする請求項３２に記載の画像処理装置。
  34. 　生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、
    　前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、
    　前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出ステップと、
    　前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、
    　を含むことを特徴とする画像処理方法。
  35. 　生体内管腔を撮像した生体内管腔画像から生体の組織性状または生体内の状態が所定の条件を満たす異常候補領域を検出する異常候補領域検出ステップと、
    　前記生体内管腔画像内の複数の領域の各々から異なる種類を含む複数の特徴量を算出する特徴量算出ステップと、
    　前記異常候補領域の情報をもとに前記複数の特徴量を統合することによって統合特徴量を算出する統合特徴量算出ステップと、
    　前記統合特徴量を用いて前記生体内管腔画像の異常を検出する検出ステップと、
    　をコンピュータに実行させることを特徴とする画像処理プログラム。
PCT/JP2015/058616 2015-03-20 2015-03-20 画像処理装置、画像処理方法および画像処理プログラム WO2016151711A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/058616 WO2016151711A1 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理方法および画像処理プログラム
JP2017507176A JP6552601B2 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US15/705,657 US10687913B2 (en) 2015-03-20 2017-09-15 Image processing device, image processing method, and computer-readable recording medium for detecting abnormality from intraluminal image using integrated feature data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/058616 WO2016151711A1 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理方法および画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/705,657 Continuation US10687913B2 (en) 2015-03-20 2017-09-15 Image processing device, image processing method, and computer-readable recording medium for detecting abnormality from intraluminal image using integrated feature data

Publications (1)

Publication Number Publication Date
WO2016151711A1 true WO2016151711A1 (ja) 2016-09-29

Family

ID=56977203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/058616 WO2016151711A1 (ja) 2015-03-20 2015-03-20 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US10687913B2 (ja)
JP (1) JP6552601B2 (ja)
WO (1) WO2016151711A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051128A (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP2018147109A (ja) * 2017-03-02 2018-09-20 国立大学法人大阪大学 画像領域分割装置、画像領域分割方法、画像領域分割プログラム、及び画像特徴抽出方法
WO2020121906A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 医療支援システム、医療支援装置及び医療支援方法
WO2020188682A1 (ja) * 2019-03-18 2020-09-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6552601B2 (ja) * 2015-03-20 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP7127785B2 (ja) * 2018-11-30 2022-08-30 オリンパス株式会社 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
CN109919063A (zh) * 2019-02-27 2019-06-21 东南大学 一种基于纹理分析的活体人脸检测***及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278964A (ja) * 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2013085718A (ja) * 2011-10-18 2013-05-13 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013111420A (ja) * 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008139812A1 (ja) 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
JP5374135B2 (ja) * 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US8233711B2 (en) 2009-11-18 2012-07-31 Nec Laboratories America, Inc. Locality-constrained linear coding systems and methods for image classification
CN102883651B (zh) * 2010-01-28 2016-04-27 宾夕法尼亚州研究基金会 可应用于支气管镜引导的基于图像的全局配准***和方法
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US9445713B2 (en) * 2013-09-05 2016-09-20 Cellscope, Inc. Apparatuses and methods for mobile imaging and analysis
JP6552601B2 (ja) * 2015-03-20 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278964A (ja) * 2007-05-08 2008-11-20 Olympus Corp 画像処理装置および画像処理プログラム
JP2013085718A (ja) * 2011-10-18 2013-05-13 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム
JP2013111420A (ja) * 2011-11-30 2013-06-10 Olympus Corp 画像処理装置、画像処理方法、及び画像処理プログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018051128A (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
WO2018061434A1 (ja) * 2016-09-30 2018-04-05 富士フイルム株式会社 プロセッサ装置及び内視鏡システム並びにプロセッサ装置の作動方法
JP2018147109A (ja) * 2017-03-02 2018-09-20 国立大学法人大阪大学 画像領域分割装置、画像領域分割方法、画像領域分割プログラム、及び画像特徴抽出方法
WO2020121906A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 医療支援システム、医療支援装置及び医療支援方法
CN113164025A (zh) * 2018-12-13 2021-07-23 索尼集团公司 医疗支持***、医疗支持设备和医疗支持方法
JP7476800B2 (ja) 2018-12-13 2024-05-01 ソニーグループ株式会社 医療支援システム、医療支援装置及び医療支援方法
WO2020188682A1 (ja) * 2019-03-18 2020-09-24 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
CN113613543A (zh) * 2019-03-18 2021-11-05 奥林巴斯株式会社 诊断辅助装置、诊断辅助方法以及程序
JPWO2020188682A1 (ja) * 2019-03-18 2021-11-25 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム
JP7138771B2 (ja) 2019-03-18 2022-09-16 オリンパス株式会社 診断支援装置、診断支援方法及びプログラム

Also Published As

Publication number Publication date
US10687913B2 (en) 2020-06-23
JPWO2016151711A1 (ja) 2018-02-15
JP6552601B2 (ja) 2019-07-31
US20180014902A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6552601B2 (ja) 画像処理装置、画像処理装置の作動方法および画像処理プログラム
US9959618B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US10223785B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium extracting one or more representative images
US10776921B2 (en) Image processing apparatus, operation method for image processing apparatus, and recording medium
US10456009B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US10198811B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
Iakovidis et al. Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software
US10360474B2 (en) Image processing device, endoscope system, and image processing method
US9959481B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
Riaz et al. Detecting melanoma in dermoscopy images using scale adaptive local binary patterns
US10229498B2 (en) Image processing device, image processing method, and computer-readable recording medium
US10206555B2 (en) Image processing apparatus, image processing method, and computer readable recording medium
Figueiredo et al. Computer-assisted bleeding detection in wireless capsule endoscopy images
Ghosh et al. An automatic bleeding detection technique in wireless capsule endoscopy from region of interest
Chen et al. Ulcer detection in wireless capsule endoscopy video
Vieira et al. Segmentation of angiodysplasia lesions in WCE images using a MAP approach with Markov Random Fields
van Grinsven et al. Image features for automated colorectal polyp classification based on clinical prediction models

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15886268

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507176

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15886268

Country of ref document: EP

Kind code of ref document: A1