WO2015015869A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- WO2015015869A1 WO2015015869A1 PCT/JP2014/063283 JP2014063283W WO2015015869A1 WO 2015015869 A1 WO2015015869 A1 WO 2015015869A1 JP 2014063283 W JP2014063283 W JP 2014063283W WO 2015015869 A1 WO2015015869 A1 WO 2015015869A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- area
- feature
- feature area
- deformation
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
Definitions
- the present invention relates to an image processing apparatus, an image processing method, a program, and the like.
- Patent Document 1 an object detection means for detecting an object from input image information and a distance and a position of the object with respect to the imaging means when the object is detected by the object detection means.
- a tracking device having a determination means for determining if it is identical.
- JP 2008-217714 A JP, 2009-268005, A JP 2007-257287 A JP, 2010-113616, A
- the movement range of the object made into object is estimated, and the determination of identity is performed based on whether the object of the same characteristic was imaged in the estimated movement range. Further, in Patent Document 2, during a period in which the target object is not detected, the object position is estimated by linear approximation from the history of the object region in the detected period, and the identity is determined based on the estimation result.
- Patent Document 1 and Patent Document 2 it is assumed that an object which is both an object and an object imaged as a background of the object are rigid and move independently.
- the subject performs non-rigid (elastic) motion.
- the subject in the case of a digestive tract image obtained by imaging the inside of the intestine, the subject largely changes the shape due to the peristaltic movement of the intestine. Therefore, even if the methods of Patent Document 1 and Patent Document 2 assuming that the movement of the object is linear are applied to the image sequence for the in-vivo image, the identity of the object is determined with sufficient accuracy. Can not do it.
- deletion of an image that should not be deleted may cause loss of information, or not deleting an image that can be deleted may reduce the effect of saving power of the user (doctor). is there.
- image summary processing with high accuracy is performed by performing processing for determining the identity of feature regions using deformation information obtained based on regions other than at least the feature regions in an image.
- An image processing apparatus, an image processing method, and a program to be realized can be provided.
- One embodiment of the present invention is an image sequence acquiring unit for acquiring an image sequence having consecutive first to N-th (N is an integer of 2 or more (including its value)) images;
- a deformation information calculation unit for obtaining deformation information representing a deformation between images, a feature area detection unit for detecting a feature area in each of the first to Nth images, and the feature area in the i-th image Of the i-th feature area which is the result of the detection process of (1), the (i + 1) -th feature area which is the result of the detection process of the feature area in the (i + 1) -th image, the i-th image and the (i + 1) -th image
- An identity determination unit for performing an identity determination process on the i-th feature area and the (i + 1) -th feature area based on h (i, i + 1) which is the deformation information between them;
- Image summary for the image sequence based on the result of
- deformation information is obtained based on a deformation estimation target area including an area other than the feature area, and the process of determining the identity of the characteristic area is performed using the obtained deformation information.
- it is an area obtained by projecting the ith characteristic area onto the ith + 1 image based on the ith characteristic area and h (i, i + 1). Further includes a deformation estimation processing unit for performing deformation estimation processing for determining a deformation region of the image, and the identity determination unit is based on the i-th deformation region obtained by the deformation estimation processing and the (i + 1) th feature region The identity determination process may be performed between the ith feature area and the (i + 1) th feature area.
- the image sequence acquisition unit acquires a time-series in-vivo image as the image sequence
- the feature region detection unit determines a lesion region and an abnormal mucosa region in the in-vivo image. At least one of the two regions may be detected as the feature region.
- the deformation information calculation unit is configured to: at least the i-th deformation estimation target region including at least a normal mucous membrane region in the i-th image;
- the deformation information may be obtained based on the (i + 1) th deformation estimation target area including the area.
- the identity determining unit when the identity determining unit does not determine that the same feature area is imaged, the identity determining unit determines the predetermined number of images by the predetermined number. The process based on the deformation information may be continued, and the identity determination process may be performed when the feature area is detected in the set number of images or less.
- the feature region is not detected in the (i + 1) -th image, so that the i-th feature region and the (i + 1) -th feature region are the same in the identity determination unit.
- the identity determination unit determines the i-th feature region, and the (i + 2) -th feature region that is the result of the detection process of the feature region in the (i + 2) -th image;
- the identity determination processing of the i-th feature area and the (i + 2) -th feature area is performed based on h (i, i + 2) which is the deformation information between the i-th image and the (i + 2) -th image May be
- the identity determination unit determines the i-th + k-th feature that is the result of the detection process of the i-th feature area and the i-th k + (k is an integer) image of the feature area.
- the identity determination process on the i-th feature region is ended, and In the case where it is not determined that the i characteristic region and the (i + k) characteristic region are identical, if k ⁇ Th, the ith characteristic region and the i th k th image in the (i + k + 1) image
- the i-th is based on the (i + k + 1) -th feature area which is the result of the detection process of the feature area, and h (i, i + k + 1) which is the deformation information between the i-th image and the i + k + 1 image.
- a feature area and the (i + k + 1) th feature It may perform the same determination process in said area.
- the deformation information calculation unit determines an inter-image motion vector at at least one position in an image as the deformation information
- the identity determination unit determines the i-th feature region. And the same one of the i-th feature region and the (i + 1) -th feature region based on the (i + 1) -th feature region and the inter-image motion vector between the i-th image and the (i + 1) -th image.
- a sex determination process may be performed.
- the identity determination unit is a region obtained by projecting the i-th feature region onto the i + 1 th image using h (i, i + 1).
- the identity determination process may be performed based on at least one of shape information, color information, texture information, and position information in an image of the (i + 1) th characteristic region.
- the identity determination unit determines the identity between the ith feature area and the (i + 1) th feature area based on the reliability of h (i, i + 1). You may process.
- the summary processing unit determines that the same feature area is photographed among the first to N-th images. And at least one representative image selected from the same feature area image group set in the image group setting section, and an image group setting section configured to set the same feature area image group composed of different images. And a summary image sequence generation unit for generating an image sequence.
- the summary processing unit may include: area information of the feature area, color information of the feature area, texture information of the feature area, in each image included in the same feature area image group.
- the representative image may be selected based on at least one of position information in an image of a feature area and reliability information of the detection process of the feature area.
- another aspect of the present invention performs processing for acquiring an image sequence having consecutive first to N-th (N is an integer of 2 or more (including its value)) images; Perform deformation information calculation processing for obtaining deformation information representing deformation between two images, perform detection processing of a characteristic region in each of the first to Nth images, and detect the characteristic region in the i-th image
- the identity determination process is performed on the i-th feature area and the (i + 1) -th feature area based on h (i, i + 1) that is deformation information, and the image is determined based on the result of the identity determination process.
- an i-th modification estimation target region including a region other than at least the i-th feature region in the i-th image, and a region other than at least the i + 1-th feature region in the i + 1 th image
- the image processing method for obtaining h (i, i + 1) based on the (i + 1) th deformation estimation target area including.
- Another aspect of the present invention relates to a program that causes a computer to function as the above-described units.
- FIG. 1 is a system configuration example of an image processing apparatus according to the present embodiment.
- FIG. 2 is a detailed system configuration example of the image processing apparatus according to the present embodiment.
- FIGS. 3A to 3C illustrate a method for obtaining deformation information using an area other than the feature area.
- FIG. 4 is an explanatory diagram of a method of the first embodiment.
- FIG. 5 is another explanatory view of the method of the first embodiment.
- FIG. 6 is a flowchart illustrating processing of the first embodiment.
- FIG. 7 is another flowchart illustrating the process of the first embodiment.
- FIG. 8 is an explanatory diagram of a method of the second embodiment.
- FIG. 9 is a flowchart for explaining the process of the second embodiment.
- an image sequence imaged using a capsule endoscope can be considered.
- the capsule endoscope is a capsule-shaped endoscope incorporating a small camera, and captures an image at a given time interval (for example, once every 0.5 seconds). Since a capsule endoscope requires several hours (in some cases, several tens of hours) from internal use to discharge, tens of thousands of captured images are acquired in one examination of one user. In addition, the capsule endoscope stays in the same place or returns in the opposite direction due to the influence of the movement of the living body, and the like during movement in the living body. Therefore, a large number of images capture an object similar to other images, and there are many images that are not useful for diagnosis and the like.
- image summary processing is performed in which a lesion area is detected from the image, an image in which the lesion area is detected is left in the summary image sequence after summary processing, and an image in which the lesion area is not detected is deleted.
- a lesion area may be detected in most of the acquired image sequences. In such a case, even if image summary processing is performed depending on whether or not a lesion area is detected, most images can not be deleted, so the reduction effect of the number of images is low and the burden on the user (doctor) It does not lead to mitigation.
- the present applicant performs processing to determine the identity of a feature area in a given image (in a narrow sense, a lesion area or an abnormal mucous membrane area) and a feature area in another image, based on the result of the process.
- Patent Document 1 and Patent Document 2 There are various known methods for determining the identity of an object captured in an image, as in Patent Document 1 and Patent Document 2.
- the conventional method is not necessarily effective.
- the conventional identity determination method tilting method
- an object to be detected undergoes rigid body deformation.
- Patent Document 1 and Patent Document 2 is a method regarding tracking of a person in a surveillance camera or the like.
- the assumption that deformation takes place, and also that changes in position and size are linear, holds true well.
- such deformation is expressed as "rigid body" deformation. Therefore, there is no particular problem in the estimation of the movement range of Patent Document 1 or the tracking by linear approximation from the history of Patent Document 2.
- the feature area is a lesion area or the like, and the lesion area is generated on the surface of the living body (for example, the mucous membrane of the digestive tract) or stuck to the surface of the living body.
- the living body itself may be soft and elastic, it may change its shape by performing some kind of movement like the intestinal peristalsis. That is, since the characteristic region is not rigidly deformed but non-rigidly (elastically) deformed, it is difficult to make a highly accurate judgment by the conventional identity judgment method.
- the present applicant proposes a method of determining the identity of feature regions based on deformation information between images. Then, when obtaining deformation information, at least an area other than the feature area is used.
- the conventional method when determining the identity between the first feature area in the first image and the second feature area in the second image, they are directly compared. This corresponds to, for example, the case of directly comparing the feature area FA1-1 of the image Y1 in FIG. 4 with the feature area FA1-2 of the image Y2. Therefore, when the subject elastically deforms or the like, the shapes of the first feature area and the second feature area may be largely different, and the accuracy is lowered.
- the deformation information also includes elastic deformation of the subject, so that it is possible to determine the identity with high accuracy even when an in-vivo image or the like is targeted.
- the deformation area is obtained by estimating deformation of the first feature area, and the deformation area is compared with the second feature area. Good.
- the deformation between the first image and the second image is canceled (reduced in a broad sense) by the deformation estimation process using deformation information, so the first feature region and the second feature region Is the same, the difference between the deformation area and the second feature area becomes small, and identity determination can be performed with high accuracy.
- the above method presupposes that deformation information between images is obtained with high accuracy, and if the accuracy of the deformation information is low, the accuracy of the deformation area to be obtained and the identity determination processing using the deformation area The accuracy also decreases.
- the deformation information in the in-vivo image is obtained only from the feature region (lesion region) portion, it is difficult to ensure the accuracy of the deformation information. This is because, in an in-vivo image, the feature region may be shielded by the contents, the eyebrow structure, and the like.
- bubbles or residues in the digestive tract may be imaged, and if the content is at a position covering the lesion area or between the lesion area and the imaging unit, Without the contents, part or all of the lesion area that could have been imaged would be shielded.
- a convex structure such as a weir may be observed in the living body, and the weir may change its position due to the above-mentioned peristaltic movement and the like. Therefore, even if the relevant lesion area can be imaged when only the relative position between the imaging unit and the lesion area is considered, the relevant lesion area is imaged or shielded and can not be imaged depending on the movement of the eyelid or the like.
- the frame rate of imaging is often low. This is particularly noticeable in the case of a capsule endoscope in which the size of a battery or a device is very limited, and for example, as described above, the frame rate may be as low as 2 fps. This low frame rate also causes the accuracy of the deformation information to decrease.
- the applicant at least uses information of an area other than the feature area in the image when obtaining deformation information.
- the feature area and the other area perform the same movement.
- a lesion area which is a characteristic area is stuck to a mucous membrane area which is a background, and a lesion area and a mucous membrane area move (deform) as one.
- the information such as the mucous membrane area is used. It becomes possible to obtain deformation information with high accuracy.
- FIG. 3 (A) to FIG. 3 (C) Specific examples are shown in FIG. 3 (A) to FIG. 3 (C).
- FIG. 3A when the feature area FA1 is detected in the first image, the area corresponding to FA1 in the second image is supposed to be originally imaged in the area of FA2.
- the shielded area MA including FA2 has been shielded by the contents.
- the corresponding area can not be found, and appropriate deformation information can not be obtained.
- FIG. 3C can not be derived from an image targeted by a conventional method such as Patent Document 1 or Patent Document 2.
- Patent Document 1 an object (such as a person) to be detected and a background (such as a landscape) move (deform) independently.
- the object 1 captured in R3 in the first image moves out of the imaging range until the second image is captured.
- an object 2 different from the object 1 may enter the area R4 before the second image is captured.
- the determination that R3 and R4 correspond to each other is not appropriate, and the information of the area other than the feature area is not effective in deriving the deformation information for obtaining the deformation area.
- 3C corresponds to a state in which a motion vector is estimated for each point included in R3 by interpolation processing (correction processing) using a motion vector in R1 with high reliability. That is, by the method according to the present embodiment, it is accurately determined to which point (region) in the second image the arbitrary point (arbitrary region) of the first image is moved (deformed). It is possible.
- the image processing apparatus acquires an image sequence that acquires an image sequence having consecutive first to N-th (N is an integer of 2 or more (including its value)) images.
- Unit 101 a deformation information calculation unit 104 for obtaining deformation information representing deformation between two images in an image sequence, and a feature area detection unit for performing a process of detecting a feature area in each of the first to Nth images 106, an i-th feature area that is a result of detection processing of a feature area in an i-th image, an i + 1th feature area that is a result of detection processing of a feature area in an i + 1 th image, and an i-th image
- An identity determination unit 109 that performs an identity determination process on the i-th feature area and the (i + 1) -th feature area based on h (i, i + 1) that is deformation information between the (i + 1) -th image; Based on the result of the determination process, the image
- the deformation information calculation unit 104 for obtaining deformation
- the first and second embodiments will be described below.
- a basic method will be described
- a method corresponding to temporary disappearance (non-detection) of the feature area will be described.
- FIG. 2 shows an example of the system configuration of an image processing apparatus according to the present embodiment.
- the image processing apparatus includes an image string acquisition unit 101, a processing unit 10, and an output unit 112.
- the processing unit 10 includes a deformation information calculation unit 104, a deformation information storage unit 105, a feature area detection unit 106, and features. It includes a region storage unit 107, a deformation estimation processing unit 108, an identity determination unit 109, an image group setting unit 110, and a summary image sequence generation unit 111.
- the image processing apparatus is not limited to the configuration of FIG. 2, and various modifications may be made such as omitting some of these components or adding other components.
- the image input unit 102 and the image database 103 are assumed to be provided outside the image processing apparatus, the image processing apparatus may be configured to include them.
- the image sequence acquisition unit 101 acquires the image sequence input from the image input unit 102 or the image sequence stored in the image database 103.
- the image sequence here is composed of a plurality of continuous images, and in a narrow sense is an image sequence composed of in-vivo images obtained by imaging the inside of a living body.
- the deformation information calculation unit 104 obtains deformation information between two images included in the image sequence acquired by the image sequence acquisition unit 101. As described above, when obtaining deformation information of the deformation information calculation unit 104, information of a deformation estimation target area including at least an area other than the feature area in the image is used. In addition, although the detection result in the characteristic area
- the deformation information may be a motion vector at a point in the image, and derivation of the motion vector can be realized by various methods such as a generally used block matching method.
- a deformation parameter between images may be calculated, the deformation parameter may be used as deformation information, or a motion vector obtained based on the deformation parameter may be used as deformation information.
- Good in any case, in order to obtain deformation information, as shown in FIG. 3B, it is sufficient if the condition of using the information of the area other than the feature area is satisfied, and the calculation process of the deformation information can be realized by various methods is there. When calculating deformation information such as a motion vector, the reliability may be obtained together.
- the deformation information storage unit 105 stores the deformation information calculated by the deformation information calculation unit 104. As described later with reference to the explanatory views of FIGS. 4 and 5 or the flowchart of FIG. 6, the processing in the present embodiment can be realized in a narrow sense using deformation information between adjacent images. Therefore, the deformation information calculation unit 104 may obtain deformation information between adjacent images in the image sequence, and the deformation information storage unit 105 may store the obtained deformation information. If the image sequence is composed of the first to N-th (N is an integer) images, (N-1) pieces of deformation information are calculated and stored. However, the processing of the present embodiment is not limited to that performed between adjacent images. In that case, deformation information between any two images in the image sequence may be calculated and stored.
- N (N-1) / 2 ways of deformation information are calculated and stored.
- deformation information between any two images can be obtained by combining deformation information between adjacent images in between.
- the deformation information h (s, t) between the non-adjacent s (s is an integer) image and the t (t is an integer) image is h (s, s + 1) which is deformation information between adjacent images.
- the feature area detection unit 106 detects a feature area which is a characteristic area from each image of the image sequence acquired by the image sequence acquisition unit 101.
- the characteristic area here is, in a narrow sense, a lesion area or an abnormal mucous membrane area in the in-vivo image.
- it is judged whether the whitened area is abnormal or the reddish area due to hemorrhage is abnormal, according to the targeted lesion or examination item, etc. It will be different. That is, various methods can be applied to the detection target of the feature area and the detection method of the feature area.
- the detection method of the characteristic region is not limited to the above-described detection method based on the normal color, for example, but is based on an image obtained by the irradiation of special light (narrowly narrow band light with a narrow frequency band compared to normal light).
- special light narrowly narrow band light with a narrow frequency band compared to normal light.
- Various modifications can be made, such as a method of detecting a specific lesion area such as squamous cell carcinoma or a method as disclosed in Patent Document 4 as a method of detecting a lesion area in a medical image.
- the feature area storage unit 107 stores information on the feature area detected by the feature area detection unit 106.
- the deformation estimation processing unit 108 performs a deformation estimation process of deforming a feature region of a given image and projecting it onto another image based on the deformation information between the images stored in the deformation information storage unit 105.
- the deformation estimation process here may be performed for the first feature area that is the feature area of the first image.
- the entire first image is deformed according to deformation information between the first image and the second image to obtain an area corresponding to the first image in the second image, and
- the first deformation area may be specified by obtaining a portion corresponding to the first feature area.
- the identity determination unit 109 is based on the first feature area in the first image, the second feature area in the second image, and deformation information between the first image and the second image. Then, it is determined whether the first feature area and the second feature area are the same.
- the image group setting unit 110 sets a plurality of images determined to have the same feature area by the determination of the identity determination unit 109 as the same feature area image group. Note that for a given feature area detected in a given image, when there is no other image having a feature area determined to be identical to the feature area, the given image is left in the summary image sequence The image group setting process may be skipped by determining the image group, or an image group having only one given image may be set.
- the summary image sequence generation unit 111 selects at least one representative image from the images included in the same feature area image group set by the image group setting unit 110 and leaves it in the summary image sequence and is selected as a representative image. Perform image summarization processing to delete images that were not present.
- the output unit 112 outputs the summary image sequence generated by the summary image sequence generation unit 111.
- the output unit 112 may be a display unit that displays an image included in the summary image sequence.
- the display of the summary image sequence may be performed by an external device other than the image processing apparatus, and the output unit 112 in that case performs output processing of the summary image sequence to the external device.
- images X1 to X5 are captured original image sequences.
- An image Y1 to an image Y5 are detected image sequences of characteristic regions representing the result of the process of detecting the characteristic regions on the original image sequence.
- the images Z1 to Z5 are deformation region image sequences representing the result of performing the deformation estimation process on the feature regions detected in the detected image sequence.
- the feature area FA1-1 corresponding to OB1 is detected in the image Y1, and the feature areas FA1-2 and OB2 corresponding to OB1 in the image Y2.
- FA2-2 is detected, feature area FA1-3 corresponding to OB1 is detected in image Y3, feature area FA2-4 corresponding to OB2 is detected in image Y4, and feature area FA2- corresponding to OB2 is detected in image Y5. 5 has been detected.
- determination of identity is performed on the detected feature regions as shown in the images Y1 to Y5.
- a specific example is shown below. First, with the feature area FA1-1 detected in the image Y1 as a starting point, it is determined whether or not the images after Y2 have the same feature area as FA1-1.
- deformation estimation processing using deformation information is performed on the feature area FA1-1. Specifically, FA1-1 is deformed using deformation information between the image X1 and the image X2 to obtain a deformation area. This is shown in the image Z2, and a deformation area FA'1-1 is obtained by deforming FA1-1.
- the identity determination process is performed by comparing the deformation area FA'1-1 with the feature area detected in the corresponding image.
- the image Y2 is specified as the image corresponding to the image Z2 for which the FA'1-1 is obtained, and the feature areas FA1-2, FA2-2, and FA'1-1 detected in the image Y2 are identified. You can compare That is, identity determination processing of the feature areas FA1-1 and FA1-2 is performed using FA'1-1 and FA1-2, and identity determination processing of FA1-1 and FA2-2 is FA'1. It is performed using -1 and FA2-2.
- the identity determination process may be performed by defining a similarity function based on the overlap of the deformation area and the feature area, the shape similarity, the texture similarity, and the like, and comparing the similarity with a threshold. If the similarity is greater than the threshold, it is determined that the two target feature regions are the same.
- the shape similarity is information representing the similarity of the contour represented by, for example, the edge of the area.
- the texture similarity is information indicating the similarity of texture (pattern etc.) inside the area.
- the similarity function may be defined by any one of area overlap (position information in an image), shape similarity, texture similarity, etc., or two or more (the values thereof It may be defined by the combination of.
- FA1-1 and FA1-2 are identical, as FA'1-1 and FA1-2 are similar.
- FA1-1 and FA2-2 are not identical.
- the search for an image having the same feature area as the feature area (FA 1-1 in this case) serving as the starting point is continued. This is because the same feature area may be detected across three or more images (including their values).
- the characteristic area FA1-1 may be deformed and projected onto the third image (Z3), and comparison processing with the characteristic area detected at Y3 may be performed.
- the present embodiment calculates deformation information with high accuracy, it is not guaranteed to obtain ideal deformation information without any error.
- FA1-1 is transformed according to the transformation information h (1, 2) between X1 and X2 to obtain FA′1-1, and further FA′1- This corresponds to the process of transforming 1 by h (2, 3). That is, the deformation processing between the images distant in the image sequence is to combine the deformation processing with a plurality of pieces of deformation information, and an error included in the deformation information is accumulated.
- FA1-2 and FA1-3 are identical whether or not FA1-1 and FA1-3 are identical. It is synonymous with the determination of whether or not.
- FA′1-1 is an area estimated using deformation information
- FA1-2 is an area actually detected from the original image X2, and has high reliability.
- the process of determining the identity of a given feature area is a process of deforming and projecting the latest feature area determined to be identical to the given feature area to the adjacent image.
- FA 1-2 is transformed using h (2, 3) to obtain FA ′ 1-2, and the obtained FA ′ 1-2 and Y 3 are detected.
- a comparison process with the feature area FA1-3 may be performed.
- the image group setting unit 110 sets the first to third images as the same feature area image group.
- the summary image sequence generation unit 111 selects at least one image from the same feature area image group as a representative image.
- various images such as the area of the feature area, the position of the feature area in the image, color information, texture information, reliability of the detection process, etc. in the same feature area image group as a target It is possible to use the information of recognition or image detection results.
- This process is repeatedly executed by the number of images included in the image sequence as shown in S301. Specifically, it is determined whether a feature area is detected in the image (i) to be processed (S302). In the case of Yes in S302, the process proceeds to the detailed process of the identity determination shown in S303 to S306. On the other hand, in the case of No in S302, the identity determination process starting from the image (i) at that time is unnecessary, so the process returns from S307 to S301 and the process is performed on the image (i + 1) which is the next image. For example, in the case of FIG. 4, since the feature area FA1-1 is detected as shown in the image Y1 in the first image, the processing of S303 to S306 for searching for an image having the same feature area in the first image is performed. To be executed.
- the detected feature area is first estimated as an image (i + 1), which is an adjacent image, using deformation information (S303). Then, the deformation area obtained by deformation estimation and the feature area detected in the image (i + 1) are compared to determine whether they are the same (S304).
- step S304 if it is determined that the feature area between the deformation area and the adjacent image is not similar, the result of S304 is No, and the deformation estimation process and the identity determination process starting from the image (i) before incrementing in S302. Ends and returns from step S307 to step S301.
- FIG. 6 is a flowchart on the assumption that only one feature area is detected from one image. However, as shown in the image Y2 and the like of FIG. 4, a plurality of feature areas may be detected from one image. In that case, processing may be performed independently for each feature region.
- the feature areas FA1-2 and FA2-2 are detected as indicated by Y2.
- processing may be performed respectively by FA1-2 and FA2-2.
- FA1-2 since it is determined that FA1-2 is identical to the feature area FA1-1 detected in the previous image, it is not necessary to execute the process starting from FA1-2.
- FIG. 5 An example of processing for FA 2-2 is shown in FIG. Specifically, FA 2-2 is deformed and estimated using h (2, 3) to obtain FA ′ 2 ⁇ 2, and comparison processing of the feature area detected in image Y 3 with FA ′ 2 ⁇ 2 is performed. It is good.
- the image Y3 since the image Y3 has no feature area determined to be the same as FA'2-2, only the second image is set as the same feature area image group for the feature area FA2-2. Just do it.
- the process in consideration of FA2-4 of Y4 and FA2-5 of Y5 will be described later in the second embodiment.
- FIG. A flowchart in the case where a plurality of feature areas can be detected is shown in FIG. As in S301 and S307 of FIG. 6, S401 and S408 indicate that the process is repeated by the number of images included in the image sequence.
- a process of detecting a feature area is performed on an image (i) to be processed, as in S302 (S402). When no feature area is detected, the point is No in S402, and the process returns from S408 to S401 as in FIG.
- the process may be repeatedly executed for each area as shown in S404 and S406.
- the process to be executed for each area may be the same process as that shown in FIG. 6, and specifically, the same process as S303 to S306 (S405).
- a plurality of same feature area image groups overlap (a given image is a first same feature area image group as well as a second same feature area image The case is considered to be included in the group.
- the first identical feature area image group is the first to third images
- the second identical feature area image group is the second image.
- the representative images may be independently selected from the respective same feature area image groups. For example, in FIG. 4 and FIG. 5, if the first image is selected as a representative image from the first same feature area image group, and the second image is selected as a representative image from the second same feature area image group, OB1 Both are visible without loss of information in the summary image sequence.
- the representative image may be selected in consideration of the overlap of the same feature area image group.
- the second image which is the overlapping portion is used as a representative image
- the first and second same feature region image groups can be represented by one representative image. The effect of reducing the number of images is improved. That is, in addition to the area of the feature area, the position of the feature area in the image, the color information, the texture information, the reliability of the detection process, etc., in the representative image selection process, overlapping of a plurality of identical feature area image groups You may use information about
- the image processing apparatus acquires an image sequence having continuous first to N-th (N is an integer of 2 or more (including its value)) images.
- a sequence acquisition unit 101 a deformation information calculation unit 104 for obtaining deformation information representing deformation between two images in an image sequence, and a feature region for performing a process of detecting a feature region in each of the first to Nth images
- the detection unit 106 the i-th feature area which is the result of the detection process of the feature area in the i-th image, the (i + 1) -th feature area which is the result of the detection process of the feature area in the i + 1 th image
- An identity determination unit 109 that performs identity determination processing on the i-th feature area and the (i + 1) -th feature area based on h (i, i + 1) that is deformation information between the image and the (i + 1) -th image; Based on the result of the identity determination process, Including a summary processing unit 113 for performing image summarization process.
- the deformation information calculation unit 104 calculates an i-th deformation estimation target region including a region other than at least the i-th feature region in the i-th image, and a region other than at least the i + 1-th feature region in the i + 1 th image.
- H (i, i + 1) is determined based on the included i + 1 deformation estimation target region.
- the summary processing unit 113 in FIG. 1 corresponds to the image group setting unit 110 and the summary image sequence generation unit 111 as shown in FIG. 2, but the image group setting unit 110 and the summary image sequence generation unit Implementation of the abstract processing unit 113 is not hindered by the configuration other than 111.
- deformation information is obtained using a region including areas other than the feature region in the image (in a narrow sense, the entire image is not limited thereto) as a deformation estimation target region. That is, by obtaining the deformation of the area other than the feature area, the feature area included in the inside is also deformed in accordance with the deformation of the surrounding area. Therefore, the feature area in the deformation area obtained by such deformation processing By determining as a deformation area of, the identity is determined by comparing the detected feature area. This assumes that in the image targeted by this embodiment, the target area moves (sticks) in the same manner as the background, and deformation of the background is useful for estimating deformation of the feature area. It is.
- the image processing apparatus projects the i-th feature region onto the i + 1 th image based on the i-th feature region and h (i, i + 1). It may further include a deformation estimation processing unit 108 that performs deformation estimation processing for obtaining the i-th deformation region. Then, the sameness determination unit 109 determines the sameness between the ith feature area and the (i + 1) th feature area based on the ith deformation area obtained by the deformation estimation process and the (i + 1) th feature area. I do.
- the i-th feature area is FA 1-1 of the image Y 1 in FIG. 4
- the i-th deformation area corresponds to FA ′ 1-1 of the image Z 2 in FIG.
- a deformation area is obtained by estimating deformation of one feature area to the other image using deformation information, and the deformation area and the feature area of the other image It becomes possible to perform comparison processing.
- the deformation information is ideal information that does not contain an error
- a subject imaged in a given area of one image is imaged in which area of the other image by the deformation estimation process using the deformation information.
- the method of the present embodiment even if the subject is elastically deformed, it is possible to perform the sameness determination processing by a simple determination as to whether or not the two areas coincide. Thus, it is possible to perform determination with high accuracy. In addition, it is difficult to assume that the deformation information does not include an error, and considering that the color information and the texture information may fluctuate due to conditions of light quantity at the time of imaging, etc., the two areas do not match completely. It goes without saying that it is necessary to determine that they are the same if they are in a range close to a certain extent.
- the image string acquisition unit 101 may acquire a time-series in-vivo image as an image string. Then, the feature area detection unit 106 detects at least one of the lesion area and the abnormal mucous membrane area in the in-vivo image as a feature area.
- the lesion area represents an area having a characteristic corresponding to a given lesion in the image.
- the abnormal mucous membrane region represents a region corresponding to a mucous membrane which is not a lesion but has characteristics different from those of a normal mucous membrane.
- the feature area detection unit 106 may hold a model (pattern) representing a lesion area and detect the lesion area from the in-vivo image.
- a model representing a lesion area and a model representing an abnormal mucous membrane may be held to detect the lesion area and the abnormal mucous membrane region, respectively.
- a model representing a normal mucous membrane may be held, and an area other than the normal mucous membrane area in the image may be detected as either the lesion area or the abnormal mucous membrane area.
- the detection method of the feature area detection unit 106 can be variously modified.
- the lesion area or abnormal mucous membrane area which is the characteristic area integrally moves and deforms integrally with the normal mucous membrane area etc. which is the area (background) other than the characteristic area. That is, when the deformation estimation target area including areas other than the feature area is set, it becomes possible to accurately estimate the deformation of the feature area.
- the image quality of an in-vivo image captured by downsizing the imaging unit is smaller than that of a normal digital camera or the like from the viewpoint of invasiveness to a patient. Often low.
- the frame rate of imaging also becomes very low due to the limitation of the battery and the like.
- the capsule endoscope image has a particularly high degree of redundancy and further includes important feature areas such as a lesion area and an abnormal mucous membrane area
- viewing efficiency can be improved by displaying only the image in which these feature areas are detected.
- the number of images is large even with the image in which the feature area is detected. Since there are many images in which the same feature area is captured in these images, the images having the same feature area are classified into at least one group and then summarized into at least one image from each group The effect of improving the browsing efficiency is high, and it can be said that the method of the present embodiment is effective.
- the deformation information calculation unit 104 further includes an ith deformation estimation target region including at least a normal mucous membrane region in the i th image, and an ith + 1 deformation estimation target region including at least a normal mucous membrane region in the i + 1th image.
- the deformation information may be determined based on
- the deformation information calculation unit 104 may obtain an inter-image motion vector at at least one position in the image as deformation information. Then, the sameness determination unit 109 determines the i-th feature region and the i-th feature region based on the i-th feature region, the (i + 1) -th feature region, and the inter-image motion vector between the i-th image and the (i + 1) -th image. An identity determination process with the i + 1 feature area may be performed.
- deformation information in the present embodiment may be information that expresses deformation between images, and is not limited to motion vectors.
- the identity determination unit 109 is configured to project the i-th deformation region, which is a region obtained by projecting the i-th feature region using the h (i, i + 1) onto the i + 1 th image,
- the identity determination process may be performed based on at least one of shape information, color information, texture information, and position information in an image.
- the lesion type may be recognized together, and therefore, lesion type information may be used for the determination process of the identity. That is, the identity determination unit 109 determines whether the ith deformation area and the (i + 1) th feature area, which are areas obtained by projecting the ith feature area onto the (i + 1) th image using h (i, i + 1). The identity determination processing may be performed based on at least one of shape information, color information, texture information, position information in an image, and lesion type information.
- the identity determination process can be performed using, as a reference, shape information, color information, texture information, position information in the image, and the like of the deformation area and the feature area.
- lesion type information may be used in combination to perform the identity determination process.
- only one or a plurality of pieces of information may be used among the plurality of pieces of information.
- the positions and shapes are geometrically similar, there is a high possibility that they are the same feature area, so conditions for determining the identity of the shape information and the position information in the image It may be In addition, even if the position and shape are similar, it may not be appropriate to determine the same feature area if the textures are different, and therefore, the similarity of the textures is also combined to be the condition of the identity determination. It is also possible to make a high identity determination.
- texture information is used in the identity determination process, it is necessary to deform the texture by texture mapping or the like in the deformation estimation process in the deformation estimation processing unit 108. Conversely, if it is determined that the texture information is not used in the identity determination process, the deformation estimation process may be performed using only the shape (outline).
- the identity determination unit 109 may perform the identity determination process between the ith feature region and the (i + 1) th feature region based on the reliability of h (i, i + 1).
- the reliability of the deformation information calculation can also be used as a condition for determining the identity of the feature area, whereby the identity determination process can be performed with higher reliability. This is because the calculation reliability of the deformation information affects the accuracy of the deformation estimation process.
- the summary processing unit 113 determines, based on the result of the identity determination process, an image determined that the same feature area is captured among the first to N-th images. By selecting at least one representative image from the same feature area image group set by the image group setting unit 110 that sets the same feature area image group configured by the image group setting unit 110 and the image group setting unit 110 May be included.
- the same feature area image group is configured by an image including feature areas determined to be identical. That is, in the images included in the same feature area image group, information on the target feature area is overlapped. Therefore, by leaving one image from the same feature area image group and deleting another image, it is possible to reduce the number of images without losing information about the target feature area.
- the representative image to be selected is not limited to one. For example, in diagnosis of a lesion area, an image obtained by imaging the same lesion from different angles may be useful, etc. Therefore, even if a plurality of images are selected as representative images from the same feature area image group for a given feature area. Good.
- the summary processing unit 113 is configured to include area information of the feature area, color information of the feature area, texture information of the feature area, position information of the feature area in the image, and features in each image included in the same feature area image group.
- the representative image may be selected based on at least one piece of reliability information of the region detection process.
- the method of the present embodiment realizes the labor saving of the user (doctor), it is meaningless that the information on the feature area can not be sufficiently acquired from the image. That is, not only that the characteristic region is imaged, but also if the characteristic region is a detection result with sufficient reliability, or if the visibility in the image of the characteristic region is sufficient, etc. It is preferable to perform selection processing of a representative image.
- part or most of the processing may be realized by a program.
- the processor such as the CPU executes the program, whereby the image processing apparatus and the like of the present embodiment are realized.
- a program stored in a non-temporary information storage device is read, and a processor such as a CPU executes the read program.
- the information storage device (device readable by a computer) stores programs, data, etc., and its function is an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type) This can be realized by a memory, a ROM, etc.
- a processor such as a CPU performs various processing of the present embodiment based on a program (data) stored in the information storage device. That is, a program for causing a computer (a device including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment in the information storage device (a program for causing the computer to execute processing of each unit) Is stored.
- the image processing apparatus and the like of the present embodiment may include a processor and a memory.
- the processor here may be, for example, a CPU (Central Processing Unit). However, the processor is not limited to a CPU, and various processors such as a graphics processing unit (GPU) or a digital signal processor (DSP) can be used.
- the processor may also be a hardware circuit with an application specific integrated circuit (ASIC).
- the memory stores an instruction readable by a computer, and the instruction is executed by the processor to implement each unit such as the image processing apparatus according to the present embodiment.
- the memory here may be a semiconductor memory such as SRAM or DRAM, or may be a register or a hard disk.
- the instruction here may be an instruction of an instruction set that configures a program, or an instruction that instructs an operation to a hardware circuit of a processor.
- a deformation area obtained by estimating deformation of a feature area to an adjacent image is determined, and the comparison process of the deformation area and the feature area detected in the adjacent image is performed.
- the identity determination process for the feature area to be processed has been completed. Specifically, as shown in FIG. 4, when the feature area corresponding to FA′1-3 is not on Y4, the process for the feature area FA1-1 is completed.
- a feature corresponding to OB2 is detected if a feature area corresponding to OB2 is not detected in the middle even if the same subject is originally continued to be imaged. Processing for the area ends. This point is the same not only when the process of detecting the feature area fails, but also when the object OB2 disappears in the image X3 (the imaging itself can not be performed). Specifically, as shown in FIG. 5, the process for FA 2-2 ends when no feature area identical to FA 2-2 is found in Y 3. Therefore, although FA2-4 of Y4 and FA2-5 of Y5 are originally the same feature regions as FA2-2, they are determined to be feature regions different from F2-2.
- the second, fourth, and fifth images of FIG. 5 can be set as one identical feature area image group, they are divided into two identical feature area image groups. Therefore, the number of images selected as the representative image, that is, the number of images included in the summary image sequence is increased, and the effect of saving the labor of the user is reduced.
- the same number of the same for the given feature regions is provided by a predetermined number of sheets. Continue the sex determination process. In this way, even if the feature area can not be detected temporarily like Y3, the process for FA2-2 is continued for the fourth and fifth images, so FA2-2 And FA2-4 and FA2-5 can be determined to be identical.
- the sameness determination process of searching for an image having the same feature area as FA2-2 is started.
- deformation estimation is performed using FA ( 2-2) using h (2, 3), and FA (1) 2-2 is found as in the first embodiment.
- FA (1) 2-2 represents the same area as FA'2-2 in FIG.
- FIG. 5 it is determined that the image Y3 does not have the same feature area as FA (1) 2-2.
- the process is not ended here, and in the next image, it is determined whether or not there is the same feature area as FA2-2. However, since the feature area corresponding to OB2 is not detected in Y3, the feature area actually detected in the third image can not be deformed and estimated with respect to the fourth image.
- the characteristic area FA2-2 is deformed and projected onto the fourth image, and comparison processing with the characteristic area detected at Y4 is performed.
- a region where FA2-2 is projected to the fourth image can be obtained from deformation information h (2, 4) between X2 and X4 and FA2-2.
- deformation information between any two images can be expressed by a combination of deformation information between adjacent images.
- the required area for the case where FA2-2 is deformed by h (2, 4) and the case where FA2-2 is further deformed by h (2, 3) and then h (3, 4) are It should be equal.
- the area obtained by deforming FA 2-2 with h (2, 3) is already obtained as the deformation area FA (1) 2-2, so that FA (1) 2-2 is h (3, 4). Transform it and find FA (2) 2-2.
- the search is performed for a predetermined number of sheets.
- the threshold Th is set, the same feature area is found up to the i-th image, and the same feature area is not found in the (i + 1) th and subsequent ones.
- the same identity determination process may be continued from the image.
- FAi which is a feature area in the i-th image is sequentially deformed by deformation information, and FA (1) i, FA (2) i,... FA (Th) i are obtained and detected. Compare with feature regions.
- FIG. 9 shows a flowchart for explaining the process of this embodiment.
- S501 and S513 indicate that the processing is repeated by the number of images included in the image sequence, as in S301 and S307. The same applies to S502 and S503 as in S302 and S303.
- S504 processing of comparing the deformation area and the feature area detected in the adjacent image is performed. If the deformation area and the feature area detected in the adjacent image are the same, the result of S504 is Yes, and the processes of S505 and S506 are performed. This is similar to the processing of S305 and S306 in FIG.
- the result in S509 is Yes, and the adjacent image (i + 1) at that time is identical as having the same feature area as the image (i) at the time of S502.
- a feature area image group is set (S510). Then, i is incremented (S 511), and the process returns to S 503 in order to continue the identity determination process.
- the process of S507 and subsequent processes is compared with the deformation cumulative threshold (S512). If the number of searched sheets is equal to or less than the threshold value, the process returns to S507, and the processing is continued for the next image. If the number of searched sheets exceeds the threshold, the process returns from step S513 to step S501, and the image serving as the starting point of the process is updated.
- a plurality of feature areas may be detected from one image.
- processing may be performed in parallel for each feature area as in the first embodiment.
- the flowchart is the same as that in FIG. 7, and the processing in S405 and S407 may be changed to the processing in the second embodiment, that is, the processing in S503 to S512 in FIG.
- deformation estimation is cumulatively performed on the deformation area by the set number of threshold values. Therefore, if the sameness determination condition with the feature regions detected within the threshold number of sheets is satisfied, the same for the discontinuous image even if the feature region detection is not continuously performed.
- a feature area image group can be set.
- the identity determining unit 109 determines the predetermined number of images based on the deformation information. The process may be continued, and the identity determination process may be performed when the feature area is detected in the set number of images or less.
- the same feature area as FA 2-2 is not detected from the third image by comparison of the feature areas detected by FA (1) 2-2 of Z 3 and Y 3 in the example of FIG. Also in this case, processing regarding FA2-2 is continued, and identity determination processing using FA (2) 2-2 of Z4 and FA2-4 detected by Y4 in the fourth image is performed. .
- the process is ended there. It is possible to continue the identity determination process using the next image without performing the process.
- the processing for FA2-2 ends with the third image, and the identity determination processing for FA2-4 and FA2-5 that should be originally identical is a row. I can not do it. Therefore, the same feature area image group having the same feature area as the second image is only the second image, and the reduction effect of the number of images may be reduced.
- identity determination processing is performed between FA 2-2, FA 2-4, and FA 2-5. Therefore, since the second, fourth, and fifth images are set as the same feature area image group, the reduction effect of the number of images is improved as compared with the method of the first embodiment, and it is possible to further save labor of the user. become.
- the sex determination unit 109 is the deformation information between the ith characteristic area and the (i + 2) th characteristic area which is the result of the detection processing of the characteristic area in the (i + 2) th image and the ith image and the (i + 2) th image.
- the identity determination process may be performed between the ith feature area and the (i + 2) th feature area based on h (i, i + 2).
- a deformation area (FA (2) 2-2) is obtained by estimating the deformation of the i-th feature area (for example, FA2-2 in FIG. 8) with respect to the image two points ahead, and The comparison process may be performed with the feature area (FA2-4) detected in the image two ahead.
- the process of obtaining FA (2) 2-2 does not have to be performed using FA 2-2 and h (2, 4), and the already obtained FA (1) 2-2 is h It may be carried out by estimating deformation according to (3, 4). That is, in a narrow sense, the deformation estimation processing unit 108 of the image processing apparatus determines the (i + 1) th deformation region based on the (i + 1) th deformation information which is the deformation information between the (i + 1) th image and the (i + 2) th image.
- the identity determination process is performed to determine the identity of the i-th feature area and the (i + 2) -th feature area based on the i + 2th feature area that is the result of the area detection process. May be
- the sameness determination unit 109 does not determine that the ith feature area is the same as the ith feature area which is the result of the process of detecting the feature area in the ith feature area and the ith + k (k is an integer) image.
- the identity determination process on the i-th feature area may be ended.
- the sameness determination unit 109 determines that the i-th feature region and the (i + k) -th feature region are not the same, and if k ⁇ Th, , Based on h (i, i + k + 1), which is the deformation information between the i-th image and the i + k + 1 image, which is a result of the detection process of the feature region in the i + k + 1 image; An identity determination process may be performed between the i feature region and the (i + k + 1) feature region.
- the processing in the case where the same feature area can not be found is not limited to the image two images ahead, and it is possible to continue the images ahead by a predetermined number (Th in the above example). .
- Th a predetermined number
- the detection of the feature area may be possible if the imaging conditions change.
- the feature area is shielded by the contents, the eyebrow structure, etc., the contents are moved (in a narrow sense, removed), or the eyebrow structure moves by its own movement, or the like.
- processing unit 101 image sequence acquisition unit, 102 image input unit, 103 image database, 104 deformation information calculation unit, 105 deformation information storage unit, 106 feature region detection unit, 107 feature region storage unit, 108 deformation estimation processing unit, 109 identity determination unit 110 image group setting unit 111 summary image sequence generation unit 112 output unit, 113 summary processing unit
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
画像処理装置は、画像列取得部101と、画像間の変形情報を求める変形情報算出部104と、特徴領域の検出処理を行う特徴領域検出部106と、第iの画像と第i+1の画像の間の変形情報とに基づいて、第iの特徴領域と第i+1の特徴領域との同一性判定処理を行う同一性判定部109と、画像要約処理を行う要約処理部113を含み、変形情報算出部104は、第iの画像のうち第iの特徴領域以外の領域を含む第iの変形推定対象領域と、第i+1の画像のうち第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて変形情報を求める。
Description
本発明は、画像処理装置、画像処理方法及びプログラム等に関する。
動画像や、連続する膨大な画像列を扱うとき、これらの連続する画像列から有用な画像を抽出することにより要約された画像列を生成することは、短時間で、全体の概要を把握するという観点から、有用な技術分野となっている。例えば、現在用いられている一般的なカプセル型内視鏡で撮影される被検体内画像は、カプセル型内視鏡を口から飲み込んで体外に排出されるまでに約0.5秒毎に撮影され、約60,000枚もの連続する画像列となる。これらの画像は、消化管内を順次撮影しており、ワークステーション等において画像を表示させて観察することにより診断を行うものである。しかし、約60,000枚にも及ぶ大量の画像の全てを順次観察するには膨大な時間がかかり、観察を効率的に行うための技術が望まれている。
このような画像列から例えば、画像処理によって病変部を検出し、病変が検出された画像のみを表示しようとする場合でも、同一の病変が連続して撮影されている場合が多く発生しており、それらを検出した画像も同一の病変が連続して検出された画像列となる。これらのすべての画像を表示すると、異なる画像として撮影されてはいるものの同一病変を繰り返し観察することになり冗長であるため、省力化の観点からは同一の病変が撮影されている画像列はより少数の画像列に要約する等、効率的な表示が望まれている。
時系列的な複数の画像において、各画像に撮像された被写体が同一であるか否かを判定する手法が開示されている。例えば特許文献1には、入力した画像情報から対象物を検出する対象物検出手段と、前記対象物検出手段により前記対象物を検出した場合に、前記撮像手段に対する前記対象物の距離及び位置を測定する距離・位置測定手段と、前記対象物に対する画像1フレームあたりの移動範囲を取得する移動範囲取得手段と、前記移動範囲取得手段により得られる移動範囲から、フレーム毎に検出された対象物が同一であるか否か判定する判定手段とを有する追跡装置が開示されている。
また特許文献2には、侵入物と同一と判断される現侵入物が検出されなかった場合は、その時点からの消失時間を計測し、消失時間が予め設定した消失確認時間以下の場合は、前侵入物の推定侵入物状態(推定位置及び推定幾何学的特徴量)を現侵入物の推定侵入物状態として維持し、次回以降の画像データから検出された侵入物に対し、これらの推定位置及び推定幾何学的特徴量を用いて、同一性判断を行う進入物検知追跡装置が開示されている。
特許文献1では、対象としている物体の移動範囲を推定し、推定した移動範囲内に同様の特性の物体が撮像されたか否かに基づいて同一性の判定を行っている。また、特許文献2では、対象物体が検出されない期間は、検出された期間の物体領域の履歴から線形近似により物***置の推定を行い、推定結果に基づいて同一性の判定を行っている。
特許文献1,特許文献2は、ともに対象としている物体や、当該物体の背景として撮像される被写体が剛体的であり、且つ独立して移動することを想定している。しかし内視鏡装置により撮像される生体内画像では、被写体が非剛体的(弾性的)な運動を行う。例えば腸内を撮像した消化管画像であれば、腸のぜん動運動により、被写体がその形状を大きく変える。そのため、物体の移動が線形であることを仮定している特許文献1や特許文献2の手法を生体内画像を対象とした画像列に適用しても、充分な精度で物体の同一性を判定することができない。その結果として、画像要約処理において、削除すべきではない画像を削除することで情報の欠落が発生したり、削除できる画像を削除しないことでユーザ(ドクター)の省力化の効果が低下するおそれがある。
本発明の幾つかの態様によれば、画像中の少なくとも特徴領域以外の領域に基づいて求めた変形情報を用いて、特徴領域の同一性判定処理を行うことで、精度の高い画像要約処理を実現する画像処理装置、画像処理方法及びプログラム等を提供することができる。
本発明の一態様は、連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する画像列取得部と、前記画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出部と、前記第1~第Nの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部と、第iの画像における前記特徴領域の前記検出処理の結果である第iの特徴領域と、第i+1の画像における前記特徴領域の前記検出処理の結果である第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記変形情報であるh(i,i+1)とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との同一性判定処理を行う同一性判定部と、前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行う要約処理部と、を含み、前記変形情報算出部は、前記第iの画像のうち少なくとも前記第iの特徴領域以外の領域を含む第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求める画像処理装置に関係する。
本発明の一態様では、特徴領域以外の領域を含む変形推定対象領域に基づいて変形情報を求め、求めた変形情報を用いて特徴領域の同一性判定処理を行う。変形情報を用いることで、被写体が弾性的な変形を行う場合であっても、精度よく同一性の判定を行うことができ、画像要約処理の精度を高くすること等が可能になる。また、変形情報の算出に特徴領域以外の領域の情報を用いることで、変形情報を精度よく算出すること等が可能になる。
また、本発明の一態様では、前記第iの特徴領域とh(i,i+1)とに基づいて、前記第iの特徴領域を、前記第i+1の画像に対して射影した領域である第iの変形領域を求める変形推定処理を行う変形推定処理部をさらに含み、前記同一性判定部は、前記変形推定処理により得られた前記第iの変形領域と、前記第i+1の特徴領域とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との前記同一性判定処理を行ってもよい。
これにより、変形情報を用いて変形領域を求めることで、特徴領域の高精度での同一性判定処理を行うこと等が可能になる。
また、本発明の一態様では、前記画像列取得部は、前記画像列として、時系列の生体内画像を取得し、前記特徴領域検出部は、前記生体内画像内の病変領域及び異常粘膜領域の少なくとも一方の領域を、前記特徴領域として検出してもよい。
これにより、生体内画像を対象とした画像要約処理を実行すること等が可能になる。
また、本発明の一態様では、前記変形情報算出部は、前記第iの画像のうち少なくとも正常粘膜領域を含む前記第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記正常粘膜領域を含む第i+1の変形推定対象領域とに基づいて、前記変形情報を求めてもよい。
これにより、正常粘膜領域を含む変形推定対象領域を設定すること等が可能になる。
また、本発明の一態様では、前記同一性判定部において、同一の前記特徴領域が撮像されているという判定が行われなかった場合に、前記同一性判定部は、所定の枚数分だけ、前記変形情報に基づく処理を継続し、設定された枚数以内の画像において、前記特徴領域が検出された場合に、前記同一性判定処理を行ってもよい。
これにより、同一の特徴領域が見つからなかった場合であっても、所定枚数分だけ処理を継続すること等が可能になる。
また、本発明の一態様では、前記第i+1の画像において前記特徴領域が検出されなかったことで、前記同一性判定部において、前記第iの特徴領域と前記第i+1の特徴領域が同一であるという判定が行われなかった場合に、前記同一性判定部は、前記第iの特徴領域と、前記第i+2の画像における前記特徴領域の前記検出処理の結果である第i+2の特徴領域と、前記第iの画像と第i+2の画像の間の前記変形情報であるh(i,i+2)とに基づいて、前記第iの特徴領域と前記第i+2の特徴領域との前記同一性判定処理を行ってもよい。
これにより、第iの特徴領域に対して累積的に変形推定処理を行うことで、第iの特徴領域と、第iの画像に隣接しない第i+2の画像での特徴領域との同一性判定処理を行うこと等が可能になる。
また、本発明の一態様では、前記同一性判定部は、前記第iの特徴領域と、前記第i+k(kは整数)の画像における前記特徴領域の前記検出処理の結果である第i+kの特徴領域が同一であるという判定が行われなかった場合であって、k≧Th(Thは所与の整数)の場合に、前記第iの特徴領域に関する前記同一性判定処理を終了し、前記第iの特徴領域と、前記第i+kの特徴領域が同一であるという判定が行われなかった場合であって、k<Thの場合に、前記第iの特徴領域と、前記第i+k+1の画像における前記特徴領域の前記検出処理の結果である第i+k+1の特徴領域と、前記第iの画像と第i+k+1の画像の間の前記変形情報であるh(i,i+k+1)とに基づいて、前記第iの特徴領域と前記第i+k+1の特徴領域との前記同一性判定処理を行ってもよい。
これにより、第iの特徴領域に対して、所定枚数分まで累積的に変形推定処理を行うことで、第iの特徴領域と、第iの画像に隣接しない第i+kの画像での特徴領域との同一性判定処理を行うこと等が可能になる。
また、本発明の一態様では、前記変形情報算出部は、画像内の少なくとも1つの位置における画像間動きベクトルを、前記変形情報として求め、前記同一性判定部は、前記第iの特徴領域と、前記第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記画像間動きベクトルとに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との前記同一性判定処理を行ってもよい。
これにより、動きベクトルを変形情報として用いること等が可能になる。
また、本発明の一態様では、前記同一性判定部は、前記第iの特徴領域をh(i,i+1)を用いて前記第i+1の画像に対して射影した領域である第iの変形領域、及び前記第i+1の特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報の少なくとも1つの情報に基づいて、前記同一性判定処理を行ってもよい。
これにより、種々の情報のうち少なくとも1つの情報を用いて同一性判定処理を行うこと等が可能になる。
また、本発明の一態様では、前記同一性判定部は、h(i,i+1)の信頼度に基づいて、前記第iの特徴領域と前記第i+1の特徴領域との間の前記同一性判定処理を行ってもよい。
これにより、変形情報算出の信頼度に基づいて同一性判定処理を行うこと等が可能になる。
また、本発明の一態様では、前記要約処理部は、前記同一性判定処理の結果に基づいて、前記第1~第Nの画像のうち、同一の前記特徴領域が撮影されていると判定された画像から構成される同一特徴領域画像群を設定する画像群設定部と、前記画像群設定部において設定された前記同一特徴領域画像群から、少なくとも1枚の代表画像を選択することで、要約画像列を生成する要約画像列生成部と、を含んでもよい。
これにより、画像群の設定処理と、代表画像の選択処理により画像要約処理を実現すること等が可能になる。
また、本発明の一態様では、前記要約処理部は、前記同一特徴領域画像群に含まれる各画像における、前記特徴領域の面積情報、前記特徴領域の色情報、前記特徴領域のテクスチャ情報、前記特徴領域の画像内での位置情報、及び前記特徴領域の前記検出処理の信頼度情報の少なくとも1つの情報に基づいて、前記代表画像を選択してもよい。
これにより、種々の情報のうち少なくとも1つの情報を用いて代表画像の選択処理を行うこと等が可能になる。
また、本発明の他の態様は、連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する処理を行い、前記画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出処理を行い、前記第1~第Nの画像の各画像において、特徴領域の検出処理を行い、第iの画像における前記特徴領域の前記検出処理の結果である第iの特徴領域と、第i+1の画像における前記特徴領域の前記検出処理の結果である第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記変形情報であるh(i,i+1)とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との同一性判定処理を行い、前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行い、前記変形情報算出処理において、前記第iの画像のうち少なくとも前記第iの特徴領域以外の領域を含む第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求める画像処理方法に関係する。
また、本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理(例えば内視鏡画像列であれば診断等の医療行為)を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理(例えば内視鏡画像列であれば診断等の医療行為)を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔(例えば0.5秒に1回等)で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間(場合によっては十数時間)を要するため、1ユーザの1回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、診断等において有用性の高くない画像も多数存在してしまう。
これに対して、画像中から病変領域を検出し、病変領域が検出された画像は要約処理後の要約画像列に残し、病変領域が検出されなかった画像は削除するという画像要約処理を行うことが考えられる。しかし症例によっては、取得された画像列の大部分の画像で病変領域が検出される場合がある。このような場合には、病変領域が検出されたか否かで画像要約処理を行ったとしても、大部分の画像が削除不可とされるため、画像枚数の削減効果が低くユーザ(ドクター)の負担軽減につながらない。
そこで本出願人は、所与の画像中の特徴領域(狭義には病変領域や異常粘膜領域)と、他の画像中の特徴領域の同一性を判定する処理を行い、当該処理の結果に基づいて画像要約処理を行う手法を提案する。具体的には、複数枚の画像のそれぞれから検出された特徴領域が同一であると判定された場合には、当該複数枚の画像のうち少なくとも1枚を残し、他の画像を削除すればよい。各特徴領域が同一である(例えば同一の病変である)と判定されたのであるから、少なくとも1枚の画像を残せば当該特徴領域の情報は失われることなく、画像要約処理後の画像列(以下、要約画像列とも記載)においても観察可能となる。
画像中に撮像された物体の同一性判定手法は、特許文献1や特許文献2のように、種々の手法が知られている。しかし生体内画像を対象とした場合、従来手法は必ずしも有効とは言えない。従来の同一性判定手法(トラッキング手法)では、検出対象である物体が剛体的な変形を行うことを想定している。例えば、特許文献1や特許文献2において開示されているのは、監視カメラ等における人物のトラッキングに関する手法である。この場合、画像中での人物は、撮像タイミングの異なる複数の画像間で、形状(輪郭)が大きく変化することは考えにくく、画像中での位置や画像中でのサイズの変化が主となる変形が行われ、さらに位置やサイズの変化も線形であるとの仮定がよく当てはまるものである。本実施形態では、このような変形を「剛体的」な変形を表現する。そのため、特許文献1の移動範囲の推定や、特許文献2の履歴からの線形近似によるトラッキングでも特に問題は生じない。
しかし生体内画像では特徴領域は病変領域等となり、当該病変領域は生体表面(例えば消化管の粘膜)に生じる、或いは生体表面に貼り付いているものである。そして生体は、それ自体が柔らかく弾性的な変形が生じうる上に、腸のぜん動運動のように何らかの運動をすることで自らその形状を変える場合もある。つまり、特徴領域も剛体的な変形でなく非剛体的(弾性的)な変形が生じるため、従来の同一性判定手法では精度のよい判定が難しい。
そこで本出願人は、画像間の変形情報に基づいて特徴領域の同一性を判定する手法を提案する。そして変形情報を求める際に、少なくとも特徴領域以外の領域を用いるものとする。従来手法であれば、第1の画像中の第1の特徴領域と、第2の画像中の第2の特徴領域の同一性判定の際には、それらを直接比較していた。これは例えば、図4における画像Y1の特徴領域FA1-1と、画像Y2の特徴領域FA1-2を直接比較する場合に対応する。よって、被写体が弾性的な変形をする場合等には、第1の特徴領域と第2の特徴領域の形状等が大きく異なる可能性もあり精度が低くなる。
その点、変形情報を用いれば、当該変形情報には被写体の弾性的な変形も含まれているため、生体内画像等を対象とした場合にも精度のよい同一性の判定が可能である。例えば、第1の画像と第2の画像の間の変形情報を用いて、第1の特徴領域を変形推定することで変形領域を求め、当該変形領域と第2の特徴領域の比較を行えばよい。この場合、第1の画像と第2の画像との間の変形は、変形情報を用いた変形推定処理によりキャンセル(広義には低減)されるため、第1の特徴領域と第2の特徴領域が同一であれば、変形領域と第2の特徴領域との差異が小さくなり、高精度での同一性判定が可能となる。これは例えば、図4のY1における特徴領域FA1-1を変形した画像Z2の変形領域FA’1-1と、画像Y2の特徴領域FA1-2とを比較する場合に対応する。
しかし、上記手法は画像間の変形情報が高精度で求められていることを前提としており、変形情報の精度が低ければ、求められる変形領域の精度及び当該変形領域を用いた同一性判定処理の精度も低下してしまう。その点、生体内画像における変形情報を、特徴領域(病変領域)部分のみから求めた場合、当該変形情報の精度を確保することは難しい。なぜなら、生体内画像では内容物や襞構造等により特徴領域が遮蔽される場合があるためである。
例えば、腸等の消化管を撮像した画像では、消化管内の泡や残渣が撮像される場合があり、それら内容物が病変領域を覆う位置にあったり、病変領域と撮像部の間にあったりすると、当該内容物がなければ撮像できたはずの病変領域の一部又は全部が遮蔽されてしまう。また、生体内には襞のような凸構造がみられ、当該襞等は上記ぜん動運動等により位置を変えることがある。よって、撮像部と病変領域の相対位置だけ考えた場合に当該病変領域が撮像可能であったとしても、襞等の動きによっては当該病変領域が撮像されたり遮蔽されて撮像できなかったりする。
また、生体内画像を撮像するケースでは、撮影のフレームレートが低い場合が多い。これはバッテリーや装置のサイズに制限が大きいカプセル内視鏡の場合に特に顕著であり、例えば上述したように2fps程度の低いフレームレートとなることもある。この低いフレームレートも、変形情報の精度を低下させる要因となる。
そこで本出願人は、上述したように、変形情報を求める際に画像中の特徴領域以外の領域の情報を少なくとも用いるものとする。本実施形態では、対象としている画像において、特徴領域と、それ以外の領域(背景)とは同じ動きをすることを想定している。例えば、生体内画像では特徴領域である病変領域は、背景である粘膜領域に貼り付いているものであり、病変領域と粘膜領域は一体として動く(変形する)ものである。つまり病変領域ではない粘膜領域の変形と、病変領域の変形とに関連性があることになり、内容物や襞構造等により病変領域が遮蔽されたとしても、粘膜領域等の情報を用いることで変形情報を精度よく求めることが可能となる。
具体例を図3(A)~図3(C)に示す。図3(A)に示したように、第1の画像で特徴領域FA1が検出された場合であって、第2の画像ではFA1に対応する領域は、本来FA2の領域に撮像されるはずであったが、FA2を含む遮蔽領域MAが内容物により遮蔽されてしまった場合を考える。この場合、FA1の情報だけを用いて画像間の変形情報を求めようとしても、FA1に対応する特徴を有するはずであったFA2はMAにより遮蔽されているため、第2の画像からはFA1に対応する領域が見つからず、適切な変形情報を求められない。
このような場合であっても、画像全体を対象として変形情報を算出することで、第1の画像中の領域と、当該領域に対応する第2の画像中の領域を見つけることは可能である。例えば、病変領域以外の粘膜領域等は第1の画像と第2の画像で同様の特性を有する。よって、図3(B)に示したように、第1の画像中の領域R1が、第2の画像中の領域R2と対応しているという情報を求めることができる。ここで、上述した特徴領域とそれ以外の領域とが一体として変形するという前提を考慮すれば、図3(C)に示したような対応関係を導くことが可能である。すなわち、図3(B)に示したようにR1とR2が対応するのであれば、図3(C)に示したように第1の画像のR1以外の領域R3と、第2の画像のR2以外の領域R4とが対応する。
特許文献1や特許文献2のような従来手法で対象としている画像では、図3(C)を導くことはできない。特許文献1等では、検出対象である物体(人物等)と、背景(風景等)とは独立に移動(変形)するためである。例えば、図3(B)のようにR1とR2の対応関係が求められても、第1の画像でR3に撮像されていた物体1が、第2の画像の撮像までに撮像範囲外へ移動したり、第2の画像の撮像までに物体1とは異なる物体2が領域R4に入り込んでくるといったケースは充分考えられる。それ以外にも、物体と背景の一方のみが移動したり、それぞれが異なる方向に移動する場合が多く見られる。そのため、R3とR4とが対応するとの判定が適切でない場合も多く、特徴領域以外の領域の情報は、変形領域を求めるための変形情報の導出に当たって有効ではない。
その点、本実施形態では病変領域と粘膜領域は一体として動くことから、R1とR2の対応関係に基づいてR3とR4の対応関係を導くことは自然である。なお、図3(A)~図3(C)では、説明の簡略化のために領域と領域の対応関係として説明したが、実際の変形情報は、画像中の各点における動きベクトルであってもよい。この場合、図3(B)での対応関係とは、R1に含まれる各点について信頼度の高い動きベクトルが求められ、R1以外の領域(R3)では動きベクトルが求められない、或いは信頼度の低い動きベクトルが求められる状態に対応する。そして図3(C)の対応関係とは、信頼度の高いR1での動きベクトルを用いた補間処理(補正処理)等により、R3に含まれる各点について動きベクトルを推定する状態に対応する。つまり本実施形態の手法により、第1の画像の任意の点(任意の領域)が、第2の画像中のいずれの点(領域)に移動(変形)されるかを、精度よく求めることが可能である。
本実施形態の画像処理装置は、図1に示したように、連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する画像列取得部101と、画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出部104と、第1~第Nの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部106と、第iの画像における特徴領域の検出処理の結果である第iの特徴領域と、第i+1の画像における特徴領域の検出処理の結果である第i+1の特徴領域と、第iの画像と第i+1の画像の間の変形情報であるh(i,i+1)とに基づいて、第iの特徴領域と第i+1の特徴領域との同一性判定処理を行う同一性判定部109と、同一性判定処理の結果に基づいて、画像列に対する画像要約処理を行う要約処理部113と、を含み、変形情報算出部104は、第iの画像のうち少なくとも第iの特徴領域以外の領域を含む第iの変形推定対象領域と、第i+1の画像のうち少なくとも第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求める。
これにより、画像間の変形情報を精度よく求めること、及び求めた変形情報を用いて同一性の判定を行うことで、適切な画像要約処理を行うことが可能になる。
以下、第1~第2の実施形態について説明する。第1の実施形態では基本的な手法について説明し、第2の実施形態では特徴領域の一時的な消失(非検出)に対応する手法を説明する。
2.第1の実施形態
図2に本実施形態に係る画像処理装置のシステム構成例を示す。画像処理装置は、画像列取得部101と、処理部10と、出力部112を含み、処理部10は、変形情報算出部104と、変形情報記憶部105と、特徴領域検出部106と、特徴領域記憶部107と、変形推定処理部108と、同一性判定部109と、画像群設定部110と、要約画像列生成部111とを含む。ただし、画像処理装置は図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、画像入力部102や画像データベース103は、画像処理装置外に設けられることを想定しているが、画像処理装置がそれらを含んで構成されてもよい。
図2に本実施形態に係る画像処理装置のシステム構成例を示す。画像処理装置は、画像列取得部101と、処理部10と、出力部112を含み、処理部10は、変形情報算出部104と、変形情報記憶部105と、特徴領域検出部106と、特徴領域記憶部107と、変形推定処理部108と、同一性判定部109と、画像群設定部110と、要約画像列生成部111とを含む。ただし、画像処理装置は図2の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。例えば、画像入力部102や画像データベース103は、画像処理装置外に設けられることを想定しているが、画像処理装置がそれらを含んで構成されてもよい。
画像列取得部101は、画像入力部102から入力された画像列又は画像データベース103に記憶された画像列を取得する。ここでの画像列は連続する複数の画像から構成されるものであり、狭義には生体の内部を撮像した生体内画像から構成される画像列である。
変形情報算出部104は、画像列取得部101が取得した画像列に含まれる2つの画像の間の変形情報を求める。上述したように、変形情報算出部104の変形情報を求める際には、画像中の特徴領域以外の領域を少なくとも含む変形推定対象領域の情報を用いる。なお、後述する特徴領域検出部106での検出結果を取得し、検出された特徴領域以外の画像中の領域を変形推定対象領域として設定してもよいがこれに限定されない。例えば、生体内画像において、画像全体が特徴領域(病変領域)となることは想定しにくいことから、画像全体を一律に変形推定対象領域としてもよい。この場合、第1の画像全体と、第2の画像全体とから、第1の画像と第2の画像の間の変形情報を求めることになる。
ここで、変形情報とは画像中の点における動きベクトルであってもよく、動きベクトルの導出は、一般的に行われているブロックマッチングによる手法等、種々の手法により実現可能である。また、特許文献3に開示されているように画像間の変形パラメータを算出してもよく、当該変形パラメータを変形情報としてもよいし、当該変形パラメータに基づいて求められる動きベクトルを変形情報としてもよい。いずれにせよ、変形情報を求めるに当たって、図3(B)に示したように特徴領域以外の領域の情報を用いるという条件が満たされればよく、変形情報の算出処理は種々の手法により実現可能である。なお、動きベクトル等の変形情報を算出する際には、その信頼性を併せて求めてもよい。
変形情報記憶部105は、変形情報算出部104で算出された変形情報を記憶する。なお、図4、図5の説明図、或いは図6のフローチャート等を用いて後述するように、本実施形態での処理は、狭義には隣り合う画像間の変形情報を用いて実現できる。よって、変形情報算出部104では、画像列における隣り合う画像間の変形情報を求め、変形情報記憶部105は求めた変形情報を記憶してもよい。画像列が第1~第N(Nは整数)の画像から構成されるのであれば、(N-1)通りの変形情報を算出、記憶する。ただし、本実施形態の処理は隣接画像間で行われるものには限定されない。その場合、画像列の任意の2つの画像間の変形情報を算出、記憶してもよい。具体的には、N(N-1)/2通りの変形情報を算出、記憶する。ただし、任意の2つの画像間の変形情報は、その間の隣接画像間の変形情報の組み合わせにより求めることができる。例えば、隣接しない第s(sは整数)の画像と第t(tは整数)の画像の間の変形情報h(s,t)は、隣接画像間の変形情報であるh(s,s+1)、h(s+1,s+2)、・・・、h(t-1,t)の組み合わせで求められる。つまり、変形情報の算出、記憶は隣接画像間で行っておき、任意の2つの画像間の変形情報については処理で必要となった場合に求めるものであってもよい。
特徴領域検出部106は、画像列取得部101が取得した画像列の各画像から、特徴的な領域である特徴領域を検出する。ここでの特徴領域は、狭義には生体内画像における病変領域や異常粘膜領域である。なお、粘膜表面の病変や異常を対象とする場合であっても、白みがかった領域を異常とするか、出血等により赤みがかった領域を異常とするかは、対象としている病変や検査項目等で異なってくる。つまり、特徴領域の検出対象や、当該特徴領域の検出手法は種々の手法を適用可能である。特徴領域の検出手法は、例えば上述した通常の色味により検出する手法だけではなく、特殊光(狭義には通常光に比べて周波数帯域の狭い狭帯域光)の照射により取得される画像に基づいて、扁平上皮癌等の特定の病変領域を検出する手法、或いは医療用画像における病変領域検出方法として特許文献4に示されるような手法等、種々の変形実施が可能である。
特徴領域記憶部107は、特徴領域検出部106で検出された特徴領域に関する情報を記憶する。
変形推定処理部108は、変形情報記憶部105に記憶された画像間の変形情報に基づいて、所与の画像の特徴領域を変形して他の画像に射影する変形推定処理を行う。ここでの変形推定処理は、第1の画像の特徴領域である第1の特徴領域を対象として行えばよい。ただし、変形推定処理の結果として、第1の特徴領域に対応する第2の画像中の領域である第1の変形領域が求められればよいため、変形推定処理の対象は第1の特徴領域のみに限定されない。例えば、第1の画像全体を、第1の画像と第2の画像の間の変形情報により変形して、第2の画像中で第1の画像に対応する領域を求め、当該領域の中から第1の特徴領域に対応する部分を求めることで、第1の変形領域を特定してもよい。
同一性判定部109は、第1の画像での第1の特徴領域と、第2の画像での第2の特徴領域と、第1の画像と第2の画像の間の変形情報とに基づいて、第1の特徴領域と第2の特徴領域が同一であるか否かの判定処理を行う。
画像群設定部110は、同一性判定部109の判定により、同一の特徴領域を有すると判定された複数の画像を同一特徴領域画像群として設定する。なお、所与の画像で検出された所与の特徴領域について、当該特徴領域と同一と判定された特徴領域を有する他の画像がない場合については、当該所与の画像は要約画像列に残すものに決定して画像群の設定処理をスキップしてもよいし、含まれる画像が当該所与の画像1枚だけである画像群を設定するものとしてもよい。
要約画像列生成部111は、画像群設定部110で設定された同一特徴領域画像群に含まれる画像から、少なくとも1枚の代表画像を選択して要約画像列に残すとともに、代表画像として選択されなかった画像を削除する画像要約処理を行う。
出力部112は、要約画像列生成部111で生成された要約画像列の出力を行うものであり、例えば要約画像列に含まれる画像の表示を行う表示部であってもよい。或いは、要約画像列の表示は画像処理装置以外の外部機器で行ってもよく、その場合の出力部112は、当該外部機器に対する要約画像列の出力処理を行う。
次に、図4を用いて本実施形態の処理の詳細を説明する。図4において、画像X1~画像X5は撮影された原画像列である。画像Y1~画像Y5は原画像列に対して特徴領域の検出処理が行われた結果を表す特徴領域の検出画像列である。画像Z1~画像Z5は、検出画像列において検出された特徴領域に対して変形推定処理が行われた結果を表す変形領域画像列である。
図4の例では、画像X1~X3の3枚において、同一の被写体(狭義には同一の病変部)に対応するOB1が撮像されている。また、画像X2~X5の4枚において、OB1とは異なる被写体OB2が撮像されている。
また、X1~X5に対する特徴領域の検出処理の結果として、画像Y1ではOB1に対応する特徴領域FA1-1が検出され、画像Y2ではOB1に対応する特徴領域FA1-2とOB2に対応する特徴領域FA2-2が検出され、画像Y3ではOB1に対応する特徴領域FA1-3が検出され、画像Y4ではOB2に対応する特徴領域FA2-4が検出され、画像Y5ではOB2に対応する特徴領域FA2-5が検出されている。画像X3と画像Y3の比較からわかるように、被写体OB2が撮像されているはずの画像X3に対する特徴領域の検出処理の結果として、OB2に対応する特徴領域が検出されないことがある。これは、単純に検出処理の精度による場合もあるが、上述したように内容物や襞により被写体が遮蔽されてしまった場合等も考えられる。
本実施形態では、画像Y1~Y5に示したような、検出された特徴領域について同一性の判定を行う。具体例を以下に示す。まず、画像Y1で検出された特徴領域FA1-1を起点として、Y2以降の画像においてFA1-1と同一の特徴領域を有するか否かの判定を行う。
その際、上述したようにFA1-1とFA1-2の直接比較、或いはFA1-1とFA2-2の直接比較は行わない。本実施形態では、特徴領域FA1-1に対して変形情報を用いた変形推定処理を行う。具体的には、画像X1と画像X2の間の変形情報を用いてFA1-1を変形して変形領域を求める。これを示したものが画像Z2であり、FA1-1を変形することで、変形領域FA’1-1が求められる。
同一性の判定処理は、変形領域FA’1-1と、対応する画像において検出された特徴領域の比較により行う。具体的には、FA’1-1が求められた画像Z2に対応する画像として画像Y2を特定し、画像Y2で検出された特徴領域FA1-2、FA2-2と、FA’1-1とを比較すればよい。つまり、特徴領域FA1-1とFA1-2の同一性判定処理は、FA’1-1とFA1-2を用いて行われ、FA1-1とFA2-2の同一性判定処理は、FA’1-1とFA2-2を用いて行われる。
ここで同一性判定処理としては、変形領域と特徴領域の、領域の重なり、形状類似度、テクスチャ類似度等により類似度関数を定義して、類似度を閾値と比較することにより行えばよい。類似度が閾値よりも大きければ、対象としている2つの特徴領域は同一であると判定される。ここで形状類似度とは、例えば領域のエッジ等により表される輪郭の類似度を表す情報である。またテクスチャ類似度とは、領域内部のテクスチャ(模様等)の類似度を表す情報である。なお類似度関数は、領域の重なり(画像中での位置情報)、形状類似度、テクスチャ類似度等のいずれか1つにより定義されるものであってもよいし、2つ以上(その値を含む)の組み合わせにより定義されるものであってもよい。
図4の例では、FA’1-1とFA1-2が類似しているものとして、FA1-1とFA1-2は同一であると判定される。なおFA1-1とFA2-2は非同一である。このように、同一と判定された特徴領域が見つかった場合には、起点となった特徴領域(ここではFA1-1)と同一の特徴領域を有する画像の探索を継続する。3枚以上(その値を含む)の画像に渡って同一の特徴領域が検出される可能性があるためである。
この際、特徴領域FA1-1を3番目画像(Z3)に対して変形、射影して、Y3で検出された特徴領域との比較処理を行ってもよい。しかし本実施形態は高精度での変形情報の算出を行うものであるが、誤差が全くない理想的な変形情報を求めることが保証されているわけではない。FA1-1をZ3に対して変形、射影する処理は、FA1-1をX1とX2の間の変形情報h(1,2)により変形してFA’1-1を求め、さらにFA’1-1をh(2,3)により変形する処理に相当する。つまり、画像列において遠い画像間での変形処理は、複数の変形情報による変形処理を組み合わせることになり、変形情報に含まれる誤差を蓄積することになってしまう。
その点、FA1-1とFA1-2が同一であると判定されているのであるから、FA1-1とFA1-3が同一であるか否かは、FA1-2とFA1-3が同一であるか否かの判定と同義である。そしてFA’1-1が変形情報を用いて推定された領域であるのに対して、FA1-2は原画像X2から実際に検出された領域であり信頼性が高い。
以上のことから、所与の特徴領域についての同一性の判定処理は、当該所与の特徴領域と同一であると判定された最新の特徴領域を、隣接する画像に対して変形、射影する処理により実現可能である。具体的には、図4に示したように、FA1-2をh(2,3)を用いて変形してFA’1-2を求め、求めたFA’1-2と、Y3で検出された特徴領域FA1-3との比較処理を行えばよい。
図4の例では、FA’1-2とFA1-3の類似度が高く、FA1-2とFA1-3が同一の特徴領域であると判定されている。その後も同様に、FA1-3をh(3,4)により変形してFA’1-3を求め、FA’1-3と、Y4で検出された特徴領域との比較処理を行う。図4ではY4においてFA’1-3と同一であると判定された特徴領域が見つからなかったため、特徴領域FA1-1に関する処理を終了する。
ここまでの処理により、第1~第3の画像は同一の特徴領域を有することがわかるため、画像群設定部110は第1~第3の画像を同一特徴領域画像群として設定する。そして要約画像列生成部111は、同一の特徴領域画像群から少なくとも1枚の画像を代表画像として選択する。代表画像の選択処理においては、対象としている同一特徴領域画像群内で、特徴領域の面積や、特徴領域の画像内での位置、色情報、テクスチャ情報、検出処理の信頼度等、種々の画像認識又は画像検出の結果の情報を用いることが可能である。
次に図6のフローチャートを用いて本実施形態の処理の流れを説明する。なお、図6のフローチャートでは、対象とする画像群に対する変形情報を求める処理、及び各画像に対する特徴領域の検出処理は実行済みであるとし、特徴領域の同一判定の処理を行うフローとする。
この処理は、S301に示したように画像列に含まれる画像枚数分だけ繰り返し実行されるものである。具体的には、処理対象である画像(i)において特徴領域が検出されたかを判定する(S302)。S302でYesの場合には、S303~S306に示す同一性判定の詳細な処理に移行する。一方、S302でNoの場合には、その際の画像(i)を起点とする同一性判定処理は不要であるため、S307からS301に戻り次の画像である画像(i+1)について処理を行う。例えば図4であれば、第1の画像では画像Y1に示したように特徴領域FA1-1が検出されたため、第1の画像について同一の特徴領域を有する画像を探索するS303~S306の処理が実行される。
S302でYesの場合には、まず検出された特徴領域を、変形情報を用いて隣接画像である画像(i+1)に変形推定する(S303)。そして変形推定により求められた変形領域と、画像(i+1)で検出された特徴領域とを比較して同一か否かの判定を行う(S304)。
同一であると判定された場合には、S304でYesとなり、画像(i)と画像(i+1)を同一特徴領域画像群として設定し(S305)、iをインクリメントして(S306)、S303に戻る。つまり、特徴領域が同一であるとの判定がされている限り、S302におけるインクリメント前の画像(i)を起点とした変形推定処理及び同一性判定処理を、隣接画像を単位として繰り返し実行することになる。
そして、変形領域と隣接画像間の特徴領域が類似していないと判定された場合には、S304でNoとなり、S302におけるインクリメント前の画像(i)を起点とした変形推定処理及び同一性判定処理が終了し、S307からS301に戻る。
なお、図6は1枚の画像からは1つの特徴領域しか検出されないことを想定したフローチャートである。しかし図4の画像Y2等に示したように、1枚の画像から複数の特徴領域が検出される場合もあり得る。その場合には、それぞれの特徴領域について独立に処理を行えばよい。
図4の例では第2の画像ではY2に示したように特徴領域FA1-2とFA2-2が検出されている。この場合には、FA1-2とFA2-2とでそれぞれ処理を行えばよい。ただし、FA1-2については、それ以前の画像で検出された特徴領域FA1-1と同一であるとの判定が行われるため、FA1-2を起点とした処理を実行する必要はない。
FA2-2についての処理の例を図5に示す。具体的には、FA2-2をh(2,3)を用いて変形推定してFA’2-2を求め、FA’2-2と、画像Y3で検出された特徴領域の比較処理を行えばよい。図5の例であれば、画像Y3にはFA’2-2と同一と判定される特徴領域はないため、第2の画像のみを特徴領域FA2-2についての同一特徴領域画像群として設定すればよい。なお、Y4のFA2-4やY5のFA2-5を考慮した処理については、第2の実施形態で後述する。
特徴領域が複数検出されうる場合のフローチャートを図7に示す。S401及びS408については、図6のS301及びS307と同様に、画像列に含まれる画像枚数分だけ処理を繰り返すことを示すものである。処理対象である画像(i)について、S302と同様に特徴領域の検出処理を行う(S402)。特徴領域が検出されない場合に、S402でNoとなりS408からS401に戻る点は図6と同様である。
一方、特徴領域が検出されS402でYesとなった場合には、検出された特徴領域が複数であるか否かの判定を行う(S403)。検出された特徴領域が1つであれば、図6と同様の処理を行えばよい。つまりこの場合、S403でNoとなり、図6のS303~S306と同様の処理が実行される(S407)。
検出された特徴領域が複数(M領域)あった場合には、S404及びS406に示したように、領域ごとに処理を繰り返し実行すればよい。そして領域ごとに実行される処理は、図6と同様の処理であればよく、具体的にはS303~S306と同様の処理である(S405)。
なお1枚の画像から複数の特徴領域の検出を許容する場合、複数の同一特徴領域画像群が重なる(所与の画像が第1の同一特徴領域画像群にも、第2の同一特徴領域画像群にも含まれる)場合が考えられる。図4、図5の例であれば、第1の同一特徴領域画像群は第1~第3の画像であり、第2の同一特徴領域画像群は第2の画像である。
その場合、代表画像はそれぞれの同一特徴領域画像群から独立に選択してもよい。例えば図4及び図5において、第1の同一特徴領域画像群から第1の画像を代表画像として選択し、第2の同一特徴領域画像群から第2の画像を代表画像として選択すれば、OB1もOB2も要約画像列において情報が欠落することなく観察可能である。
ただし、同一特徴領域画像群の重なりを考慮して代表画像の選択処理を行ってもよい。図4、図5の例であれば、重複部分である第2の画像を代表画像とすれば、1枚の代表画像により第1,第2の同一特徴領域画像群を代表することができるため、画像枚数の削減効果が向上する。つまり代表画像の選択処理において、上述した特徴領域の面積や、特徴領域の画像内での位置、色情報、テクスチャ情報、検出処理の信頼度等に加えて、複数の同一特徴領域画像群の重なりに関する情報を用いてもよい。
以上の本実施形態では、画像処理装置は図1に示したように、連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する画像列取得部101と、画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出部104と、第1~第Nの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部106と、第iの画像における特徴領域の検出処理の結果である第iの特徴領域と、第i+1の画像における特徴領域の検出処理の結果である第i+1の特徴領域と、第iの画像と第i+1の画像の間の変形情報であるh(i,i+1)とに基づいて、第iの特徴領域と第i+1の特徴領域との同一性判定処理を行う同一性判定部109と、同一性判定処理の結果に基づいて、画像列に対する画像要約処理を行う要約処理部113を含む。そして変形情報算出部104は、第iの画像のうち少なくとも第iの特徴領域以外の領域を含む第iの変形推定対象領域と、第i+1の画像のうち少なくとも第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求める。
ここで、図1の要約処理部113は、図2に示したように画像群設定部110及び要約画像列生成部111に対応するものであるが、画像群設定部110及び要約画像列生成部111以外の構成により要約処理部113を実現することは妨げられない。
これにより、検出対象となるような特徴的な領域が撮像されている画像のみを表示する際に、同一領域が写っている画像が大量に有ると冗長性が高くなるが、検出された特徴領域が同一であることを判定した上で、同一特徴領域が撮影されている画像群から適切な代表画像のみに削減することが可能になる。よって、表示すべき画像枚数の削減効果を向上させることができ、冗長性が抑えられた効果的な表示を行うことができる。
被写体が非剛体的(弾性的)な変形をする場合、同一の被写体を撮像した第iの特徴領域と、第i+1の特徴領域とで形状等の差異が大きいことがあり得る。その場合、第iの特徴領域と第i+1の特徴領域との直接比較では、それらが同一であるとの判定が難しい。本実施形態では、変形情報を用いることで、弾性的な変形についても当該変形情報により考慮することができるため、精度のよい同一性判定処理が可能になる。
さらにここでは、画像中の特徴領域以外を含む領域(狭義には画像全体であるがこれに限定されない)を変形推定対象領域として用いて変形情報を求める。すなわち、特徴領域以外の領域の変形を求めることにより、その内部に含まれる特徴領域も周囲の領域の変形に合わせて変形されるので、このような変形処理により得られた変形領域内における特徴領域の変形領域として求めることにより、検出された特徴領域との比較を行うことにより同一性の判定を行う。これは本実施形態が対象とする画像において、対象領域は背景と同じ動きをする(貼り付いている)ことを想定しており、背景の変形が特徴領域の変形を推定する上で有用なためである。
また、画像処理装置は図2に示したように、第iの特徴領域とh(i,i+1)とに基づいて、第iの特徴領域を、第i+1の画像に対して射影した領域である第iの変形領域を求める変形推定処理を行う変形推定処理部108をさらに含んでもよい。そして同一性判定部109は、変形推定処理により得られた前記第iの変形領域と、第i+1の特徴領域とに基づいて、第iの特徴領域と第i+1の特徴領域との同一性判定処理を行う。
ここで第iの特徴領域が図4における画像Y1のFA1-1であるとすれば、第iの変形領域とは、図4における画像Z2のFA’1-1に対応する。
これにより、2つの特徴領域の同一性判定処理において、変形情報を用いて一方の特徴領域を他方の画像へ変形推定することで変形領域を求め、当該変形領域と他方の画像の特徴領域との比較処理を行うことが可能になる。仮に変形情報が誤差を含まない理想的な情報であれば、変形情報を用いた変形推定処理により、一方の画像の所与の領域に撮像された被写体が、他方の画像においてどの領域に撮像されているかを、誤差なく演算することができる。つまり、第iの特徴領域と第i+1の特徴領域が同一の場合であれば、第iの変形領域と第i+1の特徴領域とは、理想的には画像中での位置や形状等が一致することが期待される。従って、本実施形態の手法によれば、被写体が弾性的な変形をするものであったとしても、2つの領域が一致するか否かというシンプルな判定により同一性判定処理を行うことが可能になり、高精度での判定を実行できる。なお、変形情報が誤差を含まないことは想定しにくいこと、色情報やテクスチャ情報は撮像時の光量の条件等で変動しうること等を考慮すれば、2つの領域が完全に一致しなくても、ある程度近い範囲にあれば同一であると判定する必要があることは言うまでもない。
また、画像列取得部101は、画像列として、時系列の生体内画像を取得してもよい。そして、特徴領域検出部106は、生体内画像内の病変領域及び異常粘膜領域の少なくとも一方の領域を、特徴領域として検出する。
ここで、病変領域とは、画像中で所与の病変に対応する特性を有する領域を表す。また、異常粘膜領域とは、病変ではないものの正常な粘膜とは異なる特性を有する粘膜に対応する領域を表す。特徴領域検出部106では、病変領域を表すモデル(パターン)を保持しておき、生体内画像から病変領域を検出してもよい。或いは、病変領域を表すモデルと、異常粘膜を表すモデルの両方を保持しておき、病変領域及び異常粘膜領域をそれぞれ検出してもよい。或いは、正常粘膜を表すモデルを保持しておき、画像中の正常粘膜領域以外の領域を、病変領域及び異常粘膜領域のいずれかの領域であると検出してもよい。その他、特徴領域検出部106の検出手法は種々の変形実施が可能である。
これにより、生体内画像を本実施形態の処理対象とすること、及び特徴領域として病変領域や異常粘膜領域を検出することが可能になる。この場合、特徴領域である病変領域や異常粘膜領域は、特徴領域以外の領域(背景)である正常粘膜領域等と一体となって同じ動き、変形をする。つまり、特徴領域以外を含む変形推定対象領域を設定した場合に、特徴領域の変形を精度よく推定することが可能になる。
さらに、生体内画像では、泡や残渣等の内容物、或いは消化管の襞構造等により、病変領域等が遮蔽されて一時的に撮像できないおそれがある。その上、通常の生体用内視鏡装置であれば、患者への侵襲性の観点から、撮像部が小型化されることで撮像される生体内画像の画質が、通常のデジタルカメラ等に比べて低いことが多い。また、カプセル内視鏡であればさらにバッテリー等の制限から撮像のフレームレートも非常に低くなる。これらの要因は、特徴領域だけに着目した同一性判定処理(特徴領域のトラッキング)を非常に困難にするものであるため、特徴領域以外も変形推定対象領域に含めることの利点が大きい。
なお、カプセル内視鏡画像は、特に冗長度が高く、さらに、病変領域や異常粘膜領域という重要な特徴領域を含むため、これらの特徴領域が検出された画像のみを表示することにより閲覧効率を向上させたいという要望があるが、特徴領域が検出される画像のみでも画像数が多い。これらの画像には、同一特徴領域が撮影されている画像が多数有るため、同一特徴領域を有する画像を少なくともひとつの群に分類した上で、各群より少なくとも1枚の画像に要約することによる閲覧効率の向上効果が高く、本実施形態の手法が有効であると言える。
また、変形情報算出部104は、第iの画像のうち少なくとも正常粘膜領域を含む第iの変形推定対象領域と、第i+1の画像のうち少なくとも正常粘膜領域を含む第i+1の変形推定対象領域とに基づいて変形情報を求めてもよい。
これにより、正常粘膜領域を含む領域を変形推定対象領域とすることが可能になる。なお、特徴領域(病変領域や異常粘膜領域)以外の領域には、泡や残渣等の領域、何らかの薬剤が散布された領域、通常の内視鏡装置であれば挿入したカンシ等が撮像された領域等、正常粘膜領域以外の領域も考えられる。しかし通常の生体内画像においては、正常粘膜領域が撮像される可能性は非常に高く、画像中に占める割合も高いことが期待される。よって正常粘膜領域を用いることで、容易に変形推定対象領域を設定することが可能になる。
また、変形情報算出部104は、画像内の少なくとも1つの位置における画像間動きベクトルを、変形情報として求めてもよい。そして同一性判定部109は、第iの特徴領域と、第i+1の特徴領域と、第iの画像と第i+1の画像の間の画像間動きベクトルとに基づいて、第iの特徴領域と第i+1の特徴領域との同一性判定処理を行ってもよい。
これにより、変形情報として動きベクトルを用いることが可能になる。ただし、本実施形態における変形情報は、画像間の変形を表現する情報であればよく、動きベクトルに限定されるものではない。
また、同一性判定部109は、第iの特徴領域をh(i,i+1)を用いて第i+1の画像に対して射影した領域である第iの変形領域、及び第i+1の特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報の少なくとも1つの情報に基づいて、同一性判定処理を行ってもよい。
さらには、特徴領域の検出処理では、特に病変では、病変タイプも併せて認識できる場合もあるので病変タイプ情報を同一性の判定処理に用いてもよい。すなわち、同一性判定部109は、第iの特徴領域をh(i,i+1)を用いて第i+1の画像に対して射影した領域である第iの変形領域、及び第i+1の特徴領域の、形状情報、色情報、テクスチャ情報、画像内での位置情報、及び病変タイプ情報の少なくとも1つの情報に基づいて、同一性判定処理を行ってもよい。
これにより、変形領域及び特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報等を基準として用いて、同一性判定処理を行うことが可能になる。場合によっては病変タイプ情報を併せて用いて、同一性判定処理を行ってもよい。同一性判定処理では、これら複数の情報のうち、1つだけを用いてもよいし複数を用いてもよい。また複数の情報を用いる場合に、各情報を均等に扱うか、いずれかの情報の優先度を高くするかは任意の設定が可能である。例えば、複数の情報を併せて利用する場合には、各情報に対して重要度を設定した上で同一性の判定を行うことも考えられる。さらに具体的には、幾何学的に位置や形状が類似している場合に、同一特徴領域である可能性が高いため、形状情報と、画像中での位置情報を同一性判定のための条件としてもよい。また、位置、形状が類似していてもテクスチャが異なれば同一特徴領域と判定するのが適切でない場合も発生するため、テクスチャの類似度も合わせて同一性判定の条件とすることにより信頼性の高い同一性判定を行うことも可能である。なお、同一性判定処理においてテクスチャ情報を用いる場合には、変形推定処理部108での変形推定処理において、テクスチャマッピング等によりテクスチャの変形を行っておく必要がある。逆に言えば、同一性判定処理においてテクスチャ情報を用いないことが確定しているのであれば、変形推定処理は形状(輪郭)だけを用いて行ってもよい。
また、同一性判定部109は、h(i,i+1)の信頼度に基づいて、第iの特徴領域と第i+1の特徴領域との間の同一性判定処理を行ってもよい。
これにより、変形情報算出の信頼性も、特徴領域の同一性判定の条件として合わせて利用することで、より信頼性の高い同一性判定処理を行うことができる。これは変形推定処理の精度には、変形情報の算出信頼性が影響を及ぼすためである。
また、要約処理部113は、図2に示したように、同一性判定処理の結果に基づいて、第1~第Nの画像のうち、同一の特徴領域が撮影されていると判定された画像から構成される同一特徴領域画像群を設定する画像群設定部110と、画像群設定部110において設定された同一特徴領域画像群から、少なくとも1枚の代表画像を選択することで、要約画像列を生成する要約画像列生成部111を含んでもよい。
これにより、同一特徴領域画像群の設定処理と、代表画像の選択処理により画像列の要約処理を実現することが可能になる。同一特徴領域画像群は、同一と判定された特徴領域を含む画像により構成される。つまり、同一特徴領域画像群に含まれる画像は、対象としている特徴領域についての情報が重複していることになる。よって、同一特徴領域画像群から1枚の画像を残し、他の画像を削除することで、対象としている特徴領域についての情報を失うことなく、画像枚数を削減することが可能になる。なお、選択される代表画像は1枚に限定されるものではない。例えば病変領域に対する診断において、同一病変を異なる角度から撮像した画像が有用な場面等も考えられるため、所与の特徴領域についての同一特徴領域画像群から複数の画像を代表画像として選択してもよい。
また、要約処理部113は、同一特徴領域画像群に含まれる各画像における、特徴領域の面積情報、特徴領域の色情報、特徴領域のテクスチャ情報、特徴領域の画像内での位置情報、及び特徴領域の検出処理の信頼度情報の少なくとも1つの情報に基づいて、代表画像を選択してもよい。
これにより、種々の観点のうち少なくとも1つを用いて代表画像の選択処理を行うことが可能になる。例えば、所与の病変領域が撮像されていたとしても、当該撮像領域の画像中でのサイズが非常に小さかったり、極端に歪んで撮像されている画像は、当該病変領域の観察に適した画像とは言えない。同様に、病変領域が極端に明るかったり暗かったりする場合(白飛びや黒つぶれに近いような場合)も観察に適していない。本実施形態の手法はユーザ(ドクター)の省力化を実現するものであるが、特徴領域に関する情報が画像から充分取得できないのでは意味がない。つまり、特徴領域が撮像されているというだけではなく、当該特徴領域が充分な信頼度のある検出結果であること、或いは当該特徴領域の画像での視認性が充分であること等を条件として、代表画像の選択処理を行うとよい。
なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶装置(コンピュータにより読み取り可能な装置)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリ(カード型メモリ、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶装置に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
また、本実施形態の画像処理装置等は、プロセッサとメモリを含んでもよい。ここでのプロセッサは、例えばCPU(Central Processing Unit)であってもよい。ただしプロセッサはCPUに限定されるものではなく、GPU(Graphics Processing Unit)、或いはDSP(Digital Signal Processor)等、各種のプロセッサを用いることが可能である。またプロセッサはASIC(application specific integrated circuit)によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサにより実行されることで、本実施形態に係る画像処理装置等の各部が実現されることになる。ここでのメモリは、SRAM、DRAMなどの半導体メモリであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
3.第2の実施形態
次に第2の実施形態について説明する。図5の第3の画像に示したように、X3では被写体OB2が撮像されているはずなのに、検出処理の結果、Y3ではOB2に対応する特徴領域が検出されないことがあり得る。これは例えば、生体内画像において上述したように内容物や襞構造等により病変部が遮蔽された場合等に生じうる事態である。
次に第2の実施形態について説明する。図5の第3の画像に示したように、X3では被写体OB2が撮像されているはずなのに、検出処理の結果、Y3ではOB2に対応する特徴領域が検出されないことがあり得る。これは例えば、生体内画像において上述したように内容物や襞構造等により病変部が遮蔽された場合等に生じうる事態である。
第1の実施形態の手法では、特徴領域を隣接画像に対して変形推定した変形領域を求め、当該変形領域と隣接画像で検出された特徴領域の比較処理を行い、類似度が低い場合には処理対象である特徴領域についての同一性判定処理は終了していた。具体的には図4に示したように、FA’1-3に対応する特徴領域がY4になければ、特徴領域FA1-1についての処理は終了している。
その場合、X2~X5に示したOB2のように、本来同一の被写体が撮像され続けている場合であっても、途中で当該OB2に対応する特徴領域が検出されなければ、OB2に対応する特徴領域についての処理が終了してしまう。この点は、特徴領域の検出処理に失敗した場合だけでなく、画像X3において被写体OB2が消失している(撮像自体できていない)場合でも同様である。具体的には、図5に示したように、FA2-2についての処理は、FA’2-2と同一の特徴領域がY3で見つからなかった時点で終了する。そのため、Y4のFA2-4やY5のFA2-5は、本来FA2-2と同一の特徴領域であるにもかかわらず、F2-2とは異なる特徴領域と判定されてしまう。結果として、図5の第2、第4、第5の画像は1つの同一特徴領域画像群として設定可能なところ、2つの同一特徴領域画像群に分かれる。そのため、代表画像として選択される画像、すなわち要約画像列に含まれる画像の枚数が増えてしまい、ユーザの省力化という効果が低くなる。
そこで本実施形態では、所与の特徴領域についての同一性判定処理において、同一と判定される特徴領域が見つからなかった場合であっても、所定枚数分だけ、当該所与の特徴領域についての同一性判定処理を継続する。このようにすれば、Y3のように一時的に特徴領域の検出ができなかったとしても、FA2-2についての処理は第4,第5の画像に対しても継続されるため、FA2-2とFA2-4,FA2-5が同一であると判定することが可能となる。
具体例を図8を用いて説明する。なお、被写体OB1やOB2、及び検出される特徴領域については図4等と同様である。
第2の画像において、特徴領域FA2-2が検出されたため、FA2-2と同一の特徴領域を有する画像を探索する同一性判定処理が開始される。この場合、FA2-2をh(2,3)を用いて変形推定を行い、FA(1)2-2を求める点は第1の実施形態と同様である。ここでFA(1)2-2は、図5のFA’2-2と同じ領域を表す。そして図5と同様に、画像Y3にはFA(1)2-2と同一の特徴領域はないという判定が行われる。
本実施形態では、ここで処理を終了せず、さらにその次の画像において、FA2-2と同一の特徴領域がないかの判定処理を行う。ただし、Y3においてOB2に対応する特徴領域が検出されていないことから、第3の画像で実際に検出された特徴領域を、第4の画像に対して変形推定することはできない。
よってここでは、特徴領域FA2-2を第4の画像に対して変形、射影して、Y4で検出された特徴領域との比較処理を行う。ここでFA2-2を第4の画像に対して射影した領域は、X2とX4の間の変形情報h(2,4)とFA2-2とにより求めることができる。ただし、上述したように任意の2つの画像間の変形情報は、隣接画像間の変形情報の組み合わせにより表現できる。つまり、FA2-2をh(2,4)により変形した場合と、FA2-2をh(2,3)で変形した後さらにh(3,4)で変形した場合とで、求められる領域は同等となるはずである。そしてFA2-2をh(2,3)で変形した領域は、変形領域FA(1)2-2として既に求められているため、当該FA(1)2-2をh(3,4)で変形してFA(2)2-2を求めればよい。
図8の例では、FA(2)2-2とFA2-4の類似度が高いものとして、FA2-2とFA2-4は同一であるとの判定を行っている。起点の特徴領域(ここではFA2-2)と同一の特徴領域が見つかった後は、第1の実施形態と同様に最新の特徴領域(ここではFA2-4)を隣接画像に対して変形していけばよい。
なお、図8では2枚先の画像で同一の特徴領域が見つかっているが、同一の特徴領域が見つからない場合には、所定枚数分だけ探索を行う。例えば閾値Thを設定しておき、第iの画像までは同一の特徴領域が見つかり、第i+1以降では同一の特徴領域が見つからない場合には、第i+Thの画像までは同一性判定処理を行うものとする。第i+Thの画像までに同一の特徴領域を含む画像が見つかれば、当該画像からは再び同様の同一性判定処理を継続すればよい。この場合、第iの画像での特徴領域であるFAiを順次変形情報で変形していき、FA(1)i、FA(2)i、・・・FA(Th)iを求め、検出された特徴領域と比較する。一方、第i+Thの画像まで探索しても同一の特徴領域を含む画像が見つからなければ、第i+1の画像以降には処理対象である特徴領域と同一の特徴領域はないものとして、当該処理対象である特徴領域についての処理を終了する。
図9に本実施形態の処理を説明するフローチャートを示す。S501,S513についてはS301及びS307と同様に画像列に含まれる画像枚数分だけ処理を繰り返すことを示すものである。また、S502及びS503についても、S302及びS303と同様にである。
そして、S504において、S304と同様に変形領域と隣接画像で検出された特徴領域の比較処理を行う。変形領域と隣接画像で検出された特徴領域が同一である場合は、S504でYesとなりS505,S506の処理が行われる。これは図6のS305,S306の処理と同様である。
一方、変形領域と隣接画像で検出された特徴領域が同一ではないと判定されると、S504でNoとなる。第1の実施形態であれば、図6のS304でNoの場合に対応するため、S302で対象としている画像(i)についての処理は終了する。しかし本実施形態では、さらにその次の画像を対象として同一性判定処理を継続する。具体的には、iのインクリメントを行い(S507)、S503で求められた変形領域をさらに変形情報により隣接画像に対して変形推定する(S508)。これは図8でいえばFA(1)2-2をh(3,4)を用いて変形してFA(2)2-2を求める処理に相当する。
そしてS508で求められた変形領域と、隣接画像である画像(i+1)で検出された特徴領域の比較処理を行う(S509)。なおS507でのインクリメント処理により、S509での隣接画像(i+1)と、S504での隣接画像(i+1)は異なる画像となっている。
変形領域と隣接画像で検出された特徴領域が同一であれば、S509でYesとなり、その際の隣接画像(i+1)を、S502の時点における画像(i)と同一の特徴領域を有するものとして同一特徴領域画像群に設定する(S510)。そしてiをインクリメントする(S511)とともに、さらに同一性判定処理を継続するためS503に戻る。
一方、変形領域と隣接画像で検出された特徴領域が同一でなければ、S509でNoとなり、S507以降の処理での探索枚数と、変形累積閾値と比較処理を行う(S512)。探索枚数が閾値以下であれば、S507に戻り、さらに次の画像を対象として処理を継続する。また、探索枚数が閾値を超えていれば、S513からS501に戻り、処理の起点となる画像を更新する。
なお、本実施形態においても1枚の画像から複数の特徴領域を検出してもよい。この場合、第1の実施形態と同様に各特徴領域について並列に処理を行えばよい。フローチャートは図7と同様になり、S405及びS407での処理を、第2の実施形態における処理、すなわち図9のS503~S512の処理に変更すればよい。
本実施形態では、変形領域と検出領域との同一性判定条件が満たされない場合であっても、設定した閾値枚数だけ、変形領域に対して累積的に変形推定を行う。よって、閾値枚数以内に検出された特徴領域との同一性判定条件が満たされた場合であれば、特徴領域検出が連続的に行えていない場合であっても、不連続な画像に対して同一特徴領域画像群を設定することができる。
以上の本実施形態では、同一性判定部109において、同一の特徴領域が撮像されているという判定が行われなかった場合に、同一性判定部109は、所定の枚数分だけ、変形情報に基づく処理を継続し、設定された枚数以内の画像において、特徴領域が検出された場合に、同一性判定処理を行ってもよい。
これは図8の例で言えば、Z3のFA(1)2-2とY3で検出された特徴領域との比較により、第3の画像からはFA2-2と同一の特徴領域が検出されなかった場合にも、FA2-2に関する処理を継続し、第4の画像においてZ4のFA(2)2-2と、Y4で検出されたFA2-4を用いた同一性判定処理を行うものである。
これにより、図8の第3の画像(X3,Y3)に示したように、連続する画像の一部の画像において、同一の特徴領域が検出されなかった場合であっても、そこで処理を終了せずに、さらに次の画像を用いて同一性判定処理を継続することが可能になる。第1の実施形態においては、図5に示したようにFA2-2についての処理は第3の画像で終了し、本来同一であるはずのFA2-4,FA2-5に対する同一性判定処理が行われない。よって、第2の画像と同一の特徴領域を有する同一特徴領域画像群は第2の画像だけとなってしまい、画像枚数の削減効果が低くなるおそれがあった。しかし、本実施形態の手法であれば図8に示したように、FA2-2と、FA2-4,FA2-5との同一性判定処理が行われる。よって、第2,第4,第5の画像が同一特徴領域画像群として設定されるため、第1の実施形態の手法に比べて画像枚数の削減効果が向上し、さらなるユーザの省力化が可能になる。
また、第i+1の画像において特徴領域が検出されなかったことで、同一性判定部109において、第iの特徴領域と第i+1の特徴領域が同一であるという判定が行われなかった場合に、同一性判定部109は、第iの特徴領域と、第i+2の画像における特徴領域の検出処理の結果である第i+2の特徴領域と、第iの画像と第i+2の画像の間の変形情報であるh(i,i+2)とに基づいて、第iの特徴領域と第i+2の特徴領域との同一性判定処理を行ってもよい。
これにより、第iの特徴領域について、隣接画像では同一の特徴領域が見つからなかったとしても、当該第iの特徴領域に対する変形推定処理を累積させることで、隣接しない画像での特徴領域との同一性判定処理を行うことが可能になる。具体的には、第iの特徴領域(例えば図8のFA2-2)を2つ先の画像に対して変形推定して変形領域(FA(2)2-2)を求め、当該変形領域と、2つ先の画像で検出された特徴領域(FA2-4)との比較処理を行えばよい。
なお、上述したようにFA(2)2-2を求める処理は、FA2-2とh(2,4)を用いて行う必要はなく、既に求められているFA(1)2-2をh(3,4)により変形推定することにより行えばよい。つまり狭義には、画像処理装置の変形推定処理部108は、前記第i+1の画像と第i+2の画像の間の前記変形情報である第i+1の変形情報に基づいて、前記第i+1の変形領域を、前記第i+2の画像に対して射影した領域である第i+2の変形領域を求める前記変形推定処理を行い、同一性判定部109は、前記i+2の変形領域と、前記第i+2の画像における前記特徴領域の前記検出処理の結果である第i+2の特徴領域とに基づいて、前記第iの特徴領域と、前記第i+2の特徴領域との同一性を判定する前記同一性判定処理を行うものであってもよい。
また、同一性判定部109は、第iの特徴領域と、第i+k(kは整数)の画像における特徴領域の検出処理の結果である第i+kの特徴領域が同一であるという判定が行われなかった場合であって、k≧Th(Thは所与の整数)の場合に、第iの特徴領域に関する同一性判定処理を終了してもよい。また、同一性判定部109は、第iの特徴領域と、第i+kの特徴領域が同一であるという判定が行われなかった場合であって、k<Thの場合に、第iの特徴領域と、第i+k+1の画像における特徴領域の検出処理の結果である第i+k+1の特徴領域と、第iの画像と第i+k+1の画像の間の変形情報であるh(i,i+k+1)とに基づいて、第iの特徴領域と第i+k+1の特徴領域との同一性判定処理を行ってもよい。
これにより、同一の特徴領域が見つからない場合の処理は2つ先の画像までに限定されるものではなく、所定枚数(上記の例ではTh枚)だけ先の画像まで継続することが可能になる。これにより最長Thフレーム分だけ、特徴領域の検出が行われない消失期間がある場合にも、当該消失期間の前後の特徴領域の同一性判定処理を行うことが可能になる。特徴領域の検出精度に問題がある場合でも、撮影条件が変化すれば特徴領域の検出が可能になる場合がある。或いは、内容物や襞構造等により特徴領域が遮蔽されている場合には、当該内容物が移動(狭義には除去)されたり、襞構造が自身の運動により移動したりすることで、特徴領域の検出が可能になる場合がある。つまり、1フレーム特徴領域の検出ができなかったからと言ってそこで処理を停止するのではなく、ある程度のフレームだけ処理を継続することは、同一の特徴領域の探索において有用である。なお、所定枚数だけ探索しても同一の特徴領域が見つからないのであれば、現在処理対象としている特徴領域についての同一性判定処理は終了するものとする。そのようなケースでは、例えば撮像される被写体範囲が大きく変動している場合のように、処理対象である特徴領域が撮像範囲外に移動している可能性が高く、探索の意義が薄いためである。
以上、本発明を適用した2つの実施の形態1~2およびその変形例について説明したが、本発明は、各実施の形態1~2やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1~2や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1~2や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
10 処理部、101 画像列取得部、102 画像入力部、
103 画像データベース、104 変形情報算出部、105 変形情報記憶部、
106 特徴領域検出部、107 特徴領域記憶部、108 変形推定処理部、
109 同一性判定部、110 画像群設定部、111 要約画像列生成部、
112 出力部、113 要約処理部
103 画像データベース、104 変形情報算出部、105 変形情報記憶部、
106 特徴領域検出部、107 特徴領域記憶部、108 変形推定処理部、
109 同一性判定部、110 画像群設定部、111 要約画像列生成部、
112 出力部、113 要約処理部
Claims (14)
- 連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する画像列取得部と、
前記画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出部と、
前記第1~第Nの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部と、
第iの画像における前記特徴領域の前記検出処理の結果である第iの特徴領域と、第i+1の画像における前記特徴領域の前記検出処理の結果である第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記変形情報であるh(i,i+1)とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との同一性判定処理を行う同一性判定部と、
前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行う要約処理部と、
を含み、
前記変形情報算出部は、
前記第iの画像のうち少なくとも前記第iの特徴領域以外の領域を含む第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求めることを特徴とする画像処理装置。 - 請求項1において、
前記第iの特徴領域とh(i,i+1)とに基づいて、前記第iの特徴領域を、前記第i+1の画像に対して射影した領域である第iの変形領域を求める変形推定処理を行う変形推定処理部をさらに含み、
前記同一性判定部は、
前記変形推定処理により得られた前記第iの変形領域と、前記第i+1の特徴領域とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項1において、
前記画像列取得部は、
前記画像列として、時系列の生体内画像を取得し、
前記特徴領域検出部は、
前記生体内画像内の病変領域及び異常粘膜領域の少なくとも一方の領域を、前記特徴領域として検出することを特徴とする画像処理装置。 - 請求項3において、
前記変形情報算出部は、
前記第iの画像のうち少なくとも正常粘膜領域を含む前記第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記正常粘膜領域を含む第i+1の変形推定対象領域とに基づいて、前記変形情報を求めることを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記同一性判定部において、同一の前記特徴領域が撮像されているという判定が行われなかった場合に、
前記同一性判定部は、
所定の枚数分だけ、前記変形情報に基づく処理を継続し、設定された枚数以内の画像において、前記特徴領域が検出された場合に、前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記第i+1の画像において前記特徴領域が検出されなかったことで、前記同一性判定部において、前記第iの特徴領域と前記第i+1の特徴領域が同一であるという判定が行われなかった場合に、
前記同一性判定部は、
前記第iの特徴領域と、前記第i+2の画像における前記特徴領域の前記検出処理の結果である第i+2の特徴領域と、前記第iの画像と第i+2の画像の間の前記変形情報であるh(i,i+2)とに基づいて、前記第iの特徴領域と前記第i+2の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項6において、
前記同一性判定部は、
前記第iの特徴領域と、前記第i+k(kは整数)の画像における前記特徴領域の前記検出処理の結果である第i+kの特徴領域が同一であるという判定が行われなかった場合であって、k≧Th(Thは所与の整数)の場合に、前記第iの特徴領域に関する前記同一性判定処理を終了し、
前記第iの特徴領域と、前記第i+kの特徴領域が同一であるという判定が行われなかった場合であって、k<Thの場合に、前記第iの特徴領域と、前記第i+k+1の画像における前記特徴領域の前記検出処理の結果である第i+k+1の特徴領域と、前記第iの画像と第i+k+1の画像の間の前記変形情報であるh(i,i+k+1)とに基づいて、前記第iの特徴領域と前記第i+k+1の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記変形情報算出部は、
画像内の少なくとも1つの位置における画像間動きベクトルを、前記変形情報として求め、
前記同一性判定部は、
前記第iの特徴領域と、前記第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記画像間動きベクトルとに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記同一性判定部は、
前記第iの特徴領域をh(i,i+1)を用いて前記第i+1の画像に対して射影した領域である第iの変形領域、及び前記第i+1の特徴領域の、形状情報、色情報、テクスチャ情報、及び画像内での位置情報の少なくとも1つの情報に基づいて、前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記同一性判定部は、
h(i,i+1)の信頼度に基づいて、前記第iの特徴領域と前記第i+1の特徴領域との間の前記同一性判定処理を行うことを特徴とする画像処理装置。 - 請求項1乃至4のいずれかにおいて、
前記要約処理部は、
前記同一性判定処理の結果に基づいて、前記第1~第Nの画像のうち、同一の前記特徴領域が撮影されていると判定された画像から構成される同一特徴領域画像群を設定する画像群設定部と、
前記画像群設定部において設定された前記同一特徴領域画像群から、少なくとも1枚の代表画像を選択することで、要約画像列を生成する要約画像列生成部と、
を含むことを特徴とする画像処理装置。 - 請求項11において、
前記要約処理部は、
前記同一特徴領域画像群に含まれる各画像における、前記特徴領域の面積情報、前記特徴領域の色情報、前記特徴領域のテクスチャ情報、前記特徴領域の画像内での位置情報、及び前記特徴領域の前記検出処理の信頼度情報の少なくとも1つの情報に基づいて、前記代表画像を選択することを特徴とする画像処理装置。 - 連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する処理を行い、
前記画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出処理を行い、
前記第1~第Nの画像の各画像において、特徴領域の検出処理を行い、
第iの画像における前記特徴領域の前記検出処理の結果である第iの特徴領域と、第i+1の画像における前記特徴領域の前記検出処理の結果である第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記変形情報であるh(i,i+1)とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との同一性判定処理を行い、
前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行い、
前記変形情報算出処理において、
前記第iの画像のうち少なくとも前記第iの特徴領域以外の領域を含む第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求めることを特徴とする画像処理方法。 - 連続する第1~第N(Nは2以上(その値を含む)の整数)の画像を有する画像列を取得する画像列取得部と、
前記画像列において、2つの画像間の変形を表す変形情報を求める変形情報算出部と、
前記第1~第Nの画像の各画像において、特徴領域の検出処理を行う特徴領域検出部と、
第iの画像における前記特徴領域の前記検出処理の結果である第iの特徴領域と、第i+1の画像における前記特徴領域の前記検出処理の結果である第i+1の特徴領域と、前記第iの画像と前記第i+1の画像の間の前記変形情報であるh(i,i+1)とに基づいて、前記第iの特徴領域と前記第i+1の特徴領域との同一性判定処理を行う同一性判定部と、
前記同一性判定処理の結果に基づいて、前記画像列に対する画像要約処理を行う要約処理部として、
コンピュータを機能させ、
前記変形情報算出部は、
前記第iの画像のうち少なくとも前記第iの特徴領域以外の領域を含む第iの変形推定対象領域と、前記第i+1の画像のうち少なくとも前記第i+1の特徴領域以外の領域を含む第i+1の変形推定対象領域とに基づいて、h(i,i+1)を求めることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201480042666.1A CN105407787B (zh) | 2013-08-02 | 2014-05-20 | 图像处理装置、图像处理方法 |
EP14831513.8A EP3028624A4 (en) | 2013-08-02 | 2014-05-20 | Image processing device, image processing method, and program |
US15/012,281 US9898664B2 (en) | 2013-08-02 | 2016-02-01 | Image processing device, image processing method, and information storage device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-161029 | 2013-08-02 | ||
JP2013161029A JP6188477B2 (ja) | 2013-08-02 | 2013-08-02 | 画像処理装置、画像処理方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/012,281 Continuation US9898664B2 (en) | 2013-08-02 | 2016-02-01 | Image processing device, image processing method, and information storage device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015015869A1 true WO2015015869A1 (ja) | 2015-02-05 |
Family
ID=52431415
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/063283 WO2015015869A1 (ja) | 2013-08-02 | 2014-05-20 | 画像処理装置、画像処理方法及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9898664B2 (ja) |
EP (1) | EP3028624A4 (ja) |
JP (1) | JP6188477B2 (ja) |
CN (1) | CN105407787B (ja) |
WO (1) | WO2015015869A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10235750B2 (en) * | 2014-02-27 | 2019-03-19 | Agency For Science, Technology And Research | Segmentation of cardiac magnetic resonance (CMR) images using a memory persistence approach |
JP6371544B2 (ja) * | 2014-03-14 | 2018-08-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP6821303B2 (ja) * | 2015-12-15 | 2021-01-27 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JPWO2018020558A1 (ja) * | 2016-07-25 | 2019-05-09 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018052966A1 (en) * | 2016-09-16 | 2018-03-22 | Zimmer, Inc. | Augmented reality surgical technique guidance |
WO2018169891A1 (en) | 2017-03-13 | 2018-09-20 | Zimmer, Inc. | Augmented reality diagnosis guidance |
CN110475503A (zh) | 2017-03-30 | 2019-11-19 | 富士胶片株式会社 | 医疗用图像处理装置及内窥镜***以及医疗用图像处理装置的工作方法 |
US20180307912A1 (en) * | 2017-04-20 | 2018-10-25 | David Lee Selinger | United states utility patent application system and method for monitoring virtual perimeter breaches |
EP3636134A4 (en) * | 2017-05-25 | 2021-03-10 | Nec Corporation | INFORMATION PROCESSING DEVICE, ORDERING PROCESS AND PROGRAM |
US11432877B2 (en) | 2017-08-02 | 2022-09-06 | Medtech S.A. | Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking |
EP3682791B1 (en) | 2017-09-15 | 2023-12-20 | FUJIFILM Corporation | Medical image processing device |
WO2019078237A1 (ja) * | 2017-10-18 | 2019-04-25 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置 |
CN108615045B (zh) * | 2018-03-06 | 2022-07-12 | 重庆金山医疗技术研究院有限公司 | 筛选胶囊内镜拍摄的图像的方法、装置及设备 |
JP7368074B2 (ja) * | 2018-03-28 | 2023-10-24 | 日本光電工業株式会社 | 挿管装置 |
JP7135082B2 (ja) * | 2018-05-17 | 2022-09-12 | 富士フイルム株式会社 | 内視鏡装置、内視鏡装置の作動方法、及びプログラム |
JP7215504B2 (ja) * | 2019-02-13 | 2023-01-31 | 日本電気株式会社 | 施術支援装置、施術支援方法、及びプログラム |
CN111879648A (zh) * | 2020-07-24 | 2020-11-03 | 三峡大学 | 一种弹性模量的校准方法 |
JP7110293B2 (ja) * | 2020-09-28 | 2022-08-01 | 楽天グループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006320650A (ja) * | 2005-05-20 | 2006-11-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2007257287A (ja) | 2006-03-23 | 2007-10-04 | Tokyo Institute Of Technology | 画像レジストレーション方法 |
JP2008217714A (ja) | 2007-03-07 | 2008-09-18 | Sogo Keibi Hosho Co Ltd | 追跡装置、追跡方法、及び追跡プログラム |
JP2009268005A (ja) | 2008-04-30 | 2009-11-12 | Meidensha Corp | 侵入物検知追跡装置 |
JP2010113616A (ja) | 2008-11-07 | 2010-05-20 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2010158308A (ja) * | 2009-01-06 | 2010-07-22 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007195586A (ja) * | 2006-01-23 | 2007-08-09 | Olympus Medical Systems Corp | カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム |
JP5374135B2 (ja) * | 2008-12-16 | 2013-12-25 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法および画像処理プログラム |
-
2013
- 2013-08-02 JP JP2013161029A patent/JP6188477B2/ja not_active Expired - Fee Related
-
2014
- 2014-05-20 EP EP14831513.8A patent/EP3028624A4/en not_active Withdrawn
- 2014-05-20 WO PCT/JP2014/063283 patent/WO2015015869A1/ja active Application Filing
- 2014-05-20 CN CN201480042666.1A patent/CN105407787B/zh not_active Expired - Fee Related
-
2016
- 2016-02-01 US US15/012,281 patent/US9898664B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006320650A (ja) * | 2005-05-20 | 2006-11-30 | Olympus Medical Systems Corp | 画像表示装置 |
JP2007257287A (ja) | 2006-03-23 | 2007-10-04 | Tokyo Institute Of Technology | 画像レジストレーション方法 |
JP2008217714A (ja) | 2007-03-07 | 2008-09-18 | Sogo Keibi Hosho Co Ltd | 追跡装置、追跡方法、及び追跡プログラム |
JP2009268005A (ja) | 2008-04-30 | 2009-11-12 | Meidensha Corp | 侵入物検知追跡装置 |
JP2010113616A (ja) | 2008-11-07 | 2010-05-20 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2010158308A (ja) * | 2009-01-06 | 2010-07-22 | Olympus Corp | 画像処理装置、画像処理方法および画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3028624A4 |
Also Published As
Publication number | Publication date |
---|---|
JP2015032127A (ja) | 2015-02-16 |
EP3028624A1 (en) | 2016-06-08 |
EP3028624A4 (en) | 2017-06-21 |
JP6188477B2 (ja) | 2017-08-30 |
US20160148053A1 (en) | 2016-05-26 |
US9898664B2 (en) | 2018-02-20 |
CN105407787A (zh) | 2016-03-16 |
CN105407787B (zh) | 2017-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015015869A1 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10860930B2 (en) | Learning method, image recognition device, and computer-readable storage medium | |
JP5080485B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
KR102237441B1 (ko) | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 | |
US8290280B2 (en) | Image processing device, image processing method, and computer readable storage medium storing image processing program | |
Spyrou et al. | Video-based measurements for wireless capsule endoscope tracking | |
WO2013157354A1 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
JPWO2015045554A1 (ja) | 生体情報取得装置および生体情報取得方法 | |
US11954860B2 (en) | Image matching method and device, and storage medium | |
JP2009089077A5 (ja) | ||
US20130002842A1 (en) | Systems and Methods for Motion and Distance Measurement in Gastrointestinal Endoscopy | |
JP6248780B2 (ja) | 脈波検出装置、脈波検出方法及び脈波検出プログラム | |
CN111091536A (zh) | 医学图像处理方法、装置、设备、介质以及内窥镜 | |
US20220369920A1 (en) | Phase identification of endoscopy procedures | |
KR20130013966A (ko) | 이미지 정합 기반 흉부영상 진단 시스템 및 방법 | |
WO2023126999A1 (ja) | 画像処理装置、画像処理方法、及び、記憶媒体 | |
US20220160260A1 (en) | System and method for measuring biomedical signal | |
Figueiredo et al. | Dissimilarity measure of consecutive frames in wireless capsule endoscopy videos: a way of searching for abnormalities | |
CN114255200A (zh) | 基于实时电影成像的心肌应力分析方法及装置 | |
Khajarian et al. | Image-based Live Tracking and Registration for AR-Guided Liver Surgery Using Hololens2: A Phantom Study | |
Jin | Development of endoscopic SLAM and the challenges | |
JP5973783B2 (ja) | 画像処理装置、プログラム及び画像処理方法 | |
JP7183005B2 (ja) | 肌解析方法及び肌解析システム | |
WO2021149169A1 (ja) | 施術支援装置、施術支援方法、及びコンピュータ読み取り可能な記録媒体 | |
WO2024121886A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201480042666.1 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14831513 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2014831513 Country of ref document: EP |