WO2013133368A1 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
WO2013133368A1
WO2013133368A1 PCT/JP2013/056271 JP2013056271W WO2013133368A1 WO 2013133368 A1 WO2013133368 A1 WO 2013133368A1 JP 2013056271 W JP2013056271 W JP 2013056271W WO 2013133368 A1 WO2013133368 A1 WO 2013133368A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
determination target
images
sequence
reference image
Prior art date
Application number
PCT/JP2013/056271
Other languages
English (en)
French (fr)
Inventor
陽一 矢口
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2012050860A external-priority patent/JP5896791B2/ja
Priority claimed from JP2012094691A external-priority patent/JP5973771B2/ja
Priority claimed from JP2012117318A external-priority patent/JP5973783B2/ja
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN201380012887.XA priority Critical patent/CN104159501B/zh
Priority to EP13757814.2A priority patent/EP2823754A4/en
Publication of WO2013133368A1 publication Critical patent/WO2013133368A1/ja
Priority to US14/479,235 priority patent/US9576362B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04C—ROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; ROTARY-PISTON, OR OSCILLATING-PISTON, POSITIVE-DISPLACEMENT PUMPS
    • F04C2270/00—Control; Monitoring or safety arrangements
    • F04C2270/04—Force
    • F04C2270/042—Force radial
    • F04C2270/0421—Controlled or regulated

Definitions

  • the present invention relates to an image processing apparatus, a program, an image processing method, and the like.
  • each moving image is configured.
  • image sequences a very large amount of images that are temporally or spatially continuous are acquired.
  • images that are close in the image sequence that is, close in time or space
  • the need to check everything is not high. In the first place, it is not uncommon for the number of images to be tens of thousands or more, and checking everything with the user's hand itself is a heavy burden.
  • Patent Document 1 discloses an image summarization processing method that leaves an image that makes it easy to grasp the contents of an image sequence by extracting an image of a boundary where the scene in the image sequence changes or an image representative of the image sequence. Has been.
  • image summarization processing when image summarization processing is performed by deleting a part of an image, an image that suppresses the generation of an area that cannot be observed due to the deletion of the image and controls the generation degree.
  • a processing device, a program, an image processing method, and the like can be provided.
  • an image sequence acquisition unit that acquires an image sequence having a plurality of images, and a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit.
  • a processing unit that performs an image summarization process to be acquired, wherein the processing unit selects a reference image and a determination target image from the plurality of images, and is based on deformation information between the reference image and the determination target image.
  • the present invention relates to an image processing apparatus that calculates a coverage of the determination target image by the reference image and determines whether or not the determination target image can be deleted based on the coverage.
  • a reference image and a determination target image are selected from the acquired image sequence, and the coverage of the determination target image by the reference image is calculated based on deformation information between the selected reference image and the determination target image. Then, it is determined whether the determination target image can be deleted. Therefore, since it is possible to determine whether or not the image to be determined is covered by a reference image (in a narrow sense, an image to be left in the summary image sequence), it is possible to determine whether or not the image can be observed by deleting the image. It is possible to deter doing this.
  • Another aspect of the present invention provides an image sequence acquisition unit that acquires an image sequence having a plurality of images, and a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit And a processing unit that performs image summarization processing to acquire the image, and the processing unit selects a reference image and a determination target image for the image summarization processing from the plurality of images, and sets an observation region on the determination target image.
  • the present invention relates to an image processing apparatus that determines whether or not the determination target image can be deleted based on at least one of a feature amount and a second feature amount obtained from the observation region.
  • an observation area is set on the determination target image, a corresponding area corresponding to the observation area is set on the reference image based on the deformation information, and at least feature amounts of the observation area and the corresponding area are set. On the basis of one of them, it is determined whether or not the determination target image can be deleted. Therefore, when the corresponding region is not suitable for observation, it is possible to suppress generation of a region unsuitable for observation by processing such as including a determination target image including the observation region in the summary image sequence.
  • Another aspect of the present invention relates to a program that causes a computer to function as each of the above-described units.
  • an image sequence having a plurality of images is acquired, a reference image and a determination target image are selected from the plurality of images in the image sequence, and between the reference image and the determination target image Based on deformation information, the coverage of the determination target image by the reference image is calculated, the determination target image is determined to be deleted based on the coverage, and based on the determination result of the deletion permission,
  • the present invention relates to an image processing method for performing image summarization processing for obtaining a summary image sequence by deleting a part of the plurality of images in the image sequence.
  • an image sequence having a plurality of images is acquired, a reference image and a determination target image are selected from the plurality of images in the image sequence, and an observation region is set on the determination target image.
  • a corresponding area that is an area on the reference image corresponding to the observation area is obtained, and a first feature amount obtained from the corresponding area
  • the present invention relates to an image processing method for performing image summarization processing for acquiring a summary image sequence by deleting a part of an image.
  • FIG. 1 is a system configuration example of an image processing apparatus according to the first embodiment.
  • FIG. 2 is a flowchart for explaining processing of the first embodiment.
  • FIG. 3 is a diagram illustrating a coverage rate calculation process using a coverage area.
  • 4A to 4D are views for explaining image summarization processing according to the first embodiment.
  • FIG. 5 is a diagram for explaining coverage calculation processing using a plurality of points.
  • FIG. 6 is a flowchart for explaining coverage calculation processing using a plurality of points.
  • FIG. 7 is a diagram for explaining a modification in which a plurality of reference images are selected.
  • FIG. 8 is a diagram illustrating processing for obtaining a covering region based on a plurality of reference images.
  • FIGS. 9B are diagrams illustrating a modification example in which a plurality of reference images are selected.
  • FIG. 10 is a diagram for explaining coverage calculation processing using weighting.
  • FIG. 11 is a system configuration example of an image processing apparatus according to the second embodiment.
  • FIG. 12 is a flowchart for explaining processing of the second embodiment.
  • FIGS. 13A and 13B are views for explaining image summarization processing according to the second embodiment.
  • FIGS. 14A to 14D are diagrams for explaining an example of a method for selecting a first reference image in the second embodiment.
  • FIG. 15 is a system configuration example of an image processing apparatus according to the third embodiment.
  • FIG. 16 is a flowchart for explaining processing of the third embodiment.
  • FIG. 17 is another flowchart for explaining the processing of the third embodiment.
  • FIG. 18A and 18B are views for explaining image summarization processing according to the third embodiment.
  • FIG. 19 is a system configuration example of image summarization processing according to the present embodiment.
  • FIG. 20A to FIG. 20G are diagrams for explaining a modification of the second embodiment.
  • FIG. 21 is a flowchart for explaining processing according to a modification of the second embodiment.
  • FIG. 22 is a configuration example of an image processing apparatus according to the fourth embodiment.
  • FIG. 23 is a flowchart for explaining image summarization processing according to the fourth embodiment.
  • FIG. 24 is a diagram illustrating a method for setting an observation area and a corresponding area.
  • FIG. 25 shows an example in which brightness information is used as a feature amount.
  • FIG. 26 shows an example in which size information is used as a feature amount.
  • FIG. 25 shows an example in which brightness information is used as a feature amount.
  • FIG. 27 shows an example in which the similarity with a given shape is used as the feature amount.
  • FIG. 28 is a configuration example of an image processing apparatus according to the fifth embodiment.
  • FIG. 29 is a flowchart for explaining image summarization processing according to the fifth embodiment.
  • FIG. 30 is a diagram for explaining summary candidate image sequence generation processing.
  • FIG. 31 is a configuration example of an image processing apparatus according to the sixth embodiment.
  • FIGS. 32A and 32B are diagrams for explaining the relationship between a scene change and a partial image sequence.
  • FIG. 33 is a configuration example of a deletion permission / inhibition determination unit.
  • FIG. 34 is a flowchart for explaining image summarization processing according to the sixth embodiment.
  • FIGS. 34 is a flowchart for explaining image summarization processing according to the sixth embodiment.
  • 35A and 35B are diagrams illustrating the relationship between the position of the selected image in the image sequence and the position of the detected scene change.
  • FIG. 36 shows an example of setting a region for which texture information is to be calculated.
  • FIG. 37A and FIG. 37B are diagrams for explaining the difference in shape of the covered region due to the difference in accuracy of deformation information.
  • FIG. 38 shows an example of accuracy information calculation method.
  • FIG. 39 is a diagram for explaining the relationship between the positions of the first and second images in the image sequence and the position of the detected scene change.
  • an image sequence captured using a capsule endoscope can be considered.
  • the capsule endoscope is a capsule-shaped endoscope with a built-in small camera, and takes an image at a given time interval (for example, twice per second). Since the capsule endoscope requires several hours (in some cases, several tens of hours) from taking the clothes to discharging, tens of thousands of captured images are acquired in one examination by one user. In addition, the capsule endoscope stays in the same place or returns in the opposite direction due to the influence of the movement of the living body when moving in the living body. For this reason, in a large number of images, the same subject as that of other images is imaged, and there are many images that are not highly useful in finding lesions.
  • the present applicant proposes a method using deformation information between images.
  • image summarization based on a coverage ratio between a reference image (an image to be left, an image to be a candidate to be left depending on the embodiment) and a determination target image (a determination target image to be deleted).
  • a method for processing is conceivable. Specifically, as shown in FIG. 3, the covering area is calculated on the determination target image by deforming the reference image.
  • the subject imaged with the reference image corresponds to the subject imaged on the covering area of the determination target image. That is, the range outside the covering region in the determination target image is a region that cannot be covered even if the reference image is left when the determination target image is deleted.
  • the ratio of the coverage area in the determination target image is calculated as the coverage ratio, and by determining whether to delete the determination target image based on the calculated coverage ratio, the degree of occurrence of the subject range that cannot be observed is determined. Control. For example, if the image to be judged is deleted when the coverage is equal to or higher than the threshold, and the image to be judged is not deleted when the coverage is less than the threshold, the degree of occurrence of an area that cannot be covered is controlled according to the threshold setting. it can. If the threshold value is increased, the degree of occurrence of an area that cannot be covered can be reduced, so that a deterrent effect such as oversight of a lesion is enhanced. Also, if the threshold value is reduced, an area that cannot be covered is likely to occur, but the number of images included in the summarized image sequence can be reduced to reduce the subsequent burden on the user.
  • an apparatus including a processing unit 100 and an image sequence acquisition unit 200 as shown in FIG.
  • the image sequence acquisition unit 200 acquires an image sequence having a plurality of images.
  • the processing unit 100 performs image summarization processing that acquires a summary image sequence by deleting some of the plurality of images included in the image sequence acquired by the image sequence acquisition unit 200.
  • the processing unit 100 selects a reference image and a determination target image from a plurality of images, and covers the determination target image with the reference image based on deformation information between the selected reference image and the determination target image. Calculate the rate. Then, it is determined whether or not the determination target image can be deleted based on the calculated coverage.
  • the determination target image can be deleted by determining whether or not deletion is possible, it may be determined that the determination target image is deleted (first and second embodiments), or other images. It may be determined that the deletion is not confirmed until the determination result of whether or not deletion is possible when the image is determined as the determination target image (third embodiment).
  • a method of performing image summarization processing that guarantees the coverage of an image behind the reference image in order of sequence will be described.
  • a method of calculating the coverage using a plurality of points instead of the coverage region a method of calculating the coverage using a plurality of reference images, and weighting according to the position on the image is used for obtaining the coverage.
  • a method and a method for obtaining desired deformation information based on deformation information between adjacent images will also be described. Note that the modification described in the first embodiment may be applied to the second and third embodiments.
  • a method of performing image summarization processing for guaranteeing the coverage of front and rear images based on the reference images set in front and rear of the determination target image will be described.
  • a method of setting a reference image other than the end points of the image sequence and determining whether to delete the front partial image sequence and the rear partial image sequence of the reference image will be described.
  • the determination of whether or not the image is to be deleted based on the coverage rate takes into consideration the ease of observation of the subject area on the remaining image even if the subject area captured on the image to be deleted is captured on the remaining image. Can not do it.
  • a case is considered in which a subject imaged in a given area on the determination target image is imaged in a very narrow area on the reference image.
  • the subject since the subject is captured on the reference image, it is determined that the subject is not missed even if the determination target image is deleted.
  • the target image can be deleted.
  • the size of the subject is very small on the reference image, so that it is basically suitable for observation although it depends on the number of pixels (resolution) of the reference image. I can't say that. If the size of the subject is small, there is a risk of missing the subject itself, and even if there is no oversight, detailed observation of the subject is necessary (for example, if the subject is a lesion, the subject is truly lesioned) This is because sufficient observation cannot be performed in the case of making a diagnosis of whether or not it is a part, or when it is a lesioned part, and how much progress is made.
  • the present applicant selects the reference image and the determination target image, and the feature amount of the observation region on the determination target image and the region on the reference image corresponding to the observation region.
  • a method for determining whether or not to delete a determination target image based on the feature amount of the corresponding region is proposed.
  • the corresponding region is obtained by deforming the observation region based on the deformation information between the reference image and the determination target image. That is, the subject area imaged in the observation area and the subject area imaged in the corresponding area correspond (in a narrow sense, coincide).
  • the size information (area, etc.) of the area is used as the feature amount, it can be detected that the size of the corresponding area is smaller than the observation area as shown in FIG. It becomes possible to cope with the problem. Specifically, since the subject is collapsed into a narrow range (a range corresponding to the corresponding region) on the reference image and is not suitable for observation, it is determined that the determination target image cannot be deleted and is left in the summary image sequence. What is necessary is just to observe a to-be-photographed object in the state imaged in the wide range (range corresponding to an observation area
  • an apparatus including a processing unit 100 and an image sequence acquisition unit 200 as shown in FIG.
  • the image sequence acquisition unit 200 acquires an image sequence having a plurality of images.
  • the processing unit 100 performs image summarization processing that acquires a summary image sequence by deleting some of the plurality of images included in the image sequence acquired by the image sequence acquisition unit 200.
  • the processing unit 100 selects a reference image and a determination target image for the image summarization process from a plurality of images, sets an observation region on the determination target image, and between the reference image and the determination target image.
  • a corresponding region that is a region on the reference image corresponding to the observation region is obtained, and at least one of the first feature amount obtained from the corresponding region and the second feature amount obtained from the observation region. Based on the above, it is determined whether or not the determination target image can be deleted.
  • the deletion possibility determination based on the feature amounts of the observation area and the corresponding region is the first deletion possibility determination process
  • the first deletion possibility determination process is different from the first deletion possibility determination process (for example, Image summarization processing may be performed by combining the processing using the above-described coverage.
  • a specific method will be described in the fifth embodiment.
  • the reference image and the determination target image may be selected from the entire image sequence to be processed, but this may be inefficient.
  • the imaging target is significantly different between the first half and the latter half of the image sequence (for example, the first half of the image sequence from the capsule endoscope captures the stomach. If the small intestine is imaged in the latter half portion, etc.), it is unlikely that the image in the latter half portion is covered by the image in the first half portion. Therefore, the necessity of comparison processing that spans the first half and the second half is low, and the image summarization processing that targets only the first half and the image summarization that targets only the second half are performed separately. Increase efficiency.
  • the present applicant proposes a method of detecting a scene change from an image sequence and dividing the image sequence into a plurality of partial image sequences based on the detected scene change.
  • the image summarization process using the above-described deformation information may be performed independently for each partial image sequence. In this way, image summarization processing can be performed efficiently.
  • image summarization processing can be performed in parallel on a plurality of partial image sequences, the processing speed can be increased. This modification will be described in the sixth embodiment.
  • FIG. 1 shows a system configuration example of an image processing apparatus according to this embodiment.
  • the image processing apparatus includes a processing unit 100, an image sequence acquisition unit 200, and a storage unit 300.
  • the processing unit 100 performs image summarization processing on the image sequence acquired by the image sequence acquisition unit 200 by deleting some of the plurality of images included in the image sequence.
  • the function of the processing unit 100 can be realized by hardware such as various processors (CPU and the like), ASIC (gate array and the like), a program, and the like.
  • the image sequence acquisition unit 200 acquires an image sequence that is an object of image summarization processing.
  • the storage unit 300 serves as a work area for the processing unit 100 and the like, and its function can be realized by a memory such as a RAM or an HDD (hard disk drive).
  • the processing unit 100 includes a reference image selection unit 1001, a determination target image selection unit 1002, a coverage area calculation unit 1003, a coverage rate calculation unit 1004, a deletion possibility determination unit 1005, A partial image sequence setting unit 1008 and a summary image sequence determination unit 1009 may be included.
  • the processing unit 100 is not limited to the configuration of FIG. 1, and various modifications such as omitting some of these components or adding other components are possible.
  • Each of the above-described units is set to explain each subroutine when the image summarization process executed by the processing unit 100 is divided into a plurality of subroutines, and the processing unit 100 does not necessarily include the above-described units. Does not have as.
  • the reference image selection unit 1001 selects a reference image from a plurality of images in the image sequence.
  • the determination target image selection unit 1002 selects an image different from the reference image from among the plurality of images in the image sequence as the determination target image.
  • the covering area calculation unit 1003 obtains a covering area by projecting the reference image onto the determination target image using deformation information (deformation parameters) between the reference image and the determination target image.
  • the coverage calculation unit 1004 calculates the coverage based on the coverage area.
  • Deletability determination unit 1005 determines whether the determination target image can be deleted based on the calculated coverage. Specifically, a comparison process between the coverage and a given threshold value may be performed.
  • the partial image sequence setting unit 1008 determines a part of the image sequence based on the position in the image sequence of the determination target image at that time. Thus, an image sequence composed of one or more images is set as a partial image sequence.
  • the summary image sequence determination unit 1009 determines a summary image sequence that is an image sequence after the summary processing.
  • the reference image selected by the reference image selection unit 1001 is included in the summary image sequence. Further, it is assumed that an image determined to be deleteable among the determination target images is deleted and not included in the summary image sequence.
  • FIG. 2 shows a flowchart for explaining the image summarization processing of this embodiment.
  • S101 an image sequence to be subjected to image summarization processing is acquired (S101).
  • the image sequence is acquired by the image sequence acquisition unit 200, and an RGB 3-channel image arranged in time series can be considered.
  • it may be an image sequence that is spatially continuous, such as an image sequence that is spatially arranged and photographed by imaging devices arranged in a horizontal row.
  • the “space” in the spatially continuous image sequence may be a space representing a two-dimensional or three-dimensional position, or may be a space such as a color space.
  • the reference image selection unit 1001 selects the first image of the input image sequence (the image sequence acquired in S101 in the first process and then the partial image sequence set in S107 described later). A reference image is selected (S102). The reference image selected here is left in the summary image sequence. Note that when the reference image cannot be selected from the input image sequence due to an error or the like (for example, when there is no image in the image sequence), the process ends.
  • the determination target image selection unit 1002 selects a determination target image from images included in the input image sequence (S103). If the determination target image is not set, the next image of the reference image (second image in the input image sequence) is selected as the determination target image. If the kth image in the input image sequence has already been selected as the determination target image, the selection position is shifted by 1 and the k + 1th image in the input image sequence is selected as the new determination target image. If the determination target image cannot be selected (for example, if the number of images included in the input image sequence is less than 2 or k + 1), the process ends.
  • the covering region calculation unit 1003 uses the deformation parameter between the reference image and the determination target image to project the reference image onto the determination target image to obtain the covering region ( S104).
  • the deformation parameter may be a non-rigid deformation parameter estimated by the method described in Patent Document 2.
  • An example of the covering region is shown in FIG.
  • the deformation parameter represents how the subject imaged in the reference image is deformed on the determination target image. In other words, the subject imaged in the reference image and the subject imaged in the covering area on the determination target image are corresponding (same in the narrow sense).
  • the covering ratio calculating unit 1004 calculates the covering ratio based on the covering area and the determination target image (S105). For example, the coverage can be obtained from the ratio of the area of the covering region to the area of the entire determination target image as shown in FIG.
  • the deletion possibility determination unit 1005 performs a comparison process between the calculated coverage and a preset threshold value (which may be set by the system or may be determined based on an input from the user). Perform (S106). If the coverage is less than the threshold, it is determined that the determination target image cannot be deleted, and the process proceeds to a partial image sequence setting process. If the coverage is equal to or greater than the threshold, it is determined that the determination target image can be deleted, and the process returns to S103 to select the determination target image again.
  • a preset threshold value which may be set by the system or may be determined based on an input from the user.
  • the partial image sequence setting unit 1008 sets a partial image sequence (S107). Specifically, an image sequence composed of a determination target image determined to be unremovable and subsequent images may be set as a partial image sequence.
  • the process returns to S102, and the above-described processing is executed using the partial image sequence as the input image sequence.
  • FIGS. 4A to 4D illustrate the above image summarization processing.
  • the first image is selected as the reference image, and the second image is selected. Selected as a determination target image. Then, the coverage is calculated between the reference image and the determination target image, and it is determined whether the determination target image can be deleted.
  • a new determination target image is selected. Specifically, the position of the determination target image is shifted backward, and the third image is selected as the determination target image as shown in FIG. Then, the coverage is calculated between the reference image and the determination target image, it is determined whether or not the determination target image can be deleted, and the image selected as the determination target image is updated until a determination target image that is determined not to be deleted is found. I will do it.
  • the 2nd to k ⁇ 1th images are displayed. Since an image means that it is covered to some extent by the reference image (to the extent set by the threshold), it is deleted and not included in the summary image sequence. On the other hand, the k-th image cannot be sufficiently covered by the reference image, so it is necessary to leave it in the summary image sequence. Therefore, here, the kth image and the subsequent images (k to Nth images) are divided into partial image sequences (hereinafter referred to as “partial image sequences” in the first to fifth embodiments). The unit is defined and is set to be different from the partial image sequence to be subjected to parallel processing in the sixth embodiment.
  • FIGS. 4A to 4C may be repeated for the partial image sequence.
  • a partial image sequence made up of N ⁇ x + 1 images is set as an input image sequence, and the first image (k-th in FIG. 4C) is the reference image, The second (k + 1th in FIG. 4C) image is processed as a determination target image.
  • the subsequent processing is the same.
  • the next image is selected as a new determination target image.
  • the reference image is left in the summary image sequence, the image determined to be deleteable is deleted, and the image after the determination target image at that time is replaced with a new partial image sequence.
  • the process ends. It will be.
  • the image processing apparatus includes an image sequence acquisition unit 200 that acquires an image sequence having a plurality of images, and a plurality of images in the image sequence acquired by the image sequence acquisition unit 200.
  • a processing unit 100 that performs image summarization processing for deleting a part of the image and acquiring a summary image sequence. Then, the processing unit 100 selects a reference image and a determination target image from a plurality of images. This process is performed by, for example, the reference image selection unit 1001 and the determination target image selection unit 1002.
  • the coverage of the determination target image based on the reference image is calculated based on the deformation information between the selected reference image and the determination target image, and whether the determination target image can be deleted is determined based on the calculated coverage.
  • the coverage calculation process is performed by, for example, the coverage calculation unit 1004, and the deletion permission / inhibition determination process is performed by, for example, the deletion permission / inhibition determination unit 1005.
  • the coverage is information indicating how many of the subjects captured on the determination target image are captured on the reference image. For example, when an image having an aspect ratio of 1: 1 is acquired, a subject having a square shape of 10 m in length and breadth in real space is captured in the determination target image, and the reference image includes the aforementioned subject. Assume that a square area of 5 m in length and width is captured in full. In this case, an area of 100 m 2 in real space is imaged in the determination target image, and an area of 25 m 2 in real space (and an area included in the area of 100 m 2 described above) is imaged in the reference image. . Therefore, since the reference image covers 25% of the determination target image, the coverage may be 25 or 0.25.
  • deformation information corresponding to such deformation is acquired by a method such as Patent Document 2, and the coverage is calculated using the deformation information.
  • the coverage may be information indicating the degree of coverage of the determination target image by the reference image, and is not limited to the ratio / ratio.
  • the determination process of whether or not deletion is possible is, for example, a comparison process with a given threshold value. If the threshold value is increased (for example, if it is set to a value corresponding to 100%), it can be expected to improve the suppression effect against the occurrence of a region that cannot be observed by deleting the image. On the other hand, if the threshold value is lowered, the number of images included in the summary image sequence after the summary processing can be reduced. There is a trade-off between improving the suppression effect and reducing the number of images, and control is possible by setting the threshold value. Therefore, it is desirable to set the threshold value appropriately according to the situation.
  • the processing unit 100 selects the first image as a reference image and kth (k is An image satisfying 2 ⁇ k ⁇ N ⁇ 1) may be selected as the determination target image. Then, the coverage is calculated based on the deformation information between the reference image and the determination target image, and whether or not the determination target image can be deleted is determined based on the coverage. Further, when it is determined that the kth image can be deleted, the (k + 1) th image is selected as the determination target image.
  • the input image sequence is an image sequence that is a target of this processing (selection of a reference image / determination target image, determination of whether or not to delete, and update of a determination target image when deletion is possible).
  • the image sequence acquired by the unit 200 may be used, or an image sequence including a part of the image sequence may be used.
  • the determination target image is selected from the rear of the reference image (for example, the image adjacent to the reference image at first), and when the selected determination target image can be deleted, the determination target image is further updated to the rear one. . That is, it is determined whether it can be deleted in order from a place close to the reference image (whether it can be sufficiently covered by the reference image), and a place where it cannot be deleted is searched.
  • the determination target image determined to be deleteable here is basically deleted and is not included in the summary image sequence, but is not limited to this, and the determination target image determined to be deleteable May be included in the summary image sequence.
  • the processing unit 100 may perform processing for including the image selected as the reference image in the summary image sequence.
  • the partial image sequence including the kth to Nth images is set as a new input image sequence and set. Processing may be performed again on the input image sequence.
  • the process shown in FIG. 4C becomes possible. Since the deletion permission / inhibition determination process is performed based on how much the determination target image is covered by the reference image as described above, the reference image remains even if the determination target image determined to be deleteable is deleted. Therefore, it is possible to suppress the occurrence of an area that cannot be observed. That is, in this embodiment, the reference image is included in the summary image sequence. If the k-th image is determined not to be deleted, it means that the k-th image cannot be sufficiently covered by the reference image, and therefore the k-th image should remain in the summary image sequence.
  • the kth image may be set as the next reference image, and specifically, for example, a partial image sequence including the kth to Nth images may be set as a new input image sequence.
  • the head image of the input image sequence that is, the kth image in the image sequence acquired by the image sequence acquisition unit 200 is selected as the reference image, and the (k + 1) th image is selected. Images after the image are sequentially selected as determination target images. Note that a partial image sequence including a part of the images in the image sequence of FIG. 4D may be newly set as an input image sequence, and this process is repeated (or recursively).
  • the processing unit 100 may obtain a covered region that is a region where the determination target image is covered by the reference image based on deformation information between the reference image and the determination target image. Then, the ratio of the coverage area in the determination target image is calculated as the coverage ratio.
  • the covering region is specifically shown in FIG. 3 and represents a region projected on the determination target image after the reference image is deformed based on the deformation information.
  • the subject area imaged in the reference image corresponds to the subject area imaged in the obtained covering area (they match in an ideal situation where there is no error in the deformation information). Therefore, it is possible to obtain the coverage from the ratio of the covered area to the determination target image (specifically, the ratio of the respective areas).
  • the covered area may be obtained by deforming the reference image based on the deformation information, and the obtained covered area is not necessarily limited to the one projected onto the determination target image. Further, the covering region is not limited to the one obtained based on the entire reference image, and may be obtained by deforming a part of the reference image with the deformation information.
  • an image sequence acquisition unit 200 that acquires an image sequence having a plurality of images, and a summary image sequence by deleting some of the plurality of images in the image sequence acquired by the image sequence acquisition unit 200 It can be applied to a program that causes a computer to function as the processing unit 100 that performs image summarization processing. Then, the processing unit 100 selects a reference image and a determination target image from a plurality of images. Further, the coverage of the determination target image by the reference image is calculated based on the deformation information between the selected reference image and the determination target image, and whether or not the determination target image can be deleted is determined based on the calculated coverage. .
  • an image sequence acquired by a capsule endoscope or the like is input to a system such as a PC, and image summarization processing is performed by a program executed by a processing unit (CPU, GPU, etc.) of the system.
  • the program is recorded on an information storage medium.
  • various recording media that can be read by a system such as a PC such as an optical disk such as a DVD or a CD, a magneto-optical disk, a hard disk (HDD), a memory such as a nonvolatile memory or a RAM can be assumed. .
  • the configuration of the processing unit 100 is a configuration in which the covering region calculation unit 1003 is removed as compared to FIG. Further, the processing in the coverage rate calculation unit 1004 is different. In addition, since the processing content is the same about other structures, detailed description is abbreviate
  • the coverage calculation unit 1004 arranges a plurality of points, for example, at equal intervals on the determination target image as shown in FIG. Then, a point on the determination target image is projected onto the reference image using a deformation parameter between the reference image and the determination target image (similar to the method described above, the non-rigid body deformation parameter of Patent Document 2). Of the plurality of points projected onto the reference image, the ratio of the number of points included in the reference image may be the coverage.
  • FIG. 6 shows a flowchart for explaining this process.
  • S201 to S203 and S206 to S207 are the same as S101 to S103 and S106 to S107.
  • S205 corresponds to S105, but the processing contents are different as described above, and S105 calculates the coverage based on the coverage area calculated in S104, whereas S205 projects the plurality of points. The coverage is calculated based on the above.
  • the processing unit 100 sets a plurality of points for the determination target image, and converts the plurality of points according to the deformation information between the reference image and the determination target image into the reference image. Based on the number of converted points included, the coverage is calculated.
  • the processing load can be reduced.
  • a plurality of points are set on the determination target image, and it is determined which image position (including a position outside the reference image here) corresponds to each set point in the reference image.
  • the coverage is calculated by comparing the number of points set in the determination target image with the number of points included in the reference image among the plurality of points after processing based on the deformation information. In this way, it is not necessary to calculate the area after processing using the deformation information, and the processing can be lightened.
  • the problem here is the case where the reference image cannot sufficiently cover the determination target image.
  • the configuration of the processing unit 100 here is the same as in FIG.
  • the covering area calculation unit 1003 calculates and calculates candidate areas of the covering area between each reference image of a plurality of reference images (reference image group) and the determination target image.
  • a covering area is calculated based on a plurality of candidate areas.
  • the processing in the coverage rate calculation unit 1004, the deletion possibility determination unit 1005, and the like is the same as the above-described method.
  • the coverage area is calculated between each reference image of the plurality of reference images (reference image group) and the determination target image, and the coverage calculation unit 1004 calculates the determination target image and the calculated plurality of coverage areas. It may be considered that the coverage is calculated based on the above.
  • the reference image selection unit 1001 selects the first image in the partial image sequence as the reference image and adds it to the reference image group. That is, if the process of S102 is performed for the mth time, a total of m reference images are held in the reference image group. Then, by calculating the i-th candidate area from the i-th (1 ⁇ i ⁇ m) reference image and the determination target image in the reference image group, m candidate areas are obtained, and the covering area is calculated therefrom. . For example, as shown in FIG. 8, a region corresponding to the union of a plurality of candidate regions may be set as a covering region.
  • the first image is a reference image
  • An image sequence having an image is set as a partial image sequence.
  • the head of the partial image sequence that is, the xth image in the original image sequence is selected as the reference image. Therefore, the reference image group holds the first and xth two images as reference images.
  • a candidate area is obtained based on the first image and the determination target image, and based on the xth image and the determination target image. Find candidate areas. Then, the final coverage area is calculated by the method described with reference to FIG.
  • the image sequence including the yth to Nth images becomes a partial image sequence, and thus the yth image is added to the reference image group. Then, the y + 1th and subsequent images are selected as the determination target images, candidate areas are obtained from the three images of the first image, the xth image, and the yth image, respectively, and the covering region is calculated. Thereafter, the same processing is repeated.
  • region shall be used for calculation of a covering rate here, it is not limited to this. You may combine with the method of using the several point mentioned above.
  • the processing unit 100 may select the first to Mth (M is an integer of 2 or more) reference images from a plurality of images as the reference image. Then, the u-th covering region is obtained based on deformation information between the u-th (1 ⁇ u ⁇ M) reference image and the determination target image, and the union region of the first to M-th covering regions is determined as the union region. The coverage is set as the coverage area, and the coverage is calculated based on the set coverage area.
  • the latest reference image for example, the xth image in FIG. 9A
  • the determination target image for example, the (x + 1) th image in FIG. 9A).
  • the subject imaged in the image to be deleted does not need to be captured in the most recent image, and the image that remains It is sufficient that at least one of the images is captured. Therefore, the reference image need not be limited to one, and a plurality of reference images may be used.
  • the xth to Nth images are set in the partial image sequence, so that the xth image becomes a new reference image.
  • the first image that has been used as the reference image may be stored and used for determining whether or not the determination target images after the (x + 1) th image can be deleted.
  • the area representing the union of the areas obtained by deforming the respective reference images based on the deformation information is used as the covering area.
  • the number of images that can be used as reference images increases (in the example of FIG. 9B, the first and xth images can be used in addition to the yth image), and it is determined that the image can be deleted.
  • the possibility to do is further improved.
  • the processing load increases by increasing the number of reference images, it is not necessary to use all of the usable reference image candidates, and some of them may be used.
  • the processing unit 100 may select the first to Mth (M is an integer of 2 or more) reference images from the plurality of images as the reference image.
  • M is an integer of 2 or more
  • the processing unit 100 may select the first to Mth (M is an integer of 2 or more) reference images from the plurality of images as the reference image.
  • the area of the covering region with respect to the area of the determination target image is simply set as the covering ratio, but the present invention is not limited to this.
  • a coverage factor may be obtained by setting a weighting factor according to the position on the image and performing weighting using the weighting factor.
  • a modified example will be described in which image summarization that guarantees a weighted coverage according to the distance from the center of the image is performed in sequence. Detailed description of the same processes as those described above will be omitted.
  • the covering area calculation unit 1003 obtains a weight map of the reference image in which the area weight is applied according to the position in the image. Then, as shown in FIG. 10, using the deformation parameter between the reference image and the determination target image, the weight map of the reference image is projected onto the determination target image to form a weighted coverage region. For example, in a capsule endoscopic image having blackened areas at the four corners, a weight with a predetermined area weight of 0 and a remaining area weight of 1 is applied.
  • the coverage calculation unit 1004 acquires a weight map of the determination target image to which the region weight is applied according to the position in the image.
  • the ratio of the sum of the coverage weight maps obtained by multiplying the weighted coverage region and the weight map of the determination target image to the total sum of the weight maps of the determination target image is defined as the coverage ratio. For example, in a capsule endoscopic image having blackened areas at the four corners, a weight with a predetermined area weight of 0 and a remaining area weight of 1 is applied.
  • the four corner areas whose weights are set to 0 in the weight map of the reference image are not handled as the covered areas.
  • an area projected on the four corners having a weight of 0 in the weight map of the determination target image in the covering area corresponds to being not handled as a covering area.
  • the area of the determination target image corresponding to the denominator of the coverage calculation formula does not include the four corner regions whose weights are set to 0 in the determination target image weight map.
  • 0 or 1 is used as the weight, but a value between 0 and 1 may be set.
  • the weight is typically between 0 and 1, but does not preclude setting a negative value or a value greater than 1.
  • weighting is not limited to the method using a covering area
  • the processing unit 100 may set a weighting factor according to the position on the image of the determination target image. Then, the coverage ratio is calculated based on the ratio between the first weight sum calculated based on the weight coefficient and the coverage area and the second weight sum calculated based on the weight coefficient and the determination target image. To do.
  • weighting according to the position on the image of the determination target image can be performed, and the degree of contribution to the calculation of the coverage can be set according to the position of the determination target image on the image.
  • the distortion in the peripheral portion of the image is larger than that in the central portion of the image, which is not suitable for observing the subject.
  • it is possible to determine whether or not deletion is possible with an emphasis on the central part by increasing the weighting coefficient in the central part and reducing the weighting coefficient in the peripheral part.
  • the coverage ratio greatly contributes when the central portion is covered, whereas the coverage ratio is even if the peripheral portion is covered. The contribution to is small.
  • the weight sum is determined based on the region to be processed and the weight coefficient. For example, if the weighting factor is set for each pixel, the first weighting sum may be the sum of the weighting factors set for each pixel for the pixels included in the covering region. The weight sum may be the sum of the weight coefficients set for each pixel for the pixels of the entire determination target image. If the weighting factor is set for each given region (the area of each region may be different), the second weight sum is the sum of the products of the area of the weighting factor setting region and the weighting factor. Thus, the first weight sum is the sum of the products of the area of the area included in the covering area and the weight coefficient in the weight coefficient setting area. Depending on the weight coefficient setting method, the weight sum may be obtained by another method.
  • the processing unit 100 may set the weighting factor according to the position of the determination target image on the image, using a method that uses a plurality of points instead of the covering region.
  • the coverage is calculated based on the converted points included in the reference image and the weighting factor.
  • the processing unit 100 sets 0 as the weighting factor value in the first area of the determination target image and sets 1 in the second area different from the first area of the determination target image. Good.
  • the weighting factor is set for the determination target image, but the weighting factor may be set on the reference image side.
  • the weighting coefficient 0 is set at the four corners of the reference image, and the weighting coefficient 1 is set at the other areas.
  • the second weight sum is the same as that described above, but the first weight sum calculation method is different.
  • a weighting coefficient 0 is set in the area corresponding to the four corners of the reference image in the covering area, and a weighting coefficient 1 is set in the other areas of the covering area.
  • a weighting coefficient corresponding to the position of the determination target image on the image is also set.
  • the weighting factor is set in units of pixels
  • two pixels, that is, the weighting factor on the reference image side and the weighting factor on the determination target image side are set for each pixel included in the covering region. Will be.
  • the first weight sum for example, for each pixel included in the covering region, a product of the reference image side weight coefficient and the determination target image side weight coefficient is obtained, and a process for obtaining the sum of the values is performed. Good.
  • a weighting factor may be set on the reference image side.
  • the point that is located in the reference image by the conversion among the plurality of points can be associated with the weighting coefficient set on the reference image side, and as a result, it becomes one point.
  • two weight coefficients are set for the reference image side and for the determination target image side. Therefore, for example, the coverage may be calculated based on the sum of the values obtained by obtaining the product of the reference image side weight coefficient and the determination target image side weight coefficient for each of the converted points included in the reference image.
  • the covering region is directly calculated using the deformation parameter between the reference image and the determination target image.
  • the present invention is not limited to this.
  • the covering region is cumulatively projected between the adjacent images, and the covering region obtained by projecting the reference image onto the determination target image may be obtained. Good.
  • the processing unit 100 obtains deformation information between adjacent images for the image between the reference image and the determination target image in the image sequence, and based on the obtained deformation information between the adjacent images, Deformation information between the image and the determination target image may be calculated.
  • the deformation information can be calculated by the method shown in Patent Document 2 or the like, but generally, the process of combining a plurality of pieces of deformation information is much lighter than the process of calculating the deformation information from scratch.
  • the deformation information is a matrix or the like, the process of obtaining the matrix from two pieces of image information is heavy, but combining a plurality of already obtained matrices (for example, it is only necessary to take the matrix product) ) It will be very easy.
  • This method is particularly effective for a process where the number of times of using deformation information is used, for example, as in a second embodiment described later.
  • a reference image (second reference image) is set not only in front of but also behind the determination target image, and the second reference image is updated according to conditions. Specifically, when the first image is the first reference image and the kth image is the second reference image, the deletion permission determination is made between the second to k ⁇ 1th images and each reference image. Depending on the conditions, the second reference image is updated to the (k + 1) th image without changing the first reference image.
  • deformation information between each of the second to kth images and the (k + 1) th image as the second reference image is required, and it is necessary to obtain the k ⁇ 1th deformation information. Since it is different from the deformation information between the 2nd to (k-1) th images used in the immediately preceding process and the kth image (the immediately preceding second reference image), it must be newly obtained. .
  • the image sequence acquisition unit 200 acquires N images as an image sequence, it is sufficient to obtain the deformation information N-1 times between adjacent images.
  • the reference image and the determination target image are selected from the N images, a process for synthesizing necessary ones of the N ⁇ 1 pieces of deformation information is necessary. The processing is lighter than the deformation information calculation processing.
  • Second Embodiment In the second embodiment, a method will be described in which image summarization processing that guarantees the coverage of front and rear images is performed in sequence. First, the basic method will be described, and then two modifications will be described.
  • FIG. 11 shows a system configuration example of an image processing apparatus according to this embodiment.
  • a second reference image selection unit 1007 is added to the processing unit 100 of FIG.
  • the reference image selection unit 1001 selects the first reference image.
  • the second reference image selection unit 1007 selects two or more images behind the first reference image as the second reference image.
  • the determination target image selection unit 1002 selects an image that is behind the reference image and ahead of the second reference image as the determination target image.
  • the reference image selection unit 1001 and the second reference image selection unit 1007 are separated.
  • the present invention is not limited to this, and the reference image selection unit 1001 uses the first reference image and the second reference image. You may select both.
  • FIG. 12 shows a flowchart for explaining the image summarization processing of this embodiment.
  • S301 to S302 are the same as S101 to S102.
  • two or more images behind the first reference image selected in S302 are selected as second reference images (S308).
  • a determination target image is set (S303).
  • the image next to the first reference image (second image in the input image sequence) is selected as the determination target image.
  • the selection position is shifted by 1 and the k + 1th image in the input image sequence is selected as the new determination target image.
  • the selection range of the determination target image is not up to the last image in the input image sequence but until the second reference image matches.
  • the process proceeds to S304 to calculate the coverage area.
  • the first candidate region is calculated based on the deformation parameter between the first reference image and the determination target image
  • the first candidate region is calculated based on the deformation parameter between the second reference image and the determination target image. 2 candidate regions are calculated. Then, similarly to the processing described with reference to FIG. 8, a region corresponding to the union of the first candidate region and the second candidate region may be set as the covering region.
  • S304 to S306 are the same as S104 to S106. If it is determined in S306 that the image can be deleted, the process returns to S303, and the determination target image is updated to the next image. If the determination target image matches the second reference image as a result of the update, the process returns to S308, and the second reference image is updated to the next image. In addition, when the second reference image is updated, the selection state of the determination target image is reset. If the determination target image does not match the second reference image, the processing from S304 is performed.
  • FIGS. 13A and 13B illustrate the above image summarization processing.
  • a method of cumulatively using the deformation parameters between adjacent images when projecting the reference image onto the determination target image will be described, but the present invention is not limited to this.
  • the kth image in the entire image sequence is selected as the first reference image (note that the processing has been completed for the 1st to (k-1) th images, and the kth to Nth images are the partial image sequences. Corresponds to the case where it is set as). Then, the k + 2nd image is selected as the second reference image.
  • a determination target image is selected from the front of the image between the first reference image and the second reference image, and a covering area calculation process based on the first reference image and the determination target image, and determination as the second reference image are performed.
  • the coverage ratio is calculated from the coverage area calculation process based on the target image, and whether or not deletion is possible is determined.
  • the first reference image is the first reference image. Since there is a possibility that an image further away from the reference image may be selected, the second reference image is reselected as shown in FIG. 13B. Specifically, the second reference image that was k + 2 may be updated to k + 3.
  • an image sequence including the image immediately before the current second reference image (corresponding to the second reference image in FIG. 13A) and subsequent images is set as a partial image sequence.
  • the second reference image at the time of FIG. 13A is selected as the reference image in the next process, and the image to be deleted is covered by the image remaining in the summary image sequence. Is guaranteed.
  • the top image of the input image sequence is selected as the reference image in S302.
  • the determination target image can be deleted if it is covered by the second reference image behind the determination target image.
  • the first and second images need to be left in the image after the summary processing. There is no. Therefore, it is not always necessary to leave the top image, and there is a possibility that the number of images included in the summary image sequence will be unnecessarily increased in the method using the top image as a reference image.
  • the first reference image does not have to be the first image of the image sequence acquired by the image sequence acquisition unit 200.
  • An example of a specific method is shown. As shown in FIG. 14B, the 0th image that does not actually exist is selected as the first reference image (the selection process here is for convenience, and the 0th image is actually selected). Preparation or other processing is not necessary). If it does in that way, the 2nd picture will be selected by the 2nd standard picture selection processing in S308, and the picture in the meantime (only the 1st picture here) will be chosen one by one.
  • the processes of S304 to S306 are performed between the determination target image and the second reference image as long as the first reference image does not actually exist.
  • the second reference image is updated as shown in FIG. 14C in accordance with the processing of FIG. 12, and the third image is transferred. It is determined whether the first and second images can be covered by the second image. Thereafter, if the processing is repeated, as shown in FIG. 14D, if the (k ⁇ 1) th image is set as the second reference image, all the 1st to (k ⁇ 2) th images can be covered. Even if the 1st image is used as the second reference image, k that cannot cover all the 1st to (k-1) th images can be found.
  • the image sequence including the (k ⁇ 1) th to Nth images is set as the partial image sequence, and the process returns to S302.
  • the (k ⁇ 1) -th image remains in the summary image sequence as the reference image.
  • the 1st to 2nd images can be covered by the (k-1) th image, the 1st to 2nd images can be deleted, and the images included in the summary image sequence The number of sheets can be reduced.
  • the processing unit 100 selects the pth image as the first reference image.
  • the qth image (q is an integer satisfying p + 2 ⁇ q ⁇ N ⁇ 1) is selected as the second reference image, and the rth image (r is an integer satisfying p + 1 ⁇ r ⁇ q ⁇ 1) is selected.
  • the coverage is calculated based on the deformation information between the first reference image and the determination target image and the deformation information between the second reference image and the determination target image, and based on the coverage It is determined whether or not the determination target image can be deleted. Further, when it is determined that the (p + 1) th to q ⁇ 1th images can be deleted, the q + 1th image is newly selected as the second reference image.
  • FIGS. 13A and 13B it is possible to perform the image summarization process based on the coverage ratio after setting the reference images in front of and behind the determination target image.
  • two reference images since two reference images are used, there is a high possibility that it is possible to determine that the determination target image can be deleted, and the number of images after the summarization process can be reduced.
  • an image that is close in time (or spatial) to the determination target image is set as the reference image as compared to the method of setting a plurality of reference images only in the front. it can. Since the closer the image is, the higher the possibility that the captured subject is more similar, so the possibility of deleting the determination target image can be further increased.
  • a plurality of reference images may be set in the front, rear, or both as in the above-described modification.
  • the determination target image set between the first reference image and the second reference image can be deleted (in a narrow sense, all determination target images can be deleted. (It is not necessary to limit the second reference image.) In this case, even if the space between the first reference image and the second reference image is further widened, there is a possibility that the image between them may be covered. Is updated to an image later than the current second reference image.
  • the reference image may be set behind the determination target image. Therefore, the first reference image does not need to be the first image in the first process. This is because if all the previous images are covered by the second and subsequent given images, the previous images can be deleted by using the given image as the reference image.
  • the processing unit 100 may perform a process of including the image selected as the first reference image in the summary image sequence. If it is determined that at least one of the (p + 1) th to (q-1) th images cannot be deleted, the partial image sequence consisting of the (q-1) th to (Nth) images is set as the input image sequence and set. The input image sequence is processed again after setting the value of p to 1.
  • the first reference image can also be included in the summary image sequence in the present embodiment.
  • the case where at least one of the determination target images between the first reference image and the second reference image cannot be deleted is a case where the space between the first reference image and the second reference image is excessively widened. Therefore, the image that is in front of the second reference image at that time (in the narrow sense, in front and closest) should remain in the summary image sequence. Therefore, the partial image sequence composed of the q-1st to Nth images is set as the input image sequence, and the first and second reference images and the determination target image are selected from the set input image sequence. Depending on the conditions for determining whether or not to delete, the second image update process or the like is performed again. Note that, for the set partial image sequence, the head image should remain in the summary image sequence.
  • the second reference image is selected again.
  • the new second reference image to be selected is limited to the q + 1-th image. It was.
  • the determination target image candidate is selected when the qth image is selected as the second reference image.
  • Q-2 images second to q-1th images
  • the determination processing is performed q-2 times.
  • the second reference image when the second reference image is selected again, the amount of calculation is reduced by expanding the selection range without limiting the target to the adjacent images.
  • the new second reference image is not limited to the q + 1-th image, but is allowed to be selected from the q + 2 image and the image behind it.
  • the q-1th image is OK (the possibility that the q-1th image has not been selected as the second reference image). Because there is). Therefore, unlike the basic method of the second embodiment, the fact that the q-th image is NG does not immediately leave the q-1-th image as a summary image, but basically the q-th image.
  • the second reference image is updated backward in the case of OK, and forward in the case of NG, thereby searching for the next summary image of the first reference image. It will be.
  • the position of the new second reference image By appropriately setting the position of the new second reference image, the number of images selected as the second reference image until the next summary image is found can be reduced, and the amount of calculation can also be reduced. Note that the calculation amount reduction here is only to reduce the expected value of the calculation amount, and depending on the position of the summary image next to the first reference image, the above-described method requires less calculation amount. The possibility cannot be denied.
  • the method of the modification will be described in detail.
  • the system configuration example of the image processing apparatus is the same as that in FIG. 11, and the second reference image selection process (update process) in the second reference image selection unit 1007 is different. Therefore, detailed description of similar parts is omitted, and different points will be described.
  • the reference image selection unit 1001 selects the first reference image.
  • the top image (first image) of the input image sequence is selected.
  • an image other than the head for example, a virtual 0th image
  • the first reference image is assumed to be the first image unless otherwise specified.
  • a second reference image selection section (actually equivalent to a range for searching for a summary image next to the first reference image) corresponding to an image to be selected for the second reference image is set.
  • J N + 2.
  • the second reference image is selected from the set second reference image selection section.
  • the second reference image is determined based on a given condition.
  • the i + 1th image (third image in a narrow sense) is selected as the second reference image. This is the same as the basic method of the second embodiment.
  • FIG. 20A illustrates the processing so far.
  • N 12 image sequences are considered
  • the first reference image is the first image
  • the second reference image is the third image.
  • the position of the second reference image can be further separated from the first reference image. Since it is good, an image behind the current one is selected as a new second reference image.
  • This idea itself is the same as the basic method of the second embodiment. However, although the second reference image is moved backward one by one in the above-described method, it may be shifted to two or more backward images here.
  • the current second reference image is the a-th image counted from the first reference image
  • the 2 ⁇ a-th image counted from the first reference image is replaced with the new second reference image. It may be an image.
  • the third image is If OK, the next second reference image is selected as the fifth (fourth counted from the first reference image) image.
  • the ninth image is selected as a new second reference image as shown in FIG. 20C, and the start point of the second reference image selection section is set to 5. Update to the second image.
  • the new second reference image may become extremely rearward.
  • the image behind N + 1 becomes a candidate and the second reference image cannot be selected, or the interval between the second reference images before and after the update becomes too wide, The search for the summary image becomes inefficient.
  • a new second reference image is determined based on the value of (q + j) / 2.
  • the start point of the second reference image selection section is updated to the 9th image, and thus the [9, 14) half-open section. That is, by setting the image near the center as a new second reference image, the center of the search range is set as a processing target.
  • the method of halving the search range by determining the center of the search range is not limited to the widely known binary search, and it is also widely known that the binary search has an advantage in terms of computational complexity. Yes.
  • the second reference image selection section of the present embodiment is that if a given image is OK, all images ahead of it may be considered OK, and if a given image is NG, the image behind it is All have the property of being considered NG, and a binary search technique can be applied. In other words, efficient processing can be expected by selecting a new second reference image from the vicinity of the middle between the second reference image before update and the end point of the second reference image selection section.
  • the method of doubling the distance of the first reference image starting point and the method corresponding to the binary search are used together.
  • the k-th image that satisfies the following expression (1) may be used as the next second reference image.
  • min (a, b) represents the smaller one of a and b.
  • the second reference image selection section (in the narrow sense, the search range of the next summary image) is narrowed.
  • the next summary image is a k-th image when the k-th image is OK and the k + 1-th image is NG. Therefore, when a location where the OK image and the NG image are adjacent to each other is found. Processing will be terminated.
  • the i-th image is OK
  • the j-th image next to it is NG
  • the q-th image between them is the second reference image.
  • the q-th image is OK
  • the image is as shown in FIG.
  • the image is as shown in FIG. 20G.
  • the start point and the end point of the second reference image selection section are adjacent to each other.
  • the image corresponding to the start point is OK, and the image corresponding to the end point is NG. Therefore, since the image corresponding to the start point may be selected as the next summary image, the search process for the input image sequence ends.
  • the partial image sequence setting unit 1008 sets the start point of the second reference image selection section and the subsequent images as the partial image sequence, and sets the partial image sequence as a new input image sequence.
  • the subsequent processing is the same, and detailed description thereof is omitted.
  • FIG. 21 shows a flowchart for explaining this process.
  • S601 and S602 are the same as S301 and S302.
  • a second reference image selection section is set (S609).
  • the second reference image selection section that has already been set is updated.
  • the second reference image is selected from the second reference image selection section set in S609 (S608).
  • the process of S608 is performed for the first time after the setting of the first reference image in S602, for example, the i + 1th image (two images behind the first reference image) may be selected. In other cases, a process of selecting a new second reference image is performed according to the position of the immediately preceding second reference image.
  • the determination target image is selected (S603).
  • the coverage area calculation process (S604), the coverage rate calculation process (S605), and the image deletion possibility determination process (S606) after selection of the determination target image are the same as S304 to S306. If it is determined in step S606 that the image can be deleted, the process returns to step S603, the determination target image is updated to the next image, and the same processing is performed. By repeating the processes of S603 to S606, it is determined whether all the images between the first reference image and the second reference image can be deleted, or at least one of them cannot be deleted. If all can be deleted, it is determined in S603 that the determination target image is equal to the second reference image, and the process returns to S609.
  • the determination in S606 indicates that the image cannot be deleted, and the process returns to S609.
  • the processing unit 100 selects the second reference image from the second reference image selection section in which the start point and the end point corresponding to the p + 2 to Nth images are set. Based on the first reference image and the second reference image, it is determined whether or not the determination target image can be deleted. If it is determined that the p + 1 to q ⁇ 1th images can be deleted, the second image is determined.
  • the xth image (x is an integer satisfying x> q) included in the reference image selection section is selected as a new second reference image. At the same time, the starting point of the second reference image selection section may be updated to the qth image.
  • the second reference image selection section includes the (p + 2) th to Nth images in view of the nature of an image that is a candidate for the second reference image.
  • a virtual image such as the (N + 1) th image may be selected as the second reference image
  • the end point of the second reference image selection section may be larger than N.
  • the second reference image selection section also has an aspect of a search range for the next summary image, an image that can be selected as a summary image is included in the selection section even if the image is not selected as the second reference image. It may be included. In that case, an image (p + 1-th image) one behind the first reference image may be set as the starting point of the second reference image selection section.
  • the basic method of the second embodiment is a method of checking the search range one by one from the top and reducing the search range, so that the amount of calculation becomes very large depending on the position of the correct answer. End up.
  • the search range can be greatly reduced by one unit of determination (determination of whether the qth image is OK or NG). Therefore, an effect of reducing the amount of calculation can be expected, and the load on the system can be reduced and the processing time can be shortened.
  • the processing unit 100 determines that the yth (y is y ⁇ q) included in the second reference image selection section.
  • An integer that satisfies may be selected as a new second reference image.
  • the end point of the second reference image selection section is updated to the qth image.
  • an image ahead of the current second reference image can be selected as a new second reference image.
  • an unsearched range may remain ahead of the current second reference image. Can be considered that there is a correct answer in the unsearched range. In that case, it is possible to perform appropriate processing by performing a forward search. Further, as in the backward search, selection of a new second reference image is not limited to adjacent images.
  • the processing unit 100 may set the value of x based on the value of (q + j) / 2 when the j-th image (j is an integer) corresponds to the end point of the second reference image selection section. Good.
  • the value of y may be set based on the value of (i + q) / 2.
  • the processing unit 100 performs processing for including the image selected as the first reference image in the summary image sequence when the start point and the end point are adjacent as a result of updating the start point or the end point of the second reference image selection section. May be performed. Also, an image corresponding to the start point and a partial image sequence consisting of images behind the image corresponding to the start point are set as the input image sequence, and the value of p is set for the set input image sequence. The processing may be performed again by setting it to 1.
  • the start point and the end point are adjacent indicates that the image corresponding to the start point and the image corresponding to the end point are adjacent in the input image sequence.
  • N images are given as an input image sequence
  • the input image sequence is a set of images that are continuous in time series or spatially. You can define forward and backward. For example, an image acquired at an earlier time in time series is an image ahead of an image acquired at a later time.
  • an image that is predicted to be the farthest from the first reference image in the image group determined to be OK when selected as the second reference image It can be selected as the first image (corresponding to the next summary image) of the image sequence.
  • this end condition is equivalent to searching for a position where an OK image and an NG image are adjacent to each other. Therefore, the number of summary images included in the finally output summary image sequence can be reduced, and the burden on the user can be reduced.
  • an input image sequence (which may be an image sequence acquired by the image sequence acquisition unit 200 or a partial image sequence consisting of a part of the images) is input.
  • the second reference image that is initially set is limited to an image that is two images behind the first reference image.
  • the initial position of the second reference image may be different.
  • the length of the next summary section (representing how far the adjacent summary images are separated) is predicted to be close to the length of the previous summary section. Therefore, if a plurality of summary images have already been obtained and information corresponding to “the length of the previous summary section” has been acquired, the initial position of the second reference image is determined from the first reference image. By setting it at a position separated by “the length of the previous summary section”, it is expected that the correct answer will be reached sooner, and a reduction in the amount of calculation can also be expected.
  • the length g of the summary section is acquired from the immediately preceding summary image and the previous summary image.
  • the second reference image selection section is [i, j)
  • the second reference image may be set to the i + g image instead of the i + 1th image.
  • g cannot be acquired when the number of summary images already determined is zero or one.
  • the initial position of the second reference image is set without using g.
  • the second reference image may be the (i + 1) th image as described above. If there is one summary image, the length from the first image in the image sequence acquired by the image sequence acquisition unit 200 to the summary image is g ′, and the first second reference image is i + g. It may be '
  • the next second reference image may be selected using a binary search method as in the above-described modification.
  • the update of the second reference image is not limited to moving backward one by one, and may be shifted forward one by one depending on the determination result of deletion availability.
  • FIG. 15 shows a system configuration example of the image processing apparatus in the present embodiment.
  • An image sequence dividing unit 1006 is added to the processing unit 100 of FIG.
  • the reference image selection unit 1001 selects a reference image from images other than the first and last images in the input image sequence (this is not limited as long as there are less than 3 images in the input image sequence). In a narrow sense, the center image of the input image sequence may be used as the reference image.
  • the determination target image selection unit 1002 sequentially selects all images other than the reference image among images included in the input image sequence.
  • the image sequence dividing unit 1006 divides the input image sequence into a first image sequence composed of images before the reference image and a second image sequence composed of images after the reference image.
  • the partial image sequence setting unit 1008 performs the partial image sequence setting process based on the determination result of whether or not the image included in the first image sequence can be deleted, and the determination result of whether or not the image included in the second image sequence can be deleted.
  • the partial image sequence setting process is performed based on the above.
  • FIG. 16 shows a flowchart for explaining the image summarization processing of this embodiment.
  • an image sequence to be subjected to image summarization processing is acquired by the image sequence acquisition unit 200 in the same manner as in S101 and the like (S501). Then, the image sequence acquired by the image sequence acquisition unit 200 is added to the input image sequence group.
  • processing described later with reference to FIG. 17 is executed on the input image sequence included in the input image sequence group (S502).
  • the process of S502 is performed for the first time, the process is performed on the image sequence acquired in S501.
  • the input image sequence to be processed in S502 is deleted from the input image sequence group.
  • Yes is determined in S503. It is possible. In the case of No in S503, the process ends.
  • FIG. 17 shows a flowchart for explaining the processing in S502 of FIG.
  • an input image sequence to be processed is selected from the input image sequence group (S401).
  • S402 to S406 are generally the same as S102 to S106, although there are differences in the selection position of the reference image.
  • all images (except for the reference image) included in the input image sequence are sequentially selected and processed.
  • the determination of whether or not deletion is possible is completed for all the images, it is determined in S403 that there is no image to be selected, and the process proceeds to S409.
  • the input image sequence is divided into a first divided image sequence composed of images before the reference image and a second divided image sequence composed of images after the reference image. Then, partial image sequence setting processing is performed based on the first divided image sequence and the second divided image sequence (S407). Specifically, in S407, first, it is determined whether there is at least one image determined to be undeleteable in S406 in the images included in the first divided image sequence (S4071). The first divided image sequence is set as a partial image sequence and added to the input image sequence group (S4072). Similarly, it is determined whether there is at least one image determined to be undeleteable in S406 in the images included in the second divided image sequence (S4073).
  • the divided image sequence is set as a partial image sequence and added to the input image sequence group (S4074).
  • S502 as a result of processing with one input image sequence as an input, 0 to 2 partial image sequences are added to the input image sequence group.
  • FIGS. 18A to 18B illustrate the above image summarization processing.
  • the image sequence is added to the input image sequence group, and is processed in S502. It becomes.
  • an x-th image (2 ⁇ x ⁇ N ⁇ 1, and in a narrow sense, x is a value close to N / 2) is first selected as a reference image, and the 1st to (x ⁇ 1) th images and the x + 1 ⁇ th image are selected.
  • the Nth image is sequentially selected as a determination target image, and whether or not deletion is possible is determined.
  • the process of S502 is executed again using the 1st to (x-1) -th images as the divided image sequence and the divided image sequence as the input image sequence. For example, as shown in FIG.
  • the processing unit 100 determines that the sth (s is 2 ⁇ s ⁇ N ⁇ 1).
  • An image satisfying (integer satisfying) is selected as the reference image, and a t-th image (t is an integer satisfying 1 ⁇ t ⁇ N and t ⁇ s) is selected as the determination target image.
  • the coverage is calculated based on the deformation information between the reference image and the determination target image, and whether or not the determination target image can be deleted is determined based on the coverage.
  • a partial image sequence including the first to s ⁇ 1 images is set as an input image sequence and processed again. I do. If it is determined that at least one of the s + 1 to Nth images cannot be deleted, a partial image sequence including the s + 1 to Nth images is set as an input image sequence, and the process is performed again.
  • the s-th image is preferably an image near the center of the input image sequence. That is, the input image sequence is divided into two divided image sequences with the reference image as a boundary, and whether or not deletion is possible is determined for each. Therefore, in the present embodiment, when one input image sequence is input, two new input image sequences may be set as outputs. In this embodiment, when it is determined that at least one image in the divided image sequence cannot be deleted, the entire divided image sequence is set as a new input image sequence, and a reference image is selected from the set. That is, even if it is determined that a given image can be deleted, the deletion is not always confirmed immediately. When a divided image sequence including the given image is set as a new input image sequence, It should be noted that a given image may be selected as a reference image and eventually included in the summary image sequence (ie not deleted by the image summarization process).
  • FIG. 22 shows a system configuration example of the image processing apparatus according to this embodiment.
  • the image processing apparatus includes a processing unit 100, an image sequence acquisition unit 200, and a storage unit 300.
  • the processing unit 100 includes a reference image selection unit 1011, a determination target image selection unit 1012, a deformation information acquisition unit 1013, an observation region setting unit 1014, a corresponding region setting unit 1015, and an image feature.
  • An amount calculation unit 1016, a deletion permission determination unit 1017, and a partial image sequence setting unit 1018 may be included.
  • the reference image selection unit 1011 and the determination target image selection unit 1012 are the same as the reference image selection unit 1001 and the determination target image selection unit 1002 in FIG.
  • the deformation information acquisition unit 1013 acquires deformation information between two images.
  • the observation region setting unit 1014 sets a partial region of the determination target image as an observation region.
  • As the observation region for example, a square region with one side length L may be used.
  • the corresponding area setting unit 1015 deforms the observation area based on the deformation information acquired by the deformation information acquisition unit 1013, and obtains a corresponding area on the reference image.
  • the image feature amount calculation unit 1016 calculates the feature amount of the observation region set by the observation region setting unit 1014 and the feature amount of the corresponding region set by the corresponding region setting unit 1015. A specific example of the feature amount will be described later.
  • the deletion permission / inhibition determination unit 1017 is a determination target based on the feature amount (second feature amount) of the observation region calculated by the image feature amount calculation unit 1016 and the feature amount (first feature amount) of the corresponding region. Determining whether images can be deleted. Details will be described later.
  • the partial image sequence setting unit 1018 determines a part of the image sequence based on the position in the image sequence of the determination target image at that time. Thus, an image sequence composed of one or more images is set as a partial image sequence.
  • the reference image selection unit 1011 selects, as the reference image, the first image of the input image sequence (the image sequence acquired in S701 in the first process and the partial image sequence set in S709 described later) (S702). ).
  • the reference image selected here is left in the summary image sequence. Note that when the reference image cannot be selected from the input image sequence due to an error or the like (for example, when there is no image in the image sequence), the process ends.
  • the determination target image selection unit 1012 selects a determination target image from images included in the input image sequence (S703). If the determination target image is not set, the next image of the reference image (second image in the input image sequence) is selected as the determination target image. If the k-th image in the input image sequence has already been selected as the determination target image, the selection position is shifted by one and the k + 1-th image in the input image sequence is selected as the new determination target image. If the determination target image cannot be selected (for example, if the number of images included in the input image sequence is less than 2 or k + 1), the process ends.
  • the deformation information acquisition unit 1013 acquires deformation information between the reference image and the determination target image (S704). Then, an observation area is set on the determination target image (S705). When the process of S705 is performed for the first time after the determination target image is set in S703, for example, the upper left area of the determination target image may be set as the observation area.
  • the corresponding observation area is obtained by deforming the set observation area based on the deformation information acquired in S704 and projecting it on the reference image (S706).
  • the second feature amount that is the feature amount of the observation region and the first feature amount that is the feature amount of the corresponding region are obtained (S707), and the determination target is based on the obtained first and second feature amounts. It is determined whether the image can be deleted (S708). Details of the processes in S707 and S708 will be described later.
  • the process returns to S705 to reset the observation area.
  • a process for updating the set position of the observation area may be performed. As an example, as shown in FIG. 24, the position of the observation area on the determination target image is moved from the upper left to the lower right. Good.
  • the processes of S706 to S708 are executed again.
  • the deletion target determination result in S708 can be deleted in all the observation areas set in the determination target image.
  • the result that the image can be deleted is confirmed, and the process returns to S703 to update the determination target image.
  • the unit 1018 sets a partial image sequence (S709). Specifically, an image sequence composed of a determination target image determined to be unremovable and subsequent images may be set as a partial image sequence.
  • the process returns to S702, and the above-described processing is executed using the partial image sequence as the input image sequence.
  • the flow of the image summarization process is the same as that described above with reference to FIGS. 4 (A) to 4 (D).
  • the determination target image cannot be deleted when it is determined that the deletion is impossible even once in S708.
  • the present invention is not limited to this.
  • M is an integer greater than or equal to 2
  • an integer t that satisfies 1 ⁇ t ⁇ M is set, and it is determined that deletion is not possible more than t times in S708.
  • the determination target image may not be deleted.
  • other methods may be used when determining the final result from the result of the determination of whether or not to delete in S708 performed at most M times.
  • the observation region (or the corresponding region) set in the peripheral portion of the image ) It is possible to perform various modifications such as weighting processing that emphasizes the result in the observation region (or corresponding region) set in the center of the image.
  • a method using lightness information of an observation area and a corresponding area as a feature amount will be described.
  • Various index values representing the brightness information of the area can be considered.
  • the RGB values of the pixels in the area may be converted into brightness values, and the average value of the brightness values in the area may be used as the feature amount.
  • the method for obtaining the brightness information of the region from the brightness value of each pixel is not limited to the calculation of the average value, and a median value or the like may be used.
  • the calculation of the average value is not limited to the simple average, and a weighted average may be used, or a trim average that excludes an extreme value may be used.
  • the deletion permission / prohibition determination processing based on the first feature quantity that is the brightness information of the corresponding area and the second feature quantity that is the brightness information of the observation area will be described.
  • the first condition is a condition determined by the upper limit threshold K_over and the lower limit threshold K_under. Specifically, a comparison process between the first feature amount and K_over and K_under is performed. More specifically, when the first feature amount satisfies the following expression (2), it is determined that the determination target image can be deleted, and otherwise, it is determined that deletion is not possible.
  • K_under ⁇ first feature value ⁇ K_over (2)
  • K_under may be set to a value that makes observation difficult because the area is too dark when the brightness information is smaller than the value, and the case where the first feature value is smaller than K_under. Typically, this indicates a situation where the corresponding area is blacked out and is not suitable for observation.
  • K_over may be set to a value that makes observation difficult due to the area being too bright.
  • the case where the first feature value is larger than K_over Typically, this indicates a situation where the corresponding area is white and is not suitable for observation.
  • the second condition is a condition determined by a given threshold value K_light with respect to a difference value (in the narrow sense, its absolute value) between the first feature value and the second feature value. Specifically, when the following expression (4) holds, it is determined that the determination target image cannot be deleted.
  • First feature value-second feature value >>> K_light (4)
  • the brightness of the corresponding region and the brightness of the observation region are greatly different. It is assumed that the preferred brightness for observing the subject varies depending on the type of the subject and the like, and there are cases where a bright image is easier to observe and cases where a dark image is easier to observe.
  • K_light the situation in which the above equation (4) is satisfied is assumed when one of the first and second feature values is large and the other is small, which is one of the corresponding region and the observation region. It corresponds to the extreme situation where is bright and one is dark.
  • the possibility that appropriate observation can be performed is improved by leaving the determination target image including an observation region having significantly different brightness in the summary image sequence.
  • the determination target image is summarized. It is assumed that processing to be left in the image sequence is performed. That is, the method of the present embodiment allows an unnecessary determination target image to be left in the summary image sequence depending on the situation.
  • the size information corresponds to the area of the region, and may be obtained, for example, by counting the number of pixels included in the region.
  • the calculation method of size information is not limited to this, and may be obtained by another method.
  • the problem is that the size of the corresponding area becomes extremely small as shown in FIG. 26 and the subject is crushed. Therefore, here, when the value of the first feature value, which is the size information of the corresponding area, is small, the determination target image is left in the summary image sequence, and the subject collapsed in the corresponding area is observed in the observation area of the determination target image. It can be so.
  • the relative size such as the ratio of the size of the observation region to the size of the corresponding region is set. It shall be determined using. For example, when the following expression (5) is satisfied, it is determined that the determination target image cannot be deleted, assuming that the size of the corresponding region has become small enough to be unsuitable for observation.
  • the expression used for the determination is not limited to the above expression (5), and may be any expression based on the difference between the first feature value and the second feature value.
  • a difference value between the logarithm of the second feature value and the logarithm of the first feature value may be obtained, and a comparison process between the obtained difference value and a given threshold value may be performed.
  • a difference value between the second feature amount and the first feature amount may be simply obtained, and a comparison process between the obtained difference value and a given threshold value may be performed.
  • the degree of similarity to a given shape represents how similar the region is to the given shape. For example, if the given shape is a circle, the circle obtained by the following equation (6) The degree may be used as a feature amount.
  • the given shape is not limited to a circle, and the similarity calculation method is not limited to the following equation (6).
  • a problem when the similarity to a given shape is used as a feature amount is a situation where the subject is collapsed due to the extreme shape of the corresponding area as shown in FIG.
  • the corresponding area is a rectangle whose short side is extremely short with respect to the long side, the subject is compressed in the short side direction, making observation difficult. Therefore, here, after setting a simple shape (for example, a circular shape or a square shape) suitable for observation as the given shape, the value of the first feature value that is the similarity to the given shape in the corresponding region Is small, the determination target image is left in the summary image sequence so that the subject collapsed in the corresponding region can be observed in the observation region of the determination target image.
  • a simple shape for example, a circular shape or a square shape
  • deletion permission determination using brightness information deletion permission determination using size information
  • deletion permission determination using similarity with a given shape of these two or more may be used in combination.
  • the number of images remaining in the summary image sequence after the image summarization process increases, and the effect of reducing the number of images may be reduced. Therefore, if importance is attached to the reduction of the number of images, a method that is more likely to determine that the determination target image can be deleted may be used as compared with the above method.
  • the determination condition in the deletion permission / inhibition determination when deletion is not possible in at least one of the plurality of deletion determinations, even if the determination target image is not deleted. It is conceivable to change the determination condition in the deletion permission / inhibition determination. For example, when the similarity between the size information and a given shape is used in combination, the value of K_area and the value of K_shape may be increased as compared with the case where each is used alone. In this way, since it is easy to determine that deletion is possible in each deletion possibility determination, the number of images included in the summary image sequence after image summarization processing can be determined from two different viewpoints of size and similarity. An excessive increase can be suppressed.
  • the image processing apparatus includes an image sequence acquisition unit 200 that acquires an image sequence having a plurality of images, and a plurality of images in the image sequence acquired by the image sequence acquisition unit 200.
  • a processing unit 100 that performs image summarization processing for deleting a part of the image and acquiring a summary image sequence.
  • the processing unit 100 selects a reference image and a determination target image for image summarization processing from a plurality of images, sets an observation region on the determination target image, and based on deformation information between the reference image and the determination target image. Then, a corresponding area which is an area on the reference image corresponding to the observation area is obtained. Then, based on at least one of the first feature amount obtained from the corresponding region and the second feature amount obtained from the observation region, it is determined whether or not the determination target image can be deleted.
  • the observation region is a region set on the determination target image, and is narrower than the determination target image in a narrow sense. If it is determined whether or not the entire subject imaged in the determination target image is in a state suitable for observation in the reference image, the observation region is selected when a set of the reference image and the determination target image is selected. Needs to be set a plurality of times so as to cover the entire determination target image while changing the position on the determination target image. For example, all the pixels included in the determination target image are included in the observation area at least once, and this sets the observation area while shifting by one pixel unit from the upper left to the lower right as shown in FIG. It is realized by doing. However, since the processing load increases as the number of times of setting the observation area increases, the amount of calculation may be reduced by moving the observation area in units of the length of one side of the observation area.
  • an observation region may be set as a necessary and sufficient region for appropriate observation.
  • the size of the corresponding region is suitable for observation by comparing the second feature value and the first feature value. You can determine whether or not.
  • the feature amount is similar to a given shape (here, a shape suitable for observation, such as a circle or a square)
  • the observation region is a shape close to the given shape (in the narrow sense, the same shape) ) May be used.
  • the observation area is an area having a certain size and shape in a series of processes, this does not prevent the observation area from being variably set.
  • the determination target image can be deleted based on the feature amount of the observation region on the determination target image and the feature amount of the corresponding region on the reference image. If the corresponding area is an area obtained by deforming the observation area based on the deformation information, the observation area and the subject imaged in the corresponding area have a correspondence relationship. Therefore, when it is determined that the corresponding area is not suitable for observation based on the feature amount, the observation area in which the corresponding subject (the same in a narrow sense) is imaged is made in a state where it can be browsed even after image summarization processing. This can be realized by a process of including the determination target image in the summary image sequence (determining that the determination target image cannot be deleted).
  • the first feature amount may be at least one of lightness information, size information, and similarity information with a specific shape of the corresponding region.
  • the second feature amount may be at least one of lightness information, size information, and similarity information with a specific shape of the observation region.
  • the similarity between a given area and a specific shape is an index value indicating how close the given area is to a specific shape.
  • k is an integer of 3 or more
  • the degree of similarity tends to be higher in a region having symmetry than in a region having no symmetry.
  • the image processing apparatus determines whether or not the subject in the corresponding region is suitable for observation due to one of brightness, size, and shape.
  • the target image is left in the summary image sequence. Specifically, when the brightness is too bright (out-of-white), too dark (blackout), the size is extremely small, or the shape is extreme (when it is crushed or distorted), etc. It is considered as an unsuitable state.
  • the processing unit 100 performs a first comparison process between the first feature quantity and the first threshold, a second comparison process between the second feature quantity and the second threshold, and the first feature quantity.
  • the determination as to whether or not the determination target image can be deleted may be performed based on at least one comparison process among the third comparison processes between the second feature amount difference and the third threshold value.
  • the degree of difference represents the degree of difference between the first feature quantity and the second feature quantity, and the difference or ratio, or a value corresponding thereto (for example, the logarithm difference of each feature quantity). Etc.).
  • a large difference means that one of the corresponding area and the observation area is bright and the other is dark.
  • the size information is used as the feature amount, the fact that the degree of difference is large represents a situation where one area of the corresponding area and the observation area is large and the other area is small.
  • the first comparison process is a process that is performed based on the first feature quantity that is the feature quantity of the corresponding area. For example, as shown in the above equation (2), it is determined whether the corresponding area is over-exposed or underexposed. It is assumed that it is used in a situation where determination can be made regardless of the state of the observation area.
  • the second comparison process is a process that is performed based on the second feature amount that is the feature amount of the observation region. For example, as shown in the above equation (3), whiteout or blackout in the observation region is determined.
  • the third comparison process is a process based on the difference between the first feature quantity and the second feature quantity
  • the third comparison process is a process that takes into consideration the states of both the corresponding area and the observation area. By performing the processing, it is possible to determine whether or not deletion can be performed with high accuracy. It should be noted that the comparison between the brightness information of the corresponding region and the size information of the observation region is not useful, and the two feature amounts used in the third comparison process need to have a correspondence relationship.
  • the other feature value used in the third comparison process is also lightness information. If one is size information, the other is size information, and one is similar to a specific shape. If it is a degree, the other also becomes a similarity with a specific shape.
  • the processing unit 100 obtains the brightness information of the corresponding area as the first feature amount based on the pixel value of the pixel of the corresponding area, and calculates the brightness information of the observation area based on the pixel value of the pixel of the observation area. You may obtain
  • the brightness information of the corresponding area and the observation area is obtained based on the calculated brightness for each pixel included in the area.
  • the brightness of the pixel uses the maximum value among the R, G, and B pixel values, but may be obtained by other methods (for example, an average value of the maximum value and the minimum value).
  • a method for obtaining the brightness information of the region from the brightness of the pixel it is only necessary to take the average value of the brightness of all the pixels included in the region, but this also applies to other methods (median, weighted average, trimmed average) Etc.) may be used.
  • a process for making the determination target image unremovable when the corresponding region is white or blacked out and is not suitable for observation can be considered. In this way, it is possible to leave a determination target image including an observation region that is assumed to be capturing the same subject as the corresponding region in the summary image sequence, thereby enabling appropriate observation of the subject.
  • the processing unit 100 deletes the determination target image when the first feature amount that is the brightness information is larger than a given upper limit threshold value or when the first feature amount is smaller than a given lower limit threshold value. You may determine that it is impossible.
  • This is a process assuming that the corresponding region is whiteout or blackout (or close to it). Therefore, when the brightness information is larger than that as the upper threshold, a value is set so that the subject is too bright to be suitable for observation, and when the brightness information is smaller than that as the lower threshold. May be set so that the subject is too dark to be suitable for observation.
  • the processing unit 100 may obtain a value represented by the size information of the corresponding area as the first feature amount and obtain a value represented by the size information of the observation area as the second feature amount.
  • information corresponding to the area may be used as the size information, and specifically, the number of pixels included in the region may be counted.
  • the determination as to whether or not deletion is possible based on the size information, as shown in FIG. 26, when the area of the corresponding region is very small and the subject is collapsed and is not suitable for observation, the determination target image cannot be deleted. Can be considered.
  • the processing unit 100 obtains a value representing the degree of similarity between the corresponding region and the given shape as the first feature amount, and uses the value representing the degree of similarity between the observation region and the given shape as the second feature. It may be obtained as an amount.
  • the similarity to the specific shape for example, if the specific shape is a circle, the circularity of the above formula (6) may be used.
  • the shape of the corresponding area is extreme as shown in FIG. 27, and the subject is crushed (in the example of FIG. 27, it is crushed in the vertical direction). Thus, when it is not suitable for observation, a process for making it impossible to delete the determination target image is conceivable.
  • the processing unit 100 may determine that the determination target image cannot be deleted when the difference between the first feature amount and the second feature amount is larger than a given threshold.
  • Brightness suitable for observation is not a value that can be determined uniquely, such as the shape and color of the subject of interest, or the color of the background image captured behind the subject of interest, etc. It varies depending on the relationship. If the brightness information of the corresponding area is an intermediate value, there is a possibility that it can be used universally to some extent, but such a situation is unlikely in the situation where the degree of difference is large as described above.
  • the degree of difference is large (for example, the above equation (4) holds)
  • the possibility that the corresponding region has brightness that is not suitable for observation must be taken into consideration, and the determination target image cannot be deleted.
  • the corresponding region is in a state suitable for observation, and there is a possibility that the determination target image including the observation region unsuitable for observation may be left in the summary image sequence by the processing using the above formula (4) or the like. Need attention.
  • the observation area of the present embodiment prevents dynamic setting (for example, when the observation area changes according to a user instruction or when an area corresponding to the attention area detected by image processing is set). Therefore, in such a case, it is necessary to obtain the second feature amount each time.
  • the shape of the observation region If it is not close to a specific shape to some extent, it is not effective even if the image to be judged is left. Therefore, as a situation where the degree of dissimilarity is large, it may be detected that the degree of similarity of the corresponding region is sufficiently small with respect to the degree of similarity of the observation region as in the above equation (7). Also in this case, if the shape of the observation region is not changed, the second feature amount can be obtained in advance. For example, an area having the same shape as a specific shape may be set as the observation area.
  • a second deletion possibility determination process is performed on each image of the image sequence acquired by the image sequence acquisition unit 200, and a summary candidate image sequence made up of summary images determined not to be deleted can be deleted.
  • a deletion candidate image sequence made up of deletion candidate images determined to be is set.
  • the first deletion possibility determination process is performed to generate a summary image sequence.
  • the reference image is selected from the summary candidate image sequence and the determination target image is selected from the deletion candidate image sequence.
  • the second deletion permission determination process is first performed as a pre-process, the remaining image and the image to be deleted are provisionally determined, and then the first deletion permission determination process using the temporary result is performed.
  • This is a technique for performing a two-stage process of determining the final result. As a result, it is possible to improve the determination accuracy and the like compared to the case where the image summarization process based on only one of the first deletion permission determination process and the second deletion permission determination process is performed. This is because the second deletion permission determination process uses a process different from the first deletion permission determination process, and thus allows processing from a different viewpoint.
  • the second deletion permission determination process determination based on the above-described coverage may be performed.
  • image summarization processing that guarantees the degree of coverage of the area by the determination based on the coverage rate
  • an area that is difficult to observe can be generated as shown in FIG. That is, in the second deleteability determination process using the coverage rate, an image that should not be deleted is excessively deleted. Therefore, the first deleteability determination process using the result of the second deleteability determination process is performed. By doing so, it is possible to restore the excessively deleted images, and more appropriate image summarization processing can be performed.
  • FIG. 28 shows a system configuration example of the image processing apparatus according to this embodiment.
  • the partial image sequence setting unit 1018 is removed from the processing unit 100 of FIG. 22 and a summary candidate image sequence generation unit 1010 is added. Detailed description of the same configuration as that of the fourth embodiment is omitted.
  • the summary candidate image sequence generation unit 1010 performs a second deletion feasibility determination process on the image sequence acquired by the image sequence acquisition unit 200, and includes a summary candidate image sequence that is a summary image that is an image remaining in the summary image sequence. Is generated. At the same time, among the image sequences acquired by the image sequence acquisition unit 200, a deletion candidate image sequence composed of deletion candidate images that are images not included in the summary candidate image sequence may be set.
  • the determination target image selection unit 1012 selects a determination target image from images included in the deletion candidate image sequence. Further, the reference image selection unit 1011 selects the summary candidate image sequence according to the position of the determination target image selected by the determination target image selection unit 1012 in the image sequence (the image sequence acquired by the image sequence acquisition unit 200). A reference image is selected from the included images. Details of processing in the reference image selection unit 1011 and the determination target image selection unit 1012 will be described later.
  • an image remaining in the summary image sequence (or an image that is a candidate for the image) is used as a reference image, and an image that is a target of deletion permission determination based on the reference image is used as a determination target image.
  • the reference image and the determination target image are set even in this process, and the reference image is also determined in the first deletion permission determination process (processing using the observation region).
  • a determination target image is set.
  • the terms “reference image” and “determination target image” are simply used, there is a possibility that the image may be confused with either the first deletion permission determination process or the second deletion permission determination process.
  • the reference image in the first deletion permission determination process is expressed as “first image”
  • the determination target image is expressed as “second image”.
  • the second deletion possibility determination process is performed on the acquired image sequence, and the summary candidate image sequence and the deletion candidate image sequence are set (S802).
  • S802 A specific example of the second deletion permission determination process in S802 will be described later.
  • the third and eighth images are deleted from the 12 images included in the acquired image sequence.
  • the summary candidate image sequence is composed of the third and eighth images
  • the deletion candidate image sequence is composed of the other 10 images. become.
  • the deletion permission determination may be performed a plurality of times for one image, but the deletion permission determination here is the end of the second deletion permission determination process. This indicates the final result of the time, and it is not always determined that the image is a deletion candidate image or a summary image immediately because it is determined that the image can be deleted once or cannot be deleted.
  • a determination target image is selected (S803).
  • the determination target images are selected in order from the top of the deletion candidate image sequence. Therefore, when the process of S803 is performed for the first time, the first image in the deletion candidate image sequence is selected.
  • the determination target image update process for selecting the next image in the deletion candidate image sequence is performed on the current determination target image.
  • a reference image is selected from the summary candidate image sequence according to the position of the determination target image in the acquired image sequence (S804).
  • an image closest to the determination target image is selected as the first reference image from the summary images ahead of the determination target image, and the summary image is behind the determination target image.
  • the image closest to the determination target image is selected as the second reference image.
  • the corresponding reference image is not selected.
  • the first image in the deletion candidate image sequence when the first image in the deletion candidate image sequence is selected as the determination target image, there is no summary image ahead of the determination target image in the acquired image sequence, so the first reference image is Not selected.
  • the first reference image becomes the first image in the summary candidate image sequence, and the second reference image is displayed.
  • the image is the second image in the summary candidate image sequence.
  • the seventh to tenth images in the deletion candidate image sequence are selected as the determination target images, the first reference image becomes the second image in the summary candidate image sequence, and the second reference image is not selected. become.
  • Deformation information acquisition processing (S805), observation region selection processing (S806), corresponding region selection processing (S807), image feature amount calculation processing (S808), deletion permission determination processing after the reference image and determination target image are selected. Since (S809) is the same as S704 to S708 in FIG. 23, a detailed description thereof will be omitted.
  • the first deletion permission determination process using the first reference image and the determination target image, and the first deletion permission determination based on the second reference image and the determination target image.
  • Each process is performed, and when it is determined that deletion cannot be performed in both determinations, a process for leaving the determination target image in the summary image sequence as being undeleteable may be performed. This is because even if the corresponding region on one reference image is not suitable for observation, if the corresponding region on the other reference image capturing the same subject is suitable for observation, the determination target image is a summary image. This is because the merit to leave in the queue is small.
  • the search for the image that remains temporarily is performed by the second deletion permission determination process. Therefore, the process of setting the partial image sequence as in the fourth embodiment (see FIG. 23). (Corresponding to S709) is unnecessary.
  • the processing unit 100 selects a summary candidate image sequence composed of summary images that are determined not to be deleted by the determination based on the coverage among the plurality of images of the image sequence acquired by the image sequence acquisition unit 200.
  • a deletion candidate image sequence including deletion candidate images determined to be deletable by determination based on the coverage is set. Then, the processing unit 100 selects the first image from the summary candidate image sequence, selects the second image from the deletion candidate image sequence, sets an observation area on the second image, Based on the deformation information between the second images, a corresponding area which is an area on the first image corresponding to the observation area is obtained, and the first feature amount obtained from the corresponding area and the observation area are obtained. Whether or not the second image can be deleted is determined based on at least one of the second feature values.
  • the first image represents a reference image in the first deletion permission determination process
  • the second image represents a determination target image in the first deletion permission determination process
  • the summary candidate image is obtained from the image sequence (acquired image sequence) as shown in FIG. It is possible to perform processing for setting a sequence and a deletion candidate image sequence.
  • the summary candidate image sequence and the deletion candidate image sequence setting process may be somewhat inaccurate.
  • all of the plurality of images included in the acquired image sequence may be determined as deletion candidate images except for images that can be clearly determined as summary images.
  • a highly accurate determination is performed by the first deletion permission determination process, and as a result, there is a possibility that the deletion candidate image is included in the summary image sequence.
  • the summary candidate image sequence is considered in consideration of the final image summary processing result (for example, the effect of reducing the number of images). It is desirable that the deletion candidate image sequence setting process is not performed completely at random, but based on some criteria.
  • FIG. 31 shows a system configuration example of the image processing apparatus according to this embodiment.
  • the image processing apparatus includes a processing unit 100, an image sequence acquisition unit 200, and a storage unit 300.
  • the processing unit 100 includes a transformation information acquisition unit 1019, a scene change detection unit 1020, a partial image sequence setting unit 1021, a reference image selection unit 1022, a determination target image selection unit 1023, a deletion An availability determination unit 1024.
  • the deformation information acquisition unit 1019 acquires deformation information between two images.
  • the scene change detection unit 1020 detects a scene change from the acquired image sequence. A specific method will be described later.
  • the partial image sequence setting unit 1021 sets a part of the image sequence as a partial image sequence based on the scene change detected by the scene change detection unit 1020. Specifically, the position of the scene change may be used as the start point or end point of the partial image sequence. For example, as shown in FIG. 32A, when three scene changes A1 to A3 are detected in the image sequence, the partial image sequence B1 from the head of the image sequence to A1 is used as the partial image sequence. Then, four partial image sequences, that is, a partial image sequence B2 from A1 to A2, a partial image sequence B3 from A2 to A3, and a partial image sequence B4 from A3 to the end of the image sequence may be set. More specifically, if each scene change is set between adjacent images as shown in FIG.
  • the start point and end point of each partial image sequence are the images immediately before the scene change. Or it becomes the image immediately after.
  • the partial image sequence B1 is from the top of the image sequence to the image immediately before the scene change A1
  • the partial image sequence B2 is from the image immediately after A1 to the image immediately before A2. Will respond.
  • a plurality of partial image sequences are set, in that case, the following processing in each unit is performed for each partial image sequence.
  • the reference image selection unit 1022 selects a reference image from a plurality of images in the partial image sequence.
  • the determination target image selection unit 1023 selects an image different from the reference image from among the plurality of images in the partial image sequence as the determination target image.
  • the deletion permission determination unit 1024 performs a deletion permission determination process for the determination target image based on deformation information between the reference image and the determination target image.
  • the determination target image deletion permission / inhibition determination process is performed based on the coverage that represents the extent to which the determination target image is covered with the reference image.
  • Deletability determination unit 1024 may include a coverage area calculation unit 1025, a coverage rate calculation unit 1026, and a threshold determination unit 1027 as shown in FIG.
  • the deletion permission / inhibition determining unit 1024 is not limited to the configuration in FIG. 33, and various modifications such as omitting some of these components or adding other components are possible.
  • the covering area calculation unit 1025 uses one piece of deformation information (deformation parameter) between two images to project one image onto the other image to obtain a covering area.
  • the coverage calculation unit 1026 calculates the coverage based on the coverage area.
  • the threshold determination unit 1027 performs a comparison process between the calculated coverage and a given threshold.
  • the image sequence acquisition unit 200 acquires an image sequence to be subjected to image summarization processing (S1001).
  • a scene change is detected from the acquired image sequence (S1002). Specifically, for each image in the image sequence, it is determined whether or not the image is suitable for calculation of deformation information. If there is an image determined to be unsuitable, the image corresponds to the image. It is assumed that there was a scene change at the position. For example, as shown in FIG. 35A, if a selected image selected from an image sequence is not suitable for calculating deformation information, a scene change may occur between the selected image and the next image. In this case, the selected image is the end point of the partial image sequence, and the next image is the start point of the next partial image sequence. Further, as shown in FIG. 35 (B), a scene change may occur at positions before and after the selected image.
  • whether or not the selected image is suitable for the calculation of the deformation information is determined by determining whether or not each pixel of the selected image is suitable for the calculation of the deformation information. It can be considered based on the ratio of. For example, as shown in FIG. 36, when a given region including a processing target pixel that is a determination target of whether or not it is suitable for calculation of deformation information is considered, if the texture in the region is small, It is difficult to distinguish the target pixel from the surrounding pixels. Therefore, even if the selected image is selected as a reference image and an area having similar characteristics is found on the determination target image, it is determined which pixel in the area on the determination target image corresponds to the processing target pixel. It cannot be determined, and accurate deformation information cannot be calculated.
  • the texture information for example, the edge amount
  • the processing target pixel is It is determined that the pixel is suitable for calculation.
  • Each image in the image sequence is sequentially selected as a selected image, and for the selected selected image, a ratio of pixels suitable for calculation of deformation information with respect to the total number of pixels of the selected image is obtained, and the value is a given threshold value. If it is larger than that, it is determined that the selected image is suitable for calculation of deformation information (that is, there is no scene change at the position corresponding to the selected image). What is necessary is just to determine that it is not suitable for calculation of deformation information (that is, a scene change has occurred at a position corresponding to the selected image).
  • a partial image sequence is set based on the detected scene change (S1003). Specifically, as shown in FIGS. 32A and 32B, the start point and the end point of the partial image sequence may be set in correspondence with the detected scene change position.
  • step S1003 the partial image sequence that has not been subjected to image summarization processing is selected.
  • the reference image selection unit 1022 selects the first image of the selected partial image sequence as the reference image (S1004). Further, in the second and subsequent processing of S1004 in the given partial image sequence (when returning from S1007 to S1004), the determination target image determined to be undeleteable in the deletion permission determination processing in S1007 is used as a new reference image. select.
  • the reference image selected here is left in the summary image sequence. If the reference image cannot be selected from the partial image sequence due to an error or the like, the process for the partial image sequence is terminated and the process returns to S1003.
  • the determination target image selection unit 1023 selects a determination target image from the images included in the partial image sequence (S1005).
  • the next image of the reference image (the second image in the partial image sequence in the case of the first processing in S1005 for the given partial image sequence) is selected as the determination target image. . If the kth image in the partial image sequence has already been selected as the determination target image, the selection position is shifted by one and the k + 1th image in the input image sequence is selected as a new determination target image.
  • the deformation information between them is obtained (S1006), and the determination target image deletion possibility determination process is performed based on the obtained deformation information (S1007).
  • the coverage area is obtained using deformation information (deformation parameters) between two images, and the coverage is calculated based on the coverage area.
  • the process returns to S1005 to update the determination target image. If it is determined in S1007 that deletion is not possible, it means that the determination target image cannot be covered with the reference image at that time, and the determination target image at that time needs to be left in the summary image sequence. Become. Therefore, the process returns to S1004, and the determination target image determined to be undeleteable in S1007 is selected as a new reference image.
  • the image summarization processing for one partial image sequence is completed by the processing of S1004 to S1007. In that case, returning to S1003, similar image summarization processing is performed for the next partial image sequence, and when the image summarization processing for all partial image sequences is completed, there is no partial image sequence to be selected in S1003. Therefore, the process ends.
  • the present invention is not limited to this. It is not something.
  • the configuration of the processing unit 100 is suitable for parallel processing (for example, a CPU having a plurality of cores is used as the processing unit 100), or the image processing apparatus of this embodiment is configured by a plurality of computers.
  • the deletion permission / inhibition determination processing may be performed on a plurality of partial image sequences in parallel. In this way, the time required for the deletion permission / inhibition determination process can be shortened.
  • scene change detection is not limited to the above-described method.
  • the scene change may be detected based on similarity information of two images (two images adjacent in a narrow sense) in the image sequence acquired by the image sequence acquisition unit 200.
  • the similarity information between the images can also be used as information representing the accuracy of the deformation information.
  • a known technique such as NCC or the inverse of SSD or SAD that is a known technique of the difference between images may be used.
  • the value represented by the similarity information is lower than a given threshold value, it is determined that a scene change has occurred between the two images. For example, when it is determined that the degree of similarity between the adjacent first image and the second image is low, as shown in FIG. 39, the first image and the second image are It can be assumed that a scene change has occurred. In consideration of uniquely determining the position of the scene change, it is desirable that the two images for which similarity information is obtained are adjacent in the image sequence.
  • the image processing apparatus includes an image sequence acquisition unit 200 that acquires an image sequence having a plurality of images, and a plurality of images in the image sequence acquired by the image sequence acquisition unit 200.
  • a processing unit 100 that performs image summarization processing for deleting a part of the image and acquiring a summary image sequence.
  • the processing unit 100 detects a scene change from the image sequence, and sets a partial image sequence composed of a part of the image sequence based on the detected scene change. Then, the processing unit 100 selects a reference image and a determination target image from the set partial image sequence, and determines whether or not the determination target image can be deleted based on deformation information between the reference image and the determination target image.
  • a scene change represents a scene change corresponding to a captured image.
  • the concept of scene change has been widely used in fields such as video segmentation (for example, insertion of chapter information), and the scene change used in the conventional method is applied as it is as a scene change in this embodiment. May be.
  • the processing unit 100 may detect the scene change based on any of motion information obtained from a plurality of images, imaging information of a specific subject, and brightness information.
  • the motion information represents a change in the position of the subject on the image between two images (in the present embodiment, between two adjacent images in a narrow sense), and is, for example, a motion vector.
  • a motion vector Various methods for obtaining a motion vector are known, but simply, a given region on one image is used as a block and block matching processing is performed on the other image.
  • information representing the relative positional relationship between the position of the given area on the image and the position of the matched area on the image is a motion vector. If a motion vector is used, if the size of the motion vector is large (for example, a comparison process with a given threshold value is performed), a scene change has occurred between the two images used to calculate the motion vector. What is necessary is just to judge.
  • the imaging information of a specific subject is information indicating whether or not a characteristic subject is being imaged.
  • information on a specific subject as a target may be held as a template, and template matching processing may be performed on each image. In this case, a change from a state where a specific subject is captured to a state where no specific subject is captured or a change from a state where a specific subject is not captured is detected as a scene change.
  • scene changes may be detected using brightness information.
  • the brightness information is calculated by obtaining the maximum value of the R, G, and B values for each pixel as the brightness value of the pixel, and calculating the average value of the brightness values of all pixels in the image
  • the brightness information of the image may be used. If the brightness information is used, it is determined that a scene change has occurred between the images when the brightness information of a given image in the image sequence is significantly different from the brightness information of the next image (for example, a threshold value or more). That's fine.
  • the imaging apparatus includes a flash mechanism or the like, operating the mechanism may significantly change the brightness information even if the subject or the like has not changed at all. Therefore, depending on the configuration of the imaging apparatus, it may be desirable to use information other than brightness information for scene change detection, or to use brightness information and other information together.
  • scene change detection is not limited to motion information, imaging information of a specific subject, brightness information, and the like, but various information such as saturation information (such as the degree of redness in an in-vivo image) can be used. Variations can be made using techniques.
  • these pieces of information for scene change detection are not limited to those used alone, and two or more may be used in combination. For example, if two types of motion information and lightness information are combined, a determination is made based on both the large motion between images represented by the motion information and the large change in lightness represented by the lightness information. May be. Various combinations are also possible in this case.
  • the scene change may be detected when the motion is large and the brightness change is large, or if the motion is large or the brightness change is large, the scene is detected. A change may be detected.
  • the image sequence can be divided into partial image sequences, and deletion permission / inhibition determination processing using deformation information can be performed on each partial image sequence. Since there is a high possibility that the image to be captured is different between the image in front of the scene change and the image in the rear of the scene change, such two images are used for the processing in the deletion permission determination process using the deformation information. The necessity is not high. Considering the possibility that the accuracy of the deletion possibility determination process is reduced by forcibly calculating deformation information between greatly different images, it may be better to avoid processing with images before and after a scene change. Therefore, by setting the partial image sequence based on the scene change here, efficient image summarization processing is possible.
  • front and rear of the image are used, and this indicates the front and rear of the position in the image sequence. Since the image sequence is assumed to be a set of images that are temporally or spatially continuous, the front and rear of the image sequence can be defined from the continuity. For example, an image acquired at an earlier time in time series is an image ahead of an image acquired at a later time.
  • the processing unit 100 may detect a scene change based on accuracy information indicating accuracy of deformation information used for determining whether or not a determination target image can be deleted. Specifically, the processing unit 100 may determine that a scene change has been detected when the value represented by the accuracy information is smaller than a given accuracy threshold.
  • the accuracy information of the deformation information is information obtained for each image or a combination of two images in the image sequence in the present embodiment.
  • the low accuracy represented by the accuracy information obtained from one image means that when the deformation information is obtained between the image and another image in the image sequence, the deformation information is two images. This means that the deformation between them is not properly represented. Therefore, in calculating the accuracy information of the present embodiment, the corresponding deformation information does not need to be obtained first. In some cases, the accuracy information is calculated first, and the corresponding deformation information is calculated based on the accuracy information. It is also possible to use a technique for determining whether or not to do so. Similarly, the accuracy represented by the accuracy information obtained for the combination of two images is low. When the deformation information is obtained between the two images, the deformation information is appropriate for the deformation between the two images. It means that it is not expressed in.
  • the processing unit 100 determines whether or not each pixel of the selected image among the plurality of images is suitable for calculating deformation information, and based on the number of pixels determined to be suitable.
  • the accuracy information may be obtained, and processing for detecting a scene change at a position corresponding to the selected image in the image sequence may be performed based on the obtained accuracy information.
  • the accuracy information may be the ratio of the number of pixels (number of mask pixels) suitable for deformation information calculation to the total number of pixels of the selected image.
  • the scene change is detected at the position of the selected image in the image sequence. For example, as shown in FIG. 35 (A), there may be a scene change between the selected image and one image behind it. Alternatively, it is considered that the deformation information between the selected image and the preceding image is also low in accuracy, and therefore, as shown in FIG. 35B, between the selected image and the next image, and between the selected image and 1
  • the scene change may be detected at two positions between the two images ahead.
  • the processing unit 100 sets a region of a given size including a processing target pixel that is a target of determination as to whether or not it is suitable for calculation of deformation information on the selected image. Based on the texture information, it may be determined whether or not the processing target pixel is suitable for calculation of deformation information.
  • the texture represents the pattern of the image.
  • the power spectrum of the spatial frequency may be obtained by performing two-dimensional Fourier transform or the like on the image, and the result may be used as texture information.
  • the texture information of the present embodiment may be information indicating the amount of the pattern on the image, and edge information indicating the contour of the subject may be included in the texture information.
  • determination as to whether or not the pixel is suitable for calculation of deformation information is not limited to using texture information, and for example, a method disclosed in Patent Document 3 may be used. .
  • the processing unit 100 may obtain similarity information between the first image of the plurality of images in the image sequence and the second image next to the first image as accuracy information. Then, based on the obtained accuracy information, a scene change at a position between the first image and the second image in the image sequence is detected.
  • the processing unit 100 detects an i-th (i is an integer) scene change from the image sequence and an i + 1-th scene change next to the i-th scene change, the processing unit 100 includes: An image behind the i-th scene change and in front of the i + 1-th scene change may be set as a partial image sequence.
  • the partial image sequence may be set uniformly and the process for the partial image sequence may be performed.
  • the process for the partial image sequence including one image is assumed to leave the image in the summary image sequence. Will end.
  • the processing unit 100 selects the reference image and the determination target image in parallel with respect to the plurality of partial image sequences, and the deformation information between the reference image and the determination target image. Based on the above, it may be determined whether or not the determination target image can be deleted.
  • the processing unit 100 when detecting the j-th scene change (j is an integer) from the image sequence, the processing unit 100 includes the image in front of the j-th scene change among the plurality of images in the image sequence.
  • a partial image sequence of k (k is an integer) and a (k + 1) th partial image sequence including an image behind the j-th scene change are set.
  • deletion permission / inhibition determination process (the processes indicated by S1004 to S1007 in FIG. 34) for each partial image sequence can be executed in parallel, so that the image summarization process can be speeded up.
  • the present invention is not limited to the first to sixth embodiments and modified examples as they are.
  • the constituent elements can be modified and embodied without departing from the spirit of the invention.
  • Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described first to sixth embodiments and modifications. For example, some components may be deleted from all the components described in the first to sixth embodiments and the modified examples. Furthermore, you may combine suitably the component demonstrated in different embodiment and modification.
  • a term described together with a different term having a broader meaning or the same meaning at least once in the specification or the drawings can be replaced with the different term anywhere in the specification or the drawings.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置は、複数の画像を有する画像列を取得する画像列取得部２００と、取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含み、処理部１００は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、被覆率に基づいて、判定対象画像を削除可否の判定を行う。

Description

画像処理装置、プログラム及び画像処理方法
　本発明は、画像処理装置、プログラム及び画像処理方法等に関する。
　所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。
　そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。
特開２００９－５０２０号公報 特開２０１１－２４７６３号公報 特開２００７－２５７２８７号公報
　例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。
　しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。
　本発明の幾つかの態様によれば、一部の画像を削除することで画像要約処理を行った場合に、画像の削除により観察できなくなる領域の発生の抑止や、発生度合いの制御を行う画像処理装置、プログラム及び画像処理方法等を提供することができる。
　本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。
　本発明の一態様では、取得した画像列から基準画像と判定対象画像を選択し、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出して判定対象画像の削除可否の判定を行う。よって、判定対象画像が基準画像（狭義には要約画像列に残す画像）によりどの程度被覆されているかに基づいた削除可否判定が可能になるため、画像を削除することにより観察できなくなる領域が発生することを抑止すること等が可能になる。
　本発明の他の態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、前記画像要約処理の基準画像と判定対象画像を選択し、前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。
　本発明の他の態様では、判定対象画像上に観察領域を設定するとともに、変形情報に基づいて基準画像上に観察領域に対応する対応領域を設定し、観察領域と対応領域の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否判定を行う。よって、対応領域が観察に適さない場合には、観察領域を含む判定対象画像を要約画像列に含める等の処理により、観察に適さない領域の発生を抑止すること等が可能になる。
　本発明の他の態様は、上記の各部としてコンピュータを機能させるプログラムに関係する。
　本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。
　本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。
図１は、第１の実施形態にかかる画像処理装置のシステム構成例。 図２は、第１の実施形態の処理を説明するためのフローチャート。 図３は、被覆領域を用いた被覆率算出処理を説明する図。 図４（Ａ）～図４（Ｄ）は第１の実施形態の画像要約処理を説明する図。 図５は、複数の点を用いた被覆率算出処理を説明する図。 図６は、複数の点を用いた被覆率算出処理を説明するためのフローチャート。 図７は、複数の基準画像を選択する変形例を説明する図。 図８は、複数の基準画像に基づいて被覆領域を求める処理を説明する図。 図９（Ａ）、図９（Ｂ）は複数の基準画像を選択する変形例を説明する図。 図１０は、重み付けを用いた被覆率算出処理を説明する図。 図１１は、第２の実施形態にかかる画像処理装置のシステム構成例。 図１２は、第２の実施形態の処理を説明するためのフローチャート。 図１３（Ａ）、図１３（Ｂ）は第２の実施形態の画像要約処理を説明する図。 図１４（Ａ）～図１４（Ｄ）は、第２の実施形態での最初の基準画像の選択手法の一例を説明する図。 図１５は、第３の実施形態にかかる画像処理装置のシステム構成例。 図１６は、第３の実施形態の処理を説明するためのフローチャート。 図１７は、第３の実施形態の処理を説明するための他のフローチャート。 図１８（Ａ）、図１８（Ｂ）は、第３の実施形態の画像要約処理を説明する図。 図１９は、本実施形態にかかる画像要約処理のシステム構成例。 図２０（Ａ）～図２０（Ｇ）は第２の実施形態の変形例を説明する図。 図２１は、第２の実施形態の変形例の処理を説明するためのフローチャート。 図２２は、第４の実施形態の画像処理装置の構成例。 図２３は、第４の実施形態の画像要約処理を説明するフローチャート。 図２４は、観察領域と対応領域の設定手法を説明する図。 図２５は、特徴量として明度情報を用いる例。 図２６は、特徴量としてサイズ情報を用いる例。 図２７は、特徴量として所与の形状との類似度を用いる例。 図２８は、第５の実施形態の画像処理装置の構成例。 図２９は、第５の実施形態の画像要約処理を説明するフローチャート。 図３０は、要約候補画像列生成処理を説明する図。 図３１は、第６の実施形態の画像処理装置の構成例。 図３２（Ａ）、図３２（Ｂ）はシーンチェンジと部分画像列の関係を説明する図。 図３３は、削除可否判定部の構成例。 図３４は、第６の実施形態の画像要約処理を説明するフローチャート。 図３５（Ａ）、図３５（Ｂ）は画像列における選択画像の位置と検出されるシーンチェンジの位置との関係を説明する図。 図３６は、テクスチャ情報の算出対象となる領域の設定例。 図３７（Ａ）、図３７（Ｂ）は変形情報の精度の違いによる被覆領域の形状の差異を説明する図。 図３８は、精度情報の算出手法の例。 図３９は、画像列における第１，第２の画像の位置と検出されるシーンチェンジの位置との関係を説明する図。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
　１．本実施形態の手法
　まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
　具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。
　従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。
　このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。
　そこで本出願人は、画像間の変形情報を用いる手法を提案する。変形情報を用いた手法としては、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）との被覆率に基づいた画像要約処理を行う手法が考えられる。具体的には図３に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。
　よって、判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。閾値を大きくすれば、カバーできない領域の発生度合いを低くできるため、病変の見落とし等の抑止効果が高まる。また、閾値を小さくすれば、カバーできない領域が生じやすくなるものの、要約後の画像列に含まれる画像の枚数を少なくし、その後のユーザ負担を軽減すること等が可能となる。
　ここでの画像処理装置の１つの実施形態としては、図１９に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、画像列取得部２００が取得した画像列の有する複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う。具体的には、処理部１００は、複数の画像から、基準画像と判定対象画像を選択し、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出する。そして、算出した被覆率に基づいて、判定対象画像を削除可否の判定を行う。
　これにより、被覆率に基づいた画像要約処理が可能になる。なお、削除可否の判定により、判定対象画像が削除可能と判定された場合、当該判定対象画像は削除されることが確定するとしてもよいし（第１、第２の実施形態）、他の画像を判定対象画像とした場合の削除可否の判定結果が取得されるまで削除されることが確定しないものとしてもよい（第３の実施形態）。
　以下、第１の実施形態では基準画像の後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法について説明する。また変形例として、被覆領域ではなく複数の点を利用して被覆率を算出する手法、基準画像を複数用いて被覆率を算出する手法、被覆率を求めるに当たって画像上位置に応じた重み付けを用いる手法、及び隣り合う画像間の変形情報に基づいて所望の変形情報を求める手法についても説明する。なお、第１の実施形態において説明する変形例は、第２、第３の実施形態に適用されてもよいものとする。
　第２の実施形態では判定対象画像の前方及び後方に設定された基準画像に基づいて、前方後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法について説明する。また、第３の実施形態では、画像列の端点以外に基準画像を設定し、当該基準画像の前方部分画像列及び後方部分画像列について削除するか否かの判定を行う手法について説明する。
　しかし被覆率による削除可否判定だけでは、削除される画像に撮像された被写体領域が、残される画像に撮像されていたとしても、残される画像上での当該被写体領域の観察のしやすさを考慮することができない。例えば、図２６に示したように、判定対象画像上の所与の領域に撮像されていた被写体が、基準画像上では非常に狭い領域に撮像されていた場合を考える。図２６の例では、被覆率という観点で考えれば、当該被写体は基準画像上に撮像されているため、判定対象画像を削除しても当該被写体を見逃すことはないという判定がされてしまい、判定対象画像は削除可能ということになる。しかし、図２６から明らかなように、基準画像上では被写体のサイズが非常に小さくなってしまっているため、基準画像の画素数（解像度）にもよるが基本的には観察に適しているとは言えない。被写体のサイズが小さければ当該被写体自体を見逃す危険性が考えられるし、見逃しがなかったとしても、被写体の詳細な観察が必要な場合（例えば被写体が病変部であれば、当該被写体が真に病変部であるか否か、或いは病変部である場合に進行具合はどの程度かという診断を行う場合等）に、十分な観察ができないためである。
　そこで本出願人は、変形情報を用いた他の手法として、基準画像と判定対象画像を選択し、判定対象画像上の観察領域の特徴量と、観察領域に対応する基準画像上の領域である対応領域の特徴量とに基づいて、判定対象画像の削除可否判定を行う手法を提案する。この際、基準画像と判定対象画像の間の変形情報に基づいて、観察領域を変形することで対応領域を求めるものとする。つまり、観察領域で撮像された被写体領域と、対応領域で撮像された被写体領域は対応する（狭義には一致する）ことになる。
　よって例えば、特徴量としてその領域のサイズ情報（面積等）を用いれば、図２６に示したように観察領域に対して対応領域のサイズが小さくなってしまっているということを検出できるため、上述の課題に対処可能となる。具体的には、基準画像上では被写体が狭い範囲（対応領域に対応する範囲）につぶれてしまい観察に適さないことから、判定対象画像を削除不可と判定して要約画像列に残して、上記被写体は判定対象画像上の広い範囲（観察領域に対応する範囲）に撮像されている状態で観察するようにすればよい。
　ここでの画像処理装置の１つの実施形態としては、図１９に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、画像列取得部２００が取得した画像列の有する複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う。具体的には、処理部１００は、複数の画像から、画像要約処理の基準画像と判定対象画像を選択し、判定対象画像上に観察領域を設定するとともに、基準画像と判定対象画像の間の変形情報に基づいて、観察領域に対応する基準画像上の領域である対応領域を求め、対応領域から求められた第１の特徴量と、観察領域から求められた第２の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否の判定を行う。
　以下、第４の実施形態で観察領域と対応領域の特徴量に基づく削除可否判定を行う画像要約処理の基本的な手法について説明する。また、観察領域と対応領域の特徴量に基づく削除可否判定を第１の削除可否判定処理とした場合に、当該第１の削除可否判定処理と、それとは異なる第２の削除可否判定処理（例えば上記の被覆率を用いた処理）を組み合わせることで画像要約処理を行ってもよい。具体的な手法を第５の実施形態で説明する。
　また、変形情報を用いた処理の高速化や精度向上を考慮した変形実施も可能である。例えば、基準画像と判定対象画像を処理対象の画像列全体から選択してもよいが、それでは非効率的な場合がある。具体的には、処理対象の画像列において、当該画像列の前半部分と後半部分で撮像対象が大きく異なっている場合（例えば、カプセル内視鏡からの画像列で、前半部分は胃を撮像し、後半部分は小腸を撮像していた場合等）、前半部分の画像により後半部分の画像がカバーされているとは考えにくい。よって、前半部分と後半部分にまたがるような比較処理の必要性は低く、前半部分だけを対象とした画像要約処理と、後半部分だけを対象とした画像要約処理とに分けて処理を行うことで効率化を図れる。
　よって本出願人は、画像列からシーンチェンジを検出し、検出したシーンチェンジに基づいて、画像列を複数の部分画像列に分割する手法を提案する。そして、上述の変形情報を用いた画像要約処理は、各部分画像列に対して独立に行えばよい。このようにすれば、画像要約処理を効率的に行うことができる。また、複数の部分画像列に対して、並列に画像要約処理を行うこともできるため、処理の高速化が可能となる。この変形例については第６の実施形態で説明する。
　２．第１の実施形態
　第１の実施形態として、基準画像の後方の画像についての被覆率を保証する画像要約処理について説明する。まず基本的な手法について説明し、その後４つの変形例について述べる。なお、各変形例はそのうちの１つを用いてもよいし、２つ以上を組み合わせて用いてもよい。
　２．１　第１の実施形態の手法
　図１に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。
　処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
　画像列取得部２００は、画像要約処理の対象となる画像列を取得する。記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
　また、処理部１００は、図１に示したように基準画像選択部１００１と、判定対象画像選択部１００２と、被覆領域算出部１００３と、被覆率算出部１００４と、削除可否判定部１００５と、部分画像列設定部１００８と、要約画像列決定部１００９とを含んでもよい。なお処理部１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。
　基準画像選択部１００１は、画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００２は、画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。
　被覆領域算出部１００３は、基準画像と判定対象画像の間の変形情報（変形パラメータ）を利用して、基準画像を判定対象画像へ射影して被覆領域を求める。被覆率算出部１００４は、被覆領域に基づいて被覆率を算出する。
　削除可否判定部１００５は、算出された被覆率に基づいて、判定対象画像が削除できるか否かの判定を行う。具体的には被覆率と所与の閾値との比較処理等を行えばよい。
　部分画像列設定部１００８は、削除可否判定部１００５で判定対象画像が削除できないと判定された場合に、その時点での判定対象画像の画像列中での位置に基づいて、画像列の一部であって、１枚以上の画像からなる画像列を部分画像列として設定する。
　要約画像列決定部１００９は、要約処理後の画像列である要約画像列を決定する。本実施形態では、基準画像選択部１００１で選択された基準画像を要約画像列に含める。また、判定対象画像のうち削除可能と判定された画像を削除し、要約画像列には含めないものとする。
　図２に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ１０１）。画像列は画像列取得部２００で取得されるものであり、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。また、空間的に連続する画像列における「空間」とは２次元、或いは３次元的な位置を表す空間であってもよいし、色空間等の空間であってもよい。
　画像列が取得されたら、基準画像選択部１００１は入力画像列（最初の処理においてはＳ１０１で取得された画像列であり、その後は後述するＳ１０７で設定される部分画像列）の先頭の画像を基準画像として選択する（Ｓ１０２）。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等の理由により入力画像列から基準画像を選択できない場合（例えば画像列に画像が存在しない場合等）には、処理を終了する。
　そして、判定対象画像選択部１００２は、入力画像列に含まれる画像から判定対象画像を選択する（Ｓ１０３）。判定対象画像が未設定の場合には、基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１ずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。判定対象画像が選択できなくなった場合（入力画像列に含まれる画像の枚数が２或いはｋ＋１よりも少なかった場合等）には、処理を終了する。
　基準画像と判定対象画像が選択されたら、被覆領域算出部１００３は、基準画像と判定対象画像の間の変形パラメータを利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める（Ｓ１０４）。ここで変形パラメータとしては、特許文献２に記載された手法により推定される非剛体変形パラメータ等であってもよい。被覆領域の例を図３に示す。ここでの変形パラメータとは、基準画像において撮像された被写体が、判定対象画像上でどのように変形されているかを表すものである。言い換えれば、基準画像において撮像された被写体と、判定対象画像上の被覆領域において撮像された被写体は、対応する（狭義には同一の）ものとなっている。
　被覆領域が算出されたら、被覆率算出部１００４は、被覆領域と判定対象画像とに基づいて被覆率を算出する（Ｓ１０５）。被覆率は例えば、図３に示したように判定対象画像全体の面積に対する被覆領域の面積の割合等から求めることができる。
　そして、削除可否判定部１００５は、算出された被覆率と、事前に設定された閾値（システムにより設定されてもよいし、ユーザからの入力に基づいて決定されてもよい）との比較処理を行う（Ｓ１０６）。被覆率が閾値未満であれば、判定対象画像を削除不可と判定し、部分画像列の設定処理に移行する。また被覆率が閾値以上であれば、判定対象画像を削除可能と判定し、Ｓ１０３に戻り判定対象画像を再度選択する。
　Ｓ１０６において、判定対象画像を削除不可と判定された場合には、部分画像列設定部１００８は部分画像列を設定する（Ｓ１０７）。具体的には、削除不可と判定された判定対象画像及び、それ以降の画像から構成される画像列を部分画像列として設定すればよい。部分画像列が設定されたら、Ｓ１０２に戻り、当該部分画像列を入力画像列として上述の処理を実行する。
　以上の画像要約処理を図示したものが図４（Ａ）～図４（Ｄ）である。図４（Ａ）に示したように、Ｎ枚の画像を有する画像列が画像列取得部２００で取得された場合には、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で被覆率が算出され、判定対象画像の削除可否が判定される。
　判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図４（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で被覆率が算出され、判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。
　図４（Ｃ）に示したように、２番目～ｋ－１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目～ｋ－１番目までの画像とは基準画像によりある程度（閾値により設定される程度）カバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像とそれ以降の画像（ｋ～Ｎ番目の画像）を部分画像列（以下、第１～第５の実施形態での「部分画像列」とは、繰り返し処理の単位を規定するものであり、第６の実施形態における並列処理の対象である部分画像列とは異なるものである）として設定する。
　そして、この部分画像列に対して再度図４（Ａ）～図４（Ｃ）の処理を繰り返せばよい。具体的には図４（Ｄ）に示したように、Ｎ－ｘ＋１枚の画像からなる部分画像列を入力画像列とし、先頭（図４（Ｃ）等ではｋ番目）の画像を基準画像、２番目（図４（Ｃ）等ではｋ＋１番目）の画像を判定対象画像として処理を行う。以降の処理は同様であり、判定対象画像が削除可能と判定されたら、次の画像を新たな判定対象画像として選択する。また、判定対象画像が削除不可と判定されたら、基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、入力画像列の最後の画像まで全て削除可能と判定された場合、或いは入力画像列に含まれる画像が１枚のみであり判定対象画像が設定できなかった場合に処理が終了することになる。
　以上の本実施形態では、画像処理装置は図１に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。そして、処理部１００は複数の画像から、基準画像と判定対象画像を選択する。この処理は例えば、基準画像選択部１００１及び判定対象画像選択部１００２で行われる。さらに、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。被覆率の算出処理は例えば被覆率算出部１００４で行われ、削除可否の判定処理は例えば削除可否判定部１００５で行われる。
　ここで被覆率とは、判定対象画像上に撮像された被写体のうち、どの程度の被写体が基準画像上に撮像されているかを表す情報である。例えば、縦横比が１：１の画像が取得される場合に、判定対象画像には実空間上で縦横それぞれ１０ｍの正方形の被写体が画像いっぱいに撮像され、基準画像には前述の被写体に包含される縦横それぞれ５ｍの正方形の領域が画像いっぱいに撮像されたとする。この場合、判定対象画像には実空間における１００ｍ２の領域が撮像され、基準画像には実空間における２５ｍ２の領域（かつ前述の１００ｍ２の領域に含まれる領域）が撮像されたことになる。よって、基準画像は判定対象画像の２５％をカバーしていることになるため、被覆率としては２５或いは０．２５等の値が考えられる。なお、平面的な被写体に正対して撮像が行われることはまれであるため、一般的には同一の被写体であっても、基準画像と判定対象画像とで形状が異なっている。本実施形態ではそのような変形に対応する変形情報を特許文献２等の手法で取得しておき、当該変形情報を用いて被覆率を算出する。なお被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。
　また、削除可否の判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば（例えば１００％に相当する値に設定すれば）、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。
　これにより、画像要約処理により画像を削除した結果、観察できなくなる被写体領域が発生することを抑止でき、またその抑止の程度（強度）を制御することが可能になる。本実施形態の手法を用いることで、上述した削除可否の判定処理に用いる閾値としてｘ％に相当する値を用いれば、判定対象画像を削除したとしても、当該判定対象画像上に撮像された被写体のうち、ｘ％は基準画像によりカバーされている（ｘ％の被写体範囲は基準画像上に撮像されている）ことが保証できるためである。なお、変形情報として被写体の画像上での変形を、全く誤差を生じずに求めることが困難である以上、閾値としてｘを設定しても、判定対象画像のうち基準画像によりカバーされている領域がｘ％未満となる可能性は生じうる。
　また、第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第１の画像を基準画像として選択するとともに、第ｋ（ｋは２≦ｋ≦Ｎ－１を満たす整数）の画像を判定対象画像として選択してもよい。そして、基準画像と判定対象画像の間の変形情報に基づいて被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。さらに、第ｋの画像が削除可能と判定された場合には、判定対象画像として第ｋ＋１の画像を選択する。
　ここで、入力画像列とはこの処理（基準画像・判定対象画像の選択、削除可否判定、及び削除可能な場合の判定対象画像の更新）の対象となる画像列のことであり、画像列取得部２００が取得した画像列であってもよいし、当該画像列の一部の画像からなる画像列であってもよい。
　これにより、入力画像列が入力された場合に、図４（Ａ）～図４（Ｂ）等に示したような処理が可能となる。ここでは基準画像の後方（例えば最初は基準画像と隣り合う画像）から判定対象画像を選択し、選択した判定対象画像が削除可能である場合には、判定対象画像をさらに後方のものに更新する。つまり、基準画像に近いところから順々に削除できるか（基準画像で十分カバーできているか）を判定していき、削除できなくなるところを検索することになる。なお、ここで削除可能と判定された判定対象画像は基本的には削除され、要約画像列には含まれないものとするが、これには限定されず、削除可能と判定された判定対象画像の一部を要約画像列に含めてもよい。
　また、処理部１００は、基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。それとともに、判定対象画像として選択された第ｋの画像が削除不可と判定された場合には、第ｋ～第Ｎの画像からなる部分画像列を新たな入力画像列として設定し、設定された入力画像列に対して再度処理を行ってもよい。
　これにより、図４（Ｃ）に示した処理が可能となる。削除可否判定処理は、上述したように基準画像により判定対象画像がどの程度カバーされているかに基づいて行われることから、削除可能と判定された判定対象画像を削除したとしても、基準画像を残すことにより観察できない領域の発生を抑止できる。つまり、本実施形態では基準画像を要約画像列に含めることになる。また、第ｋの画像が削除不可とされた場合には、第ｋの画像は基準画像では十分カバーできないということであるから、第ｋの画像は要約画像列に残すべきである。つまり、第ｋの画像を次の基準画像に設定すればよく、具体的には例えば第ｋ～第Ｎの画像からなる部分画像列を新たな入力画像列として設定すればよい。このようにすれば、図４（Ｄ）に示したように入力画像列の先頭の画像、すなわち画像列取得部２００が取得した画像列における第ｋの画像が基準画像として選択され、第ｋ＋１の画像以降の画像が判定対象画像として順次選択される。なお、図４（Ｄ）の画像列の一部の画像からなる部分画像列が新たに入力画像列として設定されてもよく、この処理は反復して（或いは再帰的に）行われる。
　また、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求めてもよい。そして、被覆率として、判定対象画像に占める被覆領域の割合を算出する。
　これにより、被覆領域に基づいて被覆率を算出することが可能となる。被覆領域は具体的には図３に示したものであり、基準画像を変形情報に基づいて変形した上で、判定対象画像上に射影した領域を表す。基準画像に撮像された被写体領域と、求めた被覆領域に撮像された被写体領域は対応する（変形情報に誤差がない理想的な状況であれば一致する）ことになる。よって、被覆率を判定対象画像に占める被覆領域の割合（具体的にはそれぞれの面積の比）から求めることが可能になる。なお、被覆領域は基準画像を変形情報に基づいて変形して求めればよく、求めた被覆領域は必ずしも判定対象画像上に射影されるものに限定されない。また、被覆領域は基準画像の全体に基づいて求めるものに限定されず、基準画像の一部を変形情報により変形することで求めてもよい。
　また、以上の本実施形態は、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００としてコンピュータを機能させるプログラムに適用できる。そして、処理部１００は複数の画像から、基準画像と判定対象画像を選択する。さらに、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。
　これにより、上述した画像処理をプログラムにより実現することが可能になる。例えば、カプセル内視鏡等で取得された画像列をＰＣ等のシステムに入力し、当該システムの処理部（ＣＰＵ、ＧＰＵ等）で実行されるプログラムにより画像要約処理が行われることが考えられる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、ＰＣ等のシステムによって読み取り可能な種々の記録媒体を想定できる。
　２．２　変形例（複数の点に基づく被覆率算出）
　次に本実施形態の変形例について述べる。上述の手法では、基準画像そのものを変形パラメータにより変形し、被覆領域を算出していたが、被覆率の算出手法はこれに限定されない。例えば画像そのものではなく、判定対象画像上に複数の点を設定し、それらの点を変形パラメータに基づいて移動させた場合に、移動後の複数の点と、基準画像との位置関係に基づいて被覆率を算出してもよい。以下詳述する。
　処理部１００の構成は、図１に比べて被覆領域算出部１００３が除かれた構成となっている。また、被覆率算出部１００４での処理が異なる。なお、他の構成については処理内容も同様であるため、詳細な説明は省略し、被覆率算出処理について述べる。
　被覆率算出部１００４は、図５に示したように、判定対象画像上に例えば等間隔に複数の点を配置する。そして、基準画像と判定対象画像の間の変形パラメータ（上述した手法と同様に、特許文献２の非剛体変形パラメータ等）を利用して、判定対象画像上の点を基準画像上へ射影する。基準画像上へ射影した複数の点のうち、基準画像に包含される点の数の割合を、被覆率とすればよい。
　このようにすることで、画像そのものを変形し被覆領域を求める手法に比べて、容易に被覆率を算出することができ、処理負荷の軽減等が可能となる。
　図６にこの処理を説明するフローチャートを示す。Ｓ２０１～Ｓ２０３、及びＳ２０６～Ｓ２０７についてはＳ１０１～Ｓ１０３、及びＳ１０６～Ｓ１０７と同様である。また、被覆領域を算出する必要がないため、Ｓ１０４に相当するブロックがなくなっている。Ｓ２０５はＳ１０５に対応するものであるが、上述したように処理内容が異なり、Ｓ１０５がＳ１０４で算出した被覆領域に基づいて被覆率を算出するのに対して、Ｓ２０５では複数の点を射影した結果に基づいて被覆率を算出している。
　以上の変形例では、処理部１００は、判定対象画像に対して複数の点を設定し、複数の点を基準画像と判定対象画像の間の変形情報に応じて変換した場合に、基準画像に含まれる変換後の点の数に基づいて、被覆率を算出する。
　これにより、基準画像そのものに対して変形情報に基づく処理を行うのではなく、設定された点に対して処理を行うことで被覆率を算出することができるため、上述の被覆領域を求める手法に比べて処理負荷を軽減することが可能になる。具体的には、判定対象画像上に複数の点を設定し、設定された各点が基準画像において、どの画像上位置（ここでは基準画像外の位置も含む）に対応するかを求める。そして、判定対象画像に設定した複数の点の数と、変形情報による処理後の複数の点のうち基準画像に含まれる点の数との比較により被覆率を算出する。このようにすれば、変形情報による処理後に面積を算出する必要等がなくなり処理を軽くできる。なお、ここで問題としているのは基準画像では判定対象画像を十分にカバーしきれないケースであり、そのような場合に基準画像上に複数の点を設定し判定対象画像上に移動したとしても、変換後の点は全て判定対象画像に含まれてしまうことになり、カバーの程度を表す指標とならない。よって、複数の点を設定する手法を用いるのであれば、当該複数の点は判定対象画像上に設定することが望ましい。
　２．３　変形例（複数の基準画像を設定する例）
　次に基準画像として複数の画像を用いる例について説明する。ここでの処理部１００の構成は図１と同様である。被覆領域算出部１００３では、図７に示したように、複数の基準画像（基準画像群）の各基準画像と、判定対象画像との間でそれぞれ被覆領域の候補領域を算出し、算出された複数の候補領域に基づいて被覆領域を算出する。この場合、被覆率算出部１００４や削除可否判定部１００５等での処理は上述の手法と同様となる。
　或いは、複数の基準画像（基準画像群）の各基準画像と、判定対象画像との間でそれぞれ被覆領域を算出し、被覆率算出部１００４で、判定対象画像と、算出された複数の被覆領域とに基づいて被覆率を算出すると考えてもよい。
　以下、具体的な処理を説明する。なおフローチャートは図２と同様であるため図面は省略する。Ｓ１０１は同様であるため説明は省略する。Ｓ１０２では、入力画像列の先頭の画像を基準画像として選択し、基準画像群に追加する。Ｓ１０２が初めて行われた場合には、基準画像群に含まれる基準画像は１つであるため、Ｓ１０３～Ｓ１０７の処理は上述した手法と同様となる。
　そして、Ｓ１０７で部分画像列が設定されＳ１０２に戻った場合に、基準画像選択部１００１は、部分画像列の先頭の画像を基準画像として選択し、基準画像群に追加する。つまり、Ｓ１０２の処理が行われるのがｍ回目であれば、基準画像群には合計ｍ枚の基準画像が保持されていることになる。そして、基準画像群のうち第ｉ（１≦ｉ≦ｍ）の基準画像と判定対象画像から第ｉの候補領域を算出することで、ｍ個の候補領域を求め、そこから被覆領域を算出する。これは例えば、図８に示したように複数の候補領域の和集合に対応する領域を被覆領域とすればよい。
　具体例を図９（Ａ）、図９（Ｂ）に示す。先頭の画像を基準画像とした場合に、２～ｘ－１番目の画像は削除可能と判定され、ｘ番目の画像は削除不可と判定された場合には、上述したようにｘ～Ｎ番目の画像を有する画像列が部分画像列に設定される。そして、当該部分画像列を入力画像列とするため、部分画像列の先頭、すなわち元の画像列におけるｘ番目の画像が基準画像として選択される。よって、基準画像群には１番目とｘ番目の２枚の画像が基準画像として保持されることになる。そして、判定対象画像（ｘ＋１番目から順に選択される）が選択された際には、１番目の画像と判定対象画像に基づいて候補領域を求めるとともに、ｘ番目の画像と判定対象画像に基づいて候補領域を求める。そして、図８を用いて説明した手法等で最終的な被覆領域を算出し、削除の可否を判定する。
　同様に、ｙ番目の画像が削除不可と判定されれば、ｙ～Ｎ番目の画像を含む画像列が部分画像列となるため、ｙ番目の画像が基準画像群に追加される。そして、ｙ＋１番目以降の画像を判定対象画像として選択し、１番目の画像、ｘ番目の画像及びｙ番目の画像の３つから、それぞれ候補領域を求め、被覆領域を算出する。以下、同様の処理を繰り返す。
　なお、ここでは被覆率の算出に被覆領域を用いるものとしたが、これに限定されるものではない。上述した複数の点を用いる手法と組み合わせてもよい。
　以上の変形例では、処理部１００は、基準画像として、複数の画像から第１～第Ｍ（Ｍは２以上の整数）の基準画像を選択してもよい。そして、第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に基づいて第ｕの被覆領域を求め、第１～第Ｍの被覆領域の和集合の領域を前記被覆領域として設定し、設定した被覆領域に基づいて被覆率を算出する。
　これにより、図９（Ａ）、図９（Ｂ）に示したように、基準画像として複数の基準画像を設定することが可能になる。基準画像を１つ設定する実施形態では、判定対象画像（例えば図９（Ａ）のｘ＋１番目の画像）の削除可否判定には、直近の基準画像（例えば図９（Ａ）のｘ番目の画像）を用いていた。しかし、画像を削除することで観察できなくなる領域が発生することを抑制するという観点からいえば、削除する画像に撮像された被写体は、直近の残す画像に撮像されている必要はなく、残す画像のうち少なくとも１枚に撮像されていればよい。よって、基準画像は１つに限定する必要はなく、複数用いてもよい。例えば、図９（Ａ）の例であれば、ｘ番目～Ｎ番目の画像が部分画像列に設定されることでｘ番目の画像が新たな基準画像となるが、その１つ前の処理において基準画像としていた１番目の画像を保持しておき、ｘ＋１番目以降の判定対象画像の削除可否判定に用いればよい。その場合、被覆領域は図８に示したように、各基準画像を変形情報に基づいて変形した領域について和集合を表す領域を被覆領域とすることが考えられる。このようにすることで、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像列に含まれる画像の枚数を減らすことが可能になる。よって、ユーザの負荷軽減等をはかることができる。なお、処理を繰り返すことで基準画像として用いることができる画像の枚数が増え（図９（Ｂ）の例では、ｙ番目の他、１番目、ｘ番目の画像が使用可能）、削除可能と判定する可能性がさらに向上する。しかし、基準画像の枚数を増やすことで処理負荷が大きくなってしまうことから、使用可能な基準画像の候補を全て用いる必要はなく、そのうちの一部を用いることとしてもよい。
　また、被覆領域ではなく複数の点を用いる手法でも、処理部１００は、基準画像として、複数の画像から第１～第Ｍ（Ｍは２以上の整数）の基準画像を選択してもよい。そして、判定対象画像上に設定された複数の点を第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、第ｕの基準画像に含まれる変換後の点の数を第ｕの被覆情報として求め、第１～第Ｍの被覆情報に基づいて被覆率を算出する。
　これにより、複数の点を用いる場合にも、基準画像を複数設定することが可能になる。ただし、複数の点を用いる場合には、基準画像に含まれる変換後の点の数を被覆率算出に用いるため、複数の基準画像から求めた被覆情報の和集合に相当する情報を算出することは難しい（変換後の点の位置は求めるため、当該位置情報に基づいて何らかの処理を行えば可能であるが、それでは被覆領域を用いる手法に比べて処理が容易という利点が失われかねない）。よって、この場合の被覆率は、一例としては各基準画像から求めた点の数のうち、最大値を用いて算出することが考えられる。このようにすることで、複数の基準画像及び被覆領域を用いた手法ほどの画像枚数低減効果は得られないものの、当該手法に比べて処理負荷が軽く、且つ基準画像を１つ用いる手法に比べて要約処理後の画像枚数を少なくすることが可能になる。
　２．４　変形例（重み付け）
　また、上述の手法では判定対象画像の面積に対する被覆領域の面積を単純に被覆率としていたが、これに限定されるものではない。例えば、画像上の位置に応じて重み係数を設定し、当該重み係数を用いた重み付けを行って被覆率を求めてもよい。ここでは、画像中心からの距離に応じた重み付き被覆率を保証する画像要約を系列順に行う変形例を説明する。なお、上述の手法と同様の処理については詳細な説明は省略する。
　被覆領域算出部１００３は、画像中の位置に応じて領域重みをかけた、基準画像の重みマップを取得しておく。そして、図１０に示したように、基準画像と判定対象画像の間の変形パラメータを利用して、基準画像の重みマップを判定対象画像上へ射影し、重み付き被覆領域とする。例えば、四隅に黒潰れした領域を持つカプセル内視鏡画像などにおいて、四隅の所定の領域の重みを０、残りの領域の重みを１とした重みを適用する。
　そして、被覆率算出部１００４では、画像中の位置に応じて領域重みをかけた、判定対象画像の重みマップを取得しておく。そして、重み付き被覆領域と判定対象画像の重みマップを乗算した被覆重みマップの総和が、判定対象画像の重みマップの総和に占める割合を、被覆率とする。例えば、四隅に黒潰れした領域を持つカプセル内視鏡画像などにおいて、四隅の所定の領域の重みを０、残りの領域の重みを１とした重みを適用する。
　図１０の例であれば、被覆領域のうち、基準画像の重みマップで重みが０とされた四隅の領域は被覆領域として取り扱われないことに相当する。また、被覆領域のうち判定対象画像の重みマップで重みが０とされた四隅に射影された領域も、被覆領域としては取り扱われないことに相当する。また、被覆率算出式の分母に相当する判定対象画像の面積についても、判定対象画像の重みマップで重みが０とされた四隅の領域は含まれないことになる。
　また、図１０の例では重みとして０又は１を用いたが、０～１の間の値を設定してもよい。また、重みは０～１の間が典型的ではあるが、マイナスの値や１より大きい値を設定することを妨げるものではない。
　なお、重み付けは被覆領域を用いる手法に限定されず、複数の点を設定し、各点に対して重み係数を設定してもよい。また、基準画像を複数用いる手法にも適用可能である。
　以上の変形例では、処理部１００は、判定対象画像の画像上位置に応じて重み係数を設定してもよい。そして、重み係数と被覆領域とに基づいて算出された第１の重み総和と、重み係数と判定対象画像とに基づいて算出された第２の重み総和との割合に基づいて、被覆率を算出する。
　これにより、判定対象画像の画像上位置に応じた重み付けを行うことができ、判定対象画像の画像上位置に応じて、被覆率算出への寄与の程度を設定することが可能になる。例えば、魚眼レンズ等の歪曲収差の影響が大きい光学系を用いた場合、画像中央部に比べて画像周縁部はひずみが大きくなり被写体の観察に適さない。このような場合、中央部の重み係数を大きくし、周縁部の重み係数を小さくすることで、中央部を重視した削除可否判定が可能になる。具体的には、画像上で同等の領域が被覆されていたとしても、中央部が被覆されている場合は被覆率の大きく寄与するのに対して、周縁部が被覆されていたとしても被覆率への寄与は小さくなる。
　なお、重み総和とは処理対象となる領域と重み係数に基づいて決定される。例えば、重み係数が１画素ごとに設定されているのであれば、第１の重み総和は被覆領域に含まれる画素について、各画素に設定された重み係数の総和をとればよいし、第２の重み総和は判定対象画像全体の画素について、各画素に設定された重み係数の総和をとればよい。また、重み係数が所与の領域（各領域の面積は異なってもよい）ごとに設定されているのであれば、第２の重み総和は重み係数設定領域の面積と重み係数との積の総和となり、第１の重み総和は、重み係数設定領域のうち、被覆領域に含まれる領域の面積と重み係数との積の総和となる。また、重み係数の設定手法によっては、他の手法により重み総和を求めてもよい。
　また、被覆領域ではなく複数の点を用いる手法でも、処理部１００は、判定対象画像の画像上位置に応じて重み係数を設定してもよい。そして、複数の点を基準画像と判定対象画像の間の変形情報に応じて変換した場合に、基準画像に含まれる変換後の点と、重み係数に基づいて、被覆率を算出する。
　これにより、複数の点を用いる場合にも重み係数を利用することが可能になる。具体的な手法としては、判定対象画像上に複数の点を設定する際に、各点に画像上位置に応じた重み係数を付与しておけばよい。そして、変形情報に基づいて複数の点を基準画像に射影した場合に、基準画像に含まれる点の数を単純にカウントするのではなく、基準画像に含まれる点に付与された重み係数の値を積算することで被覆率を求める。この場合、図５に示した被覆率算出の式の分母についても、単純に点の総数ではなく、設定された全ての点について重み係数の総和をとった値とする。
　また、処理部１００は、重み係数の値として、判定対象画像の第１の領域に０を設定するとともに、判定対象画像の第１の領域とは異なる第２の領域に１を設定してもよい。
　これにより、重み付けの極端な例として、判定対象画像の一部の領域を用い、他の領域を用いない処理を行うことが可能になる。
　なお、以上の重み付けの例では、判定対象画像に重み係数を設定するものとしたが、基準画像側にも重み係数を設定してもよい。例えば被覆領域を用いる例で説明すると、図１０では基準画像の四隅に重み係数０が設定され、その他の領域に重み係数１が設定されている。この場合、第２の重み総和については上述の手法と同様であるが、第１の重み総和の算出手法が異なる。この場合、被覆領域のうち基準画像の四隅に相当する領域には重み係数０が設定され、被覆領域の他の領域には重み係数１が設定されている。さらに、上述したように被覆領域は判定対象画像上に射影されているため、判定対象画像の画像上位置に応じた重み係数も設定されている。つまり、重み係数が画素単位で設定されているとすれば、被覆領域に含まれる画素には、１画素単位で基準画像側の重み係数と、判定対象画像側の重み係数の２つが設定されていることになる。この場合には、第１の重み総和としては例えば、被覆領域に含まれる各画素について、基準画像側重み係数と判定対象画像側重み係数の積を求め、その値の総和を求める処理を行えばよい。
　また、図５のように複数の点を用いる場合にも基準画像側に重み係数を設定してもよい。この場合には、複数の点のうち変換により基準画像内に位置することになった点は、基準画像側に設定された重み係数と対応づけることが可能になるため、結果として１つの点に対して基準画像側の重み係数と、判定対象画像側の重み係数の２つが設定されていることになる。よって、被覆率は例えば、基準画像に含まれる変換後の点のそれぞれについて、基準画像側重み係数と判定対象画像側重み係数の積を求め、その値の総和に基づいて算出すればよい。
　２．５　変形例（隣接画像間の変形パラメータを用いる手法）
　また、上述の手法では、基準画像と判定対象画像との間の変形パラメータを用いて、直接被覆領域を算出していたが、これに限定されるものではない。例えば、基準画像から判定対象画像に至る全隣接画像間の変形パラメータを利用して、隣接画像間で被覆領域を累積的に射影し、基準画像を判定対象画像に射影した被覆領域を求めてもよい。
　以上の変形例では、処理部１００は、画像列において基準画像と判定対象画像の間の画像について、隣り合う画像間の変形情報を求め、求めた隣り合う画像間の変形情報に基づいて、基準画像と判定対象画像の間の変形情報を算出してもよい。
　これにより、基準画像と判定対象画像が隣り合わない場合に、当該２画像間で直接変形情報を求めるのではなく、隣り合う画像間で求めた変形情報を累積することで算出することが可能になる。変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなる。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。
　この手法は例えば後述する第２の実施形態のように、変形情報を用いる回数が多い処理等で特に効果的である。例えば、第２の実施形態では、判定対象画像の前方だけでなく後方にも基準画像（第２の基準画像）を設定し、条件に応じて第２の基準画像が更新される。具体的には、第１の画像を第１の基準画像、第ｋの画像を第２の基準画像とした場合、第２～第ｋ－１の画像と各基準画像との間で削除可否判定が行われ、条件によっては第１の基準画像をそのままに第２の基準画像が第ｋ＋１の画像に更新される。その場合、第２～第ｋの画像の各画像と、第２の基準画像である第ｋ＋１の画像の間の変形情報が必要となり、ｋ－１回変形情報を求める必要がある。そしてそれは、直前の処理で用いた第２～第ｋ－１の画像と、第ｋの画像（直前の第２の基準画像）の間の変形情報とは異なるため、新たに求めなくてはならない。例えば、画像列取得部２００が画像列としてＮ枚の画像を取得し、且つ第１の基準画像が変化せずに第２の基準画像が第３～第Ｎの画像まで順次更新された極端なケースを想定すれば、変形情報は１＋２＋３＋・・・＋（Ｎ－２）＝（Ｎ－２）（Ｎ－１）／２回求める必要が生じる。つまり、負荷の大きい変形情報の算出処理を行う回数が多く非効率的である。
　その点、隣り合う変形情報を用いるのであれば、画像列取得部２００が画像列としてＮ枚の画像を取得したとすると、変形情報は隣り合う画像間でＮ－１回求めれば十分である。この場合、Ｎ枚の画像の中から基準画像と判定対象画像が選択された際に、Ｎ－１個の変形情報のうち必要なものを合成する処理は必要になるが、上述したとおり当該合成処理は変形情報の算出処理に比べて負荷は軽い。
　３．第２の実施形態
　第２の実施形態では、前方・後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法を説明する。まず基本的な手法について説明し、その後２つの変形例について述べる。
　３．１　第２の実施形態の手法
　図１１に本実施形態における画像処理装置のシステム構成例を示す。図１の処理部１００に対して第２の基準画像選択部１００７が追加された構成となっている。
　基準画像選択部１００１は、第１の基準画像を選択する。第２の基準画像選択部１００７は、第１の基準画像よりも２つ以上後方の画像を第２の基準画像として選択する。また、判定対象画像選択部１００２は、基準画像よりも後方であり、かつ第２の基準画像よりも前方の画像を判定対象画像として選択する。なお、図１１では基準画像選択部１００１と第２の基準画像選択部１００７を分けたがこれに限定されるものではなく、基準画像選択部１００１が第１の基準画像及び第２の基準画像の両方を選択するとしてもよい。
　図１２に本実施形態の画像要約処理を説明するフローチャートを示す。Ｓ３０１～Ｓ３０２についてはＳ１０１～Ｓ１０２と同様である。Ｓ３０２の後、Ｓ３０２で選択された第１の基準画像よりも２つ以上後方の画像を第２の基準画像として選択する（Ｓ３０８）。そして、判定対象画像を設定する（Ｓ３０３）。判定対象画像が未設定の場合には、第１の基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１ずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。ただし、判定対象画像の選択範囲は、入力画像列の最後の画像までではなく、第２の基準画像と一致するまでとなる。
　判定対象画像が第２の基準画像と一致していない場合には、Ｓ３０４に移行し被覆領域を算出する。ここでは、第１の基準画像と判定対象画像との間の変形パラメータに基づいて第１の候補領域を算出するとともに、第２の基準画像と判定対象画像との間の変形パラメータに基づいて第２の候補領域を算出する。そして、図８で説明した処理と同様に、第１の候補領域と第２の候補領域の和集合に対応する領域を被覆領域とすればよい。
　Ｓ３０４～Ｓ３０６についてはＳ１０４～Ｓ１０６と同様である。Ｓ３０６で削除可能と判定された場合には、Ｓ３０３に戻り判定対象画像を１つ後方の画像に更新する。更新の結果判定対象画像が第２の基準画像と一致する場合にはＳ３０８に戻り、第２の基準画像を１つ後方の画像に更新する。また、第２の基準画像が更新された場合には、判定対象画像の選択状態をリセットする。判定対象画像が第２の基準画像と一致しない場合にはＳ３０４以降の処理が行われる。
　また、Ｓ３０６で判定対象画像が削除不可と判定された場合には、基準画像と、現時点での第２の基準画像の２枚では、その間に挟まれる全ての画像をカバーすることができないということになるため、現時点の第２の基準画像よりも１つ前の画像を要約画像列に残す必要がある。よって、部分画像列として、現在の第２の基準画像よりも１つ前の画像、及びそれ以降の画像を含む画像列を設定し（Ｓ３０７）、Ｓ３０２に戻る。
　以上の画像要約処理を図示したものが図１３（Ａ）、図１３（Ｂ）である。なお、ここでは基準画像を判定対象画像に射影する際に、隣接画像間の変形パラメータを累積的に用いる手法について説明するが、これに限定されるものではない。
　全画像列ｋ番目の画像が第１の基準画像として選択されているとする（なお、１～ｋ－１番目の画像については処理が終了しており、ｋ～Ｎ番目の画像が部分画像列として設定された場合に相当する）。そして、ｋ＋２番目の画像を第２の基準画像として選択する。
　さらに第１の基準画像と第２の基準画像の間の画像の前方から判定対象画像を選択し、第１の基準画像と判定対象画像に基づく被覆領域算出処理、及び第２の基準画像と判定対象画像に基づく被覆領域算出処理から被覆率を算出し、削除可否の判定を行う。
　図１３（Ａ）に示したように、第１の基準画像と第２の基準画像の間の画像の全てについて、削除可能と判定された場合には、第２の基準画像として、第１の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図１３（Ｂ）に示したように第２の基準画像の再選択を行う。具体的には、ｋ＋２番目だった第２の基準画像を、ｋ＋３番目に更新すればよい。
　そして、再度第１の基準画像と第２の基準画像の間の画像について削除可否の判定を行う。図１３（Ｂ）に示したように、削除不可と判定された判定対象画像があった場合には、第１の基準画像と現在の第２の基準画像の２枚では、間に含まれる全ての画像をカバーすることができない（具体的には削除不可と判定された判定対象画像がカバーできない）ということであるから、第２の基準画像の更新（選択位置のインクリメント）が不適切であったと考えられる。
　よって、現時点の第２の基準画像の１つ前の画像（図１３（Ａ）での第２の基準画像に相当）及びそれ以降の画像を含む画像列を部分画像列として設定する。これにより、図１３（Ａ）の時点での第２の基準画像が、次の処理での基準画像として選択されることになり、要約画像列に残される画像により、削除される画像がカバーされることが保証される。
　なお、以上の説明では、Ｓ３０２において基準画像として入力画像列の先頭の画像が選択されるものとしたが、Ｓ３０２の処理が初めて行われる場合についてはこの限りではない。本実施形態では、判定対象画像の後方にある第２の基準画像によりカバーされるのであれば、当該判定対象画像は削除することができる。つまり、図１４（Ａ）に示したように、例えば３番目の画像により、１番目及び２番目の画像がカバーされるのであれば、１～２番目の画像は要約処理後の画像に残す必要はない。よって、先頭の画像は必ずしも残される必要がなく、先頭の画像を基準画像とする手法では要約画像列に含まれる画像の枚数を不必要に増やしてしまう恐れがある。
　そこで、本実施形態では最初の基準画像は画像列取得部２００で取得した画像列の先頭画像である必要はない。具体的な手法の一例を示す。図１４（Ｂ）に示したように、第１の基準画像として実際には存在しない０番目の画像を選択する（ここでの選択処理は便宜的なものであり、実際に０番目の画像を用意する等の処理は不要である）。そのようにすると、Ｓ３０８での第２の基準画像選択処理により、２番目の画像が選択され、判定対象画像はその間の画像（ここでは１番目の画像のみ）が順次選択されることになる。Ｓ３０４～Ｓ３０６の処理は、第１の基準画像が実際には存在しない以上、判定対象画像と第２の基準画像との間で行われる。２番目の画像により１番目の画像がカバーされていれば、図１２の処理に従って図１４（Ｃ）に示したように第２の基準画像が更新され、３番目の画像に移行し、当該３番目の画像により１～２番目の画像がカバーできるかの判定を行う。以下、処理が繰り返されれば、図１４（Ｄ）に示したように、ｋ－１番目の画像を第２の基準画像とすれば、１～ｋ－２番目の画像を全てカバーできるが、ｋ番目の画像を第２の基準画像としても、１～ｋ－１番目の画像を全てカバーすることができないｋを見つけることができる。その場合には、Ｓ３０６で削除不可と判定され、Ｓ３０７において、ｋ－１～Ｎ番目の画像からなる画像列が部分画像列に設定され、Ｓ３０２に戻る。２回目以降のＳ３０２での処理は、上述したように入力画像列の先頭の画像が基準画像として選択されるため、ｋ－１番目の画像は基準画像として要約画像列に残される。上述したように、ｋ－１番目の画像により、１～ｋ－２番目の画像をカバーできるため、当該１～ｋ－２番目の画像を削除することができ、要約画像列には含まれる画像の枚数を削減することが可能になる。
　以上の本実施形態では、第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第ｐの画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２≦ｑ≦Ｎ－１を満たす整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ－１を満たす整数）の画像を判定対象画像として選択する。そして、第１の基準画像と判定対象画像の間の変形情報、及び第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。さらに、第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、第２の基準画像として第ｑ＋１の画像を新たに選択する。
　これにより、図１３（Ａ）、図１３（Ｂ）に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、２つの基準画像を用いるため、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。また、第１の実施形態の変形例で述べたように、前方のみに複数の基準画像を設定する手法に比べると、判定対象画像に時間的（或いは空間的）に近い画像を基準画像に設定できる。近い画像であるほど撮像された被写体が似通っている可能性が高いため、より判定対象画像の削除可能性を高めることができる。なお、本実施形態でも上述した変形例のように、前方、後方、或いはその両方において複数の基準画像を設定してもよい。また、第１の基準画像と第２の基準画像の間に設定された判定対象画像が削除可能と判定された場合（狭義には全ての判定対象画像が削除可能な場合であるが、これに限定する必要はない）には、第１の基準画像と第２の基準画像の間をさらに広げたとしても、その間の画像をカバーできる可能性があるということであるから、第２の基準画像を現在の第２の基準画像よりも後方の画像に更新する。
　なお、上述したように本実施形態では判定対象画像の後方に基準画像を設定してもよいことから、最初の処理においては第１の基準画像を先頭の画像にする必要はない。２番目以降の所与の画像により、それ以前の全ての画像がカバーされるのであれば、当該所与の画像を基準画像とすることで、それ以前の画像を削除できるためである。
　また、処理部１００は、第１の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、第ｑ－１～第Ｎの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、ｐの値を１に設定した上で再度処理を行う。
　これにより、第１の実施形態で基準画像を要約画像列に含めることとしたのと同様に、本実施形態でも第１の基準画像を要約画像列に含めることが可能になる。また、第１の基準画像と第２の基準画像の間の判定対象画像のうち少なくとも１つが削除不可である場合とは、第１の基準画像と第２の基準画像の間を広げすぎたケースに相当するため、その際の第２の基準画像の前方にある（狭義には前方にあり且つ直近にある）画像は要約画像列に残すべきである。よって、第ｑ－１～第Ｎの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、第１、第２の基準画像及び判定対象画像の選択処理、削除可否判定処理、条件によっては第２の画像の更新処理等を再度行う。なお、設定された部分画像列については、その先頭画像を要約画像列に残すべきであるから、上述のパラメータｐは１とすることが望ましい。
　３．２　変形例（第２の基準画像の他の更新手法）
　次に本実施形態の変形例について述べる。なお、この変形例では第２の基準画像の選択手法について述べる関係上、削除可否判定について同様の表記が繰り返されることになる。よって文章を簡略化するために、第ｑの画像を第２の基準画像として選択して削除可否判定を行った結果、第１の基準画像と第２の基準画像の間の画像が全て削除可能と判定された状況を「第ｑの画像がＯＫである」と表記し、第１の基準画像と第２の基準画像の間の少なくとも１枚の画像が削除不可である状況を「第ｑの画像がＮＧである」と表記する。
　上述の手法では、第ｑの画像がＯＫである場合には、第２の基準画像を再度選択していたが、選択される新たな第２の基準画像は、第ｑ＋１の画像に限定されていた。
　入力画像列として第１～第Ｎの画像が入力され、第１の基準画像として第１の画像を選択した場合、第ｑの画像が第２の基準画像として選択されると判定対象画像の候補としてｑ－２枚の画像（第２～第ｑ－１の画像）が考えられ、判定処理はｑ－２回行われることになる。仮に１回も判定対象画像が削除不可と判定されることなく画像要約処理が終了したとすると、ｑとしては３～Ｎ（仮想的な画像を考慮すればＮ＋１を含んでもよい）が選択されるため、少なくとも１＋２＋３＋…＋（Ｎ－２）＝（Ｎ－２）（Ｎ－１）／２回の処理が必要となり、計算量のオーダーはＮ２となってしまう。つまり、上述した手法ではＮが非常に大きくなると計算量が飛躍的に増えてしまい好ましくない。
　そこでここでは、第２の基準画像を再度選択する場合に、その対象を隣り合う画像に限定せず、選択の幅を広げることで計算量を削減する。具体的には、第ｑの画像がＯＫである場合に、新たな第２の基準画像を第ｑ＋１の画像に限定せず、第ｑ＋２の画像及びその後方の画像から選択することを許容する。この場合、第ｑの画像がＮＧであったとしても、第ｑ－１の画像がＯＫであるか否かはわからない（第ｑ－１の画像が第２の基準画像として選択されていない可能性があるため）。よって、第２の実施形態の基本的な手法のように、第ｑの画像がＮＧだからといって即座に第ｑ－１の画像を要約画像として残すという処理を行うのではなく、基本的には第ｑの画像よりも前方の画像を新たな第２の基準画像として選択することで前方の画像について判定を行うことになる。
　つまり、この変形例では終了条件を満たすまでは、ＯＫの場合は後方に、ＮＧの場合は前方に第２の基準画像を更新することで、第１の基準画像の次の要約画像を探索することになる。新たな第２の基準画像の位置を適切に設定することで、次の要約画像の発見までに第２の基準画像として選択される画像の枚数を減らすことができ、計算量も削減できる。なお、ここでの計算量削減とは、計算量の期待値の削減にとどまるものであり、第１の基準画像の次の要約画像の位置によっては、上述の手法の方が少ない計算量となる可能性は否定できない。以下、変形例の手法を詳細に説明する。
　画像処理装置のシステム構成例は図１１と同様であり、第２の基準画像選択部１００７での第２の基準画像の選択処理（更新処理）が異なる。よって同様の部分については詳細な説明は省略し、異なる点を説明する。
　入力画像列が入力されたら、基準画像選択部１００１は第１の基準画像を選択する。ここでは上述したように入力画像列の先頭の画像（第１の画像）を選択する。なお、入力画像列が画像列取得部２００で取得した画像列である場合（最初の第１の基準画像選択処理が行われる場合）において、先頭以外の画像（例えば仮想的な０番目の画像）を第１の基準画像として選択してもよい点は同様であるが、以下では断りがない限り、第１の基準画像は先頭の画像であるものとして説明する。
　その後第２の基準画像を選択する。ここでは、第２の基準画像の選択対象となる画像に対応する第２の基準画像選択区間（実際には第１の基準画像の次の要約画像を探索する範囲に相当）を設定する。第ｉの画像～第ｊの画像に対応する半開区間［ｉ，ｊ）を第２の基準画像選択区間とし、ｉを第１の基準画像の次の画像に対応させ（狭義にはｉ＝２）、ｊ＝Ｎ＋２とする。なお、ｊ＝Ｎ＋２としたのは、第１の基準画像として仮想的な第０の画像を設定してもいいように、第２の基準画像として仮想的な第Ｎ＋１の画像を設定してもよいためである。第２の基準画像が第Ｎ＋１の画像である場合とは、第１の基準画像だけでその後方の画像全てをカバーでき、第２の基準画像が不要であるか否かを判定する場合に相当する。
　そして、設定された第２の基準画像選択区間から第２の基準画像を選択する。ここでは効率的に処理を行うために、第２の基準画像を所与の条件に基づいて決定する。まず、第１の基準画像設定後、初めて第２の基準画像が選択される場合には、第２の基準画像として第ｉ＋１の画像（狭義には第３の画像）を選択する。この点は第２の実施形態の基本的な手法と同様である。
　ここまでの処理を図示したものが図２０（Ａ）である。ここではＮ＝１２の画像列を考えており、第１の基準画像が１番目の画像、第２の基準画像選択区間が２番目の画像～１４番目の画像（ｉ＝２，ｊ＝１４）、第２の基準画像が３番目の画像となっている。
　第２の基準画像が選択された後の、判定対象画像選択処理、被覆率算出処理、削除可否判定処理、及びこれらの処理の繰り返しについては上述の手法と同様であるため詳細な説明は省略する。
　所与の画像（最初は第３の画像）を第２の基準画像として選択した場合に、その画像がＯＫであれば、第２の基準画像の位置を第１の基準画像からさらに離してもよいということであるから、新たな第２の基準画像として、現在のものよりも後方の画像を選択する。この考え方自体は第２の実施形態の基本的な手法と同様である。しかし、上述の手法では第２の基準画像を１つずつ後方に移していったが、ここでは２つ以上後方の画像に移行してもよい。
　一例としては、現在の第２の基準画像が第１の基準画像から数えてａ番目の画像である場合に、第１の基準画像から数えて２×ａ番目の画像を新たな第２の基準画像としてもよい。具体的には図２０（Ｂ）に示したように、３番目の画像（第１の基準画像から数えて２番目）が第２の基準画像として選択された場合に、当該３番目の画像がＯＫであれば、次の第２の基準画像は５番目（第１の基準画像から数えて４番目）の画像を選択することになる。
　ところで、ｑ番目の画像がＯＫならば、ｑ－１番目以前の画像は要約画像列に残される要約画像として選択する必要はない。よって、第２の基準画像として現在位置（ｑ番目）よりも前方の画像を選択するメリットはないため、第２の基準画像選択区間を更新するとよい。具体的には、選択区間の始点ｉをｉ＝ｑとすればよい。この変形例では、第２の基準画像は第２の基準画像選択区間から選択されることとしているため、こうすることで現在位置よりも前方の画像を選択することがなくなる。例えば、図２０（Ｂ）に示したように、３番目の画像がＯＫである場合、２番目の画像は要約画像とはならないため、選択区間から外してよく、選択区間の始点を３番目の画像に更新する。
　同様に、５番目の画像がＯＫならば、図２０（Ｃ）に示したように９番目の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の始点を５番目の画像に更新する。
　しかし、図２０（Ｃ）において仮に９番目の画像がＯＫである場合を考えればわかるように、ｑ番目の画像を第２の基準画像として、当該第ｑの画像がＯＫの場合に、ｑの値が大きくなると新たな第２の基準画像が極端に後方になってしまう可能性がある。例えば、Ｎ＋１番目よりも後方の画像が候補になってしまい第２の基準画像が選択不可となったり、そうでなくても更新前後の第２の基準画像の間隔が広くなりすぎて、次の要約画像の探索が非効率的になったりする。
　そこで、新たな第２の基準画像として現在位置よりも後方の画像を選択する場合に、他の手法を併用してもよい。一例としては新たな第２の基準画像を、（ｑ＋ｊ）／２の値に基づいて決定する。例えば９番目の画像がＯＫの場合、第２の基準画像選択区間の始点が９番目の画像に更新されるため、［９，１４）の半開区間となる。つまり、その中央付近の画像を新たな第２の基準画像とすることで、探索範囲の中央を処理対象とすることになる。探索範囲の中央について判定を行うことで探索範囲を半減させていく手法は、広く知られている二分探索に他ならず、二分探索が計算量の面で利点があることもまた広く知られている。本実施形態の第２の基準画像選択区間とは、所与の画像がＯＫであればそれより前方の画像は全てＯＫと考えてよく、所与の画像がＮＧであればその後方の画像は全てＮＧと考えてよいという性質のものであり、二分探索の手法を適用可能である。つまり、更新前の第２の基準画像と、第２の基準画像選択区間の終点との中間付近から、新たな第２の基準画像を選択することで、効率的な処理が期待できる。
　ここでは、第１の基準画像起点の距離を２倍にしていく手法と、二分探索に対応する手法を併用するものとする。例えば、第ｑの画像が更新前の第２の基準画像である場合に、次の第２の基準画像として下式（１）を満たす第ｋの画像とすればよい。ここでmin(a,b)はａとｂのうち小さい方を表すものである。
Figure JPOXMLDOC01-appb-M000001
　一方、上述したように第ｑの画像がＮＧの場合には、ＯＫの場合とは逆に現在位置よりも前方から新たな第２の基準画像を選択することになる。どの程度前方の画像を選択するかは種々の手法により決定可能であるが、例えばここでも二分探索に対応した手法を用いてもよい。この場合、第２の基準画像選択区間の始点が第ｉの画像であるため、新たな第２の基準画像は、（ｉ＋ｑ）／２の値に基づいて決定される。また、第ｑの画像がＮＧである以上、第ｑの画像及びその後方の画像は要約画像として選択されることはない。よって第２の基準画像選択区間の終点を更新してよく、ｊ＝ｑとすればよい。９番目の画像がＮＧである場合の例を図２０（Ｄ）に示す。新たな第２の基準画像として７番目の画像が選択されるとともに、第２の基準画像選択区間の終点ｊがｊ＝９に更新される。
　なお、第２の基準画像選択区間が半開区間であるとしたのは、ここでの説明の便宜のためである。つまり、第ｑの画像がＯＫの場合は、当該第ｑの画像は要約画像として選択される可能性を残しているため、第２の基準画像選択区間の始点ｉをｉ＝ｑとした場合に、ｉは第２の基準画像選択区間に含まれているとよい。一方、第ｑの画像がＮＧの場合は、当該第ｑの画像は要約画像として選択されないため、第２の基準画像選択区間の終点ｊをｊ＝ｑとした場合に、ｊは第２の基準画像選択区間に含めないほうがよい。以上のことから、第２の基準画像選択区間を［ｉ，ｊ）としたにすぎず、符号や式の表記次第では開区間や閉区間により第２の基準画像選択区間を表すことに何も問題はない。
　以上の処理により、第２の基準画像選択区間（狭義には次の要約画像の探索範囲）を狭めていく。次の要約画像とは、第ｋの画像がＯＫであり且つ第ｋ＋１の画像がＮＧである場合の第ｋの画像であるから、ＯＫの画像とＮＧの画像が隣り合っている箇所が見つかったら処理を終了することになる。上述の例では、終了の直前では二分探索的に処理を行っていくことが想定され、例えば図２０（Ｅ）のようになる。第ｉの画像はＯＫであり、その２つ隣の第ｊの画像はＮＧであり、その間の第ｑの画像が第２の基準画像となっている。この場合、第ｑの画像がＯＫであれば図２０（Ｆ）、ＮＧであれば図２０（Ｇ）のようになり、どちらにせよ第２の基準画像選択区間の始点と終点が隣り合い、且つ始点に対応する画像がＯＫ、終点に対応する画像がＮＧとなる。よって、次の要約画像として始点に対応する画像を選択すればよいため、入力画像列に対する探索処理は終了する。
　次の要約画像が見つかったのであれば、当該画像及びそれ以降の画像からなる部分画像列を入力画像列として設定すればよい点は第２の実施形態の基本的な手法と同様である。よって、部分画像列設定部１００８は、第２の基準画像選択区間の始点、及びそれ以降の画像を部分画像列に設定し、当該部分画像列を新たな入力画像列とする。新たな入力画像列が与えられたら、それ以降の処理については同様であるため詳細な説明は省略する。
　図２１にこの処理を説明するフローチャートを示す。Ｓ６０１，Ｓ６０２についてはＳ３０１，Ｓ３０２と同様である。Ｓ６０２で第１の基準画像が選択された後に、第２の基準画像選択区間を設定する（Ｓ６０９）。Ｓ６０２の直後に行われるＳ６０９の処理としては、例えば上述したようにｉ＝２，ｊ＝Ｎ＋２を満たす［ｉ，ｊ）の半開区間を設定すればよい。また、後述するようにＳ６０３やＳ６０６の後にＳ６０９の処理が行われる場合には、すでに設定されている第２の基準画像選択区間の更新処理となる。
　Ｓ６０９で第２の基準画像選択区間の設定（或いは更新）処理が行われたら、その始点と終点が隣り合うか（ｊ＝ｉ＋１を満たすか）の判定を行う（Ｓ６１０）。Ｓ６１０でＹｅｓの場合には、図２０（Ｆ）に示したように第ｉの画像が、第１の画像の次の要約画像であるとわかった状況であるから、第ｉの画像及びそれ以降の画像を部分画像列に設定し（Ｓ６０７）、Ｓ６０２に戻る。
　Ｓ６１０でＮｏの場合には、まだ次の要約画像が見つかっていない状況であるから、Ｓ６０９で設定した第２の基準画像選択区間から第２の基準画像を選択する（Ｓ６０８）。Ｓ６０２による第１の基準画像設定後、初めてＳ６０８の処理が行われる場合には、例えば第ｉ＋１の画像（第１の基準画像の２つ後方の画像）を選択すればよい。それ以外の場合には、直前の第２の基準画像の位置に応じて、新たな第２の基準画像を選択する処理を行うことになる。
　Ｓ６０８で第２の基準画像を選択したら、判定対象画像を選択する（Ｓ６０３）。判定対象画像選択後の被覆領域算出処理（Ｓ６０４）、被覆率算出処理（Ｓ６０５）、画像削除可否判定処理（Ｓ６０６）についてはＳ３０４～Ｓ３０６と同様である。Ｓ６０６で削除可能と判定された場合には、Ｓ６０３に戻り判定対象画像を１つ後方の画像に更新し、同様の処理を行う。Ｓ６０３～Ｓ６０６の処理を繰り返すことで、第１の基準画像と第２の基準画像の間の画像が全て削除可能であるか、或いは少なくとも１つが削除不可であるかの判定が実行される。全て削除可能の場合にはＳ６０３の判定で、判定対象画像＝第２の基準画像となり、Ｓ６０９に戻る。また、少なくとも１枚の画像が削除不可である場合にはＳ６０６の判定で削除不可となりＳ６０９に戻る。なお、図２１では不図示であるが、Ｓ６０３からＳ６０９に戻ったのか、或いはＳ６０６からＳ６０９に戻ったのかという情報を保持しておき、それに応じて次のＳ６０９等での処理を変更する必要がある。
　Ｓ６０３からＳ６０９に戻った場合には、全ての画像が削除可能な状況であるため、第２の基準画像選択区間の始点を更新する処理を行い、その結果Ｓ６０８では１つ前の第２の基準画像よりも後方の画像が新たな第２の基準画像として選択される。一方、Ｓ６０６からＳ６０９に戻った場合には、少なくとも１枚の画像が削除不可である状況であるため、第２の基準画像選択区間の終点を更新する処理を行い、その結果Ｓ６０８では１つ前の第２の基準画像よりも前方の画像が新たな第２の基準画像として選択される。
　以上の変形例では、第１～第Ｎの画像からなる入力画像列から、第ｐの画像が第１の基準画像として選択され、第ｑの画像を第２の基準画像として選択する場合に、処理部１００は、第ｐ＋２～第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から第２の基準画像を選択する。そして、第１の基準画像及び第２の基準画像に基づいて判定対象画像の削除可否の判定を行い、第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな第２の基準画像として選択する。また、それとともに、第２の基準画像選択区間の始点を第ｑの画像に更新してもよい。
　ここで、第２の基準画像選択区間は、第２の基準画像の候補となる画像という性質を鑑みれば、第ｐ＋２～第Ｎの画像を含むことになる。ただし、第２の基準画像として第Ｎ＋１の画像のように仮想的な画像を選択してもよいため、第２の基準画像選択区間の終点がＮより大きくなってもよい。また、第２の基準画像選択区間には次の要約画像の探索範囲という側面もあるため、第２の基準画像として選択されない画像であっても、要約画像として選択されうる画像は当該選択区間に含まれるものとしてもよい。その場合第２の基準画像選択区間の始点として第１の基準画像の１つ後方の画像（第ｐ＋１の画像）を設定してもよいことになる。
　これにより、第２の基準画像を更新する際に、新たな第２の基準画像の位置を柔軟に決定することが可能になる。第２の実施形態の基本的な手法は、言うなれば探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第２の基準画像として選択可能にすることで、一単位の判定（第ｑの画像がＯＫかＮＧかという判定）により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。
　また、処理部１００は、第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな第２の基準画像として選択してもよい。それとともに、第２の基準画像選択区間の終点を第ｑの画像に更新する。
　これにより、第２の基準画像を更新する際に、現在の第２の基準画像よりも前方の画像を、新たな第２の基準画像として選択することが可能になる。上述したように、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第２の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合には、前方への探索を行うことで適切な処理を行うことが可能になる。また、後方への探索と同様に、新たな第２の基準画像の選択は隣り合う画像に限定されない。
　また、処理部１００は、第ｊ（ｊは整数）の画像が第２の基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が第２の基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。
　これにより、新たな第２の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第２の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第２の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（第２の基準画像選択区間の長さに相当）を半減させていくことが可能になり、第２の基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には第２の実施形態の基本的な手法（計算量のオーダーはＮ２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。
　また、処理部１００は、第２の基準画像選択区間の始点又は終点を更新した結果、始点と終点が隣り合う場合に、第１の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、始点に対応する画像、及び始点に対応する画像よりも入力画像列において後方の画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、ｐの値を１に設定して再度処理を行ってもよい。
　ここで、始点と終点が隣り合うとは、始点に対応する画像と終点に対応する画像が、入力画像列において隣り合うことを表す。入力画像列としてＮ枚の画像が与えられた場合には、入力画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。具体的には、入力画像列の各画像を第１～第Ｎの画像として表し、振られた数値が小さい画像ほど前方にあるものとする。よって、画像列中の第ｉの画像と第ｊ（＞ｉ）の画像が隣り合うとは、ｊ＝ｉ＋１を満たす状況を指す。
　これにより、入力画像列に対する処理の終了条件として、第２の基準画像選択区間の始点、終点（或いは長さ）に基づく条件を設定することが可能になる。このような終了条件を設定することで、第２の基準画像として選択された場合にＯＫと判定される画像群のうち、第１の基準画像から最も離れていると予想される画像を、部分画像列の先頭画像（次の要約画像に相当）として選択することができる。なぜなら、図２０（Ｆ）等に示したように、この終了条件とはＯＫの画像とＮＧの画像が隣り合う位置を探索することに等しいためである。そのため、最終的に出力される要約画像列に含まれる要約画像の枚数を少なくすることができ、ユーザの負担軽減等が可能になる。
　３．３　変形例（第２の基準画像の初期設定）
　以上の第２の実施形態及びその変形例では、入力画像列（画像列取得部２００が取得した画像列でもよいし、その一部の画像からなる部分画像列であってもよい）が入力された場合、最初に設定される第２の基準画像は、第１の基準画像の２つ後方の画像に限定されていた。
　しかし、第２の基準画像の初期位置は異なるものであってもよい。例えば、実際の画像列では似たような画像が長く続く区間と、似たような画像があまりない区間が隣り合うことは多くない。つまり、次回の要約区間の長さ（隣り合う要約画像がどれだけ離れているかを表す）は、前回の要約区間の長さに近いことが予測される。よって、すでに要約画像が複数得られており、「前回の要約区間の長さ」に相当する情報が取得されているのであれば、第２の基準画像の初期位置を、第１の基準画像から「前回の要約区間の長さ」だけ離れた位置に設定することで、より早く正解に到達することが期待されることになり、計算量の削減効果も期待できる。
　具体的には、直前の要約画像及びその１つ前の要約画像から、要約区間の長さｇを取得しておく。そして、第２の基準画像選択区間が［ｉ，ｊ）である場合に、第２の基準画像を第ｉ＋１の画像ではなく、第ｉ＋ｇの画像に設定すればよい。なお、すでに決定している要約画像が０枚又は１枚の場合にはｇを取得することができない。この場合には、ｇを用いずに第２の基準画像の初期位置を設定することになる。例えば、要約画像が０枚であれば、上述してきたように第２の基準画像を第ｉ＋１の画像にしてもよい。また、要約画像が１枚の場合には、画像列取得部２００が取得した画像列の先頭の画像から、当該要約画像までの長さをｇ’とし、最初の第２の基準画像を第ｉ＋ｇ’の画像としてもよい。
　なお、第２の基準画像の更新処理が必要になった場合、その更新手法は種々の手法が考えられる。例えば、上述した変形例のように二分探索の手法を用いて次の第２の基準画像を選択してもよい。
　しかし、第ｉ＋ｇの画像付近に次の要約画像がある可能性が高いという仮定を鑑みれば、更新後の第２の基準画像が第ｉ＋ｇの画像から大きく離れることは、次の要約画像発見までの探索回数を増大させかねず、かえって好ましくないと考えることもできる。その場合には、第２の実施形態の基本的な手法として述べたように、前回の第２の基準画像と隣り合う画像を新たな第２の基準画像として選択してもよい。ただし、第ｉ＋１～第ｉ＋ｇ－１の画像について判定が行われていない以上、その範囲に次の要約画像がある可能性もある。よって、第２の基準画像の更新は１つずつ後方に移行させるものに限定されず、削除可否の判定結果次第では１つずつ前方に移行させる場合もあり得る。
　４．第３の実施形態
　第３の実施形態では、基準画像の前方・後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法を説明する。図１５に本実施形態における画像処理装置のシステム構成例を示す。図１の処理部１００に対して画像列分割部１００６が追加された構成となっている。
　本実施形態では、基準画像選択部１００１は、入力画像列の最初及び最後の画像以外の画像から基準画像を選択する（入力画像列の画像が３枚未満であればこの限りではない）。狭義には入力画像列の中央の画像を基準画像としてもよい。判定対象画像選択部１００２は、入力画像列に含まれる画像のうち、基準画像以外の全ての画像を順次選択する。
　画像列分割部１００６は、入力画像列を基準画像よりも前の画像からなる第１の画像列と、基準画像よりも後の画像からなる第２の画像列に分割する。部分画像列設定部１００８は、第１の画像列に含まれる画像の削除可否の判定結果に基づいて部分画像列設定処理を行うとともに、第２の画像列に含まれる画像の削除可否の判定結果に基づいて部分画像列設定処理を行う。
　図１６に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まずＳ１０１等と同様に画像要約処理の対象となる画像列を画像列取得部２００において取得する（Ｓ５０１）。そして、画像列取得部２００で取得した画像列を入力画像列群に追加する。
　次に入力画像列群に含まれる入力画像列に対して図１７を用いて後述する処理を実行する（Ｓ５０２）。初めてＳ５０２の処理が行われる場合には、Ｓ５０１で取得された画像列に対する処理となる。なお、Ｓ５０２の処理対象となった入力画像列は入力画像列群からは削除される。その後、入力画像列群に入力画像列が残っているかの判定を行う（Ｓ５０３）。後述するように、Ｓ５０２における処理では、場合によって１つ又は２つの部分画像列が設定され、設定された部分画像列は入力画像列群に追加されることになるため、Ｓ５０３でＹｅｓと判定されることはありえる。Ｓ５０３でＮｏの場合には処理を終了する。
　図１７に図１６のＳ５０２における処理を説明するフローチャートを示す。この処理が開始されると、まず入力画像列群から処理対象となる入力画像列を選択する（Ｓ４０１）。Ｓ４０２～Ｓ４０６については、基準画像の選択位置の差異等はあるものの、おおむねＳ１０２～Ｓ１０６と同様である。なお、本実施形態では削除可否の判定結果に関わらず、入力画像列に含まれる全ての画像（ただし基準画像を除く）を順次判定対象画像として選択し処理を行う。そして全ての画像により削除可否の判定が終了した場合に、Ｓ４０３において選択する画像がないと判定されＳ４０９に移行する。
　Ｓ４０９では、入力画像列を基準画像よりも前の画像からなる第１の分割画像列と、基準画像よりも後の画像からなる第２の分割画像列に分割する。そして、第１の分割画像列及び第２の分割画像列に基づいて部分画像列の設定処理が行われる（Ｓ４０７）。Ｓ４０７では具体的には、まず第１の分割画像列に含まれる画像の中に、少なくとも１つＳ４０６において削除不可と判定された画像があるか否かの判定を行い（Ｓ４０７１）、Ｙｅｓの場合には第１の分割画像列を部分画像列に設定し、入力画像列群に追加する（Ｓ４０７２）。同様に、第２の分割画像列に含まれる画像の中に、少なくとも１つＳ４０６において削除不可と判定された画像があるか否かの判定を行い（Ｓ４０７３）、Ｙｅｓの場合には第２の分割画像列を部分画像列に設定し、入力画像列群に追加する（Ｓ４０７４）。つまり、Ｓ５０２の処理では、１つの入力画像列を入力として処理が行われた結果として、０～２個の部分画像列が入力画像列群に追加されることになる。
　以上の画像要約処理を図示したものが図１８（Ａ）～図１８（Ｂ）である。図１８（Ａ）に示したように、Ｎ枚の画像を有する画像列が画像列取得部２００で取得された場合には、当該画像列が入力画像列群に追加され、Ｓ５０２での処理対象となる。Ｓ５０２では、まずｘ番目（２≦ｘ≦Ｎ－１であり、狭義にはｘはＮ／２に近い値）の画像が基準画像として選択され、１～ｘ－１番目の画像、及びｘ＋１～Ｎ番目の画像が、順次判定対象画像として選択され、削除可否の判定が行われる。
　そして、１～ｘ－１番目の画像のうち少なくとも１つの画像が削除不可と判定された場合には、１～ｘ－１番目の画像の全てを基準画像によりカバーすることができないということであるから、１～ｘ－１番目の画像の中に基準画像を設定する必要がある。具体的には、１～ｘ－１番目の画像を分割画像列として、当該分割画像列を入力画像列としてＳ５０２の処理を再度実行することになる。例えば、図１８（Ｂ）に示したように、ｘ－１枚の画像からなる画像列のうち、ｙ番目（２≦ｙ≦ｘ－２であり、狭義にはｙは（ｘ－１）／２に近い値）の画像が基準画像として選択され、他の画像を順次判定対象画像として選択し、削除可否の判定を行う。この結果、場合によっては１～ｙ－１番目の画像からなる分割画像列や、ｙ＋１～ｘ－１番目の画像からなる分割画像列が入力画像列群に追加され、Ｓ５０２の処理の対象となる。以下、分割画像列に含まれる全ての画像が削除可能と判定され、当該分割画像列を要約画像列には含めないものとできるまで、Ｓ５０２の処理が反復されることになる。
　また、ｘ＋１～Ｎ番目の画像からなる分割画像列についても、図１８（Ｂ）に示したように同様の処理が行われることになる。
　以上の本実施形態では、第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第ｓ（ｓは２≦ｓ≦Ｎ－１を満たす整数）の画像を前記基準画像として選択するとともに、第ｔ（ｔは１≦ｔ≦Ｎかつｔ≠ｓを満たす整数）の画像を前記判定対象画像として選択する。そして、基準画像と判定対象画像の間の変形情報に基づいて被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。さらに、第１～第ｓ－１の画像のうち少なくとも１つが削除不可と判定された場合には、第１～第ｓ－１の画像からなる部分画像列を入力画像列として設定し、再度処理を行う。また、第ｓ＋１～第Ｎの画像のうち少なくとも１つが削除不可と判定された場合には、第ｓ＋１～第Ｎの画像からなる部分画像列を入力画像列として設定し、再度処理を行う。
　これにより、図１８（Ａ）、図１８（Ｂ）に示した処理が可能になる。ここで第ｓの画像は望ましくは入力画像列の中央付近の画像である。つまり、基準画像を境界として入力画像列を２つの分割画像列に分け、それぞれについて削除可否判定を行い、削除不可であれば当該分割画像列を入力画像列に設定する。よって、本実施形態では１つの入力画像列が入力された場合に、出力として２つの新たな入力画像列が設定される可能性がある。また、本実施形態では分割画像列において少なくとも１つの画像が削除不可と判定された場合には、当該分割画像列全体が新たな入力画像列に設定され、その中から基準画像が選択される。つまり、所与の画像が削除可能と判定されたとしても即座に削除が確定するとは限らず、当該所与の画像を含む分割画像列が新たな入力画像列に設定された際に、当該所与の画像が基準画像として選択され、最終的に要約画像列に含まれる（すなわち画像要約処理によって削除されない）可能性がある点には留意すべきである。
　５．第４の実施形態
　観察領域を用いた基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明した後、削除可否判定処理の詳細について３つの例を挙げて説明する。
　５．１　システム構成例
　図２２に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。
　処理部１００は、図２２に示したように基準画像選択部１０１１と、判定対象画像選択部１０１２と、変形情報取得部１０１３と、観察領域設定部１０１４と、対応領域設定部１０１５と、画像特徴量算出部１０１６と、削除可否判定部１０１７と、部分画像列設定部１０１８と、を含んでもよい。
　基準画像選択部１０１１、判定対象画像選択部１０１２については、図１の基準画像選択部１００１、判定対象画像選択部１００２と同様である。変形情報取得部１０１３は、２つの画像間の変形情報を取得する。
　観察領域設定部１０１４は、判定対象画像の一部の領域を観察領域として設定する。観察領域としては、例えば一辺の長さがＬの正方形領域を用いればよい。対応領域設定部１０１５は、変形情報取得部１０１３で取得された変形情報に基づいて、観察領域を変形し、基準画像上の対応領域を求める。
　画像特徴量算出部１０１６は、観察領域設定部１０１４で設定された観察領域の特徴量、及び対応領域設定部１０１５で設定された対応領域の特徴量を算出する。特徴量の具体例については後述する。
　削除可否判定部１０１７は、画像特徴量算出部１０１６で算出された観察領域の特徴量（第２の特徴量）と、対応領域の特徴量（第１の特徴量）とに基づいて、判定対象画像の削除可否判定を行う。詳細は後述する。
　部分画像列設定部１０１８は、削除可否判定部１０１７で判定対象画像が削除できないと判定された場合に、その時点での判定対象画像の画像列中での位置に基づいて、画像列の一部であって、１枚以上の画像からなる画像列を部分画像列として設定する。
　５．２　処理の流れ
　次に、図２３のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ７０１）。
　基準画像選択部１０１１は入力画像列（最初の処理においてはＳ７０１で取得された画像列であり、その後は後述するＳ７０９で設定される部分画像列）の先頭の画像を基準画像として選択する（Ｓ７０２）。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等の理由により入力画像列から基準画像を選択できない場合（例えば画像列に画像が存在しない場合等）には、処理を終了する。
　そして、判定対象画像選択部１０１２は、入力画像列に含まれる画像から判定対象画像を選択する（Ｓ７０３）。判定対象画像が未設定の場合には、基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。判定対象画像が選択できなくなった場合（入力画像列に含まれる画像の枚数が２或いはｋ＋１よりも少なかった場合等）には、処理を終了する。
　基準画像と判定対象画像が選択されたら、変形情報取得部１０１３は、基準画像と判定対象画像の間の変形情報を取得する（Ｓ７０４）。そして、判定対象画像上に観察領域を設定する（Ｓ７０５）。Ｓ７０３での判定対象画像設定後、初めてＳ７０５の処理が行われる場合には、例えば判定対象画像の左上の領域を観察領域とすればよい。
　観察領域が設定された場合には、設定された観察領域をＳ７０４で取得した変形情報に基づいて変形して、基準画像上に射影することで対応領域を求める（Ｓ７０６）。
　そして、観察領域の特徴量である第２の特徴量と、対応領域の特徴量である第１の特徴量を求め（Ｓ７０７）、求めた第１，第２の特徴量に基づいて、判定対象画像の削除可否判定を行う（Ｓ７０８）。Ｓ７０７，Ｓ７０８での処理の詳細は後述する。
　Ｓ７０８で判定対象画像が削除可能と判定された場合には、Ｓ７０５に戻り観察領域を再設定する。具体的には、観察領域の設定位置を更新する処理を行えばよく、一例としては図２４に示したように観察領域の判定対象画像上の位置を左上から右下方向へ移動させていけばよい。観察領域が設定された場合には、Ｓ７０６～Ｓ７０８の処理を再度実行する。
　Ｓ７０５において、観察領域が右下端に到達した場合には、判定対象画像に設定された全ての観察領域において、Ｓ７０８の削除可否判定の結果が削除可能となったということであるため、当該判定対象画像は削除可能であるという結果を確定させ、Ｓ７０３に戻り判定対象画像の更新処理を行う。
　一方、観察領域を更新していく中で、一回でもＳ７０８で判定対象画像が削除不可と判定された場合には、当該判定対象画像は削除不可であるという結果を確定させ、部分画像列設定部１０１８は部分画像列を設定する（Ｓ７０９）。具体的には、削除不可と判定された判定対象画像及び、それ以降の画像から構成される画像列を部分画像列として設定すればよい。部分画像列が設定されたら、Ｓ７０２に戻り、当該部分画像列を入力画像列として上述の処理を実行する。画像要約処理の流れとしては図４（Ａ）～図４（Ｄ）を用いた上述したものと同様である。
　なお、図２３のフローチャートでは、Ｓ７０８で１回でも削除不可と判定された場合には、判定対象画像は削除不可となるものとして説明したが、これに限定されるものではない。例えば、判定対象画像上に最大Ｍ回（Ｍは２以上の整数）観察領域が設定される場合に、１≦ｔ≦Ｍを満たす整数ｔを設定し、Ｓ７０８でｔ回以上削除不可と判定された場合に、判定対象画像を削除不可としてもよい。また、最大Ｍ回行われるＳ７０８での削除可否判定の結果から、最終的な結果を決定する際に、他の手法を用いてもよく、例えば画像周縁部に設定された観察領域（或いは対応領域）での結果よりも、画像中央部に設定された観察領域（或いは対応領域）での結果を重視する重み付け処理を行う等、種々の変形実施が可能である。
　５．３　削除可否判定
　次に図２３のＳ７０７での特徴量算出処理、及びＳ７０８での削除可否判定処理の詳細について説明する。なお、ここでは観察領域及び対応領域は設定済みであるものとして説明する。
　５．３．１　明度情報に基づく削除可否判定
　まず、特徴量として観察領域及び対応領域の明度情報を用いる手法について説明する。領域の明度情報を表す指標値は種々考えられるが、例えば、領域内の画素のＲＧＢ値を明度値に変換し、当該明度値の領域内での平均値を特徴量とすればよい。なお、各画素の明度値から領域の明度情報を求める手法は平均値の算出に限定されるものではなく、中央値等を用いてもよい。また、平均値の算出も単純平均に限定されるものではなく、加重平均を用いてもよいし、極端な値を除外するトリム平均を用いてもよい。
　各画素のＲＧＢ値を明度値に変換する手法も種々考えられるが、ここでは、Ｒの画素値、Ｇの画素値、Ｂの画素値のうち、最大のものをそのまま明度値として用いるものとする。ただし、他の手法により明度値を求めることを妨げるものではない。
　次に、対応領域の明度情報である第１の特徴量、及び観察領域の明度情報である第２の特徴量に基づく削除可否判定処理について説明する。ここでは、２つの条件に基づいて判定対象画像の削除可否を判定する。
　第１の条件は、上限閾値Ｋ＿ｏｖｅｒ及び下限閾値Ｋ＿ｕｎｄｅｒにより決定される条件である。具体的には、第１の特徴量とＫ＿ｏｖｅｒ、Ｋ＿ｕｎｄｅｒとの比較処理を行う。さらに具体的には、第１の特徴量が下式（２）を満たす場合には、判定対象画像を削除可能と判定し、そうでない場合には削除不可と判定する。
　　K_under≦第１の特徴量≦K_over　・・・・・（２）
　ここで、Ｋ＿ｕｎｄｅｒは、明度情報がその値より小さい場合には、領域が暗すぎることにより観察が困難となるような値を設定すればよく、第１の特徴量がＫ＿ｕｎｄｅｒよりも小さい場合とは、典型的には対応領域が黒つぶれしており観察に適さない状況を表す。
　一方、Ｋ＿ｏｖｅｒは、明度情報がその値より大きい場合には、領域が明るすぎることにより観察が困難となるような値を設定すればよく、第１の特徴量がＫ＿ｏｖｅｒよりも大きい場合とは、典型的には対応領域が白飛びしており観察に適さない状況を表す。
　上式（２）に基づく判定を行うことで、対応領域が白飛びや黒つぶれしている（或いはそれに近い状態になっている）ことを検出できるため、対応領域に撮像されている被写体は観察が困難であることがわかる。その場合、対応領域と観察領域は変形情報に基づいて設定されている以上、撮像された被写体領域に対応関係を有するため、判定対象画像を要約画像列に残して判定対象画像上の観察領域を参照することで、適切な観察が可能となる。
　なお、判定対象画像を要約画像列に残したとしても、判定対象画像上に観察領域が白飛びや黒つぶれしているのでは問題としている被写体が観察できないことに変わりがなく、判定対象画像を残す利点は少ない。よって、上式（２）の判定だけでなく、下式（３）についても判定を行い、上式（２）が満たされず、且つ下式（３）が満たされる場合に、判定対象画像を削除不可と判定し、それ以外では削除可能と判定する手法を用いてもよい。
　　K_under≦第２の特徴量≦K_over　・・・・・（３）
　また、第２の条件は、第１の特徴量と第２の特徴量の差分値（狭義にはその絶対値）に対して、所与の閾値Ｋ＿ｌｉｇｈｔにより決定される条件である。具体的には、下式（４）が成り立つ場合に、判定対象画像が削除不可と判定する。
　　｜第１の特徴量－第２の特徴量｜＞K_light　・・・・・（４）
　第１の特徴量と第２の特徴量の差分値の絶対値が大きい場合とは、図２５に示したように、対応領域の明るさと観察領域の明るさが大きく異なる状況である。被写体を観察するに当たって好ましい明るさとは、被写体の種類等によって異なってくることが想定され、明るい画像の方が観察しやすいケースもあれば、暗い画像の方が観察しやすいケースもあり得る。閾値Ｋ＿ｌｉｇｈｔの設定にもよるが、上式（４）が成り立つ状況とは、第１，第２の特徴量の一方が大きく、他方が小さい場合が想定され、これは対応領域と観察領域の一方が明るく、一方が暗いという極端な状況に対応する。つまり、対応領域の明るさは汎用的に用いることができると想定される中間的な値ではないため、状況によっては対応領域の被写体は観察が困難な可能性がある。よって、明るさの大きく異なる観察領域を含む判定対象画像を要約画像列に残すことで、適切な観察を行える可能性を向上させる。
　なお、上式（４）が成り立つ場合でも、対応領域が観察に適しており、観察領域の方が観察に適していないという場合も考えられる。しかし、上述したようにどのような明るさが観察に適するかは状況に依存するため、事前の設定が難しい以上、本実施形態では上式（４）が成り立つのであれば、判定対象画像を要約画像列に残す処理を行うものとする。つまり、本実施形態の手法は、状況によっては不要な判定対象画像を要約画像列に残す可能性があることを許容するものである。
　５．３．２　サイズ情報に基づく削除可否判定
　次に、特徴量として観察領域及び対応領域のサイズ情報を用いる手法について説明する。サイズ情報とは、領域の面積に対応するものであり、例えば領域に含まれる画素の数をカウントすることで求めればよい。ただし、サイズ情報の算出手法はこれに限定されず他の手法により求めてもよい。
　サイズ情報を特徴量とした場合に問題としているのは、図２６に示したように対応領域のサイズが極端に小さくなり被写体がつぶれてしまう状況である。よってここでは、対応領域のサイズ情報である第１の特徴量の値が小さい場合に、判定対象画像を要約画像列に残し、対応領域でつぶれてしまった被写体は判定対象画像の観察領域で観察できるようにする。なお、対応領域のサイズのみ（つまり第１の特徴量のみ）から削除可否判定を行うことを妨げるものではないが、ここでは対応領域のサイズに対する観察領域のサイズの比等の相対的なサイズを用いて判定を行うものとする。例えば下式（５）を満たす場合に、対応領域のサイズが観察に適さない程度に小さくなったものとして、判定対象画像を削除不可と判定する。
　　（第２の特徴量／第１の特徴量）＞K_area　・・・・・（５）
　なお、判定に用いる式は上式（５）に限定されず、第１の特徴量と第２の特徴量の相違度に基づくものであればよい。例えば、第２の特徴量の対数と、第１の特徴量の対数との差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。また、単純に第２の特徴量と第１の特徴量の差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。
　５．３．３　所与の形状との類似度に基づく削除可否判定
　次に、特徴量として観察領域及び対応領域の所与の形状との類似度を用いる手法について説明する。所与の形状との類似度とは、領域が所与の形状にどの程度類似しているかを表すものであり、例えば所与の形状が円であれば、下式（６）により求められる円形度を特徴量とすればよい。ただし、所与の形状は円に限定されるものではなく、類似度の算出手法も下式（６）に限定されるものではない。
Figure JPOXMLDOC01-appb-M000002
　所与の形状との類似度を特徴量とした場合に問題としているのは、図２７に示したように対応領域が極端な形状をとることで、被写体がつぶれてしまう状況である。例えば図２７では、対応領域が長辺に対して短辺が極端に短い長方形をとることにより、短辺方向において被写体が圧縮され観察が困難となっている。よってここでは、所与の形状として観察に適した単純な形状（例えば円形状や正方形等）を設定した上で、対応領域の所与の形状との類似度である第１の特徴量の値が小さい場合に、判定対象画像を要約画像列に残し、対応領域でつぶれてしまった被写体は判定対象画像の観察領域で観察できるようにする。なお、対応領域の類似度のみ（つまり第１の特徴量のみ）から削除可否判定を行うことを妨げるものではないが、ここでは対応領域の類似度に対する観察領域の類似度の比等の相対的な情報を用いて判定を行うものとする。例えば下式（７）を満たす場合に、対応領域の形状が観察に適さない程度に極端になったものとして、判定対象画像を削除不可と判定する。
　　（第２の特徴量／第１の特徴量）＞K_shape　・・・・・（７）
　なお、判定に用いる式が上式（７）に限定されない点はサイズ情報を用いた例と同様である。例えば、第２の特徴量の対数と、第１の特徴量の対数との差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。また、単純に第２の特徴量と第１の特徴量の差分値を求め、求めた差分値と所与の閾値との比較処理を行ってもよい。
　５．３．４　複数の特徴量による判定の組み合わせ
　また、上述した明度情報を用いた削除可否判定、サイズ情報を用いた削除可否判定、及び所与の形状との類似度を用いた削除可否判定のうち、２つ以上を組み合わせて用いてもよい。
　この際の組み合わせ方には種々の手法が考えられるが、観察に適さない領域の発生抑止に重点を置くのであれば、判定対象画像が削除不可であると判定される可能性を高めることになる。よって、複数種類の特徴量を用いる場合には、各特徴量において削除可否判定を行い、全ての削除可否判定において削除可能と判定された場合に、判定対象画像を削除する。一方、複数の削除可否判定のうち、少なくとも１つの判定において削除不可とされた場合には、判定対象画像を削除しないものとする。このようにすることで、少なくとも１つの特徴量から、対応領域が観察に適さないと判定されたことを持って判定対象画像を残すことになり、対象としている被写体を適切に観察できる可能性を高めることが可能になる。
　ただし、判定対象画像が削除不可と判定されやすくすることで、画像要約処理後の要約画像列に残される画像の枚数が増加することになり、画像枚数の削減効果が減少する可能性もある。よって、画像枚数の削減を重視するのであれば、上記手法に比べて判定対象画像が削除可能と判定される可能性が高い手法を用いてもよい。
　例えば、上記手法と同様に、複数の削除可否判定のうち、少なくとも１つの判定において削除不可とされた場合には、判定対象画像を削除しないものとする場合であっても、各特徴量での削除可否判定での判定条件を変更することが考えられる。例えば、サイズ情報と所与の形状との類似度を併用する場合には、それぞれを単体で用いる場合に比べて、Ｋ＿ａｒｅａの値、及びＫ＿ｓｈａｐｅの値を大きくすればよい。このようにすれば、各削除可否判定では削除可能と判定されやすくなるため、サイズと類似度という異なる２つの観点による判定を可能にしつつ、画像要約処理後の要約画像列に含まれる画像枚数が過剰に増えることを抑止することができる。
　以上の本実施形態では、画像処理装置は図２２に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。処理部１００は、複数の画像から、画像要約処理の基準画像と判定対象画像を選択し、判定対象画像上に観察領域を設定するとともに、基準画像と判定対象画像の間の変形情報に基づいて、観察領域に対応する基準画像上の領域である対応領域を求める。そして、対応領域から求められた第１の特徴量と、観察領域から求められた第２の特徴量の少なくとも一方に基づいて、判定対象画像の削除可否の判定を行う。
　ここで、観察領域とは、判定対象画像上に設定される領域であり、狭義には判定対象画像よりも狭い領域である。判定対象画像に撮像された被写体の全体が、基準画像において観察に適する状態であるか否かを判定するのであれば、一組の基準画像及び判定対象画像が選択された際には、観察領域は判定対象画像上での位置を変えながら、判定対象画像全体を網羅するように複数回設定される必要がある。例えば、判定対象画像に含まれる全ての画素は、少なくとも一回観察領域に含まれることになり、これは図２４に示したように左上から右下方向へ１画素単位でずらしながら観察領域を設定することで実現される。ただし、観察領域の設定回数が多くなれば処理負荷も重くなるため、観察領域の一辺の長さ単位で観察領域を移動させて設定すること等で、計算量を削減してもよい。
　なお、特徴量としてサイズ情報を用いる場合には、観察領域は適切な観察をするに当たって必要十分な領域を設定してもよい。このようにすれば、第２の特徴量が適切な基準値を表すことになるため、当該第２の特徴量と第１の特徴量の比較処理等により、対応領域が観察に適したサイズか否かを判定できる。同様に、特徴量が所与の形状（ここでは円や正方形等の観察に適した形状）との類似度であれば、観察領域は当該所与の形状に近い形状（狭義には同一の形状）を用いてもよい。また、観察領域は一連の処理において一定のサイズ、形状の領域を用いることが想定されるが、観察領域を可変に設定することを妨げるものではない。
　これにより、判定対象画像上の観察領域の特徴量と、基準画像上の対応領域の特徴量とに基づいて、判定対象画像の削除可否判定を行うことが可能になる。対応領域が、観察領域を変形情報により変形して求めた領域としておけば、観察領域と対応領域に撮像される被写体は対応関係を持つ。よって、特徴量により対応領域が観察に適していないと判定された場合には、対応する（狭義には同一の）被写体を撮像している観察領域を画像要約処理後にも閲覧可能な状態にしておけばよく、それは判定対象画像を要約画像列に含める（判定対象画像を削除不可と判定する）処理により実現できる。
　また、上記の第１の特徴量は、対応領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであってもよい。また、上記の第２の特徴量は、観察領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであってもよい。
　ここで、所与の領域と、特定の形状との類似度とは、当該所与の領域がどの程度特定の形状に近いかを表す指標値である。例えば、特定の形状として円を考えた場合、正ｋ角形（ｋは３以上の整数）の領域は、ｋが小さいほど類似度が小さく、ｋが大きいほど類似度が大きくなる。また、特定の形状が円のように対称性を持つのであれば、対称性を持たない領域に比べて、対称性を持つ領域の方が類似度が大きくなる傾向にある。
　これにより、明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つを特徴量として用いることが可能になる。つまり、本実施形態の画像処理装置では、明るさ、サイズ、形状のいずれかに起因して、対応領域での被写体が観察に適しているか否かを判定し、適していない場合には、判定対象画像を要約画像列に残すことになる。具体的には、明るさが明るすぎる場合（白飛び）、暗すぎる場合（黒つぶれ）、サイズが極端に小さい場合、形状が極端な場合（つぶれたりゆがんだりしている場合）等が観察に適さない状態として考えられる。
　また、処理部１００は、第１の特徴量と第１の閾値との第１の比較処理、第２の特徴量と第２の閾値との第２の比較処理、及び第１の特徴量と第２の特徴量の相違度と第３の閾値との第３の比較処理のうち、少なくとも１つの比較処理に基づいて判定対象画像の削除可否の判定を行ってもよい。
　ここで、相違度とは、第１の特徴量と第２の特徴量との違いの程度を表すものであり、差分や比、或いはそれらに相当する値（例えばそれぞれの特徴量の対数の差分等）により求められる。特徴量として明度情報を用いた場合には、相違度が大きいとは、対応領域と観察領域の一方が明るく、他方が暗い状況を表す。また、特徴量としてサイズ情報を用いた場合には、相違度が大きいとは、対応領域と観察領域の一方の面積が大きく、他方の面積が小さい状況を表す。同様に、特徴量として特定の形状との類似度を用いた場合には、相違度が大きいとは、対応領域と観察領域の一方は特定の形状に近い形状であり、他方は特定の形状からは遠い形状である状況を表す。
　これにより、第１～第３の比較処理の少なくとも一方の比較処理に基づいて、削除可否判定を行うことが可能になる。第１の比較処理は、対応領域の特徴量である第１の特徴量に基づいて行われる処理であり、例えば、上式（２）に示したように対応領域の白飛びや黒つぶれを判定する際のように、観察領域の状態によらずに判定ができる状況で用いられることが想定される。第２の比較処理は、観察領域の特徴量である第２の特徴量に基づいて行われる処理であり、例えば、上式（３）に示したように観察領域の白飛びや黒つぶれを判定する際に用いられることが想定される。なお、第２の比較処理を単体で用いることを妨げるものではないが、画像要約処理後の画像枚数の削減効果を考慮すれば、第１の比較処理等と併用することが望ましい。一方、第３の比較処理は、第１の特徴量と第２の特徴量との相違度に基づく処理であるため、対応領域と観察領域の両方の状態を考慮した処理となり、第３の比較処理を行うことで精度の高い削除可否判定を行うことが可能になる。なお、対応領域の明度情報と、観察領域のサイズ情報の比較等は有用ではないことから明らかなように、第３の比較処理に用いる２つの特徴量は対応関係を持つ必要がある。つまり、一方の特徴量が明度情報であれば、第３の比較処理に用いる他方の特徴量も明度情報であり、一方がサイズ情報であれば他方もサイズ情報、一方が特定の形状との類似度であれば他方も特定の形状との類似度となる。
　また、処理部１００は、対応領域の画素の画素値に基づいて、対応領域の明度情報を第１の特徴量として求めるとともに、観察領域の画素の画素値に基づいて、観察領域の明度情報を第２の特徴量として求めてもよい。
　これにより、特徴量として明度情報を用いて、削除可否判定を行うことが可能になる。対応領域、観察領域の明度情報は、領域に含まれる各画素について明度を算出し、算出された明度に基づき求める。画素の明度は、Ｒ，Ｇ，Ｂの各画素値のうち最大のものを用いるものとするが、他の手法（例えば最大値と最小値の平均値等）により求めてもよい。また、画素の明度から領域の明度情報を求める手法としては、領域に含まれる全ての画素の明度の平均値をとればよいが、これについても他の手法（中央値や、加重平均、トリム平均等）を用いてもよい。明度情報に基づく削除可否判定の具体例としては、対応領域が白飛びや黒つぶれしていて観察に適さない場合に、判定対象画像を削除不可とする処理が考えられる。このようにすれば、対応領域と同一被写体を撮像していることが想定される観察領域を含む判定対象画像を要約画像列に残すことができ、被写体の適切な観察が可能になる。
　また、処理部１００は、明度情報である第１の特徴量が所与の上限閾値よりも大きい場合、又は第１の特徴量が所与の下限閾値よりも小さい場合に、判定対象画像を削除不可と判定してもよい。
　これにより、上式（２）で示した処理が可能になる。これは対応領域の白飛びや黒つぶれ（或いはそれに近い場合）を想定した処理である。よって、上限閾値として、明度情報がそれよりも大きくなった場合には、被写体が明るすぎて観察に適さないような値を設定し、下限閾値として、明度情報がそれよりも小さくなった場合には、被写体が暗すぎて観察に適さないような値を設定すればよい。
　また、処理部１００は、対応領域のサイズ情報により表される値を第１の特徴量として求めるとともに、観察領域のサイズ情報により表される値を第２の特徴量として求めてもよい。
　これにより、特徴量としてサイズ情報を用いて、削除可否判定を行うことが可能になる。サイズ情報は例えば面積に対応する情報を用いればよく、具体的には領域に含まれる画素の数をカウントすればよい。サイズ情報に基づく削除可否判定の具体例としては、図２６に示したように対応領域の面積が非常に小さく、被写体がつぶれることで観察に適さない場合に、判定対象画像を削除不可とする処理が考えられる。
　また、処理部１００は、対応領域と所与の形状との類似度を表す値を第１の特徴量として求めるとともに、観察領域と所与の形状との類似度を表す値を第２の特徴量として求めてもよい。
　これにより、特徴量として特定の形状との類似度を用いて、削除可否判定を行うことが可能になる。特定の形状との類似度は、例えば特定の形状が円であれば、上式（６）の円形度を用いればよい。特定の形状との類似度に基づく削除可否判定の具体例としては、図２７に示したように対応領域の形状が極端であり、被写体がつぶれる（図２７の例では縦方向につぶれている）ことで観察に適さない場合に、判定対象画像を削除不可とする処理が考えられる。
　また、処理部１００は、第１の特徴量と第２の特徴量の相違度が、所与の閾値よりも大きい場合に、判定対象画像を削除不可と判定してもよい。
　これにより、対応領域と観察領域の両方の特徴量を用いた削除可否判定が可能になる。特徴量として明度情報を用いる場合には、相違度が大きい状況とは、対応領域と観察領域の一方が明るく他方が暗い状況である。観察に適した明るさとは、その値を一意に決定できるものではなく、例えば注目している被写体の形状や色味、或いは注目している被写体の後ろに撮像された背景部分の色味等との関係により変動する。対応領域の明度情報が中間的な値であれば、ある程度汎用的に用いることができる可能性もあるが、上述したように相違度が大きい状況ではそのようなことは考えにくい。つまり、相違度が大きい（例えば上式（４）が成り立つ）場合には、対応領域が観察に適さない明るさである可能性を考慮しなくてはならず、判定対象画像を削除不可としておくとよい。ただし、対応領域は観察に適した状態であり、上式（４）等を用いた処理により、かえって観察に適さない観察領域を含む判定対象画像を要約画像列に残してしまう可能性がある点は注意を要する。
　また、特徴量としてサイズ情報を用いる場合には、対応領域の面積が小さくなることが問題であり、その場合、観察領域の面積が観察に適する程度に大きくなくては判定対象画像を残したとしても有効ではない。よって、相違度が大きい状況として、上式（５）のように観察領域の面積に対して対応領域の面積が十分小さいことを検出するとよい。なお、サイズ情報を特徴量として用いる処理において、設定される観察領域のサイズ、形状が不変である場合には、第２の特徴量も不変であることが想定されるため、事前に算出した値を使い続けることも可能である。その場合、上式（５）の第２の特徴量は固定値となるため、処理上は実質的には第１の特徴量に基づく判定となる。ただし、本実施形態の観察領域は動的に設定される（例えばユーザの指示に従って観察領域が変化する場合や、画像処理により検出した注目領域に対応する領域を設定する場合等）ことを妨げるものではないため、そのような場合には、その都度第２の特徴量を求める必要がある。
　また、特徴量として特定の形状（観察に適した形状が設定される）との類似度を用いる場合には、対応領域の形状が極端となることが問題であり、その場合、観察領域の形状は特定の形状にある程度近くなくては判定対象画像を残したとしても有効ではない。よって、相違度が大きい状況として、上式（７）のように観察領域の類似度に対して対応領域の類似度が十分小さいことを検出するとよい。この場合も、観察領域の形状が不変であれば、第２の特徴量を事前に求めておくことが可能である。例えば、観察領域として特定の形状と同一の形状の領域を設定することが考えられる。
　６．第５の実施形態
　次に、第４の実施形態で説明した第１，第２の特徴量を用いた削除可否判定（以下、第１の削除可否判定処理と記載する）の他に、それとは異なる第２の削除可否判定処理を併用する手法について説明する。
　具体的には、画像列取得部２００が取得した画像列の各画像に対して、第２の削除可否判定処理を行い、削除不可と判定された要約画像からなる要約候補画像列と、削除可能と判定された削除候補画像からなる削除候補画像列を設定する。その後、第１の削除可否判定処理を行って要約画像列を生成するが、その際に基準画像を要約候補画像列から選択するとともに、判定対象画像を削除候補画像列から選択する。
　つまり本実施形態の手法は、まず第２の削除可否判定処理を前処理として行って、残す画像と削除する画像を暫定的に決定し、その後、暫定結果を用いた第１の削除可否判定処理により最終結果を決定するという２段階処理を行う手法である。これにより、第１の削除可否判定処理と第２の削除可否判定処理のどちらか一方のみに基づく画像要約処理を行う場合に比べて、判定精度の向上等が可能になる。第２の削除可否判定処理は第１の削除可否判定処理とは異なる処理を用いるものとしているため、異なる観点からの処理が可能になるためである。
　例えば、第２の削除可否判定処理として、上述した被覆率に基づく判定を行ってもよい。被覆率に基づく判定により、領域のカバー度合いを保証する画像要約処理は可能となるが、図２６で示したように観察が困難となる領域が発生しうる。つまり、被覆率を用いた第２の削除可否判定処理では、削除すべきでない画像が過剰に削除されてしまうところ、第２の削除可否判定処理の結果を用いた第１の削除可否判定処理を行うことで、過剰削除画像を復活させることが可能になり、より適切な画像要約処理を行うことができる。
　以下、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。なお、第２の削除可否判定処理としては第１～第３の実施形態で上述した手法を用いればよいため、詳細な説明は省略する。
　６．１　システム構成例
　図２８に本実施形態における画像処理装置のシステム構成例を示す。図２２の処理部１００に対して部分画像列設定部１０１８が除かれ、要約候補画像列生成部１０１０が追加された構成となっている。第４の実施形態と同様の構成については詳細な説明は省略する。
　要約候補画像列生成部１０１０は、画像列取得部２００が取得した画像列に対して、第２の削除可否判定処理を行い、要約画像列に残される画像である要約画像からなる要約候補画像列を生成する。それとともに、画像列取得部２００が取得した画像列のうち、要約候補画像列に含まれない画像である削除候補画像からなる削除候補画像列を設定してもよい。
　本実施形態の判定対象画像選択部１０１２は、削除候補画像列に含まれる画像の中から判定対象画像を選択する。また、基準画像選択部１０１１は、判定対象画像選択部１０１２で選択された判定対象画像の画像列（画像列取得部２００で取得された画像列）での位置に応じて、要約候補画像列に含まれる画像の中から基準画像を選択する。基準画像選択部１０１１及び判定対象画像選択部１０１２での処理の詳細は後述する。
　なお、本明細書では上述したように、要約画像列に残される画像（或いはその候補となる画像）を基準画像とし、当該基準画像に基づく削除可否判定の対象となる画像を判定対象画像としている。つまり、第２の削除可否判定処理において被覆率を用いる場合、当該処理でも基準画像と判定対象画像が設定されるし、第１の削除可否判定処理（観察領域を用いた処理）でも基準画像と判定対象画像が設定される。ただし、単純に基準画像、判定対象画像という用語を用いることで、当該画像が第１の削除可否判定処理と第２の削除可否判定処理のいずれで設定されたものか混同を生じるおそれがある場合には、第１の削除可否判定処理での基準画像を「第１の画像」、判定対象画像を「第２の画像」と表現し区別するものとする。
　６．２　処理の流れ
　次に、図２９のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ８０１）。以下、他の画像列と明確に区別するために、Ｓ８０１で取得した画像列を取得画像列とも表記する。
　そして、取得画像列に対して第２の削除可否判定処理が行われ、要約候補画像列及び削除候補画像列が設定される（Ｓ８０２）。Ｓ８０２での第２の削除可否判定処理の具体例については後述するが、例えば図３０に示したように、取得画像列に含まれる１２枚の画像のうち、３番目と８番目の画像が削除不可とされ、他の画像が削除可能と判定された場合には、要約候補画像列は３番目と８番目の画像から構成され、削除候補画像列はその他の１０枚の画像から構成されることになる。なお、第２の削除可否判定処理の処理内容によっては、１つの画像に対して複数回の削除可否判定が行われる場合もあり得るが、ここでの削除可否は第２の削除可否判定処理終了時の最終的な結果を指すものであり、１回削除可能、或いは削除不可と判定されたことで、即座に当該画像が削除候補画像、或いは要約画像であると決定されるとは限らない。
　第２の削除可否判定処理の後、判定対象画像が選択される（Ｓ８０３）。ここでは、判定対象画像は削除候補画像列の先頭から順に判定対象画像を選択する。よって、Ｓ８０３の処理が初めて行われる場合には、削除候補画像列の１番目の画像が選択される。そして、２回目以降のＳ８０３の処理では、現在の判定対象画像に対して、削除候補画像列において１つ後方の画像を選択する判定対象画像の更新処理が行われることになる。
　判定対象画像が選択されたら、判定対象画像の取得画像列における位置に応じて、要約候補画像列から基準画像を選択する（Ｓ８０４）。ここでは、取得画像列において、判定対象画像よりも前方にある要約画像のうち、当該判定対象画像に最も近い画像を第１の基準画像として選択するとともに、判定対象画像よりも後方にある要約画像のうち、当該判定対象画像に最も近い画像を第２の基準画像として選択する。ただし、判定対象画像の前方又は後方に要約画像がない場合には、対応する基準画像は選択されない。
　図３０の例では、削除候補画像列の１番目の画像が判定対象画像として選択された場合には、取得画像列において判定対象画像よりも前方の要約画像はないため、第１の基準画像は選択されない。また、判定対象画像よりも後方には、２枚の要約画像（取得画像列において３番目と８番目の画像）があるが、そのうち判定対象画像に最も近い３番目の画像（要約候補画像列の１番目の画像）が第２の基準画像となる。
　なお、図３０の例では、削除候補画像列の３～６番目の画像が判定対象画像として選択されれば、第１の基準画像は要約候補画像列の１番目の画像となり、第２の基準画像は要約候補画像列の２番目の画像となる。同様に、削除候補画像列の７～１０番目の画像が判定対象画像として選択されれば、第１の基準画像は要約候補画像列の２番目の画像となり、第２の基準画像は選択されないことになる。
　基準画像及び判定対象画像が選択された後の、変形情報取得処理（Ｓ８０５）、観察領域選択処理（Ｓ８０６）、対応領域選択処理（Ｓ８０７）、画像特徴量算出処理（Ｓ８０８）、削除可否判定処理（Ｓ８０９）については、図２３のＳ７０４～Ｓ７０８と同様であるため詳細な説明は省略する。
　なお、基準画像が２枚選択されている場合には、第１の基準画像と判定対象画像による第１の削除可否判定処理、及び第２の基準画像と判定対象画像による第１の削除可否判定処理をそれぞれ行い、両方の判定において削除不可とされたときに、判定対象画像は削除不可であるとして要約画像列に残す処理を行えばよい。なぜなら、一方の基準画像上の対応領域が観察に適していなかったとしても、同一の被写体を撮像している他方の基準画像上の対応領域が観察に適していれば、判定対象画像を要約画像列に残すメリットは小さいためである。
　また、本実施形態では第２の削除可否判定処理により、暫定的ではあるが残す画像の探索は行われているため、第４の実施形態のように部分画像列を設定する処理（図２３のＳ７０９に対応）は不要である。
　以上の本実施形態では、処理部１００は、画像列取得部２００が取得した画像列の複数の画像のうち、被覆率に基づく判定で削除不可と判定された要約画像からなる要約候補画像列を設定するとともに、被覆率に基づく判定で削除可能と判定された削除候補画像からなる削除候補画像列を設定する。そして処理部１００は、要約候補画像列から第１の画像を選択し、削除候補画像列から第２の画像を選択し、第２の画像上に観察領域を設定するとともに、第１の画像と第２の画像の間の変形情報に基づいて、観察領域に対応する第１の画像上の領域である対応領域を求め、対応領域から求められた第１の特徴量と、観察領域から求められた第２の特徴量の少なくとも一方に基づいて、第２の画像の削除可否の判定を行う。
　ここで、第１の画像とは第１の削除可否判定処理での基準画像を表し、第２の画像とは第１の削除可否判定処理での判定対象画像を表すものである。
　これにより、第１，第２の特徴量を用いた削除可否判定処理（第１の削除可否判定処理）の前処理として、図３０に示したように画像列（取得画像列）から要約候補画像列と、削除候補画像列を設定する処理を行うことが可能になる。要約候補画像列から基準画像を選択し、削除候補画像列から判定対象画像を選択することで、要約画像は要約画像列に含まれることが確定し、削除候補画像は本当に削除するのか、それとも要約候補画像列に残すのかを確認する処理を行うことができる。よって、要約候補画像列と削除候補画像列の設定処理はある程度精度の低いものであってもよい。例えば、取得画像列に含まれる複数の画像の各画像について、明確に要約画像と判定できる画像以外は全て削除候補画像と判定されるようにしてもよい。その後、第１の削除可否判定処理により精度の高い判定が行われ、その結果、削除候補画像が要約画像列に含まれることになる可能性が残っているためである。ただし、要約画像とされた画像は、そのまま要約画像列に残されることが想定されるため、最終的な画像要約処理の結果（例えば画像枚数の削減効果）等を考慮すれば、要約候補画像列と削除候補画像列の設定処理は完全にランダムで行われるのではなく、何らかの基準に基づき行われることが望ましい。
　７．第６の実施形態
　次に、シーンチェンジを用いて部分画像列を設定する手法について説明する。
　７．１　システム構成例
　図３１に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。
　処理部１００は、図３１に示したように変形情報取得部１０１９と、シーンチェンジ検出部１０２０と、部分画像列設定部１０２１と、基準画像選択部１０２２と、判定対象画像選択部１０２３と、削除可否判定部１０２４と、を含んでもよい。
　変形情報取得部１０１９は、２つの画像間の変形情報を取得する。シーンチェンジ検出部１０２０は、取得した画像列からシーンチェンジを検出する。具体的な手法については後述する。
　部分画像列設定部１０２１は、シーンチェンジ検出部１０２０で検出されたシーンチェンジに基づいて、画像列の一部を部分画像列として設定する。具体的には、シーンチェンジの位置を部分画像列の始点或いは終点として用いるようにすればよい。例えば、図３２（Ａ）に示したように、画像列中にＡ１～Ａ３の３つのシーンチェンジが検出された場合には、部分画像列として、画像列の先頭からＡ１までの部分画像列Ｂ１と、Ａ１～Ａ２までの部分画像列Ｂ２と、Ａ２～Ａ３までの部分画像列Ｂ３と、Ａ３から画像列の最後までの部分画像列Ｂ４の４つの部分画像列を設定すればよい。さらに具体的には、各シーンチェンジが図３２（Ｂ）に示したように、隣り合う画像間に設定されるものとすれば、各部分画像列の始点及び終点は、シーンチェンジの直前の画像又は直後の画像となる。図３２（Ｂ）の例であれば、部分画像列Ｂ１は画像列の先頭からシーンチェンジＡ１の直前の画像までになり、部分画像列Ｂ２はＡ１の直後の画像からＡ２の直前の画像までに対応することになる。なお、部分画像列は複数設定されることが想定されるが、その場合以下の各部での処理は各部分画像列に対してそれぞれ行われることになる。
　基準画像選択部１０２２は、部分画像列の複数の画像から基準画像を選択する。判定対象画像選択部１０２３は、部分画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。
　削除可否判定部１０２４は、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否判定処理を行う。本実施形態では、基準画像により判定対象画像が被覆される程度を表す被覆率に基づいて、判定対象画像の削除可否判定処理を行う。
　削除可否判定部１０２４は、図３３に示したように被覆領域算出部１０２５と、被覆率算出部１０２６と、閾値判定部１０２７と、を含んでもよい。ただし、削除可否判定部１０２４は、図３３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
　被覆領域算出部１０２５は、２つの画像間の変形情報（変形パラメータ）を利用して、一方の画像を他方の画像へ射影して被覆領域を求める。被覆率算出部１０２６は、被覆領域に基づいて被覆率を算出する。閾値判定部１０２７は、算出された被覆率と所与の閾値との比較処理を行う。
　７．２　処理の流れ
　次に、図３４のフローチャートを用いて本実施形態の画像要約処理の流れを説明する。この処理が開始されると、まず画像列取得部２００において、画像要約処理の対象となる画像列が取得される（Ｓ１００１）。
　そして、取得した画像列からシーンチェンジを検出する（Ｓ１００２）。具体的には、画像列の各画像について、当該画像が変形情報の算出に適しているか否かの判定を行い、適していないと判定された画像があった場合には、その画像に対応する位置でシーンチェンジがあったものとする。例えば図３５（Ａ）に示したように、画像列から選択された選択画像が変形情報の算出に適さない場合、当該選択画像とその次の画像との間でシーンチェンジが起きたものとしてもよく、その場合には選択画像が部分画像列の終点となり、１つ後方の画像が次の部分画像列の始点となる。また、図３５（Ｂ）に示したように、選択画像の前後の位置でシーンチェンジが起きたものとしてもよい。
　ここで、選択画像が変形情報の算出に適しているか否かの判定は、当該選択画像の各画素について、変形情報の算出に適しているか否かの判定を行い、画像全体に占める適切な画素の割合に基づいて行うことが考えられる。例えば、図３６に示したように、変形情報の算出に適しているか否かの判定対象となる処理対象画素を含む所与の領域を考えた場合に、当該領域でのテクスチャが少ないと、処理対象画素とその周辺の画素とを区別することが難しい。よって、仮に当該選択画像が基準画像として選択され、判定対象画像上に似た特性を有する領域が見つかったとしても、処理対象画素が判定対象画像上の領域中のどの画素に対応しているかを判別することができず、正確な変形情報を算出できない。つまりここでは、処理対象画素を含む所与の領域におけるテクスチャ情報（例えばエッジ量）を算出し、テクスチャ情報により表される値が所与の閾値よりも大きい場合に、当該処理対象画素は変形情報の算出に適している画素であると判定する。
　画像列の各画像を順次選択画像として選択し、選択された選択画像について、当該選択画像の全画素数に対する、変形情報の算出に適している画素の割合を求め、その値が所与の閾値よりも大きければ当該選択画像は変形情報の算出に適している（つまり、その選択画像に対応する位置ではシーンチェンジはない）と判定し、逆に所与の閾値以下であれば当該選択画像は変形情報の算出に適していない（つまり、その選択画像に対応する位置でシーンチェンジが起きている）と判定すればよい。
　シーンチェンジが検出されたら、検出されたシーンチェンジに基づいて部分画像列を設定する（Ｓ１００３）。具体的には、図３２（Ａ）、図３２（Ｂ）に示したように、検出されたシーンチェンジの位置に対応させて、部分画像列の始点及び終点を設定すればよい。
　それとともに、Ｓ１００３では設定された部分画像列のうち、画像要約処理が行われていないものを選択する。そして、基準画像選択部１０２２は選択された部分画像列の先頭の画像を基準画像として選択する（Ｓ１００４）。また、所与の部分画像列において２回目以降のＳ１００４の処理（Ｓ１００７からＳ１００４に戻った場合）では、Ｓ１００７での削除可否判定処理で削除不可と判定された判定対象画像を新たな基準画像として選択する。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等により部分画像列から基準画像を選択できない場合には、当該部分画像列に対する処理を終了しＳ１００３に戻る。
　基準画像が選択された場合には、判定対象画像選択部１０２３は、部分画像列に含まれる画像から判定対象画像を選択する（Ｓ１００５）。判定対象画像が未設定の場合には、基準画像の次の画像（所与の部分画像列に対する最初のＳ１００５の処理であれば、部分画像列の２番目の画像）を判定対象画像として選択する。また、すでに部分画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１つずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。Ｓ１００５で選択する画像がない場合とは、本実施形態の手法では部分画像列の最後の画像まで削除可否判定処理が行われたということであるため、当該部分画像列に対する画像要約処理を終了してＳ１００３に戻る。
　基準画像と判定対象画像が選択されたら、その間の変形情報を求め（Ｓ１００６）、求めた変形情報に基づいて判定対象画像の削除可否判定処理を行う（Ｓ１００７）。具体的には、２つの画像間の変形情報（変形パラメータ）を利用して被覆領域を求め、被覆領域に基づいて被覆率を算出する。
　Ｓ１００７で削除可能と判定された場合には、Ｓ１００５に戻り判定対象画像の更新処理を行う。また、Ｓ１００７で削除不可と判定された場合には、その際の基準画像では判定対象画像をカバーできないということであるから、その際の判定対象画像は要約画像列に残す必要があるということになる。よって、Ｓ１００４に戻り、Ｓ１００７で削除不可と判定された判定対象画像を新たな基準画像として選択する。
　Ｓ１００４～Ｓ１００７の処理により１つの部分画像列に対する画像要約処理が終了する。その場合、Ｓ１００３に戻り次の部分画像列に対しても同様の画像要約処理を行うことになり、全ての部分画像列に対する画像要約処理が終了したら、Ｓ１００３で選択する部分画像列がないということになるため、処理を終了する。
　以上の各部分画像列に対する画像要約処理の流れとしては図４（Ａ）～図４（Ｄ）を用いた上述したものと同様である。
　なお、図３４のフローチャートでは、シーンチェンジに基づいて複数の部分画像列が設定された場合には、当該複数の部分画像列を１つずつ順次処理していくものとしたが、これに限定されるものではない。処理部１００の構成が並列処理に適している（例えば処理部１００として複数のコアを有するＣＰＵが用いられている）場合や、複数のコンピュータにより本実施形態の画像処理装置が構成され、各コンピュータで分散処理が行われる場合等では、複数の部分画像列に対して並列に、Ｓ１００４～Ｓ１００７の削除可否判定処理を行ってもよい。このようにすれば、削除可否判定処理に要する時間を短縮すること等が可能になる。
　７．３　変形例
　なお、上記手法には種々の変形例が考えられる。例えば、シーンチェンジの検出は上述の手法に限定されるものではない。具体的には、画像列取得部２００により取得された画像列のうちの２枚の画像（狭義には隣り合う２枚の画像）の類似度情報に基づいて、シーンチェンジを検出してもよい。画像間の類似度が高いほうが変形情報も正確に推定可能であると考えられるため、画像間の類似度情報も変形情報の精度を表す情報として利用できるためである。この場合、画像間の類似度情報としては、公知技術であるＮＣＣや、画像間相違度の公知技術であるＳＳＤやＳＡＤの逆数等を利用すればよい。類似度情報により表される値が所与の閾値よりも低い場合に、２枚の画像間でシーンチェンジが起きたと判定する。例えば、隣り合う第１の画像と第２の画像との間の類似度が低いと判定された場合には、図３９に示したように、第１の画像と第２の画像との間でシーンチェンジが起きたものとすればよい。シーンチェンジの位置を一意に決定することを考えれば、類似度情報を求める２枚の画像は、画像列において隣り合っていることが望ましい。
　また、図３４のＳ１００４，Ｓ１００５における基準画像及び判定対象画像の選択手法も上述のものに限定されない。
　以上の本実施形態では、画像処理装置は図３１に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。処理部１００は、画像列からシーンチェンジを検出し、検出されたシーンチェンジに基づいて、画像列の一部から構成される部分画像列を設定する。そして処理部１００は、設定された部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う。
　ここで、シーンチェンジとは撮像された画像に対応するシーンの変化を表すものである。従来より動画像の分割（例えばチャプター情報の挿入等）等の分野ではシーンチェンジという概念は広く用いられており、本実施形態のシーンチェンジとして、従来手法で用いられているシーンチェンジをそのまま適用してもよい。この場合、処理部１００は、複数の画像から求められた動き情報、特定の被写体の撮像情報、及び明度情報のいずれかに基づいて前記シーンチェンジを検出するものであってもよい。
　動き情報とは、２つの画像間（本実施形態では狭義には隣り合う２つの画像間）での、被写体の画像上位置の変化を表すものであり、例えば動きベクトル等である。動きベクトルを求める手法は種々知られているが、単純には、一方の画像上の所与の領域をブロックとして、他方の画像に対してブロックマッチング処理を行うことで求められる。具体的には、前記所与の領域の画像上での位置と、マッチングがとれた領域の画像上での位置の相対位置関係を表す情報が動きベクトルとなる。動きベクトルを用いるのであれば、動きベクトルの大きさが大きい場合（例えば所与の閾値との比較処理を行う）に、当該動きベクトルの算出に用いた２つの画像の間でシーンチェンジが起こったと判定すればよい。
　また、特定の被写体の撮像情報とは、特徴的な被写体が撮像されているか否かを表す情報である。画像からの被写体検出の手法は種々考えられるが、一例としては対象としている特定の被写体の情報をテンプレートとして保持しておき、各画像に対してテンプレートマッチング処理を行えばよい。この場合、特定の被写体が撮像されている状態から撮像されていない状態への変化、或いは特定の被写体が撮像されていない状態から撮像されている状態への変化をシーンチェンジとして検出する。
　また、明度情報を用いてシーンチェンジを検出してもよい。明度情報の算出は、例えばＲＧＢ３チャンネルの画像であれば、各画素についてＲ、Ｇ、Ｂの値の最大値を当該画素の明度値として求め、画像中の全ての画素の明度値の平均値を当該画像の明度情報とすればよい。明度情報を用いるのであれば、画像列の所与の画像の明度情報と、次の画像の明度情報が大きく異なる（例えば閾値以上となる）場合に、当該画像間でシーンチェンジが起こったと判定すればよい。なお、撮像装置がフラッシュ機構等を備えている場合、当該機構を動作させることで、被写体等は全く変化していなくとも明度情報が大きく変化する可能性がある。よって、撮像装置の構成等によっては、シーンチェンジの検出に明度情報以外の情報を用いる、或いは明度情報と他の情報を併用するといったことが望ましい可能性もある。
　また、シーンチェンジの検出は動き情報、特定の被写体の撮像情報、明度情報等に基づいて行われるものに限定されず、彩度情報（生体内画像であれば赤みの程度等）等、種々の手法を用いた変形実施が可能である。
　また、シーンチェンジ検出のためのこれらの情報は単独で用いられるものに限定されず、２つ以上を組み合わせて用いてもよい。例えば、動き情報と明度情報の２つを組み合わせるのであれば、動き情報により表される画像間の動きが大きいこと、及び明度情報により表される明度の変化が大きいことの両方に基づく判定を行ってもよい。この場合の組み合わせ方も種々考えられ、動きが大きく且つ明度変化が大きい場合にシーンチェンジを検出するものであってもよいし、動きが大きいか又は明度変化が大きかのいずれかが成り立てばシーンチェンジを検出するものであってもよい。
　これにより、画像列から検出したシーンチェンジに基づいて、当該画像列を部分画像列に分割し、各部分画像列に対して変形情報を用いた削除可否判定処理を行うことが可能になる。シーンチェンジの前方の画像と、シーンチェンジの後方の画像とでは撮像対象等が異なっている可能性が高いことから、変形情報を用いた削除可否判定処理ではそのような２つの画像を処理に用いる必要性は高くない。大きく異なる画像間で変形情報を無理に算出することで、削除可否判定処理の精度が低下する可能性を考慮すれば、むしろシーンチェンジ前後の画像による処理は避けた方がよい可能性もある。よって、ここではシーンチェンジに基づいて部分画像列を設定することで、効率的な画像要約処理を可能としている。
　なお、本明細書において画像の前方、後方（或いはシーンチェンジの前方、後方）という表現が用いられているが、これは画像列中の位置での前後を指すものである。画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。
　また、処理部１００は、判定対象画像の削除可否の判定に用いられる変形情報の精度を表す精度情報に基づいて、シーンチェンジを検出してもよい。具体的には、処理部１００は、精度情報により表される値が、所与の精度閾値よりも小さい場合に、シーンチェンジを検出したと判定してもよい。
　ここで変形情報の精度情報とは、本実施形態では画像列のうちの１つの画像、又は２つの画像の組み合わせごとに求められる情報である。そして、１つの画像から求められた精度情報により表される精度が低いとは、当該画像と画像列中の他の画像との間で変形情報を求めた場合に、当該変形情報は２つの画像間の変形を適切に表していないということを表す。よって、本実施形態の精度情報の算出に当たって、対応する変形情報が先に求められている必要はなく、場合によっては先に精度情報を算出し、当該精度情報に基づいて対応する変形情報を算出するか否かを決定するような手法を用いることも可能である。同様に、２つの画像の組み合わせについて求められた精度情報により表される精度が低いとは、当該２つの画像間で変形情報を求めた場合に、当該変形情報は２つの画像間の変形を適切に表していないということを表す。
　これにより、変形情報の精度を表す精度情報に基づいて、シーンチェンジを検出することが可能になる。図３７（Ａ）、図３７（Ｂ）に示したように、変形情報の精度が低い場合には、変形情報を用いた処理の利点である観察できなくなる領域の発生抑止、或いは注目領域の見逃し可能性抑止という効果が十分得られなくなる。その点、精度情報に基づいてシーンチェンジを検出することで、削除可否判定処理の精度を向上させることが可能になる。また、シーンチェンジ検出とは無関係に精度情報を用いることでも精度の向上は図れるが、その場合シーンチェンジ検出のために他の処理が必要となる。その点、シーンチェンジ検出に精度情報を用いれば、削除可否判定処理の精度向上、及び画像要約処理の効率化、高速化をシンプルな処理により実現することが可能である。
　また、処理部１００は、複数の画像のうちの選択画像の各画素に対して、変形情報の算出に適しているか否かの判定を行い、適していると判定された画素の数に基づいて精度情報を求め、求めた精度情報に基づいて、画像列における選択画像に対応する位置でのシーンチェンジを検出する処理を行ってもよい。
　これにより、画像列から所与の画像を選択画像として選択した場合に、当該選択画像の各画素での判定の結果に基づいて、選択画像の精度情報を求めることが可能になる。変形情報は種々の形式が考えられ、また当該変形情報を用いた削除可否判定処理（狭義にはそのうちの変形処理）の手法も種々考えられるが、一方の画像上での所与の画素が、他方の画像上のどの位置の画素に対応するかということが考えの基本となっている。つまり、変形情報の精度を画素単位の情報に基づいて決定することは自然であり、本実施形態においても選択画像の各画素について変形情報算出に適しているかの判定を行い、判定結果から精度情報を求めるものとする。具体的には、図３８に示したように選択画像の全画素数に対する、変形情報算出に適している画素数（マスク画素数）の割合等を精度情報とすればよい。
　なお、選択画像から求められた精度情報により、当該選択画像を対象とした変形情報の精度が低いと判定された場合には、画像列における選択画像の位置でシーンチェンジを検出したものとする。例えば、図３５（Ａ）のように、選択画像とその１つ後方の画像との間でシーンチェンジがあったものとしてもよい。或いは、選択画像とその１つ前方の画像との間の変形情報も精度が低いと考えられるため、図３５（Ｂ）のように選択画像と１つ後方の画像の間、及び選択画像と１つ前方の画像の間の２カ所でシーンチェンジを検出したものとしてもよい。
　また、処理部１００は、選択画像上に、変形情報の算出に適しているか否かの判定の対象となっている処理対象画素を含む所与のサイズの領域を設定し、設定された領域でのテクスチャ情報に基づいて、処理対象画素が変形情報の算出に適しているか否かの判定を行ってもよい。
　ここで、テクスチャとは画像の模様を表すものである。例えば、画像に対して２次元フーリエ変換等を行って空間周波数のパワースペクトルを求め、その結果をテクスチャ情報としてもよい。ただし、本実施形態のテクスチャ情報は画像上の模様の量を表す情報であればよく、被写体の輪郭等を表すエッジ情報をテクスチャ情報に含めてもよい。
　これにより、画像上の各画素が変形情報の算出に適しているか否かをテクスチャ情報から求めることが可能になる。複雑な模様が描かれている場合とは、処理対象画素と、その周辺の他の画素との区別が容易であることが想定されるため、選択画像と他の画像との間の変形情報を求めた際にも、処理対象画素が当該他の画像上のどの画素と対応するかが明確な可能性が高い。逆に、模様がない場合では処理対象画素と他の画素が区別できず、必然的に処理対象画素と、他の画像上の画素との対応付けも困難となる。
　なお、各画素に対して、当該画素が変形情報の算出に適しているか否かの判定はテクスチャ情報を用いるものに限定されず、例えば特許文献３に開示されている手法等を用いてもよい。
　また、処理部１００は、画像列の複数の画像のうちの第１の画像と、第１の画像の次の第２の画像の間の類似度情報を精度情報として求めてもよい。そして、求めた精度情報に基づいて、画像列における第１の画像と第２の画像の間の位置でのシーンチェンジを検出する。
　これにより、２つの画像間（ここでは隣り合う画像間）の類似度情報を精度情報として用いることが可能になる。これは、画像間の類似度が高いほど、変形情報も精度よく算出することができると考えられるためである。類似度情報としては、従来より知られているＮＣＣ等を用いてもよい。或いは、従来より知られている画像間相違度を表すＳＳＤやＳＡＤを求め、その逆数を類似度情報としてもよい。なお、この場合のシーンチェンジの位置は、図３９に示したように第１の画像と第２の画像の間とすればよい。
　また、処理部１００は、画像列から第ｉ（ｉは整数）のシーンチェンジと、第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、画像列の複数の画像のうち、第ｉのシーンチェンジの後方で、且つ第ｉ＋１のシーンチェンジの前方の画像を部分画像列として設定してもよい。
　これにより、図３２（Ｂ）に示したように、シーンチェンジに基づいて部分画像列を設定することが可能になる。本実施形態では、シーンチェンジは画像と画像の間で検出されることを想定しているため（ただしこれに限定されない）、第ｉのシーンチェンジの直後の画像を始点とし、第ｉ＋１のシーンチェンジの直前の画像を終点とする画像列が部分画像列として設定されることになる。なお、第ｉのシーンチェンジと第ｉ＋１のシーンチェンジの間に１枚しか画像がないケースも考えられるが、その場合にはその画像を要約画像列に残すか、削除するか（観察できなくなる領域の発生抑止等を考慮すれば要約画像列に残すことが望ましい）を決定すれば、部分画像列として設定する必要はない。或いは、画一的に部分画像列に設定してしまい、部分画像列に対する処理を行ってもよい。その場合には、Ｓ１００４で基準画像が設定され、その後Ｓ１００５で判定対象画像として選択する画像がないため、１枚の画像からなる部分画像列に対する処理は、当該画像を要約画像列に残すものとして終了することになる。
　また、処理部１００は、部分画像列を複数設定した場合には、複数の部分画像列に対して並列に、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行ってもよい。
　具体的には、処理部１００は、画像列から第ｊ（ｊは整数）のシーンチェンジを検出した場合に、画像列の複数の画像のうち、第ｊのシーンチェンジの前方の画像を含む第ｋ（ｋは整数）の部分画像列と、第ｊのシーンチェンジの後方の画像を含む第ｋ＋１の部分画像列を設定する。その場合、第ｋの部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う処理と、第ｋ＋１の部分画像列から基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、判定対象画像の削除可否の判定を行う処理とを並行して実行してもよい。
　これにより、各部分画像列に対する削除可否判定処理（図３４のＳ１００４～Ｓ１００７で示した処理）を並列に実行することができるため、画像要約処理を高速化することが可能になる。
　以上、本発明を適用した６つの実施の形態１～６およびその変形例について説明したが、本発明は、各実施の形態１～６やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１～６や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１～６や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１００　処理部、２００　画像列取得部、
３００　記憶部、１００１　基準画像選択部、１００２　判定対象画像選択部、１００３　被覆領域算出部、１００４　被覆率算出部、
１００５　削除可否判定部、１００６　画像列分割部、
１００７　第２の基準画像選択部、１００８　部分画像列設定部、
１００９　要約画像列決定部、１０１０　要約候補画像列生成部、
１０１１　基準画像選択部、１０１２　判定対象画像選択部、
１０１３　変形情報取得部、１０１４　観察領域設定部、
１０１５　対応領域設定部、１０１６　画像特徴量算出部、
１０１７　削除可否判定部、１０１８　部分画像列設定部、
１０１９　変形情報取得部、１０２０　シーンチェンジ検出部、
１０２１　部分画像列設定部、１０２２　基準画像選択部、
１０２３　判定対象画像選択部、１０２４　削除可否判定部、
１０２５　被覆領域算出部、１０２６　被覆率算出部、１０２７　閾値判定部

Claims (45)

  1. 　複数の画像を有する画像列を取得する画像列取得部と、
    　前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
    　を含み、
    　前記処理部は、
    　前記複数の画像から、基準画像と判定対象画像を選択し、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
    　前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  2. 　請求項１において、
    　第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    　前記処理部は、
    　第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ－１を満たす整数）の画像を前記判定対象画像として選択し、
    　前記第１の基準画像と前記判定対象画像の間の前記変形情報、及び前記第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  3. 　請求項２において、
    　前記処理部は、
    　第ｐ＋２～第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から前記第２の基準画像を選択して、前記第１の基準画像及び前記第２の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、
    　第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、前記第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記始点を前記第ｑの画像に更新することを特徴とする画像処理装置。
  4. 　請求項３において、
    　前記処理部は、
    　第ｊ（ｊは整数）の画像が前記第２の基準画像選択区間の前記終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいて前記ｘの値を設定することを特徴とする画像処理装置。
  5. 　請求項３又は４において、
    　前記処理部は、
    　前記第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記終点を前記第ｑの画像に更新することを特徴とする画像処理装置。
  6. 　請求項５において、
    　前記処理部は、
    　第ｉ（ｉは整数）の画像が前記第２の基準画像選択区間の前記始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいて前記ｙの値を設定することを特徴とする画像処理装置。
  7. 　請求項３乃至６のいずれかにおいて、
    　前記処理部は、
    　前記第２の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、
    　前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、
    　前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記入力画像列において後方のものからなる画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
  8. 　請求項２において、
    　前記処理部は、
    　第ｐ＋１～第ｑ－１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択することを特徴とする画像処理装置。
  9. 　請求項８において、
    　前記処理部は、
    　前記第ｐ＋１～第ｑ－１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｑ－１～第Ｎの画像からなる画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
  10. 　請求項１において、
    　第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    　前記処理部は、
    　第１の画像を前記基準画像として選択するとともに、第ｋ（ｋは２≦ｋ≦Ｎ－１を満たす整数）の画像を前記判定対象画像として選択し、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行い、
    　前記第ｋの画像が削除可能と判定された場合には、前記判定対象画像として第ｋ＋１の画像を選択することを特徴とする画像処理装置。
  11. 　請求項１０において、
    　前記処理部は、
    　前記第ｋの画像が削除不可と判定された場合には、前記基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｋ～第Ｎの画像からなる画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行うことを特徴とする画像処理装置。
  12. 　請求項１において、
    　第１～第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    　前記処理部は、
    　第ｓ（ｓは２≦ｓ≦Ｎ－１を満たす整数）の画像を前記基準画像として選択するとともに、第ｔ（ｔは１≦ｔ≦Ｎかつｔ≠ｓを満たす整数）の画像を前記判定対象画像として選択し、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  13. 　請求項１２において、
    　前記処理部は、
    　前記削除可否の前記判定において、第１～第ｓ－１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１～第ｓ－１の画像からなる画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行うことを特徴とする画像処理装置。
  14. 　請求項１２において、
    　前記処理部は、
    　前記削除可否の前記判定において、第ｓ＋１～第Ｎの画像のうち少なくとも１つが削除不可と判定された場合には、前記第ｓ＋１～第Ｎの画像からなる画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行うことを特徴とする画像処理装置。
  15. 　請求項１乃至１４のいずれかにおいて、
    　前記処理部は、
    　前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間のものについて、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めることを特徴とする画像処理装置。
  16. 　請求項１乃至１５のいずれかにおいて、
    　前記処理部は、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆率として、前記判定対象画像に占める前記被覆領域の割合を算出することを特徴とする画像処理装置。
  17. 　請求項１６において、
    　前記処理部は、
    　前記基準画像として、前記複数の画像から第１～第Ｍ（Ｍは２以上の整数）の基準画像を選択し、
    　第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に基づいて第ｕの被覆領域を求め、
    　第１～第Ｍの被覆領域の和集合の領域を前記被覆領域として設定し、設定した前記被覆領域に基づいて前記被覆率を算出することを特徴とする画像処理装置。
  18. 　請求項１６又は１７において、
    　前記処理部は、
    　前記判定対象画像の画像上位置に応じて重み係数を設定し、前記重み係数と前記被覆領域とに基づいて算出された第１の重み総和と、前記重み係数と前記判定対象画像とに基づいて算出された第２の重み総和との割合に基づいて、前記被覆率を算出することを特徴とする画像処理装置。
  19. 　請求項１乃至１５のいずれかにおいて、
    　前記処理部は、
    　前記判定対象画像に対して複数の点を設定し、前記複数の点を前記基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記基準画像に含まれる前記変換後の点の数に基づいて、前記被覆率を算出することを特徴とする画像処理装置。
  20. 　請求項１９において、
    　前記処理部は、
    　前記基準画像として、前記複数の画像から第１～第Ｍ（Ｍは２以上の整数）の基準画像を選択し、
    　前記複数の点を第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記第ｕの基準画像に含まれる前記変換後の点の数を第ｕの被覆情報として求め、
    　前記第１～第Ｍの基準画像の各々から求められた第１～第Ｍの被覆情報に基づいて前記被覆率を算出することを特徴とする画像処理装置。
  21. 　請求項１９又は２０において、
    　前記処理部は、
    　前記判定対象画像の画像上位置に応じて重み係数を設定し、前記複数の点を前記基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記基準画像に含まれる前記変換後の点と、前記重み係数に基づいて、前記被覆率を算出することを特徴とする画像処理装置。
  22. 　請求項１８又は２１において、
    　前記処理部は、
    　前記重み係数の値として、前記判定対象画像の第１の領域に０を設定するとともに、前記判定対象画像の前記第１の領域とは異なる第２の領域に１を設定することを特徴とする画像処理装置。
  23. 　請求項１乃至２２のいずれかにおいて、
    　前記処理部は、
    　前記画像列取得部が取得した前記画像列の前記複数の画像のうち、前記被覆率に基づく判定で削除不可と判定された要約画像からなる要約候補画像列を設定するとともに、前記被覆率に基づく判定で削除可能と判定された削除候補画像からなる削除候補画像列を設定し、
    　前記処理部は、
    　前記要約候補画像列から第１の画像を選択し、前記削除候補画像列から第２の画像を選択し、
    　前記第２の画像上に観察領域を設定するとともに、前記第１の画像と前記第２の画像の間の前記変形情報に基づいて、前記観察領域に対応する前記第１の画像上の領域である前記対応領域を求め、
    　前記対応領域から求められた第１の特徴量と、前記観察領域から求められた前記第２の特徴量の少なくとも一方に基づいて、前記第２の画像の削除可否の判定を行うことを特徴とする画像処理装置。
  24. 　請求項２３において、
    　前記第１の特徴量は、
    　前記対応領域の明度情報、サイズ情報、及び特定の形状との類似度情報の少なくとも１つであり、
    　前記第２の特徴量は、
    　前記観察領域の前記明度情報、前記サイズ情報、及び前記特定の形状との前記類似度情報の少なくとも１つであることを特徴とする画像処理装置。
  25. 　請求項２４において、
    　前記処理部は、
    　前記第１の特徴量と第１の閾値との第１の比較処理、前記第２の特徴量と第２の閾値との第２の比較処理、及び前記第１の特徴量と前記第２の特徴量の相違度と第３の閾値との第３の比較処理のうち、少なくとも１つの比較処理に基づいて前記第２の画像の削除可否の判定を行うことを特徴とする画像処理装置。
  26. 　請求項２３において、
    　前記処理部は、
    　前記対応領域の画素の画素値に基づいて、前記対応領域の明度情報を前記第１の特徴量として求めるとともに、前記観察領域の前記画素の前記画素値に基づいて、前記観察領域の前記明度情報を前記第２の特徴量として求めることを特徴とする画像処理装置。
  27. 　請求項２６において、
    　前記処理部は、
    　前記明度情報である前記第１の特徴量が所与の上限閾値よりも大きい場合、又は前記第１の特徴量が所与の下限閾値よりも小さい場合に、前記第２の画像を削除不可と判定することを特徴とする画像処理装置。
  28. 　請求項２３において、
    　前記処理部は、
    　前記対応領域のサイズ情報により表される値を前記第１の特徴量として求めるとともに、前記観察領域の前記サイズ情報により表される値を前記第２の特徴量として求めることを特徴とする画像処理装置。
  29. 　請求項２３において、
    　前記処理部は、
    　前記対応領域と所与の形状との類似度を表す値を前記第１の特徴量として求めるとともに、前記観察領域と前記所与の形状との前記類似度を表す値を前記第２の特徴量として求めることを特徴とする画像処理装置。
  30. 　請求項２６乃至２９のいずれかにおいて、
    　前記処理部は、
    　前記第１の特徴量と前記第２の特徴量の相違度が、所与の閾値よりも大きい場合に、前記第２の画像を削除不可と判定することを特徴とする画像処理装置。
  31. 　請求項１乃至２２のいずれかにおいて、
    　前記処理部は、
    　前記画像列からシーンチェンジを検出し、
    　検出された前記シーンチェンジに基づいて、前記画像列の一部から構成される部分画像列を設定し、
    　設定された前記部分画像列から前記基準画像と前記判定対象画像を選択し、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  32. 　請求項３１において、
    　前記処理部は、
    　前記判定対象画像の削除可否の判定に用いられる前記変形情報の精度を表す精度情報に基づいて、前記シーンチェンジを検出することを特徴とする画像処理装置。
  33. 　請求項３２において、
    　前記処理部は、
    　前記複数の画像のうちの選択画像の各画素に対して、前記変形情報の算出に適しているか否かの判定を行い、適していると判定された画素の数に基づいて前記精度情報を求め、求めた前記精度情報に基づいて、前記画像列における前記選択画像に対応する位置での前記シーンチェンジを検出する処理を行うことを特徴とする画像処理装置。
  34. 　請求項３３において、
    　前記処理部は、
    　前記選択画像上に、前記変形情報の算出に適しているか否かの判定の対象となっている処理対象画素を含む所与のサイズの領域を設定し、設定された前記領域でのテクスチャ情報に基づいて、前記処理対象画素が前記変形情報の算出に適しているか否かの判定を行うことを特徴とする画像処理装置。
  35. 　請求項３２において、
    　前記処理部は、
    　前記複数の画像のうちの第１の画像と、前記第１の画像の次の第２の画像の間の類似度情報を前記精度情報として求め、求めた前記精度情報に基づいて、前記画像列における前記第１の画像と前記第２の画像の間の位置での前記シーンチェンジを検出する処理を行うことを特徴とする画像処理装置。
  36. 　請求項３２乃至３５のいずれかにおいて、
    　前記処理部は、
    　前記精度情報により表される値が、所与の精度閾値よりも小さい場合に、前記シーンチェンジを検出したと判定することを特徴とする画像処理装置。
  37. 　請求項３１において、
    　前記処理部は、
    　前記複数の画像から求められた動き情報、特定の被写体の撮像情報、及び明度情報の少なくとも１つに基づいて前記シーンチェンジを検出することを特徴とする画像処理装置。
  38. 　請求項３１乃至３７のいずれかにおいて、
    　前記処理部は、
    　前記画像列から第ｉ（ｉは整数）のシーンチェンジと、前記第ｉのシーンチェンジの次の第ｉ＋１のシーンチェンジを検出した場合に、
    　前記画像列の前記複数の画像のうち、前記第ｉのシーンチェンジの後方で、且つ前記第ｉ＋１のシーンチェンジの前方の前記画像を前記部分画像列として設定することを特徴とする画像処理装置。
  39. 　請求項３１乃至３８のいずれかにおいて、
    　前記処理部は、
    　前記部分画像列を複数設定した場合には、複数の前記部分画像列に対して並列に、
    　前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  40. 　請求項３９において、
    　前記処理部は、
    　前記画像列から第ｊ（ｊは整数）のシーンチェンジを検出した場合に、
    　前記画像列の前記複数の画像のうち、前記第ｊのシーンチェンジの前方の前記画像を含む第ｋ（ｋは整数）の部分画像列と、前記第ｊのシーンチェンジの後方の前記画像を含む第ｋ＋１の部分画像列を設定し、
    　前記第ｋの部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理と、
    　前記第ｋ＋１の部分画像列から前記基準画像と前記判定対象画像を選択し、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記判定対象画像の削除可否の判定を行う処理とを、
    　並行して実行することを特徴とする画像処理装置。
  41. 　複数の画像を有する画像列を取得する画像列取得部と、
    　前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
    　を含み、
    　前記処理部は、
    　前記複数の画像から、前記画像要約処理の基準画像と判定対象画像を選択し、
    　前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、
    　前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  42. 　複数の画像を有する画像列を取得する画像列取得部と、
    　前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
    　コンピュータを機能させ、
    　前記処理部は、
    　前記複数の画像から、基準画像と判定対象画像を選択し、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
    　前記被覆率に基づいて、前記判定対象画像を削除可否の判定を行うことを特徴とするプログラム。
  43. 　複数の画像を有する画像列を取得する画像列取得部と、
    　前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
    　コンピュータを機能させ、
    　前記処理部は、
    　前記複数の画像から、前記画像要約処理の基準画像と判定対象画像を選択し、
    　前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、
    　前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とするプログラム。
  44. 　複数の画像を有する画像列を取得し、
    　前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
    　前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
    　前記被覆率に基づいて、前記判定対象画像を削除可否の判定を行い、
    　前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。
  45. 　複数の画像を有する画像列を取得し、
    　前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
    　前記判定対象画像上に観察領域を設定するとともに、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記観察領域に対応する前記基準画像上の領域である対応領域を求め、
    　前記対応領域から求められた第１の特徴量と、前記観察領域から求められた第２の特徴量の少なくとも一方に基づいて、前記判定対象画像の削除可否の判定を行い、
    　前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。
PCT/JP2013/056271 2012-03-07 2013-03-07 画像処理装置、プログラム及び画像処理方法 WO2013133368A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201380012887.XA CN104159501B (zh) 2012-03-07 2013-03-07 图像处理装置和图像处理方法
EP13757814.2A EP2823754A4 (en) 2012-03-07 2013-03-07 Image processing device, program and image processing method
US14/479,235 US9576362B2 (en) 2012-03-07 2014-09-05 Image processing device, information storage device, and processing method to acquire a summary image sequence

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012050860A JP5896791B2 (ja) 2012-03-07 2012-03-07 画像処理装置、プログラム及び画像処理方法
JP2012-050860 2012-03-07
JP2012-094691 2012-04-18
JP2012094691A JP5973771B2 (ja) 2012-04-18 2012-04-18 画像処理装置、プログラム及び画像処理方法
JP2012-117318 2012-05-23
JP2012117318A JP5973783B2 (ja) 2012-05-23 2012-05-23 画像処理装置、プログラム及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/479,235 Continuation US9576362B2 (en) 2012-03-07 2014-09-05 Image processing device, information storage device, and processing method to acquire a summary image sequence

Publications (1)

Publication Number Publication Date
WO2013133368A1 true WO2013133368A1 (ja) 2013-09-12

Family

ID=49116837

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/056271 WO2013133368A1 (ja) 2012-03-07 2013-03-07 画像処理装置、プログラム及び画像処理方法

Country Status (4)

Country Link
US (1) US9576362B2 (ja)
EP (1) EP2823754A4 (ja)
CN (2) CN104159501B (ja)
WO (1) WO2013133368A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050638A1 (ja) * 2012-09-27 2014-04-03 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP2016171900A (ja) * 2015-03-17 2016-09-29 オリンパス株式会社 内視鏡装置及びそのプログラム実行方法
JPWO2016056408A1 (ja) * 2014-10-10 2017-04-27 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US9652835B2 (en) 2012-09-27 2017-05-16 Olympus Corporation Image processing device, information storage device, and image processing method
CN117877008A (zh) * 2024-03-13 2024-04-12 湖北神龙工程测试技术有限公司 一种基于人工智能的门窗性能检测方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106859578B (zh) 2012-03-08 2018-11-20 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2013157354A1 (ja) 2012-04-18 2013-10-24 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6006112B2 (ja) * 2012-12-28 2016-10-12 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
US11120547B2 (en) * 2014-06-01 2021-09-14 CapsoVision, Inc. Reconstruction of images from an in vivo multi-camera capsule with two-stage confidence matching
CN105992546B (zh) 2015-01-21 2018-08-28 Hoya株式会社 内窥镜***
US20190266869A1 (en) * 2015-02-19 2019-08-29 Smoke Detective, Llc Smoke Detection System and Method Using a Camera
US10304306B2 (en) * 2015-02-19 2019-05-28 Smoke Detective, Llc Smoke detection system and method using a camera
JP6266559B2 (ja) * 2015-03-31 2018-01-24 富士フイルム株式会社 内視鏡診断装置、画像処理方法、プログラムおよび記録媒体
WO2016175098A1 (ja) * 2015-04-27 2016-11-03 オリンパス株式会社 画像解析装置、画像解析システム、画像解析装置の作動方法
US9858642B2 (en) * 2015-05-08 2018-01-02 Oracle International Corporation Geometric model for visually debugging massive spatial datasets
JP6309489B2 (ja) 2015-06-23 2018-04-11 Hoya株式会社 画像検出装置及び画像検出システム
CN110520893B (zh) * 2017-04-19 2023-05-05 卡普索影像公司 对通过胶囊相机所撷取的图像进行图像处理并显示的方法
CN107657600B (zh) * 2017-09-05 2020-06-30 深圳市斯尔顿科技有限公司 眼科oct图像的基准图选取方法和图像合成方法
JP6986160B2 (ja) * 2018-08-10 2021-12-22 オリンパス株式会社 画像処理方法および画像処理装置
US20200292297A1 (en) * 2019-03-15 2020-09-17 Faro Technologies, Inc. Three-dimensional measurement device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257287A (ja) 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP2008146460A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 動画代表画像抽出方法、装置、及びコンピュータ・プログラム
JP2009005020A (ja) 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010183290A (ja) * 2009-02-04 2010-08-19 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2011175599A (ja) * 2010-02-25 2011-09-08 Canon Inc 画像処理装置、その処理方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7110454B1 (en) 1999-12-21 2006-09-19 Siemens Corporate Research, Inc. Integrated method for scene change detection
US6697523B1 (en) 2000-08-09 2004-02-24 Mitsubishi Electric Research Laboratories, Inc. Method for summarizing a video using motion and color descriptors
US7120873B2 (en) 2002-01-28 2006-10-10 Sharp Laboratories Of America, Inc. Summarization of sumo video content
US20040088723A1 (en) 2002-11-01 2004-05-06 Yu-Fei Ma Systems and methods for generating a video summary
US7480442B2 (en) 2003-07-02 2009-01-20 Fuji Xerox Co., Ltd. Systems and methods for generating multi-level hypervideo summaries
US20070124282A1 (en) 2004-11-25 2007-05-31 Erland Wittkotter Video data directory
JP4418400B2 (ja) 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
JP2007195586A (ja) 2006-01-23 2007-08-09 Olympus Medical Systems Corp カプセル型医療装置、医療用制御装置、医療用画像処理装置及びプログラム
JP2009528756A (ja) 2006-03-03 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複数の画像の要約の自動生成のための方法及び装置
JP2009050321A (ja) 2007-08-23 2009-03-12 Olympus Corp 画像処理装置
JP5173337B2 (ja) 2007-09-18 2013-04-03 Ｋｄｄｉ株式会社 要約コンテンツ生成装置およびコンピュータプログラム
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
JP2010069208A (ja) 2008-09-22 2010-04-02 Olympus Corp 画像処理装置、画像処理方法および画像処理用プログラム
JP5374135B2 (ja) * 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP5802364B2 (ja) 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011200283A (ja) 2010-03-24 2011-10-13 Olympus Corp 制御装置、内視鏡システム、プログラム及び制御方法
CN102096917B (zh) * 2010-12-22 2012-08-15 南方医科大学 胶囊内窥镜冗余图像数据的自动剔除方法
US8655036B2 (en) 2011-02-14 2014-02-18 Siemens Medical Solutions Usa, Inc. Presentation of locations in medical diagnosis
US10134440B2 (en) 2011-05-03 2018-11-20 Kodak Alaris Inc. Video summarization using audio and visual cues
US8869198B2 (en) 2011-09-28 2014-10-21 Vilynx, Inc. Producing video bits for space time video summary
CN106859578B (zh) 2012-03-08 2018-11-20 奥林巴斯株式会社 图像处理装置和图像处理方法
WO2013157354A1 (ja) 2012-04-18 2013-10-24 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257287A (ja) 2006-03-23 2007-10-04 Tokyo Institute Of Technology 画像レジストレーション方法
JP2008146460A (ja) * 2006-12-12 2008-06-26 Yahoo Japan Corp 動画代表画像抽出方法、装置、及びコンピュータ・プログラム
JP2009005020A (ja) 2007-06-20 2009-01-08 Olympus Corp 画像抽出装置および画像抽出プログラム
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2010183290A (ja) * 2009-02-04 2010-08-19 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011024763A (ja) 2009-07-24 2011-02-10 Hitachi Ltd 画像処理方法および画像処理装置
JP2011175599A (ja) * 2010-02-25 2011-09-08 Canon Inc 画像処理装置、その処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2823754A4

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050638A1 (ja) * 2012-09-27 2014-04-03 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP2014079562A (ja) * 2012-09-27 2014-05-08 Olympus Corp 画像処理装置、プログラム及び画像処理方法
US9652835B2 (en) 2012-09-27 2017-05-16 Olympus Corporation Image processing device, information storage device, and image processing method
US9684849B2 (en) 2012-09-27 2017-06-20 Olympus Corporation Image processing device, information storage device, and image processing method
JPWO2016056408A1 (ja) * 2014-10-10 2017-04-27 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2016171900A (ja) * 2015-03-17 2016-09-29 オリンパス株式会社 内視鏡装置及びそのプログラム実行方法
CN117877008A (zh) * 2024-03-13 2024-04-12 湖北神龙工程测试技术有限公司 一种基于人工智能的门窗性能检测方法
CN117877008B (zh) * 2024-03-13 2024-05-17 湖北神龙工程测试技术有限公司 一种基于人工智能的门窗性能检测方法

Also Published As

Publication number Publication date
US9576362B2 (en) 2017-02-21
CN104159501A (zh) 2014-11-19
EP2823754A1 (en) 2015-01-14
CN106127796A (zh) 2016-11-16
CN104159501B (zh) 2016-10-05
EP2823754A4 (en) 2015-12-30
CN106127796B (zh) 2019-03-26
US20140376817A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
WO2013133368A1 (ja) 画像処理装置、プログラム及び画像処理方法
WO2013157354A1 (ja) 画像処理装置、プログラム及び画像処理方法
WO2013133370A1 (ja) 画像処理装置、プログラム及び画像処理方法
CN110998659B (zh) 图像处理***、图像处理方法、及程序
JP5203648B2 (ja) 画像抽出装置および画像抽出プログラム
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
CN111091536B (zh) 医学图像处理方法、装置、设备、介质以及内窥镜
US10839529B2 (en) Image processing apparatus and image processing method, and storage medium
CN112287954A (zh) 图像分类方法、图像分类模型的训练方法及其装置
JP6242072B2 (ja) 画像処理装置、プログラム及び画像処理装置の作動方法
CN107221005B (zh) 物体检测方法及装置
Gadermayr et al. Shape curvature histogram: A shape feature for celiac disease diagnosis
JP5963480B2 (ja) 画像要約装置及びプログラム
US8306354B2 (en) Image processing apparatus, method, and program
JP5973771B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP5896791B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP2007282906A (ja) 医用画像処理方法及びその装置、プログラム
JP5973770B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP5973783B2 (ja) 画像処理装置、プログラム及び画像処理方法
TWI721288B (zh) 影像處理裝置、影像處理方法及程式記錄媒體
EA030790B1 (ru) Способ формирования панорамных изображений из видеопотока кадров в режиме реального времени
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2017207960A (ja) 画像解析装置、画像解析方法およびプログラム
Mishima et al. FPGA implementation of feature extraction for colorectal endoscopic images with nbi magnification
JP5980567B2 (ja) 画像処理装置、プログラム及び画像処理装置の作動方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757814

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013757814

Country of ref document: EP