WO2023026706A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2023026706A1
WO2023026706A1 PCT/JP2022/027173 JP2022027173W WO2023026706A1 WO 2023026706 A1 WO2023026706 A1 WO 2023026706A1 JP 2022027173 W JP2022027173 W JP 2022027173W WO 2023026706 A1 WO2023026706 A1 WO 2023026706A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
control unit
image processing
processing device
group
Prior art date
Application number
PCT/JP2022/027173
Other languages
English (en)
French (fr)
Inventor
章介 大西
学 橋本
Original Assignee
京セラ株式会社
学校法人梅村学園
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社, 学校法人梅村学園 filed Critical 京セラ株式会社
Priority to CN202280058115.9A priority Critical patent/CN117897739A/zh
Priority to EP22860997.0A priority patent/EP4394697A1/en
Priority to JP2023543740A priority patent/JPWO2023026706A1/ja
Publication of WO2023026706A1 publication Critical patent/WO2023026706A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present disclosure relates to an image processing device and an image processing method.
  • Template matching is known in which the position of a detection target is detected from within an image of an arbitrary area using the image of the detection target as a template image.
  • a detection target placed in an arbitrary area varies in appearance from a fixed template image due to various disturbance factors such as changes in the illuminance of sunlight, the position of a camera that captures an arbitrary area, and manual work on the detection target. can. Therefore, it has been proposed to perform robust template matching even against disturbance factors (see Non-Patent Documents 1 to 3).
  • the image processing device is a memory for storing a template image group including a plurality of images to be detected; an acquisition unit that acquires an entire image including a matching target; a control unit that acquires a representative image based on a part of the template image group and performs similarity determination between at least part of the overall image and the representative image.
  • the image processing device is a memory for storing a template image group including a plurality of images to be detected; an acquisition unit that acquires an entire image including a matching target; a control unit that acquires a representative image based on a part of the template image group and performs similarity determination between at least part of the overall image and the representative image; The control unit calculates a contribution degree of the part of the whole image used for the similarity judgment based on statistics of at least a part of the template image group, and uses the contribution degree for the similarity judgment.
  • the image processing method is storing a template image group including a plurality of images to be detected; obtaining an entire image including a matching target; obtaining a representative image based on a portion of the template images; determining similarity between at least part of the overall image and the representative image.
  • FIG. 1 is a diagram showing a configuration example of an object operation system including an image processing device according to the first embodiment.
  • FIG. 2 is a diagram for explaining similarity determination between a representative image and a partial region of the overall image, which is performed by the control unit in FIG. 1 to detect the existing position of a detection target in the overall image;
  • FIG. 2 is a diagram for explaining a method of creating a statistical model for the control unit in FIG. 1 to calculate a contribution;
  • FIG. 10 is a diagram for explaining another method of creating a statistical model for the control unit in FIG. 1 to calculate the degree of contribution;
  • FIG. 10 is a diagram for explaining a method of creating still another statistical model for the control unit in FIG. 1 to calculate the degree of contribution;
  • FIG. 2 is a diagram for explaining similarity determination between a representative image and a partial region of the overall image, which is performed by the control unit in FIG. 1 to detect the existing position of a detection target in the overall image;
  • FIG. 2 is a diagram for explaining a
  • FIG. 4 is a diagram for explaining a method of calculating a contribution based on the statistical model of FIG. 3;
  • FIG. 6 is a flow chart for explaining existence position detection processing executed by a control unit in the first embodiment.
  • FIG. 11 is a first flow chart for explaining a position detection process executed by a control unit in the second embodiment;
  • FIG. 11 is a first flow chart for explaining existence position detection processing executed by a control unit in the third embodiment;
  • FIG. 1 shows a configuration example of an object operation system 11 including an image processing device 10 according to the first embodiment.
  • the object manipulation system 11 may comprise a camera 12 , an image processing device 10 and a manipulation device 13 .
  • the target operation system 11 performs a specific operation on a detection target 14 such as a product in a factory or the like, for example.
  • the detection target 14 is placed, for example, on a tray 15 or the like.
  • the camera 12 may image the tray 15 on which the detection target 14 is placed.
  • the camera 12 may, for example, generate images at a predetermined frame rate, such as 30 fps, in other words periodically.
  • the image processing device 10 may detect the position of the detection target 14 using the image captured by the camera 12 .
  • the operation device 13 may operate the detection target 14 at the position detected by the image processing device 10 .
  • the operation device 13 is, for example, a robot, and may grip the detection target 14 as an operation.
  • the image processing apparatus 10 includes a communication unit (acquisition unit) 16, a memory 17, and a control unit 18.
  • the image processing device 10 may further include an input section 19 .
  • the communication unit 16 acquires the entire image from the camera 12.
  • the whole image is an image from which the position of the detection target 14 is detected by the image processing device 10 .
  • the whole image is an image including a subject to be matched.
  • the target to be matched is a target to be matched with the detection target of the representative image, as will be described later.
  • the communication unit 16 may be, for example, a communication interface that communicates information and commands by communicating with an external device.
  • the communication unit 16 may provide the operation device 13 with the existing position of the detection target 14 in the entire image.
  • the memory 17 includes arbitrary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory).
  • the memory 17 may store various programs that cause the control unit 18 to function and various information that the control unit 20 uses.
  • the memory 17 stores the template image group.
  • a template image group includes a plurality of detection target images.
  • the plurality of detection target images may be acquired in chronological order as described later.
  • the plurality of detection target images may include, for example, a plurality of detection target images generated by padding processing from one image.
  • the plurality of detection target images may include, for example, a plurality of detection target images acquired under different environments.
  • a template image group including a plurality of detection target images acquired in chronological order will be described as an example.
  • the detection target image is an image of the detection target 14 .
  • the plurality of detection target images may include a plurality of processed images obtained by performing image processing on some of the plurality of detection target images.
  • Image processing may be performed by the control unit 18 .
  • the image processing is performed by, for each of a plurality of detection target images, detecting changes in pixel values between a plurality of detection target images obtained before and after the detection target image in the template image group. This is luminance adjustment processing applied to the entire image.
  • the image processing is, for example, a process of adding a disturbance suddenly occurring to a plurality of detection target images before and after each of a part of the plurality of detection target images.
  • the input unit 19 may include one or more interfaces that detect user's operation input.
  • the input unit 19 may include, for example, physical keys, capacitive keys, and a touch screen provided integrally with a display device.
  • the control unit 18 includes one or more processors and memory.
  • the processor may include a general-purpose processor that loads a specific program to perform a specific function, and a dedicated processor that specializes in specific processing.
  • a dedicated processor may include an Application Specific Integrated Circuit (ASIC).
  • the processor may include a programmable logic device (PLD).
  • the PLD may include an FPGA (Field-Programmable Gate Array).
  • the control unit 18 may be either an SoC (System-on-a-Chip) in which one or more processors cooperate, or a SiP (System In a Package).
  • the control unit 18 generates a representative image based on a partial image group extracted from the template image group. Extraction of a partial image group from a template image group and generation of a representative image will be explained later using a detailed example. For example, the control unit 18 may generate a representative image each time an entire image is acquired.
  • the control unit 18 superimposes a representative image ri having a size equal to or smaller than the overall image wi on at least a partial area of the overall image wi, and determines the similarity between the representative image ri and the area. I do.
  • the control unit 18 can detect the existence position of the detection target, for example, along with determining whether or not the matching target is the detection target.
  • the control unit 18 stores the image in the memory 17 so as to be included in the template image group as the detection target image.
  • the control unit 18 may determine, for example, the first time point that is the start time point of the temporal range regarding the acquisition time of the detection target image extracted from the template image group.
  • the first time point may be determined in any manner.
  • the first point in time may be determined, for example, based on changes in appearance effects occurring on images included in the template image group over time.
  • the input unit 19 detects an operation input designating the first time point, the time point corresponding to the operation input may be determined as the first time point.
  • the first time point may be determined based on analysis of the template images by the controller 18 .
  • the control unit 18 determines the first point in time based on, for example, time-series changes in the pixel values of each image included in the template image group.
  • the pixel value of each image may be, for example, a pixel value of a specific pixel forming the image, an average value of pixel values of all images, an average value of pixel values in a specific range, or the like. More specifically, the control unit 18 calculates, for example, a period that is at least twice the period corresponding to the lowest frequency component in changes in pixel values along the time series, and causes the calculated period to go back from the current point. is determined to be the first time point.
  • the control unit 18 designates an image group including a plurality of images acquired from a first time in the past to the latest time in chronological order as a first image. You can define it as a group.
  • the control unit 18 may determine an image sampling interval for extracting further images from the first image group.
  • a sampling interval may be determined in any manner. The sampling interval may be determined, for example, based on the time-series change in appearance effects on the images included in the template image group.
  • the input unit 19 detects an operation input specifying a sampling interval, the interval corresponding to the operation input may be determined as the sampling interval. Alternatively, the sampling interval may be determined based on analysis of the template image group by the control unit 18 .
  • the control unit 18 determines the sampling interval, for example, based on the time-series change in the pixel value of each image included in the template image group.
  • the pixel value of each image is the pixel value of a specific pixel constituting the image, the average pixel value of all images, the average pixel value of a specific range, etc. good. More specifically, the control unit 18 determines, for example, a sampling interval that is twice as long as the period corresponding to the highest frequency component among changes in pixel values along the time series.
  • the control unit 18 may determine the sampling interval to be any interval equal to or longer than the acquisition cycle of the detection target image. Note that the fact that the absolute value of the difference between the pixel values of consecutive time series is less than the first threshold may be regarded as the fact that the pixel values of the images included in the template image group do not change in time series. Further, for example, when the pixel values of the images included in the template image group do not change in time series, the control unit 18 sets the number of detection target images detected from the first image group at the above sampling interval to a predetermined number. The first time point may be determined to exceed the sampling number of .
  • control unit 18 may define an image group including a plurality of images acquired at sampling intervals from the first time point as the second image group.
  • the control unit 18 may extract further images from the second group of images, as described below.
  • the control unit 18 detects at least one disturbance factor with respect to the detection target image included in the template image group by detecting the existing position from the entire image wi within a predetermined time range going back from the present time. You can decide.
  • the detection target images included in the template image group whose existing positions are detected within a predetermined time range going back from the present may be detection target images included in each of the entire images wi of a plurality of frames.
  • the disturbance factors in the plurality of detection target images respectively corresponding to the plurality of whole images wi may be the same or similar.
  • a disturbance factor is a factor that affects the appearance.
  • Disturbance factors include, for example, changes over time in the direction and intensity of illumination due to sunlight, changes in received colors due to changes in the position of the camera 12, presence or absence of labeling on the detection target 14 or differences in position, illumination and detection target. 14, illuminance changes due to the passage of workers or robots, and the like.
  • the disturbance factor may be determined by any method. For example, when the input unit 19 detects an operation input that designates a situation that causes an effect on the appearance in the newly acquired entire image wi, the control unit 18 sets the factor corresponding to the situation to the disturbance factor. decide.
  • the control unit 18 may determine a plurality of disturbance factors when detecting an operation input designating a plurality of situations. Alternatively, a single or multiple disturbance factors may be determined based on analysis of the second group of images by the control unit 18 .
  • control unit 18 may determine the disturbance factor by generating a comparison image in which the disturbance factor is reflected.
  • the control unit 18 may generate a comparison image using detection target images within a predetermined time range going back from the present. For example, when the detection target image is single, the comparison image is the detection target image itself. For example, when there are a plurality of detection target images, the comparison image may be generated based on the plurality of detection target images. A comparison image based on a plurality of detection target images may be generated, for example, by averaging the plurality of detection target images.
  • the control unit 18 may extract an image group of detection target images corresponding to the determined disturbance factor from the second image group. When a plurality of disturbance factors are determined, the control unit 18 may extract a plurality of image groups of detection target images corresponding to each disturbance factor.
  • the control unit 18 may extract, from the second image group, an image group of detection target images associated with a situation corresponding to the disturbance factor.
  • the control unit 18 compares each detection target image included in the second image group with the comparison image to determine the detection target image corresponding to the comparison image. image group.
  • control unit 18 compares the pixel values of each pixel forming the comparison image and each pixel forming each detection target image included in the second image group, and detects images that are determined to be similar to the comparison image. An image group of target images is extracted. Further, for example, the control unit 18 clusters the image groups included in the comparative image and the second image group, and extracts the image group of the detection target images belonging to the same group as the comparative image. Further, for example, the control unit 18 performs disturbance determination on all detection target images included in the second image group, and extracts an image group of the detection target images including pixels included in the comparison image and determined to be disturbance. .
  • the control unit 18 may generate the representative image ri based on the second image group extracted from the template image group or based on the image group corresponding to the disturbance factor further extracted from the second image group.
  • the control unit 18 may generate the representative image ri by various methods.
  • control unit 18 generates the representative image ri by setting a statistic based on the pixel values of the pixels at the addresses corresponding to each other among the images included in the second image group to the pixel values of the pixels.
  • a statistic is, for example, an average value, a mode value, a median value, or the like.
  • pixels at addresses corresponding to each other may be only pixels located at the same address between images.
  • the pixels at addresses corresponding to each other may be, as shown in FIG. 4, a plurality of pixels included in, for example, a 3 ⁇ 3 pixel area centered on the same address.
  • the pixels at addresses corresponding to each other may be a plurality of pixels in a section including the same address among the sections obtained by dividing each image into a plurality of grids, as shown in FIG.
  • the statistics may include a plurality of detection target images including a plurality of processed images described above.
  • control unit 18 may generate the representative image ri by performing disturbance determination on each pixel in each image included in the image group corresponding to a single disturbance factor.
  • the single disturbance factor affects the pixel values in all the images for which disturbance determination is performed here. Therefore, the single disturbance factor is not regarded as a disturbance in the image for which disturbance determination is performed.
  • the disturbance determination performed here is a determination as to whether or not a sudden disturbance has occurred in each image included in the image group corresponding to the determined disturbance factor.
  • the control unit 18 creates a histogram for pixel values of pixels at mutually corresponding addresses in each image, and determines pixel values whose frequency is equal to or higher than a threshold value to be non-disturbance.
  • the control unit 18 approximates the pixel values of pixels at mutually corresponding addresses in each image to a Gaussian distribution, and determines pixel values whose probability density is equal to or higher than a threshold value to be non-disturbance.
  • the control unit 18 determines the disturbance by classifying the pixel values of the pixels at the mutually corresponding addresses in each image into clusters using a statistical model such as K-Means or mixed Gaussian distribution.
  • the control unit 18 generates the representative image ri by setting the statistic based on the pixel value determined as non-disturbing to the pixel value of the pixel.
  • a statistic is, for example, an average value, a mode value, a median value, or the like.
  • control unit 18 generates a representative image ri by selecting a single detection target image based on the disturbance factor from among the image group corresponding to the single disturbance factor. For example, the control unit 18 selects, as the representative image ri, the detection target image having the smallest pixel value difference from the statistic based on the pixel values of pixels at mutually corresponding addresses.
  • the control unit 18 determines the largest disturbance factor in the comparative image among the plurality of disturbance factors.
  • the maximum disturbance factor may be defined arbitrarily.
  • the maximum disturbance factor is, for example, the disturbance factor with the largest number of images included in the corresponding image group, the disturbance factor with the largest number of corresponding pixels, or the disturbance factor with the latest occurrence time.
  • the control unit 18 calculates a statistic based on pixel values determined to be non-disturbance, or selects a single detection target image in the image group. Thus, a representative image ri is generated.
  • the control unit 18 when extracting a plurality of image groups corresponding to a plurality of disturbance factors, the control unit 18 generates a plurality of primary representative images for each of the plurality of image groups.
  • a primary representative image may be generated in the same manner as the above-described representative image ri generated based on a group of images corresponding to a single disturbance factor.
  • the control unit 18 may generate the representative image ri by replacing the plurality of detection target images with the plurality of primary representative images in the method of generating the representative image ri based on the plurality of detection target images described above.
  • the control unit 18 may generate, for example, a statistic based on pixel values of pixels at the same address in each of the plurality of primary representative images by determining the pixel values.
  • the control unit 18 calculates a plurality of statistics based on pixel values of pixels at mutually corresponding addresses in each of a plurality of image groups corresponding to each of a plurality of disturbance factors.
  • the control unit 18 generates the representative image ri by determining the pixel value of each pixel based on a plurality of statistics. For example, when a plurality of statistic amounts corresponding to each of a plurality of image groups are partially common to pixels at mutually corresponding addresses, the control unit 18 may determine the common statistic amount as the pixel value of the pixel. That some of the plurality of statistics are common may mean not only that the statistics match, but also that the statistics fall within a predetermined range.
  • a statistic is, for example, an average value, a mode value, a median value, or the like.
  • control unit 18 performs similarity determination by comparing the generated representative image ri with a partial area of the entire image wi.
  • the control unit 18 compares the pixel value of at least a part of all the pixels forming the generated representative image ri with the pixel value of the pixel at the same address as that pixel in a part of the whole image wi. Similar judgment may be made by
  • the control unit 18 may compare all pixels forming the generated representative image ri with all pixels in a partial area of the entire image wi.
  • control unit 18 may select pixels to be used for comparison with the entire image wi from among a plurality of pixels forming the generated representative image ri.
  • control unit 18 may determine feature points such as edges and corners as pixels used for comparison in the representative image ri.
  • control unit 18 may perform similarity determination using the degree of contribution calculated for each of a plurality of pixels forming the representative image ri or for each of a plurality of pixels forming a partial region of the entire image wi.
  • the degree of contribution is an index that indicates the degree to which the corresponding pixel contributes to similarity determination.
  • the control unit 18 may calculate the degree of contribution based on statistics of at least part of the template image group. At least part of the template image used for calculating the contribution may be the image group used for generating the representative image ri. Alternatively, at least part of the template image used for calculating the degree of contribution is a group of images corresponding to disturbance factors other than the selected single disturbance factor among the plurality of disturbance factors determined for the entire image wi. may be at least part of
  • the control unit 18 calculates the pixel value of at least one pixel corresponding to each address in a plurality of detection target images of at least a part of the template image group. Create statistical models such as histograms or Gaussians. As shown in FIG. 3, the at least one pixel corresponding to the address may be the only pixel located at the address as shown in FIG. Alternatively, as shown in FIG. 4, at least one pixel corresponding to the address may be a plurality of pixels included in, for example, a 3 ⁇ 3 pixel area centered on the address. Alternatively, as shown in FIG.
  • At least one pixel corresponding to the address may be a plurality of pixels in a section including the address among sections obtained by dividing the detection target image into a plurality of grids.
  • the statistical model may include a plurality of detection target images including a plurality of processed images described above.
  • the control unit 18 calculates the frequency corresponding to the pixel value of the pixel at each address in the partial area of the entire image wi corresponding to the pixel at each address used for the comparison determined as described above, in the statistical model of the pixel. Read out. As shown in FIG. 6, the control unit 18 calculates the contribution of the pixel according to the frequency. The contribution may be calculated so as to increase with frequency.
  • the control unit 18 selects pixels used for similarity determination from among a plurality of pixels forming the representative image ri or a plurality of pixels forming a part of the entire image wi, corresponding to the pixels used for comparison. You can For example, the control unit 18 uses pixels whose contribution degree is equal to or greater than a threshold value for similarity determination. Alternatively, the control unit 18 may not perform similarity determination based on similarity for pixels whose contribution is equal to or less than the threshold. Specifically, for example, if a pixel used for comparison of representative images ri has a pixel value with low frequency in the corresponding statistical model, or has a pixel value outside a certain range centered on the pixel value with the highest frequency.
  • control unit 18 may perform weighting according to the degree of contribution in similarity determination. For example, the control unit 18 may multiply the difference between the pixels at the same address in the representative image ri and the partial area of the entire image wi by a weight that changes according to the degree of contribution.
  • the control unit 18 may calculate the degree of similarity by summing the differences between pixels forming the generated representative image ri and pixels in a partial region of the entire image wi, which have the same address.
  • the control unit 18 may determine a partial area of the entire image wi whose similarity is equal to or less than the threshold as the presence position of the detection target 14 .
  • control unit 18 may not perform similarity judgment based on the degree of similarity when a specific condition is satisfied using the created statistical model of pixels for calculating the degree of contribution.
  • a partial area of the entire image wi may be determined to be dissimilar to the representative image.
  • a specific condition is when, among all the pixels used for comparison in the partial region, the number of pixels with low frequency pixel values in the corresponding statistical model is large, or when the number of pixels with the most frequency pixel values is constant This is the case where there are a large number of pixels having pixel values outside the range of .
  • the pixel value for example, in the statistical model corresponding to each pixel, if the pixel value frequency of the pixel is equal to or less than a threshold, the pixel value may be determined to be a low-frequency pixel value. Further, for example, in a statistical model approximated by a Gaussian model, when the frequency of the pixel value of the pixel is located outside a certain range centered on the pixel value of the mode, the pixel value is It may be determined that the pixel value is out of a certain range centered on the most frequent pixel value. When the statistical model is approximated to a Gaussian mixture model, the certain range may be set to a range of ⁇ 6 ⁇ around the mode of each Gaussian distribution, for example.
  • a large number of pixels with low frequency pixel values among all pixels may mean that the number of pixels with low frequency pixel values is equal to or less than a threshold.
  • a large number of pixels with low frequency pixel values among all pixels may mean that the ratio of pixels with low frequency pixel values to all pixels used for comparison is equal to or less than a threshold.
  • the control unit 18 sets the image portion of the partial area of the entire image wi corresponding to the existence position as the detection target image to the template image group. , and stored in the memory 17.
  • the control unit 18 determines the disturbance factor based on the operation input detected by the input unit 19 and detects the presence position of the detection target 14 in the entire image wi, the detection target image corresponding to the presence position has an external appearance Influencing situations may be associated and included in the set of template images.
  • the existence position detection processing executed by the control unit 18 in the first embodiment will be described using the flowchart of FIG.
  • the existence position detection processing is started by acquiring the entire image wi of one frame.
  • step S100 the control unit 18 temporarily identifies a partial area having the same size as the detection target image included in the template image group in the acquired overall image wi as an area for similarity determination. After identification, the process proceeds to step S101.
  • step S101 the control unit 18 determines the first time point and the sampling period based on the detection by the input unit 19 or the analysis of each detection target image included in the template image group. After determination, the process proceeds to step S102.
  • step S102 the control unit 18 extracts a second image group based on the first time point and sampling interval determined in step S101. After extraction, the process proceeds to step S103.
  • step S103 the control unit 18 determines the disturbance factor based on the input designating the situation to the input unit 19 or the analysis of the second image group. After determination, the process proceeds to step S104.
  • step S104 the control unit 18 generates a representative image ri based on the image group corresponding to the disturbance factor determined in step S103, extracted from the second image group extracted in step S102. After generating the representative image ri, the process proceeds to step S105.
  • step S105 the control unit 18 selects pixels to be used for comparison with the partial area identified in step S100 in the representative image ri generated in step S104. After selecting a pixel, the process proceeds to step S106.
  • step S106 the control unit 18 extracts part of the template image group. After extraction, the process proceeds to step S107.
  • control unit 18 creates a statistical model for each pixel of the plurality of detection target images extracted at step S106. After creating the statistical model, the process proceeds to step S108.
  • step S108 the control unit 18 uses the statistical model created in step S107 to determine whether the number of pixels with low frequency pixel values is large. If the number of pixels with low frequency is not large, the process proceeds to step S109. If the number of pixels with low frequency is large, the process proceeds to step S114.
  • step S109 the control unit 18 calculates the degree of contribution by reading the frequencies corresponding to the pixel values of the pixels forming the partial region identified in step S100 from the statistical model created in step S107. After calculating the contribution, the process proceeds to step S110.
  • step S110 the control unit 18 calculates the similarity of the partial region identified in step S100 to the representative image ri based on the contribution calculated in step S109. After calculating the similarity, the process proceeds to step S111.
  • step S111 the control unit 18 determines whether or not the similarity calculated in step S110 is equal to or less than the threshold. If so, the process proceeds to step S112. Otherwise, the process proceeds to step S114.
  • step S112 the control unit 18 determines that the partial area identified in step S100 is the position where the detection target 14 exists. After determination, the process proceeds to step S113.
  • step S113 the control unit 18 stores the image of the partial area identified in step S100 in the memory 17 as a detection target image so as to be included in the template image group. After storing, the process proceeds to step S114.
  • step S114 the control unit 18 determines whether or not the entire area of the entire image wi has been specified as a partial area. If all regions have not been identified, the process proceeds to step S115. If all areas have been specified, the detection process ends.
  • step S115 the control unit 18 displaces the partial area identified in step S100 while maintaining the same size. After displacement, the process returns to step S100.
  • the image processing apparatus 10 of the first embodiment acquires a representative image ri based on a part of the template image group, and determines similarity between at least part of the entire image wi and the representative image ri. conduct.
  • the image processing apparatus 10 can generate a representative image ri including a detection target image including disturbances that occur frequently. Therefore, the image processing apparatus 10 can include the influence of a disturbance with a high frequency of occurrence in the representative image ri even if it is a disturbance as a whole. It can be determined whether or not the subject corresponds to the detection target 14 .
  • the image processing apparatus 10 can continuously and robustly detect the detection target 14 using a relatively small number of learning images, in other words, a group of images, even if the frequency of occurrence of disturbances is high.
  • the image processing apparatus 10 of the first embodiment stores the detection target image of the detection target 14 detected within the entire image wi in the memory 17 so as to be included in the template image group.
  • the image processing apparatus 10 can reflect, in the representative image ri, the tendency of disturbances that are likely to affect the entire image wi in subsequent detection of the existence position of the detection target 14 . Therefore, the image processing apparatus 10 can improve robustness of detection in subsequent detection of the existence position of the detection target 14 .
  • the image processing apparatus 10 of the first embodiment includes a first image including a plurality of images acquired in chronological order from a first point in time going back in time, among the detection target images included in the template image group.
  • a representative image ri is generated based on a second image group including a plurality of images acquired at sampling intervals.
  • the image processing apparatus 10 uses all the detection target images included in the template image group by determining the sampling interval according to the shortest generation cycle of the disturbances that affect when the entire image wi is captured.
  • An appropriate representative image ri can be generated using a portion of the detection target image without the need. Therefore, the image processing apparatus 10 can reduce the processing load for generating the representative image ri, and thus can reduce the load associated with detecting the existing position of the detection target 14 .
  • the image processing apparatus 10 of the first embodiment determines at least one disturbance factor that has the same or similar appearance effect on the detection target 14 included in the plurality of whole images wi, An image group corresponding to the disturbance factor is extracted from the group, and a representative image ri is generated based on the image group corresponding to the disturbance factor.
  • the image processing apparatus 10 can reflect in the representative image ri the disturbance that is highly likely to affect the acquired representative image ri. Therefore, the image processing device 10 can further improve the robustness of detection of the detection target 14 .
  • the situation in response to an operation input of a situation that affects the appearance of the detection target 14, the situation is associated with the situation in the template image group.
  • a disturbance factor is determined based on the detection target image, and when detecting the presence position of the detection target 14 in the entire image wi, the situation is associated with the presence position image and included in the template image group.
  • the image processing apparatus 10 of the first embodiment selects pixels to be used for comparison with the overall image wi from among the plurality of pixels forming the representative image ri. With such a configuration, the image processing apparatus 10 can reduce the load of similarity determination processing compared to a configuration in which all pixels forming the representative image ri are compared with a partial region of the entire image wi.
  • the image processing apparatus 10 of the first embodiment generates a representative image ri by setting a statistic based on the pixel values of pixels at the same address in each image group corresponding to the disturbance factor to the pixel values of the pixels.
  • the image processing apparatus 10 can remove the influence of pixel values that can be regarded as disturbances in the image group corresponding to the disturbance factor, in other words, pixel values that occur infrequently in the image group. . Therefore, the image processing device 10 can further improve the robustness of detection of the detection target 14 .
  • the image processing apparatus 10 calculates the degree of contribution of a part of the whole image wi used for similarity determination based on the statistics of at least part of the detection target image of the template image group, and calculates the contribution degree is used for similarity judgment.
  • the image processing apparatus 10 can reduce the possibility that the similarity determination results of pixels with a low degree of contribution will be determined to have high similarity. Therefore, when a disturbance that does not occur in the template image group occurs in the entire image wi, the image processing apparatus 10 can eliminate the influence of the disturbance in similarity determination. Therefore, the image processing device 10 can further improve the robustness of detection of the detection target 14 .
  • the image processing apparatus 10 of the first embodiment at least part of the template image group used for calculating the contribution is the image group used for generating the representative image ri.
  • the image processing apparatus 10 can eliminate the influence of the disturbance in the similarity determination when a disturbance that is not reflected in the representative image ri occurs in the entire image wi. Therefore, the image processing device 10 can further improve the robustness of detection of the detection target 14 .
  • the image processing apparatus 10 of the first embodiment at least a part of the template image group used for calculating the degree of contribution is selected from among the plurality of disturbance factors determined for the entire image wi. It is at least part of an image group corresponding to a disturbance factor other than one disturbance factor.
  • the image processing apparatus 10 when a disturbance factor that may not be reflected in the representative image ri and has occurred occurs in the entire image wi, is reflected in the representative image ri in similarity determination. It is possible to eliminate the influence of the disturbance factor that is not Therefore, the image processing device 10 can further improve the robustness of detection of the detection target 14 .
  • the representative image ri is generated based on the image group corresponding to the disturbance factor extracted from the second image group, but the configuration is not limited to this.
  • the representative image ri may be generated from the second image group without specifying the image group corresponding to the disturbance factor.
  • the second embodiment differs from the first embodiment in the method of extracting an image group from a template image group in the control unit 18 .
  • the second embodiment will be described below, focusing on the differences from the first embodiment.
  • symbol is attached
  • an image processing apparatus 10 includes a communication section 16, a memory 17, and a control section 18, as in the first embodiment. Further, the image processing apparatus 10 may include an input unit 19, as in the first embodiment.
  • the configurations and functions of the communication unit 16, memory 17, and input unit 19 in the second embodiment are the same as in the first embodiment.
  • the configuration of the control unit 18 in the second embodiment is the same as in the first embodiment.
  • a detection target image whose position is detected within a predetermined time range going back from the present and included in the template image group may be a detection target image in at least one frame of the entire image wi.
  • a plurality of detection target images in each of the entire images wi of a plurality of frames. Disturbance factors in a plurality of detection target images may be the same or similar.
  • control unit 18 may generate the representative image ri based on the image group corresponding to the disturbance factor extracted from the template image group.
  • a method of generating the representative image ri based on the image group corresponding to the disturbance factor may be similar to that of the first embodiment.
  • the control unit 18 performs similarity determination by comparing the generated representative image ri with a partial area of the entire image wi. Therefore, the control unit 18 may compare all pixels forming the generated representative image ri with all pixels in a partial region of the entire image wi. Alternatively, the control unit 18 may select pixels to be used for comparison with the entire image wi from among a plurality of pixels forming the generated representative image ri. Furthermore, the control unit 18 may perform similarity determination using the degree of contribution calculated for each pixel that constitutes a partial area of the entire image wi.
  • the existence position detection processing executed by the control unit 18 in the second embodiment will be described using the flowchart of FIG.
  • the existence position detection processing is started by acquiring the entire image wi of one frame.
  • step S200 the control unit 18 receives an input designating a situation to the input unit 19, or a position detected from the entire image wi within a predetermined time range going back from the present and included in the template image group.
  • a disturbance factor is determined based on the analysis of the target image. After determination, the process proceeds to step S201.
  • step S201 the control unit 18 extracts an image group corresponding to the disturbance factor determined in step S200 from the template image group. After extraction, the process proceeds to step S202.
  • control unit 18 performs processing similar to steps S104 to S115 in the detection processing of the first embodiment.
  • the image processing apparatus 10 of the second embodiment configured as described above also generates a representative image ri based on a partial group of images extracted from a group of template images, and combines a part of the entire image wi with the representative image ri. , the presence position of the detection target 14 in the entire image wi is detected. Therefore, the image processing apparatus 10 can continuously and robustly detect the detection target 14 using a relatively small number of learning images, in other words, a group of images, even if the frequency of occurrence of disturbances is high.
  • the third embodiment differs from the first embodiment in the method of extracting the image group from the template image group in the control unit 18 .
  • the third embodiment will be described below, focusing on the differences from the first embodiment.
  • symbol is attached
  • an image processing apparatus 10 includes a communication section 16, a memory 17, and a control section 18, as in the first embodiment. Further, the image processing apparatus 10 may include an input unit 19, as in the first embodiment.
  • the configurations and functions of the communication unit 16, memory 17, and input unit 19 in the third embodiment are the same as in the first embodiment.
  • the configuration of the control unit 18 in the third embodiment is the same as in the first embodiment.
  • control unit 18 extracts arbitrary image groups from the template image group, not limited to the second image group and the image group corresponding to the disturbance factor.
  • the control unit 18 may generate the representative image ri based on the extracted image group.
  • a method of generating the representative image ri based on the extracted image group may be similar to the method of generating the representative image ri based on the second image group in the first embodiment.
  • the control unit 18 performs similarity determination by comparing the generated representative image ri with a partial area of the entire image wi. Therefore, the control unit 18 may compare all pixels forming the generated representative image ri with all pixels in a partial region of the entire image wi. Alternatively, the control unit 18 may select pixels to be used for comparison with the entire image wi from among a plurality of pixels forming the generated representative image ri. Note that in the third embodiment, the control unit 18 calculates the degree of contribution calculated for each pixel constituting a partial region of the entire image wi based on the statistics of at least a portion of the template image group, Similarity determination is performed using the contribution.
  • the existing position detection processing is started by obtaining a whole image wi of one frame.
  • step S300 the control unit 18 extracts an arbitrarily determined image group from the template image group. After extraction, the process proceeds to step S301.
  • control unit 18 performs processing similar to steps S104 to S115 in the detection processing of the first embodiment.
  • the image processing apparatus 10 of the third embodiment configured as described above generates a representative image ri based on a partial image group extracted from the template image group, and a part of the entire image wi and the representative image ri When detecting the existence position of the detection target 14 in the whole image wi by similarity judgment with , the contribution is used for similarity judgment.
  • the image processing apparatus 10 can eliminate the influence of the disturbance in the similarity judgment when a disturbance that is not reflected in the representative image ri occurs in the entire image wi. Therefore, the image processing device 10 can further improve the robustness of detection of the detection target 14 .
  • a storage medium in which the program is recorded for example, an optical disk, a magneto-optical A disk, CD-ROM, CD-R, CD-RW, magnetic tape, hard disk, memory card, etc.
  • an optical disk, a magneto-optical A disk, CD-ROM, CD-R, CD-RW, magnetic tape, hard disk, memory card, etc. can also be used.
  • the implementation form of the program is not limited to an application program such as an object code compiled by a compiler or a program code executed by an interpreter. good.
  • the program may or may not be configured so that all processing is performed only in the CPU on the control board.
  • the program may be configured to be partially or wholly executed by another processing unit mounted on an expansion board or expansion unit added to the board as required.
  • Embodiments according to the present disclosure are not limited to any specific configuration of the embodiments described above. Embodiments of the present disclosure extend to any novel feature or combination thereof described in the present disclosure or any novel method or process step or combination thereof described. be able to.
  • Descriptions such as “first” and “second” in this disclosure are identifiers for distinguishing the configurations. Configurations that are differentiated in descriptions such as “first” and “second” in this disclosure may interchange the numbers in that configuration. For example, a first point in time can exchange identifiers “first” and “second” with a second point in time. The exchange of identifiers is done simultaneously. The configurations are still distinct after the exchange of identifiers. Identifiers may be deleted. Configurations from which identifiers have been deleted are distinguished by codes. The description of identifiers such as “first” and “second” in this disclosure should not be used as a basis for interpreting the order of the configuration or the existence of lower numbered identifiers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

画像処理装置はメモリと通信部と制御部とを有する。メモリは検出対象の複数の画像を含むテンプレート画像群を記憶する。通信部は照合対象を含む全体画像を取得する。制御部はテンプレート画像群一部に基づいた代表画像を取得する。制御部は全体画像の少なくとも一部と代表画像との類似判断を行う。

Description

画像処理装置及び画像処理方法 関連出願の相互参照
　本出願は、２０２１年８月２７日に日本国に特許出願された特願２０２１－１３９４２８の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置及び画像処理方法に関するものである。
　任意の領域内において、検出対象の位置を画像から認識することが求められている。例えば、検出対象を製造する工場において、トレイに載置された検出対象にロボットで操作することが求められる場合、検出対象の位置の認識が必要である。
　検出対象の画像をテンプレート画像として、任意の領域の画像内から検出対象の位置を検出するテンプレートマッチングが知られている。任意の領域に載置される検出対象は、太陽光の照度変化、任意の領域を撮像するカメラの位置、検出対象に対する手作業等の多様な外乱要因により、固定的なテンプレート画像から外観が変動し得る。そこで、外乱要因に対してもロバストなテンプレートマッチングを行うことが提案されている（非特許文献１～３参照）。
斎藤正孝、橋本学、"濃度共起分析に基づく安定画素を用いた照明変動にロバストな画像照合"、情報処理学会研究報告、Ｖｏｌ．２０１２－ＣＶＩＭ―１８２、Ｎｏ．１７，２０１２ 斎藤正孝、橋本学、"統計的濃度変動分析を用いた外乱画素推定に基づくロバスト画像照合"、ビジョン技術の実利用ワークショップ（ＶｉＥＷ２０１３）、ＩＳ２－ｄ８ 篠原伸之、橋本学、"統計的外乱画素推定に基づく更新型テンプレートマッチング"、精密工学会誌、８３巻、１２号、ｐ．１１１７８－１１８３、２０１７
　第１の観点による画像処理装置は、
　検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
　照合対象を含む全体画像を取得する取得部と、
　前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備える。
　第２の観点による画像処理装置は、
　検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
　照合対象を含む全体画像を取得する取得部と、
　前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備え、
　前記制御部は、前記類似判断に用いる前記全体画像の一部の寄与度を前記テンプレート画像群の少なくとも一部の統計量に基づいて算出し、該寄与度を前記類似判断に用いる
　第３の観点による画像処理方法は、
　検出対象の複数の画像を含むテンプレート画像群を記憶することと、
　照合対象を含む全体画像を取得することと、
　前記テンプレート画像群の一部に基づいた代表画像を取得することと、
　前記全体画像の少なくとも一部と前記代表画像との類似判断を行うことと、を備える。
図１は、第１の実施形態に係る画像処理装置を備える対象操作システムの構成例を示す図である。 図１の制御部が全体画像における検出対象の存在位置を検出するために行う、代表画像と全体画像の一部の領域との類似判断を説明するための図である。 図１の制御部が寄与度を算出するための統計モデルの作成方法を説明するための図である。 図１の制御部が寄与度を算出するための別の統計モデルの作成方法を説明するための図である。 図１の制御部が寄与度を算出するための更に別の統計モデルの作成方法を説明するための図である。 図３の統計モデルに基づく寄与度の算出方法を説明するための図である。 第１の実施形態において制御部が実行する存在位置の検出処理を説明するためのフローチャートである。 第２の実施形態において制御部が実行する存在位置の検出処理を説明するための第１のフローチャートである。 第３の実施形態において制御部が実行する存在位置の検出処理を説明するための第１のフローチャートである。
　以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。
　図１は、第１の実施形態に係る画像処理装置１０を備える対象操作システム１１の構成例を示す。対象操作システム１１は、カメラ１２、画像処理装置１０、及び操作機器１３を備えてよい。
　対象操作システム１１は、例えば、工場等において製造物等の検出対象１４に、特定の操作を行う。検出対象１４は、例えば、トレイ１５等に載置されている。カメラ１２は、検出対象１４が載置されたトレイ１５を撮像してよい。カメラ１２は、例えば、３０ｆｐｓ等の所定のフレームレート、言換えると周期的に画像を生成してよい。画像処理装置１０は、カメラ１２が撮像した画像を用いて、検出対象１４の位置を検出してよい。操作機器１３は、画像処理装置１０が検出した位置において、検出対象１４に操作を行ってよい。操作機器１３は、例えば、ロボットであり、操作として、検出対象１４を把持してよい。
　画像処理装置１０は、通信部（取得部）１６、メモリ１７、及び制御部１８を含んで構成される。画像処理装置１０は、更に入力部１９を含んでよい。
　通信部１６は、カメラ１２から全体画像を取得する。全体画像は、画像処理装置１０により、検出対象１４の存在位置が検出される画像である。具体的には、全体画像は、照合対象となる被写体が写っている画像である。照合対象は、後述するように代表画像の検出対象と照合する対象である。通信部１６は、例えば、外部機器と通信により、情報及び指令を通信する通信インターフェースであってよい。通信部１６は、操作機器１３に全体画像における検出対象１４の存在位置を付与してよい。
　メモリ１７は、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１７は、制御部１８を機能させる多様なプログラム、および制御部２０が用いる多様な情報を記憶してよい。
　メモリ１７は、テンプレート画像群を記憶する。テンプレート画像群は、複数の検出対象画像を含む。複数の検出対象画像は、例えば、後述するように時系列に沿って取得されていてもよい。なお、複数の検出対象画像は、例えば、１つの画像から水増し処理によって生成された複数の検出対象画像を含んでいてもよい。また、複数の検出対象画像は、例えば、異なる環境下で取得された複数の検出対象画像を含んでいてもよい。なお、本実施形態は、時系列に沿って取得された複数の検出対象画像を含むテンプレート画像群を例に説明する。検出対象画像は、検出対象１４の画像である。
　また、複数の検出対象画像は、一部の複数の検出対象画像それぞれに画像処理を施した複数の加工画像が含まれていてもよい。画像処理は、制御部１８により施されてよい。画像処理は、例えば、一部の複数の検出対象画像それぞれに対してテンプレート画像群内で取得時点が当該検出対象画像に前後する複数の検出対象画像間の画素値の変化を、それぞれの検出対象画像全体に施す輝度調整処理である。又は、画像処理は、例えば、一部の複数の検出対象画像それぞれに前後する複数の検出対象画像に突発的に生じている外乱を付加する処理である。
　入力部１９は、ユーザの操作入力を検出する１つ以上のインターフェースを含んでよい。入力部１９は、例えば、物理キー、静電容量キー、及び表示装置と一体的に設けられたタッチスクリーンを含んでよい。
　制御部１８は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）を含んでよい。制御部１８は、１つ又は複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ　Ｉｎ　ａ　Ｐａｃｋａｇｅ）のいずれかであってもよい。
　制御部１８は、テンプレート画像群から抽出した一部の画像群に基づいて、代表画像を生成する。テンプレート画像群からの一部の画像群の抽出及び代表画像の生成は、後に詳細な例を用いて説明される。制御部１８は、例えば、全体画像を取得するたびに、代表画像を生成してよい。
　図２に示すように、制御部１８は、全体画像ｗｉ以下のサイズを有する代表画像ｒｉを、全体画像ｗｉの少なくとも一部の領域に重ねた状態で、代表画像ｒｉと当該領域との類似判断を行う。類比判断を行なうことによって、全体画像ｗｉの照合対象が検出対象であるか否かを判断することができる。なお、本実施形態では、全体画像ｗｉの一部の領域に、全体画像ｗｉより小さな代表画像ｒｉを重ねている例を説明する。また、類似判断は、後に詳細な例を用いて説明される。さらに、制御部１８は、例えば照合対象が検出対象であるか否かの判断と併せて、検出対象の存在位置を検出することができる。具体的には、代表画像ｒｉに重ねる全体画像ｗｉの一部の領域を変位させ、各位置において類似判断を行うことにより、全体画像ｗｉにおける検出対象１４の存在位置を検出する。制御部１８は、全体画像ｗｉ内で検出対象１４の画像を検出できた場合、当該画像を検出対象画像としてテンプレート画像群に含めるようにメモリ１７に格納する。
　次に、本実施形態における、テンプレート画像群からの一部の画像群の抽出を説明する。制御部１８は、例えば、テンプレート画像群の中から抽出する検出対象画像の取得時期に関する時期的範囲の開始時点である第１の時点を決定してよい。第１の時点は、任意の方法で決定されてよい。第１の時点は、例えば、テンプレート画像群に含まれる画像に生じる外観上の影響の、時系列に沿った変化に基づいて決定されてよい。入力部１９が第１の時点を指定する操作入力を検出する場合、当該操作入力に該当する時点が第１の時点に決定されてよい。又は、制御部１８によるテンプレート画像群の解析に基づいて、第１の時点が決定されてよい。
　制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値の時系列の変化に基づいて、第１の時点を決定する。各画像の画素値は、例えば、当該画像を構成する特定の画素の画素値、全画像の画素値の平均値、特定の範囲の画素値の平均値等であってよい。更に詳細には、制御部１８は、例えば、時系列に沿った画素値の変化の中で最低周波成分に対応する周期の２倍以上の周期を算出し、現時点から算出された周期を遡らせた時点を第１の時点に決定する。
　制御部１８は、テンプレート画像群に含まれる画像の中で、過去に遡った第１の時点から時系列に沿って最新の時点までに取得された複数の画像を含む画像群を第１の画像群と定めてよい。制御部１８は、第１の画像群から更に画像を抽出する画像のサンプリング間隔を決定してよい。サンプリング間隔は、任意の方法で決定されてよい。サンプリング間隔は、例えば、テンプレート画像群に含まれる画像に生じる外観上の影響の、時系列に沿った変化に基づいて決定されてよい。入力部１９がサンプリング間隔を指定する操作入力を検出する場合、当該操作入力に該当する間隔がサンプリング間隔に決定されてよい。又は、制御部１８によるテンプレート画像群の解析に基づいて、サンプリング間隔が決定されてよい。
　制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値の時系列の変化に基づいて、サンプリング間隔を決定する。各画像の画素値は、第１の時点の決定と同じく、当該画像を構成する特定の画素の画素値、全画像の画素値の平均値、特定の範囲の画素値の平均値等であってよい。更に詳細には、制御部１８は、例えば、時系列に沿った画素値の変化の中で最高周波成分に対応する周期の２倍以上の周期をサンプリング間隔に決定する。
　制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値に時系列の変化が無い場合、サンプリング間隔を検出対象画像の取得周期以上の任意の間隔に決定してよい。なお、時系列が連続する画素値の差の絶対値が第１の閾値未満であることが、テンプレート画像群に含まれる各画像の画素値に時系列の変化が無いこととみなされてよい。又、制御部１８は、例えば、テンプレート画像群に含まれる各画像の画素値に時系列の変化が無い場合、第１の画像群から前述のサンプリング間隔で検出される検出対象画像の数が所定のサンプリング数を超えるように第１の時点を決定してよい。
　制御部１８は、第１の画像群のうち、第１の時点からサンプリング間隔で取得された複数の画像を含む画像群を第２の画像群と定めてよい。制御部１８は、第２の画像群から、以下に説明するように、更に画像を抽出してよい。
　制御部１８は、画像の抽出のために、現在から遡った所定の時間範囲内に、全体画像ｗｉから存在位置を検出されてテンプレート画像群に含められた検出対象画像に対する少なくとも一つの外乱要因を決定してよい。現在から遡った所定の時間範囲内に存在位置を検出されてテンプレート画像群に含まれる検出対象画像は、複数のフレームの全体画像ｗｉそれぞれに含まれる検出対象画像であってよい。複数の全体画像ｗｉにそれぞれ対応する複数の検出対象画像における外乱要因は、同一又は類似していてよい。
　外乱要因は、外観上の影響を与える要因である。外乱要因は、例えば、太陽光による照明の向き、強度等の経時変化、カメラ１２の位置の変更による受信する色の変化、検出対象１４へのラベル張りの有無又は位置の相違、照明及び検出対象１４の間における作業者又はロボットの通過による照度変化等である。
　外乱要因は、任意の方法で決定されてよい。例えば、制御部１８は、新規に取得する全体画像ｗｉにおいて、外観上の影響を生じさせる時の状況を指定する操作入力を入力部１９が検出する場合、当該状況に対応する要因を外乱要因に決定する。制御部１８は、複数の状況を指定する操作入力を検出する場合、複数の外乱要因を決定してよい。又は、制御部１８による第２の画像群の解析に基づいて、単一又は複数の外乱要因が決定されてよい。
　例えば、制御部１８は、外乱要因が反映される比較画像を生成することにより、外乱要因を決定してよい。制御部１８は、現在から遡った所定の時間範囲内の検出対象画像を用いて、比較画像を生成してよい。比較画像は、例えば、当該検出対象画像が単一である場合、検出対象画像そのものである。比較画像は、例えば、当該検出対象画像が複数である場合、複数の検出対象画像に基づいて生成されてよい。複数の検出対象画像に基づく比較画像は、例えば、複数の検出対象画像の平均化等により生成されてよい。
　制御部１８は、決定した外乱要因に対応する検出対象画像の画像群を第２の画像群から抽出してよい。制御部１８は、複数の外乱要因が決定される場合、各外乱要因それぞれに対応する検出対象画像の複数の画像群を抽出してよい。
　入力部１９が検出する操作入力に基づいて外乱要因を決定する構成において、テンプレート画像群に含まれる各検出対象画像に外観上の影響を生じさせる状況が関連付けられていることを前提として、制御部１８は、当該外乱要因に対応する状況が関連付けられている検出対象画像の画像群を第２の画像群から抽出してよい。第２の画像群の解析により外乱要因を決定する構成において、制御部１８は、第２の画像群に含まれる各検出対象画像と、比較画像との比較により、比較画像に対応する検出対象画像の画像群を抽出する。
　例えば、制御部１８は、比較画像を構成する各画素と、第２の画像群に含まれる各検出対象画像を構成する各画素との画素値の比較により、比較画像に類似すると判定される検出対象画像の画像群を抽出する。また、例えば、制御部１８は、比較画像及び第２の画像群に含まれる画像群に対してクラスタリングを行い、比較画像と同じ集団に属する検出対象画像の画像群を抽出する。また、例えば、制御部１８は、第２の画像群に含まれる全検出対象画像に外乱判定を行い、比較画像に含まれ且つ外乱と判定された画素を含む検出対象画像の画像群を抽出する。
　制御部１８は、テンプレート画像群から抽出した第２の画像群に基づいて、又は第２の画像群から更に抽出した外乱要因に対応する画像群に基づいて、代表画像ｒｉを生成してよい。制御部１８は、多様な方法により代表画像ｒｉを生成してよい。
　例えば、制御部１８は、第２の画像群に含まれる各画像間で互いに対応するアドレスの画素の画素値に基づく統計量を当該画素の画素値に定めることにより代表画像ｒｉを生成する。統計量は、例えば、平均値、最頻値、中央値等である。
　なお、互いに対応するアドレスの画素とは、図３に示すように、互いの画像間にて同一のアドレスに位置する画素のみであってよい。又は、互いに対応するアドレスの画素とは、図４に示すように、当該同一のアドレスを中心とする、例えば３×３の画素の領域に含まれる複数の画素であってよい。又は、互いに対応するアドレスの画素とは、図５に示すように、各画像を複数のグリッドに分割した区画の中で当該同一のアドレスを含む区画内の複数の画素であってよい。また、統計量には、上述した複数の加工画像が含まれた複数の検出対象画像が加味されていてもよい。
　また、例えば、制御部１８は、単一の外乱要因に対応する画像群に含まれる各画像における各画素に対して外乱判定を行うことによって代表画像ｒｉを生成してもよい。なお、ここで外乱判定が行われる全画像には当該単一の外乱要因が画素値に影響を及ぼしていると考えられる。それゆえ、当該単一の外乱要因は、外乱判定が行われる画像においては外乱とはみなされない。ここで行われる外乱判定は、決定された外乱要因に対応する画像群に含まれる各画像において突発的に生じている外乱が発生しているか否かの判定である。制御部１８は、例えば、各画像の中の互いに対応するアドレスの画素の画素値に対してヒストグラムを作成し、頻度が閾値以上である画素値を非外乱と判定する。または、制御部１８は、例えば、各画像の中の互いに対応するアドレスの画素の画素値に対してガウス分布に近似させ、確率密度が閾値以上である画素値を非外乱と判定する。または、制御部１８は、各画像の中の互いに対応するアドレスの画素の画素値に対してＫ－Ｍｅａｎｓ、混合ガウス分布等の統計モデルを用いてクラスタ分類することにより外乱を判定する。制御部１８は、非外乱と判定された画素値に基づく統計量を当該画素の画素値に定めることにより代表画像ｒｉを生成する。統計量は、例えば、平均値、最頻値、中央値等である。
　また、例えば、制御部１８は、単一の外乱要因に対応する画像群の中で、外乱要因に基づいて単一の検出対象画像を選択することにより代表画像ｒｉを生成する。制御部１８は、例えば、互いに対応するアドレスの画素の画素値に基づく統計量との画素値の差が最小である検出対象画像を代表画像ｒｉとして選択する。
　また、例えば、制御部１８は、複数の外乱要因それぞれに対応する複数の画像群を抽出する場合、複数の外乱要因の中で比較画像における最大の外乱要因を決定する。最大の外乱要因は、任意に定められてよい。最大の外乱要因は、例えば、対応する画像群に含まれる画像の数が最大である外乱要因、対応する画素の数が最大である外乱要因、又は発生時期が最近である外乱要因である。制御部１８は、決定した最大の外乱要因に対応する画像群に基づいて、非外乱と判定された画素値に基づく統計量の算出、又は画像群の中の単一の検出対象画像を選択することにより代表画像ｒｉを生成する。
　また、例えば、制御部１８は、複数の外乱要因それぞれに対応する複数の画像群を抽出する場合、当該複数の画像群別に複数の一次代表画像を生成する。一次代表画像は、上述の、単一の外乱要因に対応する画像群に基づいて生成される代表画像ｒｉと同様に生成されてよい。制御部１８は、上述の複数の検出対象画像に基づく代表画像ｒｉの生成方法における複数の検出対象画像を複数の一次代表画像を置き換えることにより、代表画像ｒｉを生成してよい。制御部１８は、例えば、複数の一次代表画像それぞれの同一のアドレスの画素の画素値に基づく統計量を当該画素値に定めることにより生成してよい。
　また、例えば、制御部１８は、複数の外乱要因それぞれに対応する複数の画像群別それぞれにおいて互いに対応するアドレスの画素の画素値に基づく複数の統計量を算出する。制御部１８は、複数の統計量に基づいて各画素の画素値を定めることにより代表画像ｒｉを生成する。制御部１８は、例えば、互いに対応するアドレスの画素に対する、複数の画像群それぞれに対応する複数の統計量の一部が共通する場合、共通する統計量を当該画素の画素値に定めてよい。複数の統計量の一部が共通するとは、統計量が一致することのみならず、統計量が所定の範囲内に含まれることを意味してよい。統計量は、例えば、平均値、最頻値、中央値等である。
　制御部１８は、前述のように、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。制御部１８は、生成した代表画像ｒｉを構成する全画素の少なくとも一部の画素の画素値と、全体画像ｗｉの一部の領域における当該画素と同じアドレスの画素の画素値とを比較することにより類似判断を行ってよい。
　制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。
　又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を選択してよい。制御部１８は、例えば、代表画像ｒｉにおいて、エッジ、角等の特徴点を比較に用いる画素に決定してよい。
　更に、制御部１８は、代表画像ｒｉを構成する複数の画素毎または全体画像ｗｉの一部の領域を構成する複数の画素毎に算出される寄与度を用いて、類似判断を行ってよい。寄与度は、対応する画素が類似判断に寄与する度合いを示す指標である。制御部１８は、テンプレート画像群の少なくとも一部の統計量に基づいて寄与度を算出してよい。寄与度の算出に用いるテンプレート画像の少なくとも一部は、代表画像ｒｉの生成に用いた画像群であってよい。又は、寄与度の算出に用いるテンプレート画像の少なくとも一部は、全体画像ｗｉに対して決定された複数の外乱要因の中で、選択された単一の外乱要因以外の外乱要因に対応する画像群の少なくとも一部であってよい。
　制御部１８は、寄与度の算出のために、例えば、テンプレート画像群の少なくとも一部の複数の検出対象画像における各アドレスの画素に対して、当該アドレスに対応する少なくとも一つの画素の画素値のヒストグラム又はガウス分布等の統計モデルを作成する。図３に示すように、当該アドレスに対応する少なくとも一つの画素は、図３に示すように当該アドレスに位置する画素のみであってよい。又は、図４に示すように、当該アドレスに対応する少なくとも一つの画素は、当該アドレスを中心とする、例えば３×３の画素の領域に含まれる複数の画素であってよい。又は、図５に示すように、当該アドレスに対応する少なくとも一つの画素は、検出対象画像を複数のグリッドに分割した区画の中で当該アドレスを含む区画内の複数の画素であってよい。また、統計モデルには、上述した複数の加工画像が含まれた複数の検出対象画像が加味されていてもよい。
　制御部１８は、上述のように定められた比較に用いる各アドレスの画素に対応する全体画像ｗｉの一部の領域における当該アドレスの画素の画素値に、当該画素の統計モデルにおいて対応する頻度を読出す。図６に示すように、制御部１８は、頻度に応じて当該画素における寄与度を算出する。寄与度は、頻度に応じて大きくなるように算出されてよい。
　制御部１８は、寄与度に基づいて、比較に用いる画素に対応する、代表画像ｒｉを構成する複数の画素または全体画像ｗｉの一部を構成する複数画素の中から類似判断に用いる画素を選択してよい。制御部１８は、例えば、寄与度が閾値以上である画素を類似判断に用いる。又は、制御部１８は、寄与度が閾値以下である画素は、類似度による類比判断を行なわなくてもよい。具体的には、例えば、代表画像ｒｉの比較に用いる画素が、対応する統計モデルにおいて低頻度の画素値を有する場合または最頻度の画素値を中心とした一定の範囲から外れた画素値を有する場合は、類似判断を行なわなくてもよい。又は、制御部１８は、類似判断において、寄与度に応じた重み付けを施してよい。制御部１８は、例えば、代表画像ｒｉと全体画像ｗｉの一部の領域とにおける同一アドレスの画素の差分に、寄与度に応じて変化する重み付けを乗じてよい。
　制御部１８は、互いにアドレスが同一である、生成した代表画像ｒｉを構成する画素と全体画像ｗｉの一部の領域における画素との差分を合計することにより類似度を算出してよい。制御部１８は、類似度が閾値以下である全体画像ｗｉの一部の領域を検出対象１４の存在位置と判別してよい。
　又は、制御部１８は、寄与度の算出のために、作成した画素の統計モデルを用いて特定の条件を満たす場合、類似度による類比判断を行なわなくてもよい。この場合、全体画像ｗｉの一部の領域は、代表画像に非類似であると判別してもよい。特定の条件とは、当該一部の領域において比較に用いる全画素の中で、対応する統計モデルにおいて低頻度の画素値を有する画素の数が多い場合または最頻度の画素値を中心とした一定の範囲から外れた画素値を有する画素の数が多い場合である。
　なお、画素値については、例えば、各画素に対応する統計モデルにおいて、当該画素の画素値の頻度が閾値以下である場合に、当該画素値は低頻度の画素値であると判別されてよい。又、、例えば、ガウスモデルにより近似した統計モデルにおいて、当該画素の画素値の頻度が、最頻値の画素値を中心とする一定の範囲から外れた範囲に位置する場合に、当該画素値は最頻度の画素値を中心とした一定の範囲から外れた画素値であると判別されてよい。統計モデルが混合ガウスモデルに近似される場合、一定の範囲は、例えば、各ガウス分布の最頻値を中心とする±６σの範囲に設定されてよい。
　全画素の中で画素値が低頻度である画素の数が多いとは、画素値が低頻度である画素の数が閾値以下であることであってよい。又は全画素の中で画素値が低頻度である画素の数が多いとは、比較に用いる全画素に対する画素値が低頻度である画素の割合が閾値以下であることであってよい。
　制御部１８は、前述のように、全体画像ｗｉにおいて検出対象１４の存在位置を検出する場合、当該存在位置に対応する全体画像ｗｉの一部の領域の画像部分を検出対象画像としてテンプレート画像群に含めて、メモリ１７に格納する。制御部１８は、入力部１９が検出する操作入力に基づいて外乱要因を決定し且つ全体画像ｗｉにおいて検出対象１４の存在位置を検出する場合、存在位置に対応する検出対象画像に、外観上の影響を生じさせる状況を関連付けてテンプレート画像群に含めてよい。
　次に、第１の実施形態において制御部１８が実行する存在位置の検出処理について、図７のフローチャートを用いて説明する。存在位置の検出処理は、１フレームの全体画像ｗｉを取得することにより開始する。
　ステップＳ１００において、制御部１８は、取得した全体画像ｗｉにおいて、テンプレート画像群に含まれる検出対象画像と同じサイズの一部領域を、類似判断のための領域として一時的に特定する。特定後、プロセスはステップＳ１０１に進む。
　ステップＳ１０１では、制御部１８は、入力部１９における検出又はテンプレート画像群に含まれる各検出対象画像の解析に基づいて、第１の時点及びサンプリング周期を決定する。決定後、プロセスはステップＳ１０２に進む。
　ステップＳ１０２では、制御部１８は、ステップＳ１０１において決定した第１の時点及びサンプリング間隔に基づいて第２の画像群を抽出する。抽出後、プロセスはステップＳ１０３に進む。
　ステップＳ１０３では、制御部１８は、入力部１９への状況を指定する入力又は第２の画像群の解析に基づいて外乱要因を決定する。決定後、プロセスはステップＳ１０４に進む。
　ステップＳ１０４では、制御部１８は、ステップＳ１０２において抽出した第２の画像群から抽出する、ステップＳ１０３において決定した外乱要因に対応する画像群に基づいて代表画像ｒｉを生成する。代表画像ｒｉの生成後、プロセスはステップＳ１０５に進む。
　ステップＳ１０５では、制御部１８は、ステップＳ１０４において生成した代表画像ｒｉにおいて、ステップＳ１００において特定した一部領域との比較に用いる画素を選択する。画素の選択後、プロセスはステップＳ１０６に進む。
　ステップＳ１０６では、制御部１８は、テンプレート画像群の一部を抽出する。抽出後、プロセスはステップＳ１０７に進む。
　ステップＳ１０７では、制御部１８は、ステップＳ１０６において抽出した複数の検出対象画像の各画素に対する統計モデルを作成する。統計モデルの作成後、プロセスはステップＳ１０８に進む。
　ステップＳ１０８では、制御部１８は、ステップＳ１０７において作成した統計モデルを用いて、画素値が低頻度である画素の数が多いか否かを判別する。低頻度である画素の数が多くない場合、プロセスはステップＳ１０９に進む。低頻度である画素の数が多い場合、プロセスはステップＳ１１４に進む。
　ステップＳ１０９では、制御部１８は、ステップＳ１００において特定した一部領域を構成する画素の画素値に対応する頻度を、ステップＳ１０７において作成した統計モデルから読み出すことにより寄与度を算出する。寄与度の算出後、プロセスはステップＳ１１０に進む。
　ステップＳ１１０では、制御部１８は、ステップＳ１０９において算出した寄与度に基づいて、ステップＳ１００において特定した一部領域の、代表画像ｒｉとの類似度を算出する。類似度の算出後、プロセスはステップＳ１１１に進む。
　ステップＳ１１１では、制御部１８は、ステップＳ１１０において算出した類似度が閾値以下であるか否かを判別する。閾値以下である場合、プロセスはステップＳ１１２に進む。閾値以下でない場合、プロセスはステップＳ１１４に進む。
　ステップＳ１１２では、制御部１８は、ステップＳ１００において特定した一部領域を検出対象１４の存在位置と判別する。判別後、プロセスはステップＳ１１３に進む。
　ステップＳ１１３では、制御部１８は、ステップＳ１００において特定した一部領域の画像を検出対象画像として、テンプレート画像群に含めるようにメモリ１７に格納する。格納後、プロセスはステップＳ１１４に進む。
　ステップＳ１１４では、制御部１８は、全体画像ｗｉの全領域を一部領域として特定済みであるか否かを判別する。全領域を特定済みでない場合、プロセスはステップＳ１１５に進む。全領域を特定済みである場合、検出処理は終了する。
　ステップＳ１１５では、制御部１８は、ステップＳ１００において特定した一部領域から、同じサイズのまま変位させる。変位後、プロセスはステップＳ１００に戻る。
　以上のような構成の第１の実施形態の画像処理装置１０は、テンプレート画像群の一部に基づいた代表画像ｒｉを取得し、全体画像ｗｉの少なくとも一部と代表画像ｒｉとの類似判断を行う。このような構成により、画像処理装置１０は、発生頻度の高い外乱を含む検出対象画像を含めて代表画像ｒｉを生成し得る。したがって、画像処理装置１０は、全体としては外乱であっても、発生頻度の高い外乱の影響を代表画像ｒｉに含め得るので、全体画像ｗｉが当該外乱の影響を受けていても全体画像に写る被写体が検出対象１４に該当するか否かを判定し得る。その結果、画像処理装置１０は、外乱の発生頻度が高くても、比較的少ない学習用画像、言換えると画像群を用いて、検出対象１４を継続的且つロバストに検出し得る。
　また、第１の実施形態の画像処理装置１０は、全体画像ｗｉ内で検出された検出対象１４の検出対象画像をテンプレート画像群に含めるようにメモリ１７に格納する。このような構成により、画像処理装置１０は、後の検出対象１４の存在位置の検出において、全体画像ｗｉに影響を及ぼす可能性の高い外乱の傾向を代表画像ｒｉに反映させ得る。したがって、画像処理装置１０は、後の検出対象１４の存在位置の検出において、検出のロバスト性を向上し得る。
　また、第１の実施形態の画像処理装置１０は、テンプレート画像群に含まれる検出対象画像のうち、過去に遡った第１の時点から時系列に沿って取得された複数の画像を含む第１画像群のうち、サンプリング間隔で取得された複数の画像を含む第２画像群に基づいて代表画像ｒｉを生成する。このような構成により、画像処理装置１０は、全体画像ｗｉの撮像時において影響を及ぼす外乱の中で最長の発生周期に応じて第１の時点を決定することにより、全体画像ｗｉに影響を及ぼしている可能性のある外乱を、代表画像ｒｉに反映させ得る。また、画像処理装置１０は、全体画像ｗｉの撮像時において影響を及ぼす外乱の中で最短の発生周期に応じてサンプリング間隔を決定することにより、テンプレート画像群に含まれるすべての検出対象画像を用いることなく、一部の検出対象画像を用いて適切な代表画像ｒｉを生成し得る。したがって、画像処理装置１０は、代表画像ｒｉの生成のための処理の負荷を軽減し得るので、検出対象１４の存在位置の検出に係る負荷を軽減し得る。
　また、第１の実施形態の画像処理装置１０は、複数の全体画像ｗｉに含まれる検出対象１４に対して同一又は類似する外観上の影響を与える少なくとも一つの外乱要因を決定し、第２画像群から当該外乱要因に対応する画像群を抽出し、当該外乱要因に対応する画像群に基づいて代表画像ｒｉを生成する。このような構成により、画像処理装置１０は、取得した代表画像ｒｉに影響を及ぼしている可能性の高い外乱を代表画像ｒｉに反映させ得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上させ得る。
　また、第１の実施形態の画像処理装置１０は、検出対象１４に対して外観上の影響を生じさせる時の状況の操作入力に対して、テンプレート画像群の中で当該状況に関連付けられている検出対象画像に基づいて外乱要因を決定し、全体画像ｗｉにおける検出対象１４の存在位置を検出する場合に存在位置の画像に当該状況を関連付けてテンプレート画像群に含める。このような構成により、画像処理装置１０は、発生している外乱要因を明確に代表画像ｒｉに反映させ得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上させ得る。
　また、第１の実施形態の画像処理装置１０は、代表画像ｒｉを構成する複数の画素の中から全体画像ｗｉとの比較に用いる画素を選択する。このような構成により画像処理装置１０は、代表画像ｒｉを構成する全画素を用いて全体画像ｗｉの一部の領域と比較する構成に比べて、類似判断の処理の負荷を軽減し得る。
　また、第１の実施形態の画像処理装置１０は、外乱要因に対応する画像群それぞれの同一アドレスの画素の画素値に基づく統計量を画素の画素値に定めることにより代表画像ｒｉを生成する。このような構成により、画像処理装置１０は、外乱要因に対応する画像群の中で外乱とみなし得る画素値、言換えると当該画像群の中で発生頻度の低い画素値の影響を除去し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。
　また、第１の実施形態の画像処理装置１０は、類似判断に用いる全体画像ｗｉの一部の寄与度をテンプレート画像群の少なくとも一部の検出対象画像の統計量に基づいて算出し、当該寄与度を類似判断に用いる。このような構成により、画像処理装置１０は、寄与度の低い画素の類似判断の結果を、類似性が高いと判別される可能性を低減し得る。したがって、画像処理装置１０は、テンプレート画像群に発生していない外乱が全体画像ｗｉに発生している場合、類似判断において当該外乱の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。
　また、第１の実施形態の画像処理装置１０では、寄与度の算出に用いるテンプレート画像群の少なくとも一部は、代表画像ｒｉの生成に用いた画像群である。このような構成により、画像処理装置１０は、代表画像ｒｉに反映されていない外乱が全体画像ｗｉに発生している場合、類似判断において当該外乱の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。
　また、第１の実施形態の画像処理装置１０では、寄与度の算出に用いるテンプレート画像群の少なくとも一部は、全体画像ｗｉに対して決定された複数の外乱要因の中で、選択された単一の外乱要因以外の外乱要因に対応する画像群の中の少なくとも一部である。このような構成により、画像処理装置１０は、代表画像ｒｉに反映されず且つ発生している可能性のある外乱要因が全体画像ｗｉに発生している場合、類似判断において代表画像ｒｉに反映されていない当該外乱要因の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。
　なお、第１の実施形態では、第２の画像群から抽出する外乱要因に対応する画像群に基づいて代表画像ｒｉが生成される構成であるが、これに限られない。外乱要因に対応する画像群を特定することなく、第２の画像群から代表画像ｒｉが生成されてもよい。
　次に、本開示の第２の実施形態に係る画像処理装置について説明する。第２の実施形態では、制御部１８におけるテンプレート画像群からの画像群の抽出方法において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
　図１に示すように、第２の実施形態に係る画像処理装置１０は、第１の実施形態と同じく、通信部１６、メモリ１７、及び制御部１８を含んで構成される。また、第１の実施形態と同じく、画像処理装置１０は、入力部１９を含んでよい。第２の実施形態における通信部１６、メモリ１７、及び入力部１９の構成及び機能は、第１の実施形態と同じである。第２の実施形態における制御部１８の構成は、第１の実施形態と同じである。
　第２の実施形態において、制御部１８は、第１の実施形態と異なり、テンプレート画像群から第２の画像群を抽出することなく、テンプレート画像群から直接、外乱要因に対応する画像群を抽出する。第１の実施形態と同じく、現在から遡った所定の時間範囲内に存在位置を検出されてテンプレート画像群に含まれる検出対象画像は、少なくとも１フレームの全体画像ｗｉにおける検出対象画像であってよく、複数のフレームの全体画像ｗｉそれぞれにおける複数の検出対象画像であってよい。複数の検出対象画像における外乱要因は、同一又は類似していてよい。
　第２の実施形態において、制御部１８は、第１の実施形態と異なり、テンプレート画像群から抽出した外乱要因に対応する画像群に基づいて、代表画像ｒｉを生成してよい。外乱要因に対応する画像群に基づく代表画像ｒｉの生成方法は、第１の実施形態と類似してよい。
　第２の実施形態において、制御部１８は、第１の実施形態と同じく、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。したがって、制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を選択してよい。更に、制御部１８は、全体画像ｗｉの一部の領域を構成する画素毎に算出される寄与度を用いて、類似判断を行ってよい。
　次に、第２の実施形態において制御部１８が実行する存在位置の検出処理について、図８のフローチャートを用いて説明する。存在位置の検出処理は、１フレームの全体画像ｗｉを取得することにより開始する。
　ステップＳ２００において、制御部１８は、入力部１９への状況を指定する入力、又は現在から遡った所定の時間範囲内に、全体画像ｗｉから存在位置を検出されてテンプレート画像群に含められた検出対象画像の解析に基づいて外乱要因を決定する。決定後、プロセスはステップＳ２０１に進む。
　ステップＳ２０１では、制御部１８は、テンプレート画像群から、ステップＳ２００において決定した外乱要因に対応する画像群を抽出する。抽出後、プロセスはステップＳ２０２に進む。
　ステップＳ２０２からＳ２１３では、制御部１８は、第１の実施形態の検出処理におけるステップＳ１０４から１１５と類似した処理を行う。
　以上のような構成の第２の実施形態の画像処理装置１０も、テンプレート画像群から抽出した一部の画像群に基づいて代表画像ｒｉを生成し、全体画像ｗｉの一部と代表画像ｒｉとの類似判断により全体画像ｗｉにおける検出対象１４の存在位置を検出する。したがって、画像処理装置１０は、外乱の発生頻度が高くても、比較的少ない学習用画像、言換えると画像群を用いて、検出対象１４を継続的且つロバストに検出し得る。
　次に、本開示の第３の実施形態に係る画像処理装置について説明する。第３の実施形態では、制御部１８におけるテンプレート画像群からの画像群の抽出方法において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第３の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
　図１に示すように、第３の実施形態に係る画像処理装置１０は、第１の実施形態と同じく、通信部１６、メモリ１７、及び制御部１８を含んで構成される。また、第１の実施形態と同じく、画像処理装置１０は、入力部１９を含んでよい。第３の実施形態における通信部１６、メモリ１７、及び入力部１９の構成及び機能は、第１の実施形態と同じである。第３の実施形態における制御部１８の構成は、第１の実施形態と同じである。
　第３の実施形態において、制御部１８は、第１の実施形態と異なり、テンプレート画像群から第２の画像群及び外乱要因に対応する画像群に限定されず、任意の画像群を抽出する。制御部１８は、抽出した画像群に基づいて、代表画像ｒｉを生成してよい。抽出した画像群に基づく代表画像ｒｉの生成方法は、第１の実施形態における第２の画像群に基づく代表画像ｒｉの生成方法に類似してよい。
　第３の実施形態において、制御部１８は、第１の実施形態と同じく、生成した代表画像ｒｉを、全体画像ｗｉの一部の領域と比較することにより類似判断を行う。したがって、制御部１８は、生成した代表画像ｒｉを構成する全画素と、全体画像ｗｉの一部の領域における全画素とを比較してよい。又は、制御部１８は、生成した代表画像ｒｉを構成する複数の画素の中から、全体画像ｗｉとの比較に用いる画素を選択してよい。なお、第３の実施形態において、制御部１８は、全体画像ｗｉの一部の領域を構成する画素毎に算出される寄与度をテンプレート画像群の少なくとも一部の統計量に基づいて算出し、当該寄与度を用いて、類似判断を行う。
　次に、第３の実施形態において制御部１８が実行する存在位置の検出処理について、図９のフローチャートを用いて説明する。存在位置の検出処理はは、１フレームの全体画像ｗｉを取得することにより開始する。
　ステップＳ３００において、制御部１８は、テンプレート画像群から、任意に定められる画像群を抽出する。抽出後、プロセスはステップＳ３０１に進む。
　ステップＳ３０１からＳ３１２では、制御部１８は、第１の実施形態の検出処理におけるステップＳ１０４から１１５と類似した処理を行う。
　以上のような構成の第３の実施形態の画像処理装置１０は、テンプレート画像群から抽出した一部の画像群に基づいて代表画像ｒｉを生成し、全体画像ｗｉの一部と当該代表画像ｒｉとの類似判断により全体画像ｗｉにおける検出対象１４の存在位置を検出する際に、類似判断に用いる全体画像ｗｉの一部の寄与度をテンプレート画像群の少なくとも一部の統計量に基づいて算出し、当該寄与度を類似判断に用いる。このような構成により画像処理装置１０は、代表画像ｒｉに反映されていない外乱が全体画像ｗｉに発生している場合、類似判断において当該外乱の影響を排除し得る。したがって、画像処理装置１０は、検出対象１４の検出のロバスト性を更に向上し得る。
　以上、画像処理装置１０の実施形態を説明してきたが、本開示の実施形態としては、装置を実施するための方法又はプログラムの他、プログラムが記録された記憶媒体（一例として、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ハードディスク、又はメモリカード等）としての実施態様をとることも可能である。
　また、プログラムの実装形態としては、コンパイラによってコンパイルされるオブジェクトコード、インタプリタにより実行されるプログラムコード等のアプリケーションプログラムに限定されることはなく、オペレーティングシステムに組み込まれるプログラムモジュール等の形態であってもよい。さらに、プログラムは、制御基板上のＣＰＵにおいてのみ全ての処理が実施されるように構成されてもされなくてもよい。プログラムは、必要に応じて基板に付加された拡張ボード又は拡張ユニットに実装された別の処理ユニットによってその一部又は全部が実施されるように構成されてもよい。
　本開示に係る実施形態について説明する図は模式的なものである。図面上の寸法比率等は、現実のものとは必ずしも一致していない。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は改変を行うことが可能であることに注意されたい。従って、これらの変形又は改変は本開示の範囲に含まれることに留意されたい。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。
　本開示に記載された構成要件の全て、及び／又は、開示された全ての方法、又は、処理の全てのステップについては、これらの特徴が相互に排他的である組合せを除き、任意の組合せで組み合わせることができる。また、本開示に記載された特徴の各々は、明示的に否定されない限り、同一の目的、同等の目的、または類似する目的のために働く代替の特徴に置換することができる。したがって、明示的に否定されない限り、開示された特徴の各々は、包括的な一連の同一、又は、均等となる特徴の一例にすぎない。
　さらに、本開示に係る実施形態は、上述した実施形態のいずれの具体的構成にも制限されるものではない。本開示に係る実施形態は、本開示に記載された全ての新規な特徴、又は、それらの組合せ、あるいは記載された全ての新規な方法、又は、処理のステップ、又は、それらの組合せに拡張することができる。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１の時点は、第２の時点と識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　１０　画像処理装置
　１１　対象操作システム
　１２　カメラ
　１３　操作機器
　１４　検出対象
　１５　トレイ
　１６　通信部
　１７　メモリ
　１８　制御部
　１９　入力部
　ｒｉ　代表画像
　ｗｉ　全体画像

Claims (19)

  1. 　検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
    　照合対象を含む全体画像を取得する取得部と、
    　前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備える
    　画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記制御部は、前記全体画像内で検出された前記検出対象の画像を前記テンプレート画像群に含めるように前記メモリに格納する
    　画像処理装置。
  3. 　請求項１又は２に記載の画像処理装置において、
    　前記制御部は、前記テンプレート画像群に含まれる画像のうち、過去に遡った第１の時点から時系列に沿って取得された複数の画像を含む第１画像群のうち、サンプリング間隔で取得された複数の画像を含む第２画像群に基づいて前記代表画像を生成する
    　画像処理装置。
  4. 　請求項３に記載の画像処理装置において、
    　前記第１の時点及び前記サンプリング間隔の少なくとも一方の入力を検出する入力部を、更に備え、
    　前記制御部は、前記入力部が検出する入力に基づいて、前記第１の時点及び前記サンプリング間隔の少なくとも一方を決定する
    　画像処理装置。
  5. 　請求項１に記載の画像処理装置において、
    　前記制御部は、複数の前記全体画像に含まれる前記検出対象に対して同一又は類似する外観上の影響を与える少なくとも一つの外乱要因を決定し、前記テンプレート画像群から該外乱要因に対応する画像群を抽出し、該外乱要因に対応する画像群に基づいて前記代表画像を生成する
    　画像処理装置。
  6. 　請求項３又は４に記載の画像処理装置において、
    　前記制御部は、複数の前記全体画像に含まれる前記検出対象に対して同一又は類似する外観上の影響を与える少なくとも一つの外乱要因を決定し、前記第２画像群から該外乱要因に対応する画像群を抽出し、該外乱要因に対応する画像群に基づいて前記代表画像を生成する
    　画像処理装置。
  7. 　請求項５又は６に記載の画像処理装置において、
    　前記全体画像に含まれる前記検出対象に対する前記影響が生じる時の状況の入力を検出する入力部を、更に備え、
    　前記制御部は、前記外乱要因を前記テンプレート画像群の中で前記状況が関連付けられている画像に基づいて決定し、前記全体画像における前記検出対象の存在位置を検出する場合に前記存在位置の画像に前記状況を関連付けてテンプレート画像群に含める
    　画像処理装置。
  8. 　請求項１から７のいずれか１項に記載の画像処理装置において、
    　前記制御部は、前記代表画像を構成する複数の画素の中から、前記全体画像との比較に用いる画素を選択する
    　画像処理装置。
  9. 　請求項５から７のいずれか１項に記載の画像処理装置において、
    　前記制御部は、前記外乱要因に対応する画像群それぞれの同一アドレスの画素の画素値に基づく統計量を該画素の画素値に定めることにより前記代表画像を生成する
    　画像処理装置。
  10. 　請求項５から７のいずれか１項に記載の画像処理装置において、
    　前記制御部は、前記外乱要因に対応する画像群の中で、前記外乱要因に基づいて単一の画像を選択することにより、前記代表画像を生成する
    　画像処理装置。
  11. 　請求項５から８のいずれか１項に記載の画像処理装置において、
    　前記制御部は、前記全体画像に対する複数の外乱要因を決定し、前記複数の外乱要因それぞれに対応する複数の画像群を抽出し、前記複数の画像群別に複数の一次代表画像を生成し、該複数の一次代表画像それぞれの同一アドレスの画素の画素値に基づく統計量を該画素の画素値に定めることにより前記代表画像を生成する
    　画像処理装置。
  12. 　請求項５から８のいずれか１項に記載の画像処理装置において、
    　前記制御部は、前記全体画像に対する複数の外乱要因を決定し、前記複数の外乱要因それぞれに対応する複数の画像群を抽出し、前記複数の画像群それぞれにおいて同じアドレスの画素の画素値に基づく複数の統計量を算出し、前記複数の統計量に基づいて該画素の画素値を定めることにより前記代表画像を生成する
    　画像処理装置。
  13. 　請求項５から１２のいずれか１項に記載の画像処理装置において、
    　前記制御部は、前記類似判断に用いる前記全体画像の一部の寄与度を前記テンプレート画像群の少なくとも一部の統計量に基づいて算出し、該寄与度を前記類似判断に用いる
    　画像処理装置。
  14. 　請求項１３に記載の画像処理装置において、
    　前記制御部は、前記全体画像の一部を構成する画素別に前記寄与度を算出し、前記寄与度に基づいて該一部を構成する画素の中から前記類似判断に用いる画素を選択する
    　画像処理装置。
  15. 　請求項１３に記載の画像処理装置において、
    　前記制御部は、前記全体画像の一部を構成する画素別に前記寄与度を算出し、前記類似判断において前記画素別に算出された寄与度に応じた重み付けを施す
    　画像処理装置。
  16. 　請求項１３から１５のいずれか１項に記載の画像処理装置において、
    　前記寄与度の算出に用いる前記テンプレート画像群の少なくとも一部は、前記代表画像の生成に用いた画像群である
    　画像処理装置。
  17. 　請求項１３から１５のいずれか１項に記載の画像処理装置において、
    　前記寄与度の算出に用いる前記テンプレート画像群の少なくとも一部は、前記全体画像に対して決定された複数の外乱要因の中で、選択された単一の外乱要因以外の外乱要因に対応する画像群の中の少なくとも一部である
    　画像処理装置。
  18. 　検出対象の複数の画像を含むテンプレート画像群を記憶するメモリと、
    　照合対象を含む全体画像を取得する取得部と、
    　前記テンプレート画像群の一部に基づいた代表画像を取得し、前記全体画像の少なくとも一部と前記代表画像との類似判断を行なう制御部と、を備え、
    　前記制御部は、前記類似判断に用いる前記全体画像の一部の寄与度を前記テンプレート画像群の少なくとも一部の統計量に基づいて算出し、該寄与度を前記類似判断に用いる
    　画像処理装置。
  19. 　検出対象の複数の画像を含むテンプレート画像群を記憶することと、
    　照合対象を含む全体画像を取得することと、
    　前記テンプレート画像群の一部に基づいた代表画像を取得することと、
    　前記全体画像の少なくとも一部と前記代表画像との類似判断を行うことと、を備える
    　画像処理方法。
    　
PCT/JP2022/027173 2021-08-27 2022-07-08 画像処理装置及び画像処理方法 WO2023026706A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280058115.9A CN117897739A (zh) 2021-08-27 2022-07-08 图像处理设备和图像处理方法
EP22860997.0A EP4394697A1 (en) 2021-08-27 2022-07-08 Image processing device and image processing method
JP2023543740A JPWO2023026706A1 (ja) 2021-08-27 2022-07-08

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-139428 2021-08-27
JP2021139428 2021-08-27

Publications (1)

Publication Number Publication Date
WO2023026706A1 true WO2023026706A1 (ja) 2023-03-02

Family

ID=85322743

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/027173 WO2023026706A1 (ja) 2021-08-27 2022-07-08 画像処理装置及び画像処理方法

Country Status (4)

Country Link
EP (1) EP4394697A1 (ja)
JP (1) JPWO2023026706A1 (ja)
CN (1) CN117897739A (ja)
WO (1) WO2023026706A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012069084A (ja) * 2010-08-27 2012-04-05 Hitachi High-Technologies Corp 重み付きテンプレートマッチング実行装置およびプログラム
JP2012208887A (ja) * 2011-03-30 2012-10-25 Denso Corp 対象物追跡装置および対象物追跡システム
WO2018230016A1 (ja) * 2017-06-13 2018-12-20 株式会社Ihi 移動体観測方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012069084A (ja) * 2010-08-27 2012-04-05 Hitachi High-Technologies Corp 重み付きテンプレートマッチング実行装置およびプログラム
JP2012208887A (ja) * 2011-03-30 2012-10-25 Denso Corp 対象物追跡装置および対象物追跡システム
WO2018230016A1 (ja) * 2017-06-13 2018-12-20 株式会社Ihi 移動体観測方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SAITO, M.HASHIMOTO, M.: "Robust Image Matching based on Estimation of Disturbed Pixels using Statistical Analysis of Intensity Variation", VISION ENGINEERING WORKSHOP (VIEW2013
SAITO, M.HASHIMOTO, M.: "Robust Image Matching for Illumination Variation using Stable Pixels based on Co-occurrence Analysis", INFORMATION PROCESSING SOCIETY OF JAPAN SPECIAL INTEREST GROUP TECHNICAL REPORT, vol. 2012, no. 17, 2012
SHINOHARA, N.HASHIMOTO, M.: "An Image-Matching Method using Template Updating based on Statistical Prediction of Outlier-Pixel", JOURNAL OF THE JAPAN SOCIETY FOR PRECISION ENGINEERING, vol. 83, 2017, pages 11178 - 1183

Also Published As

Publication number Publication date
EP4394697A1 (en) 2024-07-03
CN117897739A (zh) 2024-04-16
JPWO2023026706A1 (ja) 2023-03-02

Similar Documents

Publication Publication Date Title
JP4855556B1 (ja) 動体検出装置、動体検出方法、動体検出プログラム、動体追跡装置、動体追跡方法及び動体追跡プログラム
CN103703472B (zh) 用于确定视频中的对象的部位及相关属性的方法和***
US8306282B2 (en) Hierarchical face recognition training method and hierarchical face recognition method thereof
JP5500024B2 (ja) 画像認識方法及び装置並びにプログラム
JP6188976B2 (ja) 画像に含まれるテキストを検出する方法、装置及びコンピュータ読み取り可能な記録媒体
JP2009265827A (ja) 対象物検出装置及び方法、対象物検出システム、プログラム
US20150279054A1 (en) Image retrieval apparatus and image retrieval method
JP2007122218A (ja) 画像分析装置
US8917957B2 (en) Apparatus for adding data to editing target data and displaying data
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
US11334759B2 (en) Information processing apparatus, information processing method, and medium
US20230112904A1 (en) Dynamic detection and recognition of media subjects
JP2011210054A (ja) 対象物検知装置及びその学習装置
JPWO2015136709A1 (ja) 画像処理装置、画像センサ、画像処理方法
US11373326B2 (en) Information processing apparatus, information processing method and storage medium
JP4495606B2 (ja) 色識別装置及び色識別プログラム
US20180144074A1 (en) Retrieving apparatus, display device, and retrieving method
CN117474918B (zh) 异常检测方法和装置、电子设备以及存储介质
WO2023026706A1 (ja) 画像処理装置及び画像処理方法
Orjuela et al. Evaluation of the wear label description in carpets by using local binary pattern techniques
JP2008140093A (ja) 異常事象抽出装置、異常事象抽出方法、この方法のプログラム及びこのプログラムを記録した記録媒体
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
JP2017175466A (ja) 映像処理装置、映像処理システムおよび制御方法
KR102538804B1 (ko) 인공 지능을 이용한 얼굴 랜드마크 검출 장치 및 방법
KR102290857B1 (ko) 채널상태정보를 이용한 인공지능 기반의 스마트 사용자 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22860997

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023543740

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 202280058115.9

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2022860997

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022860997

Country of ref document: EP

Effective date: 20240327