WO2015049826A1 - 物体検出装置、物体検出方法および学習装置 - Google Patents

物体検出装置、物体検出方法および学習装置 Download PDF

Info

Publication number
WO2015049826A1
WO2015049826A1 PCT/JP2014/004284 JP2014004284W WO2015049826A1 WO 2015049826 A1 WO2015049826 A1 WO 2015049826A1 JP 2014004284 W JP2014004284 W JP 2014004284W WO 2015049826 A1 WO2015049826 A1 WO 2015049826A1
Authority
WO
WIPO (PCT)
Prior art keywords
probability distribution
area
appearance probability
region
appearance
Prior art date
Application number
PCT/JP2014/004284
Other languages
English (en)
French (fr)
Inventor
哲夫 井下
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2015540368A priority Critical patent/JP6524910B2/ja
Priority to US15/025,337 priority patent/US10026002B2/en
Publication of WO2015049826A1 publication Critical patent/WO2015049826A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to an object detection apparatus and method for detecting an object from an image.
  • object detection is used for a purpose of finding a desired object that is a monitoring purpose from a captured image of a camera, a purpose of focusing on a specific object in order to improve image quality, and the like.
  • a technique called a sliding window method is used as a form of object detection.
  • the processing concept of the sliding window method is shown in FIG.
  • a rectangular area (Window) is set for an image to be detected, and the presence / absence of a detection target object in each rectangular area is changed while changing the position and size of the window. Is evaluated by an evaluation function.
  • the position of the detection target cannot be obtained accurately when the detection target object is partially hidden behind another object or when the window size is significantly different from the size of the detection target.
  • Non-Patent Document 1 proposes a technique for detecting a person using an ensemble learning method constructed by a set of a plurality of decision trees.
  • a decision tree is constructed from a group of images called local parts, in which the local position of an object is reflected, and the part into which the input image is classified is evaluated by a score. Since parts are local areas, there are reports of cases where there is a high possibility that parts can be detected based on areas that are not occluded even if some objects are occluded.
  • a person is detected using an average value of scores calculated from a result of recognizing a plurality of parts (FIG. 16).
  • Non-Patent Document 2 proposes a constellation model that compares the relationships between parts with constellations.
  • the constellation model is a model that expresses a probability distribution indicating the appearance, relative position, rotation angle, size, and other parameters of each part in a two-dimensional image.
  • a model composed of an average value and variance of parts positions and sizes is created, and the likelihood of whether or not the combination of all the candidate parts matches the constellation model is calculated, and the likelihood of the background is also calculated. Calculate the degree. In this method, whether or not the object is an object is determined based on whether or not the likelihood ratio between the two is greater than or equal to a threshold value.
  • Non-Patent Document 1 an image showing a human body is decomposed into a plurality of parts areas, and it is determined whether or not a human body has been detected from the average value of scores calculated for each part area.
  • this method does not consider the positional relationship of the part areas, as shown in FIG. 17, even if the position of the parts area is wrong, it is detected as a human body. Therefore, there is a risk of erroneous detection.
  • Non-Patent Document 2 the evaluation is performed based on the positional relationship between the modeled part areas.
  • modeling is performed based only on the total value of the appearance probability distributions of the part regions, and thus the region is not adjusted with respect to the region where the appearance probability is zero. For this reason, since an area larger than the original object area may be detected, the position accuracy is lowered.
  • the present invention has been made in view of the above problems, and an object thereof is to provide an object detection device, an object detection method, and a learning device that can detect an object region with high accuracy.
  • An object detection apparatus includes a parts area designating unit that designates a part area, which is an area in which a target part is captured, from a plurality of images in which the object is captured among parts constituting an object that is a detection target; An appearance probability distribution generating means for generating an appearance probability distribution of the part area and a non-appearance probability distribution based on an appearance frequency associated with a position in the image of the part area, and an appearance probability distribution of the part area , With reference to the non-appearance probability distribution, an object determination unit that determines an area in which the object appears in the input image.
  • a part area that is an area in which a target part is captured among parts constituting an object that is a detection target is specified from a plurality of images in which the object is captured, Based on the appearance frequency associated with the position in the image, generate an appearance probability distribution of the part region and a non-appearance probability distribution, and refer to the appearance probability distribution of the part region and the non-appearance probability distribution, A region where the object is shown in the input image is determined.
  • the learning apparatus includes a parts region designating unit that designates a part region that is a region in which the target part is captured from a plurality of images in which the object is captured, among the parts that configure the object that is a detection target; Appearance probability distribution generating means for generating an appearance probability distribution of the part region and a non-appearance probability distribution based on the appearance frequency of the part region associated with the position in the image.
  • the object is also achieved by a computer program that implements the object detection device, the object detection method, or the learning device having the above-described configurations by a computer, and a computer-readable recording medium that stores the computer program. Achieved.
  • an object region can be detected with high accuracy.
  • FIG. 1 is a block diagram showing the configuration of the object detection apparatus according to the first embodiment of the present invention.
  • FIG. 2 is a flowchart showing the flow of object detection.
  • FIG. 3 is a flowchart showing the flow of object detection.
  • FIG. 4 is a diagram for explaining the generation of the appearance frequency distribution.
  • FIG. 5 is a diagram for explaining the generation of the appearance frequency distribution.
  • FIG. 6 is a diagram for explaining generation of a non-appearance frequency distribution.
  • FIG. 7 is a diagram for explaining another generation method of the appearance frequency distribution.
  • FIG. 8 is a diagram illustrating an example of a tire region detection result.
  • FIG. 9 is a diagram for explaining the determination of the object region.
  • FIG. 10 is a diagram for explaining the determination of the object region.
  • FIG. 10 is a diagram for explaining the determination of the object region.
  • FIG. 11 is a block diagram showing a configuration of an object detection device according to the second exemplary embodiment of the present invention.
  • FIG. 12 is a diagram for explaining determination of an object area in the second embodiment.
  • FIG. 13 is a block diagram which shows the structure of the object detection apparatus concerning the 3rd Embodiment of this invention.
  • FIG. 14 is a diagram illustrating a hardware configuration for realizing the object detection device according to each embodiment of the present invention.
  • FIG. 15 is a diagram for explaining the processing concept of the sliding window method.
  • FIG. 16 is a diagram for explaining a technique for detecting a person using an ensemble learning method constructed by a set of a plurality of decision trees.
  • FIG. 17 is a diagram for explaining a technique for detecting a person using an ensemble learning method constructed by a set of a plurality of decision trees.
  • FIG. 1 is a block diagram showing a configuration of an object detection apparatus according to an embodiment of the present invention.
  • the object detection apparatus 100 includes an image supply unit 110, a detection unit 120, a learning unit 130, and a position detection result output unit 140.
  • the detection unit 120 includes a part area detection unit 121 and an object determination unit 122.
  • the learning unit 130 includes a part region designation unit 131, an appearance probability distribution generation unit 132, and an appearance probability distribution storage unit 133.
  • the position detection result output unit 140 outputs the detection result obtained by the detection unit 120.
  • the object detection device 100 may be any device that processes an image, and includes, for example, a general computer device, an imaging device (a mobile phone, a smartphone, a digital still camera), and the like.
  • the image supply unit 110 acquires an image captured by an arbitrary imaging unit. Further, the image supply unit 110 supplies the image to the part region designation unit 131 at the time of learning, and supplies the image to the part region detection unit 121 at the time of detection.
  • the image supply unit 110 only needs to supply an image to be processed.
  • the image supply unit 110 reads an image from a storage device (for example, a USB (Universal Serial Bus) memory) that is detachable from the object detection device 100 and detects the image. 120 or the learning unit 130 may be supplied.
  • a storage device for example, a USB (Universal Serial Bus) memory
  • the image supplied by the image supply unit 110 is assumed to be a still image. However, the image supply unit 110 may cut out each frame constituting the moving image and sequentially supply it to the detection unit 120 or the learning unit 130. Good.
  • the learning unit 130 includes a part region specifying unit 131 that specifies a part region, an appearance probability distribution generating unit 132 that generates an appearance probability distribution of the part region, and an appearance probability distribution storage unit 133.
  • the learning unit 130 may be detachable from the object detection device 100.
  • the part area designating unit 131 designates the part area of the object shown in the image, and passes the coordinate value indicating the part area to the appearance probability distribution generating unit 132.
  • the part region designation method may be designated manually or by a known part region detection technique described later.
  • the parts area is an area in which an image of an object shows a part constituting the object.
  • the appearance probability distribution generation unit 132 generates an appearance frequency histogram by counting the number of times for the positions of a plurality of part regions input from the part region specifying unit 131.
  • the appearance probability distribution generation unit 132 generates an appearance probability distribution and a non-appearance probability distribution for each part region constituting the object based on the generated appearance frequency histogram.
  • the appearance probability distribution generation unit 132 converts, for example, the position and size of the tire region in the image into the position and size on the xy plane (shown in FIG. 4).
  • the appearance probability distribution generation unit 132 can obtain the appearance frequency of the tire region at the position in the z-axis direction by performing this conversion on a large number of images.
  • the appearance probability distribution generation unit 132 calculates the appearance frequency associated with the position of the tire region in the image.
  • the appearance probability distribution generation unit 132 calculates the total appearance frequency of the tire areas converted into the xy plane, and divides the appearance frequency of the tire areas at each position by the total to obtain the appearance probability of the tire area. You may ask for it.
  • the appearance probability distribution generation unit 132 may obtain a local maximum value of the appearance frequency, and may fit a spread from the position of the local maximum value to a certain appearance frequency value to a Gaussian distribution as a distribution variance.
  • the tire non-appearance probability distribution is equal to the appearance probability distribution generated when the appearance frequency of parts other than the tire is calculated.
  • the appearance probability distribution storage unit 133 stores the appearance probability distribution and the non-appearance probability distribution generated by the appearance probability distribution generation unit 132 from a large number of images in advance.
  • the appearance probability distribution storage unit 133 may hold the distribution value in a file format or a database table or the like. Further, the appearance probability distribution storage unit 133 may store appearance probability distributions related to the positions of the parts regions of a plurality of types of objects. For example, the appearance probability distribution storage unit 133 may store an appearance probability distribution related to the position of each part region for each type of large vehicle, medium vehicle, small vehicle, scooter, off-road motorcycle, and naked motorcycle.
  • the parts area means an area where functional unit parts such as tires and headlights are copied.
  • the part area detection unit 121 divides the image supplied from the image supply unit 110 into partial areas, and expresses the partial areas as evaluation values (scores) indicating the likelihood of the part areas.
  • the part area detection unit 121 generates a score map in which a score is stored for each partial area in the image.
  • the object determination unit 122 determines whether or not an object to be detected is captured in a certain area of the image supplied from the image supply unit 110.
  • the object determination unit 122 calculates an evaluation value from the part region score calculated by the part region detection unit 121 and the appearance probability distribution of the part region stored in the appearance probability distribution storage unit 133. Note that the object determination unit 122 may integrate evaluation values of a plurality of parts regions and determine whether the object is an object based on a threshold value.
  • FIG. 2 and 3 are flowcharts showing the flow of object detection by the object detection apparatus 100.
  • FIG. 2 and 3 are flowcharts showing the flow of object detection by the object detection apparatus 100.
  • the image supply unit 110 supplies a plurality of images (object images) in which an object to be detected is captured in advance to the part region designation unit 131 in the learning unit 130.
  • the part area designation unit 131 designates the position and size of the part area from the input image (S1). Based on the position and size of the part area, the appearance probability distribution generation unit 132 calculates how many times the part area appears in the image and generates a distribution (S2).
  • the position of the part area may be an absolute position or a relative position.
  • the part area designating unit 131 generates an appearance probability distribution and a non-appearance probability distribution from the appearance frequency distribution generated for each part area, and stores them in the appearance probability distribution storage unit 133 (S3).
  • the image supply unit 110 supplies the detection target image to the part region detection unit 121 in the detection unit 120.
  • the part area detection unit 121 detects a part area for each partial area obtained by dividing the image, and stores a score indicating the part area uniqueness together with the position of the part area (S4).
  • the object determination unit 122 determines whether the object is an object from the appearance probability distribution and the non-appearance probability distribution stored in the appearance probability distribution storage unit 133 and the score indicating the part area likelihood calculated by the part area detection unit 121. Do. For example, the object determination unit 122 sets the appearance probability distribution as a positive value and the non-appearance probability distribution as a negative value, and calculates a score for each partial region of the part region and the appearance probability distribution or the non-appearance probability distribution. Integration may be performed. Then, the object determination unit 122 obtains an evaluation value by taking the sum of the integrated values within a certain area, and determines that an object has been detected when the evaluation value is equal to or greater than a threshold value (S5).
  • S5 a threshold value
  • the object detection apparatus 100 will be described using a specific embodiment.
  • the following description will be divided into a probability distribution generation phase (operation of the learning unit 130) for generating an appearance probability distribution in advance and a detection phase (operation of the detection unit 120) for detecting an object position from an input image.
  • the part area designating unit 131 determines an area such as a headlight or a tire, which is a part area of a functional unit, from an object shown in the image, for example, a car or a motorcycle.
  • the user may designate a region such as a headlight or a tire by operating the parts region designation unit 131 in advance.
  • the part area designating unit 131 may detect an area such as a headlight or a tire using a known detection technique to be described later, and specify the area using the detection result.
  • the designated part area is input to the appearance probability distribution generation unit 132.
  • the appearance probability distribution generation unit 132 generates, for each designated part area, a histogram indicating the appearance frequency from the position and size of the part area. For example, as shown in FIG. 4, the appearance probability distribution generation unit 132 determines which position in the image the tire region has in relation to the position and size of the tire region that appears in the image 1 and the position and size of the tire region that appears in the image 2. How many times it appears in Based on the calculated result, the appearance probability distribution generation unit 132 can generate the appearance frequency distributions P1 and P2 related to the tire region in the XY plane.
  • the appearance probability distribution generation unit 132 generates the tire appearance frequency probability distribution by normalizing the appearance frequency of the tire at a certain position with the sum of the appearance frequencies of the tires. In this manner, the appearance probability distribution generation unit 132 similarly generates an appearance probability distribution for a part region such as a car headlight or a front grill from a plurality of image groups.
  • FIG. 5 shows an example of an appearance probability distribution of a car headlight and a tire.
  • distributions P3 and P4 indicate the appearance probability distribution of the vehicle headlight
  • distributions P5 and P6 indicate the appearance probability distribution of the vehicle tire.
  • the appearance probability distribution generation unit 132 generates a non-appearance probability.
  • the non-appearance probability indicates the probability that the part region of interest is unlikely to appear at that position in the image. For example, since a tire has a low probability of appearing in the headlight region, the appearance probability of the headlight is defined as a tire non-appearance probability.
  • the non-appearance probability of a tire is defined as a distribution obtained by multiplying the appearance probability of a headlight by “ ⁇ 1”.
  • FIG. 6 is a diagram illustrating an example of a distribution of tire appearance probability and non-appearance probability. In FIG.
  • distributions P ⁇ b> 7 and P ⁇ b> 8 indicate tire appearance probabilities
  • distributions P ⁇ b> 9 and P ⁇ b> 10 indicate tire non-appearance probabilities. Therefore, when the tire appears at the headlight position, the appearance probability has a negative value as a penalty.
  • a value obtained by converting the appearance probability below the threshold to a negative value may be defined as the non-appearance probability. That is, as shown in FIG. 7, the appearance probability below the threshold value may be converted into a negative value, and the converted value may be set as the non-appearance probability.
  • the generated appearance probability distribution may be stored in the appearance probability distribution storage unit 133 as a file or a database.
  • detection is performed using the appearance probability generated in the probability distribution generation phase.
  • a known detection technique may be used for the detection method. For example, the part area detection unit 121 calculates a feature amount in advance by a known feature extraction method using a luminance gradient such as SIFT (Scale-Invariant FeatureformTransform) or HOG (Histograms of Oriented Gradients) for each part region. Then, the part region detection unit 121 calculates the same feature amount for the detection target region, and determines which part region the calculated feature amount is close to the feature amount between the feature amounts. You may obtain
  • the part area detection unit 121 determines the part area having the closest feature quantity to the previously calculated feature quantity as the detected part area, and expresses the distance representing the proximity as a score. For example, the part region detection unit 121 may set the score to 100 because the distance between the feature amounts is 0 when the feature amounts are the same. Further, the part region detection unit 121 may determine a region where the distance between the feature amounts is smaller than a predetermined value as the detected part region.
  • FIG. 8 is a diagram illustrating an example of a result of detecting a tire.
  • the partial area 2000 which is an area where the input image 1000 is divided, three areas where tires are detected are illustrated as shaded areas.
  • the scores of the three areas are 40, 80, and 50, respectively.
  • the score is held in a score map.
  • the area indicating the score 40 is erroneous detection.
  • the object determination unit 122 determines whether a certain area is an object area (an area in which an object is shown) based on a product sum value of the detected probability for each part area and the appearance probability distribution of the part area.
  • the product-sum value is an evaluation value.
  • a rectangular area 3000 shown in FIG. 9 is set as the fixed area.
  • the appearance probability of the area of score 40 is “ ⁇ 0.3” obtained by multiplying “0.3” by a negative value
  • the appearance probability of the area of score 80 is “0.8”
  • the appearance probability of the area of score 50 is set.
  • the probability is assumed to be “0.5”.
  • the rectangular area 3500 in FIG. 10 having the highest product-sum value is determined as the detected object area.
  • the certain area may be determined by generating one or a plurality of patterns of a rectangular area including the detected part area, for example. Further, the area size of the fixed area may be determined based on the size of the part area.
  • the object determination unit 122 can also determine a single object region by integrating detection results for each part region.
  • the object detection apparatus 100 can give a penalty to a falsely detected part region by generating an object appearance probability distribution composed of a part region appearance probability distribution and a non-appearance probability distribution. Therefore, the object region can be determined with high accuracy.
  • the object detection apparatus 100 according to the present embodiment can obtain an effect that the object region can be detected with high accuracy by using the object appearance probability distribution in consideration of the non-appearance probability distribution.
  • the size of the determination region (that is, the region for determining whether or not the object is reflected) is changed based on the increase rate of the objectness.
  • the area of the determination region is increased or decreased, and the region is changed in a direction in which the probability that the object is determined to be captured (object probability) increases. Then, when the object probability is equal to or greater than a set threshold value in a region where the object probability is a maximum value, it may be determined that an object is reflected in the region.
  • the object detection apparatus 101 according to the second embodiment of the present invention is characterized by having an object position search unit as compared with the configuration of the first embodiment. The difference between the object detection apparatus 101 according to the present embodiment and the first embodiment will be described below.
  • FIG. 11 is a block diagram showing a configuration of the object detection apparatus 101 according to the second embodiment.
  • the object detection apparatus 101 according to the second embodiment includes an object position search unit 123 in the detection unit 120 in addition to the configuration illustrated in FIG.
  • the object position searching unit 123 searches for an area where the product sum value described in the first embodiment is highest while changing the area where the object area is detected.
  • the object detection apparatus 101 has a product-sum value when the right side of the determination area is expanded or narrowed by one divided area, or a case where the upper side of the determination area is expanded by one divided area, The product-sum value is calculated in the case of narrowing, and a region where the product-sum value is maximum is searched.
  • the tire area that should originally be included in the object area may protrude from the rectangular area.
  • FIG. 12 is a diagram illustrating an example of a result of determining an object region by the object detection device 101 according to the second embodiment.
  • the object detection apparatus 101 can prevent an area exceeding the tire area from being included in the object area, as indicated by a rectangular area 3600 in FIG.
  • the object detection apparatus 101 calculates, for example, a product-sum value when the area is enlarged or reduced in a certain direction, and increases or decreases the product-sum value compared to the product-sum value of the previous area.
  • the area may be enlarged / reduced in the direction of the image.
  • the object position search unit 123 searches for a region with the highest product sum value while changing the region in which the object region is detected. The effect that the region can be detected is obtained.
  • the object detection apparatus 102 includes a part region designation unit 103, an appearance probability distribution generation unit 104, and an object determination unit 105.
  • the part area designating unit 103 designates a part area, which is an area in which the target part is captured, from a plurality of images in which the object is captured, among the parts constituting the object that is the detection target.
  • the appearance probability distribution generation unit 104 generates an appearance probability distribution and a non-appearance probability distribution of the part area based on the appearance frequency associated with the position of the part area in the image.
  • the object determination hand unit 105 refers to the appearance probability distribution of the part area and the non-appearance probability distribution to determine an area in which an object appears in the input image.
  • the third embodiment it is determined whether or not the input image is an area in which an object is captured with reference to the appearance probability distribution and the non-appearance probability distribution of the part area. Therefore, the effect that the object region can be detected with high accuracy is obtained.
  • each part of the object detection apparatus shown in FIGS. 1 and 11 is realized by the hardware resources illustrated in FIG. That is, the configuration shown in FIG. 14 includes a CPU (Central Processing Unit) 20, a RAM (Random Access Memory) 21, a ROM (Read Only Memory) 22, an external connection interface 23, and a storage device 24.
  • the CPU 20 controls the overall operation of the object detection device by reading various software programs (computer programs) stored in the ROM 22 or the storage device 24 into the RAM 21 and executing them. That is, in each of the embodiments described above, the CPU 20 executes a software program that implements each function (each unit) included in the object detection device while referring to the ROM 22 or the storage device 24 as appropriate.
  • the hardware configuration of the object detection device and each functional block thereof is not limited to the above-described configuration.
  • the present invention described by taking each embodiment as an example is achieved by supplying a computer program capable of realizing the functions described above to the object detection apparatus, and then executing the computer program by the CPU 20. Is done.
  • the supplied computer program may be stored in a computer-readable storage device such as a readable / writable memory (temporary storage medium) or a hard disk device.
  • a computer-readable storage device such as a readable / writable memory (temporary storage medium) or a hard disk device.
  • the present invention can be understood as being configured by a code representing the computer program or a storage medium storing the computer program.
  • a part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
  • Appendix 1 A part region designating unit that designates a part region that is a region in which the target part is captured from a plurality of images in which the object is captured, among the parts that configure the object that is the detection target;
  • An appearance probability distribution generating means for generating an appearance probability distribution of the part area and a non-appearance probability distribution based on an appearance frequency associated with the position of the part area in the image;
  • An object detection apparatus comprising: an object determination unit that determines an area in which an object is captured in an input image with reference to the appearance probability distribution and the non-appearance probability distribution of the part area.
  • Appendix 2 The object detection apparatus according to appendix 1, wherein the appearance probability distribution generation unit creates the appearance probability distribution by creating a histogram of appearance frequencies associated with positions of the part regions in the image.
  • Appendix 4 The object detection device according to any one of appendix 1 to appendix 3, wherein the appearance probability distribution generation unit calculates an appearance frequency of an area in which a part other than the target part is captured as a non-appearance frequency of the part area.
  • the appearance probability distribution generation means calculates, as the non-appearance probability, a value obtained by adding a negative value to a value equal to or less than a certain value of the appearance probability associated with the position in the image of the part region. 4.
  • the object detection device according to any one of 3.
  • a feature amount composed of a luminance change of a pixel is extracted with respect to a partial region that is a region into which the input image is divided, and a score value indicating the likelihood of the part region regarding the partial region is obtained based on the extracted feature amount. It further comprises a part area detection means for calculating, The object determination means is based on a result of product-sum operation between the score value calculated by the part area detection means and the appearance probability distribution of the part area generated by the appearance probability distribution generation means.
  • the object detection device according to any one of appendix 1 to appendix 5, which determines an area in which an object is captured in an image.
  • Appendix 7 The object detection device according to appendix 6, wherein the appearance probability distribution includes a distribution having a negative value indicating a position and a size at which the part region is unlikely to appear in the image.
  • appendix 8 The object detection device according to appendix 6 or appendix 7, further comprising object position search means for changing a size of a determination area, which is an area for determining an area in which the object appears in the input image, based on an increase rate of the object likeness.
  • the object position search means increases or decreases the area of the determination region, changes the region in a direction in which the probability that the object is determined to be captured increases,
  • the object detection unit according to any one of appendix 6 to appendix 8, wherein the object determination unit determines that an object appears in the region when the probability is equal to or greater than a threshold value in the region where the probability is a maximum value. apparatus.
  • a part region designating unit that designates a part region that is a region in which the target part is captured from a plurality of images in which the object is captured, among the parts that configure the object that is the detection target;
  • An appearance probability distribution generating means for generating an appearance probability distribution of the part area and a non-appearance probability distribution based on an appearance frequency associated with the position of the part area in the image;
  • a learning device for generating an appearance probability distribution of the part area and a non-appearance probability distribution based on an appearance frequency associated with the position of the part area in the image.
  • Appendix 11 Among the parts that make up the object that is the detection target, specify the part area that is the area where the target part is shown from a plurality of images where the object is shown, Based on the appearance frequency of the part area associated with the position in the image, an appearance probability distribution of the part area and a non-appearance probability distribution are generated, An object detection method for determining an area where the object appears in an input image with reference to an appearance probability distribution and a non-appearance probability distribution of the part area.
  • Appendix 12 A process of designating a part area, which is an area where the target part is captured, from a plurality of images where the object is captured, among the parts constituting the object that is the detection target; A process of generating an appearance probability distribution of the part region and a non-appearance probability distribution based on the appearance frequency of the part region associated with the position in the image.
  • An object detection program for causing a computer to execute a process of determining an area in which an object appears in an input image with reference to the appearance probability distribution and the non-appearance probability distribution of the part area.
  • the present invention can be applied to, for example, a computer device, a mobile phone, a smartphone, a digital still camera, and the like having a function of processing an image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

　精度よく物体領域を検出することができる物体検出装置等が開示される。係る物体検出装置は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段とを備える。

Description

物体検出装置、物体検出方法および学習装置
　本発明は、画像から物体を検出する物体検出装置及び方法に関する。
　映像（または静止画）から物体を検出する技術は、物体検出と呼ばれる。物体検出は、カメラの撮影映像から監視目的である所望の物体を見つけ出す用途、高画質化のために特定の物体に対してフォーカスを合わせる用途、等に使用される。
　物体検出の一態様として、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法と呼ばれる技術が使用されている。Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法の処理概念を図１５に示す。Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法は、図１５に示すように、検出対象の画像に対して矩形領域（Ｗｉｎｄｏｗ）を設定し、Ｗｉｎｄｏｗの位置と大きさを変化させながら、各矩形領域内での検出対象物体の有無を、評価関数により評価する。しかし、検出対象物体が他の物体に一部隠れている場合や、Ｗｉｎｄｏｗサイズが検出対象のサイズと大きく異なる場合、検出対象の位置を正確に求めることができないという問題があった。
　これに対し非特許文献１は、複数の決定木の集合で構築されたアンサンブル学習法を用いて人の検出を行う手法を提案している。この手法は、パーツと呼ばれる、物体の局所位置が写っている画像群から決定木を構築し、入力画像がどのパーツに分類されたかをスコアにより評価する。パーツは局所領域であるので、物体が一部遮蔽されていても、遮蔽されない領域に基づいて、パーツを検出できる可能性が高い事例が報告されている。なお、非特許文献１では、複数のパーツを認識した結果から算出したスコアの平均値を用いて、人の検出を行なっている（図１６）。
　また、非特許文献２は、パーツ間の関係性を星座に例えた星座モデルを提案している。星座モデルは、各パーツがどのような外見・相対位置・回転角度・サイズなどのパラメータによって２次元画像に存在するかを示す確率分布を表現するモデルである。非特許文献２では、パーツの位置や大きさの平均値と分散からなるモデルを作成し、パーツ候補すべての組み合わせについて星座モデルと一致するか否かの尤度を計算すると共に、背景である尤度も計算する。そして、この手法では、両者の尤度比がしきい値以上か否かに基づいて、物体であるか否かを判断する。
三井相和、藤吉弘亘著、　"Randomized Treesを用いたパーツベースによる人検出法"、動的画像処理実利用可ワークショップ2011(DIA)、　O3-1番、　2011年. R. Fergus、P. Perona、A.Zisserman著 "Object class recognition by unsupervised scale-invariant learning"、　In CVPR、 2003年.
　しかしながら、上述した技術は、いずれも精度よく物体領域を検出することができないという課題がある。例えば非特許文献１の手法では、人体が写っている画像を複数のパーツ領域に分解し、パーツ領域毎に算出したスコアの平均値から、人体を検出したか否かを判断している。しかしながら、この手法では、パーツ領域の位置関係を考慮していないので、図１７に示すように、パーツ領域の位置が間違っている場合でも人体として検出してしまう。したがって、誤検出が生じる虞がある。
　また、非特許文献２の手法では、モデル化したパーツ領域の位置関係に基づいた評価を行っている。しかしながら、非特許文献２の手法では、パーツ領域の出現確率分布の総和値のみに基づいてモデル化するので、出現確率が０の領域に対する領域の調整は行われない。このため、本来の物体領域よりも大きな領域が検出される場合があるので、位置精度は低下する。
　本発明は、上記問題点に鑑みてなされたもので、精度よく物体領域を検出することができる物体検出装置、物体検出方法および学習装置を提供することを目的とする。
　本発明の一態様の物体検出装置は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段とを備える。
　本発明の一態様の物体検出方法は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定し、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成し、前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する。
　本発明の一態様の学習装置は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、を備える。
　なお同目的は、上記の各構成を有する物体検出装置、物体検出方法または学習装置を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。
　本発明によれば、精度よく物体領域を検出することができる。
図１は、本発明の第１の実施の形態にかかる物体検出装置の構成を示すブロック図である。 図２は、物体検出の流れを示すフローチャートである。 図３は、物体検出の流れを示すフローチャートである。 図４は、出現頻度分布の生成を説明する図である。 図５は、出現頻度分布の生成を説明する図である。 図６は、非出現頻度分布の生成を説明する図である。 図７は、出現頻度分布の他の生成方法を説明する図である。 図８は、タイヤ領域の検出結果の例を示す図である。 図９は、物体領域の判定を説明する図である。 図１０は、物体領域の判定を説明する図である。 図１１は、本発明の第２の実施の形態にかかる物体検出装置の構成を示すブロック図である。 図１２は、第２の実施形態における物体領域の判定を説明する図である。 図１３は、本発明の第３の実施の形態にかかる物体検出装置の構成を示すブロック図である。 図１４は、本発明の各実施の形態にかかる物体検出装置を実現するハードウエア構成を示す図である。 図１５は、Ｓｌｉｄｉｎｇ　Ｗｉｎｄｏｗ法の処理概念を説明するための図である。 図１６は、複数の決定木の集合で構築されたアンサンブル学習法を用いて人の検出を行う手法を説明するための図である。 図１７は、複数の決定木の集合で構築されたアンサンブル学習法を用いて人の検出を行う手法を説明するための図である。
　以下、本発明の実施形態を説明する。
第１の実施形態
　図１は、本発明の実施の形態にかかる物体検出装置の構成を示すブロック図である。物体検出装置１００は、画像供給部１１０、検出部１２０、学習部１３０、及び位置検出結果出力部１４０を有する。
　検出部１２０は、パーツ領域検出部１２１、物体判定部１２２を含む。学習部１３０は、パーツ領域指定部１３１、出現確率分布生成部１３２、出現確率分布記憶部１３３を含む。位置検出結果出力部１４０は、検出部１２０による検出結果を出力する。
　物体検出装置１００は、画像を処理する任意の装置であれば良く、例えば一般的なコンピュータ装置、撮像装置（携帯電話、スマートフォン、デジタルスチールカメラ）等を含む。
　各構成要素の概要について説明する。
　画像供給部１１０は、任意の撮像手段で撮像された画像を取得する。また、画像供給部１１０は、その画像を、学習時にはパーツ領域指定部１３１に供給し、検出時にはパーツ領域検出部１２１に供給する。なお、画像供給部１１０は、処理対象とする画像を供給するものであれば良く、例えば物体検出装置１００に着脱可能な記憶装置（たとえばＵＳＢ（Universal Serial Bus）メモリ）から画像を読み出して検出部１２０又は学習部１３０に供給してもよい。ここで、画像供給部１１０が供給する画像には、静止画が想定されるが、画像供給部１１０は、動画を構成する各フレームを切り出して検出部１２０又は学習部１３０に逐次供給してもよい。
　学習部１３０は、パーツ領域を指定するパーツ領域指定部１３１と、パーツ領域の出現確率分布を生成する出現確率分布生成部１３２と、出現確率分布記憶部１３３とを含んでいる。学習部１３０は、物体検出装置１００と着脱可能であってもよい。
　パーツ領域指定部１３１は、画像中に写っている物体のパーツ領域を指定し、パーツ領域を示す座標値を、出現確率分布生成部１３２に渡す。パーツ領域の指定方法は、人手により指定してもよいし、後述する公知のパーツ領域検出技術により指定してもよい。ここで、パーツ領域とは、物体が写る画像において、その物体を構成するパーツが写る領域である。
　出現確率分布生成部１３２は、パーツ領域指定部１３１から入力された複数のパーツ領域の位置に対して、回数をカウントすることにより、出現頻度ヒストグラムを生成する。出現確率分布生成部１３２は、生成された出現頻度ヒストグラムに基づいて、物体を構成するパーツ領域毎の出現確率分布、非出現確率分布を生成する。
　出現確率分布生成部１３２は、例えば、画像中のタイヤ領域の位置と大きさを、ｘ－ｙ平面における位置と大きさに変換する（図４に示す）。出現確率分布生成部１３２は、この変換を、多数の画像に関して行うことで、ｚ軸方向に、その位置におけるタイヤ領域の出現頻度を得ることができる。このように、出現確率分布生成部１３２は、タイヤ領域の、画像における位置に関連付けられる出現頻度を算出する。出現確率分布生成部１３２は、ｘ－ｙ平面に変換されたタイヤ領域の全出現頻度の総和を求めると共に、各位置におけるタイヤ領域の出現頻度をその総和で割ることで、タイヤ領域の出現確率を求めてもよい。また、出現確率分布生成部１３２は、出現頻度の極大値を求め、極大値の位置からある出現頻度値までの広がりを、分布の分散としてガウス分布にフィッティングしてもよい。なお、例えばタイヤの非出現確率分布は、タイヤ以外のパーツの出現頻度を算出した際に生成される出現確率分布に等しい。
　出現確率分布記憶部１３３は、予め多数の画像から、出現確率分布生成部１３２で生成された出現確率分布、非出現確率分布を記憶する。出現確率分布記憶部１３３は、分布の値を、ファイル形式で保持してもよいし、データベースのテーブル等の形式で保持してもよい。また、出現確率分布記憶部１３３は、複数種類の物体のパーツ領域の位置に関する出現確率分布を記憶してもよい。例えば、出現確率分布記憶部１３３は、大型車、中型車、小型車、スクーター、オフロードバイク、ネイキッドバイクの各種類について、各パーツ領域の位置に関する出現確率分布を記憶してもよい。この場合、パーツ領域とは、タイヤやヘッドライト等の機能単位の部品が写される領域を意味する。
　パーツ領域検出部１２１は、画像供給部１１０から供給された画像を部分領域に分割し、部分領域を、パーツ領域らしさを示す評価値（スコア）で表現する。パーツ領域検出部１２１は、画像中の部分領域毎にスコアが格納されたスコアマップを生成する。
　物体判定部１２２は、画像供給部１１０から供給された画像の一定領域に対して、検出対象の物体が写っているかどうかの判定を行う。物体判定部１２２は、パーツ領域検出部１２１が算出したパーツ領域のスコアと、出現確率分布記憶部１３３に格納された当該パーツ領域の出現確率分布から評価値を算出する。なお、物体判定部１２２は、複数のパーツ領域の評価値を統合し、しきい値にもとづいて物体かどうかの判定を行ってもよい。
　図２、図３は、物体検出装置１００による物体検出の流れを示すフローチャートである。
　図１から図３を参照して、物体検出装置１００の処理の流れの概要について説明する。
　まず、学習時の動作について説明する。
　画像供給部１１０は、予め、検出対象となる物体が撮影されている複数の画像（物体画像）を学習部１３０内のパーツ領域指定部１３１に供給する。
　パーツ領域指定部１３１は、入力画像からパーツ領域の位置と大きさを指定する（Ｓ１）。出現確率分布生成部１３２は、パーツ領域の位置と大きさに基づいて、そのパーツ領域が、画像中のどの位置に何回出現したかを算出し、分布として生成する（Ｓ２）。ここで、パーツ領域の位置は、絶対位置でもよいし、相対位置でもよい。パーツ領域指定部１３１は、パーツ領域毎に生成された出現頻度分布から、出現確率分布、非出現確率分布を生成すると共に、それらを出現確率分布記憶部１３３に格納する（Ｓ３）。
　次に、検出時の動作について説明する。
　画像供給部１１０は、検出対象画像を検出部１２０内のパーツ領域検出部１２１に供給する。
　パーツ領域検出部１２１は、画像を分割した部分領域毎にパーツ領域を検出し、パーツ領域の位置とともにパーツ領域らしさを表すスコアを格納する（Ｓ４）。
　物体判定部１２２は、出現確率分布記憶部１３３に格納された出現確率分布や非出現確率分布と、パーツ領域検出部１２１で算出されたパーツ領域らしさを示すスコアとから、物体かどうかの判定を行う。物体判定部１２２は、判定手法として、例えば、出現確率分布を正の値、非出現確率分布を負の値とし、パーツ領域の部分領域毎のスコアと、出現確率分布または非出現確率分布との積算を行えばよい。そして、物体判定部１２２は、積算値を一定領域内で総和を取ることにより評価値を求め、評価値がしきい値以上の場合、物体を検出したと判定する（Ｓ５）。
　続いて、具体的な実施例を用いて、物体検出装置１００の詳細な動作について説明する。以下の説明では、予め出現確率分布を生成する確率分布生成フェーズ（学習部１３０の動作）と、入力された画像から物***置を検出する検出フェーズ（検出部１２０の動作）に分けて説明する。
　はじめに確率分布生成フェーズについて説明する。
　パーツ領域指定部１３１は、画像中に写っている物体、例えば車やバイクから、機能単位のパーツ領域である、ヘッドライトやタイヤ等の領域を決定する。決定方法として、予めユーザがパーツ領域指定部１３１を操作することにより、ヘッドライトやタイヤ等の領域を指定してもよい。あるいはパーツ領域指定部１３１が、後述する公知の検出技術を用いてヘッドライトやタイヤ等の領域を検出し、検出結果を用いて領域を指定しても良い。
　指定されたパーツ領域は、出現確率分布生成部１３２に入力される。出現確率分布生成部１３２は、指定されたパーツ領域毎に、パーツ領域の位置と大きさから出現頻度を示すヒストグラムを生成する。例えば、出現確率分布生成部１３２は、図４のように、画像１に写るタイヤ領域の位置と大きさ、画像２に写るタイヤ領域の位置と大きさに関して、タイヤ領域が、画像中のどの位置に何回出現したかを算出する。算出した結果に基づいて、出現確率分布生成部１３２は、Ｘ－Ｙ平面において、タイヤ領域に関する出現頻度分布Ｐ１、Ｐ２を生成することができる。出現確率分布生成部１３２は、ある位置におけるタイヤの出現頻度を、タイヤの出現頻度の総和で正規化することにより、タイヤの出現頻度確率分布を生成する。このように、出現確率分布生成部１３２は、複数の画像群から車のヘッドライトやフロントグリルといったパーツ領域に対して、同様に、出現確率分布を生成する。例えば、図５は、車のヘッドライトとタイヤの出現確率分布の例を示す。図５において、分布Ｐ３、Ｐ４は、車のヘッドライトの出現確率分布を示し、分布Ｐ５、Ｐ６は、車のタイヤの出現確率分布を示す。
　次に、出現確率分布生成部１３２は、非出現確率を生成する。非出現確率とは、画像において、注目しているパーツ領域がその位置に出現しにくい確率を示す。例えば、タイヤは、ヘッドライト領域で出現する確率は低いので、ヘッドライトの出現確率を、タイヤの非出現確率として定義する。タイヤの非出現確率は、ヘッドライトの出現確率に”－１”を乗算した分布として定義される。図６は、タイヤの出現確率と非出現確率の分布の例を示す図である。図６において、分布Ｐ７、Ｐ８は、タイヤの出現確率を示し、分布Ｐ９、Ｐ１０は、タイヤの非出現確率を示す。従って、タイヤがヘッドライト位置に出現した場合、出現確率は、ペナルティとして負の値を持つことになる。なお、他の非出現確率を生成する例として、しきい値以下の出現確率を負の値に変換した値を、非出現確率と定義してもよい。すなわち、図７に示すように、しきい値以下の出現確率を負の値に変換すると共に、変換した値を非出現確率としてもよい。生成された出現確率分布は、出現確率分布記憶部１３３にファイルやデータベースとして保存されてもよい。
　次に、画像内から物体検出を行う検出フェーズについて説明する。以下の説明では、確率分布生成フェーズで生成した出現確率を用いて検出を行う。
　パーツ領域検出部１２１は、画像を部分領域に分割し、分割した部分領域ごとにパーツ領域の検出を行う。例えば、パーツ領域検出部１２１は、入力画像を横１６分割、縦８分割した場合、分割した計１６×８＝１２８の部分領域に対して、パーツ領域の検出を行う。検出方法には、公知の検知技術が用いられてもよい。例えば、パーツ領域検出部１２１は、予めパーツ領域ごとにＳＩＦＴ（Scale-Invariant Feature Transform）やＨＯＧ（Histograms of Oriented Gradients）といった輝度勾配を用いた公知の特徴抽出方法により特徴量を算出しておく。そして、パーツ領域検出部１２１は、検出対象の領域に対しても同様の特徴量を算出し、その算出した特徴量は、上記予め算出したどのパーツ領域の特徴量に近いかを、特徴量間の距離値により求めてもよい。
　パーツ領域検出部１２１は、予め算出した特徴量と最も近い特徴量を持つパーツ領域を、検出したパーツ領域として決定すると共に、近さを表す距離をスコアとして表現する。例えば、パーツ領域検出部１２１は、特徴量が同一の場合、特徴量間の距離は０となるので、スコアを１００と設定してもよい。また、パーツ領域検出部１２１は、特徴量間の距離が所定値より小さい領域を、検出したパーツ領域として決定してもよい。図８は、タイヤを検出した結果の例を示す図である。
　入力画像１０００が分割された領域である部分領域２０００において、タイヤが検出された３領域は、網掛け領域として図示される。３領域のスコアは、それぞれ４０、８０、５０である。スコアは、スコアマップに保持される。なお、この例では、スコア４０を示す領域は、誤検出である。
　次に、物体判定部１２２について説明する。物体判定部１２２は、一定領域について、検出したパーツ領域ごとのスコアとパーツ領域の出現確率分布の積和値に基づいて、物体領域（物体が写っている領域）かどうかの判定を行う。積和値は、評価値である。ここで、一定領域として、図９に示す矩形領域３０００を設定する。また、例えば、スコア４０の領域の出現確率を”０．３”に負を乗じた”－０．３”とし、スコア８０の領域の出現確率を”０．８”、スコア５０の領域の出現確率を”０．５”と仮定する。この場合、図９の矩形領域３０００内での積和値は、”４０×（－０．３）＋８０×０．８＋５０×０．５＝７７”となる。一方、図１０の矩形領域３５００内での積和値は、”８０×０．８＋５０×０．５＝８９”となる。この場合、積和値がもっとも高い図１０の矩形領域３５００が、検出した物体領域として判定される。一定領域は、例えば、検出したパーツ領域を含む矩形領域を、一又は複数パターン生成することにより定められてもよい。また、一定領域の領域サイズは、パーツ領域の大きさに基づいて決定されてもよい。
　なお、上述の例では、前輪と後輪を含むタイヤ領域を検出する例を説明したが、ヘッドライトや、他の物体のパーツ領域についても同様にして求めることができる。物体判定部１２２は、最後に、パーツ領域ごとの検出結果を統合して１つの物体領域として判定することもできる。
　続いて、本実施の形態にかかる物体検出装置１００の効果について説明する。上述のように、物体検出装置１００は、パーツ領域の出現確率分布と非出現確率分布から構成される物体出現確率分布を生成することにより、誤検出したパーツ領域に対してペナルティを与えることができるので、精度よく物体領域を判定することができる。このように、本実施の形態にかかる物体検出装置１００は、非出現確率分布を考慮した物体出現確率分布を用いることで、精度よく物体領域を検出することができるという効果が得られる。
第２の実施の形態
　次に、上述した第１の実施形態を基礎とする第２の実施形態について説明する。以下の説明では、第１の実施形態と同様の構成については同じ参照番号を付与することにより、重複する説明は省略する。
　本実施形態では、物体らしさの増加率に基づいて、判定領域（すなわち、物体が写っている領域かどうかを判定する領域）の大きさを変化させることを説明する。本実施形態では、例えば、物体判定において、判定領域の面積を増減させ、物体が写ると判定される確率（物体確率）が大きくなる方向に領域を変化させる。そして、物体確率が極大値となる領域において、その物体確率が、設定したしきい値以上の場合、その領域に物体が写っていると判定してもよい。
　本発明の第２実施の形態にかかる物体検出装置１０１は、第１の実施の形態の構成と比較して物***置探索部を有することを特徴とする。本実施の形態にかかる物体検出装置１０１について第１の実施の形態と異なる点を以下に説明する。
　図１１は、第２の実施の形態にかかる物体検出装置１０１の構成を示すブロック図である。第２の実施の形態にかかる物体検出装置１０１は、図１に示す構成に加えて検出部１２０内に物***置探索部１２３を有する。
　物***置探索部１２３は、物体領域を検出する領域を変化させながら、第１の実施形態において説明した積和値が最も高くなる領域を探索する。第１の実施の形態では、検出する領域が一定の形状を保ちながら、積和値が最大となる位置を検出することを説明したが、本実施の形態では、検出する領域を変化させる。例えば、第２の実施の形態にかかる物体検出装置１０１は、判定領域の右辺を１分割領域広げた場合や狭めた場合の積和値、あるいは、判定領域の上辺を１分割領域広げた場合や狭めた場合の積和値を算出し、積和値が最大となる領域を探索する。第１の実施の形態における図９に示す例では、矩形領域が一定のため、本来は物体領域に含まれるはずのタイヤ領域が、矩形領域をはみ出す場合がある。
　図１２は、第２の実施の形態に係る物体検出装置１０１により、物体領域を判定した結果の例を示す図である。物体検出装置１０１は、探索領域を変化させることにより、図１２の矩形領域３６００に示すように、タイヤ領域を超える領域を、物体領域に含まないようにすることができる。物体検出装置１０１は、探索領域の変化方法として、例えば、ある方向に領域を拡大・縮小したときの積和値を算出すると共に、従前の領域の積和値と比較し、積和値が増減する方向に領域を拡大・縮小してもよい。
　以上のように、本第２の実施形態によれば、物***置探索部１２３は、物体領域を検出する領域を変化させながら、積和値が最も高くなる領域を探索するので、より精度よく物体領域を検出することができるという効果が得られる。
　第３の実施の形態
　次に、上記実施形態を包含する第３の実施形態について説明する。図１３は、本発明の第３の実施の形態にかかる物体検出装置１０２は、パーツ領域指定部１０３、出現確率分布生成部１０４および物体判定部１０５を備える。
　パーツ領域指定部１０３は、検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、物体が写る複数の画像から指定する。出現確率分布生成部１０４は、パーツ領域の、画像における位置に関連付けられる出現頻度に基づいて、パーツ領域の出現確率分布と、非出現確率分布とを生成する。物体判定手部１０５は、パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において物体が写る領域を判定する。
　上記構成を採用することにより、本第３の実施形態によれば、パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において物体が写る領域であるか否かを判定するので、精度よく物体領域を検出することができるという効果が得られる。
　なお、図１および図１１に示した物体検出装置の各部は、図１４に例示するハードウエア資源において実現される。すなわち、図１４に示す構成は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２０、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）２１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）２２、外部接続インタフェース２３および記憶装置２４を備える。ＣＰＵ２０は、ＲＯＭ２２または記憶装置２４に記憶された各種ソフトウエア・プログラム（コンピュータ・プログラム）を、ＲＡＭ２１に読み出して実行することにより、物体検出装置の全体的な動作を司る。すなわち、上記各実施形態において、ＣＰＵ２０は、ＲＯＭ２２または記憶装置２４を適宜参照しながら、物体検出装置が備える各機能（各部）を実現するソフトウエア・プログラムを実行する。なお、物体検出装置およびその各機能ブロックのハードウエア構成は、上述の構成に限定されない。
　また、各実施形態を例に説明した本発明は、物体検出装置に対して、上記説明した機能を実現可能なコンピュータ・プログラムを供給した後、そのコンピュータ・プログラムを、ＣＰＵ２０が実行することによって達成される。
　また、係る供給されたコンピュータ・プログラムは、読み書き可能なメモリ（一時記憶媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。
　以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
　前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段と
を備える物体検出装置。
　（付記２）
　前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度についてのヒストグラムを作成することにより前記出現確率分布を作成する
付記１に記載の物体検出装置。
　（付記３）
　前記出現確率分布生成手段は、前記パーツ領域の、前記物体が写る画像における出現位置と大きさを表す正の値を持つ分布を前記出現確率分布として生成する
　付記１または付記２記載の物体検出装置。
　（付記４）
　前記出現確率分布生成手段は、前記対象パーツ以外のパーツが写る領域の出現頻度を、前記パーツ領域の非出現頻度として算出する
　付記１ないし付記３のいずれか１に記載の物体検出装置。
　（付記５）
　前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現確率の、一定値以下の値に負の値を積算した値を、前記非出現確率として算出する
付記１ないし付記３のいずれか１に記載の物体検出装置。
　（付記６）
　前記入力画像が分割された領域である部分領域に対して画素の輝度変化から構成される特徴量を抽出し、抽出した特徴量に基づいて、前記部分領域に関する前記パーツ領域らしさを示すスコア値を算出するパーツ領域検出手段をさらに備え、
　前記物体判定手段は、前記パーツ領域検出手段により算出されたスコア値と、前記出現確率分布生成手段が生成した、前記パーツ領域の前記出現確率分布との積和演算の結果に基づいて、前記入力画像における物体が写る領域を判定する
付記１から付記５のいずれか１に記載の物体検出装置。
　（付記７）
　前記出現確率分布は、前記パーツ領域が前記画像における出現しにくい位置と大きさを表す負の値を持つ分布を含む
付記６に記載の物体検出装置。
　（付記８）
　物体らしさの増加率に基づいて、前記入力画像における物体が写る領域を判定する領域である判定領域の大きさを変化させる物***置探索手段を更に備える
付記６又は付記７に記載の物体検出装置。
　（付記９）
　前記物***置探索手段は、前記判定領域の面積を増減させ、前記物体が写ると判定される確率が大きくなる方向に領域を変化させ、
　前記物体判定手段は、前記確率が極大値となる領域において、前記確率が、しきい値以上の場合、前記領域に物体が写ると判定する
付記６から付記８のいずれか１に記載の物体検出装置。
　（付記１０）
　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
　を備えた学習装置。
　（付記１１）
　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定し、
　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成し、
　前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する
物体検出方法。
　（付記１２）
　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定する処理と、
　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する処理と、
　前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する処理と
をコンピュータに実行させる物体検出プログラム。
　この出願は、２０１３年１０月１日に出願された日本出願特願２０１３－２０６０４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、例えば、画像を処理する機能を備えたコンピュータ装置、携帯電話、スマートフォン、デジタルスチールカメラ等に適用することができる。
　１００、１０１　　物体検出装置
　１１０　　画像入力部
　１２０　　検出部
　１２１　　パーツ領域検出部
　１２２　　物体判定部
　１３０　　学習部
　１３１　　パーツ領域指定部
　１３２　　出現確率分布生成部
　１３３　　出現確率分布記憶部
　１４０　　位置検出結果出力部

Claims (10)

  1. 　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
    　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
    　前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する物体判定手段と
    を備える物体検出装置。
  2. 　前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現頻度についてのヒストグラムを作成することにより前記出現確率分布を作成する
    請求項１に記載の物体検出装置。
  3. 　前記出現確率分布生成手段は、前記パーツ領域の、前記物体が写る画像における出現位置と大きさを表す正の値を持つ分布を前記出現確率分布として生成する
    　請求項１または請求項２記載の物体検出装置。
  4. 　前記出現確率分布生成手段は、前記対象パーツ以外のパーツが写る領域の出現頻度を、前記パーツ領域の非出現頻度として算出する
    　請求項１ないし請求項３のいずれか１項に記載の物体検出装置。
  5. 　前記出現確率分布生成手段は、前記パーツ領域の、前記画像における位置に関連付けられる出現確率の、一定値以下の値に負の値を積算した値を、前記非出現確率として算出する
    請求項１ないし請求項３のいずれか１項に記載の物体検出装置。
  6. 　前記入力画像が分割された領域である部分領域に対して画素の輝度変化から構成される特徴量を抽出し、抽出した特徴量に基づいて、前記部分領域に関する前記パーツ領域らしさを示すスコア値を算出するパーツ領域検出手段をさらに備え、
    　前記物体判定手段は、前記パーツ領域検出手段により算出されたスコア値と、前記出現確率分布生成手段が生成した、前記パーツ領域の前記出現確率分布との積和演算の結果に基づいて、前記入力画像における物体が写る領域を判定する
    請求項１から請求項５のいずれか１項に記載の物体検出装置。
  7. 　前記出現確率分布は、前記パーツ領域が前記画像における出現しにくい位置と大きさを表す負の値を持つ分布を含む
    請求項６に記載の物体検出装置。
  8. 　物体らしさの増加率に基づいて、前記入力画像における物体が写る領域を判定する領域である判定領域の大きさを変化させる物***置探索手段を更に備える
    請求項６又は請求項７に記載の物体検出装置。
  9. 　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定するパーツ領域指定手段と、
    　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成する出現確率分布生成手段と、
    　を備えた学習装置。
  10. 　検出対象である物体を構成するパーツのうち、対象パーツが写る領域であるパーツ領域を、前記物体が写る複数の画像から指定し、
    　前記パーツ領域の、前記画像における位置に関連付けられる出現頻度に基づいて、前記パーツ領域の出現確率分布と、非出現確率分布とを生成し、
    　前記パーツ領域の出現確率分布と、非出現確率分布とを参照して、入力画像において前記物体が写る領域を判定する
    物体検出方法。
PCT/JP2014/004284 2013-10-01 2014-08-21 物体検出装置、物体検出方法および学習装置 WO2015049826A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015540368A JP6524910B2 (ja) 2013-10-01 2014-08-21 物体検出装置、物体検出方法および学習装置
US15/025,337 US10026002B2 (en) 2013-10-01 2014-08-21 Object detection apparatus, method for detecting object, and learning apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013206046 2013-10-01
JP2013-206046 2013-10-01

Publications (1)

Publication Number Publication Date
WO2015049826A1 true WO2015049826A1 (ja) 2015-04-09

Family

ID=52778433

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004284 WO2015049826A1 (ja) 2013-10-01 2014-08-21 物体検出装置、物体検出方法および学習装置

Country Status (3)

Country Link
US (1) US10026002B2 (ja)
JP (1) JP6524910B2 (ja)
WO (1) WO2015049826A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916832B1 (ko) 2017-07-11 2018-11-08 강경수 어노테이션 바운딩 박스를 이용한 오브젝트 감지 방법 및 장치
JP2019197359A (ja) * 2018-05-09 2019-11-14 国際航業株式会社 一般物体認識システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9727800B2 (en) * 2015-09-25 2017-08-08 Qualcomm Incorporated Optimized object detection
CN109658455B (zh) * 2017-10-11 2023-04-18 阿里巴巴集团控股有限公司 图像处理方法和处理设备
JP2020141288A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
DE102019108142A1 (de) * 2019-03-29 2020-10-01 Bayerische Motoren Werke Aktiengesellschaft Auswählen einer Handlungsoption für ein automatisiertes Kraftfahrzeug

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054442A (ja) * 2002-07-17 2004-02-19 Glory Ltd 顔検出装置、顔検出方法および顔検出プログラム
JP2007034723A (ja) * 2005-07-27 2007-02-08 Glory Ltd 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
WO2013008302A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 赤目判定装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2409030A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
JP5096211B2 (ja) * 2008-03-31 2012-12-12 富士フイルム株式会社 確率分布構築方法、確率分布構築装置、および確率分布構築プログラム、並びに被写体検出方法、被写体検出装置、および被写体検出プログラム
US8913783B2 (en) * 2009-10-29 2014-12-16 Sri International 3-D model based method for detecting and classifying vehicles in aerial imagery
WO2011055772A1 (ja) * 2009-11-05 2011-05-12 日本電気株式会社 画像目標識別装置、画像目標識別方法、画像目標識別プログラム
WO2011061905A1 (ja) * 2009-11-20 2011-05-26 日本電気株式会社 物体領域抽出装置、物体領域抽出方法、及びコンピュータ可読媒体
JP5615088B2 (ja) * 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
JP5675229B2 (ja) * 2010-09-02 2015-02-25 キヤノン株式会社 画像処理装置及び画像処理方法
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
WO2012077287A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
WO2012077286A1 (ja) * 2010-12-09 2012-06-14 パナソニック株式会社 物体検出装置および物体検出方法
US9232128B2 (en) * 2011-03-28 2016-01-05 Nec Corporation Image capture position and image capture direction estimation device, image capture device, image capture position and image capture direction estimation method and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004054442A (ja) * 2002-07-17 2004-02-19 Glory Ltd 顔検出装置、顔検出方法および顔検出プログラム
JP2007034723A (ja) * 2005-07-27 2007-02-08 Glory Ltd 顔画像検出装置、顔画像検出方法および顔画像検出プログラム
WO2013008302A1 (ja) * 2011-07-11 2013-01-17 トヨタ自動車株式会社 赤目判定装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101916832B1 (ko) 2017-07-11 2018-11-08 강경수 어노테이션 바운딩 박스를 이용한 오브젝트 감지 방법 및 장치
JP2019197359A (ja) * 2018-05-09 2019-11-14 国際航業株式会社 一般物体認識システム
JP7180827B2 (ja) 2018-05-09 2022-11-30 国際航業株式会社 一般物体認識システム

Also Published As

Publication number Publication date
JPWO2015049826A1 (ja) 2017-03-09
JP6524910B2 (ja) 2019-06-05
US10026002B2 (en) 2018-07-17
US20160232418A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
WO2015049826A1 (ja) 物体検出装置、物体検出方法および学習装置
JP6188400B2 (ja) 画像処理装置、プログラム及び画像処理方法
US9619733B2 (en) Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same
US20170132493A1 (en) Image processing apparatus, image processing method, and storage medium
KR20170041168A (ko) 차선 데이터의 처리 방법, 장치, 저장매체 및 기기
US9875253B2 (en) Color sketch image searching
US8929664B2 (en) Shape detection using chain code states
US9256800B2 (en) Target line detection device and method
CN107423306B (zh) 一种图像检索方法及装置
JP2010205067A (ja) 領域抽出装置、領域抽出方法及び領域抽出プログラム
US9189841B2 (en) Method of checking the appearance of the surface of a tyre
CN106778777B (zh) 一种车辆匹配方法及***
Zhao et al. A saliency detection based method for 3d surface simplification
CN104700620A (zh) 一种基于交通卡口的***辆识别方法和装置
JP2017102622A (ja) 画像処理装置、画像処理方法及びプログラム
CN117495891B (zh) 点云边缘检测方法、装置和电子设备
CN109671098A (zh) 可适用多重追踪的目标追踪方法与***
JP2020017136A (ja) 物体検出認識装置、方法、及びプログラム
JP6077785B2 (ja) 対象物検出装置及びプログラム
KR101733288B1 (ko) 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법
JP2006260311A (ja) マッチング方法およびマッチング装置ならびにプログラム
KR101961854B1 (ko) 3d 객체 모델 기법을 이용한 객체 인식장치
CN103679170B (zh) 一种基于局部特征的显著区域检测方法
CN115984178A (zh) 伪造图像检测方法、电子设备和计算机可读存储介质
Bielicki et al. A method of 3D object recognition and localization in a cloud of points

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14851346

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015540368

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15025337

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14851346

Country of ref document: EP

Kind code of ref document: A1