WO2017109946A1 - 形状弁別装置、形状弁別方法及び形状弁別プログラム - Google Patents
形状弁別装置、形状弁別方法及び形状弁別プログラム Download PDFInfo
- Publication number
- WO2017109946A1 WO2017109946A1 PCT/JP2015/086270 JP2015086270W WO2017109946A1 WO 2017109946 A1 WO2017109946 A1 WO 2017109946A1 JP 2015086270 W JP2015086270 W JP 2015086270W WO 2017109946 A1 WO2017109946 A1 WO 2017109946A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- distance
- approximate curve
- shape
- partial
- contour line
- Prior art date
Links
- 238000012850 discrimination method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 description 63
- 238000000605 extraction Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 101100255942 Arabidopsis thaliana RVE7 gene Proteins 0.000 description 1
- 101100511505 Bacillus subtilis lpa-14 gene Proteins 0.000 description 1
- 101150091736 EPR1 gene Proteins 0.000 description 1
- 102000020086 Ephrin-A1 Human genes 0.000 description 1
- 108010043945 Ephrin-A1 Proteins 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Definitions
- the present invention relates to a shape discrimination device, a shape discrimination method, and a shape discrimination program.
- an object of the present invention is to appropriately estimate the shape of an object or a part of an object represented in an image.
- a shape discriminating apparatus is an approximate curve calculation unit that calculates an approximate curve of a contour line, and the contour line is one of the contours of an object represented in an image.
- the approximate curve is a line that approximates the contour line and is calculated based on the coordinates that constitute the contour line;
- Distance calculating means for calculating a first distance and a second distance that are distances between the first end and the second end of the approximate curve corresponding to each of the second ends, and a center portion of the contour line Based on the first distance, the second distance, and the central coincidence, the shape of the object or a part of the object is specified based on the coincidence calculating means for calculating the central coincidence that is the degree of coincidence between the approximate curve and the approximate curve Information on the identification means and the shape of the object or part of the object identified by the identification means And an output means for outputting.
- a shape discriminating method is a shape discriminating method in a shape discriminating apparatus, and is an approximate curve calculating step for calculating an approximate curve of a contour line, wherein the contour line is an object represented by an image.
- a line of a finite length that represents a part of the contour, and the approximate curve is a line that approximates the contour line and is calculated based on the coordinates that constitute the contour line;
- a distance calculating step for calculating a first distance and a second distance, which are distances between the first and second ends of the approximate curve corresponding to each of the first and second ends, and a contour line; And a shape of a part of the object based on the first distance, the second distance, and the central coincidence, and a coincidence calculating step for calculating a central coincidence that is a degree of coincidence between the central portion and the approximate curve
- Specific step to identify and specific at specific step Having an output step of outputting information about some of the shape of the object or objects which, a.
- a shape discrimination program is an approximate curve calculation unit that calculates an approximate curve of a contour line using a computer, and the contour line is a finite number that represents a part of the contour of the object represented in the image.
- the approximate curve is a line that approximates the contour line and is calculated based on the coordinates that constitute the contour line, the approximate curve calculation means, the first and second ends of the contour line Distance calculating means for calculating a first distance and a second distance, which are distances between the first and second end portions of the corresponding approximate curve, and a match between the central portion of the contour line and the approximate curve;
- a degree of coincidence calculating means for calculating a degree of central coincidence, a specifying means for specifying a shape of an object or a part of an object based on the first distance, the second distance, and the center coincidence; and a specifying means Provides information about the shape of the identified object or part of the object Output means for, to function as a.
- the approximate curve approximated to the contour line indicating a part of the contour of the object represented in the image is calculated, and the distance between the corresponding ends of the approximate curve and the contour line is the first.
- the central coincidence which is the degree of coincidence between the first and second distances and the center of the contour line and the approximate curve, is calculated.
- the first and second distances and the degree of central coincidence reflect some shape features of the object. Since the shape of the object or the like is specified based on the first and second distances and the degree of central coincidence, the shape of the object or the like can be estimated appropriately.
- the first end and the second end with respect to the end-to-end distance which is the distance between the first end and the second end of the contour line
- the shape of the object or a part of the object may be specified based on the central matching degree and the aspect.
- the aspect reflecting the shape of a part of the object is calculated, and the shape of the object or the part of the object is specified based on the aspect in addition to the first and second distances and the degree of central coincidence. Therefore, it is possible to appropriately estimate the shape of an object or the like whose features appear in the aspect.
- the approximate curve calculating means is a point having the longest distance from a line connecting the first end portion and the second end portion of the contour line among the points on the contour line.
- a first partial approximate curve and a second partial approximate curve which are approximate curves of the first partial contour line and the second partial contour line obtained by dividing the contour line with the deepest point as a boundary, and a specifying unit
- the shape of the object or a part of the object may be specified by further using the slopes of the first partial approximate curve and the second partial approximate curve.
- the first partial approximate curve and the second partial approximate curve are calculated, and the shape of a part of the object is specified based on the inclination thereof. Therefore, the deepest point in the contour line is divided as a boundary. It is possible to appropriately estimate the shape of an object or the like whose features appear in the inclinations of the two partial contour lines.
- the approximate curve calculating means includes a third partial contour obtained by dividing the contour line with each of both end portions of the portion having a certain degree of coincidence with the approximate curve in the contour line as a boundary.
- it may be used to specify the shape of an object or a part of an object.
- the third partial approximate curve, the fourth partial approximate curve, and the fifth partial approximate curve are calculated, and the object or part of the object is determined based on the degree of coincidence with the corresponding partial outline. Since the shape is specified, it is possible to appropriately estimate the shape of an object or the like whose features appear in the three partial contour lines.
- the approximate curve calculating means calculates a plurality of quadratic curves based on arbitrary three points on the contour line, and matches the contour line among the calculated plurality of quadratic curves.
- the quadratic curve having the highest degree may be calculated as the approximate curve.
- the quadratic curve having the highest degree of coincidence with the contour line is calculated as the approximate curve.
- the quadratic curve calculated including the noise is not adopted as the approximate curve, and therefore is accurately approximated by the shape of a part of the object. It is possible to calculate the approximate curve.
- the shape of a part of the object may be the shape of the neckline of the clothes.
- the neckline which is the shape of a part of the clothes.
- the specifying unit is configured to detect the object or the object when the first distance and the second distance are both less than a predetermined value and the center coincidence is a predetermined degree or more. It may be specified that a part of the shape is the first shape.
- the shape of the object or a part of the object is the first shape characterized by the first and second distances and the degree of central coincidence.
- the specifying unit is configured such that when both the first distance and the second distance are equal to or greater than a predetermined value and the aspect is less than the predetermined value, the object or a part of the object
- the shape may be specified as the first shape.
- the shape of the object or a part of the object is the first shape characterized by the first and second distances and aspects.
- the specifying unit is configured such that the first distance and the second distance are both less than a predetermined value, the degree of central coincidence is less than a predetermined degree, and the first partial approximate curve
- the shape of the object or a part of the object is the second shape
- the first distance and the second One of the distances is less than a predetermined value, the other is greater than or equal to a predetermined value
- the central coincidence is less than a predetermined degree
- the slope of the first partial approximate curve and the slope of the second partial approximate curve are predetermined.
- the shape of a part of the object is the second shape, and one of the first distance and the second distance is less than a predetermined value, and the other is a predetermined value.
- the center coincidence is less than a predetermined degree, and the slope of the first partial approximate curve and the first In the case where the inclination portion trendline does not match or a predetermined degree, it is also possible to identify that part of the shape of the object or objects is a third shape.
- the object or part of the object based on the first and second distances, the central coincidence, and the degree of coincidence between the slope of the first partial approximate curve and the slope of the second partial approximate curve, the object or part of the object It can be appropriately specified that the shape has the second shape or the third shape.
- the specifying unit is configured such that one of the first distance and the second distance is less than a predetermined value, the other is a predetermined value or more, and the central coincidence is a predetermined degree or more.
- the degree of coincidence between the third partial approximate curve, the fourth partial approximate curve, and the fifth partial approximate curve, and the third partial outline, the fourth partial outline, and the fifth partial outline Is the distance between the first end and the second end of the contour line when both the first distance and the second distance are equal to or greater than a predetermined value.
- the aspect which is the ratio of the depth indicated by the longest distance among the distance between the line connecting the first end and the second end and the point on the approximate curve with respect to the inter-part distance is a predetermined value or more, A third partial approximate curve, a fourth partial approximate curve, and a fifth partial approximate curve;
- the degree of coincidence with the partial contour line, the fourth partial contour line, and the fifth partial contour line is equal to or greater than a predetermined level, the shape of the object or part of the object is identified as the fourth shape It is good to do.
- the shape of the object or part of the object is such that one of the first and second distances is less than the predetermined value, the other is the predetermined value or more, and the center coincidence is the predetermined degree or more. It can be appropriately specified that the fourth shape has such characteristics.
- the shape of the object or a part of the object is appropriately specified as the fourth shape having such a feature that the first and second distances are both equal to or larger than a predetermined value and the aspect is equal to or larger than the predetermined value. it can.
- each of the third partial approximate curve, the fourth partial approximate curve, and the fifth partial approximate curve, and the third partial contour line, the fourth partial contour line, and the fifth partial contour line When the degree of coincidence is equal to or greater than a predetermined degree, it is specified that the shape of the object or part of the object is the fourth shape, so that the shape can be specified with high accuracy.
- FIG. 1 is a block diagram showing a functional configuration of the shape discriminating apparatus 1 according to the present embodiment.
- the shape discriminating apparatus 1 is an apparatus that discriminates the shape of a part of an object represented in an image. As shown in FIG. 1, the shape discriminating apparatus 1 can access the image storage unit 3. Note that the image storage unit 3 may be configured in the shape discriminating apparatus 1.
- the shape discriminating apparatus 1 is an apparatus configured as a part of an electronic commerce site that accepts orders from users of products to be sold via a network, for example, and discriminates the shape of products such as clothes to be sold.
- the shape discriminating apparatus 1 of this embodiment is an apparatus that discriminates the shape of clothes.
- the shape discriminating apparatus 1 functionally includes an outline extraction unit 11, an approximate curve calculation unit 12 (approximation curve calculation unit), a distance calculation unit 13 (distance calculation unit), and a coincidence calculation unit. 14 (matching degree calculating means), an aspect calculating section 15 (aspect calculating means), a specifying section 16 (means), and an output section 17 (output means).
- FIG. 2 is a hardware configuration diagram of the shape discriminating apparatus 1.
- the shape discriminating apparatus 1 is physically composed of a CPU 101, a main storage device 102 constituted by memories such as RAM and ROM, an auxiliary storage device 103 constituted by a hard disk, a network card, and the like.
- the computer system includes a communication control device 104 and the like.
- the shape discriminating apparatus 1 may further include an input device 105 such as a keyboard and a mouse that are input devices and an output device 106 such as a display.
- FIG. 1 operate the communication control device 104 and the like under the control of the CPU 101 by reading predetermined computer software on the hardware such as the CPU 101 and the main storage device 102 shown in FIG. In addition, it is realized by reading and writing data in the main storage device 102 and the auxiliary storage device 103. Data and databases necessary for processing are stored in the main storage device 102 and the auxiliary storage device 103.
- the image storage unit 3 stores a plurality of images showing clothes.
- the shape discriminating apparatus 1 discriminates the shape of the neckline of clothes.
- the contour line extraction unit 11 extracts a contour line from an image showing clothes.
- the contour line is a finite length line representing a part of the contour of the object represented in the image.
- the contour line represents the contour of the neckline of the clothing represented in the image.
- FIG. 3 is a diagram illustrating a process of acquiring a binarized image of a portion where a neckline is represented from a clothing image.
- the contour line extraction unit 11 acquires a clothing image A11 to be processed from the image storage unit 3.
- the clothing image A11 represents a shirt image.
- the contour line extraction unit 11 performs a binarization process on the clothing image A11 to generate a binarized image A12.
- the portion where the shirt is represented is represented in white, and the background is represented in black.
- the contour line extraction unit 11 extracts a partial binarized image A13 including a portion where the neckline is shown from the binarized image A12. Specifically, the contour line extraction unit 11 extracts, for example, a certain region including the upper third of the portion where the clothes are represented in the binarized image A12 to obtain the partial binarized image. A13 is generated.
- FIG. 4 is a diagram showing processing for detecting a shoulder portion of clothes from the partial binarized image A13.
- the contour line extraction unit 11 divides the partial binarized image A13 in the illustrated horizontal direction.
- the contour line extraction unit 11 divides the partial binarized image A13 to generate divided images L 1 to L N each having a vertical length of, for example, 10 pixels.
- the contour line extraction unit 11 sets each divided image to a portion where all the pixels in the vertical direction 10 pixels are white as a white pixel, and other portions as black pixels, and the length in the vertical direction is 1. Compress to pixel data. Specifically, the contour extraction unit 11 includes the white portion WP A in the divided image L A1 , so that the portion corresponding to the white portion WP A is a white pixel and the other portion is a black pixel. Then, a compressed divided image L A2 having a vertical length of 1 pixel is generated.
- the contour extraction unit 11 uses the portions corresponding to the white portions WP B1 and WP B2 as white pixels, and the other portions.
- a compressed divided image LB2 having a vertical length of 1 pixel is generated as a black pixel.
- the contour line extraction unit 11 examines the compressed divided images generated from the divided images L 1 to L N in order from the top, and extracts the compressed divided image L A2 including one white portion WP. Subsequently, the contour line extraction unit 11 further examines the lower divided images in order, and extracts a compressed divided image L B2 including two white portions WP.
- the contour line extraction unit 11 specifies the position corresponding to the compressed divided image L A2 in the partial binarized image A13 as the position where one of the shoulder portions is represented. Further, the contour line extraction unit 11 specifies the position corresponding to the compressed divided image L B2 in the partial binarized image A13 as the position where the other shoulder portion is represented. Then, the contour line extraction unit 11 specifies shoulder portions S A and S B in the partial binarized image A13 based on the position of the specified shoulder portion.
- FIG. 5 to 6 are diagrams for explaining processing for acquiring the inclination of a line connecting both shoulder portions of clothes represented in the image and correcting the inclination of the clothes image.
- FIG. 5 is a diagram showing a process for specifying the shoulder more precisely.
- Contour extraction unit 11 the image A31, based on the shoulders S B identified by the process described in FIG. 4, the boundary between the portion of the black clothes is not represented as a white portion and a garment represented the traced shown on direction, identifying the uppermost points of the boundary as a shoulder H B.
- the contour line extraction unit 11 specifies an intersection H AB between a line extending from the shoulder portion H B in the illustrated horizontal direction (X direction) and the boundary between the white portion and the black portion, and the white portion and the black portion
- the boundary is traced from the intersection H AB in the direction opposite to the shoulder portion H B, and as shown in the image A32, the uppermost point (the point where the Y coordinate is maximum) is specified as the shoulder portion HA .
- the line H L connecting the shoulder portion H A and shoulder portion H B shows the shoulders part of the garment is defined.
- the shoulder portion H A and shoulder portion H B is a one end and the other end portion of the contour.
- the contour line is a line of finite length to both ends of the shoulder portion H A and shoulder portion H B.
- FIG. 6 is a diagram for explaining processing for correcting the inclination of the clothing image.
- line H L1 that extends the line H L in the image A41
- garment shown in the image A41 is inclined with respect to horizontal line H H.
- Contour extraction unit 11 an image of the garment shown in the image A41, so that a line H L is along the horizontal line H L1, obtaining the image A42 is rotated.
- FIG. 7 is a diagram illustrating an example of contour line extraction and approximate curve calculation.
- the contour line extraction unit 11 extracts a neckline contour (a boundary line between the white portion and the black portion) having the shoulder portion H A and the shoulder portion H B as both ends as a contour line L O1 . .
- the approximate curve calculation unit 12 is a part that calculates an approximate curve of a contour line.
- the approximate curve calculation unit 12 calculates an approximate curve based on the coordinates constituting the contour line.
- the approximate curve calculation process will be specifically described below.
- the approximate curve calculation unit 12 acquires the coordinates of any three points on the contour line L O1 . Subsequently, the approximate curve calculation unit 12 calculates a quadratic curve by the least square method based on the acquired coordinates of the three points. The approximate curve calculation unit 12 sets the quadratic curve as a finite line so that the X coordinate of one and the other end of the quadratic curve is equal to the X coordinate of the one and the other end of the contour. calculate. And the approximated curve calculation part 12 calculates the consensus which shows the coincidence of the said secondary curve and an outline about the calculated secondary curve. The consensus is the ratio of the points existing on the quadratic curve among all the points constituting the contour line.
- the approximate curve calculation unit 12 repeatedly performs extraction of arbitrary three points on the contour line L O1 and calculation of the quadratic curve and consensus, and the quadratic curve having the highest consensus among the calculated quadratic curves is obtained. Calculated as an approximate curve L P1 of the contour line L O1 .
- the number of quadratic curves calculated by the approximate curve calculation unit 12 may be a predetermined number set in advance, or may be the number of quadratic curves that can be calculated within a predetermined processing time.
- the approximate curve calculation part 12 is good also as calculating a quadratic curve about all the combinations of 3 points
- the quadratic curve having the highest degree of coincidence with the contour line is calculated as the approximate curve, and thus extracted from the image.
- the quadratic curve calculated including the noise is not adopted as the approximate curve, so that it is possible to calculate the approximate curve accurately approximated by the shape of a part of the object. It becomes possible.
- the approximate curve calculation unit 12 may calculate two partial approximate curves that approximate two partial contour lines obtained by dividing the contour line at one point on the line.
- the approximate curve calculation unit 12 may calculate three partial approximate curves that approximate three partial contour lines obtained by dividing the contour line at two points on the line. The calculation of these partial approximate curves will be described later.
- the distance calculation unit 13 calculates a first distance and a second distance, which are distances between the first and second ends of the contour line and the first and second ends of the corresponding approximate curve, respectively. This is the part to calculate.
- the calculation of the first and second distances will be described with reference to FIG.
- the first end portion EO L1 and the second end portion EO R1 of the contour line and the approximate curve LP2 are represented by the contour line extracting unit 11 and It is calculated by the approximate curve calculation unit 12.
- the approximate curve L P2 has a first end EPL1 and a second end EPR1 .
- a first end EO L1 the distance between the first end portion EP L1 is calculated as the first distance D 1
- the second end EO R1 second end EP R1 distance is calculated as the second distance D 2 between.
- the distance calculation unit 13 calculates a normalized value obtained by dividing the distance between the first end EO L1 and the first end EP L1 by the depth DP 1 as the first distance D 1 .
- second end EO R1 values normalized by dividing the distance in depth DP 1 and the second end portion EP R1 may be calculated as the second distance D 2.
- the depth DP 1 indicates the longest distance among the distances between the line connecting the first end EO L1 and the first end EP L1 of the contour line and the point on the approximate curve LP2 .
- the coincidence degree calculation unit 14 is a part that calculates a central coincidence degree that is a degree of coincidence between the central part of the contour line and the approximate curve. With reference to FIG. 9, the calculation of the degree of central coincidence will be described. In the clothing image shown in FIG. 9, the central portion C O1 of the contour line extracted by the contour line extraction unit 11, the approximate curve L P3 calculated by the approximate curve calculation unit 12, and the central portion C P1 of the approximate curve L P3. It is shown.
- Match degree calculating section 14 includes a central portion C O1 of the contour line, based on the distance between the central portion C P1 of the approximate curve L P3, to calculate the central matching degree.
- the aspect calculation unit 15 is a part that calculates an aspect that is a ratio of the depth to the distance between both ends of the contour line.
- the depth is the longest distance among the distances between a line connecting both ends of the contour line and a point on the approximate curve.
- Aspect calculation section 15 calculates the end distance W O4 which is the distance between the first end EO L4 of the contour line and a second end EO L4. Next, the aspect calculation unit 15, a first end EO L4 and and the line connecting the second end EO L4, the longest distance shows the depth D of the distance between a point on the approximate curve L P4 P4 Is calculated. Then, the aspect calculation unit 15 calculates the ratio of the depth D P4 relative to the end distance W O4 as an aspect.
- the longest distance among the distances between the line connecting the both ends of the contour line and the point on the approximate curve is the depth, but the line connecting the both ends of the contour line and the point on the contour line The longest distance may be the depth.
- the aspect calculating unit 15 is not an essential component for the shape discriminating apparatus 1 of the present embodiment.
- the specifying unit 16 determines the shape of the object or a part of the object based on the first distance and the second distance calculated by the distance calculating unit 13 and the central matching degree calculated by the matching degree calculating unit 14. This is the part to identify. In the present embodiment, the specifying unit 16 specifies the shape of the neckline of the clothes.
- the specifying unit 16 may specify the shape of the object or a part of the object by further using the aspect calculated by the aspect calculating unit 15.
- the aspect for specifying the shape it is possible to appropriately estimate the shape of a part of the object whose feature appears in the aspect. The details of the process of specifying the shape of the object or part of the object by the specifying unit 16 will be described later with reference to FIG.
- the specifying unit 16 further uses a consensus indicating the degree of coincidence between the contour line extracted by the contour line extraction unit 11 and the approximate curve calculated by the approximate curve calculation unit 12 to detect the object or a part of the object.
- the shape may be specified.
- the calculation of consensus by the specifying unit 16 will be described.
- Figure 11 is the approximate curve L P5 and contour calculated by the approximate curve calculation unit 12 based on the clothing of the image point CO 1, CO 2, CO 3 , ⁇ CO N is shown.
- Specifying unit 16 the point CO 1 for all contour, CO 2, CO 3, among ⁇ ⁇ ⁇ CO N, it calculates the ratio of a point on the approximate curve L P5 as consensus. That is, the specifying unit 16 calculates (the number of points on the approximate curve among the points on the contour line / the number of points on the contour line) as a consensus.
- the unit 16 may specify the shape of the object or a part of the object based on whether or not the slope of the first partial approximate curve and the slope of the second partial approximate curve match each other by a predetermined degree or more. .
- the shape of a part of the object such that a feature appears in the inclination of two partial contour lines divided with the deepest point in the contour line as a boundary.
- the output unit 17 outputs information on the shape of the object specified by the specifying unit 16 or a part of the object. Specifically, the output unit 17 associates information regarding the shape of the object or part of the object represented in the image as an attribute of the image with a predetermined storage unit (for example, the image storage unit 3) in association with the image. It may be memorized. Further, the output unit 17 may perform control so that information related to the shape of the object or part of the object represented in the image is displayed on the display in association with the image. Further, the output unit 17 may perform a process of classifying the plurality of images stored in the image storage unit 3 based on information regarding the shape of the object or part of the object represented in the image.
- a predetermined storage unit for example, the image storage unit 3
- FIG. 12 is a flowchart showing the processing content of the shape discrimination method performed in the shape discrimination device 1.
- the contour line extraction unit 11 acquires an image representing an object (S1). Specifically, the contour line extraction unit 11 acquires an image showing clothes from the image storage unit 3. Next, the contour line extraction unit 11 extracts a contour line of the object or a part of the object (S2). In the present embodiment, the contour line extraction unit 11 extracts the contour of the neckline of the clothing represented in the image acquired in step S1 as a contour line.
- the approximate curve calculation unit 12 calculates the approximate curve of the contour line extracted in step S2 based on the coordinates constituting the contour line (S3).
- the distance calculation unit 13 includes a first distance and a second distance that are distances between the first and second ends of the outline and the corresponding first and second ends of the approximate curve. Is calculated (S4).
- the coincidence degree calculation unit 14 calculates a central coincidence degree that is a degree of coincidence between the center part of the contour line and the approximate curve (S4).
- the aspect calculation unit 15 may calculate an aspect that is a ratio of the depth to the distance between both ends of the contour line (S4).
- the specifying unit 16 performs a process of specifying a partial shape of the object based on the information calculated in step S4 (S5).
- the specifying unit 16 specifies the shape of the neckline of the clothes.
- the output part 17 outputs the information regarding the one part shape of the object specified in step S5 (S6).
- the output part 17 outputs the information regarding the shape of the neckline of clothes.
- FIG. 13 is a flowchart showing the contents of the specifying process in step S5 of the flowchart of FIG. 14 to 19 are examples of clothing images that are objects of shape discrimination.
- the specifying unit 16 determines that the shape of a part of the object is the first. It is a figure which shows the example which specifies that it is the shape of this. In this embodiment, in such a case, the specifying unit 16 specifies that the shape of the neckline of the clothes represented in the image is a round neck.
- the contour line LO 11 and the approximate curve LP 11 are shown, and the first and second approximate curves LP 11 corresponding to the first and second ends of the contour line LO 11 respectively.
- a first distance D1 11 and a second distance D2 11 are shown which are distances between the two ends.
- step S11 the specifying unit 16 determines whether or not both the first distance D1 11 and the second distance D2 11 are less than a predetermined value. If it is determined that both the first distance D1 11 and the second distance D2 11 are less than the predetermined value, the process proceeds to step S12. On the other hand, if it is not determined that both the first distance D1 11 and the second distance D2 11 are less than the predetermined value, the process proceeds to step S14. In the example shown in FIG. 14, since both the first distance D1 11 and the second distance D2 11 are less than a predetermined value, the process proceeds to step S12.
- step S ⁇ b> 12 the specifying unit 16 determines whether or not the center coincidence degree, which is the degree of coincidence between the center part CO 11 of the contour line LO 11 and the center part CP 11 of the approximate curve LP 11 , is equal to or greater than a predetermined degree. judge. If it is determined that the center coincidence is equal to or greater than a predetermined degree, the process proceeds to step S13. On the other hand, if it is not determined that the central matching degree is equal to or higher than the predetermined degree, the process proceeds to step S18. In the example shown in FIG. 14, the central portion CO 11 and the central portion CP 11 are substantially coincident and the central coincidence degree is equal to or greater than a predetermined degree, so the process proceeds to step S13.
- step S ⁇ b> 13 the specifying unit 16 determines whether or not the consensus that is the degree of coincidence with the contour line LO 11 of the approximate curve LP 11 is greater than or equal to a predetermined degree. If it is determined that the consensus is greater than or equal to a predetermined degree, it is specified that the shape of the neckline of the clothes represented in the image is a round neck. On the other hand, if it is not determined that the consensus is greater than or equal to the predetermined degree, it is determined that the shape of the neckline of the clothing represented in the image is an unknown shape and cannot be classified. In the example shown in FIG. 14, since the consensus with respect to the contour line LO 11 of the approximate curve LP 11 is equal to or greater than a predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes shown in FIG. To do.
- FIG. 15 shows that when both the first distance and the second distance are greater than or equal to a predetermined value and the aspect is less than the predetermined value, the specifying unit 16 determines that the shape of a part of the object is the first shape. It is a figure which shows the example which specifies a certain thing. In this embodiment, in such a case, the specifying unit 16 specifies that the shape of the neckline of the clothes represented in the image is a round neck.
- a first distance D1 12 and a second distance D2 12 which are distances between the parts are shown.
- the first end portion and the end portion distance WO 12 is the distance between the second end of the contour line LO 12 and the first end of the contour line LO 12 and a second end depth DP 12 is shown is the longest distance among the distances between the points on the approximate curve LP 12 and a line connecting and.
- step S11 the specifying unit 16 determines whether or not both the first distance D1 12 and the second distance D2 12 are less than a predetermined value. In the example shown in FIG. 15, since the first distance D1 12 and the second distance D2 12 are not less than the predetermined value, the process proceeds to step S14.
- step S14 the specifying unit 16 determines whether or not both the first distance D1 12 and the second distance D2 12 are greater than or equal to a predetermined value. If it is determined that both the first distance D1 12 and the second distance D2 12 are greater than or equal to a predetermined value, the process proceeds to step S15. On the other hand, if it is not determined that both the first distance D1 12 and the second distance D2 12 are greater than or equal to the predetermined value, the process proceeds to step S16. In the example shown in FIG. 15, since both the first distance D1 11 and the second distance D2 11 are equal to or greater than a predetermined value, the process proceeds to step S15.
- step S15 the specifying unit 16 determines whether or not the aspect, which is the ratio of the depth to the end-to-end distance, is less than a predetermined value. If it is determined that the aspect is less than the predetermined value, the process proceeds to step S13. On the other hand, if it is not determined that the aspect is less than the predetermined value, the process proceeds to step S17. In the example shown in FIG. 15, since the aspect calculated as the ratio of the depth DP 12 to the end-to-end distance WO 12 is less than a predetermined value, the process proceeds to step S13.
- step S ⁇ b> 13 the specifying unit 16 determines whether or not the consensus that is the degree of coincidence with the contour line LO 12 of the approximate curve LP 12 is greater than or equal to a predetermined degree.
- the specifying unit 16 specifies that the shape of the neckline of the clothes shown in FIG. 15 is a round neck. To do.
- FIG. 10 is a diagram illustrating an example in which the specifying unit 16 specifies that the shape of a part of the object is the second shape when the values match by a predetermined degree or more. In this embodiment, in such a case, the specifying unit 16 specifies that the shape of the neckline of the clothes represented in the image is a V-neck.
- a first distance D1 13 and a second distance D2 13 which are distances between the parts are shown.
- the first end portion and the contour line LO 13 the deepest point distance is the furthest point of the line connecting the second end portion as a boundary of the contour line LO 13 among the points on the contour line LO 13
- the divided first partial contour line LOA 13 and second partial contour line LOB 13 are shown.
- a first partial approximate curve LPA 13 and a second partial approximate curve LPB 13 which are approximate curves of the first partial contour line LOA 14 and the second partial contour line LOB 14 are shown.
- step S11 the specifying unit 16 determines whether or not both the first distance D1 13 and the second distance D2 13 are less than a predetermined value. In the example shown in FIG. 16, since both the first distance D1 13 and the second distance D2 13 are less than a predetermined value, the process proceeds to step S12.
- step S ⁇ b> 12 the specifying unit 16 determines whether or not the center coincidence degree, which is the degree of coincidence between the center part CO 13 of the contour line LO 13 and the center part CP 13 of the approximate curve LP 13 , is equal to or greater than a predetermined degree. judge. In the example shown in FIG. 16, the center portion CO 13 and the center portion CP 13 do not match and the center matching degree is not greater than or equal to a predetermined degree, so the process proceeds to step S18.
- the center coincidence degree which is the degree of coincidence between the center part CO 13 of the contour line LO 13 and the center part CP 13 of the approximate curve LP 13 .
- step S ⁇ b> 18 the specifying unit 16 determines whether or not the slope of the first partial approximate curve LPA 13 and the slope of the second partial approximate curve LPB 13 coincide with each other by a predetermined degree or more.
- Approximate curve calculation unit 12 the lowest point as a boundary distance between a line connecting the first end and the second end of the contour line LO 13 among the points on the contour line LO 13 is the point farthest A first partial contour line LOA 13 and a second partial contour line LOB 13 obtained by dividing the contour line LO 13 are calculated. Then, the approximate curve calculation unit 12 calculates the first partial approximate curve LPA 13 and the second partial approximate curve LPB 13 that approximate the first partial contour line LOA 13 and the second partial contour line LOB 13 , respectively. To do. The calculation of the first partial approximate curve LPA 13 based on the first partial contour line LOA 13 and the calculation of the first partial approximate curve LPB 13 based on the second partial contour line LOB 13 are described with reference to FIG. The calculation process of the approximate curve L P1 based on the outline L O1 described above is performed.
- the comparison of the slopes of the partial approximate curves is performed by inverting one of the first and second partial approximate curves with the vertical straight line as an axis. That is, when the slopes of the first and second partial approximate curves are equal to each other by a predetermined degree or more, it is determined that the shape of the neckline is line symmetric with respect to a vertical straight line as an axis of symmetry.
- step S19 If it is determined that the slope of the first partial approximate curve LPA 13 and the slope of the second partial approximate curve LPB 13 are equal to or greater than a predetermined degree, the process proceeds to step S19. On the other hand, if it is not determined that the slope of the first partial approximate curve LPA 13 and the slope of the second partial approximate curve LPB 13 are equal to or greater than a predetermined degree, the process proceeds to step S20. In the example shown in FIG. 16, the slope of the first partial approximate curve LPA 13 and the slope of the second partial approximate curve LPB 13 are equal to each other by a predetermined degree or more, and the process proceeds to step S19.
- step S ⁇ b> 19 the specifying unit 16 determines the degree of coincidence of the first partial approximate curve LPA 13 and the second partial approximate curve LPB 13 with respect to the first partial contour line LOA 13 and the second partial contour line LOB 13 . Is determined to be greater than or equal to a predetermined degree.
- the degree of coincidence of the partial approximate curve with respect to the partial contour is performed by calculating a consensus. That is, the ratio of the number of points on the corresponding partial approximate curve among all the points on the partial outline is calculated as a consensus.
- the shape of the neckline of the clothing represented in the image Is a V-neck.
- the neck of the clothes represented in the image It is determined that the shape of the line is an unknown shape and cannot be classified.
- the specifying unit 16 specifies that the shape of the neckline of the clothes shown in FIG. 16 is a V-neck.
- FIG. 6 is a diagram illustrating an example in which a specifying unit 16 specifies that the shape of a part of an object is a second shape when the slope of the partial approximate curve of 2 matches a predetermined degree or more.
- the specifying unit 16 specifies that the shape of the neckline of the clothes represented in the image is a V-neck.
- a first distance D1 14 and a second distance D2 14 which are distances between the parts are shown.
- the first end portion and the contour line LO 14 the lowest point as a boundary the point farthest distance between the line connecting the second end of the contour line LO 14 among the points on the contour line LO 14
- the divided first partial contour line LOA 14 and second partial contour line LOB 14 are shown.
- Further first subpaths LOA 14 and the first portion approximate curve LPA 14 and a second portion trendline LPB 14 are the respective approximate curves of the second subpaths LOB 14 is shown.
- step S11 the specifying unit 16 determines whether or not both the first distance D1 14 and the second distance D2 14 are less than a predetermined value. In the example shown in FIG. 17, since the first distance D1 14 and the second distance D2 14 are not less than the predetermined value, the process proceeds to step S14.
- step S14 the specifying unit 16 determines whether or not both the first distance D1 14 and the second distance D2 14 are greater than or equal to a predetermined value. In the example shown in FIG. 17, since the first distance D1 14 is greater than or equal to a predetermined value and the second distance D2 14 is less than the predetermined value, the process proceeds to step S16.
- step S16 the specifying unit 16 determines whether or not the central coincidence degree, which is the degree of coincidence between the central portion CO 14 of the contour line LO 14 and the central portion CP 14 of the approximate curve LP 14 , is equal to or greater than a predetermined degree. judge. In the example shown in FIG. 17, the center portion CO 14 and the center portion CP 14 do not match and the center matching degree is not greater than or equal to a predetermined degree, so the process proceeds to step S18.
- the central coincidence degree which is the degree of coincidence between the central portion CO 14 of the contour line LO 14 and the central portion CP 14 of the approximate curve LP 14 .
- step S ⁇ b> 18 the specifying unit 16 determines whether or not the slope of the first partial approximate curve LPA 14 and the slope of the second partial approximate curve LPB 14 coincide with each other by a predetermined degree or more.
- the slope of the first partial approximate curve LPA 14 and the slope of the second partial approximate curve LPB 14 are equal to or greater than a predetermined degree, so the processing proceeds to step S19.
- step S ⁇ b> 19 the specifying unit 16 matches the first partial approximate curve LPA 14 and the second partial approximate curve LPB 14 with the first partial outline LOA 14 and the second partial outline LOB 14 . Is determined to be greater than or equal to a predetermined degree. In the example shown in FIG. 17, the degree of coincidence of the first partial approximate curve LPA 14 and the second partial approximate curve LPB 14 with respect to each of the first partial outline LOA 14 and the second partial outline LOB 14 is predetermined. Therefore, the specifying unit 16 specifies that the shape of the neckline of the clothes shown in FIG. 17 is a V-neck.
- FIG. 18 shows that one of the first distance and the second distance is less than a predetermined value, the other is greater than or equal to a predetermined value, the center coincidence is less than a predetermined degree, the slope of the first partial approximation curve and the first distance
- the contour line LO 15 and the approximate curve LP 15 , and the first and second ends of the approximate curve LP 15 corresponding to the first and second ends of the contour line LO 15 respectively.
- a first distance D1 15 and a second distance D2 15 which are distances between the parts are shown.
- the first end portion and the contour line LO 15 the lowest point as a boundary distance between a line connecting the second end portion is a point farthest contour LO 15 among the points on the contour line LO 15
- the divided first partial contour line LOA 15 and second partial contour line LOB 15 are shown.
- Further first subpaths LOA 15 and the first portion approximate curve LPA 15 and a second portion trendline LPB 15 are the respective approximate curves of the second subpaths LOB 15 is shown.
- step S11 the specifying unit 16 determines whether or not both the first distance D1 15 and the second distance D2 15 are less than a predetermined value. In the example shown in FIG. 18, since the first distance D1 15 and the second distance D2 15 are not less than the predetermined value, the process proceeds to step S14.
- step S14 the specifying unit 16 determines whether or not both the first distance D1 15 and the second distance D2 15 are greater than or equal to a predetermined value. In the example shown in FIG. 18, since the first distance D1 15 is less than the predetermined value and the second distance D2 15 is greater than or equal to the predetermined value, the process proceeds to step S16.
- step S16 the specifying unit 16 determines whether or not the center coincidence degree, which is the degree of coincidence between the center portion CO 15 of the contour line LO 15 and the center portion CP 15 of the approximate curve LP 15 , is equal to or greater than a predetermined degree. judge. In the example shown in FIG. 18, the center portion CO 15 and the center portion CP 15 do not match, and the center matching degree is not greater than or equal to a predetermined degree, so the process proceeds to step S18.
- the center coincidence degree which is the degree of coincidence between the center portion CO 15 of the contour line LO 15 and the center portion CP 15 of the approximate curve LP 15 .
- step S ⁇ b> 18 the specifying unit 16 determines whether or not the slope of the first partial approximate curve LPA 15 and the slope of the second partial approximate curve LPB 15 coincide with each other by a predetermined degree or more. In the example shown in FIG. 18, since the slope of the first partial approximate curve LPA 15 and the slope of the second partial approximate curve LPB 15 do not coincide with each other by a predetermined degree or more, the process proceeds to step S20.
- step S ⁇ b> 20 the specifying unit 16 determines whether the first partial outline and the second partial outline match each of the first partial approximate curve and the second partial approximate curve with a predetermined degree or more. Determine whether or not.
- the shape of the neckline of the clothing represented in the image Is the asymmetric neck.
- the neck of the clothes represented in the image It is determined that the shape of the line is an unknown shape and cannot be classified.
- the specifying unit 16 specifies that the shape of the neckline of the clothes shown in FIG. 17 is an asymmetric neck.
- both the first distance and the second distance are equal to or larger than a predetermined value, and the aspect is equal to or larger than a predetermined value.
- the third partial approximate curve, the fourth partial approximate curve, and the fifth partial approximate When the degree of coincidence between each of the curves and the third partial outline, the fourth partial outline, and the fifth partial outline is equal to or greater than a predetermined degree, the specifying unit 16 determines the shape of the part of the object. It is a figure which shows the example which specifies that is a 4th shape. In this embodiment, in such a case, the specifying unit 16 specifies that the shape of the neckline of the clothes represented in the image is a square neck.
- a first distance D1 16 and a second distance D2 16 which are distances between the parts are shown.
- the first end portion and the end portion distance WO 16 is the distance between the second end of the contour line LO 16 and the first end of the contour line LO 16 and a second end
- the depth DP 12 which is the longest distance among the distances between the line connecting the two points and the point on the approximate curve LP 16 is shown.
- step S11 the specifying unit 16 determines whether or not both the first distance D1 16 and the second distance D2 16 are less than a predetermined value. In the example shown in FIG. 19, since the first distance D1 16 and the second distance D2 16 are not less than the predetermined value, the process proceeds to step S14.
- step S14 the specifying unit 16 determines whether or not both the first distance D1 16 and the second distance D2 16 are greater than or equal to a predetermined value. In the example shown in FIG. 19, since both the first distance D1 16 and the second distance D2 16 are equal to or greater than a predetermined value, the process proceeds to step S15.
- step S15 the specifying unit 16 determines whether or not the aspect, which is the ratio of the depth to the end-to-end distance, is less than a predetermined value.
- the aspect which is the ratio of the depth to the end-to-end distance
- the process proceeds to step S17.
- step S ⁇ b> 17 the specifying unit 16 performs third partial approximate curves LPA 16 , fourth for the third partial contour line LOA 16 , the fourth partial contour line LOB 16, and the fifth partial contour line LOC 16 . It is determined whether the degree of coincidence between the partial approximate curve LPB 16 and the fifth partial approximate curve LPC 16 is equal to or greater than a predetermined degree.
- Approximate curve calculation unit 12 a contour line LO 16, is divided in two points on the contour line LO 16, to generate a third to fifth subpaths LOA 16, LOB 16, LOC 16 .
- the approximate curve calculation unit 12 generates a partial contour line at a boundary point between a portion that matches the approximate curve LP 16 (a portion where a consensus is established) and a portion that does not match the contour curve LO 16 . Set as a dividing point. Then, then the approximate curve calculation unit 12, third subpaths LOA 16, the third portion trendline LPA 16 approximating the respective fourth subpaths LOB 16 and the fifth subpaths LOC 16 The fourth partial approximate curve LPB 16 and the fifth partial approximate curve LPC 16 are calculated.
- Calculation of the third partial approximate curve LPA 16 based on the third partial contour line LOA 16 , calculation of the fourth partial approximate curve LPB 16 based on the fourth partial contour line LOB 16 , and fifth partial contour line The calculation of the fifth partial approximate curve LPC 16 based on the LOC 16 is performed in the same manner as the calculation process of the approximate curve L P1 based on the contour line L O1 described with reference to FIG.
- the degree of coincidence of each partial approximate curve with respect to each partial outline is performed by calculating a consensus as described with reference to FIG. That is, the ratio of the number of points on the corresponding partial approximate curve among all the points on the partial outline is calculated as a consensus.
- the specifying unit 16 specifies that the shape of the neckline of the clothing represented in the image is a square neck.
- step S17 the third partial approximate curve, the fourth partial approximate curve, and the fifth partial approximate curve are calculated, and a part of the object is determined based on the degree of coincidence with the corresponding partial contour line. Since the shape is specified, it is possible to appropriately estimate the shape of a part of the object whose features appear in the three partial contour lines.
- step S11 it is determined that both the first distance D1 16 and the second distance D2 16 are not less than a predetermined value.
- step S14 both the first distance D1 16 and the second distance D2 16 are predetermined. If it is not determined that the value is equal to or greater than the value, the process proceeds to step S17 if it is determined in step S16 that the central matching degree is equal to or greater than the predetermined level.
- step S17 the third partial approximate curve LPA 16 and the fourth partial approximation for the third partial contour line LOA 16 , the fourth partial contour line LOB 16, and the fifth partial contour line LOC 16 , respectively.
- the specifying unit 16 determines that the shape of the neckline of the clothes represented in the image is a square neck. Identify that there is.
- the predetermined value, the predetermined degree, and the predetermined degree that are compared with various values in each step of FIG. 13 are appropriately designed in accordance with the object whose shape is to be determined.
- a predetermined value or the like may be set by learning using various calculated values of the image in which the shape of a part of the object is determined.
- the shape of the neckline may be specified only by the processing of some of the steps S11 to S20 shown in the flowchart of FIG.
- step S11 and step S12 may be performed to specify the shape of the neckline of the garment as one of a round neck, a V neck, and a square neck. That is, first, in step S11, the specifying unit 16 determines whether or not both the first distance and the second distance are less than a predetermined value. When it is not determined that both the first distance and the second distance are less than the predetermined value, the specifying unit 16 specifies that the shape of the neckline of the clothes is a square neck. On the other hand, when it is determined that both the first distance and the second distance are less than the predetermined value, the process proceeds to step S12.
- step S ⁇ b> 12 the specifying unit 16 determines whether or not the center matching degree is equal to or greater than a predetermined degree. When it is determined that the center coincidence is equal to or higher than the predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes is a round neck. On the other hand, when it is not determined that the central coincidence degree is equal to or higher than the predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes is a V-neck.
- steps S11, S12, S14, S15, and S16 may be performed to specify the shape of the neckline of the clothes as one of a round neck, a V neck, and a square neck. That is, first, in step S11, the specifying unit 16 determines whether or not both the first distance and the second distance are less than a predetermined value. If it is determined that both the first distance and the second distance are less than the predetermined value, the process proceeds to step S12. On the other hand, if it is not determined that both the first distance and the second distance are less than the predetermined value, the process proceeds to step S14.
- step S12 the specifying unit 16 determines whether or not the central matching degree is equal to or higher than a predetermined degree. When it is determined that the center coincidence is equal to or higher than the predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes is a round neck. On the other hand, when it is not determined that the central coincidence degree is equal to or higher than the predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes is a V-neck.
- step S11 the specifying unit 16 determines whether or not both the first distance and the second distance are greater than or equal to a predetermined value. If it is determined that both the first distance and the second distance are greater than or equal to the predetermined value, the process proceeds to step S15. On the other hand, if it is not determined that both the first distance and the second distance are greater than or equal to the predetermined value, the process proceeds to step S16.
- the specifying unit 16 determines whether or not the aspect, which is the ratio of the depth to the end-to-end distance, is less than a predetermined value. When it is determined that the aspect is less than the predetermined value, the specifying unit 16 specifies that the shape of the neckline of the clothes is a round neck. On the other hand, when it is not determined that the aspect is less than the predetermined value, the specifying unit 16 specifies that the shape of the neckline of the clothes is a square neck.
- the specifying unit 16 determines whether or not the center matching degree is equal to or greater than a predetermined degree. When it is determined that the center coincidence is equal to or higher than the predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes is a square neck. On the other hand, when it is not determined that the central coincidence degree is equal to or higher than the predetermined degree, the specifying unit 16 specifies that the shape of the neckline of the clothes is a V-neck.
- the shape discrimination program p1 includes a main module m10, an outline extraction module m11, an approximate curve calculation module m12, a distance calculation module m13, a coincidence degree calculation module m14, an aspect calculation module m15, a specific module m16, and an output module m17.
- the main module m10 is a part that comprehensively controls the shape discrimination processing.
- the functions realized by executing the contour line extraction module m11, the approximate curve calculation module m12, the distance calculation module m13, the coincidence degree calculation module m14, the aspect calculation module m15, the specific module m16, and the output module m17 are shown in FIG.
- the shape discrimination program p1 is provided by a storage medium d1 such as a CD-ROM, DVD-ROM, or semiconductor memory.
- the shape discrimination program p1 may be provided via a communication network as a computer data signal superimposed on a carrier wave.
- an approximate curve approximated to a contour line indicating a part of the contour of the object represented in the image is calculated and approximated.
- First and second distances, which are distances between corresponding ends of the curved line and the contour line, and a central coincidence degree, which is a degree of coincidence between the central part of the contour line and the approximate curve, are calculated.
- the first and second distances and the degree of central coincidence reflect some shape features of the object. Since the shape of a part of the object is specified based on the first and second distances and the degree of central coincidence, it is possible to appropriately estimate the shape of the part of the object.
- the shape identification and discrimination target is the neckline of the clothes, but for example, the lens shape of glasses, the shape of the upper part of the hat, and the like may be targeted.
- SYMBOLS 1 Shape discrimination apparatus, 3 ... Image memory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
形状弁別装置は、輪郭線の近似曲線を算出する近似曲線算出手段であって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出手段と、前記輪郭線の第1及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段と、前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出手段と、前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定手段と、前記特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段と、を備える。
Description
本発明は、形状弁別装置、形状弁別方法及び形状弁別プログラムに関する。
洋服等の商品が表された画像が蓄積されているデータベースから、類似する洋服の画像を検索するシステムが知られている。例えば、特許文献1に記載されたシステムでは、入力された画像全体から特徴情報を抽出し、この特徴情報の類似度が高い画像を類似画像として検索する。
しかしながら、例えば、洋服に例示されるように、全体としては類似していても、ネックラインのような一部の形状が異なる場合に、その形状が類似する画像を抽出することは困難であった。
そこで本発明は、画像に表された物体または物体の一部の形状を適切に推定することを目的とする。
上記課題を解決するために、本発明の一形態に係る形状弁別装置は、輪郭線の近似曲線を算出する近似曲線算出手段であって、輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、近似曲線は、輪郭線に近似する線であって輪郭線を構成する座標に基づいて算出される、近似曲線算出手段と、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段と、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する一致度算出手段と、第1の距離、第2の距離及び中央一致度に基づいて、物体または物体の一部の形状を特定する特定手段と、特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段と、を備える。
本発明の一形態に係る形状弁別方法は、形状弁別装置における形状弁別方法であって、輪郭線の近似曲線を算出する近似曲線算出ステップであって、輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、近似曲線は、輪郭線に近似する線であって輪郭線を構成する座標に基づいて算出される、近似曲線算出ステップと、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出ステップと、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する一致度算出ステップと、第1の距離、第2の距離及び中央一致度に基づいて、物体または物体の一部の形状を特定する特定ステップと、特定ステップにおいて特定された物体または物体の一部の形状に関する情報を出力する出力ステップと、を有する。
本発明の一形態に係る形状弁別プログラムは、コンピュータを、輪郭線の近似曲線を算出する近似曲線算出手段であって、輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、近似曲線は、輪郭線に近似する線であって輪郭線を構成する座標に基づいて算出される、近似曲線算出手段、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する一致度算出手段、第1の距離、第2の距離及び中央一致度に基づいて、物体または物体の一部の形状を特定する特定手段、及び、特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段、として機能させる。
上記の形態によれば、画像に表された物体の輪郭の一部を示す輪郭線に近似された近似曲線が算出され、近似曲線及び輪郭線のそれぞれの対応する端部間の距離である第1及び第2の距離、並びに輪郭線の中央部と近似曲線との一致の度合いである中央一致度が算出される。第1及び第2の距離並びに中央一致度には、物体の一部の形状の特徴が反映される。そして、第1及び第2の距離並びに中央一致度に基づいて物体等の形状が特定されるので、物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、輪郭線の第1の端部と第2の端部との間の距離である端部間距離に対する、第1の端部と第2の端部とを結ぶ線と近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトを算出するアスペクト算出手段を更に備え、特定手段は、第1の距離、第2の距離、中央一致度及びアスペクトに基づいて、物体または物体の一部の形状を特定することとしてもよい。
上記形態によれば、物体の一部の形状が反映されたアスペクトが算出され、第1及び第2の距離並びに中央一致度に加えてアスペクトに基づいて物体または物体の一部の形状が特定されるので、アスペクトに特徴が現れるような物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、近似曲線算出手段は、輪郭線上の点のうち輪郭線の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線を分割した第1の部分輪郭線及び第2の部分輪郭線のそれぞれの近似曲線である、第1の部分近似曲線及び第2の部分近似曲線を算出し、特定手段は、第1の部分近似曲線及び第2の部分近似曲線の傾きを更に用いて、物体または物体の一部の形状を特定することとしてもよい。
上記形態によれば、第1の部分近似曲線及び第2の部分近似曲線が算出され、それらの傾きに基づいて物体の一部の形状が特定されるので、輪郭線における最深点を境界として分割された2つの部分輪郭線の傾きに特徴が現れるような物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、近似曲線算出手段は、輪郭線における近似曲線との一定以上の一致度合いを有する部分の両端部のそれぞれを境界として輪郭線を分割した第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線のそれぞれの近似曲線である、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線を算出し、特定手段は、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いを更に用いて、物体または物体の一部の形状を特定することとしてもよい。
上記形態によれば、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線が算出され、それぞれ対応する部分輪郭線との一致度合いに基づいて物体または物体の一部の形状が特定されるので、3つの部分輪郭線に特徴が現れるような物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、近似曲線算出手段は、輪郭線上の任意の3点に基づいて2次曲線を複数算出し、算出した複数の2次曲線のうち、輪郭線との一致度が最も高い2次曲線を近似曲線として算出することとしてもよい。
上記形態によれば、輪郭線上の3点に基づいて算出された複数の2次曲線のうち、当該輪郭線との一致度が最も高い2次曲線が近似曲線として算出される。これにより、画像から抽出された輪郭線にノイズが含まれる場合であっても、ノイズを含んで算出された2次曲線は近似曲線として採用されないので、物体の一部の形状により精度よく近似された近似曲線を算出することが可能となる。
さらに別の形態に係る形状弁別装置では、物体の一部の形状は、衣服のネックラインの形状であることとしてもよい。
上記形態によれば、衣服の一部の形状であるネックラインの形状を適切に弁別することができる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離が共に所定値未満であり、且つ、中央一致度が所定の度合い以上である場合に、物体または物体の一部の形状が第1の形状であることを特定することとしてもよい。
上記形態によれば、物体または物体の一部の形状が、第1及び第2の距離並びに中央一致度に特徴を有する第1の形状であることを適切に弁別できる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離が共に所定値以上であり、且つ、アスペクトが所定値未満である場合に、物体または物体の一部の形状が第1の形状であることを特定することとしてもよい。
上記形態によれば、物体または物体の一部の形状が、第1及び第2の距離並びにアスペクトに特徴を有する第1の形状であることを適切に弁別できる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離が共に所定値未満であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、物体または物体の一部の形状が第2の形状であることを特定し、第1の距離及び第2の距離の一方が所定値未満であり、他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、物体の一部の形状が第2の形状であることを特定し、第1の距離及び第2の距離の一方が所定値未満であり、他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致していない場合に、物体または物体の一部の形状が第3の形状であることを特定することとしてもよい。
上記形態によれば、第1及び第2の距離、中央一致度及び第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとの一致度に基づいて、物体または物体の一部の形状が、第2の形状または第3の形状を有することを適切に特定できる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離の一方が所定値未満であり、他方が所定値以上であり、中央一致度が所定の度合い以上であり、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上である場合、又は、第1の距離及び第2の距離が共に所定値以上であり、輪郭線の第1の端部と第2の端部との間の距離である端部間距離に対する、第1の端部と第2の端部とを結ぶ線と近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトが所定値以上であり、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上である場合に、物体または物体の一部の形状が第4の形状であることを特定することとしてもよい。
上記形態によれば、物体または物体の一部の形状が、第1及び第2の距離のうち一方が所定値未満であり他方が所定値以上であり、中央一致度が所定の度合い以上であるような特徴を有する第4の形状であることを適切に特定できる。また、物体または物体の一部の形状が、第1及び第2の距離が共に所定値以上であり、アスペクトが所定値以上であるような特徴を有する第4の形状であることを適切に特定できる。さらに、また、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上であることをもって、物体または物体の一部の形状が第4の形状であることが特定されるので、精度よく形状を特定することが可能となる。
本発明の一側面によれば、画像に表された物体または物体の一部の形状を適切に推定することが可能となる。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
図1は、本実施形態に係る形状弁別装置1の機能的構成を示すブロック図である。形状弁別装置1は、画像に表された物体の一部の形状を弁別する装置である。図1に示すように、形状弁別装置1は、画像記憶部3にアクセス可能である。なお、画像記憶部3は、形状弁別装置1内に構成されてもよい。
形状弁別装置1は、例えば、ネットワークを介して販売する商品のユーザからの注文を受け付ける電子商取引サイトの一部として構成される装置であって、販売される衣服等の商品の形状を弁別する。本実施形態の形状弁別装置1は、衣服の形状を弁別する装置である。
図1に示すように、形状弁別装置1は、機能的には、輪郭線抽出部11、近似曲線算出部12(近似曲線算出手段)、距離算出部13(距離算出手段)、一致度算出部14(一致度算出手段)、アスペクト算出部15(アスペクト算出手段)、特定部16(手段)及び出力部17(出力手段)、を備える。
図2は、形状弁別装置1のハードウェア構成図である。形状弁別装置1は、物理的には、図2に示すように、CPU101、RAM及びROMといったメモリにより構成される主記憶装置102、ハードディスク等で構成される補助記憶装置103、ネットワークカード等で構成される通信制御装置104などを含むコンピュータシステムとして構成されている。形状弁別装置1は、入力デバイスであるキーボード、マウス等の入力装置105及びディスプレイ等の出力装置106をさらに含むこととしてもよい。
図1に示した各機能は、図2に示すCPU101、主記憶装置102等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとで通信制御装置104等を動作させるとともに、主記憶装置102や補助記憶装置103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置102や補助記憶装置103内に格納される。
再び図2を参照して、形状弁別装置1の各機能部の説明に先だって、画像記憶部3を説明する。
上述のとおり、形状弁別装置1が衣服の形状を弁別する装置として構成される場合には、画像記憶部3は、衣服が表された画像を複数記憶している。本実施形態では、特に、形状弁別装置1は、衣服のネックラインの形状を弁別する。
再び図2を参照して、形状弁別装置1の各機能部について説明する。輪郭線抽出部11は、衣服が表された画像から、輪郭線を抽出する。輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線である。本実施形態では、輪郭線は、画像に表された衣服のネックラインの輪郭を表す。
図3~図6を参照して、衣服画像から輪郭線を抽出する一連の処理を説明する。図3は、衣服画像から、ネックラインが表された部分の2値化画像を取得する処理を示す図である。まず、輪郭線抽出部11は、処理対象の衣服画像A11を画像記憶部3から取得する。衣服画像A11には、シャツの画像が表されている。続いて、輪郭線抽出部11は、衣服画像A11に対して2値化処理を行い、2値化画像A12を生成する。2値化画像A12では、シャツが表された部分が白色で表され、背景が黒色で表されている。そして、輪郭線抽出部11は、2値化画像A12から、ネックラインが示された部分を含む部分2値化画像A13を抽出する。具体的には、輪郭線抽出部11は、例えば、2値化画像A12における衣服が表された部分のうちの上方の3分の1を含む一定の領域を抽出して、部分2値化画像A13を生成する。
図4は、部分2値化画像A13から、衣服の肩の部分を検出する処理を示す図である。まず、輪郭線抽出部11は、部分2値化画像A13を、図示横方向に分割する。輪郭線抽出部11は、部分2値化画像A13を分割して、縦方向の長さが例えば10ピクセルの分割画像L1~LNを生成する。
続いて、輪郭線抽出部11は、各分割画像を、縦方向10ピクセルに亘る全ての画素が白色である部分を白色画素として、それ以外の部分を黒色画素として、縦方向の長さが1ピクセルのデータに圧縮する。具体的には、輪郭線抽出部11は、分割画像LA1には白色部分WPAが含まれるので、この白色部分WPAに相当する部分を白色画素として、それ以外の部分を黒色画素とした、縦方向の長さが1ピクセルの圧縮分割画像LA2を生成する。また、輪郭線抽出部11は、分割画像LB1には白色部分WPB1,WPB2が含まれるので、これらの白色部分WPB1,WPB2に相当する部分を白色画素として、それ以外の部分を黒色画素とした、縦方向の長さが1ピクセルの圧縮分割画像LB2を生成する。
次に、輪郭線抽出部11は、分割画像L1~LNから生成された圧縮分割画像を上方から順に調べて、1箇所の白色部分WPを含む圧縮分割画像LA2を抽出する。続いて、輪郭線抽出部11は、さらに下方の分割画像を順に調べ、白色部分WPを2箇所含む圧縮分割画像LB2を抽出する。
そして、輪郭線抽出部11は、部分2値化画像A13における圧縮分割画像LA2に対応する位置を、肩部分の一方が表された位置として特定する。また、輪郭線抽出部11は、部分2値化画像A13における圧縮分割画像LB2に対応する位置を、肩部分の他方が表された位置として特定する。そして、輪郭線抽出部11は、特定した肩部分の位置に基づいて、部分2値化画像A13における肩部分SA,SBを特定する。
図5~図6は、画像に表された衣服の両肩部分を結ぶ線の傾きを取得し、衣服画像の傾きを補正する処理を説明する図である。図5は、肩部をより精密に特定する処理を示す図である。輪郭線抽出部11は、画像A31において、図4において説明した処理により特定された肩部分SBに基づいて、衣服が表された白色の部分と衣服が表されていない黒色の部分との境界を図示上方向にトレースし、その境界のうち最も上方の点を肩部分HBとして特定する。
また、輪郭線抽出部11は、肩部分HBから図示水平方向(X方向)に延ばした線と、白色部分及び黒色部分の境界との交点HABを特定し、白色部分と黒色部分との境界を交点HABから肩部分HBと反対の方向にトレースし、画像A32に示すように、境界のうち最も上方の点(Y座標が最大となる点)を肩部分HAとして特定する。そして、衣服の両肩の部分を示す肩部分HA及び肩部分HBを結ぶ線HLが定義される。なお、肩部分HA及び肩部分HBは、輪郭線の一方の端部及び他方の端部となる。即ち、輪郭線は、肩部分HA及び肩部分HBを両端部とする有限の長さの線である。
図6は、衣服画像の傾きを補正する処理を説明する図である。画像A41における線HLを延長した線HL1に示されるように、画像A41に示される衣服は、水平方向の線HHに対して傾いている。輪郭線抽出部11は、画像A41に示される衣服の画像を、線HLが水平方向の線HL1に沿うように、回転させ画像A42を得る。
図7は、輪郭線の抽出及び近似曲線の算出の例を示す図である。輪郭線抽出部11は、画像A51に示すように、肩部分HA及び肩部分HBを両端とするネックラインの輪郭(白色部分及び黒色部分の境界線)を、輪郭線LO1として抽出する。
近似曲線算出部12は、輪郭線の近似曲線を算出する部分である。近似曲線算出部12は、輪郭線を構成する座標に基づいて近似曲線を算出する。以下に、近似曲線の算出処理を具体的に説明する。
まず、近似曲線算出部12は、輪郭線LO1上の任意の3点の座標を取得する。続いて、近似曲線算出部12は、取得した3点の座標に基づいて、最小二乗法により2次曲線を算出する。なお、近似曲線算出部12は、2次曲線の一方及び他方の端部のX座標が、輪郭線の一方及び他方の端部のX座標と等しくなるように、2次曲線を有限の線として算出する。そして、近似曲線算出部12は、算出した2次曲線について、当該2次曲線と輪郭線との一致度を示すコンセンサスを算出する。コンセンサスは、輪郭線を構成する全ての点のうち、2次曲線上に存在する点の割合である。
近似曲線算出部12は、輪郭線LO1上の任意の3点の抽出、及び、2次曲線及びコンセンサスの算出を繰り返し実施し、算出した2次曲線のうち最もコンセンサスが高い2次曲線を、輪郭線LO1の近似曲線LP1として算出する。近似曲線算出部12が算出する2次曲線の数は、予め設定された所定数であってもよいし、所定の処理時間内に算出できる2次曲線の数であってもよい。また、近似曲線算出部12は、輪郭線LO1上から選択しうる3点の全ての組み合わせについて2次曲線を算出することとしてもよい。
このように、輪郭線上の3点に基づいて算出された複数の2次曲線のうち、当該輪郭線との一致度が最も高い2次曲線が近似曲線として算出されるので、画像から抽出された輪郭線にノイズが含まれる場合であっても、ノイズを含んで算出された2次曲線は近似曲線として採用されないので、物体の一部の形状により精度よく近似された近似曲線を算出することが可能となる。
なお、近似曲線算出部12は、輪郭線を線上の1点で分割した2つの部分輪郭線に近似する2つの部分近似曲線を算出してもよい。また、近似曲線算出部12は、輪郭線を線上の2点で分割した3つの部分輪郭線に近似する3つの部分近似曲線を算出してもよい。これらの部分近似曲線の算出については後述する。
距離算出部13は、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する部分である。図8を参照して第1及び第2の距離の算出について説明する。図8に示すように、画像A61に表された衣服の画像において、輪郭線の第1の端部EOL1及び第2の端部EOR1、並びに近似曲線LP2が、輪郭線抽出部11及び近似曲線算出部12により算出されている。近似曲線LP2は、第1の端部EPL1及び第2の端部EPR1を有する。
距離算出部13は、第1の端部EOL1と第1の端部EPL1との距離を第1の距離D1として算出し、第2の端部EOR1と第2の端部EPR1との距離を第2の距離D2として算出する。なお、距離算出部13は、第1の端部EOL1と第1の端部EPL1との距離を深度DP1で除して正規化した値を第1の距離D1として算出し、第2の端部EOR1と第2の端部EPR1との距離を深度DP1で除して正規化した値を第2の距離D2として算出してもよい。深度DP1は、輪郭線の第1の端部EOL1と第1の端部EPL1とを結ぶ線と近似曲線LP2上の点との距離のうち最も長い距離を示す。
一致度算出部14は、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する部分である。図9を参照して、中央一致度の算出について説明する。図9に示される衣服の画像では、輪郭線抽出部11により抽出された輪郭線の中央部CO1、近似曲線算出部12により算出された近似曲線LP3及び近似曲線LP3の中央部CP1が示されている。
一致度算出部14は、輪郭線の中央部CO1と、近似曲線LP3の中央部CP1との間の距離に基づいて、中央一致度を算出する。中央一致度の算出方法は、中央部CO1と中央部CP1との間の距離がゼロであるときに、最も一致の度合いが高いことを示すような指標値となるような方法であればよく、その方法は限定されない。
アスペクト算出部15は、輪郭線の両端部間の距離に対する深度の割合であるアスペクトを算出する部分である。深度は、輪郭線の両端部間を結ぶ線と近似曲線上の点との距離のうち最も長い距離である。図10を参照して、アスペクトの算出について説明する。図10に示される衣服の画像では、輪郭線抽出部11により算出されたネックラインの輪郭線及び近似曲線算出部12により算出された近似曲線LP4が示されている。
アスペクト算出部15は、輪郭線の第1の端部EOL4と第2の端部EOL4との間の距離である端部間距離WO4を算出する。次に、アスペクト算出部15は、第1の端部EOL4と第2の端部EOL4とを結ぶ線と、近似曲線LP4上の点との距離のうち最も長い距離を示す深度DP4を算出する。そして、アスペクト算出部15は、端部間距離WO4に対する深度DP4の割合をアスペクトとして算出する。
なお、本実施形態では、輪郭線の両端部間を結ぶ線と近似曲線上の点との距離のうち最も長い距離を深度としているが、輪郭線の両端部間を結ぶ線と輪郭線上の点との距離のうち最も長い距離を深度としてもよい。また、後述される特定部16による物体の形状の特定においてアスペクトを用いない場合があるので、アスペクト算出部15は、本実施形態の形状弁別装置1に必須の構成要素ではない。
特定部16は、距離算出部13により算出された第1の距離及び第2の距離、並びに前記一致度算出部14により算出された中央一致度に基づいて、物体または物体の一部の形状を特定する部分である。本実施形態では、特定部16は、衣服のネックラインの形状を特定する。
また、特定部16は、アスペクト算出部15により算出されたアスペクトを更に用いて、物体または物体の一部の形状を特定してもよい。形状の特定にアスペクトが用いられることにより、アスペクトに特徴が現れるような物体の一部の形状を適切に推定することが可能となる。なお、特定部16による物体または物体の一部の形状を特定する処理の詳細は後に図13等を参照して詳述する。
さらに、特定部16は、輪郭線抽出部11により抽出された輪郭線と近似曲線算出部12により算出された近似曲線との一致の度合いを示すコンセンサスを更に用いて、物体または物体の一部の形状を特定してもよい。図11を参照して、特定部16によるコンセンサスの算出を説明する。図11には、衣服の画像に基づいて近似曲線算出部12により算出された近似曲線LP5及び輪郭線上の点CO1,CO2,CO3,・・・CONが示されている。
特定部16は、全ての輪郭線上の点CO1,CO2,CO3,・・・CONのうち、近似曲線LP5上にある点の割合をコンセンサスとして算出する。即ち、特定部16は、(輪郭線上の点のうち近似曲線上にある点の数/輪郭線上の点の数)をコンセンサスとして算出する。
また、輪郭線を線上の1点で分割した2つの部分輪郭線に近似する2つの部分近似曲線である第1及び第2の部分近似曲線が近似曲線算出部12により算出された場合に、特定部16は、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致するか否かに基づいて、物体または物体の一部の形状を特定してもよい。これにより、輪郭線における最深点を境界として分割された2つの部分輪郭線の傾きに特徴が現れるような物体の一部の形状を適切に推定することが可能となる。第1及び第2の部分近似曲線の傾きに基づく特定については、後に図13等を参照して説明する。
出力部17は、特定部16により特定された物体または物体の一部の形状に関する情報を出力する。具体的には、出力部17は、画像に表された物体または物体の一部の形状に関する情報を、当該画像の属性として、画像に対応付けて所定の記憶手段(例えば画像記憶部3)に記憶させてもよい。また、出力部17は、画像に表された物体または物体の一部の形状に関する情報を、当該画像に対応付けてディスプレイに表示させるように制御してもよい。また、出力部17は、画像記憶部3に記憶された複数の画像を、画像に表された物体または物体の一部の形状に関する情報に基づいて分類する処理を実施してもよい。
次に、図12を参照して、本実施形態の形状弁別装置1の動作について説明する。図12は、形状弁別装置1において実施される形状弁別方法の処理内容を示すフローチャートである。
まず、輪郭線抽出部11は、物体が表された画像を取得する(S1)。具体的には、輪郭線抽出部11は、衣服が表された画像を画像記憶部3から取得する。次に、輪郭線抽出部11は、物体又は物体の一部の輪郭線を抽出する(S2)。本実施形態では、輪郭線抽出部11は、ステップS1において取得された画像に表された衣服のネックラインの輪郭を輪郭線として抽出する。
続いて、近似曲線算出部12は、ステップS2において抽出された輪郭線の近似曲線を、輪郭線を構成する座標に基づいて算出する(S3)。次に、距離算出部13は、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する(S4)。また、一致度算出部14は、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する(S4)。さらに、アスペクト算出部15は、輪郭線の両端部間の距離に対する深度の割合であるアスペクトを算出してもよい(S4)。
次に、特定部16は、ステップS4において算出された情報に基づいて、物体の一部の形状を特定する処理を実施する(S5)。本実施形態では、特定部16は、衣服のネックラインの形状を特定する。そして、出力部17は、ステップS5において特定された物体の一部の形状に関する情報を出力する(S6)。本実施形態では、出力部17は、衣服のネックラインの形状に関する情報を出力する。
次に、図13及び図14~図19を参照して、図12のフローチャートのステップS5における物体の一部の形状の特定処理を具体的に説明する。図13は、図12のフローチャートのステップS5の特定処理の内容を表すフローチャートである。図14~図19は、形状の弁別の対象である衣服画像の例である。
まず図14を参照しながら、図13のフローチャートの処理を説明する。図14は、第1の距離及び第2の距離が共に所定値未満であり、且つ、中央一致度が所定の度合い以上である場合に、特定部16が、物体の一部の形状が第1の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がラウンドネックであることを特定する。
図14に示す衣服画像では、輪郭線LO11及び近似曲線LP11が示され、更に、輪郭線LO11の第1及び第2の端部のそれぞれと対応する近似曲線LP11の第1及び第2の端部との間の距離である第1の距離D111及び第2の距離D211が示されている。
ステップS11において、特定部16は、第1の距離D111及び第2の距離D211が共に所定値未満であるか否かを判定する。第1の距離D111及び第2の距離D211が共に所定値未満であると判定された場合には処理はステップS12に進む。一方、第1の距離D111及び第2の距離D211が共に所定値未満であると判定なかった場合には処理はステップS14に進む。図14に示す例では、第1の距離D111及び第2の距離D211が共に所定値未満であるので、処理はステップS12に進む。
ステップS12において、特定部16は、輪郭線LO11の中央部CO11と、近似曲線LP11の中央部CP11との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、処理はステップS13に進む。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、処理はステップS18に進む。図14に示す例では、中央部CO11と中央部CP11とはほぼ一致しており、中央一致度は所定の度合い以上であるので、処理はステップS13に進む。
ステップS13において、特定部16は、近似曲線LP11の輪郭線LO11に対する一致度であるコンセンサスが所定の度合い以上であるか否かを判定する。コンセンサスが所定の度合い以上であると判定された場合には、画像に表された衣服のネックラインの形状がラウンドネックであることを特定する。一方、コンセンサスが所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。図14に示す例では、近似曲線LP11の輪郭線LO11に対するコンセンサスは所定の度合い以上であるので、特定部16は、図14に示す衣服のネックラインの形状がラウンドネックであることを特定する。
次に、図15を参照しながら、図13のフローチャートの処理を説明する。図15は、第1の距離及び第2の距離が共に所定値以上であり、且つ、アスペクトが所定値未満である場合に、特定部16が、物体の一部の形状が第1の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がラウンドネックであることを特定する。
図15に示す衣服画像では、輪郭線LO12及び近似曲線LP12、並びに、輪郭線LO12の第1及び第2の端部のそれぞれと対応する近似曲線LP12の第1及び第2の端部との間の距離である第1の距離D112及び第2の距離D212が示されている。さらに、輪郭線LO12の第1の端部と第2の端部との間の距離である端部間距離WO12、及び、輪郭線LO12の第1の端部と第2の端部とを結ぶ線と近似曲線LP12上の点との距離のうち最も長い距離である深度DP12が示されている。
ステップS11において、特定部16は、第1の距離D112及び第2の距離D212が共に所定値未満であるか否かを判定する。図15に示す例では、第1の距離D112及び第2の距離D212が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D112及び第2の距離D212が共に所定値以上であるか否かを判定する。第1の距離D112及び第2の距離D212が共に所定値以上であると判定された場合には処理はステップS15に進む。一方、第1の距離D112及び第2の距離D212が共に所定値以上であると判定されなかった場合には処理はステップS16に進む。図15に示す例では、第1の距離D111及び第2の距離D211が共に所定値以上であるので、処理はステップS15に進む。
ステップS15において、特定部16は、端部間距離に対する深度の割合であるアスペクトが所定値未満であるか否かを判定する。アスペクトが所定値未満であると判定された場合に処理はステップS13に進む。一方、アスペクトが所定値未満であると判定されなかった場合に処理はステップS17に進む。図15に示す例では、端部間距離WO12に対する深度DP12の割合として算出されるアスペクトが所定値未満であるので、処理はステップS13に進む。
ステップS13において、特定部16は、近似曲線LP12の輪郭線LO12に対する一致度であるコンセンサスが所定の度合い以上であるか否かを判定する。図15に示す例では、近似曲線LP12の輪郭線LO12に対するコンセンサスは所定の度合い以上であるので、特定部16は、図15に示す衣服のネックラインの形状がラウンドネックであることを特定する。
次に、図16を参照しながら、図13のフローチャートの処理を説明する。図16は、第1の距離及び第2の距離が共に所定値未満であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、特定部16が、物体の一部の形状が第2の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がVネックであることを特定する。
図16に示す衣服画像では、輪郭線LO13及び近似曲線LP13、並びに、輪郭線LO13の第1及び第2の端部のそれぞれと対応する近似曲線LP13の第1及び第2の端部との間の距離である第1の距離D113及び第2の距離D213が示されている。また、輪郭線LO13上の点のうち輪郭線LO13の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO13を分割した第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13が示されている。さらに、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14のそれぞれの近似曲線である第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13が示されている。
ステップS11において、特定部16は、第1の距離D113及び第2の距離D213が共に所定値未満であるか否かを判定する。図16に示す例では、第1の距離D113及び第2の距離D213が共に所定値未満であるので、処理はステップS12に進む。
ステップS12において、特定部16は、輪郭線LO13の中央部CO13と、近似曲線LP13の中央部CP13との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。図16に示す例では、中央部CO13と中央部CP13とは一致しておらず、中央一致度は所定の度合い以上ではないので、処理はステップS18に進む。
ステップS18において、特定部16は、第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致しているか否かを判定する。
近似曲線算出部12は、輪郭線LO13上の点のうち輪郭線LO13の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO13を分割した第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13を算出する。そして、近似曲線算出部12は、第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13のそれぞれに近似する第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13を算出する。第1の部分輪郭線LOA13に基づく第1の部分近似曲線LPA13の算出、及び、第2の部分輪郭線LOB13に基づく第1の部分近似曲線LPB13の算出は、図7を参照して説明した輪郭線LO1に基づく近似曲線LP1の算出処理と同様に行われる。
部分近似曲線の傾きの比較は、第1及び第2の部分近似曲線の一方を、縦方向の直線を軸として反転させて行われる。即ち、第1及び第2の部分近似曲線の傾きが所定の程度以上一致していることをもって、ネックラインの形状が、縦方向の直線を対称軸として線対称であることが判定される。
第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致していると判定された場合に処理はステップS19に進む。一方、第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致していると判定されなかった場合に処理はステップS20に進む。図16に示す例では、第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致しているので、処理はステップS19に進む。
ステップS19において、特定部16は、第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13のそれぞれの、第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13に対する一致度が所定の度合い以上であるか否かを判定する。部分輪郭線に対する部分近似曲線の一致の度合いは、図11を参照して説明したように、コンセンサスを算出することにより行われる。即ち、部分輪郭線上の全ての点のうち、対応する部分近似曲線上にある点の数の割合をコンセンサスとして算出する。
第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定された場合には、画像に表された衣服のネックラインの形状がVネックであることを特定する。一方、第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。
図16に示す例では、第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13のそれぞれに対する、第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13の一致度が所定の程度以上であるので、特定部16は、図16に示す衣服のネックラインの形状がVネックであることを特定する。
次に、図17を参照しながら、図13のフローチャートの処理を説明する。図17は、第1の距離及び第2の距離の一方が所定値未満であり他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、特定部16が、物体の一部の形状が第2の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がVネックであることを特定する。
図17に示す衣服画像では、輪郭線LO14及び近似曲線LP14、並びに、輪郭線LO14の第1及び第2の端部のそれぞれと対応する近似曲線LP14の第1及び第2の端部との間の距離である第1の距離D114及び第2の距離D214が示されている。また、輪郭線LO14上の点のうち輪郭線LO14の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO14を分割した第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14が示されている。さらに、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14のそれぞれの近似曲線である第1の部分近似曲線LPA14及び第2の部分近似曲線LPB14が示されている。
ステップS11において、特定部16は、第1の距離D114及び第2の距離D214が共に所定値未満であるか否かを判定する。図17に示す例では、第1の距離D114及び第2の距離D214が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D114及び第2の距離D214が共に所定値以上であるか否かを判定する。図17に示す例では、第1の距離D114が所定値以上であり第2の距離D214が所定値未満であるので、処理はステップS16に進む。
ステップS16において、特定部16は、輪郭線LO14の中央部CO14と、近似曲線LP14の中央部CP14との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。図17に示す例では、中央部CO14と中央部CP14とは一致しておらず、中央一致度は所定の度合い以上ではないので、処理はステップS18に進む。
ステップS18において、特定部16は、第1の部分近似曲線LPA14の傾きと第2の部分近似曲線LPB14の傾きとが所定の程度以上一致しているか否かを判定する。図17に示す例では、第1の部分近似曲線LPA14の傾きと第2の部分近似曲線LPB14の傾きとが所定の程度以上一致しているので、処理はステップS19に進む。
ステップS19において、特定部16は、第1の部分近似曲線LPA14及び第2の部分近似曲線LPB14のそれぞれの、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14に対する一致度が所定の度合い以上であるか否かを判定する。図17に示す例では、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14のそれぞれに対する、第1の部分近似曲線LPA14及び第2の部分近似曲線LPB14の一致度が所定の程度以上であるので、特定部16は、図17に示す衣服のネックラインの形状がVネックであることを特定する。
次に、図18を参照しながら、図13のフローチャートの処理を説明する。図18は、第1の距離及び第2の距離の一方が所定値未満であり他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致していない場合に、特定部16が、物体の一部の形状が第3の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状が、左右非対称のアシンメトリーネックであることを特定する。
図18に示す衣服画像では、輪郭線LO15及び近似曲線LP15、並びに、輪郭線LO15の第1及び第2の端部のそれぞれと対応する近似曲線LP15の第1及び第2の端部との間の距離である第1の距離D115及び第2の距離D215が示されている。また、輪郭線LO15上の点のうち輪郭線LO15の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO15を分割した第1の部分輪郭線LOA15及び第2の部分輪郭線LOB15が示されている。さらに、第1の部分輪郭線LOA15及び第2の部分輪郭線LOB15のそれぞれの近似曲線である第1の部分近似曲線LPA15及び第2の部分近似曲線LPB15が示されている。
ステップS11において、特定部16は、第1の距離D115及び第2の距離D215が共に所定値未満であるか否かを判定する。図18に示す例では、第1の距離D115及び第2の距離D215が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D115及び第2の距離D215が共に所定値以上であるか否かを判定する。図18に示す例では、第1の距離D115が所定値未満であり第2の距離D215が所定値以上であるので、処理はステップS16に進む。
ステップS16において、特定部16は、輪郭線LO15の中央部CO15と、近似曲線LP15の中央部CP15との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。図18に示す例では、中央部CO15と中央部CP15とは一致しておらず、中央一致度は所定の度合い以上ではないので、処理はステップS18に進む。
ステップS18において、特定部16は、第1の部分近似曲線LPA15の傾きと第2の部分近似曲線LPB15の傾きとが所定の程度以上一致しているか否かを判定する。図18に示す例では、第1の部分近似曲線LPA15の傾きと第2の部分近似曲線LPB15の傾きとが所定の程度以上一致していないので、処理はステップS20に進む。
ステップS20において、特定部16は、第1の部分近似曲線及び第2の部分近似曲線のそれぞれの、第1の部分輪郭線及び第2の部分輪郭線に対する一致度が所定の度合い以上であるか否かを判定する。第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定された場合には、画像に表された衣服のネックラインの形状がアシンメトリーネックであることを特定する。一方、第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。
図18に示す例では、第1の部分輪郭線LOA15及び第2の部分輪郭線LOB15のそれぞれに対する、第1の部分近似曲線LPA15及び第2の部分近似曲線LPB15の一致度が所定の程度以上であるので、特定部16は、図17に示す衣服のネックラインの形状がアシンメトリーネックであることを特定する。
次に、図19を参照しながら、図13のフローチャートの処理を説明する。図19は、第1の距離及び第2の距離が共に所定値以上であり、且つ、アスペクトが所定値以上であり、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上である場合に、特定部16が、物体の一部の形状が第4の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がスクエアネックであることを特定する。
図19に示す衣服画像では、輪郭線LO16及び近似曲線LP16、並びに、輪郭線LO16の第1及び第2の端部のそれぞれと対応する近似曲線LP16の第1及び第2の端部との間の距離である第1の距離D116及び第2の距離D216が示されている。さらに、輪郭線LO16の第1の端部と第2の端部との間の距離である端部間距離WO16、及び、輪郭線LO16の第1の端部と第2の端部とを結ぶ線と近似曲線LP16上の点との距離のうち最も長い距離である深度DP12が示されている。
ステップS11において、特定部16は、第1の距離D116及び第2の距離D216が共に所定値未満であるか否かを判定する。図19に示す例では、第1の距離D116及び第2の距離D216が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D116及び第2の距離D216が共に所定値以上であるか否かを判定する。図19に示す例では、第1の距離D116及び第2の距離D216が共に所定値以上であるので、処理はステップS15に進む。
ステップS15において、特定部16は、端部間距離に対する深度の割合であるアスペクトが所定値未満であるか否かを判定する。図19に示す例では、端部間距離WO16に対する深度DP16の割合として算出されるアスペクトが所定値以上であるので、処理はステップS17に進む。
ステップS17において、特定部16は、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であるか否かを判定する。
近似曲線算出部12は、輪郭線LO16を、輪郭線LO16上の2点で分割して、第3~第5の部分輪郭線LOA16,LOB16,LOC16を生成する。近似曲線算出部12は、輪郭線LO16における、近似曲線LP16と一致している部分(コンセンサスが成立している部分)と一致していない部分との境界点を、部分輪郭線を生成するための分割点として設定する。そして、そして、近似曲線算出部12は、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに近似する第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16を算出する。第3の部分輪郭線LOA16に基づく第3の部分近似曲線LPA16の算出、第4の部分輪郭線LOB16に基づく第4の部分近似曲線LPB16の算出、及び、第5の部分輪郭線LOC16に基づく第5の部分近似曲線LPC16の算出は、図7を参照して説明した輪郭線LO1に基づく近似曲線LP1の算出処理と同様に行われる。
各部分輪郭線に対する各部分近似曲線の一致の度合いは、図11を参照して説明したように、コンセンサスを算出することにより行われる。即ち、部分輪郭線上の全ての点のうち、対応する部分近似曲線上にある点の数の割合をコンセンサスとして算出する。
第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であると判定された場合には、特定部16は、画像に表された衣服のネックラインの形状がスクエアネックであることを特定する。一方、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。
このように、ステップS17では、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線が算出され、それぞれ対応する部分輪郭線との一致度合いに基づいて物体の一部の形状が特定されるので、3つの部分輪郭線に特徴が現れるような物体の一部の形状を適切に推定することが可能となる。
なお、ステップS11において、第1の距離D116及び第2の距離D216が共に所定値未満ではないと判定され、ステップS14において、第1の距離D116及び第2の距離D216が共に所定値以上であると判定されなかった場合に、ステップS16において、中央一致度が所定の度合い以上であると判定された場合にも、処理はステップS17に進む。そして、ステップS17において、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であると判定された場合には、特定部16は、画像に表された衣服のネックラインの形状がスクエアネックであることを特定する。
なお、図13の各ステップにおいて種々の値と比較される所定値、所定の度合い及び所定の程度は、形状が判定される対象に応じて、適宜設計的に設定される。物体の一部の形状が判定された画像の各種の算出値を用いて学習することにより、所定値等を設定することとしてもよい。
なお、図13のフローチャートに示したステップS11~S20のうち一部のステップの処理のみによりネックラインの形状を特定することとしてもよい。
例えば、ステップS11及びステップS12の処理のみを実施して衣服のネックラインの形状をラウンドネック、Vネック及びスクエアネックのいずれかに特定してもよい。即ち、まずステップS11において、特定部16は、第1の距離及び第2の距離が共に所定値未満であるか否かを判定する。第1の距離及び第2の距離が共に所定値未満であると判定されなかった場合に、特定部16は、衣服のネックラインの形状がスクエアネックであることを特定する。一方、第1の距離及び第2の距離が共に所定値未満であると判定された場合に、処理はステップS12に進む。ステップS12において、特定部16は、中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、特定部16は、衣服のネックラインの形状がラウンドネックであることを特定する。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がVネックであることを特定する。
また、ステップS11,S12,S14,S15,S16の処理のみを実施して衣服のネックラインの形状をラウンドネック、Vネック及びスクエアネックのいずれかに特定してもよい。即ち、まずステップS11において、特定部16は、第1の距離及び第2の距離が共に所定値未満であるか否かを判定する。第1の距離及び第2の距離が共に所定値未満であると判定された場合に、処理はステップS12に進む。一方、第1の距離及び第2の距離が共に所定値未満であると判定されなかった場合に、処理はステップS14に進む。
ステップS12において、特定部16は、中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、特定部16は、衣服のネックラインの形状がラウンドネックであることを特定する。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がVネックであることを特定する。
ステップS11からステップS14に処理が進められると、特定部16は、第1の距離及び第2の距離が共に所定値以上であるか否かを判定する。第1の距離及び第2の距離が共に所定値以上であると判定された場合には処理はステップS15に進む。一方、第1の距離及び第2の距離が共に所定値以上であると判定されなかった場合には処理はステップS16に進む。
ステップS14からステップS15に処理が進められると、特定部16は、端部間距離に対する深度の割合であるアスペクトが所定値未満であるか否かを判定する。アスペクトが所定値未満であると判定された場合には、特定部16は、衣服のネックラインの形状がラウンドネックであることを特定する。一方、アスペクトが所定値未満であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がスクエアネックであることを特定する。
ステップS14からステップS16に処理が進められると、特定部16は、中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、特定部16は、衣服のネックラインの形状がスクエアネックであることを特定する。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がVネックであることを特定する。
次に、図20を参照して、コンピュータを形状弁別装置1として機能させるための形状弁別プログラムを説明する。形状弁別プログラムp1は、メインモジュールm10、輪郭線抽出モジュールm11、近似曲線算出モジュールm12、距離算出モジュールm13、一致度算出モジュールm14、アスペクト算出モジュールm15、特定モジュールm16及び出力モジュールm17を備える。
メインモジュールm10は、形状弁別処理を統括的に制御する部分である。輪郭線抽出モジュールm11、近似曲線算出モジュールm12、距離算出モジュールm13、一致度算出モジュールm14、アスペクト算出モジュールm15、特定モジュールm16及び出力モジュールm17を実行することにより実現される機能はそれぞれ、図1に示される形状弁別装置1の輪郭線抽出部11、近似曲線算出部12、距離算出部13、一致度算出部14、アスペクト算出部15、特定部16及び出力部17の機能と同様である。
形状弁別プログラムp1は、例えば、CD-ROMやDVD-ROMまたは半導体メモリ等の記憶媒体d1によって提供される。また、形状弁別プログラムp1は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
以上説明した本実施形態の形状弁別装置1、形状弁別方法及び形状弁別プログラムp1によれば、画像に表された物体の輪郭の一部を示す輪郭線に近似された近似曲線が算出され、近似曲線及び輪郭線のそれぞれの対応する端部間の距離である第1及び第2の距離、並びに輪郭線の中央部と近似曲線との一致の度合いである中央一致度が算出される。第1及び第2の距離並びに中央一致度には、物体の一部の形状の特徴が反映される。そして、第1及び第2の距離並びに中央一致度に基づいて物体の一部の形状が特定されるので、物体の一部の形状を適切に推定することが可能となる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
本実施形態では、形状の特定及び弁別の対象を衣服のネックラインとしているが、例えば、眼鏡のレンズ形状、帽子上部の形状等を対象としてもよい。
1…形状弁別装置、3…画像記憶部、10…縦方向、11…輪郭線抽出部、12…近似曲線算出部、13…距離算出部、14…一致度算出部、15…アスペクト算出部、16…特定部、17…出力部、d1…記憶媒体、p1…形状弁別プログラム、m10…メインモジュール、m11…輪郭線抽出モジュール、m12…近似曲線算出モジュール、m13…距離算出モジュール、m14…一致度算出モジュール、m15…アスペクト算出モジュール、m16…特定モジュール、m17…出力モジュール、p1…形状弁別プログラム。
Claims (12)
- 輪郭線の近似曲線を算出する近似曲線算出手段であって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出手段と、
前記輪郭線の第1の端部及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段と、
前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出手段と、
前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定手段と、
前記特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段と、
を備える形状弁別装置。 - 前記輪郭線の前記第1の端部と前記第2の端部との間の距離である端部間距離に対する、前記第1の端部と前記第2の端部とを結ぶ線と前記近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトを算出するアスペクト算出手段を更に備え、
前記特定手段は、前記第1の距離、前記第2の距離、前記中央一致度及び前記アスペクトに基づいて、前記物体または前記物体の一部の形状を特定する、
請求項1に記載の形状弁別装置。 - 前記近似曲線算出手段は、前記輪郭線上の点のうち前記輪郭線の前記第1の端部と前記第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として前記輪郭線を分割した第1の部分輪郭線及び第2の部分輪郭線のそれぞれの近似曲線である、第1の部分近似曲線及び第2の部分近似曲線を算出し、
前記特定手段は、前記第1の部分近似曲線及び前記第2の部分近似曲線の傾きを更に用いて、前記物体または前記物体の一部の形状を特定する、
請求項1または2に記載の形状弁別装置。 - 前記近似曲線算出手段は、前記輪郭線における前記近似曲線との一定以上の一致度合いを有する部分の両端部のそれぞれを境界として前記輪郭線を分割した第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線のそれぞれの近似曲線である、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線を算出し、
前記特定手段は、前記第3の部分近似曲線、前記第4の部分近似曲線及び前記第5の部分近似曲線のそれぞれと、前記第3の部分輪郭線、前記第4の部分輪郭線及び前記第5の部分輪郭線との一致度合いを更に用いて、前記物体または前記物体の一部の形状を特定する、
請求項1~3のいずれか一項に記載の形状弁別装置。 - 前記近似曲線算出手段は、前記輪郭線上の任意の3点に基づいて2次曲線を複数算出し、算出した複数の2次曲線のうち、前記輪郭線との一致度が最も高い2次曲線を近似曲線として算出する、
請求項1~4のいずれか一項に記載の形状弁別装置。 - 前記物体の一部の形状は、衣服のネックラインの形状である、
請求項1~5のいずれか一項に記載の形状弁別装置。 - 前記特定手段は、前記第1の距離及び前記第2の距離が共に所定値未満であり、且つ、前記中央一致度が所定の度合い以上である場合に、前記物体または前記物体の一部の形状が第1の形状であることを特定する、
請求項1に記載の形状弁別装置。 - 前記特定手段は、前記第1の距離及び前記第2の距離が共に所定値以上であり、且つ、前記アスペクトが所定値未満である場合に、前記物体または前記物体の一部の形状が第1の形状であることを特定する、
請求項2に記載の形状弁別装置。 - 前記特定手段は、
前記第1の距離及び前記第2の距離が共に所定値未満であり、前記中央一致度が所定の度合い未満であり、前記第1の部分近似曲線の傾きと前記第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、前記物体または前記物体の一部の形状が第2の形状であることを特定し、
前記第1の距離及び前記第2の距離の一方が所定値未満であり、他方が所定値以上であり、前記中央一致度が所定の度合い未満であり、前記第1の部分近似曲線の傾きと前記第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、前記物体または前記物体の一部の形状が第2の形状であることを特定し、
前記第1の距離及び前記第2の距離の一方が所定値未満であり、他方が所定値以上であり、前記中央一致度が所定の度合い未満であり、前記第1の部分近似曲線の傾きと前記第2の部分近似曲線の傾きとが所定の程度以上一致していない場合に、前記物体または前記物体の一部の形状が第3の形状であることを特定する、
請求項3に記載の形状弁別装置。 - 前記特定手段は、
前記第1の距離及び前記第2の距離の一方が所定値未満であり、他方が所定値以上であり、前記中央一致度が所定の度合い以上であり、前記第3の部分近似曲線、前記第4の部分近似曲線及び前記第5の部分近似曲線のそれぞれと、前記第3の部分輪郭線、前記第4の部分輪郭線及び前記第5の部分輪郭線との一致度合いが所定の度合い以上である場合、
又は、
前記第1の距離及び前記第2の距離が共に所定値以上であり、前記輪郭線の前記第1の端部と前記第2の端部との間の距離である端部間距離に対する、前記第1の端部と前記第2の端部とを結ぶ線と前記近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトが所定値以上であり、前記第3の部分近似曲線、前記第4の部分近似曲線及び前記第5の部分近似曲線のそれぞれと、前記第3の部分輪郭線、前記第4の部分輪郭線及び前記第5の部分輪郭線との一致度合いが所定の度合い以上である場合に、
前記物体または前記物体の一部の形状が第4の形状であることを特定する、
請求項4に記載の形状弁別装置。 - 形状弁別装置における形状弁別方法であって、
輪郭線の近似曲線を算出する近似曲線算出ステップであって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出ステップと、
前記輪郭線の第1及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出ステップと、
前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出ステップと、
前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定ステップと、
前記特定ステップにおいて特定された物体または物体の一部の形状に関する情報を出力する出力ステップと、
を有する形状弁別方法。 - コンピュータを、
輪郭線の近似曲線を算出する近似曲線算出手段であって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出手段、
前記輪郭線の第1及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段、
前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出手段、
前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定手段、及び、
前記特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段、
として機能させる形状弁別プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/062,376 US10760899B2 (en) | 2015-12-25 | 2015-12-25 | Shape discrimination device, shape discrimination method and shape discrimination program |
JP2017523561A JP6204634B1 (ja) | 2015-12-25 | 2015-12-25 | 形状弁別装置、形状弁別方法及び形状弁別プログラム |
PCT/JP2015/086270 WO2017109946A1 (ja) | 2015-12-25 | 2015-12-25 | 形状弁別装置、形状弁別方法及び形状弁別プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/086270 WO2017109946A1 (ja) | 2015-12-25 | 2015-12-25 | 形状弁別装置、形状弁別方法及び形状弁別プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017109946A1 true WO2017109946A1 (ja) | 2017-06-29 |
Family
ID=59089784
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/086270 WO2017109946A1 (ja) | 2015-12-25 | 2015-12-25 | 形状弁別装置、形状弁別方法及び形状弁別プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10760899B2 (ja) |
JP (1) | JP6204634B1 (ja) |
WO (1) | WO2017109946A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3467769A4 (en) * | 2016-05-27 | 2019-11-13 | Rakuten, Inc. | PICTURE PROCESSING DEVICE, PICTURE PROCESSING METHOD AND PICTURE PROCESSING PROGRAM |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02110307A (ja) * | 1988-01-12 | 1990-04-23 | Lester Polytechnic | 物品を測定するための方法 |
JP2005319080A (ja) * | 2004-05-10 | 2005-11-17 | Aloka Co Ltd | 超音波診断装置 |
JP2007127610A (ja) * | 2005-11-07 | 2007-05-24 | Daihatsu Motor Co Ltd | 形状認識装置及び歪評価装置 |
JP2012199832A (ja) * | 2011-03-22 | 2012-10-18 | Seiko Epson Corp | プロファイル作成方法、プロファイル作成プログラムおよび印刷装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006234494A (ja) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | 物体認識装置 |
JP2010262425A (ja) * | 2009-05-01 | 2010-11-18 | Palo Alto Research Center Inc | 衣服を認識および分類するためのコンピュータ実行方法 |
WO2011004640A1 (ja) * | 2009-07-09 | 2011-01-13 | コニカミノルタエムジー株式会社 | 輪郭抽出装置およびプログラム |
JP4792521B2 (ja) * | 2009-12-15 | 2011-10-12 | 株式会社アイ.エス.テイ | 布製品識別装置および布製品把持システム |
EP3748567A1 (en) | 2009-12-24 | 2020-12-09 | Nikon Corporation | Retrieval support system, retrieval support method, and retrieval support program |
-
2015
- 2015-12-25 JP JP2017523561A patent/JP6204634B1/ja active Active
- 2015-12-25 US US16/062,376 patent/US10760899B2/en active Active
- 2015-12-25 WO PCT/JP2015/086270 patent/WO2017109946A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02110307A (ja) * | 1988-01-12 | 1990-04-23 | Lester Polytechnic | 物品を測定するための方法 |
JP2005319080A (ja) * | 2004-05-10 | 2005-11-17 | Aloka Co Ltd | 超音波診断装置 |
JP2007127610A (ja) * | 2005-11-07 | 2007-05-24 | Daihatsu Motor Co Ltd | 形状認識装置及び歪評価装置 |
JP2012199832A (ja) * | 2011-03-22 | 2012-10-18 | Seiko Epson Corp | プロファイル作成方法、プロファイル作成プログラムおよび印刷装置 |
Also Published As
Publication number | Publication date |
---|---|
US10760899B2 (en) | 2020-09-01 |
JPWO2017109946A1 (ja) | 2017-12-21 |
JP6204634B1 (ja) | 2017-09-27 |
US20190003827A1 (en) | 2019-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5298831B2 (ja) | 画像処理装置及びプログラム | |
TW201437925A (zh) | 物體識別裝置、方法及電腦程式產品 | |
US9390310B2 (en) | Striped pattern image examination support device, striped pattern image examination support method and program | |
US11816923B2 (en) | Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium | |
JP7183753B2 (ja) | リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム | |
JP7231877B1 (ja) | 角度計測装置、角度計測方法、角度計測プログラム | |
JP5469532B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
CN113095187A (zh) | 一种基于图像特征匹配对齐的试卷批改方法 | |
CN112017352A (zh) | 证件鉴伪方法、装置、设备及可读存储介质 | |
JP6541226B2 (ja) | 情報端末装置及びプログラム | |
JP6628336B2 (ja) | 情報処理システム | |
JP6204634B1 (ja) | 形状弁別装置、形状弁別方法及び形状弁別プログラム | |
US20230410361A1 (en) | Image processing system, processing method, and non-transitory storage medium | |
JP6591257B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2785776B2 (ja) | 図形整形装置 | |
JP7231165B2 (ja) | 検証システム | |
JP2845269B2 (ja) | 図形整形装置および図形整形方法 | |
JP6542407B1 (ja) | 読取システム、読取方法、プログラム、及び記憶媒体 | |
JP6092012B2 (ja) | 物体識別システムおよび物体識別方法 | |
JPH08227457A (ja) | 線対称図形整形装置 | |
JP2020021520A (ja) | 情報処理システム | |
JP6717769B2 (ja) | 情報処理装置及びプログラム | |
US10878229B2 (en) | Shape discrimination device, shape discrimination method and shape discrimination program | |
US20230215135A1 (en) | Image processing apparatus, image processing method, and non-transitory storage medium | |
JP6852359B2 (ja) | 画像処理装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2017523561 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15911383 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15911383 Country of ref document: EP Kind code of ref document: A1 |