WO2019135524A1 - 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법 - Google Patents

그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법 Download PDF

Info

Publication number
WO2019135524A1
WO2019135524A1 PCT/KR2018/016382 KR2018016382W WO2019135524A1 WO 2019135524 A1 WO2019135524 A1 WO 2019135524A1 KR 2018016382 W KR2018016382 W KR 2018016382W WO 2019135524 A1 WO2019135524 A1 WO 2019135524A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
multiplier
gradient
profile
blur
Prior art date
Application number
PCT/KR2018/016382
Other languages
English (en)
French (fr)
Inventor
서수영
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to US16/959,527 priority Critical patent/US11348251B2/en
Publication of WO2019135524A1 publication Critical patent/WO2019135524A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Definitions

  • the present invention relates to an edge positioning apparatus and method, and more particularly, to a method and apparatus for edge position determination using a subpixel (subpixel)
  • the present invention relates to an apparatus and method for determining an edge position.
  • an edge represents a boundary of an object whose brightness value changes abruptly.
  • Edge detection and positioning is an essential procedure for extracting and recognizing objects from an image. In order to precisely measure the object shape, it is necessary to determine the edge position with the sub-pixel accuracy. This is because accurate modeling of objects is important in industries that support high-precision products, but the accuracy of the limited edge determination methods on a pixel-by-pixel basis can not model the shape of the object with sufficient accuracy.
  • the edge positioning method of the two-dimensional method has a problem in that the computation throughput increases and the computation time increases as the kernel size increases.
  • An object of the present invention is to provide an edge position determining apparatus and method capable of quickly and accurately determining an edge position of an edge profile with the accuracy of a subpixel with a small amount of calculation.
  • An edge positioning method includes determining a multiplier to be applied to a gradient of the edge profile for determination of an edge position, based on an edge width of an edge profile in an image; Generating a gradient by calculating a difference value between adjacent pixel values of the edge profile; And determining the edge position by applying the multiplier determined based on the edge width to the gradient.
  • the step of determining the multiplier may include determining the multiplier corresponding to the edge width based on a correspondence relationship between a preset edge width and a multiplier.
  • the step of determining the multiplier includes determining the multiplier corresponding to a kernel size of the edge profile and the edge width based on a preset kernel size, a correspondence relationship between an edge width and a multiplier .
  • the edge position determination method includes: calculating a propagation of an error by a multiplier for predetermined edge profiles having various edge widths; And calculating a correspondence between the edge width and the multiplier by determining a multiplier having a minimum propagation of the error.
  • calculating the propagation of the error comprises: for each of the edge profiles having various blur values, calculating a gradient vector between adjacent pixel values; Generating a weight vector to be applied to an edge profile for each multiplier applied to the gradient; Generating a partial differential of an edge position with respect to the weight vector for each multiplier based on the weight vector; Generating a partial differential for the gradient of the weight vector for each multiplier based on the gradient; Generating a variance of the gradient vector based on a standard deviation of an error of each of the edge profiles; Based on the variance of the gradient, the partial differential of the edge position with respect to the weight vector, the partial derivative of the weight vector with respect to the gradient, and the difference between the edge position predicted for each multiplier and the actual edge position, And calculating a propagation of the radio wave.
  • the step of calculating the correspondence between the edge width and the multiplier comprises the steps of: determining a multiplier with the minimum propagation of the error for each of the various blur values and calculating a corresponding relationship between the blur and the multiplier; Computing a corresponding relationship between the blur and edge widths of the edge profiles; And associating the edge width directly to a multiplier based on a corresponding relationship between the blur and a multiplier and a corresponding relationship between the blur and edge width.
  • the partial differential of the edge position with respect to the weight vector can be calculated according to the following equation (1).
  • x is a vector
  • x i represents the section coordinates of the edge profiles is an intermediate coordinate value
  • w i is the weight value of the i-th period of the weight vector of the i th section of the edge profile
  • n is the edge profiles Lt; / RTI >
  • the partial derivative of the weight vector with respect to the gradient can be calculated according to the following equation (2).
  • Equation 2 w is the weight vector, g is the gradient, and p is the multiplier of the gradient.
  • the variance of the gradient can be calculated according to the following equation (3).
  • Equation 3 D ⁇ g ⁇ is the variance of the gradient, y is the standard deviation of the brightness value of the edge profile, and n is the number of sections of the edge profile.
  • the propagation of the error can be calculated according to the following equations (4) and (5).
  • MSE ⁇ l ⁇ is the propagation of the error
  • D ⁇ l ⁇ is the variance of the edge position
  • D ⁇ g ⁇ is the variance of the gradient
  • (l-l true ) is a difference value between the estimated edge position and the actual edge position.
  • determining a multiplier to be applied to the gradient comprises: determining a multiplier to apply to the gradient based on the edge width of the edge profile if the blur value of the edge profile is greater than 0.9 or less than 0.5; And determining a multiplier to be applied to the gradient of the edge profile as a square when the blur value of the edge profile is within a range of 0.5 to 0.9.
  • a computer-readable recording medium on which a program for executing the edge position determining method is recorded.
  • an edge position determination apparatus comprising at least one processor, the processor comprising means for determining, based on an edge width of an edge profile in an image, Determine the multiplier to apply; Calculating a difference value between adjacent pixel values of the edge profile to generate the gradient; And determining the edge position by applying the multiplier determined based on the edge width to the gradient.
  • the processor may determine the multiplier corresponding to the kernel size of the edge profile and the edge width based on a correspondence relationship between a preset edge width and a multiplier.
  • the processor calculating a propagation of the error by multiplier for predetermined edge profiles having various edge widths; It is possible to determine a multiplier with the minimum propagation of the error and to calculate the corresponding relationship between the edge width and the multiplier.
  • the processor comprising: for each of the edge profiles having various blur values, calculating a gradient vector between adjacent pixel values; Generate a weight vector to be applied to an edge profile for each multiplier applied to the gradient; Calculating a partial differential of an edge position with respect to the weight by a multiplier based on the weight; Calculating a partial derivative of the weight vector with respect to the gradient for each multiplier based on the gradient; Calculating a variance of the gradient vector based on the standard deviation of the error of each of the edge profiles; Based on the variance of the gradient, the partial differentiation of the edge position with respect to the weight vector, the partial derivative of the weight vector with respect to the gradient, and the difference between the edge position predicted for each multiplier and the actual edge position, The radio wave can be calculated.
  • the processor determines a multiplier with a minimum propagation of the error for each of the various blur values to calculate a corresponding relationship between the blur and the multiplier; Calculate a corresponding relationship between the blur and edge widths of the edge profiles; Based on the corresponding relationship between the blur and the multiplier and the corresponding relationship between the blur and the edge width, the edge width can be directly associated with the multiplier.
  • the processor is further configured to: calculate a blur value for an edge profile to predict an edge position; Determining an edge position by determining a multiplier to apply to the gradient based on the edge width of the edge profile if the blur value of the edge profile is greater than 0.9 or less than 0.5; When the blur value of the edge profile is within the range of 0.5 to 0.9, the edge position can be determined by determining the multiplier to be applied to the gradient of the edge profile as a square.
  • an edge position determining apparatus and method are provided that can determine, with a small amount of calculation, an edge position of an edge profile with sub-pixel accuracy quickly and accurately.
  • FIG. 1 is a flowchart of an edge positioning method according to an embodiment of the present invention.
  • step S10 of FIG. 2 is a flowchart of step S10 of FIG.
  • FIG. 3 is a diagram illustrating an edge profile.
  • FIG. 4 is a diagram illustrating a gradient calculated from an edge profile.
  • step S20 of FIG. 5 is a flowchart of step S20 of FIG.
  • FIG. 6 is a graph showing the distribution of optimal multipliers obtained according to an embodiment of the present invention.
  • FIG. 7 is a graph illustrating a correspondence relationship between the edge width and the blur value.
  • FIG. 8 is a diagram showing a result of directly relating an edge width and a multiplier according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of an edge positioning method according to another embodiment of the present invention.
  • 10 is a view showing target images.
  • 11 is a view showing a Lena image.
  • Fig. 13 is a view showing an image obtained for the exterior of a building.
  • FIG. 14 is a view showing image chips obtained from a building exterior image.
  • a hardware component such as, for example, software, FPGA or ASIC, as a unit for processing at least one function or operation.
  • "to” is not meant to be limited to software or hardware.
  • &Quot; to &quot may be configured to reside on an addressable storage medium and may be configured to play one or more processors.
  • the term ' ⁇ ' includes components such as software components, object-oriented software components, class components and task components, and processes, functions, attributes, procedures, Routines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • the functions provided by the components and components may be performed separately by a plurality of components and components, or may be integrated with other additional components.
  • An edge position determination apparatus and method based on Adaptive Weighting of Gradients (AWG) adaptively adjusts a gradient of a gradient to an edge width of an edge profile power factor is determined dynamically to determine the edge location as the subpixel accuracy.
  • AVG Adaptive Weighting of Gradients
  • the edge width of the edge profile and the multiplier are directly related based on the error propagation scheme using the edge profile in the image whose actual edge position is known, and the corresponding relationship between the edge width and the multiplier is calculated .
  • the edge profiles are used to find the optimal power factors and the corresponding relationship between the blur and the multiplier is calculated. Then, for rapid processing, the edge widths (edge width) directly to the optimal multiplier.
  • an adaptive weighting (AWG) of the gradient or a squared weighting Gradients can be selectively applied to determine the edge position.
  • An edge position determination method can be performed by an edge position determination apparatus including at least one processor and a memory.
  • the steps constituting the edge positioning method may be executed by the processor.
  • a program for executing each step of the edge positioning method can be recorded in the memory.
  • the processor may be a central processing unit (CPU), a graphic processing unit (GPU), a general purpose graphics processing unit (GPGPU), or the like.
  • an edge positioning method includes a step (S10 to S20) of calculating a corresponding relationship between an edge width of an edge profile and a multiplier of a gradient, And a step (S30 to S40) of determining the edge position of the edge profile by using the correspondence relationship of the multipliers of the gradients.
  • the optimal power factors of the gradient Step S10 of deriving gradients is performed.
  • step S10 of FIG. 2 is a flowchart of step S10 of FIG.
  • a gradient is first calculated for an edge profile whose actual edge position is known (S11).
  • the gradient can be generated by calculating a difference value between adjacent pixel values of the edge profile.
  • Edge profiles may be generated, for example, from simulation or from an image of a target image of which the actual edge position is known. Edge profiles can be generated to have various edge widths, various edge positions, and various kernel sizes.
  • 3 is a diagram illustrating an edge profile.
  • 4 is a diagram illustrating a gradient calculated from an edge profile.
  • the gradient of the edge profile can be calculated by computing the difference value of the adjacent pixel brightness values of the edge profile.
  • the position of the edge can be predicted according to Equation 1 below.
  • x i is the intermediate coordinate value of the i-th section in the edge profile
  • w i is the weight assigned to the i-th section in the edge profile
  • n is the number of pixels in the edge profile.
  • the weight w i allocated to the i-th section of the edge profile can be expressed as Equation 2 below using the gradient (g i ) corresponding to the i-th section and the multiplier (p) of the edge profile.
  • an error propagation method is used to find the optimal multiplier p value to be applied to all intervals in the edge profile. This is the process of finding the optimal multiplier that produces the smallest error after error propagation. (W 1 , w 2 , ..., w n-1 ) including the weight components (w 1 , w 2 , ..., w n-1 ) of each edge profile as shown in the following Equation 3, (S12).
  • Equation (4) a vector (x) including components of coordinate values (x 1 , x 2 , ..., x n-1 ) of intermediate positions of the sections in the edge profile is defined as shown in Equation (4) below.
  • Equation (3) a vector including the components of partial derivative values for the weight vector (w) of the edge position (1) is derived as shown in Equation 5 below.
  • x is the i-th interval the coordinate value of the vector
  • x i is the edge profile indicating the coordinates of an edge profile section
  • w i is the weight value of the i-th period of the weight vector.
  • the amount of error in the pixel brightness in the edge profile can be expressed as the variance D ⁇ y ⁇ of the pixel value (y). Assuming that the error of the pixel value (y) is independent, D ⁇ y ⁇ is modeled as Equation 6 below.
  • ⁇ y is the standard deviation of the error that is assumed to exist at each brightness value
  • I n is the identity matrix.
  • the gradient is calculated by determining the difference value between consecutive brightness values.
  • the variance D (g) of the gradient affected by the error of the brightness value can be modeled as shown in Equation 7 below (S15).
  • Equation (7) ? Y is the standard deviation of the error of the brightness value, and n is the number of sections of the edge profile.
  • a function y (x) such as Eq. 8 is introduced using an Erf function to model the edge profile.
  • Equation (8) x is the intermediate coordinate of each section in the edge profile, l is the edge position, and? Is the blur value of the edge profile.
  • the edge model such as Equation 8, has a contrast of 1.0 and the dard side brightness value is 0.0. (G 1 , g 2 , ..., g n-1 ) of the edge profile according to the following equation (9) for an edge model having an edge parameter of the edge position (l) and a blur value
  • a gradient vector (g) is calculated.
  • the gradient component g i of the i-th section may be calculated by subtracting the brightness value of the i-th pixel from the brightness value of the (i + 1) -th pixel of the edge profile.
  • the weight of each edge section in the edge profile for a given edge position and blur parameter is calculated by Equation (2) above.
  • the influence of the error of the brightness value on the weight value is calculated.
  • the partial derivative of the weight vector (w in Equation 3) with respect to the gradient vector (in Equation 9 g) is calculated (S14).
  • Equation 10 p is a multiplier.
  • Equation 13 Equation 13 below (S16).
  • Equation 5 Equation 7, Equation 10, Equation 12 and Equation 13
  • the error propagation MSE ⁇ l ⁇ is obtained by dividing the gradient D ⁇ g ⁇ 1) and the variance D ⁇ l ⁇ of the edge positions calculated based on the partial derivative (equation 10) with respect to the gradient (w) of the weight (w) and the predicted edge position (l) Can be calculated based on the difference value (l-l true ) (Equation 13) between the edge positions (l true ).
  • the optimal multiplier for each edge profile is found for a given kernel size and blur value.
  • the edge profile may be generated to have an arbitrary kernel size, an arbitrary blur factor, and an arbitrary edge position.
  • the kernel size is set to have an interval of one pixel within a range of 3 to 40 pixels
  • the blur factor is set to have an interval of 0.05 within a range of 0.3 to 10.0 pixels
  • an edge position is set to a range of -0.5 to 0.5
  • a 0.05 interval multiplier may be applied within the range of 1.0 to 2.0 to estimate the edge position for each edge profile produced by the kernel size, blur factor, and edge position.
  • the MSE value of the edge position is calculated according to Equation (13).
  • the standard deviation of the random error for the brightness value ( sigma y in Equation 7) can be set to 40/255.
  • the maximum value of all MSE values generated by the various edge positions according to a certain multiplier is assigned to the maximum MSE value for the multiplier.
  • a multiplier that generates a minimum MSE value among the MSE values determined for all edge positions assigned to the multipliers is selected as the optimal multiplier for the given kernel size and blur value (S17).
  • FIG. 6 is a graph showing the distribution of optimal multipliers obtained according to an embodiment of the present invention.
  • the optimal power factor for the gradient of the edge profile decreases as the kernel size increases. This means that for higher accuracy, as the kernel size increases, more pixels are included in the edge profile with a multiplier close to 1.0 than in the case of a smaller kernel size.
  • the optimal multiplier increases as the blur value increases to 2.0. This shows that as the blur of the edge increases, the maximum accuracy can be obtained by calculating the edge position using a multiplier close to 2.0.
  • An optimal multiplier to be applied to the edge profile can be obtained using the reference diagram shown in Fig. Using a bilinear interpolation process that uses adjacent grid points for kernel size and blur planes, an optimal multiplier for any blur can be calculated. However, this scheme may be a factor for delaying the estimation time of the edge position. This problem can be overcome in each edge profile by considering the point at which the edge width is related to the blur value.
  • step S20 is performed to directly associate the edge width of the edge profile with the optimal multiplier of the gradient to perform the operation for estimating the edge position at high speed.
  • 5 is a flowchart of step S20 of FIG. To directly associate the edge width to the multiplier, the edge width of the edge profile is calculated, given the blur value of the edge profile.
  • the edge width of the edge profile can be calculated by determining the left and right boundaries of the edge profile, for each edge profile produced by the edge position and the blur value.
  • a profile including a gradient of brightness values is calculated, proceeding from the middle of the edge profile toward the left to identify the gradient of each edge profile section
  • the left border of the edge profile can be determined. This process can be stopped when the gradient of the edge profile section is less than 1/255.
  • a similar process determines the right boundary.
  • the left and right boundaries are extended by two additional pixels facing left and right from each boundary section.
  • the edge width of each edge profile is calculated by counting the number of pixels in the expanded border.
  • the edge width of the edge profile has a close relationship with the blur value.
  • the corresponding relationship between the blur and the edge width of the edge profile can be calculated by the least squares method (S21).
  • the corresponding points of the edge width and the blur value can be approximated by a quadratic polynomial by the least squares method as shown in Equation 14 below.
  • w i is the edge width of the i-th edge profile
  • b i is the blur value of the i-th edge profile
  • a, b and c are the estimated curve parameters
  • ⁇ i is the random error estimated to exist in the i-th blur value.
  • a, b, and c are 0.0014, 0.1625, and -1.0131, respectively.
  • a quadratic polynomial with these coefficient values is shown in FIG. Fig. 7 shows that the quadratic polynomial expresses the relationship between the edge width and the blur value well.
  • a direct relationship between the edge width and the optimal multiplier can be derived (S22).
  • a corresponding blur value is calculated using a quadratic polynomial with estimated coefficients.
  • a coordinate point composed of a given edge width and a calculated blur value are identified in the reference diagram.
  • the edge width is considered to correspond to the kernel size within the lookup table.
  • an optimal multiplier at an empty point is calculated by quadratic linear interpolation using four grid points.
  • FIG. 8 is a diagram showing a result of directly relating an edge width and a multiplier according to an embodiment of the present invention.
  • the edge width is smaller than 25 pixels, the optimum multiplier increases as the edge width increases.
  • the optimal multiplier decreases as the edge width increases. Data points have a slight bias, but have a clear trend. For this reason, the trend between the edge width and the multiplier can be reduced to two straight lines.
  • an optimal multiplier for the edge width of the edge profile can be calculated (S30) using the lines of FIG. 8 representing the trend between edge width and multiplier.
  • the optimal multipliers corresponding to edge widths are stored in the array and can be used for sub-pixel edge position determination.
  • the multiplier to be applied to the gradient of the edge profile for determining the edge position is determined according to the edge width of the edge profile in the image for which the edge position is to be measured.
  • a smoothing operation may be applied prior to sub-pixel edge localization. After image smoothing processing, the brightness values within each edge profile in the image may be set in the range of 0.0 to 1.0.
  • a gradient is generated by calculating a difference value between adjacent pixel values of the edge profile and a multiplier determined according to the edge width based on the correspondence relation between the set kernel size, the edge width, and the multiplier is applied to the gradient, (S40).
  • an edge positioning method according to an embodiment of the present invention includes adaptively weighting (S42; adaptive weighting) of a gradient according to a blur value of an edge profile in order to increase the accuracy of edge positioning according to the degree of blur of an edge profile. Weighting of Gradients (S41) or Squared Weighting of Gradients (S41) may be selectively applied to determine the edge position.
  • the edge width and the multiplier of the edge profile are directly related to each other, and the correspondence relation (look-up table) between the edge width and the multiplier is calculated (S20).
  • the multiplier for generating the smallest MSE value among the MSE values determined for all the edge positions allocated to the multipliers may be selected as the optimal multiplier for the given kernel size and blur value corresponding to the edge width.
  • a multiplier to be applied to the gradient of the edge profile for determining the edge position is determined according to the edge width of the edge profile in the image for which the edge position is to be measured (S30).
  • the noise of the input image is removed by a smoothing operation (S31, S32) before the edge position determination, and the difference value between adjacent pixel values of the edge profile in the image after the image smoothing process is calculated (S33).
  • the edge width of each edge profile is calculated (S34), and it is determined whether the calculated edge width exceeds the reference pixel number (15 pixels in the example of FIG. 9) (S35).
  • step S35 if the blur value of the edge profile is small (the edge width is equal to or less than the reference number of pixels), the multiplier to be applied to the gradient is determined as a square, and the edge position is determined based on the square of the gradient (SWG) . If the blur value of the edge profile is large (the edge width exceeds the reference number of pixels), the edge position is determined based on the adaptive weighting (AWG) of the gradient (S42 to S49).
  • AVG adaptive weighting
  • Determining an optimal multiplier corresponding to the edge width based on the lookup table when the edge width of the edge profile exceeds the reference number of pixels first determining an edge position by applying the determined optimal multiplier to the multiplier of the gradient, (S24, S43) whether the root mean squares of the differences (RMSD) of the edges calculated based on the adaptive weighting (AWG) of the gradient is less than or equal to a reference value (8/255 in the example of FIG. 9).
  • the edge position calculated based on the adaptive weighting of the gradient at step S42 is finally selected (S44, S49) and the average square root deviation
  • the correction value (0.2 in the example of FIG. 9) set to the optimum multiplier calculated based on the lookup table is additionally applied, and the multiplier that is obtained by adding the correction value to the optimal multiplier is applied to the gradient (S45) .
  • the average square root deviation RMSD (AWG + 0.2) of the edge calculated by applying the corrected multiplier (the multiplier obtained by adding the correction value 0.2 to the initial AWG multiplier in the example of FIG. 9) to the gradient is calculated again , And compares this with the average square root deviation RMSD (AWG) of the edge calculated before the multiplier correction (S46).
  • step S46 if the average square root deviation of the edge after the multiplier correction is not smaller than that before the multiplier correction, the edge position calculated based on the multiplier before the correction is finally selected (S47, S49), and the average square root of the edge If the deviation is smaller than before the multiplier correction, the edge position calculated based on the modified multiplier is finally selected (S48, S49).
  • the edge width of the edge profile and the average square root deviation of the edge calculated according to the adaptive weighting of the gradient can be applied to determine the position of the edge accurately by applying the multiplier of the optimal gradient have.
  • a test was performed under various conditions using a virtually generated image. To do this, virtual images with various blur values, various noise levels, and various edge positions were created.
  • the blur value ( ⁇ b ) of the image was generated as 0.40, 0.75, 1.00, 1.25, 1.50, 1.75, 2.00, and 2.25.
  • the noise level ( ⁇ y ) of the brightness value of the image is classified into two groups.
  • the first group has a noise level of 2/255, 4/255, 6/255, 8/255
  • the second group has a noise level of 10/255, 20/255, 30/255, 40/255.
  • the edge positions of the images were varied by 0.1 pixel intervals in the range of -0.5 to 0.5 pixels.
  • the number of edge profiles included in each image is set to 1000.
  • the edge profile in each image was generated using Equation 8 above.
  • Various noise was randomly generated based on the normal distribution of MATLAB and added to the edge profile.
  • the performance of an edge positioning method according to an embodiment of the present invention is compared with conventional methods using an edge profile with random noise added.
  • 'SM' is defined as' IEEE Trans. Pattern Analysis and Machine Intelligence , Vol. 11, No. 12, pp. 1293-1309, 1989, doi: 10.1109 / 34.41367, Subpixel Measurement Using a Moment-Based Edge Operator (EP Lyvers, OR Mitchell , ML Akey, and AP Reeves) " and the method described in, 'GM' is" IEEE Trans. Pattern Analysis and Machine Intelligence, vol. PAMI-6, no. 2, pp. 188- EF "is a method described in” Optik , vol. 125, no. 9, pp.
  • the average RMSE (Mean) and the maximum RMSE (MAX) of the AWG are summarized in Table 1 and Table 2, and the average RMSE of SM, GM, EF, and SWG r mean ) and the maximum RMSE (rmax) as a ratio to the AWG.
  • the edge positions (L max ) measured at the maximum RMSE in each method are summarized in Tables 1 and 2.
  • the accuracy of the edge positioning method according to the embodiment of the present invention shows higher results than the other methods.
  • AWG AMG of the present invention is 149% more accurate than SM, 21% more accurate than GM, 2% more accurate than EF, and SWG 7% more accurate.
  • Tables 3 and 4 show the mean of edge widths of the edge profiles used in the experiments of Table 1 and Table 2 for the embodiment (AWG) of the present invention and the Mean of Edge Applied Power Factors.
  • the average value of the edge widths is in the range of 13.74 to 20.86.
  • the average value of the edge widths of the edge profiles increases as the blur value of the edge profile increases Able to know. For experiments with equivalent blur values, the variation in edge width due to noise is not large.
  • the average of the optimal multipliers applied to the gradients of the edge profiles in the embodiment (AWG) of the present invention tends to increase as the blur value increases in the range of 1.3755 to 1.5442.
  • the average edge width determined by an embodiment of the present invention ranges from 14.31 to 20.70. This is similar to the experimental results for low noise levels. However, the average of the optimal multipliers used in experiments with high noise levels ranges from 1.5891 to 1.7399. This is 0.2 more than the experimental result of low noise level.
  • Table 3 and Table 4 show the average of the kurtosis values of the gradient profiles.
  • a kurtosis value of 3.0 for a gradient profile means that the gradient profile has a perfect normal distribution.
  • a kurtosis value of less than 3.0 for a gradient profile means that the gradient profile is flatter than a perfectly normal distribution and the edge width is slightly reduced compared to the edge width of the edge profile with perfect normal distribution. Thus, the edge width tends to decrease as the kurtosis value of the gradient profile decreases.
  • the SWG is superior to the other methods in the case of blur values in the range of 0.50 to 0.90.
  • Embodiments (AWG) and SWG of the present invention have almost the same edge positioning accuracy when the blur value is 0.90. Because the symmetry of the gradient profile within the 0.50 to 0.90 blur range is easily affected by noise and the asymmetry of the gradient profile increases, the embodiment (AWG) of the present invention has a SWG More inferior performance. In this blur range, the SWG overcomes this problem with a multiplier of 2.0 higher than the multiplier used by the AWG.
  • Tables 8 and 9 show the mean of edge widths of the edge profiles used in the experiments of Table 7 for the embodiment (AWG) of the present invention and the Mean of Applied Power Factors ).
  • Target images were used.
  • Target images were acquired by a digital single-lens reflex (DSLR) camera with a manual focus function on four target sheets.
  • the images were designed to have various contrasts and guides to collect edge profiles.
  • 10 is a view showing target images.
  • the size of each image was 360 ⁇ 360 pixels and the center axis of the four long black areas in each image was used as guide lines for collecting the edge profile generated by the contrast within the checkboard box in the center of each image.
  • the average of the blur values of the edge profiles collected in each image and the average of the noise were calculated and the average of the kurtoses of the gradient profile in each target image was calculated. Table 10 shows the average values of these.
  • the blur values for images obtained for targets 1, 2, 3, and 4 were about 0.9, 0.7, 0.8, and 0.8, respectively.
  • the noise observed in the edge profile belonged to low level noise.
  • tests A, B, and C for target 1 show that their edge profiles have kurtoses similar to those of the simulation test, and therefore, the simulation test applied by the embodiment (AWG) of the present invention It can be seen that it is similar to the edge width and the multiplier.
  • Table 11 summarizes the average of the distances between the edge positions determined by the edge positioning methods for the target images obtained for each target sheet.
  • SWG, AWG, EF, GM and SM showed the correct results.
  • SWG, AWG, GM and SM showed the correct results.
  • the SWG showed the highest accuracy because the range of blur values (0.7-0.9) of the edge profiles in the target images ranged from 0.5 to 0.9.
  • FIG. 11 is a view showing a Lena image.
  • 12 is an enlarged view of image chips obtained from a Lena image. As shown in FIG. 12, six image chips having a 51 ⁇ 51 pixel size having clear edge features are cropped by cropping regions in the original image. Table 12 summarizes the characteristics of the edge profiles in each image chip.
  • the edge profiles in the Lena image also have a kurtosis value less than the simulation test, except for test B, and the multiplier applied by the adaptive weighting (AWG) 0.07.
  • AWG adaptive weighting
  • the edge profiles in all video chips belonged to a low noise level except in the case of video chip of test B. Edge profiles within the video chip for test B were at a high noise level.
  • two versions of the AWG were applied to the edge profiles in the video chips.
  • the first version uses a multiplier with an average of 1.4985. This is an initial value derived by error propagation.
  • the second version (AWG + 0.2) was multiplied by an average of 1.6985. This is to compensate for the variation of the gradient profile in the symmetry due to the increase in noise.
  • the lower figures in Figure 12 show the edge traces determined by the AWG.
  • the SWG represents the most accurate sub-pixel edge position determination
  • the gradient's adaptive weighting method (AWG) represents the most accurate performance in tests E and F
  • Table 13 summarizes the average of the distances among the edge positions determined by the subpixel edge positioning methods.
  • AWG + 0.2, EF, GM, AWG, SWG and SM are arranged in the order of SWG, AWG, EF, AWG, GM, EF and SM in the case of test C, and SWG, AWG, GM, EF and SM in case of test D.
  • AWG, EF, GM and SWG , SM In case of test E, AWG, EF, GM and SWG , SM, and in case of test F, AWG, EF, GM, SWG, and SM are arranged in this order.
  • SWG is the best method
  • AWG is the second best method
  • SWG is not the second best method. This means that AWG is more reliable than SWG when applied to general edge profiles.
  • Fig. 13 is a view showing an image obtained for the exterior of a building. Seven image chips were obtained by image cropping. 14 is a view showing image chips obtained from a building exterior image. As shown in the upper part of Fig. 14, the same guiding marks were generated.
  • edge positioning methods can be arranged in order of accuracy as follows.
  • the edge positioning method (SWG) based on the square of the gradient showed the best accuracy in tests A, B, D, and E.
  • the edge positioning method (AWG) based on the adaptive weighting of the gradient showed the best accuracy in tests C, F, and G.
  • the edge positioning method based on the adaptive weighting of the gradient was the best method when the blur in the original edge profile was larger than 0.90, and the edge positioning method based on the square of the gradient ) Is the best method when the blur is in the range of 0.50 to 0.90.
  • the edge position can be determined more precisely by combining the advantages of the gradient weighted adaptive weighting method (AWG) and the gradient's square method (SWG) respectively.
  • the edge position determination method according to the embodiment of the present invention can obtain a more accurate edge position determination result with a calculation amount that is 70 times faster than the known best known method and with a small calculation amount.
  • the method according to an embodiment of the present invention can be realized in a general-purpose digital computer that can be created as a program that can be executed by a computer and operates the program using a computer-readable recording medium.
  • the computer readable recording medium may be a volatile memory such as SRAM (Static RAM), DRAM (Dynamic RAM), SDRAM (Synchronous DRAM), ROM (Read Only Memory), PROM (Programmable ROM), EPROM (Electrically Programmable ROM) Non-volatile memory such as EEPROM (Electrically Erasable and Programmable ROM), flash memory device, Phase-change RAM (PRAM), Magnetic RAM (MRAM), Resistive RAM (RRAM), Ferroelectric RAM But are not limited to, optical storage media such as CD ROMs, DVDs, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

그래디언트의 적응적 가중(AWG; Adaptive Weighting of Gradients)에 기반한 에지 위치 결정 장치 및 방법이 개시된다. 본 발명의 실시예에 따른 에지 위치 결정 방법은, 영상 내의 에지 프로파일의 에지 폭을 기반으로, 에지 위치의 결정을 위해 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정하는 단계; 상기 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 상기 그래디언트를 생성하는 단계; 및 상기 에지 폭을 기반으로 결정된 상기 승수를 상기 그래디언트에 적용하여 상기 에지 위치를 결정하는 단계;를 포함한다.

Description

그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법
본 발명은 에지 위치 결정 장치 및 방법에 관한 것으로, 보다 상세하게는 그래디언트의 적응적 가중(adaptive weighting of gradient)을 기반으로 영상 내의 에지 프로파일(edge profile)에서 에지의 위치를 서브픽셀의 정확도(subpixel accuracy)로 결정하는 에지 위치 결정 장치 및 방법에 관한 것이다.
영상처리 분야에서, 에지는 밝기값이 급격하게 변하는 물체의 경계를 나타낸다. 에지의 검출 및 위치 결정은 영상으로부터 물체를 추출 및 인식하기 위한 필수적인 절차이다. 물체 형상의 정밀한 측정을 위해서는 서브픽셀의 정밀도로 에지 위치를 결정할 필요가 있다. 이는 높은 정밀도를 가지는 제품을 지원하는 산업에서 객체에 대한 정확한 모델링이 중요하지만, 픽셀 단위로 제한된 에지 결정 방식들의 정확도로는 객체의 형상을 충분한 정확도로 모델링할 수 없기 때문이다.
에지 위치를 서브픽셀의 정확도로 결정하기 위한 방법들 중 에지 자취(edge trace)를 국부적으로 직선 또는 2차 다항식으로 근사하는 방식이 있다. 이 방법들은 불규칙적인 곡선형 에지의 위치를 서브픽셀의 정확도로 결정하기에 적합하지 않다. 또한, 이차원 방식의 에지 위치 결정 방법은 커널 크기(kernel size)가 증가함에 따라 연산 처리량이 증가하고, 연산 시간이 길어지는 문제를 가진다.
본 발명은 적은 연산량으로, 에지 프로파일의 에지 위치를 서브픽셀의 정확도로 빠르고 정확하게 결정할 수 있는 에지 위치 결정 장치 및 방법을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따른 에지 위치 결정 방법은 영상 내의 에지 프로파일의 에지 폭을 기반으로, 에지 위치의 결정을 위해 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정하는 단계; 상기 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 상기 그래디언트를 생성하는 단계; 및 상기 에지 폭을 기반으로 결정된 상기 승수를 상기 그래디언트에 적용하여 상기 에지 위치를 결정하는 단계;를 포함한다.
상기 승수를 결정하는 단계는, 미리 설정된 에지 폭과 승수의 대응 관계를 기반으로, 상기 에지 폭에 대응하는 상기 승수를 결정하는 단계;를 포함할 수 있다.
상기 승수를 결정하는 단계는, 미리 설정된 커널(kernel) 크기와 에지 폭과 승수의 대응 관계를 기반으로, 상기 에지 프로파일의 커널 크기 및 상기 에지 폭에 대응하는 상기 승수를 결정하는 단계;를 포함할 수 있다.
상기 에지 위치 결정 방법은, 다양한 에지 폭을 가지는 소정의 에지 프로파일들에 대한 승수 별 오차의 전파를 산출하는 단계; 및 상기 오차의 전파가 최소인 승수를 결정하여, 상기 에지 폭과 승수의 대응 관계를 산출하는 단계;를 더 포함할 수 있다.
상기 오차의 전파를 산출하는 단계는, 다양한 블러 값을 가지는 상기 에지 프로파일들 각각에 대해, 인접한 픽셀 값들 간의 그래디언트 벡터를 산출하는 단계; 상기 그래디언트에 적용되는 승수 별로 에지 프로파일에 적용될 가중치 벡터를 생성하는 단계; 상기 가중치 벡터를 기반으로, 승수 별로 상기 가중치 벡터에 대한 에지 위치의 편미분을 생성하는 단계; 상기 그래디언트를 기반으로 승수 별로 상기 가중치 벡터의 그래디언트에 대한 편미분을 생성하는 단계; 상기 에지 프로파일들 각각의 오차의 표준 편차를 기반으로, 그래디언트 벡터의 분산을 생성하는 단계; 및 상기 그래디언트의 분산과, 상기 가중치 벡터에 대한 에지 위치의 편미분과, 상기 가중치 벡터의 상기 그래디언트에 대한 편미분과, 승수 별로 예측된 에지 위치와 실제 에지 위치 간의 차이값을 기반으로, 승수 별로 상기 오차의 전파를 산출하는 단계;를 포함할 수 있다.
상기 에지 폭과 승수의 대응 관계를 산출하는 단계는, 상기 다양한 블러 값 각각에 대해 상기 오차의 전파가 최소인 승수를 결정하여, 블러와 승수의 대응 관계를 산출하는 단계; 상기 블러와 상기 에지 프로파일들의 에지 폭 간의 대응 관계를 산출하는 단계; 및 상기 블러와 승수의 대응 관계 및 상기 블러와 에지 폭 간의 대응 관계를 기반으로, 상기 에지 폭을 직접적으로 승수에 연관시키는 단계;를 포함할 수 있다.
상기 가중치 벡터에 대한 에지 위치의 편미분은 하기 식 1에 따라 산출될 수 있다.
[식 1]
Figure PCTKR2018016382-appb-I000001
상기 식 1에서, x는 상기 에지 프로파일의 구간 좌표를 나타내는 벡터, xi는 상기 에지 프로파일의 i번째 구간의 중간 좌표 값, wi는 가중치 벡터의 i번째 구간의 가중치 값, n은 상기 에지 프로파일 내의 픽셀들의 개수이다.
상기 가중치 벡터의 그래디언트에 대한 편미분은 하기 식 2에 따라 산출될 수 있다.
[식 2]
Figure PCTKR2018016382-appb-I000002
상기 식 2에서, w는 상기 가중치 벡터, g는 상기 그래디언트이고, p는 상기 그래디언트의 승수이다.
상기 그래디언트의 분산은 하기 식 3에 따라 산출될 수 있다.
[식 3]
D{g} = B·σy 2·InBT = σy 2BBT
Figure PCTKR2018016382-appb-I000003
상기 식 3에서, D{g}는 상기 그래디언트의 분산, σy는 상기 에지 프로파일의 밝기 값의 오차의 표준 편차, n은 에지 프로파일의 구간 개수이다.
상기 오차의 전파는 하기의 식 4 및 식 5에 따라 산출될 수 있다.
[식 4]
Figure PCTKR2018016382-appb-I000004
[식 5]
Figure PCTKR2018016382-appb-I000005
상기 식 4 및 식 5에서, MSE{ｌ}는 상기 오차의 전파, D{ｌ}은 에지 위치의 분산, D{g}는 상기 그래디언트의 분산,
Figure PCTKR2018016382-appb-I000006
는 상기 가중치 벡터에 대한 상기 에지 위치의 편미분,
Figure PCTKR2018016382-appb-I000007
는 상기 가중치 벡터의 상기 그래디언트에 대한 편미분, (ｌ-ｌtrue)는 추정된 에지 위치와 실제 에지 위치 간의 차이값이다.
상기 에지 위치 결정 방법은 에지 위치를 예측할 에지 프로파일에 대해 블러 값을 산출하는 단계;를 더 포함하고, 상기 그래디언트에 적용할 승수를 결정하는 단계는 상기 블러 정도에 따라, 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정할 수 있다.
상기 그래디언트에 적용할 승수를 결정하는 단계는, 상기 에지 프로파일의 블러 값이 0.9 보다 크거나 0.5 미만인 경우, 상기 에지 프로파일의 상기 에지 폭을 기반으로 상기 그래디언트에 적용할 승수를 결정하는 단계; 및 상기 에지 프로파일의 블러 값이 0.5 ~ 0.9 범위 내인 경우, 상기 에지 프로파일의 그래디언트에 적용할 승수를 자승으로 결정하는 단계;를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 상기 에지 위치 결정 방법을 실행시키는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.
본 발명의 또 다른 측면에 따르면, 적어도 하나의 프로세서를 포함하는 에지 위치 결정 장치에 있어서, 상기 프로세서는, 영상 내의 에지 프로파일의 에지 폭을 기반으로, 에지 위치의 결정을 위해 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정하고; 상기 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 상기 그래디언트를 생성하고; 그리고 상기 에지 폭을 기반으로 결정된 상기 승수를 상기 그래디언트에 적용하여 상기 에지 위치를 결정하는 에지 위치 결정 장치가 제공된다.
상기 프로세서는, 미리 설정된 에지 폭과 승수의 대응 관계를 기반으로, 상기 에지 프로파일의 커널 크기 및 상기 에지 폭에 대응하는 상기 승수를 결정할 수 있다.
상기 프로세서는, 다양한 에지 폭을 가지는 소정의 에지 프로파일들에 대한 승수 별 오차의 전파를 산출하고; 상기 오차의 전파가 최소인 승수를 결정하여, 상기 에지 폭과 승수의 대응 관계를 산출할 수 있다.
상기 프로세서는, 다양한 블러 값을 가지는 상기 에지 프로파일들 각각에 대해, 인접한 픽셀 값들 간의 그래디언트 벡터를 산출하고; 상기 그래디언트에 적용되는 승수 별로 에지 프로파일에 적용될 가중치 벡터를 생성하고; 상기 가중치를 기반으로, 승수 별로 상기 가중치에 대한 에지 위치의 편미분을 산출하고; 상기 그래디언트를 기반으로 승수 별로 상기 가중치 벡터의 그래디언트에 대한 편미분을 산출하고; 상기 에지 프로파일들 각각의 오차의 표준 편차를 기반으로, 그래디언트 벡터의 분산을 산출하고; 상기 그래디언트의 분산과, 상기 가중치 벡터에 대한 에지 위치의 편미분과, 상기 가중치 벡터의 상기 그래디언트에 대한 편미분과, 승수 별로 예측된 에지 위치와 실제 에지 위치 간의 차이값을 기반으로, 승수 별로 상기 오차의 전파를 산출할 수 있다.
상기 프로세서는, 상기 다양한 블러 값 각각에 대해 상기 오차의 전파가 최소인 승수를 결정하여, 블러와 승수의 대응 관계를 산출하고; 상기 블러와 상기 에지 프로파일들의 에지 폭 간의 대응 관계를 산출하고; 상기 블러와 승수의 대응 관계 및 상기 블러와 에지 폭 간의 대응 관계를 기반으로, 상기 에지 폭을 직접적으로 승수에 연관시킬 수 있다.
상기 프로세서는, 에지 위치를 예측할 에지 프로파일에 대해 블러 값을 산출하고; 상기 에지 프로파일의 블러 값이 0.9 보다 크거나 0.5 미만인 경우, 상기 에지 프로파일의 상기 에지 폭을 기반으로 상기 그래디언트에 적용할 승수를 결정하여 에지 위치를 결정하고; 상기 에지 프로파일의 블러 값이 0.5 ~ 0.9 범위 내인 경우, 상기 에지 프로파일의 그래디언트에 적용할 승수를 자승으로 결정하여 에지 위치를 결정할 수 있다.
본 발명의 실시예에 의하면, 적은 연산량으로, 에지 프로파일의 에지 위치를 서브픽셀 정확도로 빠르고 정확하게 결정할 수 있는 에지 위치 결정 장치 및 방법이 제공된다.
본 발명의 효과는 상술한 효과들로 제한되지 않는다. 언급되지 않은 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 에지 위치 결정 방법의 흐름도이다.
도 2는 도 1의 단계 S10의 흐름도이다.
도 3은 에지 프로파일을 예시한 도면이다.
도 4는 에지 프로파일로부터 산출한 그래디언트를 예시한 도면이다.
도 5는 도 1의 단계 S20의 흐름도이다.
도 6은 본 발명의 실시예에 따라 획득된 최적의 승수의 분포를 보여주는 도면이다.
도 7은 에지 폭과 블러 값 간의 대응 관계를 예시한 그래프이다.
도 8은 본 발명의 실시예에 따라 에지 폭과 승수를 직접적으로 연관시킨 결과를 보여주는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 에지 위치 결정 방법의 흐름도이다.
도 10은 타겟 영상들을 보여주는 도면이다.
도 11은 레나 영상을 보여주는 도면이다.
도 12는 레나 영상으로부터 획득한 영상 칩들의 확대도이다.
도 13은 건축물 외관에 대해 획득한 영상을 보여주는 도면이다.
도 14는 건축물 외관 영상으로부터 획득한 영상 칩들을 보여주는 도면이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
본 발명의 실시예에 따른 그래디언트의 적응적 가중(AWG; Adaptive Weighting of Gradients)에 기반한 에지 위치 결정 장치 및 방법은 에지 프로파일(edge profile)의 에지 폭(edgi width)에 적응적으로 그래디언트의 승수(power factor)를 동적으로 결정하여 에지 위치(edge location)를 서브픽셀의 정확도(subpixel accuracy)로 결정한다.
이를 위해, 먼저 실제 에지 위치를 알고 있는 영상 내의 에지 프로파일을 이용해 오차의 전파(error propagation scheme)에 기반하여 에지 프로파일의 에지 폭과 승수를 직접적으로 연관시켜, 에지 폭과 승수의 대응 관계를 산출한다. 일 실시예로, 에지 프로파일들을 이용하여 최적의 승수(optimal power factors)를 찾아 블러(blur)와 승수의 대응 관계를 산출한 다음, 신속한 처리를 위하여 블러와 에지 폭의 대응 관계를 기반으로 에지 폭(edge width)을 최적의 승수에 직접적으로 연관시킨다.
본 발명의 다른 실시예에 의하면, 에지 프로파일의 블러 정도에 따라 에지 위치 결정의 정확도를 높이기 위하여, 에지 프로파일의 블러 값에 따라 그래디언트의 적응적 가중(AWG) 또는 그래디언트의 자승(SWG; Squared Weighting of Gradients)을 선택적으로 적용하여 에지 위치를 결정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 에지 위치 결정 방법의 흐름도이다. 본 발명의 실시예에 따른 에지 위치 결정 방법은 적어도 하나의 프로세서(Processor)와, 메모리(memory)를 포함하는 에지 위치 결정 장치에 의해 수행될 수 있다. 에지 위치 결정 방법을 구성하는 단계들은 프로세서에 의해 실행될 수 있다. 메모리에는 에지 위치 결정 방법의 각 단계를 실행하기 위한 프로그램이 기록될 수 있다. 프로세서는 중앙처리장치(CPU; Central Processing Unit), 그래픽처리장치(GPU; Graphic Processing Unit), 범용그래픽처리장치(GPGPU; General Purpose Graphic Processing Unit) 등으로 구성될 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 에지 위치 결정 방법은 크게 에지 위치를 알고 있는 에지 프로파일의 에지 폭과 그래디언트의 승수의 대응 관계를 산출하는 과정(S10 내지 S20)과, 에지 폭과 그래디언트의 승수의 대응 관계를 이용하여 에지 프로파일의 에지 위치를 결정하는 과정(S30 내지 S40)으로 이루어진다.
먼저, 에지 프로파일의 에지 폭과 그래디언트의 승수의 대응 관계를 산출하기 위하여, 실제 에지 위치를 알고 있는 에지 프로파일들을 이용하여 오차의 전파(error propagation)에 기반하여 그래디언트의 최적의 승수(optimal power factors of gradients)를 도출하는 단계(S10)가 수행된다.
도 2는 도 1의 단계 S10의 흐름도이다. 에지 프로파일의 블러와 승수의 대응 관계를 산출하기 위하여, 먼저 실제 에지 위치를 알고 있는 에지 프로파일에 대해 그래디언트를 산출한다(S11). 그래디언트는 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출함으로써 생성될 수 있다.
에지 프로파일들은 예를 들면, 시뮬레이션에 의해 생성되거나, 실제 에지 위치를 알고 있는 타겟 영상을 촬영한 영상으로부터 획득될 수 있다. 에지 프로파일들은 다양한 에지 폭, 다양한 에지 위치, 다양한 커널 크기(Kernel size)를 가지도록 생성될 수 있다.
도 3은 에지 프로파일을 예시한 도면이다. 도 4는 에지 프로파일로부터 산출한 그래디언트를 예시한 도면이다. 에지 프로파일의 그래디언트는 에지 프로파일의 인접한 픽셀 밝기 값들의 차이값을 연산함으로써 산출될 수 있다. 에지의 위치는 아래의 수식 1에 따라 예측할 수 있다.
[수식 1]
Figure PCTKR2018016382-appb-I000008
xi는 에지 프로파일에서 i번째 구간의 중간 좌표값이고, wi는 에지 프로파일에서 i번째 구간에 할당된 가중치(weight)이고, n은 에지 프로파일 내의 픽셀들의 개수이다. 에지 프로파일의 i번째 구간에 할당되는 가중치(wi)는 i번째 구간에 해당하는 그래디언트(gi)와 에지 프로파일의 승수(p)를 이용하여 아래의 수식 2와 같이 나타낼 수 있다.
[수식 2]
Figure PCTKR2018016382-appb-I000009
본 발명의 실시예에서, 에지 프로파일 내의 모든 구간들에 적용될 최적의 승수 p 값을 찾기 위해, 오차 전파(error propagation) 방법이 사용된다. 이는 오차 전파 후 최소의 오차를 생성하는 최적의 승수를 찾는 과정이다. 오차 전파에 의해 최적의 승수를 결정하기 위하여, 먼저 아래의 수식 3과 같이 에지 프로파일의 구간별 가중치 성분들(w1, w2, ..., wn-1)을 포함하는 가중치 벡터(w)를 생성한다(S12).
[수식 3]
Figure PCTKR2018016382-appb-I000010
또한, 에지 프로파일 내의 구간들의 중간 위치의 좌표값들(x1, x2, ... , xn-1)의 성분들을 포함하는 벡터(x)를 아래의 수식 4와 같이 정의한다.
[수식 4]
Figure PCTKR2018016382-appb-I000011
수식 1, 수식 3 및 수식 4로부터, 에지 위치(ｌ)의 가중치 벡터(w)에 대한 편미분(partial derivative) 값들의 성분들을 포함하는 벡터가 아래의 수식 5와 같이 유도된다(S13).
[수식 5]
Figure PCTKR2018016382-appb-I000012
수식 5에서, x는 에지 프로파일의 구간 좌표를 나타내는 벡터, xi는 에지 프로파일의 i번째 구간 좌표 값, wi는 가중치 벡터의 i번째 구간의 가중치 값이다. 에지 프로파일 내의 픽셀 밝기에서 오차의 양은 픽셀 값(y)의 분산 D{y}로 나타낼 수 있다. 픽셀 값(y)의 오차가 독립적인 것으로 가정하면, D{y}는 아래의 수식 6과 같이 모델링된다.
[수식 6]
Figure PCTKR2018016382-appb-I000013
σy는 각 밝기 값에서 존재할 것으로 추측되는 오차의 표준 편차이고, In은 항등행렬이다. 그래디언트는 연속하는 밝기 값들 간의 차이값을 결정함으로써 산출된다. 밝기 값의 오차에 의해 영향받는 그래디언트의 분산 D(g)은 아래의 수식 7과 같이 모델링될 수 있다(S15).
[수식 7]
D{g} = B·σy 2·InBT = σy 2BBT
Figure PCTKR2018016382-appb-I000014
수식 7에서, σy는 밝기 값의 오차의 표준 편차, n은 에지 프로파일의 구간 개수이다. 그래디언트의 최적 승수를 찾기 위하여, 에지 프로파일을 모델링하기 위해 오차 함수(Erf function)를 이용하여 수식 8과 같은 함수 y(x)가 도입된다.
[수식 8]
Figure PCTKR2018016382-appb-I000015
수식 8에서, x는 에지 프로파일 내의 각 구간의 중간 좌표이고, ｌ은 에지 위치이고, σ는 에지 프로파일의 블러(blur) 값이다. 수식 8과 같은 에지 모델은 1.0의 대조(contrast)를 가지고, 어두운 밝기 값(dard side brightness value)은 0.0이다. 에지 위치(ｌ)와 블러 값(σ)의 에지 파라미터를 가지는 에지 모델에 대하여 아래 수식 9와 같이 에지 프로파일의 구간별 그래디언트 성분들(g1, g2, ..., gn-1)을 가지는 그래디언트 벡터(g)가 계산된다.
[수식 9]
Figure PCTKR2018016382-appb-I000016
Figure PCTKR2018016382-appb-I000017
i번째 구간의 그래디언트 성분 gi는 에지 프로파일의 (i+1)번째 픽셀의 밝기 값에서 i번째 픽셀의 밝기 값을 감산함으로써 산출될 수 있다. 다음으로, 주어진 에지 위치 및 블러 파라미터에 대한 에지 프로파일 내의 각 에지 구간의 가중치가 상기 수식 2에 의해 산출된다. 다음으로, 가중치 값에 대한 밝기 값의 오차의 영향이 계산된다. 먼저, 아래의 수식 10과 같이, 가중치 벡터(수식 3의 w)의 그래디언트 벡터(수식 9의 g)에 대한 편미분이 산출된다(S14).
[수식 10]
Figure PCTKR2018016382-appb-I000018
수식 10에서, p는 승수이다. 다음으로, 상기 수식 7 및 수식 10을 이용하여, 에지 프로파일의 밝기 값의 오차의 분산에 대한 가중치의 분산이 아래 수식 11과 같이 계산된다.
[수식 11]
Figure PCTKR2018016382-appb-I000019
상기 수식 5, 수식 7 및 수식 11을 이용하여 에지 위치의 분산에 대한 밝기 값의 오차 영향이 아래 수식 12와 같이 계산된다.
[수식 12]
Figure PCTKR2018016382-appb-I000020
수식 1을 이용하여 추정한 에지 위치의 정확도를 계산하기 위해, 수식 12의 분산에 바이어스 인자를 추가하여 아래 수식 13과 같이 추정의 평균 자승 오차(MSE; mean squared error)가 계산된다(S16).
[수식 13]
Figure PCTKR2018016382-appb-I000021
수식 5, 수식 7, 수식 10, 수식 12, 수식 13에 따라, 오차의 전파 MSE{ｌ}는 그래디언트의 분산(확산) D{g}(수식 7)와, 가중치(w)에 대한 에지 위치(ｌ)의 편미분(수식 5)과, 가중치(w)의 그래디언트(g)에 대한 편미분(수식 10)을 기반으로 산출되는 에지 위치의 분산 D{ｌ}, 그리고 예측된 에지 위치(ｌ)와 실제 에지 위치(ｌtrue) 간의 차이값(ｌ-ｌtrue)(수식 13)을 기반으로 산출될 수 있다.
오차의 전파 MSE{ｌ}가 구해지면, 주어진 커널 크기(kernel size) 및 블러 값에 대해, 각 에지 프로파일에 대한 최적의 승수를 찾는다. 상기 수식 8에서, 에지 프로파일은 임의의 커널 크기, 임의의 블러 인자, 임의의 에지 위치를 갖도록 생성될 수 있다. 일 실시예로, 커널 크기는 3 ~ 40 픽셀 범위 내에서 1 픽셀의 간격을 가지도록 설정되고, 블러 인자는 0.3 ~ 10.0 픽셀 범위 내에서 0.05 간격을 가지도록 설정되고, 에지 위치는 -0.5 ~ 0.5 픽셀 범위 내에서 0.1 픽셀의 간격을 가지도록 설정될 수 있다.
실시예에서, 커널 사이즈, 블러 인자, 에지 위치에 의해 생성되는 각 에지 프로파일에 대한 에지 위치를 추정하기 위해 1.0 ~ 2.0 범위 내에서 0.05 간격의 승수가 적용될 수 있다. 상기 수식 13에 따라 에지 위치의 MSE 값이 계산된다. 일 실시예에서, 밝기 값에 대한 랜덤 오차의 표준편차(상기 수식 7의 σ y)는 40/255로 설정될 수 있다. 어떤 승수에 따라 다양한 에지 위치들에 의해 생성되는 모든 MSE 값들 중의 최대 값이 승수에 대한 최대 MSE 값으로 할당된다. 다음으로, 모든 승수들 중에서, 승수들에 할당된 모든 에지 위치들에 대해 결정된 MSE 값들 중 최소의 MSE 값을 생성하는 승수가 주어진 커널 크기 및 블러 값에 대한 최적의 승수로 선택된다(S17).
도 6은 본 발명의 실시예에 따라 획득된 최적의 승수의 분포를 보여주는 도면이다. 도 6을 참조하면, 블러 값이 주어질 때, 커널 크기(Kerner size)가 증가할수록 에지 프로파일의 그래디언트에 대한 최적의 승수(power factor)는 감소한다. 이는 높은 정확도를 위해, 커널 크기가 증가함에 따라, 작은 커널 크기의 경우보다 에지 프로파일 내에 1.0에 가까운 승수를 가지는 픽셀들이 더 많이 포함되는 것을 의미한다. 또한, 커널 크기가 주어질 때, 최적의 승수는 블러 값이 2.0으로 증가할수록 증가한다. 이는 에지의 블러가 증가할수록, 2.0에 가까운 승수를 이용하여 에지 위치 산출시 최대의 정확도를 얻을 수 있음을 나타낸다.
도 6에 도시된 기준 다이어그램(reference diagram)을 이용하여 에지 프로파일에 적용될 최적의 승수를 획득할 수 있다. 커널 크기 및 블러 평면에 대해 인접 그리드 포인트들을 이용하는 이중 선형 보간(bilinear interpolation) 프로세스를 사용하면, 임의의 블러에 대한 최적의 승수를 계산할 수 있다. 그러나, 이러한 방식은 에지 위치의 추정 시간을 지연시키는 요인이 될 수 있다. 이러한 문제는 각 에지 프로파일에서, 에지 폭(edge width)이 블러 값에 관련되는 점을 고려함으로써 해소될 수 있다.
다시 도 1을 참조하면, 에지 위치의 추정을 위한 연산을 고속으로 수행하기 위하여, 에지 프로파일의 에지 폭을 그래디언트의 최적의 승수에 직접적으로 연관시키는 단계(S20)가 수행된다. 도 5는 도 1의 단계 S20의 흐름도이다. 에지 폭을 승수에 직접적으로 연관시키기 위하여, 에지 프로파일의 블러 값이 주어질 때, 에지 프로파일의 에지 폭을 계산한다.
도 7은 에지 폭과 블러 값 간의 대응 관계를 예시한 그래프이다. 도 7을 참조하면, 에지 프로파일의 에지 폭과 블러 값 간의 관계가 최소 자승법(least-squares method)을 이용하여 곡선 파라미터의 형태로 획득된다. 실시예에서, 에지 프로파일의 에지 폭은 에지 위치 및 블러 값에 의해 생성되는 각 에지 프로파일에 대해, 에지 프로파일의 좌측 및 우측 경계를 결정함으로써 산출될 수 있다.
실시예로, 에지 프로파일에서 연속하는 밝기 값 간의 차이를 결정함으로써, 밝기 값의 그래디언트를 포함하는 프로파일을 계산하고, 에지 프로파일의 중간으로부터 시작하여 왼쪽을 향하여 진행하여 각 에지 프로파일 구간의 그래디언트를 확인하는 것에 의해 에지 프로파일의 좌측 경계를 결정할 수 있다. 이 과정은 에지 프로파일 구간의 그래디언트가 1/255 미만이 되면 중단될 수 있다. 유사한 과정으로 우측 경계를 결정한다.
다음으로, 완전한 형태로 에지 프로파일의 형태를 확보하기 위하여, 좌측 및 우측 경계는 각 경계 구간으로부터 왼쪽 및 오른쪽 방향을 향하는 2개의 추가 픽셀 만큼 확장된다. 마지막으로, 확장된 경계 내의 픽셀들의 개수를 카운트함으로써, 주어진 에지 위치 및 블러 값에 대해, 각 에지 프로파일의 에지 폭이 계산된다.
도 7에 도시된 바와 같이, 에지 프로파일의 에지 폭은 블러 값과 밀접한 관계를 가지는 것을 알 수 있다. 에지 프로파일의 블러와 에지 폭 간의 대응 관계는 최소 자승법에 의해 산출될 수 있다(S21). 에지 폭과 블러 값의 대응점들은 최소 자승법에 의해 아래 수식 14와 같이 2차 다항식으로 근사될 수 있다.
[수식 14]
Figure PCTKR2018016382-appb-I000022
wi는 i번째 에지 프로파일의 에지 폭, bi는 i번째 에지 프로파일의 블러 값, a, b, c는 추정되는 곡선 파라미터, εi는 i번째 블러 값에 존재하는 것으로 추정되는 랜덤 오차이다. 도 7의 예에서, a, b, c는 각각 0.0014, 0.1625, -1.0131이다. 이러한 계수 값들을 가지는 2차 다항식이 도 7에 도시되어 있다. 도 7은 2차 다항식이 에지 폭과 블러 값의 관계를 잘 나타내는 것을 보여준다.
도 6에 도시된 기준 다이어그램과, 도 7의 곡선 파라미터들을 이용하여 에지 폭과 최적 승수 간의 직접적인 관계가 도출될 수 있다(S22). 첫째, 주어진 에지 폭에 대해, 추정된 계수들을 가지는 2차 다항식을 이용하여 대응되는 블러 값이 계산된다. 다음으로, 주어진 에지 폭으로 구성된 좌표점과, 계산된 블러 값이 기준 다이어그램에 식별된다. 다이어그램에서, 에지 폭은 룩업 테이블(Lookup table) 내에서 커널 크기에 대응되도록 고려된다. 다음으로, 4개의 그리드 점들을 이용한 이차선형 보간에 의해 빈 점에서의 최적의 승수가 계산된다.
도 8은 본 발명의 실시예에 따라 에지 폭과 승수를 직접적으로 연관시킨 결과를 보여주는 도면이다. 도 8을 참조하면, 에지 폭이 25 픽셀 보다 작으면, 최적 승수는 에지 폭이 증가함에 따라 증가한다. 그러나, 에지 폭이 25 픽셀 보다 크면, 최적의 승수는 에지 폭이 증가함에 따라 감소한다. 데이터 점들은 약간의 편차는 있지만, 분명한 추세를 갖는다. 이 때문에, 에지 폭과 승수 간의 추세는 두 개의 직선으로 감소될 수 있다.
다시 도 1을 참조하면, 에지 폭과 승수 간의 추세를 나타내는 도 8의 직선들을 이용하여 에지 프로파일의 에지 폭에 대한 최적의 승수가 계산될 수 있다(S30). 에지 폭들에 대응하는 최적 승수들은 어레이 내에 저장되고, 서브픽셀 에지 위치 결정에 이용될 수 있다. 설정된 에지 폭과 승수의 대응 관계를 기반으로, 에지 위치를 측정하고자 하는 영상 내의 에지 프로파일의 에지 폭에 따라 에지 위치의 결정을 위한 에지 프로파일의 그래디언트에 적용될 승수를 결정한다. 노이즈의 영향을 줄이기 위해, 서브픽셀 에지 위치 결정 전에 스무딩 오퍼레이션(smoothing operation)이 적용될 수 있다. 영상 스무딩 처리 후에, 영상 내의 각 에지 프로파일 내의 밝기 값은 0.0 ~ 1.0 범위로 설정될 수 있다.
에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 그래디언트를 생성하고, 설정된 커널 크기와 에지 폭과 승수의 대응 관계를 기반으로 에지 폭에 따라 결정된 승수를 그래디언트에 적용하여 상기 수식 1에 따라 에지 위치를 결정할 수 있다(S40).
도 9는 본 발명의 다른 실시예에 따른 에지 위치 결정 방법의 흐름도이다. 도 9를 참조하면, 본 발명의 실시예에 따른 에지 위치 결정 방법은 에지 프로파일의 블러 정도에 따라 에지 위치 결정의 정확도를 높이기 위하여, 에지 프로파일의 블러 값에 따라 그래디언트의 적응적 가중(S42; Adaptive Weighting of Gradients) 또는 그래디언트의 자승(S41; Squared Weighting of Gradients)을 선택적으로 적용하여 에지 위치를 결정할 수 있다.
먼저, 에지 프로파일들의 에지 폭과 승수를 연관시켜 에지 폭과 그래디언트의 승수의 대응 관계를 산출하기 위하여, 오차 함수(Erf function)와 노이즈에 의해 다양한 에지 폭, 다양한 에지 위치, 다양한 커널 크기(Kernel size)로 에지 모델링을 수행하고, 오차의 전파(error propagation)에 기반하여 그래디언트(에지 프로파일의 인접한 픽셀 값들 간의 차분 값)의 최적의 승수(optimal power factors of gradients)를 도출한다(S10).
이어서, 오차의 전파에 기반하여 에지 프로파일의 에지 폭과 승수를 직접적으로 연관시켜, 에지 폭과 승수의 대응 관계(룩업 테이블)를 산출한다(S20). 이때, 승수들에 할당된 모든 에지 위치들에 대해 결정된 MSE 값들 중 최소의 MSE 값을 생성하는 승수가 주어진 커널 크기 및 에지 폭에 대응되는 블러 값에 대한 최적의 승수로 선택될 수 있다.
이후, 설정된 에지 폭과 승수의 대응 관계를 기반으로, 에지 위치를 측정하고자 하는 영상 내의 에지 프로파일의 에지 폭에 따라 에지 위치의 결정을 위한 에지 프로파일의 그래디언트에 적용될 승수를 결정한다(S30). 먼저, 노이즈의 영향을 줄이기 위해, 에지 위치 결정 전에 스무딩 오퍼레이션(smoothing operation)에 의해 입력 영상의 노이즈를 제거하고(S31, S32), 영상 스무딩 처리 후에 영상 내의 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 그래디언트를 연산하고(S33), 각 에지 프로파일의 에지 폭을 산출하고(S34), 산출된 에지 폭이 기준 픽셀수(도 9의 예에서, 15 픽셀)를 초과하는지를 판단한다(S35).
단계 S35에서, 에지 프로파일의 블러 값이 작은 경우(에지 폭이 기준 픽셀수 이하인 경우)에는 그래디언트에 적용될 승수를 자승으로 결정하여 그래디언트의 자승(SWG) 기반으로 에지 위치를 결정하고(S41, S49), 에지 프로파일의 블러 값이 큰 경우(에지 폭이 기준 픽셀수를 초과하는 경우)에는 그래디언트의 적응적 가중(AWG) 기반으로 에지 위치를 결정한다(S42 ~ S49).
에지 프로파일의 에지 폭이 기준 픽셀수를 초과하는 경우, 룩업 테이블을 기반으로 에지 폭에 대응하는 최적의 승수를 결정하고, 결정된 최적의 승수를 그래디언트의 승수로 적용하여 에지 위치를 1차로 결정하고, 그래디언트의 적응적 가중(AWG) 기반으로 산출되는 에지의 평균 제곱근 편차(RMSD; root mean squares of the differences)가 기준값(도 9의 예에서, 8/255) 이하인지 판단한다(S42, S43).
단계 S43에서, 에지의 평균 제곱근 편차(RMSD)가 기준값 이하이면 단계 S42에서 그래디언트의 적응적 가중 기반으로 산출된 에지 위치가 최종적으로 선택되고(S44, S49), 에지의 평균 제곱근 편차(RMSD)가 기준값을 초과하는 경우, 룩업 테이블을 기반으로 산출된 최적의 승수에 설정된 수정 값(도 9의 예에서, 0.2)을 추가 반영하여 최적의 승수에 수정 값을 더한 승수를 그래디언트에 적용한다(S45). 이어서, 수정 값을 반영하여 수정된 승수(도 9의 예에서, 초기 AWG 승수에 수정 값 0.2를 더한 승수)를 그래디언트에 적용하여 산출한 에지의 평균 제곱근 편차 RMSD(AWG+0.2)를 다시 산출하고, 이를 승수 수정 전에 산출한 에지의 평균 제곱근 편차 RMSD(AWG)와 비교한다(S46).
단계 S46에서, 승수 수정 후 에지의 평균 제곱근 편차가 승수 수정 전 보다 감소되지 않는 경우에는 수정 전의 승수를 기반으로 산출된 에지 위치를 최종적으로 선택하고(S47, S49), 승수 수정 후 에지의 평균 제곱근 편차가 승수 수정 전 보다 감소되는 경우에는 수정된 승수를 기반으로 산출된 에지 위치를 최종적으로 선택한다(S48, S49). 따라서, 단계 S40의 일련의 프로세스를 통해, 에지 프로파일의 에지 폭, 그리고 그래디언트의 적응적 가중에 따라 산출되는 에지의 평균 제곱근 편차를 기반으로 최적의 그래디언트의 승수를 적용하여 에지의 위치를 정확하게 결정할 수 있다.
본 발명의 실시예에 따른 에지 위치 결정 방법의 성능을 검증하기 위하여, 가상으로 생성된 영상을 이용하여 다양한 조건 하에서 테스트를 수행하였다. 이를 위해, 다양한 블러 값, 다양한 노이즈 레벨, 다양한 에지 위치들을 가지는 가상의 영상들이 생성되었다. 영상의 블러 값(σb)은 0.40, 0.75, 1.00, 1.25, 1.50, 1.75, 2.00, 2.25로 생성되었다.
영상의 밝기 값의 노이즈 레벨(σy)은 두 그룹으로 분류하였다. 첫번째 그룹은 2/255, 4/255, 6/255, 8/255의 노이즈 레벨을 가지고, 두번째 그룹은 10/255, 20/255, 30/255, 40/255의 노이즈 레벨을 가진다. 영상들의 에지 위치는 -0.5 ~ 0.5 픽셀의 범위에서 0.1 픽셀 간격으로 변화시켰다. 각 영상에 포함된 에지 프로파일의 개수는 1000개로 설정하였다. 각 영상에서 에지 프로파일은 상기 수식 8을 이용하여 생성되었다. 다양한 노이즈가 매트랩(Matlab)의 정규 분포를 기반으로 임의로 생성되었으며, 에지 프로파일에 추가되었다. 마지막으로, 랜덤 노이즈가 추가된 에지 프로파일을 이용하여 본 발명의 실시예에 따른 에지 위치 결정 방법의 성능을 종래의 방법들과 비교하였다.
제곱근 평균 오차(RMSE; root mean squared errors)의 평균 및 최대 값, 그리고 -0.5 ~ 0.5 픽셀 범위로 설정된 실제 에지 위치에 대하여 시뮬레이션된 에지에 대해 최대 RMSE가 관찰된 에지 위치가 계산되었으며, 이를 표 1과 표 2에 정리하였다.
Figure PCTKR2018016382-appb-I000023
Figure PCTKR2018016382-appb-I000024
에지 위치 결정 방법들 중, 'SM'은 "IEEE Trans. Pattern Analysis and Machine Intelligence, vol.　11,　no. 12,　pp. 1293-1309,　1989, doi:10.1109/34.41367, Subpixel Measurement Using a Moment-Based Edge Operator (E.P. Lyvers, O.R. Mitchell, M.L. Akey, and A.P. Reeves)"에 기재된 방법이고, 'GM'은 "IEEE Trans. Pattern Analysis and Machine Intelligence, vol.　PAMI-6,　no.　2,　pp. 188-201,　1984, doi:10.1109/TPAMI.1984.4767502, Edge Localization to Subpixel Values in Digital Imagery (A.J. Tabatabai and O.R. Mitchell)"에 기재된 방법이고, 'EF'는 "Optik, vol. 125, no. 9, pp. 2076-2080, May 2014, doi:10.1016/ijleo.2013.10.020, Sub-Pixel Dimensional Measurement with Logistic Edge Model (P. Chen, F. Chen, Y. Han, and Z. Zhang)"에 기재된 방법이고, 'SWG'는 그래디언트의 자승에 기반한 에지 위치 결정 방법이고, 'AWG'는 본 발명의 실시예에 따른 그래디언트의 적응적 가중에 기반한 에지 위치 결정 방법이다.
본 발명의 실시예(AWG)와 다른 방법들의 비교를 위하여, 표 1, 표 2에 AWG의 평균 RMSE(Mean), 최대 RMSE(MAX)를 정리하였으며, SM, GM, EF, SWG의 평균 RMSE(rmean), 최대 RMSE(rmax)를 AWG에 대한 비율로 나타내었다. 또한, 각 방법에서 최대 RMSE로 측정된 에지 위치(Lmax)를 표 1, 표 2에 정리하였다. 표 1에 요약된 낮은 노이즈 레벨에 대한 32개의 모든 실험에서, 본 발명의 실시예에 따른 에지 위치 결정 방법의 정확도가 다른 방법들 보다 높은 결과를 나타낸다. AWG에 대한 다른 방법들의 평균 RMSE 비율들의 평균 값을 확인해보면, 본 발명의 실시예(AWG)는 SM 보다 149% 더 정확하고, GM 보다 21% 더 정확하고, EF 보다 2% 더 정확하고, SWG 보다 7% 더 정확한 것을 알 수 있다.
높은 노이즈 레벨에 대한 실험에서, 본 발명의 실시예(AWG)는 최적의 승수가 0.2 만큼 더해지도록 수정되는 경우에 보다 높은 정확도를 갖는다. 표 2는 이러한 승수 수정 후의 결과를 요약한 것이다. 이와 같이 승수를 수정한 경우, 높은 노이즈 레벨에 의해 영상 프로파일에 변형이 발생할 때 상대적으로 높은 그래디언트 값을 가지는 에지 구간들의 좌표에 보다 많은 가중치가 부여됨으로써, 에지 프로파일의 변형 문제를 보다 잘 극복할 수 있다. 표 2에 요약된 높은 노이즈 레벨에 대한 실험 33-64의 결과는 낮은 노이즈 레벨의 경우와 마찬가지로, 본 발명의 실시예(AWG)가 다른 방법들에 비해 높은 에지 위치 결정의 정확도를 나타내는 것을 보여준다. 표 1, 표 2 중 에지 프로파일의 블러 값이 0.75 인 경우에는 SWG의 정확도가 AWG 보다 높은 것을 알 수 있다.
Figure PCTKR2018016382-appb-I000025
Figure PCTKR2018016382-appb-I000026
표 3, 표 4는 본 발명의 실시예(AWG)에 대한 표 1, 표 2의 실험들에서 사용된 에지 프로파일의 에지 폭의 평균(Mean of Edge Widths)과 그래디언트에 적용된 승수의 평균(Mean of Applied Power Factors)을 정리한 것이다. 표 3에 도시된 바와 같이, 에지 폭의 평균 값은 13.74 ~ 20.86 범위이다.표 3, 표 4를 참조하면, 에지 프로파일들의 에지 폭의 평균 값은 에지 프로파일의 블러 값의 증가에 따라 증가하는 것을 알 수 있다. 동등한 블러 값을 가지는 실험들의 경우, 노이즈에 기인한 에지 폭의 변동은 크지 않다. 본 발명의 실시예(AWG)에서 에지 프로파일의 그래디언트에 적용된 최적 승수의 평균은 1.3755 ~ 1.5442 범위에서 블러 값이 증가함에 따라 증가하는 경향을 가진다.
표 4에 요약된 바와 같이, 높은 노이즈 레벨의 에지 프로파일들에 대한 실험들에서, 본 발명의 실시예(AWG)에 의해 결정된 에지 폭의 평균은 14.31 ~ 20.70 범위를 가진다. 이는 낮은 노이즈 레벨에 대한 실험 결과와 유사하다. 그러나, 높은 노이즈 레벨의 실험들에 사용된 최적 승수의 평균은 1.5891 ~ 1.7399 범위를 가진다. 이는 낮은 노이즈 레벨의 실험 결과보다 0.2 정도 큰 값이다.
또한, 표 3, 표 4에 그래디언트 프로파일의 첨도(kurtosis) 값의 평균을 나타내었다. 그래디언트 프로파일에 대한 3.0의 첨도(kurtosis) 값은 그래디언트 프로파일이 완벽한 정규 분포를 가지는 것을 의미한다. 그래디언트 프로파일에 대한 3.0 미만의 첨도(kurtosis) 값은 그래디언트 프로파일이 완벽한 정규 분포보다 평평하다는 것을 의미하고, 에지 폭은 완벽한 정규 분포를 가지는 에지 프로파일의 에지 폭과 비교하여 약간 감소한다. 따라서, 에지 폭은 그래디언트 프로파일의 첨도(kurtosis) 값이 감소함에 따라 감소하는 경향을 가진다.
에지 위치 결정 방법들의 속도를 비교 평가하기 위해, 각 방법 마다 352,000개의 에지 프로파일들을 처리하는데 소요된 시간을 측정하였으며, 표 5 및 표 6에 나타내었다. 측정은 Intel Core i7, 3.60 GHz의 CPU, 16 GB 메모리를 갖는 데스크탑 컴퓨터에서 매트랩 환경에서 수행되었다.
Figure PCTKR2018016382-appb-I000027
Figure PCTKR2018016382-appb-I000028
표 5 및 표 6에 나타난 바와 같이, EF 이외의 방법들은 모든 에지 프로파일을 처리하는데 8초 이하의 시간이 소요되었다. AWG와 EF의 비교 결과는 표 5에 요약된 바와 같이, 낮은 노이즈 레벨에 대한 실험들에서 본 발명의 실시예(AWG)가 EF 보다 약 48배 빠르고, 표 6에 요약된 바와 같이, 높은 노이즈 레벨에 대한 실험들에서 본 발명의 실시예(AWG)가 EF 보다 약 55배 빠른 것을 나타낸다. 이러한 처리 시간의 차이는 제한된 시간 내에 상당히 많은 에지 프로파일을 갖는 영상들의 에지 위치 결정 프로세스를 완료해야 하는 경우, 중요하게 작용할 수 있다. 에지 위치 결정 방법들의 성능을 더 정확하게 조사하기 위하여, 0.5 ~ 0.9 범위에서 0.1 간격으로 블러 값을 변화시키면서 추가 실험들을 수행하였다. 이 범위의 블러 값은 실제 영상에서 자주 나타나는 범위이다. 표 7은 추가적인 실험들에 대한 RMSE의 평균 및 최대값 결과를 요약한 것이다.
Figure PCTKR2018016382-appb-I000029
표 7의 RMSE 값들의 요약에 따르면, SWG는 0.50 ~ 0.90 범위의 블러 값의 경우에 다른 방법들보다 우수하다. 본 발명의 실시예(AWG)와 SWG는 블러 값이 0.90 일 때 에지 위치 결정의 정확도가 거의 비슷하다. 0.50 ~ 0.90 블러 범위 내의 그래디언트 프로파일의 대칭성은 노이즈에 의해 쉽게 영향받고 그래디언트 프로파일의 비대칭성이 증가하기 때문에, 본 발명의 실시예(AWG)는 0.50 ~ 0.90 블러 범위에서 에지 위치 결정의 정확도 면에서 SWG 보다 성능이 열등하다. 이 블러 범위에서 SWG는 AWG에 의해 사용되는 승수보다 높은 2.0의 승수를 이용하여 이러한 문제를 잘 극복한다. 표 8, 표 9는 본 발명의 실시예(AWG)에 대한 표 7의 실험들에서 사용된 에지 프로파일의 에지 폭의 평균(Mean of Edge Widths)과 그래디언트에 적용된 승수의 평균(Mean of Applied Power Factors)을 정리한 것이다.
Figure PCTKR2018016382-appb-I000030
Figure PCTKR2018016382-appb-I000031
실제 영상에서 생성된 다양한 조건 하에서 서브픽셀 에지 위치 결정의 성능을 비교하기 위해, 타겟 영상들이 이용되었다. 타겟 영상들은 네 개의 타겟 시트에 대해 매뉴얼 포커스(manual focus) 기능을 가지는 디지털 일안 반사식(DSLR; digital single-lens reflex) 카메라에 의해 획득되었다. 에지 프로파일을 수집하기 위해 영상들은 다양한 대조 및 안내 선들을 가지도록 설계되었다. 도 10은 타겟 영상들을 보여주는 도면이다. 각 영상의 크기는 360 × 360 픽셀이고, 각 영상에서 네 개의 긴 검은 영역의 중심축은 각 영상의 중심 내의 체크보드 박스 내에서 대조에 의해 발생하는 에지 프로파일을 수집하기 위한 안내 선들로 사용되었다. 각 영상에서 수집된 에지 프로파일들의 블러 값들의 평균과 노이즈의 평균을 계산하였으며, 각 타겟 영상 내의 그래디언트 프로파일의 첨도(kurtoses)의 평균을 계산하였다. 표 10은 이들의 평균 값들을 보여준다.
Figure PCTKR2018016382-appb-I000032
타겟 1, 2, 3, 4에 대해 획득된 영상들에 대한 블러 값들은 각각 약 0.9, 0.7, 0.8, 0.8 였다. 에지 프로파일 내에 관찰된 노이즈는 낮은 레벨의 노이즈에 속했다. 표 8, 표 10을 참조하면, 타겟 1에 대한 테스트 A, B, C는 이들의 에지 프로파일이 시뮬레이션 테스트와 유사한 첨도(kurtoses)를 가지며, 따라서 본 발명의 실시예(AWG)에 의해 적용된 시뮬레이션 테스트와 비교하여 에지 폭과 승수와 유사하다는 것을 알 수 있다.
Figure PCTKR2018016382-appb-I000033
표 11은 각 타겟 시트에 대해 획득된 타겟 영상들에 대하여 에지 위치 결정 방법들에 의해 결정된 에지 위치들 간의 거리의 평균을 정리한 것이다. 타겟 1, 3, 4의 경우, SWG, AWG, EF, GM, SM 순으로 정확한 결과를 나타내었으며, 타겟 2의 경우 SWG, AWG, GM, SM 순으로 정확한 결과를 나타내었다. SWG가 가장 높은 정확도를 나타낸 것은 타겟 영상들 내의 에지 프로파일들의 블러 값들의 범위(0.7 ~ 0.9)가 0.5 ~ 0.9 범위에 속했기 때문이다.
다음으로, 512 × 512 픽셀 크기의 레나 영상(Lena image)을 테스트 영상으로 이용하여 서브픽셀 에지 위치 결정 방법들의 성능을 비교하였다. 도 11은 레나 영상을 보여주는 도면이다. 도 12는 레나 영상으로부터 획득한 영상 칩들의 확대도이다. 도 12에 도시된 바와 같이, 원본 영상에서 영역들을 크로핑(cropping)하여 분명한 에지 특징을 가지는 51× 51 픽셀 크기를 가지는 여섯 개의 영상 칩들을 확보하였다. 표 12는 각 영상 칩 내의 에지 프로파일들의 특징을 요약한다.
Figure PCTKR2018016382-appb-I000034
타겟 영상 내의 에지 프로파일들과 유사하게, 레나 영상 내의 에지 프로파일들 또한 테스트 B를 제외하고, 시뮬레이션 테스트 보다 작은 첨도(kurtosis) 값을 가지고, 그래디언트의 적응적 가중(AWG)에 의해 적용된 승수는 0.02 ~ 0.07 로 감소되었다. 그러나, 이 정도의 감소는 AWG에 의해 계산된 에지 위치를 변화시키는데 미미한 정도로 생각할 수 있다. 모든 영상 칩들 내의 에지 프로파일들은 테스트 B의 영상 칩의 경우를 제외하고 낮은 노이즈 레벨에 속했다. 테스트 B에 대한 영상 칩 내의 에지 프로파일들은 높은 노이즈 레벨에 속했다. 따라서, 비교를 위해 AWG의 두 가지 버전이 영상 칩들 내의 에지 프로파일들에 적용되었다. 첫번째 버전은 평균이 1.4985인 승수를 사용하였다. 이는 오차 전파에 의해 초기에 유도된 값이다. 두번째 버전(AWG + 0.2)은 평균이 1.6985인 승수가 사용되었다. 이는 노이즈의 증가로 인해 그래디언트 프로파일이 대칭에서 변형되는 것을 상쇄하기 위한 것이다.
도 12의 아래의 그림들은 AWG에 의해 결정된 에지 자취를 보여준다. 테스트 A, C, D의 경우, SWG가 가장 정확한 서브픽셀 에지 위치 결정을 나타내고, 그래디언트의 적응적 가중 방법(AWG)은 테스트 E, F에서 가장 정확한 성능을 나타내고, AWG + 0.2는 테스트 B에서 가장 정확한 성능을 나타낸다.
Figure PCTKR2018016382-appb-I000035
표 13은 서브픽셀 에지 위치 결정 방법들에 의해 결정된 에지 위치들 중 거리들의 평균을 요약한 것이다. 에지 위치 결정의 정확도 측면에서, 테스트 A의 경우, SWG, AWG, EF, GM, SM 순으로 정렬되고, 테스트 B의 경우, AWG + 0.2, EF, GM, AWG, SWG, SM 순으로 정렬되고, 테스트 C의 경우, SWG, AWG, GM, EF, SM 순으로 정렬되고, 테스트 D의 경우, SWG, AWG, GM, EF, SM 순으로 정렬되고, 테스트 E의 경우, AWG, EF, GM, SWG, SM 순으로 정렬되고, 테스트 F의 경우, AWG, EF, GM, SWG, SM 순을 정렬된다. 요약하면, SWG가 가장 우수한 방법일 때, AWG는 두 번째로 우수한 방법이지만, AWG가 가장 우수한 방법일 때, SWG는 두번째 우수한 방법에 해당하지 않았다. 이는 일반적인 에지 프로파일들에 적용될 때 SWG보다 AWG가 더 신뢰할만하다는 것을 의미하다.
타겟 영상을 촬영하는데 사용된 것과 동일한 카메라에 의해 건축물 외관(building facade)에 대해 획득된 테스트 영상으로 추가 실험이 수행되었다. 도 13은 건축물 외관에 대해 획득한 영상을 보여주는 도면이다. 영상 크로핑에 의해 7개의 영상 칩들을 확보하였다. 도 14는 건축물 외관 영상으로부터 획득한 영상 칩들을 보여주는 도면이다. 도 14의 상부에 도시된 그림들과 같이, 동일한 안내 마크들이 생성되었다.
Figure PCTKR2018016382-appb-I000036
표 14에 요약된 바와 같이, 영상 칩들 내의 그래디언트 프로파일들의 첨도(kurtoses)는 시뮬레이션 테스트 보다 작고, 그래디언트의 적응적 가중(AWG)에 의해 적용된 승수의 평균이 시뮬레이션 테스트 보다 작은 것을 알 수 있다. 승수 감소량은 0.02 ~ 0.10 범위였으며, 그래디언트의 적응적 가중(AWG)에 의해 계산된 에지 위치를 변화시키는데 중요하지 않은 것으로 생각된다. 도 14의 하부 그림들은 그래디언트의 적응적 가중(AWG)에 의해 결정된 에지 위치를 보여준다. 표 15는 에지 위치 결정 방법들에 의해 계산된 에지 위치들 간의 거리의 평균을 정리한 것이다.
Figure PCTKR2018016382-appb-I000037
영상 칩들로부터 수집된 모든 에지 프로파일들은 낮은 노이즈 레벨에 속한다. 따라서, 표 1, 표 7, 표 15에 따르면, 에지 위치 결정 방법들의 성능은 정확도 순으로 아래와 같이 정렬될 수 있다. 그래디언트의 자승에 기반한 에지 위치 결정 방법(SWG)은 테스트 A, B, D, E에서 가장 우수한 정확도를 나타내었다. 그래디언트의 적응적 가중에 기반한 에지 위치 결정 방법(AWG)은 테스트 C, F, G에서 가장 우수한 정확도를 나타내었다.
상기한 실험 결과들을 요약하면, 그래디언트의 적응적 가중에 기반한 에지 위치 결정 방법(AWG)은 원본 에지 프로파일 내의 블러가 0.90 보다 큰 경우, 가장 우수한 방법이었으며, 그래디언트의 자승에 기반한 에지 위치 결정 방법(SWG)은 블러가 0.50 ~ 0.90 범위일 때 가장 우수한 방법이다. 따라서, 본 발명의 실시예에 따라, 그래디언트의 적응적 가중 방법(AWG)과 그래디언트의 자승 방법(SWG) 각각의 이점을 결합함으로써, 에지 위치를 보다 정확하게 결정할 수 있다. 본 발명의 실시예에 따른 에지 위치 결정 방법은 기존의 가장 정확하다고 알려진 방법에 비해 70배 이상 빠르고, 적은 연산량으로 더 정확한 에지 위치 결정 결과를 얻을 수 있다.
본 발명의 실시예에 따른 방법은 예를 들어 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM) 등과 같은 휘발성 메모리, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리 장치, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM)과 같은 불휘발성 메모리, 플로피 디스크, 하드 디스크 또는 광학적 판독 매체 예를 들어 시디롬, 디브이디 등과 같은 형태의 저장매체일 수 있으나, 이에 제한되지는 않는다.
이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명까지 미치는 것임을 이해하여야 한다.

Claims (19)

  1. 영상 내의 에지 프로파일의 에지 폭을 기반으로, 에지 위치의 결정을 위해 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정하는 단계;
    상기 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 상기 그래디언트를 생성하는 단계; 및
    상기 에지 폭을 기반으로 결정된 상기 승수를 상기 그래디언트에 적용하여 상기 에지 위치를 결정하는 단계;를 포함하는 에지 위치 결정 방법.
  2. 제 1 항에 있어서,
    상기 승수를 결정하는 단계는,
    미리 설정된 에지 폭과 승수의 대응 관계를 기반으로, 상기 에지 폭에 대응하는 상기 승수를 결정하는 단계;를 포함하는 에지 위치 결정 방법.
  3. 제 1 항에 있어서,
    상기 승수를 결정하는 단계는,
    미리 설정된 커널(kernel) 크기와 에지 폭과 승수의 대응 관계를 기반으로, 상기 에지 프로파일의 커널 크기 및 상기 에지 폭에 대응하는 상기 승수를 결정하는 단계;를 포함하는 에지 위치 결정 방법.
  4. 제 2 항에 있어서,
    다양한 에지 폭을 가지는 소정의 에지 프로파일들에 대한 승수 별 오차의 전파를 산출하는 단계; 및
    상기 오차의 전파가 최소인 승수를 결정하여, 상기 에지 폭과 승수의 대응 관계를 산출하는 단계;를 더 포함하는 에지 위치 결정 방법.
  5. 제 4 항에 있어서,
    상기 오차의 전파를 산출하는 단계는,
    다양한 블러 값을 가지는 상기 에지 프로파일들 각각에 대해, 인접한 픽셀 값들 간의 그래디언트 벡터를 산출하는 단계;
    상기 그래디언트에 적용되는 승수 별로 에지 프로파일에 적용될 가중치 벡터를 생성하는 단계;
    상기 가중치 벡터를 기반으로, 승수 별로 상기 가중치 벡터에 대한 에지 위치의 편미분을 산출하는 단계;
    상기 그래디언트를 기반으로 승수 별로 상기 가중치 벡터의 그래디언트에 대한 편미분을 산출하는 단계;
    상기 에지 프로파일들 각각의 오차의 표준 편차를 기반으로, 그래디언트 벡터의 분산을 산출하는 단계; 및
    상기 그래디언트의 분산과, 상기 가중치 벡터에 대한 에지 위치의 편미분과, 상기 가중치 벡터의 상기 그래디언트에 대한 편미분과, 승수 별로 예측된 에지 위치와 실제 에지 위치 간의 차이값을 기반으로, 승수 별로 상기 오차의 전파를 산출하는 단계;를 포함하는 에지 위치 결정 방법.
  6. 제 5 항에 있어서,
    상기 에지 폭과 승수의 대응 관계를 산출하는 단계는,
    상기 다양한 블러 값 각각에 대해 상기 오차의 전파가 최소인 승수를 결정하여, 블러와 승수의 대응 관계를 산출하는 단계;
    상기 블러와 상기 에지 프로파일들의 에지 폭 간의 대응 관계를 산출하는 단계; 및
    상기 블러와 승수의 대응 관계 및 상기 블러와 에지 폭 간의 대응 관계를 기반으로, 상기 에지 폭을 직접적으로 승수에 연관시키는 단계;를 포함하는 에지 위치 결정 방법.
  7. 제 5 항에 있어서,
    상기 가중치 벡터에 대한 에지 위치의 편미분은 하기 식 1에 따라 산출되고,
    [식 1]
    Figure PCTKR2018016382-appb-I000038
    상기 식 1에서, ｌ은 에지 위치, x는 상기 에지 프로파일의 구간 좌표를 나타내는 벡터, xi는 상기 에지 프로파일의 i번째 구간의 중간 좌표 값, w는 상기 가중치 벡터, wi는 상기 가중치 벡터의 i번째 구간의 가중치 값, n은 상기 에지 프로파일 내의 픽셀들의 개수인 에지 위치 결정 방법.
  8. 제 7 항에 있어서,
    상기 가중치 벡터의 그래디언트에 대한 편미분은 하기 식 2에 따라 산출되고,
    [식 2]
    Figure PCTKR2018016382-appb-I000039
    상기 식 2에서, w는 상기 가중치 벡터, g는 상기 그래디언트이고, p는 상기 그래디언트의 승수인 에지 위치 결정 방법.
  9. 제 8 항에 있어서,
    상기 그래디언트의 분산은 하기 식 3에 따라 산출되고,
    [식 3]
    D{g} = B·σy 2·InBT = σy 2BBT
    Figure PCTKR2018016382-appb-I000040
    상기 식 3에서, D{g}는 상기 그래디언트의 분산, σy는 상기 에지 프로파일의 밝기 값의 오차의 표준 편차, n은 에지 프로파일의 구간 개수, In은 항등 행렬인 에지 위치 결정 방법.
  10. 제 9 항에 있어서,
    상기 오차의 전파는 하기의 식 4 및 식 5에 따라 산출되고,
    [식 4]
    Figure PCTKR2018016382-appb-I000041
    [식 5]
    Figure PCTKR2018016382-appb-I000042
    상기 식 4 및 식 5에서, MSE{ｌ}는 상기 오차의 전파, D{ｌ}은 에지 위치의 분산, D{g}는 상기 그래디언트의 분산,
    Figure PCTKR2018016382-appb-I000043
    는 상기 가중치 벡터에 대한 상기 에지 위치의 편미분,
    Figure PCTKR2018016382-appb-I000044
    는 상기 가중치 벡터의 상기 그래디언트에 대한 편미분, (ｌ-ｌtrue)는 추정된 에지 위치와 실제 에지 위치 간의 차이값인 에지 위치 결정 방법.
  11. 제 1 항에 있어서,
    에지 위치를 예측할 에지 프로파일에 대해 블러 값을 산출하는 단계;를 더 포함하고,
    상기 그래디언트에 적용할 승수를 결정하는 단계는 상기 블러 정도에 따라, 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정하는 에지 위치 결정 방법.
  12. 제 11 항에 있어서,
    상기 그래디언트에 적용할 승수를 결정하는 단계는,
    상기 에지 프로파일의 블러 값이 0.9 보다 크거나 0.5 미만인 경우, 상기 에지 프로파일의 상기 에지 폭을 기반으로 상기 그래디언트에 적용할 승수를 결정하는 단계; 및
    상기 에지 프로파일의 블러 값이 0.5 ~ 0.9 범위 내인 경우, 상기 에지 프로파일의 그래디언트에 적용할 승수를 자승으로 결정하는 단계;를 포함하는 에지 위치 결정 방법.
  13. 제 1 항의 에지 위치 결정 방법을 실행시키는 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
  14. 적어도 하나의 프로세서를 포함하는 에지 위치 결정 장치에 있어서,
    상기 프로세서는,
    영상 내의 에지 프로파일의 에지 폭을 기반으로, 에지 위치의 결정을 위해 상기 에지 프로파일의 그래디언트에 적용할 승수를 결정하고;
    상기 에지 프로파일의 인접한 픽셀 값들 간의 차분 값을 산출하여 상기 그래디언트를 생성하고; 그리고
    상기 에지 폭을 기반으로 결정된 상기 승수를 상기 그래디언트에 적용하여 상기 에지 위치를 결정하는 에지 위치 결정 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는,
    미리 설정된 에지 폭과 승수의 대응 관계를 기반으로, 상기 에지 프로파일의 커널 크기 및 상기 에지 폭에 대응하는 상기 승수를 결정하는 에지 위치 결정 장치.
  16. 제 15 항에 있어서,
    상기 프로세서는,
    다양한 에지 폭을 가지는 소정의 에지 프로파일들에 대한 승수 별 오차의 전파를 산출하고;
    상기 오차의 전파가 최소인 승수를 결정하여, 상기 에지 폭과 승수의 대응 관계를 산출하는 에지 위치 결정 장치.
  17. 제 16 항에 있어서,
    상기 프로세서는,
    다양한 블러 값을 가지는 상기 에지 프로파일들 각각에 대해, 인접한 픽셀 값들 간의 그래디언트 벡터를 산출하고;
    상기 그래디언트에 적용되는 승수 별로 에지 프로파일에 적용될 가중치 벡터를 생성하고;
    상기 가중치 벡터를 기반으로, 승수 별로 상기 가중치에 대한 에지 위치의 편미분을 산출하고;
    상기 그래디언트를 기반으로 승수 별로 상기 가중치 벡터의 그래디언트에 대한 편미분을 산출하고;
    상기 에지 프로파일들 각각의 오차의 표준 편차를 기반으로, 그래디언트 벡터의 분산을 산출하고;
    상기 그래디언트의 분산과, 상기 가중치 벡터에 대한 에지 위치의 편미분과, 상기 가중치 벡터의 상기 그래디언트에 대한 편미분과, 승수 별로 예측된 에지 위치와 실제 에지 위치 간의 차이값을 기반으로, 승수 별로 상기 오차의 전파를 산출하는 에지 위치 결정 장치.
  18. 제 17 항에 있어서,
    상기 프로세서는,
    상기 다양한 블러 값 각각에 대해 상기 오차의 전파가 최소인 승수를 결정하여, 블러와 승수의 대응 관계를 산출하고;
    상기 블러와 상기 에지 프로파일들의 에지 폭 간의 대응 관계를 산출하고;
    상기 블러와 승수의 대응 관계 및 상기 블러와 에지 폭 간의 대응 관계를 기반으로, 상기 에지 폭을 직접적으로 승수에 연관시키는 에지 위치 결정 장치.
  19. 제 14 항에 있어서,
    상기 프로세서는,
    에지 위치를 예측할 에지 프로파일에 대해 블러 값을 산출하고;
    상기 에지 프로파일의 블러 값이 0.9 보다 크거나 0.5 미만인 경우, 상기 에지 프로파일의 상기 에지 폭을 기반으로 상기 그래디언트에 적용할 승수를 결정하고;
    상기 에지 프로파일의 블러 값이 0.5 ~ 0.9 범위 내인 경우, 상기 에지 프로파일의 그래디언트에 적용할 승수를 자승으로 결정하는 에지 위치 결정 장치.
PCT/KR2018/016382 2018-01-03 2018-12-20 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법 WO2019135524A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/959,527 US11348251B2 (en) 2018-01-03 2018-12-20 Device and method for determining edge location based on adaptive weighing of gradients

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0000849 2018-01-03
KR1020180000849A KR101981773B1 (ko) 2018-01-03 2018-01-03 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019135524A1 true WO2019135524A1 (ko) 2019-07-11

Family

ID=66679090

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016382 WO2019135524A1 (ko) 2018-01-03 2018-12-20 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법

Country Status (3)

Country Link
US (1) US11348251B2 (ko)
KR (1) KR101981773B1 (ko)
WO (1) WO2019135524A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709917B (zh) * 2020-06-01 2023-08-22 深圳市深视创新科技有限公司 基于标注的形状匹配算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182522A (ja) * 1993-12-24 1995-07-21 Toshiba Corp 線対称な物体領域を高速に検出する画像処理装置
JP2005122361A (ja) * 2003-10-15 2005-05-12 Sony Computer Entertainment Inc 画像処理装置及び方法、コンピュータプログラム、記録媒体
JP2007213125A (ja) * 2006-02-07 2007-08-23 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム
KR101499927B1 (ko) * 2008-09-04 2015-03-06 실리콘 이미지, 인크. 불규칙성을 제거하기 위해 이미지들의 에지들을 평활화하는 시스템, 방법 및 장치
KR101777696B1 (ko) * 2016-06-22 2017-09-12 경북대학교 산학협력단 면적 대칭성을 이용한 에지 위치 결정 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8059915B2 (en) * 2006-11-20 2011-11-15 Videosurf, Inc. Apparatus for and method of robust motion estimation using line averages
KR101158847B1 (ko) 2010-08-26 2012-06-27 중앙대학교 산학협력단 에지맵을 이용한 디인터레이싱 장치 및 방법
US8630504B2 (en) * 2012-01-16 2014-01-14 Hiok Nam Tay Auto-focus image system
KR101619327B1 (ko) 2015-01-07 2016-05-12 인천대학교 산학협력단 적응적 결합 양측 깊이 맵 업샘플링
IL243113B (en) * 2015-12-15 2020-08-31 Picscout Israel Ltd Trademark recognition for automatic image search engines
KR101733028B1 (ko) * 2016-05-30 2017-05-08 경북대학교 산학협력단 영상대조에 따른 에지 변위량 예측 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182522A (ja) * 1993-12-24 1995-07-21 Toshiba Corp 線対称な物体領域を高速に検出する画像処理装置
JP2005122361A (ja) * 2003-10-15 2005-05-12 Sony Computer Entertainment Inc 画像処理装置及び方法、コンピュータプログラム、記録媒体
JP2007213125A (ja) * 2006-02-07 2007-08-23 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム
KR101499927B1 (ko) * 2008-09-04 2015-03-06 실리콘 이미지, 인크. 불규칙성을 제거하기 위해 이미지들의 에지들을 평활화하는 시스템, 방법 및 장치
KR101777696B1 (ko) * 2016-06-22 2017-09-12 경북대학교 산학협력단 면적 대칭성을 이용한 에지 위치 결정 방법

Also Published As

Publication number Publication date
US11348251B2 (en) 2022-05-31
US20210065373A1 (en) 2021-03-04
KR101981773B1 (ko) 2019-05-27

Similar Documents

Publication Publication Date Title
WO2018223857A1 (zh) 文本行识别方法及***
WO2016074169A1 (zh) 一种对目标物体的检测方法、检测装置以及机器人
WO2012053792A2 (ko) 입력 장치 및 이 장치의 접촉 위치 검출 방법
WO2018070844A1 (ko) 에지 모델링을 위한 에지 블러 설정 방법
WO2018201638A1 (zh) 基于图像识别的信息采集方法、移动终端及存储介质
WO2021101069A1 (ko) 기계 학습 모델을 이용한 반도체 소자 테스트 장치 및 방법
WO2019135524A1 (ko) 그래디언트의 적응적 가중에 기반한 에지 위치 결정 장치 및 방법
WO2023055033A1 (en) Method and apparatus for enhancing texture details of images
WO2015183049A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 산출방법
WO2018214147A1 (zh) 一种机器人标定方法、***、机器人及存储介质
EP4320472A1 (en) Device and method for predicted autofocus on an object
EP3649460A1 (en) Apparatus for optimizing inspection of exterior of target object and method thereof
WO2022075688A1 (en) Occlusion processing for frame rate conversion using deep learning
WO2022092451A1 (ko) 딥러닝을 이용한 실내 위치 측위 방법
WO2023063679A1 (en) Device and method for predicted autofocus on an object
WO2022250372A1 (ko) Ai에 기반한 프레임 보간 방법 및 장치
WO2020251299A1 (ko) 라인 검출 방법
WO2018105830A1 (ko) 동공 중심 검출 방법
WO2020111382A1 (ko) 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
WO2017007047A1 (ko) 불규칙 비교를 이용하는 공간적 깊이 불균일성 보상 방법 및 장치
WO2024029794A1 (en) Method of object registration in video see-through augmented-reality system
WO2014092251A1 (ko) 계란 품질 계측 장치 및 방법
WO2014010812A1 (ko) 비디오 검색을 위한 블록 생성 방법 및 이를 통해 생성된 블록을 기초로 한 질의 처리 방법
WO2022255566A1 (ko) 딥러닝 기반 타겟의 품질 관리 방법 및 이를 이용한 시스템
WO2024122807A1 (ko) 포인트 클라우드 데이터의 오차를 예측하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18898060

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18898060

Country of ref document: EP

Kind code of ref document: A1