WO2011065671A2 - 영상의 정점 검출 장치 및 방법 - Google Patents

영상의 정점 검출 장치 및 방법 Download PDF

Info

Publication number
WO2011065671A2
WO2011065671A2 PCT/KR2010/007485 KR2010007485W WO2011065671A2 WO 2011065671 A2 WO2011065671 A2 WO 2011065671A2 KR 2010007485 W KR2010007485 W KR 2010007485W WO 2011065671 A2 WO2011065671 A2 WO 2011065671A2
Authority
WO
WIPO (PCT)
Prior art keywords
straight line
candidate straight
vertex
image
detecting
Prior art date
Application number
PCT/KR2010/007485
Other languages
English (en)
French (fr)
Other versions
WO2011065671A3 (ko
Inventor
우운택
장영균
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to US13/512,188 priority Critical patent/US8867784B2/en
Priority to EP10833483.0A priority patent/EP2528035B1/en
Publication of WO2011065671A2 publication Critical patent/WO2011065671A2/ko
Publication of WO2011065671A3 publication Critical patent/WO2011065671A3/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed

Definitions

  • the present invention relates to an apparatus and method for detecting a vertex in an image, and more particularly, to an apparatus and method for detecting an optimal vertex based on a vertex in a region of interest (RIO) input by a user.
  • RIO region of interest
  • object modeling involves two steps: the user selects an object's vertices and adjusts the selected point to the correct position.
  • the vertex detection in the object modeling process was performed using algorithms with many user interactions and slow processing time, and could not be modeled in situ since it was never attempted in a mobile phone.
  • 1 is a flow chart for vertex detection during a modeling step according to the prior art.
  • Hensel proposed a method of modeling a scene with a video sequence as input for object modeling in the real world.
  • object modeling method of Hansel, see [A. v. d. Hengel, et al., "Video Trace: Rapid Interactive Scene Modeling from Video,” ACM Transactions on Graphics, vol. 26, no. 3, article 86, July, 2007.
  • the method segments the entire image of each frame of the video and performs edge search based on superpixels for selecting vertices of an object.
  • this process takes a lot of processing time.
  • Hansel's method repeatedly performs mouse input-based selection and adjustment steps to select the exact vertices, which is also problematic for accurate selection and fine tuning in mobile phones equipped with touch screens with low sensing accuracy. have.
  • Gibson is a modeling method for reconstruction of a building in the real world into a three-dimensional structure, in which a frame frame model is superimposed on an image without directly selecting vertices.
  • this method like Hansel's, is difficult to fine-tune in the mobile phone environment.
  • An object of the present invention is to minimize user interaction for vertex detection, improve the image processing speed for vertex detection, and minimize the error rate by removing a straight line having a low likelihood of vertex formation from a candidate straight line group forming the vertex in advance.
  • An apparatus and method for detecting vertices of an image are provided.
  • Still another object of the present invention is to provide convenience for the user by eliminating the process of fine adjustment during vertex detection by requiring the user at least one interaction even when modeling an object using a touch screen with a low sensing accuracy.
  • an apparatus for detecting a vertex of an image including: a UI unit for displaying an image and receiving a vertex position of the image; An ROI setting unit configured to set an ROI including the input vertex position; An edge detector for detecting a plurality of edges from the image in the region of interest and detecting a group of candidate straight lines based on the detected plurality of edges; And removing the candidate straight line whose angle between the reference candidate straight lines set from the candidate straight line groups is less than a critical angle, and then optimizing an intersection point having a minimum distance between the intersection point of the reference candidate straight line and the residual candidate straight line and the input vertex position. It includes a vertex detection unit for detecting the vertex.
  • the UI unit preferably includes a display unit having a sensing accuracy of an error of less than 10 pixels.
  • the display unit is a touch screen formed in the mobile phone, characterized in that for implementing the UI.
  • the region of interest setting unit may set the region of interest to a preset range quadrangle from the selection position.
  • the edge detector may remove a camera image noise by applying a gassian blur function to the image of the ROI, and detect an edge by using a canny edge detector.
  • the edge detector is configured to apply a hough transform to the edge to convert the candidate straight group represented by a parameter set of angle and distance.
  • the edge detector may list the candidate straight line groups in order of the number of times they are voted during the Hough transform.
  • the vertex detection unit sets the candidate straight line most bowed among the candidate straight line groups as the reference candidate straight line.
  • the vertex detection unit if the difference between the angle of the reference candidate straight line and the angle of the candidate straight line group is less than the threshold angle, and the difference between the distance of the reference candidate straight line and the distance of the candidate straight line group is less than a threshold distance, the candidate It is characterized by removing a straight group.
  • the vertex detection unit may remove the candidate straight line from the reference candidate straight line group in which the difference between the distance between the reference candidate straight line and the candidate straight line group is less than a threshold distance.
  • a method of detecting a vertex of an image comprising: receiving a vertex position of an image; Setting a region of interest (ROI) including the input vertex position and detecting a plurality of edges from an image in the region of interest; Detecting candidate straight line groups for detecting an optimal vertex based on the plurality of edges; And removing the candidate straight line whose angle between the reference candidate straight lines set from the candidate straight line groups is less than a critical angle, and then optimizing an intersection point having a minimum distance between the intersection point of the reference candidate straight line and the residual candidate straight line and the input vertex position. Detecting to the vertex of.
  • ROI region of interest
  • edge detection step image noise is removed by applying a Gaussian blur function to the image of the ROI, and edges are detected by using an edge detector.
  • the detecting of the candidate straight line group may be performed by applying a hough transform function to the plurality of edges and converting the candidate straight line group into the candidate straight line group represented by the parameters of angle and distance.
  • the detecting of the candidate straight line group may include arranging the candidate straight line groups in order of increasing number of vouts performed when Huff transform is performed.
  • the vertex detection may include setting a candidate straight line most bowed among the candidate straight line groups as the reference candidate straight line.
  • the vertex detection step if the difference between the angle of the reference candidate straight line and the angle of the candidate straight group is less than the threshold angle, the difference between the distance of the reference candidate straight line and the distance of the candidate straight line group is less than the threshold distance, The candidate straight group is removed.
  • the candidate candidate straight line having a difference between the distance between the reference candidate straight line and the candidate straight line group is less than a threshold distance is removed from the reference candidate straight line group.
  • Apparatus and method for detecting vertices of an image have an effect of accurately detecting vertices in a touch screen mobile phone with low sensing accuracy when detecting vertices in an object modeling process without an existing vertex adjusting step. have.
  • An apparatus and method for detecting vertices of an image minimize the user's interaction for detecting vertices and remove a straight line having a low likelihood of forming a vertex among candidate straight line groups forming the vertex in advance. It has the effect of improving the image processing speed and minimizing the error rate.
  • an apparatus and method for detecting vertices of an image may obtain high precision when detecting vertices even when object modeling is performed using a touch screen having a low sensing accuracy, thereby reducing the manufacturing cost of the object modeling apparatus. It works.
  • 1 is a flow chart for vertex detection during a modeling step according to the prior art.
  • FIG. 2 is a functional block diagram of an apparatus for detecting vertices of an image according to an exemplary embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a vertex detection method of an image according to an exemplary embodiment of the present invention.
  • ROI 4 is a conceptual diagram of a region of interest (ROI) setting set based on a vertex position input by a user.
  • ROI region of interest
  • FIG. 5 is a conceptual diagram illustrating a process of selecting an optimal intersection coordinate by searching for candidate lines and limited ranges detected in a region of interest (ROI).
  • ROI region of interest
  • FIG. 6 is an example of edge detection in the ROI region, in which FIG. 6 (a) is an example of an edge detected without applying a blur function, and FIG. 6 (b) is an example of an edge detected after a blur function is applied.
  • FIG. 7 is an example of straight line detection through Hough transform and semi-automatic vertex detection through proposed algorithm.
  • FIG. 7 (a) is an example of Hough transform based initial candidate straight line detection
  • FIG. 7 (b) shows the proposed algorithm. This is an example of major straight line detection and optimal vertex detection.
  • FIG. 8 to 10 are examples of planar modeling results of objects through the vertex detection method of an image according to the present invention
  • FIG. 8 illustrates planar modeling of a smart table image
  • FIG. 9 is different from FIG. 8.
  • Plane modeling ((a): desktop, (b): mobile phone) through outer vertex detection of the captured table image
  • FIG. 10 is a plane through vertex detection of a window image including a narrow frame. Modeling (left: desktop, right: mobile phone) is shown.
  • FIG. 11 illustrates a process of sensing accuracy of a touch screen, in which FIG. 11 (a) shows the first target (point) position displayed and FIG. 11 (b) shows the order in which the targets (dots) appear. will be.
  • FIG. 12 is a flowchart illustrating a method of detecting vertices of an image according to another exemplary embodiment of the present invention
  • FIG. 13 illustrates a vertex not input by a user by detecting an intersection of a semi-automatic vertex detecting method and line segments constituting the detected vertex.
  • FIG. 2 is a functional block diagram of an apparatus for detecting vertices of an image according to an exemplary embodiment of the present invention.
  • the vertex detection apparatus 100 of an image may include a UI 100, a screen 120, an ROI setting unit 150, an edge detector 140, and a vertex.
  • the detector 130 detects an optimal vertex based on the vertex input selected by the user.
  • the UI is implemented on the screen in a mobile environment.
  • the screen is a touch screen formed in a mobile phone having a sensing accuracy of less than 10 pixels, and the UI is implemented on the touch screen.
  • the touch screen displays a vertex detection image and receives a vertex position of the image from a user.
  • the ROI setting unit 150 sets a certain area of the image as a vertex detection target area to include the location of the vertex.
  • the ROI may be set in a circular or square shape having the input vertex position as the center.
  • the edge detector 130 removes camera image noise by applying a gassian blur function to the image of the ROI, and detects an edge by using a canny edge detector.
  • a Canny edge detector was used in this embodiment, it is possible to use other edge detectors such as a Roberts edge detector, a Sobel edge detector, a Prewitt edge detector, and the like.
  • the edge detector 130 applies a hough transform to the detected edges to convert the candidate straight line groups represented by the angle and distance parameters.
  • the edge detector 130 lists the candidate straight line group in the order of increasing number of times the candidate straight line group is performed during the Hough transform. That is, the edge detector lists the conversion values in the huff region corresponding to the plurality of edges in the longest order of straight lines among the plurality of edges in the image region.
  • the vertex detection unit 130 may set any candidate straight line among the candidate straight line groups as a reference candidate straight line, and when the reference candidate straight line is set, the candidate straight line parallel to the reference candidate straight line or within a predetermined error angle is removed. The intersection of the candidate candidate straight line, which is the remaining candidate straight line, with the similarly modified straight line within the predetermined error angle or perpendicular to the candidate candidate straight line is obtained. It is preferable to set the candidate straight lines listed first in the above listed order as the reference candidate straight lines.
  • the time for calculating the intersection point in the subsequent process can be much shorter.
  • the vertex setting unit 130 removes the candidate straight line whose angle between the set reference candidate straight line is less than a threshold angle, and then the intersection point of the intersection point between the reference candidate straight line and the residual candidate straight line and the input vertex position is minimum. Is detected as the optimal vertex.
  • the vertex detection unit 130 the difference between the angle of the reference candidate straight line and the angle of the candidate straight line group is less than the threshold angle, the difference between the distance of the reference candidate straight line and the distance of the candidate straight line group is a critical distance. If less, the candidate straight line group is removed.
  • the vertex detection unit 130 removes the candidate straight line from the reference candidate straight line group in which the difference between the distance between the reference candidate straight line and the candidate straight line group is less than a threshold distance. By setting the reference candidate straight line group as such a dominant candidate straight line, the time required for vertex detection can be shortened.
  • FIG. 3 is a flowchart illustrating a vertex detection method of an image according to an exemplary embodiment of the present invention.
  • a method of detecting vertices of an image includes receiving a vertex position of an image (S10); Setting a region of interest (ROI) including the input vertex position and detecting a plurality of edges from an image in the region of interest (S20); Detecting candidate straight line groups for detecting an optimal vertex based on the plurality of edges (S30); And after removing the candidate straight line whose angle between the reference candidate straight lines set among the candidate straight line groups is less than a critical angle, optimizes an intersection point having a minimum distance between the intersection point of the reference candidate straight line and the residual candidate straight line and the input vertex position. Detecting as a vertex of (S30).
  • edge detection step S20 image noise is removed by applying a Gaussian blur function to the image of the ROI (S21), and an edge is detected using a canny edge detector. (S22).
  • the candidate straight line group detecting step S31 a hough transform function is applied to the plurality of edges to convert the candidate straight line group into the candidate straight line group represented by the parameters of angle and distance.
  • the candidate straight line group detecting step S31 may include arranging the candidate straight line groups in ascending order of the number of times they are voted.
  • any candidate straight line among the candidate straight line groups may be selected as a reference candidate straight line, and all candidate straight lines of the candidate straight line group become reference candidate straight lines. Also in this case, it is preferable to set the candidate straight line most bowed as the reference candidate straight line.
  • the difference between the angle of the reference candidate straight line and the angle of the candidate straight line group is less than the threshold angle, and the difference between the distance of the reference candidate straight line and the distance of the candidate straight line group is less than a threshold distance. If so, the candidate straight group is removed.
  • the vertex detection step S32 removes the candidate straight line from the reference candidate straight line group in which the difference between the distance of the reference candidate straight line and the distance between the candidate straight line groups is less than a threshold distance from the reference candidate straight line group.
  • the non-dominant candidate straight line that is generated can be set as the reference candidate straight line to prevent the dominant candidate straight line from being removed and also shorten the peak detection time.
  • An edge detection step S20 of an image of the ROI will be described in detail with reference to FIG. 4.
  • FIG. 4 illustrates a conceptual diagram of setting ROI based on user input coordinates.
  • the ROI is set in the image by widening the space up, down, left, and right by the variable r based on the coordinate selected by the user.
  • a Gaussian blur function is applied to minimize the effects of camera noise.
  • a canny edge detector was applied for edge detection (S22).
  • a Canny edge detector was used in this embodiment, it is possible to use other edge detectors such as a Roberts edge detector, a Sobel edge detector, a Prewitt edge detector, and the like.
  • the value of r is set to 60 pixels in order to set a region of interest ROI suitable to the camera input image 640 * 480.
  • the value of r may be variably adjusted by the developer according to the application and the sensing capability of the touch screen.
  • the region of interest may be a quadrangle having the center of the vertex selected by the user as a center, but such a shape is just one embodiment and may be set to a circular or triangular shape.
  • a candidate straight line detection process is performed by applying a Hough transform to the information about the detected edge. That is, the candidate straight line is detected by Hough transform [5] which takes as input the coordinate value of the detected edge. At this time, the Hough transform equation used for candidate line detection is shown in Equation (1).
  • Equation (1) ⁇ represents the distance from the origin and the orthogonal direction and ⁇ represents the inclination angle of the straight line.
  • the coordinate (x E , y E ) represents the coordinate value of the edge detected using the Canny edge detector.
  • the elements of the detected parameter set PS are listed in the order of the highest number of voting when performing the Hough transform.
  • EN is the total number of edge pixels detected through the Canny edge detector
  • LN of the set PS is the total number of candidate straight lines detected through the Hough transform.
  • the total number LN of candidate straight lines to be primarily detected is set to 50.
  • the value of LN can be variably adjusted by the developer according to the application and the sensing ability of the touch screen.
  • step (S32) of detecting an optimal vertex through a limited range search will be described in detail.
  • the vertex detection method involves selecting an optimal two candidate straight lines for selecting an optimal intersection coordinate.
  • LN candidates must be examined for LN candidate lines in order to find the optimal intersection coordinates. This has a problem of slowing down the processing speed in a mobile phone lacking computing power. Therefore, the algorithm of the present embodiment reduces the amount of computation and detects the optimal intersection by searching a limited range of LN candidate straight line parameters.
  • two edges (straight lines) that meet at a vertex on an object have an angle difference of at least an angle T T and a distance difference of a minimum distance T R. That is, here, among the candidate straight lines recommended through the Hough transform with the angle difference of the angle T T and the minimum distance T R , the candidate straight lines which do not have the difference are candidate straight lines representing the same edge (straight line) of the object or do not cross each other.
  • Two edges (straight). Therefore, the proposed algorithm is determined by first checking whether the condition of Eq. Thus, by suggesting a search range of parameters, it is possible to reduce the amount of computation and to avoid false intersections.
  • Equation (2) ( ⁇ b , ⁇ b ) denotes the parameters of the base candidate straight line as shown in FIG. 5, and ( ⁇ c , ⁇ c ) denotes the parameters of the candidate straight lines that are compared. it means.
  • T T and T R are the minimum difference thresholds for the angle ( ⁇ ) and distance ( ⁇ ) parameters of the straight lines compared with each other.
  • the function Dif (tmp 1 , tmp 2 ) returns the result of the difference between the parameters tmp 1 and tmp 2 .
  • the values of tmp 1 and tmp 2 can be changed by the developer according to the sensing ability of the application and the touch screen.
  • formula (2) another candidate line is compared with the ⁇ b of the reference candidate straight lines as seen from ⁇ c a T T or more and another candidate line is compared to the ⁇ b of the reference candidate straight ⁇ c difference Find the intersection between two straight lines only if the difference is greater than T R. As a result, intersection detection is performed only when true is returned as the result of the functions F ( ⁇ b , ⁇ b , ⁇ c , ⁇ c ) in Equation (2).
  • FIG. 5 is a conceptual diagram illustrating a process of selecting an optimal intersection coordinate by searching for candidate lines and limited ranges detected in a region of interest (ROI).
  • ROI region of interest
  • ⁇ 11 and less than T T are candidate parameters 1, 2, 3, and 4, and other parameters representing the reference candidate line 11 are less than ⁇ 11 and T R.
  • speed improvement can be obtained by not calculating the intersection coordinates.
  • candidate lines 5, 6, 7, 8, and 9 filtered by the limited range search criteria obtain intersection coordinates with the reference candidate line 11, and each of the intersection coordinates is a coordinate (x, By examining y) and the pixel distance, the closest intersection point is selected as the optimal intersection coordinate for the reference candidate line 11.
  • the optimal intersection coordinates are (x 11 , y 11 ).
  • the candidate intersection coordinates having the closest pixel distances to y) are optimally detected.
  • the intersection detection in the Hough transform for a straight line can be calculated as shown in Equation (3).
  • Equation (3) (x b , y b ) denotes the intersection coordinates of two straight lines generated by the parameters ( ⁇ b , ⁇ b ) and ( ⁇ c , ⁇ c ).
  • This embodiment is applied to a Hough transform based vertex detection algorithm in a touch screen mobile phone.
  • an application programming interface API
  • the image acquired through the API was delivered in RGB565 format, and the basic image processing for the acquired image was done using 'OpenCV' library.
  • the 'OpenCV' library is described in detail in the Intel Open Source Computer Vision Library, http://sourceforge.net/projects/opencvlibrary/ (accessed on 2009. 09. 14).
  • This embodiment has been implemented to work on the Windows Mobile 6.1 platform of Visual C ++ 2005.
  • the touch screen built into the mobile phone was used.
  • this shows an implementation performed as part of the example, and when the present invention is actually applied, the acquired image may use a different format of the image.
  • API and OpenCV library are also used as a means for easily developing basic camera driving and computer vision algorithms.
  • This is a library that implements the traditional computer vision algorithm, and can be implemented without degrading the proposed algorithm without using this library.
  • FIG. 6 shows an example of ROI edge detection.
  • an ROI is set based on selection coordinates through a user input, and an edge in the ROI is detected as shown in FIG. 6 using a Canny edge detector.
  • FIG. 6 (a) a problem may occur in which unwanted edges are detected due to the texture of the object or the noise of the image. Therefore, in the present embodiment, the edge is detected after applying the Gaussian blur function as shown in FIG.
  • FIG. 7 is an example of straight line detection through Hough transform and semi-automatic vertex detection through proposed algorithm.
  • FIG. 7 (a) is an example of Hough transform based initial candidate straight line detection
  • FIG. 7 (b) shows the proposed algorithm.
  • This is an example of major straight line detection and optimal vertex detection.
  • the initial candidate straight line through the Hough transform is first detected as shown in FIG.
  • the detected candidate straight line semi-automatically detects the optimal intersection coordinates through a limited range of parameter search as shown in FIG. 5.
  • the results of the vertices detected in this embodiment are as shown in FIG.
  • FIG. 8 to 10 are examples of planar modeling results of objects through the vertex detection method of an image according to the present invention
  • FIG. 8 illustrates planar modeling of a smart table image
  • FIG. 9 is different from FIG. 8.
  • Plane modeling ((a): desktop, (b): mobile phone) through outer vertex detection of the captured table image
  • FIG. 10 is a plane through vertex detection of a window image including a narrow frame. Modeling (left: desktop, right: mobile phone) is shown.
  • the black line is the modeling result of the user's actual selection coordinates
  • the yellow line is the modeling result of the semi-automatically detected vertex coordinates using the proposed algorithm.
  • 9 to 10 in the present embodiment, it can be seen that accurate modeling is performed even when there is an incorrect input in a mobile phone equipped with a touch screen of low sensing accuracy.
  • 9 (b) and 10 (b) are modeling results using the vertex detection method according to the present invention in an actual touch screen mobile phone
  • FIGS. 9 (a) and 10 (a) show desktops for clarity. Shows the results of Referring to FIG. 10, it can be seen that the vertex detection method according to the present invention also accurately performs vertex detection located at a narrow width.
  • the performance of the proposed algorithm is evaluated using a still image previously photographed by a touch screen mobile phone, and the images used are photographed at three different positions of objects that can be viewed indoors such as tables and windows. Configured. Each image is (640 * 480) size and one pixel of the image has a color value of 24 bits each.
  • a still image previously photographed by a touch screen mobile phone
  • the images used are photographed at three different positions of objects that can be viewed indoors such as tables and windows. Configured.
  • Each image is (640 * 480) size and one pixel of the image has a color value of 24 bits each.
  • Table 1 shows the execution time of the vertex detection method according to the present invention.
  • the vertex detection method according to the present invention can reduce the edges of noise in an image by setting a limited ROI area and applying a blur function. Therefore, the vertex detection method according to the present invention can perform the Hough transform using only the major edges representing the edges (straight lines) of the object and obtain a fast processing speed without any inconvenience in interaction. Also, due to the limited parameter range search, the execution time required for vertex detection has little effect on the overall processing time of the algorithm.
  • the overall execution time of the vertex detection method according to the present invention is 237.6 ms on average, and this execution time is a result including all of the internally performed image copying and type conversion processes in addition to the main procedures of the vertex detection method.
  • the vertex detection method according to the present invention can operate at a higher processing speed by going through an optimization process.
  • Table 2 shows the results of measuring the touch screen sensing accuracy of the mobile phone as an experimental result of how much error the user inputs using the touch screen mobile phone.
  • FIG. 11 illustrates a process of sensing accuracy of a touch screen, in which FIG. 11 (a) shows the first target (point) position displayed and FIG. 11 (b) shows the order in which the targets (dots) appear. will be.
  • the user touches the most accurate position on the mobile phone touch display sequentially showing four predetermined targets (dots).
  • the user requested 100 touch inputs for each target to collect vertex coordinate data and perform analysis.
  • the root mean square (RMS) pixel error between the position of the preset target and the position actually input by the user has an average ( ⁇ ) of 6.3 and a standard deviation ( ⁇ ) of It shows 3.39 pixel error.
  • the experimental results show that it is difficult to perform the vertex selection and precise adjustment steps that are repeatedly required in the existing modeling process as a sensing error that can occur on average while using a touch screen mobile phone.
  • Table 3 shows the vertex detection accuracy when the vertex detection method according to the present invention is applied. The result of repeating the vertex selection process of the object in the image 100 times is performed by the user.
  • the vertices the user has selected for object modeling according to the prior art are similar to the experiments performed to verify the touch screen sensing accuracy of the mobile phone with the average vertex and distance of the object being 5.7 pixels on average. It showed a pixel error.
  • the proposed algorithm when used, the pixel error of about 1.4 pixels is shown, and the accuracy of about 4.3 pixels is improved compared to the case where the proposed algorithm is not used.
  • the standard deviation may appear unstable to 2.7 pixels, but this is an error caused by detecting the vertex closest to the selected position when the initial user's selection is located far from the actual vertex of the object. In this experiment, this misdetection occurred 4 times out of 100 attempts.
  • the detected vertex showed a pixel error value of about 15 pixels.
  • the proposed algorithm shows robust detection performance with pixel error of average 0.9 and standard deviation 0.7 as shown in Table 3. .
  • the ROI is set based on the selection coordinates input by the user, the blur function is applied in the area, and the edge is detected to detect the edge of the main part of the object robustly to the noise of the image.
  • the edge is detected to detect the edge of the main part of the object robustly to the noise of the image.
  • vertex detection is performed at a fast processing speed (237.6 ms) that is not inconvenient to model even in a mobile phone lacking computing power. (Accuracy: 1.4 pixel error) could be done.
  • the vertices of the objects can be accurately detected only by the rough selection process in the touch screen mobile phone, which is difficult to select and adjust precisely, thereby modeling with fewer interactions. .
  • the total execution time for vertex detection is 237.6 ms on average, and this execution time is a result including all the image copying and type conversion processes performed internally in addition to the main procedures of the algorithm.
  • the vertex detection method according to the present invention can operate at a higher processing speed by going through an optimization process.
  • An apparatus and method for detecting vertices of an image include an extended semi-automatic region of interest detection algorithm capable of semi-automatically detecting a region of interest with respect to a square region using the above-described selection method of one of the vertices. It is about.
  • a semi-automatic ROI detection algorithm is proposed through a single line drawing, and more specifically, a semi-automatic vertex detection method and a detected vertex using a binarization method and an Hough transform method through adaptive threshold setting are proposed. By detecting the intersections of the constituent line segments, the region of interest is detected semi-automatically by applying a prediction method for a vertex not input by the user.
  • FIG. 12 is a flowchart illustrating a method of detecting vertices of an image according to another exemplary embodiment of the present invention
  • FIG. 13 illustrates a vertex not input by a user by detecting an intersection of a semi-automatic vertex detecting method and line segments constituting the detected vertex.
  • the user drags from one corner of the rectangular area to be detected to the opposite corner in the diagonal direction.
  • the start and end points of the segment specified by this dragging are set as two initial search areas for semi-automatic vertex detection.
  • the proposed algorithm detects the edge using a threshold that is adaptively set in the designated search region as shown in FIG.
  • vertex detection of the semi-automatic method using Hough transform with the detected edge as an input is possible as shown in FIG.
  • the algorithm detects two major segments to construct the detected vertices. In this case, one line segment constituting the detected vertex is selected, and one line segment constituting the other detected vertex intersecting in the image area is found.
  • the algorithm can predict the vertices not initially designated by the user as shown in the blue dot of FIG. 13. After that, it is possible to detect the vertex of the semi-automatic method using Hough transform by putting the predicted point back into the vertex search region. Through the vertices thus obtained, the ROI can be detected even through one dragging input of the user.
  • This detected region can also be applied to accurate recognition by applying the object recognition method using LBP or other feature point based (ex. SIFT, etc.).
  • LBP-based recognition part of FIG. 12 shows how the proposed ROI detection algorithm can be used for robust recognition in connection with the recognition algorithm by using an LBP-based recognition method, which is one of the recognition algorithms.
  • the present invention relates to a vertex detection apparatus and method of an image capable of shortening vertex detection time and detecting vertices with high accuracy even by using a touch input unit having a low sensing accuracy, thereby minimizing user interaction. It can be used in various image processing fields such as a touch screen terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 낮은 센싱 정밀도를 갖는 터치 입력부를 이용하더라도 정점 검출을 위한 사용자의 인터렉션을 최소화하여 정점 검출 시간을 단축하고 정확도가 높게 정점을 검출할 수 있는 영상의 정점 검출 장치 및 그 방법에 관한 것이다. 이를 위하여 본 발명의 실시예에 따른 영상의 정점 검출 방법은 영상의 정점 위치를 입력받는 단계; 상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계; 상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계; 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계를 포함하여 이루어진다.

Description

영상의 정점 검출 장치 및 방법
본 발명은 영상에서 정점을 검출하는 장치 및 방법에 관한 것으로서, 보다 상세하게는 사용자에 의해서 입력된 관심영역(RIO) 내의 정점을 기반으로 최적의 정점을 검출하는 장치 및 방법에 관한 것이다.
근래에는 미리 촬영한 실세계의 객체 영상을 배경에 두고 객체의 정점 좌표를 선택, 조정하는 과정을 거쳐서 객체를 모델링 하는 기술이 각광받고 있다.
일반적으로 객체 모델링을 위해서는 사용자가 객체의 정점을 선택하는 단계와 선택한 점을 정확한 위치로 조정하는 두 단계를 수행해야 한다. 이와 같은 객체 모델링 과정에서의 정점 검출은 많은 사용자의 인터랙션과 느린 처리 시간을 가지는 알고리즘을 이용하여 수행되었고, 또한 모바일 폰에서는 시도된 적이 없으므로 현장에서(in situ)는 모델링 할 수 없었다.
이와 같은 객체 모델링은 모바일 폰에서 수행되는 경우에는 탑재된 터치스크린의 낮은 센싱 정밀도에 따라 정확한 정점 선택과 세밀한 조정이 요구되면, 사용자에게 많은 인터랙션을 요구함으로써 피로감을 유발한다.
도 1은 종래 기술에 따른 모델링 단계 중 정점 검출을 위한 순서도이다.
하나의 종래기술에서, 헨젤(Hengel)은 실세계의 객체 모델링을 위하여, 비디오 시퀀스(video sequence)를 입력으로 하여 장면(scene)을 모델링하는 방법 제안하였다. 상기 헨젤의 객체 모델링 방법에 관하여는 문헌 [A. v. d. Hengel, et al., "VideoTrace: Rapid Interactive Scene Modelling from Video," ACM Transactions on Graphics, vol. 26, no.3, article 86, July, 2007.]에 상세히 개시되어 있다.
도 1을 참조하면, 이 방법은 객체의 정점 선택을 위해 비디오의 각 프레임(frame)의 전체 영상을 세그멘테이션(segmentation)하고 슈퍼픽셀(superpixels) 기반으로 에지(edge) 탐색을 수행한다. 하지만 연산 능력이 낮은 모바일 폰에서 이 과정은 많은 처리 시간을 소요하는 문제가 있다. 또한 헨젤(Hengel)의 방법은 정확한 위치의 정점 선택을 위해서 마우스 입력 기반 선택과 조정 단계를 반복적으로 수행하는데 이도 역시 낮은 센싱 정밀도를 가지는 터치스크린을 탑재한 모바일 폰에서는 정확한 선택과 세밀한 조정에 문제가 있다.
상기 슈퍼픽셀 기반 에지 탐색에 관하여는 문헌 [X. Ren, et al., "Learning a Classification Model for Segmentation," In Proc. 9th ICCV, vol. 1, pp. 10-17, 2003.]에 상세히 개시되어 있다.
다른 종래기술에서, 깁슨(Gibson)은 현실 세계의 건물을 3차원 구조로 복원(reconstruction)하기 위한 모델링 방법 중에서, 정점을 바로 선택하지 않고 기본이 되는 뼈대 상자 모델(frame box model)을 영상에 겹쳐 놓고 제시된 모델의 정점을 영상에 있는 건물의 정점으로 반복 조정하여 맞추도록 하는 방법을 제안하였다. 하지만 이 방법도 헨젤(Hengel)의 방법과 마찬가지로 모바일 폰 환경에서 세밀한 조정을 하기에는 어려움이 있다.
상기 깁슨의 모델링 방법에 관하여는 문헌 [S. Gibson, et al., "Interactive Reconstruction of Virtual Environments from Video Sequences," Computers & Graphics, vol. 27, pp. 293-301, 2003.]에 상세히 개시되어 있다.
본 발명의 목적은, 정점 검출을 위한 사용자의 인터렉션을 최소화하고, 정점을 형성하는 후보 직선군 가운데 정점 형성 가능성이 낮은 직선을 미리 제거함으로써 정점 검출을 위한 영상 처리 속도를 향상시키고, 에러율을 최소화하는 영상의 정점 검출 장치 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은, 낮은 센싱 정밀도(오차 10픽셀 미만)의 터치스크린를 를 탑재한 장치에서 높은 정확도를 요구하는 객체모델링 등의 비전 응용에 적용가능한 영상의 정점 검출 장치 및 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은, 낮은 센싱 정밀도의 터치스크린을 이용하여 객체 모델링을 하는 경우에도 사용자에게 최소한(한번)의 인터랙션을 요구함으로써 정점 검출시 세밀한 조정의 과정이 생략하여 사용자에게 편의성을 제공하는 영상의 정점 검출 장치 및 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예들에 따른 영상의 정점 검출 장치는 영상을 표시하고, 상기 영상의 정점 위치를 입력받는 UI부; 상기 입력된 정점 위치를 포함하는 관심영역을 설정하는 관심영역(ROI) 설정부; 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하고, 그 검출된 복수의 에지에 기초하여 후보 직선군(直線群)을 검출하는 에지 검출부; 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적 정점으로 검출하는 정점 검출부를 포함한다.
상기 UI부는 10 픽셀 미만의 오차의 센싱 정밀도를 갖는 표시부를 포함하는 것이 바람직하다.
상기 표시부는 모바일폰에 형성된 터치스크린이고, UI를 구현하는 것을 특징으로 한다.
상기 관심영역 설정부는 상기 관심영역을 상기 선택 위치로부터 기설정된 범위 사각형상으로 설정하는 것을 특징으로 한다.
상기 에지 검출부는, 상기 관심영역의 영상에 대하여 가우시안 블러(gassian blur) 함수를 적용하여 카메라 영상 잡음을 제거하고, 에지 검출기(canny edge detector)를 이용하여 에지를 검출하는 것을 특징으로 한다.
상기 에지 검출부는, 상기 에지에 허프 변환(hough transform)을 적용하여 각도 및 거리의 매개변수 집합으로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 한다.
상기 에지 검출부는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 한다.
상기 정점 검출부는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 한다.
상기 정점 검출부는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거하는 것을 특징으로 한다.
상기 정점 검출부는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 실시예들에 따른 영상의 정점 검출 방법은 영상의 정점 위치를 입력받는 단계; 상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계; 상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계; 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계를 포함한다.
상기 에지 검출단계는, 상기 관심영역의 영상에 대하여 가우시안 블러(gaussian blur) 함수를 적용하여 영상잡음을 제거하고, 에지 검출기(canny edge detector)를 이용하여 에지를 검출하는 것을 특징으로 한다.
상기 후보 직선군 검출단계는, 상기 복수의 에지에 허프 변환(hough transform) 함수를 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 한다.
상기 후보 직선군 검출단계는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 한다.
상기 정점 검출단계는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 한다.
상기 정점 검출단계는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거하는 것을 특징으로 한다.
상기 정점 검출단계는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는 것을 특징으로 한다.
본 발명의 실시예들에 따른 영상의 정점 검출 장치 및 방법은, 객체 모델링 과정에서의 정점 검출시에 센싱 정밀도가 낮은 터치스크린 모바일 폰에서 기존의 정점 조정 단계 없이도 정확하게 정점을 검출할 수 있는 효과가 있다.
본 발명의 실시예들에 따른 영상의 정점 검출 장치 및 방법은, 정점 검출을 위한 사용자의 인터렉션을 최소화하고, 정점을 형성하는 후보 직선군 가운데 정점 형성 가능성이 낮은 직선을 미리 제거함으로써 정점 검출을 위한 영상 처리 속도를 향상시키고, 에러율을 최소화할 수 있는 효과가 있다.
본 발명의 실시예들에 따른 영상의 정점 검출 장치 및 방법은, 낮은 센싱 정밀도의 터치스크린을 이용하여 객체 모델링을 하는 경우에도 정점 검출시 높은 정밀도를 얻을 수 있어 객체 모델링 장치의 제조원가를 낮출 수 있는 효과가 있다.
도 1은 종래 기술에 따른 모델링 단계 중 정점 검출을 위한 순서도이다.
도 2는 본 발명의 실시예에 따른 영상의 정점 검출 장치의 기능 블록도이다.
도 3은 본 발명의 실시예에 따른 영상의 정점 검출 방법의 순서도이다.
도 4는 사용자에 의해서 입력된 정점 위치에 기반하여 설정된 관심영역(ROI) 설정의 개념도이다.
도 5는 관심영역(ROI)에서 검출된 후보직선 및 제한된 범위 탐색을 통한 최적의 교점 좌표 선택 과정 예시 개념도이다.
도 6은 ROI 영역에서의 에지 검출 예시로서, 도 6(a)는 블러 함수 적용하지 않고 검출한 에지의 예시이고, 도 6(b)는 블러 함수 적용한 후에 검출한 에지의 예시이다.
도 7은 허프 변환을 통한 직선 검출 및 제안하는 알고리즘을 통한 반자동식 정점 검출의 예시로서, 도 7(a)는 허프변환 기반 초기 후보직선 검출의 예시이고, 도 7(b)는 제안하는 알고리즘을 통한 주요직선 검출과 최적의 정점 검출의 예시이다.
도 8 내지 도 10의 각각은 본 발명에 따른 영상의 정점 검출 방법을 통한 객체의 평면 모델링 결과 예시로서, 도 8은 스마트 테이블 영상의 평면 모델링을 도시한 것이고, 도 9는 도 8과 다른 각도에서 촬영한 테이블 영상의 바깥쪽 정점 검출을 통한 평면 모델링((a):데스크탑, (b):모바일폰)을 도시한 것이고, 도 10은 폭이 좁은 프레임을 포함하는 창문 영상의 정점 검출을 통한 평면 모델링(좌:데스크탑, 우:모바일폰)을 도시한 것이다.
도 11은 터치스크린의 센싱 정밀도 실험 과정을 도시한 것으로서, 도 11(a)는 표시된 첫 번째 타겟(점) 위치를 도시한 것이고, 도 11(b)는 타겟(점)이 나타나는 순서를 도시한 것이다.
도 12는 본 발명의 다른 실시예에 따른 영상의 정점 검출 방법의 순서도이고, 도 13은 반자동식 정점 검출방법과 검출된 정점을 구성하는 선분들의 교점을 검출함으로써 사용자가 입력하지 않는 정점에 대한 예측 방법을 적용하여 반자동식으로 관심영역을 검출하는 과정의 예시 개념도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하며, 단수로 기재된 용어도 복수의 개념을 포함할 수 있다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 2는 본 발명의 실시예에 따른 영상의 정점 검출 장치의 기능 블록도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 영상의 정점 검출 장치(100)는 UI(100), 스크린(120), 관심영역(ROI) 설정부(150), 에지 검출부(140) 및 정점 검출부(130)를 포함하여, 사용자에 의하여 선택된 정점 입력에 기초하여 최적의 정점을 검출한다.
본 실시예에서는 상기 UI는 모바일 환경에서 상기 스크린 상에서 구현된다.
상기 스크린은 10 픽셀 미만의 오차의 센싱 정밀도를 갖는 모바일폰에 형성된 터치스크린이고, 상기 터치 스크린 상에서 상기 UI가 구현된다. 상기 터치 스크린은 정점 검출 영상을 표시하고, 사용자로부터 상기 영상의 정점 위치를 입력받는다.
사용자의 터치에 의하여 정점에 대한 위치 정보가 입력되면, 상기 관심영역(ROI) 설정부(150)는 상기 정점의 위치를 포함하도록 영상의 일정 영역을 정점 검출 대상 영역으로 설정한다. 이 경우에 상기 관심영역은 상기 입력된 정점 위치를 중심부로하는 원형 또는 사각 형상으로 설정되는 것이 가능하다.
상기 에지 검출부(130)는, 상기 관심영역의 영상에 대하여 가우시안 블러(gassian blur) 함수를 적용하여 카메라 영상 잡음을 제거하고, 캐니 에지 검출기(canny edge detector)를 이용하여 에지를 검출한다. 본 실시예에서는 캐니 에지 검출기가 사용되었나, 로버츠(Roberts) 에지 검출기, 소벨(Sobel) 에지 검출기, 프리윗(Prewitt) 에지 검출기 등의 다른 에지 검출기가 사용되는 것이 가능하다.
상기 에지 검출부(130)는, 상기 검출된 에지에 허프 변환(hough transform)을 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환한다. 이 경우에 상기 에지 검출부(130)는, 허프 변환 수행시에 상기 후보 직선군을 보우팅(voting)된 회수가 많은 순서로 나열한다. 즉, 상기 에지 검출부는, 이미지 영역에서 복수의 에지 가운데 직선의 길이가 긴 순서대로 상기 복수의 에지에 대응되는 허프 영역에서의 변환값을 나열한다.
상기 정점 검출부(130)는 상기 후보 직선군 중에서 임의의 후보 직선을 기준 후보직선으로 설정할 수 있고, 기준 후보직선이 설정되면 기준 후보직선과 평행하거나 기설정된 오차각 이내에서 평행한 후보 직선을 제거하고, 나머지 후보 직선인 기준 후보직선과 수직하거나 기설정된 오차각 내에서 유사 수식한 직선과의 교점을 구한다. 상기 나열된 순서에서 가장 먼저 나열된 후보 직선을 기준 후보직선으로 설정하는 것이 바람직하다.
상기와 같이 기준 후보직선과 평행하거나 기설정된 오차각 이내에서 평행한 후보 직선을 제거하는 알고리즘을 수행함으로써, 이후 과정에서의 교점을 산출하는 시간이 훨씬 단축될 수 있다.
이와 같이 가장 많은 수로 보우팅 후보 직선을 기준 후보직선으로 설정함으로써, 노이즈에 의하여 생성된 후보 직선이 기준 후보직선으로 설정된 경우에 지배적인 값을 갖는 후보 직선이 제거되는 것을 방지할 수 있다.
상기 정점 설정부(130)는 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적 정점으로 검출한다.
즉, 상기 정점 검출부(130)는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거한다.
상기 정점 검출부(130)는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거한다. 이와 같은 지배적인 후보 직선으로 기준 후보직선군을 설정함으로써, 정점 검출시에 소요되는 시간을 단축할 수 있다.
도 3은 본 발명의 실시예에 따른 영상의 정점 검출 방법의 순서도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 영상의 정점 검출 방법은 영상의 정점 위치를 입력받는 단계(S10); 상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계(S20); 상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계(S30); 및 상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계(S30)를 포함한다.
상기 에지 검출단계(S20)는, 상기 관심영역의 영상에 대하여 가우시안 블러(gaussian blur) 함수를 적용하여 영상잡음을 제거하고(S21), 캐니 에지 검출기(canny edge detector)를 이용하여 에지를 검출한다(S22).
상기 후보 직선군 검출단계(S31)는, 상기 복수의 에지에 허프 변환(hough transform) 함수를 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환한다. 이 경우에 상기 후보 직선군 검출단계(S31)는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것이 바람직하다.
상기 정점 검출단계(S32)는, 상기 후보 직선군 가운데 임의의 후보 직선을 기준 후보직선으로 선택하는 것이 가능하며 상기 후보 직선군의 모두 후보 직선은 기준 후보직선이 된다. 이 경우에도 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것이 바람직하다.
상기 정점 검출단계(S32)는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거한다.
상기 정점 검출단계(S32)는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는데, 이와 같은 알로리즘을 수행함으로써, 노이즈에 의해서 발생한 지배적이지 않은 후보 직선이 기준 후보직선으로 설정되어 지배적인 후보 직선이 제거되는 것을 방지할 수 있고, 또한 정점 검출 시간을 단출할 수 있다.
이하에서는 도 4 내지 도 10을 참조하여 본원 발명이 터치스크린을 장착한 모바일 폰에서 객체모델링시에 정점 검출에 적용된 예시를 상세히 설명하겠다.
도 4를 참조하여 관심영역(ROI)의 영상의 에지 검출 단계(S20)를 상세히 설명하겠다.
도 4는 사용자 입력 좌표 기반 관심영역(ROI) 설정 개념도를 나타내고 있다.
도 4를 참조하면, 상기 관심영역(ROI)은 사용자가 선택한 좌표를 기반으로 변수 r만큼 상하좌우로 공간을 넓혀서 영상에 설정된다. 그리고 좌측 상단 좌표(x-r, y-r)와 우측 하단 좌표(x+r, y+r)로 생성된 관심영역(ROI) 내에서는 카메라 잡음의 영향을 최소화하기 위해 가우시안 블러(gaussian blur) 함수가 적용되고(S21), 에지 검출을 위하여 캐니 에지 검출기(canny edge detector)가 적용되었다(S22). 본 실시예에서는 캐니 에지 검출기가 사용되었나, 로버츠(Roberts) 에지 검출기, 소벨(Sobel) 에지 검출기, 프리윗(Prewitt) 에지 검출기 등의 다른 에지 검출기가 사용되는 것이 가능하다.
상기 캐니 에지 검출기에 관하여는 문헌 [ J. Canny, "A Computational Approach to Edge Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp. 679-714, 1986.]에 상세히 개시되어 있다.
본 실시예에서는 그림 4에서 보이는 바와 같이 카메라 입력 영상(640*480)에 적합한 정도의 관심영역(ROI)을 설정하기 위해 r의 값이 60 픽셀(pixel)로 설정된다. 상기 r의 값은 응용 및 터치스크린의 센싱 능력에 따라 개발자가 가변적으로 조정할 수 있다. 상기 관심영역은 사용자가 선택한 정점 위치를 중심부로하는 사각형상이나, 이와 같은 형상은 하나의 실시예에 불과한 것이며 원형형상 또는 삼각형상 등의 형상으로 설정되는 것이 가능하다.
도 5를 참조하여 허프 변환을 이용한 후보직선 검출단계(S31)를 상세히 설명하겠다.
본 실시예에서는 상기 검출된 에지에 대한 정보에 허프 변환을 적용하여 후보직선 검출 과정이 수행된다. 즉, 검출된 에지의 좌표 값을 입력으로 하는 허프 변환[5]에 의하여 후보직선이 검출된다. 이때 후보 직선 검출에 사용하는 허프 변환 방정식은 식 (1)과 같다.
수학식 1
Figure PCTKR2010007485-appb-M000001
수학식 (1)에서 ρ는 직선과 직교방향으로 떨어져 있는 원점과의 거리를 나타내고 θ는 직선의 기울어진 각도를 나타낸다. 그리고 좌표 (xE, yE)는 캐니 에지 검출기를 이용하여 검출된 에지의 좌표 값을 나타낸다. 본 발명에 따른 알고리즘은 먼저 직선의 허프 변환 식(1)에 검출된 에지 좌표 집합 ES = {(xE1, yE1), (xE2, yE2), ..., (xEN, yEN)}를 적용함으로써 후보직선 N개에 대한 매개변수 집합 PS = {(ρL1, θL1), (ρL2, θL2), ..., (ρLN, θLN)}를 검출하였다. 이때 검출된 매개변수 집합 PS의 요소(element)들은 허프 변환 수행 시 가장 많은 수로 보우팅(voting) 된 순서대로 나열되어있다.
상기 허프 변환에 관하여는 문헌 [R. O. Duda, et al., "Use of the Hough Transformation to Detect Lines and Curves in Pictures," Communications of the ACM, vol. 15, pp. 11-15, 1972.]에 상세히 개시되어 있다.
집합 ES에서 EN는 캐니 에지 검출기를 통해 검출된 에지 픽셀의 총 개수이고 집합 PS의 LN은 허프 변환을 통해 검출한 후보직선의 총 개수이다. 본 실시예에서는 1차적으로 검출하고자 하는 후보직선의 총 개수 LN을 50으로 설정하였다. 이때 LN의 값은 응용 및 터치스크린의 센싱 능력에 따라 개발자가 가변적으로 조정할 수 있다.
도5를 참조하여, 제한된 범위 탐색을 통한 최적의 정점을 검출 단계(S32)를 상세히 설명하겠다.
상기 정점 검출 방법은 최적의 교점 좌표 선택을 위해 최적의 두 후보 직선을 선택하는 과정을 수반한다. 하지만 최악의 경우 LN개의 후보직선에 대해 각 LN번의 교점 검사를 수행해야만 최적의 교점좌표를 알 수 있게 된다. 이는 연산 능력이 부족한 모바일 폰에서 처리속도를 느리게 하는 문제가 있다. 따라서 본 실시예의 알고리즘은 LN개의 후보직선의 매개 변수에 대해 제한된 범위 탐색을 함으로써 연산량을 줄임과 동시에 최적의 교점을 검출한다.
실세계에서 객체 위의 한 정점(교점)에서 만나는 두 모서리(직선)는 서로 최소한의 각도 TT 정도의 각도 차이와 최소한의 거리 TR 정도의 거리 차이가 있다. 즉, 여기서 각도 TT정도의 각도 차이와 최소한의 거리 TR 정도 허프 변환을 통해 추천된 후보 직선들 중에 상기 차이를 가지지 않는 직선들은 객체의 같은 모서리(직선)를 나타내는 후보직선이거나 서로 교차하지 않는 두 모서리(직선)이다. 따라서 제안하는 알고리즘은 LN개의 후보 직선에 대해 다른 비교되는 직선과의 교점 검출 진행 여부를 식 (2)의 조건을 만족하는지를 먼저 검사함으로써 결정한다. 이로써, 매개변수의 탐색 범위를 제안함으로써 연산량을 줄임과 동시에 잘못된 교점 검출을 피할 수 있다.
수학식 2
Figure PCTKR2010007485-appb-M000002
수학식 (2)에서 (ρb, θb)는 도 5에서 보이는 바와 같이 기준(base) 후보직선의 매개변수를 나타내고 (ρc, θc)는 비교되는(compared) 후보직선의 매개변수를 의미한다. TT와 TR은 서로 비교되는 직선이 가지는 매개변수인 각도(θ)와 거리(ρ)에 대한 최소 차이 임계값으로써 본 논문에서는 각각 60도와 5픽셀로 설정하였다. 식 (2)에서 함수 Dif(tmp1, tmp2)는 매개변수 tmp1과 tmp2의 차이 값을 결과로 반환한다. 이때 tmp1과 tmp2의 값은 응용 및 터치스크린의 센싱 능력에 따라 개발자가 가변적으로 조정할 수 있다.
본 발명에 따른 알고리즘은 식 (2)에서 보이는 바와 같이 기준 후보직선의 θb와 비교 되는 다른 후보직선 θc의 차이가 TT 이상이고 기준 후보직선의 ρb와 비교 되는 다른 후보직선 ρc의 차이가 TR 이상인 경우에만 두 직선 간의 교점을 구한다. 결과적으로 식 (2)에서 함수 F(ρb, θb, ρc, θc)의 결과 값으로 true가 반환되었을 경우에만 교점 검출을 수행한다.
도 5는 관심영역(ROI)에서 검출된 후보직선 및 제한된 범위 탐색을 통한 최적의 교점 좌표 선택 과정 예시 개념도이다.
도 5를 참조하면, 기준 후보직선이 11인 경우에 θ11과 TT 미만의 차이가 나는 후보직선 1, 2, 3 그리고 4와 기준 후보직선 11을 나타내는 다른 매개변수인 ρ11과 TR 미만의 차이가 나는 후보직선 10과 12의 경우는 교점 좌표 계산을 하지 않음으로써 속도향상의 결과를 얻을 수 있다.
도 5에서 보이는 예시와 같이 제한된 범위 탐색 기준으로 걸러진 후보직선 5, 6, 7, 8 그리고 9는 기준 후보직선 11과의 교점 좌표를 구하게 되고 각 교점 좌표들은 초기에 사용자가 입력한 좌표(x, y)와 픽셀 거리를 검사함으로써 가장 가까운 교점을 기준 후보직선 11에 대한 최적의 교점좌표로 선택하게 된다. 도 5에서 보이는 바와 같이 기준 후보직선 11의 경우 최적의 교점 좌표는 (x11, y11)이다. 결과적으로 최적의 교점좌표는 교점좌표 후보 집합 CS = {(x1, y1), (x2, y2), ..., (xLN, yLN)}의 요소 중 사용자 입력 좌표 (x, y)와의 픽셀 거리가 가장 가까운 후보 교점좌표가 최적으로 검출된다. 직선에 대한 허프 변환에서 교점 검출은 식 (3)과 같이 계산할 수 있다.
수학식 3
Figure PCTKR2010007485-appb-M000003
수학식 (3)에서 (xb, yb)는 매개변수 (ρb, θb)와 (ρc, θc)로 생성된 두 직선의 교점 좌표를 뜻한다.
본 실시예는 터치스크린 모바일 폰에서 허프 변환 기반의 정점 검출 알고리즘에 적용된 것이다. 모바일 폰에 내장된 카메라로부터 영상을 취득하기 위해서 해당 모바일 폰의 카메라 구동을 위한 API(application programming interface)를 사용하였다. 해당 API를 통해 취득된 영상은 RGB565 형태로 전달되었고 이 취득된 영상에 대한 기본적인 영상 처리는 ‘OpenCV’ 라이브러리를 사용하였다.
상기 ‘OpenCV’ 라이브러리에 관하여는 문헌 [Intel Open Source Computer Vision Library, http://sourceforge.net/projects/opencvlibrary/ (accessed on 2009. 09. 14)]에 상세히 개시되어 있다.
본 실시예는 비주얼 C++ 2005의 윈도우즈 모바일(windows mobile) 6.1 플랫폼에서 동작하도록 구현되었다. 사용자의 정점 선택 좌표 입력을 위해서는 모바일 폰에 내장된 터치스크린을 사용하였다. 하지만 이는 예를 보여주기 위한 일환으로 수행된 구현을 나타낸 것으로써, 실제 본 발명을 적용할 때에는 취득된 영상의 형태는 다른 형식의 영상을 사용할 수 있다.
또한 여기서 예시를 위해 구현된 환경 이외의 개발 환경에서 개발이 가능하며, API 및 OpenCV 라이브러리 역시 기본적인 카메라 구동 및 컴퓨터 비전 알고리즘을 간편하게 개발하기 위한 수단으로 사용한 것이다. 이는 전통적인 컴퓨터 비전 알고리즘을 구현해 놓은 라이브러리로써 이 라이브러리를 사용하지 않고서라도 제안하는 알고리즘의 성능 저하 없이 구현이 가능하다.
도 6은 관심영역(ROI) 에지 검출을 한 예시를 보이고 있다. 본 실시예는 먼저 사용자 입력을 통한 선택좌표를 기반으로 관심영역을 설정하고 캐니 에지 검출기를 이용하여 도 6과 같이 관심영역(ROI) 내의 에지를 검출하였다. 이 경우에 도 6(a)에서 보이는 바와 같이 객체의 무늬(texture) 또는 영상의 잡음으로 인해서 원하지 않는 에지가 많이 검출되는 문제가 생길 수 있다. 따라서 본 실시예에서는 도 6(b)와 같이 가우시안 블러 함수를 적용한 후에 에지를 검출하였다.
도 7은 허프 변환을 통한 직선 검출 및 제안하는 알고리즘을 통한 반자동식 정점 검출의 예시로서, 도 7(a)는 허프변환 기반 초기 후보직선 검출의 예시이고, 도 7(b)는 제안하는 알고리즘을 통한 주요직선 검출과 최적의 정점 검출의 예시이다. 본 실시예에서는 반자동식 정점 검출을 위해 먼저 도 7(a)에서 보이는 바와 같이 허프 변환을 통한 초기 후보직선을 검출한다. 그리고 검출된 후보직선은 도 5에서 보이는 바와 같이 제한된 범위의 매개변수 탐색을 통해 최적의 교점 좌표를 반자동식으로 검출한다. 본 실시예에서 검출된 정점의 결과는 도 7(b)와 같다.
도 8 내지 도 10의 각각은 본 발명에 따른 영상의 정점 검출 방법을 통한 객체의 평면 모델링 결과 예시로서, 도 8은 스마트 테이블 영상의 평면 모델링을 도시한 것이고, 도 9는 도 8과 다른 각도에서 촬영한 테이블 영상의 바깥쪽 정점 검출을 통한 평면 모델링((a):데스크탑, (b):모바일폰)을 도시한 것이고, 도 10은 폭이 좁은 프레임을 포함하는 창문 영상의 정점 검출을 통한 평면 모델링(좌:데스크탑, 우:모바일폰)을 도시한 것이다.
도 9 내지 도10에서 검정색 선은 사용자의 실제 선택 좌표에 의한 모델링 결과이고 노란색 선은 제안하는 알고리즘을 이용하여 반자동적으로 검출된 정점 좌표로부터 모델링한 결과이다. 도 9 내지 도 10을 참조하면, 본 실시예에서는 낮은 센싱 정밀도의 터치스크린을 탑재한 모바일 폰에서의 부정확한 입력이 있는 경우에도 정확한 모델링이 수행되는 것을 알 수 있다. 도 9(b)와 도 10(b)는 실제 터치스크린 모바일 폰에서 본 발명에 따른 정점 검출 방법을 이용한 모델링 결과이고, 도 9(a)와 도 10(a)는 이를 보다 명확히 나타내기 위해서 데스크탑에서 수행한 결과를 보인 것이다. 도 10을 참조하면, 본 발명에 따른 정점 검출 방법은 폭이 좁은 곳에 위치한 정점 검출도 정확히 수행됨을 확인할 수 있다.
본 실시예에서는 터치스크린 모바일 폰으로 미리 촬영한 정지 영상을 이용하여 제안하는 알고리즘의 성능을 평가하였고, 이용한 영상은 탁자, 창문 등의 실내에서 볼 수 있는 객체를 각 3장씩 서로 다른 위치에서 촬영하여 구성하였다. 각 영상은 (640*480)크기이고 영상의 한 픽셀은 각 24 비트의 컬러 값을 가진다. 또한 본 논문에서는 3.3 인치의 터치스크린과 800MHz의 ARM11 프로세서 그리고 128MB SDRAM을 장착한 모바일 폰을 사용함으로써 실험을 진행하였다.
표 1
Figure PCTKR2010007485-appb-T000001
표 1은 본 발명에 따른 정점 검출 방법의 수행시간을 나타낸 것이다.
표 1에서 보는 바와 같이 본 본 발명에 따른 정점 검출 방법의 주요 과정 중 허프 변환을 통해 후보직선을 검출하는 단계가 평균 159.3 ms로써 가장 많은 처리시간을 요구하였다. 이는 객체의 모서리(직선)가 어느 정도 위치에서 얼마만큼의 각도로 기울어져 있는지 알지 못하기 때문에 매개변수와의 범위를 세밀하게 탐색함으로써 생기는 문제이다. 이때 입력 값으로 이용되는 에지의 숫자가 많을수록 허프 변환의 처리 시간이 길어질 수 있는데 본 발명에 따른 정점 검출 방법은 한정된 ROI 영역을 설정하고 블러 함수를 적용함으로써 영상에서 노이즈가 되는 에지를 줄일 수 있었다. 따라서 본 발명에 따른 정점 검출 방법은 객체의 모서리(직선)를 나타내는 주요한 에지만을 사용하여 허프 변환을 수행할 수 있었고 인터랙션에 불편함이 없을 만큼의 빠른 처리속도를 얻을 수 있었다. 그리고 제한된 매개변수 범위 탐색으로 인해 정점 검출에 요구되는 수행시간은 알고리즘의 전체 처리 시간에 거의 영향을 미치지 않는 것을 확인할 수 있었다.
결과적으로, 본 발명에 따른 정점 검출 방법의 전체 수행 시간은 평균 237.6ms로써 이 수행 시간은 본 정점 검출 방법의 각 주요 절차 이외에도 내부적으로 수행된 영상 복사 및 형 변환 과정 등을 모두 포함한 결과이다. 본 발명에 따른 정점 검출 방법은 최적화 과정을 거침으로써 보다 향상된 처리 속도로 동작할 수 있다.
표 2
Figure PCTKR2010007485-appb-T000002
표 2는 일반 사용자가 터치스크린 모바일 폰을 이용하였을 때 어느 정도의 오류를 가지고 입력을 하는지에 대한 실험 결과로써, 모바일 폰의 터치스크린 센싱 정밀도의 측정 결과를 도시한 것이다.
도 11은 터치스크린의 센싱 정밀도 실험 과정을 도시한 것으로서, 도 11(a)는 표시된 첫 번째 타겟(점) 위치를 도시한 것이고, 도 11(b)는 타겟(점)이 나타나는 순서를 도시한 것이다.
도 11에서 보여지는 바와 같이, 미리 정해놓은 4개의 타겟(점)을 순차적으로 보여주는 모바일 폰 터치 디스플레이에 사용자가 최대한 정확한 위치를 터치하도록 하였다. 사용자로부터 각 타겟에 대하여 모두 100번의 터치 입력을 하도록 요청하여 정점좌표 데이터를 모으고 분석을 수행하였다. 표 2의 분석 결과를 통해서 알 수 있는 바와 같이, 미리 설정된 타겟의 위치와 사용자가 실제로 입력한 위치와의 RMS(Root Mean Square) 픽셀 에러는 평균(μ)이 6.3이고, 표준 편차(σ)가 3.39 정도의 픽셀 에러를 보인다. 이와 실험결과를 통하여 터치스크린 모바일 폰을 사용하면서 평균적으로 일어날 수 있는 센싱 에러로써 기존의 모델링 과정에서 반복적으로 요구되는 정점 선택 및 정밀한 조정 단계를 모바일 폰에서 수행하기에는 어려움이 있다는 것을 알 수 있다.
표 3
Figure PCTKR2010007485-appb-T000003
표 3은 본 발명에 따른 정점 검출 방법을 적용하는 경우 정점 검출 정확도를 나타내는 것으로서, 사용자에게 영상 속 객체의 정점 선택과정을 100번 반복 수행한 결과이다.
표 3에서 알 수 있는 바와 같이 사용자가 종래 기술에 따라 객체 모델링을 위해 선택한 정점들은 객체의 실제 정점과 거리가 평균 5.7 픽셀 정도로 모바일 폰의 터치스크린 센싱 정밀도를 확인하기 위해 수행한 실험과 비슷한 정도의 픽셀 에러를 보였다. 반면 제안하는 알고리즘을 이용한 경우에는 1.4 픽셀 정도의 픽셀 에러를 보임으로써 제안하는 알고리즘을 사용하지 않은 경우에 비해 약 4.3 픽셀 정도의 정확도가 향상한 것을 확인 할 수 있었다. 이때 표준 편차는 2.7 픽셀로 안정적이지 않게 보일 수 있으나 이는 제안하는 알고리즘의 특성상 초기 사용자의 선택이 객체의 실제 정점과 멀리에 위치한 경우 선택된 위치와 가장 가까운 정점을 검출함으로써 생길 수 있는 오류이다. 본 실험에서 이와 같이 잘못 검출된 경우는 100번의 시도 중 총 4번 발생하였으며, 이 경우 검출된 정점은 15픽셀 정도의 픽셀 에러 값을 보였다. 사용자가 정확한 초기 입력을 하였다는 가정으로 이와 같은 잘못 검출된 정점 경우를 제거한 경우 제안하는 알고리즘은 표 3에서 보이는 바와 같이 평균 0.9 그리고 표준편차 0.7 정도의 픽셀 에러로써 강건한 검출 성능을 보이는 것을 확인할 수 있었다. 이로써 제안하는 알고리즘을 사용할 경우 뒤에 따르는 모델링 과정을 정점 조정과정 없이 정확한 정점 검출을 수행 할 수 있고 결과적으로 적은 인터랙션으로도 모바일 폰에서 손쉽게 모델링을 할 수 있음을 기대 할 수 있다.
상술한 바와 같이, 본 실시예에서는 사용자가 입력한 선택 좌표를 기준으로 ROI를 설정하고 그 영역 내에서 블러 함수를 적용한 뒤 에지를 검출함으로써 영상의 잡음에 강건하게 객체의 주요한 부분의 에지 검출을 할 수 있었다. 또한, 본 본 실시예에서는 허프 변환을 통해 검출된 후보직선에 대해 제한된 범위의 매개변수를 탐색함으로써 연산 능력이 부족한 모바일 폰에서도 모델링하기에 불편하지 않을 정도의 빠른 처리속도(237.6ms)로 정점 검출(정확도: 1.4 픽셀 오류)을 수행할 수 있었다. 뿐만 아니라, 본 실시예에서는 반자동식으로 정점을 검출함으로써 세밀한 선택 및 조정이 어려운 터치스크린 모바일 폰에서 대략적인 선택 과정만으로도 정확하게 객체의 정점을 검출할 수 있었고, 이로써 결국 적은 인터랙션으로 모델링을 할 수 있었다.
본 실시예에서는 정점 검출에 대한 전체 수행 시간은 평균 237.6ms로써 이 수행 시간은 알고리즘의 각 주요 절차 이외에도 내부적으로 수행된 영상 복사 및 형 변환 과정 등을 모두 포함한 결과이다. 본 발명에 따른 정점 검출 방법은 최적화 과정을 거침으로써 보다 향상된 처리 속도로 동작할 수 있다.
본 발명의 또 다른 실시예에 따른 영상의 정점 검출 장치 및 방법은 상술한 정점 한개에 대한 선택 방법을 이용하여 네모난 영역에 대해 반자동식으로 관심영역을 검출할수 있는 확장된 반자동식 관심영역 검출 알고리즘에 관한 것이다.
조명이 변하거나 사용자가 카메라를 통해서 바라보는 방향이 바뀌었을때에도 강건한 인식을 위해서는 정확한 관심영역검출이 중요하다. 본 실시예에서 한번의 선 긋기를 통한 반자동식 관심영역 검출 알고리즘을 제안하고 있으며, 더욱 상세하게는 적응적 임계값 설정을 통한 이진화 방법과 허프 변환 방법을 이용한 반자동식 정점 검출방법과 검출된 정점을 구성하는 선분들의 교점을 검출함으로써 사용자가 입력하지 않는 정점에 대한 예측 방법을 적용함으로써 반자동식으로 관심영역을 검출한다.
도 12는 본 발명의 다른 실시예에 따른 영상의 정점 검출 방법의 순서도이고, 도 13은 반자동식 정점 검출방법과 검출된 정점을 구성하는 선분들의 교점을 검출함으로써 사용자가 입력하지 않는 정점에 대한 예측 방법을 적용하여 반자동식으로 관심영역을 검출하는 과정의 예시 개념도이다.
도 12 및 도 13에 도시된 바와 같이, 본 알고리즘을 진행하기 위한 첫 단계로써 사용자는 검출하고자 하는 사각형 영역의 한 코너에서 대각선 방향의 반대편 코너 까지 드래깅(dragging) 한다. 이 드래깅으로 지정된 선분의 시작과 끝 점은 반자동식 정점 검출을 위한 두군데의 초기 탐색 영역으로 설정된다. 그리고 나면 제안하는 알고리즘은 도 12에서 보이는바와 같이 지정된 탐색 영역에서 적응적으로 설정된 임계값을 이용하여 에지를 검출한다. 다음으로는 검출된 에지를 입력으로 허프변환을 이용한 반자동식 방법의 정점 검출이 도 13에서 보여지는 바와 같이 가능하다. 이 과정에서 알고리즘은 검출된 정점을 구성하기 위한 두 주요 한 선분을 검출한다. 이 때 검출된 한 정점을 이루는 한개의 선분을 선택하고 영상 영역 내부에서 교차하는 다른 검출된 정점을 구성하는 한개의 선분을 찾는다. 이로써 알고리즘은 사용자가 초기에 지정하지 않은 정점에 대해서도 도 13의 파란색 점과 같이 예측을 할 수 있게 된다. 이후에는 에측된 점을 다시 정점 탐색 영역으로 두고 허프 변환을 이용한 반자동식 방법의 정점 검출이 가능하다. 이렇게 얻어진 정점을 통해 사용자의 한번의 선 긋기(dragging) 입력을 통해서도 관심영역을 검출 할 수 있다.
또한 이 검출된 영역은 는 LBP 또는 다른 특징점 기반의(ex. SIFT 등)를 이용한 객체 인식 방법의 적용으로 정확한 인식에도 적용될 수 있다. 도 12의 LBP-기반 인식 부분은 제안하는 관심 영역 검출 알고리즘이 인식 알고리즘 중 하나인 LBP 기반 인식 방법을 예로 하여 어떻게 인식 알고리즘과 연계되어 강건한 인식에 사용될 수 있는지를 나타내고 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 낮은 센싱 정밀도를 갖는 터치 입력부를 이용하더라도 정점 검출을 위한 사용자의 인터렉션을 최소화하여 정점 검출 시간을 단축하고 정확도가 높게 정점을 검출할 수 있는 영상의 정점 검출 장치 및 그 방법에 관한 것으로서, 터치 스크린 단말기 등의 다양한 영상처리 분야에 이용될 수 있다.

Claims (18)

  1. 영상을 표시하고, 상기 영상의 정점 위치를 입력받는 UI부;
    상기 입력된 정점 위치를 포함하는 관심영역을 설정하는 관심영역(ROI) 설정부;
    상기 관심영역 내의 영상으로부터 복수의 에지를 검출하고, 그 검출된 복수의 에지에 기초하여 후보 직선군(直線群)을 검출하는 에지 검출부; 및
    상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적 정점으로 검출하는 정점 검출부
    를 포함하는 것을 특징으로 하는 영상의 정점 검출 장치.
  2. 제 1 항에 있어서,
    상기 UI부는 10 픽셀 미만의 오차의 센싱 정밀도를 갖는 표시부를 포함하는 것을 특징으로 하는 영상의 정점 검출 장치.
  3. 제1항에 있어서,
    상기 표시부는 모바일폰에 형성된 터치스크린이고, UI를 구현하는 것을 특징으로 하는 영상의 정점 검출 장치.
  4. 제1항에 있어서
    상기 관심영역 설정부는 상기 입력된 정점 위치를 중심부에 포함하는 기설정된 범위의 관심영역을 설정하는 것을 특징으로 하는 영상의 정점 검출 장치.
  5. 제1항에 있어서,
    상기 에지 검출부는, 상기 관심영역의 영상에 대하여 가우시안 블러(gassian blur) 함수를 적용하여 카메라 영상 잡음을 제거하고, 에지 검출기(canny edge detector)를 이용하여 에지를 검출하는 것을 특징으로 하는 영상의 정점 검출 장치.
  6. 제5항에 있어서,
    상기 에지 검출부는, 상기 에지에 허프 변환(hough transform)을 적용하여 각도 및 거리의 매개변수 집합으로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 하는 영상의 정점 검출 장치.
  7. 제5항에 있어서
    상기 에지 검출부는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 하는 영상의 정점 검출 장치.
  8. 제7항에 있어서,
    상기 정점 검출부는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 하는 영상의 정점 검출 장치.
  9. 제7항에 있어서
    상기 정점 검출부는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거하는 것을 특징으로 하는 영상의 정점 검출 장치.
  10. 제7항에 있어서
    상기 정점 검출부는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보직선군에서 제거하는 것을 특징으로 하는 영상의 정점 검출 장치.
  11. 영상의 정점 위치를 입력받는 단계;
    상기 입력된 정점 위치를 포함하는 관심영역(ROI)을 설정하고, 상기 관심영역 내의 영상으로부터 복수의 에지를 검출하는 단계;
    상기 복수의 에지에 기초하여 최적의 정점을 검출하기 위한 후보 직선군을 검출하는 단계; 및
    상기 후보 직선군 중에서 설정된 기준 후보직선과의 사이각이 임계 각도 미만인 상기 후보 직선을 제거한 후, 상기 기준 후보직선과 잔류 후보 직선의 교점 위치와 상기 입력된 정점 위치 간의 거리가 최소인 교점을 최적의 정점으로 검출하는 단계
    를 포함하는 것을 특징으로 하는 영상의 정점 검출 방법.
  12. 제11항에 있어서,
    상기 에지 검출단계는, 상기 관심영역의 영상에 대하여 가우시안 블러(gaussian blur) 함수를 적용하여 영상잡음을 제거하고, 에지 검출기(canny edge detector)를 이용하여 에지를 검출하는 것을 특징으로 하는 영상의 정점 검출 방법.
  13. 제11항에 있어서,
    상기 후보 직선군 검출단계는, 상기 복수의 에지에 허프 변환(hough transform) 함수를 적용하여 각도 및 거리의 매개변수로 표시되는 상기 후보 직선군으로 변환하는 것을 특징으로 하는 영상의 정점 검출 방법.
  14. 제13항에 있어서,
    상기 후보 직선군 검출단계는, 상기 후보 직선군을 허프 변환 수행시 보우팅(voting)된 회수가 많은 순서로 나열하는 것을 특징으로 하는 영상의 정점 검출 방법.
  15. 제14항에 있어서,
    상기 정점 검출단계는, 상기 후보 직선군 가운데 가장 많이 보우팅된 후보 직선을 상기 기준 후보직선으로 설정하는 것을 특징으로 하는 영상의 정점 검출 방법.
  16. 제13항에 있어서,
    상기 정점 검출단계는, 상기 기준 후보직선의 각도와 상기 후보 직선군의 각도의 차이가 상기 임계 각도 미만이고, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만이면, 해당 후보 직선군을 제거하는 것을 특징으로 하는 영상의 정점 검출 방법.
  17. 제13항에 있어서
    상기 정점 검출단계는, 상기 기준 후보직선의 거리와 상기 후보 직선군의 거리의 차이가 임계 거리 미만인 해당 후보 직선을 기준 후보 직선군에서 제거하는 것을 특징으로 하는 영상의 정점 검출 방법.
  18. 제11 항 내지 제17 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2010/007485 2009-11-26 2010-10-28 영상의 정점 검출 장치 및 방법 WO2011065671A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/512,188 US8867784B2 (en) 2009-11-26 2010-10-28 Apparatus and method for detecting a vertex of an image
EP10833483.0A EP2528035B1 (en) 2009-11-26 2010-10-28 Apparatus and method for detecting a vertex of an image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0115365 2009-11-26
KR1020090115365A KR101032446B1 (ko) 2009-11-26 2009-11-26 영상의 정점 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
WO2011065671A2 true WO2011065671A2 (ko) 2011-06-03
WO2011065671A3 WO2011065671A3 (ko) 2011-09-01

Family

ID=44067035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/007485 WO2011065671A2 (ko) 2009-11-26 2010-10-28 영상의 정점 검출 장치 및 방법

Country Status (4)

Country Link
US (1) US8867784B2 (ko)
EP (1) EP2528035B1 (ko)
KR (1) KR101032446B1 (ko)
WO (1) WO2011065671A2 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5746550B2 (ja) * 2011-04-25 2015-07-08 キヤノン株式会社 画像処理装置、画像処理方法
KR101272448B1 (ko) * 2011-07-11 2013-06-07 광주과학기술원 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN103020601B (zh) * 2012-12-13 2015-08-05 北京航空航天大学 高压线视觉检测方法和装置
CN104438125B (zh) * 2014-12-11 2017-01-18 天津普达软件技术有限公司 一种手机屏幕不良品剔除方法
KR20160071242A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
CN105118069B (zh) * 2015-09-30 2019-08-13 杭州南江机器人股份有限公司 一种复杂环境直线检测和筛选方法及应用该方法的机器人
CN106097331B (zh) * 2016-06-07 2018-11-13 浙江工业大学 一种基于锁孔识别的集装箱定位方法
DE102017103953A1 (de) * 2017-02-24 2018-08-30 Volume Graphics Gmbh Verfahren und Vorrichtung zur Erkennung von Ecken
US10037613B1 (en) * 2017-03-30 2018-07-31 Uber Technologies, Inc. Systems and methods to track vehicles proximate perceived by an autonomous vehicle
CN108759661A (zh) * 2018-03-27 2018-11-06 松下电子部品（江门）有限公司 边缘检测视觉***的直线偏移方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200282B2 (en) * 2001-12-12 2007-04-03 Sony Corporation Implementation of Hough transform and its application in line detection and video motion analysis
KR20060062154A (ko) * 2004-12-03 2006-06-12 한국전자통신연구원 하프 변환을 이용한 건물외곽선 추출 장치 및 그 방법
US20080260254A1 (en) * 2005-12-22 2008-10-23 Koninklijke Philips Electronics, N.V. Automatic 3-D Object Detection
KR20090088210A (ko) * 2008-02-14 2009-08-19 주식회사 만도 두 개의 기준점을 이용한 목표주차위치 검출 방법과 장치및 그를 이용한 주차 보조 시스템
KR100998374B1 (ko) * 2008-04-07 2010-12-03 성균관대학교산학협력단 직선의 시작점과 종료점을 검출하기 위한 영상 처리 방법및 그 장치
KR100952306B1 (ko) * 2008-05-07 2010-04-13 성균관대학교산학협력단 선 입력 기반 영상 처리 방법 및 그 장치
US8411080B1 (en) * 2008-06-26 2013-04-02 Disney Enterprises, Inc. Apparatus and method for editing three dimensional objects
US9460063B2 (en) * 2009-01-02 2016-10-04 Apple Inc. Identification, selection, and display of a region of interest in a document
TWI452540B (zh) * 2010-12-09 2014-09-11 Ind Tech Res Inst 影像式之交通參數偵測系統與方法及電腦程式產品

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A. V. D. HENGEL ET AL.: "Video Trace: Rapid Interactive Scene Modeling from Video", ACM TRANSACTIONS ON GRAPHICS, vol. 26, no. 3, July 2007 (2007-07-01), XP008164630
J. CANNY: "A Computational Approach to Edge Detector", IEEE TRANS. PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 8, no. 6, 1986, pages 679 - 714
R.O. DUDA ET AL.: "Use of the Hough Transformation to Detect Lines and Curves in Pictures", COMMUNICATIONS OF ACM, vol. 15, 1972, pages 11 - 15, XP058256218, DOI: doi:10.1145/361237.361242
S. GIBSON ET AL.: "Interactive Reconstruction of Virtual Environments from Video Sequences", COMPUTERS & GRAPHICS, vol. 27, 2003, pages 293 - 301, XP004412341, DOI: doi:10.1016/S0097-8493(02)00285-6
See also references of EP2528035A4
X. REN ET AL.: "Learning a Classification Model for Segmentation", PROC. 9TH ICCV, vol. 1, 2003, pages 10 - 17, XP010662236

Also Published As

Publication number Publication date
US8867784B2 (en) 2014-10-21
KR101032446B1 (ko) 2011-05-03
EP2528035B1 (en) 2018-09-12
EP2528035A4 (en) 2017-03-22
EP2528035A2 (en) 2012-11-28
US20120257791A1 (en) 2012-10-11
WO2011065671A3 (ko) 2011-09-01

Similar Documents

Publication Publication Date Title
WO2011065671A2 (ko) 영상의 정점 검출 장치 및 방법
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
CN110248085B (zh) 用于图像序列的图像中的对象边界稳定化的装置和方法
CN110766679B (zh) 镜头脏污检测方法、装置及终端设备
Bradley et al. Adaptive thresholding using the integral image
US9405182B2 (en) Image processing device and image processing method
US8467596B2 (en) Method and apparatus for object pose estimation
CN104202547B (zh) 投影画面中提取目标物体的方法、投影互动方法及其***
WO2019050360A1 (en) ELECTRONIC DEVICE AND METHOD FOR AUTOMATICALLY SEGMENTING TO BE HUMAN IN AN IMAGE
JP5538868B2 (ja) 画像処理装置、その画像処理方法及びプログラム
JP2013065304A (ja) 高速障害物検出
US9952677B2 (en) Method and apparatus for distinguishing features in data
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
JP2017522647A (ja) 背景追跡を介する物体追跡及びセグメント化の方法及び装置
CN111435429A (zh) 一种基于双目立体数据动态认知的手势识别方法及***
JP2015118641A (ja) 画像処理装置、画像処理方法および画像処理プログラム
RU2458396C1 (ru) Способ редактирования статических цифровых комбинированных изображений, включающих в себя изображения нескольких объектов
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116883897A (zh) 一种低分辨率目标识别方法
Jiale et al. Automatic identification method of pointer meter under complex environment
CN116703803A (zh) 用于检测电池极片边缘的毛刺的方法、设备和***
CN108564070B (zh) 用于提取手势的方法及其装置
CN113766147A (zh) 视频中嵌入图像的方法、平面预测模型获取方法和装置
TWI450572B (zh) 影像邊界掃描的電腦系統及方法
KR101212316B1 (ko) 공간 변환과 움직임 추정을 이용한 프레임 중앙점의 이동 경로 추출방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10833483

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13512188

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010833483

Country of ref document: EP