WO2013081322A1 - 원 마커를 이용한 구형물체 비행정보 추정 방법 - Google Patents

원 마커를 이용한 구형물체 비행정보 추정 방법 Download PDF

Info

Publication number
WO2013081322A1
WO2013081322A1 PCT/KR2012/009747 KR2012009747W WO2013081322A1 WO 2013081322 A1 WO2013081322 A1 WO 2013081322A1 KR 2012009747 W KR2012009747 W KR 2012009747W WO 2013081322 A1 WO2013081322 A1 WO 2013081322A1
Authority
WO
WIPO (PCT)
Prior art keywords
circle
circle marker
image
spherical object
marker
Prior art date
Application number
PCT/KR2012/009747
Other languages
English (en)
French (fr)
Inventor
정미애
Original Assignee
Jung Mi-Ae
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jung Mi-Ae filed Critical Jung Mi-Ae
Publication of WO2013081322A1 publication Critical patent/WO2013081322A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G06T2207/30224—Ball; Puck
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to a method for estimating the flight information of the spherical object, that is, the flight speed (speed and direction of flight) and the rotational speed (speed and direction of rotation axis) from a mono image or stereo image of a flying spherical object acquired at two or more time points. It is about.
  • Korean Patent No. 10-0784967 is for estimating golf club hit information and golf ball flight information, using four multiple exposure cameras and a laser-based trigger device of a transmission and reception method, and using a multiple exposure of a multiple exposure camera. Images of golf balls are taken at various points in time. In order to estimate the speed of the golf club, three reflection points are attached to the golf club. The rotation information of the golf ball is determined by the angle between the tangential straight lines of the striped arc at two points at the intersection of two striped arcs drawn on the golf ball. It was calculated and estimated by the rotation angle. However, this rotation angle estimation method is not only an approximate method of inferior accuracy, but also has a problem in that the golf ball must be placed so that the intersection point is always visible.
  • Korean Patent No. 10-0871595 relates to a method for estimating spherical object flight information using one line scan camera and two high speed cameras.
  • the initial velocity of the spherical object from the line image of the spherical object passing through the line scan camera The stereo images were obtained by taking a picture so that spherical objects at three time points do not overlap one image with a high-speed camera capable of multiple exposures by controlling the multiple exposure time intervals based on the predicted initial speed.
  • the center point of the spherical object was calculated from the stereo images captured by this method, and the rotation information of the spherical object was estimated by calculating three intersection points of the line markers engraved on the spherical object from the multi-exposure image.
  • the rotation information estimation method using three intersection points of the line markers used in the patent is much lower in accuracy by calculating the rotation speed and the rotation axis with only three intersection points, and if one of the three is not found, the calculation becomes impossible.
  • Korean Patent No. 10-0937922 two pairs of stereo images are acquired by using four trigger cameras and a general camera for acquiring high speed cameras to avoid the use of one trigger camera and a high speed camera informing the point of image acquisition.
  • the rotation speed and rotation axis of the golf ball were estimated.
  • the patent uses a number of marking points engraved on the golf ball to estimate the rotational information of the golf ball, but not only the golf ball should be placed on the hitting mat so that the marking points are easily visible to the camera, the golf ball is a strong hitting As it is repeated, the marking points of the golf ball are more likely to be erased than the line markers, and thus the reliability is low.
  • Korean Patent No. 10-1019823 acquires a multiple exposure image of a moving object using two cameras and a strobe device, extracts the image of the object from the acquired image, and obtains coordinates of the center points of the object images.
  • the motion trajectory of the object was obtained using the coordinates, but the rotation information of the flying object could not be estimated.
  • Korean Patent No. 10-1044887 obtained an image of a golf ball by using one line scan camera and two high speed cameras as a trigger, and estimated the flight speed of the golf ball by using the acquired image, but the rotation speed was Can not be estimated.
  • the intersection point of the line marker, the line marker angle at the intersection point, or the positions of several marking points are used.
  • the estimation method is not only accurate, but also robust to the effects of lighting, image noise, and the like.
  • Patent Document 1 KR 10-0784967 B1 2007. 12. 11.
  • Patent Document 2 KR 10-0871595 B1 2008. 11. 28.
  • Patent Document 3 KR 10-0937922 B1 January 13, 2010
  • Patent Document 4 KR 10-1019823 B1 2011. 2. 25.
  • the method of estimating the rotational speed of a spherical object using three intersections of line markers has a much lower accuracy by calculating the rotational speed with only three intersections, and it is impossible to calculate when one of the three is not found.
  • the method of estimating the rotational speed of a spherical object by using several marking points requires not only to place the golf ball on the hitting mat so that the marking points are clearly visible to the camera, but also to the golf ball and the baseball ball. As it is repeated, the marking points are more likely to be erased, which results in a lower reliability.
  • the flight information estimation result of the spherical object by using the geometric characteristics of the circle markers without using the positional information in the image of the points such as the intersection of the line marker or the marking point to increase the accuracy and reliability of the.
  • the spherical object flight information estimation method using the present circle marker extracts the original marker image point from the camera image at different viewpoints, and at different viewpoints derived from the extracted original marker image point.
  • the position vector and normal vector of the circle marker are obtained from the elliptic equation of, and the flight speed and the rotation speed of the spherical object are calculated.
  • the present invention uses the geometrical characteristics of the circle marker instead of using the location information in the image of the point such as the intersection of the line marker or the marking point to estimate the flight information, thereby increasing the accuracy of the flight information estimation result, and using a plurality of circle markers.
  • the average of the results calculated from the circle markers can be used, thereby increasing the robustness to the effects of image noise and lighting.
  • the flight information of spherical objects can be estimated even when the circle markers engraved on the spheres are partially erased for strong hitting.
  • the rotation speed can be calculated using only the mono image of the flying sphere. If the size of the sphere is not known in advance, the flight of the sphere is performed from the stereo image of the flying sphere. Information can be estimated.
  • FIG. 1 is a conceptual diagram showing a relationship between a circle image in a three-dimensional space and a circle taken on a single camera image plane.
  • FIG. 2 is an exemplary view illustrating that various shapes of a circle may appear on a single camera image surface according to a relative posture between a circle and a single camera in FIG. 1.
  • FIG 3 is an exemplary view of a circle marker marked on a spherical object.
  • FIG. 4 is a conceptual diagram illustrating a relationship between a camera coordinate system xyz coordinate system, a x 1 -y 1- z 1 coordinate system transformed such that a straight line connecting the origin of the camera coordinate system and the ellipse is the z 1 axis.
  • FIG. 5 is a conceptual diagram showing the relationship between x 1 -y 1, -z 1 and the coordinate system x 1 -y 1 -z x 2 -y 2 -z 2 coordinates the first coordinate system, a rotational transformation by ⁇ .
  • FIG. 6 is an exemplary diagram of a circle marker shown in a camera image.
  • FIG. 7 is an exemplary view of a circle marker viewed from two different viewpoints in a spherical object drawn so that two circle markers cross 90 degrees.
  • FIG. 8 is a conceptual diagram illustrating a relationship between a circle and a stereo camera image in a three-dimensional space.
  • FIG. 9 is a conceptual diagram illustrating restoring a circle by crossing two elliptical cones.
  • a circle 110 in a three-dimensional space is projected as an ellipse 210 on a two-dimensional camera image surface 200, and the shape of the ellipse depends on the relative posture (position and direction) of the camera and the circle.
  • the circle 110 is placed perpendicular to the camera center line at a distance away from the projection point 220 of the camera along the camera center line 221, the circle shown in the camera image is displayed.
  • the shape looks exactly as a circle 211, but if the circle plane 100 is distorted at an angle with the camera center line 221 as shown in Fig. 2 (b), the circle 110 is shown as an ellipse 212 in the camera image. do.
  • the ellipse shown in the image becomes shorter and shorter as the direction of the circle is distorted with the camera center line.
  • the image is shown as one straight line 213.
  • the position and shape of the ellipse projected on the camera image plane are different depending on the position of the circle center in the three-dimensional space.
  • the equation of the circle in three-dimensional space can be obtained from the position and shape of the ellipse, which is the image of the spherical object seen on the camera image plane, the center position of the circle and the direction of the circle (normal of the plane where the circle is located) Direction) can be calculated.
  • a circle marker is drawn on the surface of a spherical object, and an equation of a circle marker in three-dimensional space is calculated from an ellipse that is a shape of a circle marker shown in an image at an arbitrary time point.
  • the flight speed and the rotation speed of the spherical object are calculated from the center point position and direction of the circle marker calculated at two time points.
  • Step-1 Extract the circle marker image point from the acquired camera image.
  • Process-2 Derivation of the ellipse from the circle marker image point.
  • Step-4 Calculation of the position of the center point of the circle marker and the direction of the circle marker from the equation of the circle marker
  • Process-5 Calculation of the flying speed and the rotational speed of the spherical object using the position of the center point of the circle marker and the direction of the circle marker
  • Process-3 and Process-4 are not clearly distinguished in the following description, but are divided for the purpose of conceptual understanding.
  • the acquired image is a mono image and a stereo image
  • the image is acquired.
  • the fundamental principle of the method of estimating the flight and rotational speeds of a spherical object from the basic principle, that is, the basic principle of calculating the equation of the circle marker from the ellipse shown in the image is the same, but the specific calculation method is different.
  • the acquired image is a mono image and a case where the stereo image is divided will be described.
  • the sphere in order to remove this limitation, the sphere must have two or more circle markers and the circle markers must not be parallel.
  • the position and size of the circle marker are not limited, the centers of all the circle markers on the surface of the sphere object should coincide with the center of the sphere object for convenience of calculation during the estimation process of the sphere object flight information. In other words, all circle markers should be in a great circle.
  • FIG. 3 is an example of a circle marker 310 marked on a spherical object 300 according to the present invention. It should be noted that when there are several circle markers, the range of possible rotation speed estimation is determined by the number and arrangement of circle markers. For example, when three circle markers are arranged as shown in FIG. 3 (b), when the spherical object 300 rotates by 60 degrees or more between two viewpoints, the rotation speed cannot be calculated, and three circle markers are illustrated in FIG. 3 (c). In this case, if the spherical object rotates more than 90 degrees between two time points, the rotation speed cannot be calculated.
  • the interval between the image acquisition time points should be determined not to exceed the maximum rotation angle that can be calculated using the circle marker when the spherical object 300 rotates at the maximum rotation speed.
  • the maximum rotational speed of the golf ball is 10,000rpm
  • the maximum rotation angle of the golf ball is 60 degrees when the image acquisition time interval is 1msec. Therefore, in consideration of the maximum rotation angle, the number of circle markers is preferably not more than three.
  • the method for estimating flight information of a spherical object from a mono image of a flying spherical object provided by the present invention is a mono image of a flying spherical object acquired at two or more time points, regardless of which method a mono image of a flying spherical object is obtained. It is possible to estimate flight information of spherical objects if they are present.
  • C is a matrix representing an ellipse. It is assumed here that the elliptic matrix C shown in the image is known, and a method of obtaining the elliptic matrix C from the circle marker will be described later.
  • an ellipse cone 230 is formed to connect the camera coordinate system origin 220 and the ellipse 210 of the image plane.
  • K is the camera characteristic matrix and x is the position vector of the points on the circumference, described in camera coordinates.
  • the camera characteristic matrix K is obtained through the camera calibration process.
  • Equation 2 is a general elliptical cone z-axis does not coincide with the central axis of the elliptical cone, so that the camera coordinate system as shown in FIG. Rotate to create a new x 1 -y 1 -z 1 coordinate system.
  • the z 1 axis is toward the center of the ellipse, and when viewed from the camera coordinate system origin in the z 1 axis direction, the short axis of the ellipse coincides with the x 1 axis and the long axis coincides with the y 1 axis.
  • the coordinate conversion equation for converting the elliptical cone into the standard form is as shown in Equation 3 below, and the rotation matrix R 1 is calculated through eigen analysis of K T CK .
  • ⁇ is calculated through the eigenvalue analysis of the matrix K T CK as in the rotation matrix R 1 .
  • the ⁇ may have a positive value and a negative value, and the sign of the ⁇ value is determined according to the portion of the circle marker. The method of determining the sign of the? value will be described later.
  • Equation 5 Equation 5
  • Equation 5 are intermediate variables calculated in the process of converting an elliptic cone in the x 1 -y 1 -z 1 coordinate system into a cone in the x 2 -y 2 -z 2 coordinate system.
  • the equation of the circle is a circle whose center is ( ⁇ ta, 0, a) in the x 2- y 2- z 2 coordinate system and the radius is r.
  • the sign of the x 2 coordinate value ⁇ ta of the circle center is determined by the sign of ⁇ calculated previously. That is, if the value of phi is positive, the center point of the circle becomes (-ta, 0, a). If the value of phi is negative, the center point of the circle becomes (+ ta, 0, a). If you know the radius r of the circle in advance, you can find a as
  • the circle When the circle is drawn on the plane, the entire shape of the circle, that is, the shape of the ellipse, is shown on the camera image.
  • the circle when the circle is drawn on the spherical object surface like a circle marker, only a part of the ellipse is shown on the camera image, as shown in FIG.
  • the circle marker drawn on the spherical object can be used to determine the sign of the value of ⁇ by using only part of the circle marker. That is, FIG.
  • this plane of the shorter ellipse 320 positive case part (1 + x-axis part) shown is a circle plane candidates in Fig 5-2 420 circle marker in the value of ⁇ is a positive number
  • Figure 6 (b) is negative, as shown partial circle candidate -1 plane 410 in Figure 5 in the case shown the (-x part 1-axis) of the ellipse speed 330, so in the plane of the circle marker The value of phi becomes negative.
  • a mono image at least two viewpoints is required. For each of the mono images acquired from two or more viewpoints, the position of the center point of the circle marker in the three-dimensional space and the normal direction of the circle marker with respect to the camera are calculated through the following process.
  • Step-1 Extract the original marker image points from the image.
  • image points corresponding to the original markers are first extracted from the acquired image.
  • a method of extracting image points having a certain feature is proposed in the field of image processing, one of them is used.
  • the brightness of the color of the circle marker must be contrasted with the brightness of the color of the spherical object. For example, if the sphere is white, the color of the circle marker should be black.
  • Step-2 Obtain the equation of the ellipse using the circle marker image points.
  • an elliptic equation is obtained through a hough transform that is frequently used in the image processing field.
  • Huff transform method for elliptic expression is applicable to partially visible ellipse, so that even if the original marker is partially erased, the result is highly reliable.
  • the Hough transform method can be applied even when there are several ellipses in the image, so that even if there are several circle markers on the spherical object, the elliptic equations can be calculated.
  • Step-3 Determine the sign of the rotation angle ⁇ by rotating the x 1 -y 1 -z 1 coordinate system about the y 1 axis according to which part of the ellipse is visible around the ellipse short axis, and calculate in step-2. Equation 8 and Equation 9 are used to calculate the normal vector of the circle marker and the position of the center point of the circle marker with respect to the camera.
  • Step-4 If there are several circle markers, average the positions of the center points of the circle markers calculated for each circle marker.
  • the position vector in the three-dimensional space of the circle marker center point calculated from the image at the image acquisition time point t 1 is referred to as c 1
  • the velocity vector v of the spherical object is calculated by the following equation.
  • the method of calculating the rotational speed of a spherical object depends on the number of circle markers. If there is only one number of circle markers, the circle marker normal in three-dimensional space calculated from the image at time t 1 is n 1 , and the circle marker normal in three-dimensional space calculated from the image at time t 2 . If the vector is n 2 and the unit vector k perpendicular to the plane of the angle ⁇ between two normal vectors n 1 and n 2 and n 1 and n 2 is calculated, the rotational velocity vector ⁇ of the spherical object is It is calculated by the following equation.
  • one circle marker selected from the image at the time t 1 of image acquisition is the same as any of the circle markers in the image at the time t 2 before the spherical object is calculated. It should be distinguished from the original marker.
  • the first method for this purpose is to acquire the image of a flying object using a color camera by differentiating the colors of the original markers in order to distinguish between the same circle markers in the image of the image acquisition time t 1 and the image of the image acquisition time t 2 .
  • the rotational speed calculation method does not distinguish between the same circle markers at the image acquisition time t 1 and the image acquisition time t 2 , and may actually occur by a try-and-error method.
  • This method calculates the spherical object's rotation speed by matching the circle markers.
  • the angle of rotation of the spherical object between the image acquisition time t 1 and the image acquisition time t 2 should not exceed the maximum calculation angle (the maximum rotation angle is determined by the number and arrangement of circle markers).
  • Step-1 N as the first of all the original marker normal vector n 1 (i) in the image capturing time point t 1 and the group G 1, N 2 of the image acquisition all of the original at the time t 2 the marker normal vector n 2 (j) Let them be group G 2 .
  • Step-2 Select any circle marker normal vector n 1 (i) from group G 1 for the first pairing, and select two circle normals n 2 (j) from group G 2 after calculating the angle ⁇ 1 between the vector between when each of ⁇ 1 is calculated does not exceed the maximum angle of rotation as possible to go to the next step, the excess of between a maximum angle of rotation as possible each ⁇ 1 is calculated from the mating of the next re-try Exclude the pairing between n 1 (i) and n 2 (j), which you choose not to do, and perform step-2 again to try another pairing that does not exceed the maximum computed rotation angle.
  • Step-3 Record the circle marker normal vectors n 1 (i) and n 2 (j) paired in Step 2 so that the pairing is complete so that the next pairing does not try the same pairing again.
  • Step-4 Select random n 1 (i) and n 2 (j) from group G 1 and group G 2 for the second pairing (except for unmatching or mating complete) After calculating the angle angle ⁇ 2 , if the angle angle ⁇ 2 does not exceed the maximum calculable angle of rotation, proceed to the next step; if the angle angle ⁇ 2 exceeds the maximum calculable angle of rotation, do not try again at the next mating. After excluding the pairing between the selected n 1 (i) and n 2 (j) , perform step 4 again to try another pairing that does not exceed the maximum computed rotation angle.
  • Step-5 Calculate the rotational velocity vectors ⁇ 1 and ⁇ 2 of the spherical object using Equation 11 for the angles ⁇ 1 and ⁇ 2 between the two circle marker normal vectors calculated in the previous step.
  • the rotational speed vector ⁇ of the spherical object is calculated.
  • ⁇ 1 or ⁇ 2 has a value of 0 in the above-described step-5
  • the spherical object is rotated about the center axis of the circle marker, and the rotation speed is calculated as 0 in the circle marker.
  • the previously described method finds only two feasible matings and calculates the spherical object's rotational speed vector ⁇ . However, if there is another feasible mating, the new spherical object's rotational speed vector ⁇ 3 is calculated from the mating and the Averaged with the speed vector ⁇ .
  • circle marker-1-t 1 (331) and circle marker-2-t 2 (352) ⁇ rotation angle exceeded 90 degrees (retry)
  • the method of estimating the flight information that is, the flight speed and the rotational speed of the spherical object from the mono image of the flying spherical object acquired at two time points has been described. If there are more mono images of the flying spherical object acquired at the third time point, the flight speed and the rotational speed of the spherical object are calculated using the first time image and the third time point image as described above. (Averaging result from the image of the first time point and the image of the second time point) and averaging can improve the reliability of the calculation result.
  • the stereo image of the spherical object in flight is acquired by any method, and the flight information of the spherical object can be estimated only if the stereo images of the spherical object in flight are acquired from two or more viewpoints.
  • the stereo image of the spherical object in flight is acquired by any method, and the flight information of the spherical object can be estimated only if the stereo images of the spherical object in flight are acquired from two or more viewpoints.
  • Q is other matrix size that is the equation of a cone (dimension) that is given by the following equation as 4 ⁇ 4 in the other cone matrix, Q the degree of (rank) must be 3
  • C is an ellipse matrix representing the equation of an ellipse seen on the camera image plane
  • P is a projection matrix of the camera, obtained through a camera calibration process.
  • the projection matrix of the first camera and the second camera P 1, P 2, respectively, C 1, C 2 indicates the oval matrices that appear in the image of the first camera and a second camera, respectively, and Q 1, Q 2 are each An elliptic cone matrix is formed by connecting an ellipse of the coordinate system origin and the image plane of the first camera and the second camera.
  • the elliptical cones Q 1 and Q 2 are elliptical cones generated from one circle, that is, the curves formed by the intersection of the elliptical cones Q 1 and Q 2 become circles. Note that when two elliptical cones Q 1 and Q 2 intersect, two circles are generated as shown in FIG. 9.
  • C ([lambda]) at that time represents an equation of a plane containing a curve generated by crossing two cones. Therefore, by calculating ⁇ such that the rank of the C ( ⁇ ) matrix is 2, the plane equation can be obtained.
  • I 2 , I 3 and I 4 mean the coefficients of the cubic, quadratic and linear terms of the determinant of C ( ⁇ ), respectively.
  • Equation 19 is used to distinguish which one circle marker selected from the first camera image is the same circle marker among the circle markers of the second camera image when the number of circle markers is multiple. Can be. The detailed method is described later.
  • the circle facing the camera can only see the side facing the camera and not the other side, so the first camera and the first The plane viewed from the two cameras is the same plane, that is, the circle plane candidate-1 410 in FIG. 9 becomes the plane of the circle.
  • the equation of the circle can be obtained by solving the above-described equation of the circle plane and the equation of the cone Q 1 .
  • the same result can be obtained by using the cone Q 2 instead of the cone Q 1 and solving the above-described equation of the planar equation and the equation of the cone Q 2 by [Equation 16].
  • Equation 19 is a value calculated from an ellipse of the first camera and the second camera image of the same circle, if the image of the same circle C 1 and C 2 is the ellipse of the image of the first camera and the second camera If not, Equation 19 is not satisfied. Therefore, it is possible to distinguish whether ellipses C 1 and C 2 are images of the same circle depending on whether the equation (19) is satisfied.
  • stereo images from at least two viewpoints are required.
  • the center point position of the circle marker in three-dimensional space and the normal vector of the circle marker for the camera are calculated by the following process.
  • Step-1 Image points of a circle marker are extracted from a first camera image and a second camera image acquired at two or more viewpoints. This process is the same as using a mono image.
  • Step-2 Obtain the equations of the ellipse using the circle marker image points in each image. This process is the same as using a mono image.
  • Step-3 Find the absolute value of ⁇ for all possible cases where several ellipses of the first camera and several ellipses of the second camera calculated in step-2 are calculated, and
  • Step-4 The equations of the plane in which the circle-marker is located are calculated and calculated for the ellipses C 1 (i) in the first camera image and the ellipses C 2 (j) in the second camera image. A plane viewed from the first camera and the second camera is selected among the two planes.
  • Step-5 Calculate the equation of the circle by combining the plane equation and the conical equation [Equation 17] calculated in step-4, and find the position c k in the three-dimensional space of the circle-marker from it, and the number of successful matings. If there are several, average c k . Further, the normal vector n k of the circle marker plane is obtained from the plane equation.
  • the position vector in the three-dimensional space of the circle marker center point calculated from the stereo image at the image acquisition time t 1 is c 1
  • the three-dimensional space of the circle marker center point calculated from the stereo image at the image acquisition point t 2 is calculated. If the position vector at is c 2 , the flight velocity vector v of the spherical object is calculated by Equation 11 as in the case of a single image.
  • the rotational speed vector ⁇ diagram won marker normal direction vector calculated from a stereo image of the circle markers normal direction vector n 1 (k) and the image acquisition time t 2 calculated by the stereo images in the image capturing time t 1 of the spherical object n 2 ( k)
  • the method of calculating the rotational speed of the spherical object by matching the circle markers that can actually occur by the try-and-error method can be calculated. Can be.
  • the first object and the third time point image are used as described above.
  • the reliability of the results can be improved by obtaining the flight speed and rotation speed, and averaging the results from the images of the first and second views.
  • the method of estimating the flight information of the spherical object from the mono image in flight of the spherical object inscribed with the circle marker and the method of estimating the flight information of the spherical object from the stereo image in flight has been described.
  • the method of estimating the flight information of the spherical object in flight using the circle marker of the spherical object provided in the present invention can be applied only to the method using the stereo image when the size of the spherical object is not known in advance. If the size of the object can be known in advance, both a mono image and a stereo image can be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 구형물체 비행정보를 추정하기 위하여 구형물체에 표시된 원 마커의 기하학적 특징을 이용하는 원 마커를 이용한 구형물체 비행정보 추정 방법으로, 서로 다른 시점에서의 카메라 영상으로부터 원 마커 영상점을 추출하고 상기 추출된 원 마커 영상점으로부터 상기 서로 다른 시점에서의 타원의 식을 구한 후, 상기 타원의 식 각각의 위치벡터와 법선벡터로부터 구형물체의 비행속도 및 회전속도를 산출할 수 있도록 한 것이다. 상기 목적을 달성하기 위해 본 발명의 원 마커를 이용한 구형물체 비행정보 추정 방법에서는 모노 영상 또는 스테레오 영상으로부터 원 마커 영상점의 타원의 식을 추출하고 이를 기하학적 관계식을 통해 변환한 후 원 마커 영상점들이 가질 수 있는 경우의 수를 분석하여 원 마커의 색상이나 명암 등에 상관없이 원 마커를 구분할 수 있도록 하였다.

Description

원 마커를 이용한 구형물체 비행정보 추정 방법
본 발명은 두 시점 이상에서 취득된 비행중인 구형물체의 모노 영상 또는 스테레오 영상으로부터 구형물체의 비행정보 즉, 비행속도(속력 및 비행 방향) 및 회전속도(회전수 및 회전축 방향)를 추정하는 방법에 관한 것이다.
근래 들어 비행하는 구형물체의 비행정보를 추정하기 위해 카메라의 영상을 이용하는 방법들이 제안되고 있는데, 구형물체의 비행속도를 계산하기 위하여 두 시점 이상에서 취득된 스테레오 영상들에서 골프공 영상 중심점 위치들을 계산하고, 이를 이용하여 골프공의 3차원 공간에서의 위치를 계산한 후에 구형물체의 비행속도를 계산하고 있으며, 구형물체의 회전속도를 추정하기 위해서는 구형물체 상에 형성된 여러 가지 형상의 마커를 이용하고 있다.
한국등록특허 제10-0784967호는 골프클럽 타격정보 및 골프공 비행정보를 추정하기 위한 것으로 다중노출 카메라 4개와 송수신 방식의 레이저 방식의 트리거 장치를 이용하며, 다중노출 카메라의 다중 노출을 이용하여 한 장의 영상에 여러 시점에서의 골프공 영상을 촬영한다. 골프클럽의 속도를 추정하기 위해 골프클럽에 3개의 반사 포인트를 부착하였으며, 골프공의 회전정보는 골프공에 그려진 2 개의 줄무늬 원호의 교차점에서 두 시점에의 줄무늬 원호의 접선방향 직선의 사이각을 계산하여 회전각으로 추정하였다. 그러나 이러한 회전각 추정 방법은 정확도가 떨어지는 근사적인 방법일 뿐 아니라 항상 교차점이 보이도록 골프공을 놓아야 하는 문제점이 있다.
한국등록특허 제10-0871595호는 하나의 라인스캔 카메라와 2개의 고속카메라를 이용하여 구형물체 비행정보를 추정하는 방법에 관한 것으로 라인스캔 카메라를 통과하는 구형물체의 라인영상으로부터 구형물체의 초기속도를 예측하고 예측된 초기속도를 바탕으로 다중노출 시간 간격을 조절함으로써 다중노출이 가능한 고속카메라를 통해 한 장의 영상에 세 시점에서의 구형물체가 중첩되지 않게 촬영하는 방법으로 스테레오 영상을 취득하였다. 그리고 이러한 방법으로 촬영된 스테레오 영상으로부터 구형물체의 중심점을 계산하였으며, 또한 다중노출 영상으로부터 구형 물체에 새겨진 라인마커들의 교차점 3개를 계산하여 구형물체의 회전정보를 추정하였다. 상기 특허에서 사용한 라인 마커들의 교차점 3개를 이용한 회전정보 추정방법은 단지 교차점 3개만으로 회전속도 및 회전축을 계산함으로 정확도가 많이 떨어지며, 3개 중에 하나라도 찾지 못하는 경우 계산이 불가능해진다.
한국등록특허 제10-0937922호는 영상취득 시점을 알리는 1개의 트리거용 카메라와 고속 카메라의 사용을 피하기 위해 4개의 영상 취득용 일반 카메라를 이용하여 2쌍의 스트레오 영상을 취득하고, 이들 영상으로부터 공에 마킹된 점들을 이용하여 골프공의 회전속도 및 회전축을 추정하였다. 또한 상기 특허에서는 골프공의 회전정보를 추정하기 위해 골프공에 새겨진 여러 개의 마킹점들을 이용하였으나 마킹점들이 카메라에 잘 보이도록 골프공을 타격 매트 위에 놓아야 할 뿐만 아니라, 골프공의 경우 강한 타격이 반복될수록 라인마커에 비해 골프공의 마킹점들은 지워질 가능성이 많으므로 신뢰도가 떨어진다.
한국등록특허 제10-1019823호는 2대의 카메라와 스트로브 장치를 이용하여 운동하는 물체에 대한 다중 노출 영상을 취득하고, 취득된 영상에서 물체의 이미지를 추출하여 물체 이미지의 중심점 좌표를 구하고, 이들 중심점 좌표들을 이용하여 물체의 운동궤적을 구하였으나, 비행하는 물체의 회전정보를 추정하지 못하였다.
한국등록특허 제10-1044887은 트리거 역할을 하는 1 대의 라인 스캔 카메라와 2 대의 고속 카메라를 사용하여 골프공의 영상을 취득하였으며, 취득된 영상을 이용하여 골프공의 비행속도를 추정하였으나 회전속도는 추정하지 못했다.
종래의 기술들은 카메라를 이용하여 비행중인 구형물체의 비행속도를 추정함에 있어 구형물체 영상 중심점의 3차원 공간상에서의 위치를 계산하고 이로부터 구형물체의 비행속도를 추정하였으며, 또한 구형물체의 회전속도를 추정하기 위해 구형물체 표면에 그려진 라인 마커의 교차점들이나 여러 개의 점 마커들을 이용하여 교차점 또는 점 마커들의 3차원 공간상에서의 위치를 계산하고 이 점들 사이의 관계를 이용하여 구형물체의 회전속도를 계산하고 있다. 그런데 영상에 보이는 구형물체의 중심점, 라인마커의 교차점 또는 점 마커들의 3차원 공간상에서의 점의 위치는 이론적으로 모노 영상(단일 카메라 영상)으로부터 계산할 수 없으며, 따라서 스테레오 영상을 이용해야만 한다.
또한 종래에는 구형물체의 회전속도를 추정하기 위해 라인마커의 교차점 위치, 또는 교차점에서의 라인마커 각도, 또는 여러 개의 마킹점 위치를 이용하고 있으나 이와 같이 점의 위치를 이용하여 구형물체의 회전속도를 추정하는 방법은 추정치의 정확성이 떨어질 뿐만 아니라 조명, 영상노이즈 등의 영향에 대한 강건성(robustness)이 떨어진다.
선행기술문헌
특허문헌
(특허문헌 1) KR 10-0784967 B1 2007. 12. 11.
(특허문헌 2) KR 10-0871595 B1 2008. 11. 28.
(특허문헌 3) KR 10-0937922 B1 2010. 1. 13.
(특허문헌 4) KR 10-1019823 B1 2011. 2. 25.
(특허문헌 5) KR 10-1044887 B1 2011. 6. 21.
종래의 방법들처럼 라인마커들의 교차점 3개를 이용한 구형물체의 회전속도 추정방법은 단지 교차점 3개만으로 회전속도를 계산함으로 정확도가 많이 떨어지며, 3개 중에 하나라도 찾지 못하는 경우 계산이 불가능해진다. 그리고 여러 개의 마킹점들을 이용하여 구형물체의 회전속도를 추정하는 방법은 여러 개의 마킹점들이 카메라에 잘 보이도록 골프공을 타격 매트 위에 놓아야 할 뿐만 아니라, 골프공 및 야구공의 경우에는 강한 타격이 반복될수록 마킹점들은 지워질 가능성이 많으므로 신뢰도 면에서 떨어진다.
따라서 본 발명에서는 비행중인 구형물체의 비행정보를 추정함에 있어 라인마커의 교차점이나 마킹점 등과 같은 점들의 영상에서의 위치정보를 이용하지 않고 원 마커들의 기하학적 특성을 이용함으로써 구형물체의 비행정보 추정 결과의 정확도 및 신뢰도를 높이려 한다.
상기와 같은 목적을 달성하기 위해 본 원 마커를 이용한 구형물체 비행정보 추정 방법에서는 서로 다른 시점에서의 카메라 영상으로부터 원 마커 영상점을 추출하고, 상기 추출된 원 마커 영상점으로부터 도출되는 서로 다른 시점에서의 타원의 식로부터 원 마커의 위치벡터 및 법선벡터를 구하고 이로부터 구형물체의 비행속도 및 회전속도를 산출한다.
본 발명은 비행정보 추정을 위해 라인마커의 교차점이나 마킹점 등과 같은 점들의 영상에서의 위치정보를 이용하는 대신 원 마커의 기하학적 특성을 이용하므로 비행정보 추정 결과의 정확도가 높아지며, 여러 개의 원 마커를 이용하는 경우에는 각 원 마커들로부터 계산된 결과의 평균치를 이용할 수 있어 영상 노이즈 및 조명의 영향에 대한 강건성이 높아진다.
또한 점이 아닌 원 마커의 기하학적 특성을 이용하므로 강한 타격에 위해 구형물체에 새겨진 원 마커가 부분적으로 지워질 경우에도 구형물체의 비행정보의 추정이 가능해 진다.
그리고 구형물체의 크기를 미리 알고 있는 경우 비행중인 구형물체의 모노 영상만을 이용하여 회전속도를 계산할 수 있으며, 구형물체의 크기를 미리 알 수 없는 경우에는 비행중인 구형물체의 스테레오 영상으로부터 구형물체의 비행정보를 추정할 수 있다.
도 1은 3차원 공간상의 원과 단일 카메라 영상면에 찍힌 원의 영상 간의 관계를 나타낸 개념도이다.
도 2는 도 1에서 원과 단일 카메라 간의 상대적 자세에 따라 단일 카메라 영상면에 원의 형상이 다양하게 나타날 수 있음을 보인 예시도이다.
도 3은 구형물체에 마킹된 원 마커의 예시도이다.
도 4는 카메라 좌표계 x-y-z 좌표계와 카메라 좌표계 원점과 타원의 중심을 이은 직선이 z1축이 되도록 변환한 x1-y1-z1 좌표계의 관계를 나타낸 개념도이다.
도 5는 x1-y1-z1 좌표계와 x1-y1-z1 좌표계를 φ만큼 회전변환한 x2-y2-z2 좌표계의 관계를 나타낸 개념도이다.
도 6은 카메라 영상에 보이는 원 마커의 예시도이다.
도 7은 두 개의 원 마커가 90도 교차하도록 그려진 구형물체에서 서로 다른 두 시점에서 본 원 마커의 예시도이다.
도 8은 3차원 공간상에서 원과 스테레오 카메라 영상 간의 관계를 나타낸 개념도이다.
도 9는 2개의 타원뿔을 교차시켜 원을 복원시키는 것을 나타낸 개념도이다.
도 1에서 보듯이 3차원 공간상의 원(110)은 2차원인 카메라 영상면(200)에 타원(210)으로 투영되며, 그 타원의 모양은 카메라와 원의 상대적 자세(위치 및 방향)에 따라 달라진다. 예를 들어 도 2(a)에서 보듯이 원(110)이 카메라의 투영점(220)에서 카메라 중심선(221)을 따라 일정거리 떨어진 위치에 카메라 중심선에 수직방향으로 놓여 있다면 카메라 영상에 보이는 원의 모양은 정확히 원(211)으로 보이나, 도-2(b)와 같이 원 평면(100)이 카메라 중심선(221)과 임의의 각도로 틀어져 있다면 원(110)은 카메라 영상에 타원(212)으로 보이게 된다. 영상에 보이는 타원은 원의 방향이 카메라 중심선과 틀어지는 각도가 커짐에 따라 타원의 단축의 길이가 점점 짧아지다가, 원이 있는 평면(100)의 법선이 카메라 중심선과 수직(90도)을 이루게 되면 도 2(c)에서 보듯이 영상에는 하나의 직선(213)으로 보이게 된다. 또한 카메라 영상면에 투영된 타원의 위치 및 모양은 3차원 공간에서의 원 중심의 위치에 따라서도 달리 보인다.
따라서 카메라 영상면에 보이는 구형물체의 영상인 타원의 위치 및 모양으로부터 3차원 공간에서의 원의 식을 구할 수 있다면, 원의 식으로부터 원의 중심 위치 및 원의 방향(원이 위치하는 평면의 법선방향)을 계산할 수 있다.
본 발명에서는 이러한 원의 특성을 이용하기 위해 구형물체의 표면에 원 마커를 그리고, 임의의 시점에 영상에 보이는 원 마커의 형상인 타원으로부터 3차원 공간상의 원 마커의 식을 계산하고, 원 마커의 식으로부터 원 마커의 중심점 위치와 방향을 계산하는 과정을 통해, 두 시점에서 계산된 원 마커의 중심점 위치와 방향으로부터 구형물체의 비행속도 및 회전속도를 계산한다.
취득된 영상으로부터 구형물체의 비행속도 및 회전속도를 추정하는 방법을 자세히 설명하기에 앞서 그 과정을 개념적으로 기술하면 아래와 같다.
1) 과정-1 : 취득된 카메라 영상에서 원 마커 영상점 추출.
2) 과정-2 : 원 마커 영상점에서 타원의 식 도출.
3) 과정-3 : 상기 타원의 식을 이용하여 3차원 공간상의 원 마커의 식 계산
4) 과정-4 : 상기 원 마커의 식으로부터 원 마커의 중심점 위치 및 원 마커의 방향 계산
5) 과정-5 : 상기 원 마커의 중심점 위치 및 원 마커의 방향을 이용하여 구형물체의 비행속도 및 회전속도 계산
상기의 개념적인 과정에서 과정-3과 과정-4은 차후의 설명에서 뚜렷하게 구분하지는 않았으며 다만 개념적 이해를 돕기 위해 구분하였고, 또한 취득된 영상이 모노 영상인 경우와 스테레오 영상인 경우에 취득된 영상으로부터 구형물체의 비행속도 및 회전속도를 추정하는 방법의 근본 원리, 즉 영상에 보이는 타원으로부터 원 마커의 식을 계산한다는 근본원리는 동일하나 구체적인 계산방법은 다르기 때문에. 차후 설명에서는 취득된 영상이 모노 영상인 경우와 스테레오 영상인 경우를 구분하여 설명하기로 한다.
구형물체의 표면에 그려지는 원 마커의 개수는 제한이 없으나, 원 마커가 한 개만 있을 경우 원 마커의 중심을 지나며 원 마커에 수직인 축을 중심으로 구형물체가 회전하는 경우에는 카메라 영상에 보이는 원 마커 영상인 타원에서는 아무런 변화가 일어나지 않으므로 회전각을 계산할 수 없게 된다. 그러나 골프공 같은 경우 상기의 문제점을 피하기 위해 타격 전 바닥면에 놓인 골프공의 원 마커가 골프공의 진행방향에 수직으로 보이도록 골프공을 위치시키면, 골프공의 타격이 진행방향 뒤쪽에서 일어나므로 골프공의 진행방향에 수직으로 회전이 일어나는 경우가 거의 없기 때문에 상기의 문제점을 간접적으로 해결할 수 있다. 그러나 이러한 제한을 해소하기 위해서는 구형물체에 원 마커가 2개 이상 있어야 하며 원 마커들이 평행하지 않아야 한다. 또한 원 마커의 위치 및 크기도 제한이 없으나 구형물체 비행정보 추정 과정 중의 계산의 편리성을 위해 구형물체 표면의 모든 원 마커의 중심은 구형물체의 중심과 일치하는 것이 좋다. 즉 모든 원 마커는 구형물체의 대원(great circle)으로 하는 것이 좋다.
도 3은 본 발명에서 제시하는 구형물체(300) 상에 마킹된 원 마커(310)의 예이다. 원 마커가 여러 개일 경우 유의할 점은 원 마커의 개수 및 배치에 따라 회전속도 추정 가능 범위가 정해진다는 것이다. 예를 들어 원 마커 3개를 도 3(b)와 같이 배치하였을 때는 두 시점 사이에 구형물체(300)가 60도 이상 회전하면 회전속도 계산이 불가능하며, 원 마커 3개를 도 3(c)와 같이 배치하였을 때는 두 시점 사이에 구형물체가 90도 이상 회전하면 회전속도 계산이 불가능해진다. 따라서 영상취득 시점들의 간격은 구형물체(300)가 최대 회전속도로 회전하였을 때 원 마커를 이용하여 계산 가능한 최대 회전각을 초과하지 않도록 결정되어야 한다. 예를 들어 골프공의 경우 최대 회전속도가 10,000rpm이라면 영상취득 시간간격을 1msec로 하였을 때의 골프공의 최대 회전각은 60도가 된다. 따라서 최대 회전각을 고려하여 원 마커의 개수는 최대 3개를 넘지 않도록 하는 것이 바람직하다.
먼저 두 시점 이상에서 취득된 비행하는 구형물체의 모노 영상들로부터 구형물체의 비행정보를 추정하는 방법에 대해 설명한다. 본 발명에서 제공하는 비행중인 구형물체의 모노 영상으로부터 구형물체의 비행정보를 추정하는 방법은 어떠한 방법으로 비행중인 구형물체의 모노 영상을 취득하든, 두 시점 이상에서 취득된 비행중인 구형물체의 모노 영상들만 있으면 구형물체의 비행정보 추정이 가능하다.
구체적인 방법을 설명하기에 앞서 3차원 공간상의 원에 대하여 카메라의 모노 영상에 보이는 원의 영상으로부터 원의 식을 계산하고, 원의 식으로부터 원의 자세(중심점 위치 및 방향)를 계산하는 방법을 설명한다.
3차원 공간상의 위치하는 원에 대하여 카메라 영상에 나타나는 타원의 식을 영상 좌표계로 기술하면 [수학식 1]과 같이 기술된다.
수학식 1
Figure PCTKR2012009747-appb-M000001
여기서
Figure PCTKR2012009747-appb-I000001
는 영상점 u의 동차좌표(homogeneous coordinates) 벡터이며, C는 타원을 나타내는 행렬이다. 여기서는 영상에 보이는 타원 행렬 C는 알고 있다고 가정하고, 원 마커로부터 타원 행렬 C를 구하는 방법은 차후에 설명한다.
영상면의 타원(210)을 3차원 공간으로 역투영하면 카메라 좌표계 원점(220)과 영상면의 타원(210)을 연결하는 타원뿔(230)이 형성되며, 그 타원뿔은 투영이론에 의하면 다음 식으로 주어진다.
수학식 2
Figure PCTKR2012009747-appb-M000002
여기서 K는 카메라 특성행렬이며, x는 원주 상에 위치하는 점들의 위치벡터로 카메라 좌표계로 기술된 것이다. 카메라 특성행렬 K는 카메라 보정(camera calibration) 과정을 통해 구한다.
[수학식 2]는 일반적인 타원뿔의 식으로 z축이 타원뿔의 중심축과 일치하지 않는 형태이므로 z축을 타원뿔의 중심축과 일치시켜 타원뿔 표준식으로 변환하기 위해 도 4와 같이 카메라 좌표계를 회전시켜 새로운 x1-y1-z1 좌표계를 만든다. 이때 z1축이 타원의 중심을 향하도록 하며, 카메라 좌표계 원점에서 z1축 방향으로 바라보았을 때에 타원의 단축이 x1축과, 장축이 y1축과 일치하도록 한다. 타원뿔의 표준식 형태로 변환하기 위한 좌표 변환식은 아래의 [수학식 3]과 같으며, 회전행렬 R 1은 K T CK의 고유치 해석(eigen analysis)을 통해 계산된다.
수학식 3
Figure PCTKR2012009747-appb-M000003
다음으로 타원의 장축과 단축의 길이가 동일하도록 만들어 타원뿔을 원뿔로 만들기 위해 도 5와 같이 x1-y1-z1 좌표계를 y1축을 중심으로 φ만큼 회전시켜 새로운 x2-y2-z2 좌표계를 만들면 x1-y1-z1 좌표계와 x2-y2-z2 좌표계 사이에는 다음의 좌표 변환식이 성립하며,
수학식 4
Figure PCTKR2012009747-appb-M000004
이때, φ는 앞서의 회전행렬 R 1과 마찬가지로 행렬 K T CK의 고유치 해석을 통해 계산된다.
도 5에서 보듯이 상기 φ는 양수와 음수 값을 가질 수 있으며, φ 값의 부호 결정은 원 마커가 보이는 부분에 따라 결정된다. φ 값의 부호의 결정 방법은 차후에 설명한다.
그리고 x2-y2-z2 좌표계에서 기술되는 원뿔의 식은 아래의 [수학식 5]와 같이 기술되며,
수학식 5
Figure PCTKR2012009747-appb-M000005
[수학식 5]의 s와 t는 x1-y1-z1 좌표계에서의 타원뿔 식을 x2-y2-z2 좌표계의 원뿔식으로 변환하는 과정에 계산된 중간변수들이다.
[수학식 5]를 통해 계산된 원뿔 식으로부터 원의 식을 계산하기 위해서 원의 z2축 방향 위치를 z2 = a라 가정하면, z2 = a인 임의의 평면과 [수학식 5]의 원뿔 식이 교차하여 생성된 도형은 z2 = a인 평면상의 원이 되며, 이때의 원의 식은 [수학식 5]에 z2 = a를 대입하여 아래 식과 같이 구할 수 있다.
수학식 6
Figure PCTKR2012009747-appb-M000006
상기 원의 식은 중심의 위치가 x2-y2-z2 좌표계에서 (±ta, 0, a)이고 반지름이 r인 원이다. 여기서 원 중심의 x2 좌표값 ±ta의 부호는 앞서 계산된 φ의 부호에 의해 결정된다. 즉, φ값이 양수이면 원의 중심점은 (-ta, 0, a)가 되고, φ값이 음수이면 원의 중심점은 (+ta, 0, a)가 된다. 이때 만약 원의 반지름 r을 미리 알고 있다면 아래와 같이 a를 구할 수 있다.
수학식 7
Figure PCTKR2012009747-appb-M000007
종합하면 원 평면의 법선방향은 x2-y2-z2 좌표계에서 z2축 방향으로, 이것을 카메라 좌표계로 기술하면 원의 법선벡터 n은
수학식 8
Figure PCTKR2012009747-appb-M000008
이 되며, 원의 중심 위치를 카메라 좌표계로 기술하면 원의 중심 위치벡터 x c는
수학식 9
Figure PCTKR2012009747-appb-M000009
가 된다. 앞서 설명한 것과 같이 ±ta의 부호는 앞서 계산된 φ의 부호에 의해 결정된다.
원이 평면에 그려진 경우에는 카메라 영상에 원 전체의 모양, 즉 타원의 전체 모양이 보이나, 원 마커처럼 원이 구형물체 표면에 그려진 경우에는 도 6에서 보듯이 카메라 영상에 타원의 일부분만이 보인다. 이렇게 구형물체에 그려진 원 마커는 일부분만이 보인다는 것을 이용하여 φ값의 부호를 결정할 수 있다. 즉, 도 6(a)에서 보듯이 타원 단축(320)의 양수부분(+x1축 부분)이 보이는 경우에는 도 5에서 원 평면 후보-2(420)가 원 마커의 평면이 되므로 φ값은 양수가 되며, 반대로 도 6(b)에서 보듯이 타원 단축(330)의 음수부분(-x1축 부분)이 보이는 경우에는 도 5에서 원 평면 후보-1(410)이 원 마커의 평면이 되므로 φ값은 음수가 된다.
결국 영상에 보이는 원 마커의 타원 행렬 C를 알고 있다면 [수학식 8]에 의해 3차원 공간상에 위치하는 원의 법선방향을 계산할 수 있으며, 원 마커의 반지름 길이를 이용하여 [수학식 9]에 의해 원 마커 중심점의 3차원 공간상의 위치를 계산할 수 있다.
이제 앞서 설명한 수학식들을 토대로 구형물체 표면에 그려진 원 마커들의 카메라 영상으로부터 비행하는 구형물체의 비행속도 및 회전속도를 구하는 방법에 대하여 설명한다.
비행하는 구형물체의 비행속도 및 회전속도의 계산을 위해서는 최소 두 시점 이상에서의 모노 영상이 필요하다. 두 시점 이상에서 취득된 각각의 모노 영상들에 대하여 다음 과정을 통해 3차원 공간에서의 원 마커의 중심점 위치와 카메라에 대한 원 마커의 법선방향을 계산한다.
1) 단계-1 : 영상으로부터 원 마커 영상점들을 추출한다.
타원의 식을 구하기 위해 먼저 취득된 영상으로부터 원 마커에 해당하는 영상점들을 추출한다. 어떤 특징을 내는 영상점들을 추출하는 방법은 영상처리분야에서 많은 방법들이 제안되어 있으므로 이 중의 한 방법을 이용한다. 이를 위해서는 원 마커의 색의 명도가 구형물체의 색의 명도와 대비되도록 하여야 한다. 예로 구형물체가 흰색이라면 원 마커의 색은 검은색으로 하는 것이 좋다.
2) 단계-2 : 원 마커 영상점들을 이용하여 타원의 식을 구한다.
영상처리를 통해 추출된 영상점들을 이용하여 영상처리분야에서 많이 사용하는 허프 변환(hough transform)을 통해 타원의 식을 구한다. 타원의 식을 구하기 위한 허프 변환 방법은 부분적으로 보이는 타원에 대하여도 적용 가능하므로 원 마커가 일부분 지워진 경우에도 신뢰도가 높은 결과를 보인다. 또한 허프 변환 방법은 영상에 여러 개의 타원이 있을 때에도 적용 가능하므로 구형물체에 여러 개의 원 마커가 있을 경우에도 이를 구분하여 타원의 식들을 계산할 수 있다.
3) 단계-3 : 타원 단축을 중심으로 타원의 어느 부분이 보이는지에 따라 x1-y1-z1 좌표계를 y1축을 중심으로 회전시킨 회전각 φ의 부호를 결정하고, 단계-2에서 계산된 각각의 원 마커의 타원의 식으로부터 [수학식 8]과 [수학식 9]를 이용하여 카메라에 대한 원 마커의 법선벡터와 원 마커의 중심점 위치를 계산한다.
4) 단계-4 : 원 마커가 여러 개 있을 경우에는 각각의 원 마커에 대하여 계산한 원 마커의 중심점 위치를 평균화한다.
이상의 단계를 거쳐 영상취득 시점 t1의 영상에서 계산한 원 마커 중심점의 3차원 공간에서의 위치 벡터를 c 1라하고, 영상 취득시점 t2의 영상에서 계산한 원마커 중심점의 3차원 공간에서의 위치 벡터를 c 2라 하면, 구형물체의 속도벡터 v는 다음 식으로 계산된다.
수학식 10
Figure PCTKR2012009747-appb-M000010
구형물체의 회전속도 계산 방법은 원 마커의 개수가 몇 개인가에 따라 달라진다. 원 마커의 개수가 한 개인 경우에는 영상취득 시점 t1의 영상에서 계산한 3차원 공간에서의 원 마커 법선벡터를 n 1, 영상 취득시점 t2의 영상에서 계산한 3차원 공간에서의 원 마커 법선벡터를 n 2라 놓고, 두 법선벡터 n 1과 n 2의 사이각 θ와 n 1과 n 2가 이루는 평면에 수직인 단위 벡터(unit vector) k를 계산하면, 구형물체의 회전속도 벡터 ω는 다음 식으로 계산된다.
수학식 11
Figure PCTKR2012009747-appb-M000011
그런데 원 마커의 개수가 여러 개인 경우에는 구형물체의 회전속도 계산에 앞서 먼저 영상취득 시점 t1인 영상에서 선택한 하나의 원 마커가 영상취득 시점 t2인 영상의 원 마커들 중에 어느 원 마커와 동일한 원 마커인지를 구별하여야 한다.
이를 위한 첫 번째 방법은 영상취득 시점 t1인 영상과 영상취득 시점 t2인 영상에서 동일한 원 마커를 구별하기 위해 원 마커들의 색을 달리하는 방법으로 칼라 카메라를 사용하여 비행물체의 영상을 취득하는 경우에 사용할 수 있는 방법이다. 즉, 영상취득 시점 t1과 t2의 영상에서 같은 색을 갖는 원 마커 두 개를 한 쌍으로 하여 [수학식 11]을 이용하여 구형물체의 회전속도벡터 ω를 계산하고, 각각의 색깔별로 계산된 회전속도벡터들을 평균화한다.
그러나 통상 비행중인 구형물체의 영상을 취득함에 있어 카메라 노출 시간이 매우 짧기 때문에 색의 구분이 불명확해지므로 색의 의한 구별 방법이 효과적 못할 경우가 있으며, 또한 흑백 카메라를 사용하는 경우에는 색에 의하여 원 마커를 구별할 수가 없으므로, 원 마커의 색에 의존하지 않는 두 번째 방법에 대해 설명한다.
두 번째 구형물체의 회전속도 계산 방법은 영상취득 시점 t1인 영상과 영상취득 시점 t2인 영상에서 동일한 원 마커를 따로 구별하지 않고 반복시도(try-and-error) 방법으로 실제 일어날 가능성이 있는 원 마커의 짝짓기(matching)를 통해 구형물체의 회전속도를 계산하는 방법이다. 물론 영상취득 시점 t1과 영상취득 시점 t2 사이에 구형물체의 회전각이 계산 가능 최대 회전각(최대 회전각은 원 마커의 개수 및 배치에 따라 결정됨)을 넘지 않아야 한다.
이를 위해 먼저 영상취득 시점 t1인 영상에서의 원 마커들에 대하여 3차원 공간에서의 원 마커 법선벡터 n 1 (i) (i=1,2,…, N1, 여기서 N1는 취득시점 t1인 영상에 보이는 원 마커의 개수)를 계산하고, 영상취득 시점 t2인 영상에서의 원 마커들에 대하여 3차원 공간에서의 원 마커 법선벡터 n 2 (j) (j=1,2,…, N2, 여기서 N2는 취득시점 t2인 영상에 보이는 원 마커의 개수)를 계산한 후에 다음 과정을 수행한다.
1) 단계-1 : 영상취득 시점 t1에서의 N1개의 모든 원 마커 법선벡터 n 1 (i)들을 그룹 G1이라 하고, 영상취득 시점 t2에서의 N2개의 모든 원 마커 법선벡터 n 2 (j)들을 그룹 G2라 하자.
수학식 12
Figure PCTKR2012009747-appb-M000012
Figure PCTKR2012009747-appb-I000002
2) 단계-2 : 첫 번째 짝짓기를 위해 그룹 G1에서 임의의 원 마커 법선벡터 n 1 (i)를 선택하고, 그룹 G2에서 임의의 원 마커 법선벡터 n 2 (j)를 선택하여 두 법선벡터의 사이각 θ1를 계산한 후, 사이각 θ1가 계산 가능한 최대 회전각을 초과하지 않으면 다음 단계로 넘어가고, 사이각 θ1가 계산 가능한 최대 회전각을 초과하면 다음번의 짝짓기에서 재차 시도하지 않도록 선택한 n 1 (i)과 n 2 (j)사이의 짝짓기를 배제하고 다시 단계-2를 수행하여 계산 가능한 최대 회전각을 초과하지 않는 다른 짝짓기를 시도한다.
3) 단계-3 : 단계-2에서 짝짓기 된 원 마커 법선벡터 n 1 (i)와 n 2 (j)는 짝짓기가 완료된 것임을 기록하여 다음번의 새로운 짝짓기에서 같은 짝짓기를 재차 시도하지 않도록 한다.
4) 단계-4 : 두 번째 짝짓기를 위해 그룹 G1과 그룹 G2에서 임의의 n 1 (i)와 n 2 (j)를 선택하여(짝짓기 불가능하거나 짝짓기가 완료된 것은 제외) 두 법선방향 벡터의 사이각 θ2를 계산한 후, 사이각 θ2가 계산 가능한 최대 회전각을 초과하지 않으면 다음 단계로 넘어가고, 사이각 θ2가 계산 가능한 최대 회전각을 초과하면 다음번의 짝짓기에서 재차 시도하지 않도록 선택한 n 1 (i)와 n 2 (j) 사이의 짝짓기를 배제한 후에 다시 단계-4를 수행하여 계산 가능한 최대 회전각을 초과하지 않는 다른 짝짓기를 시도한다.
5) 단계-5 : 앞 단계에서 계산된 두 개의 원 마커 법선벡터의 사이각 θ1과 θ2에 대하여 [수학식 11]을 이용하여 구형물체의 회전속도 벡터 ω 1과 ω 2를 계산한 후에,
만약 ω 1 = 0, ω 2 = 0 이면 구형물체의 회전속도 ω = 0,
만약 ω 1 = 0, ω 2 ≠ 0 이면 구형물체의 회전속도 ω = ω 2,
만약 ω 1 ≠ 0, ω 2 = 0 이면 구형물체의 회전속도 ω = ω 1,
만약 상기 조건들을 만족하지 않으면서 ω 1 = ω 2 이면 구형물체의 회전속도 ω = ω 1 = ω 2 가 되고, 만약 상기 조건들을 모두 만족하지 않으면 잘못 짝짓기 된 경우이므로 단계-4에서 새로운 짝짓기를 할 수 있으면 단계-4로 되돌아가서 새로운 짝짓기를 시도하고, 단계-4에서 새로운 짝짓기를 할 수 없으면 단계-2로 되돌아가 새로운 짝짓기를 시도하고, 단계-2에서도 새로운 짝짓기를 할 수 없으면 계산 불능이 된다.
이상의 단계를 거치면 구형물체의 회전속도 벡터 ω가 계산된다. 앞서 설명한 단계-5에서 ω 1 또는 ω 2 중에 하나만이 0의 값을 갖는 경우는 구형물체가 해당 원 마커의 중심축을 중심으로 회전한 경우로 해당 원 마커에서는 회전속도가 0으로 계산된다.
앞서 설명한 방법에서는 2개의 실현 가능한 짝짓기만을 찾아서 구형물체의 회전속도 벡터 ω를 계산하였으나, 실현 가능한 다른 짝짓기가 또 있다면, 그 짝짓기로부터 새로운 구형물체 회전속도 벡터 ω 3를 계산하여 앞서 계산된 구형물체의 회전속도 벡터 ω와 평균화한다.
도 7은 두 개의 원 마커가 90도 교차하도록 그려진 구형물체의 예로서 도 7(a)는 시점 t1에서의 영상이고, 도 7(b)는 시점 t2에서의 영상이다. 본 예에 대하여 앞서 설명한 방법대로 실행하였을 때의 결과를 간단히 살펴본다. 설명을 위해 시점 t1 영상에서의 원 마커-1을 원 마커-1-t1(331), 원 마커-2를 원 마커-2-t1(332)라 하고, 시점 t2 영상에서의 원 마커-1을 원 마커-1-t2(351), 원 마커-2를 원 마커-2-t2(352)라 하자. 두 개의 원 마커가 90도로 교차하고 있으므로 계산 가능한 최대 회전각은 90도로 제한된다.
1) 첫 번째 경우 :
첫 번째 짝짓기 : 원 마커-1-t1(331)과 원 마커-1-t2(351) → 회전각 90도 이내 (만족)
두 번째 짝짓기 : 원 마커-2-t1(332)과 원 마커-2-t2(352) → 회전각 90도 이내 (만족)
2) 두 번째 경우 :
첫 번째 짝짓기 : 원 마커-1-t1(331)과 원 마커-2-t2(352) → 회전각 90도 초과 (재시도)
3) 세 번째 경우 :
첫 번째 짝짓기 : 원 마커-2-t1(332)과 원 마커-1-t2(351) → 회전각 90도 이내 (만족)
두 번째 짝짓기 : 원 마커-1-t1(331)과 원 마커-2-t2(352) → 회전각 90도 초과 (재시도)
4) 네 번째 경우 :
첫 번째 짝짓기 : 원 마커-2-t1(332)과 원 마커-2-t2(352) → 회전각 90도 이내 (통과)
두 번째 짝짓기 : 원 마커-1-t1(331)과 원 마커-1-t2(351) → 회전각 90도 이내 (통과)
모든 경우를 살펴보면 처음에 어떤 짝짓기를 시도하더라도 결국은 원 마커-1-t1(331)과 원 마커-1-t2(351), 원 마커-2-t1(332)과 원 마커-2-t2(352)로 짝짓기가 올바르게 되는 것을 알 수 있다.
이제까지 두 시점에서 취득된 비행하는 구형물체의 모노 영상으로부터 구형물체의 비행정보, 즉 비행속도 및 회전속도를 추정하는 방법에 대하여 설명하였다. 만약 세 번째 시점에서 취득된 비행하는 구형물체의 모노 영상이 더 있다면, 처음 시점의 영상과 세 번째 시점의 영상을 이용하여 상기 설명한 방법대로 구형물체의 비행속도 및 회전속도를 구하고, 앞서 계산한 결과(처음 시점의 영상과 두 번째 시점의 영상으로부터 계산한 결과)와 평균화하면 보다 계산 결과의 신뢰성을 높일 수 있다.
다음은 비행하는 구형물체의 스테레오 영상으로부터 구형물체의 비행정보를 추정하는 방법에 대하여 설명한다. 스테레오 영상을 이용하는 경우도 모노 영상의 경우와 마찬가지로 어떠한 방법으로 비행중인 구형물체의 스테레오 영상을 취득하든, 두 시점 이상에서 취득된 비행중인 구형물체의 스테레오 영상들만 있으면 구형물체의 비행정보 추정이 가능하다. 단 스테레오 영상을 이용하는 경우에는 모노 영상을 이용하는 경우와 달리 구형물체의 크기를 미리 알 필요는 없다.
먼저 3차원 공간상에 위치하는 하나의 원에 대하여 제1카메라와 제2카메라의 영상의 관계에 대하여 살펴보자. 투영이론에 의하면 3차원 공간상에 위치하는 원은 카메라 영상에서 타원으로 보이며, 카메라 좌표계 원점과 영상면의 타원을 연결하여 생성되는 타원뿔의 식은 기준 좌표계로 다음과 같이 주어진다.
수학식 13
Figure PCTKR2012009747-appb-M000013
여기서
Figure PCTKR2012009747-appb-I000003
는 3차원 공간에서의 위치벡터 x의 동차좌표(homogeneous coordinates) 벡터이며, Q는 타원뿔의 식을 나타내는 행렬 크기(dimension)가 4×4인 타원뿔 행렬로 다음 식으로 주어지며, Q의 차수(rank)는 3이어야 한다.
수학식 14
Figure PCTKR2012009747-appb-M000014
여기서 C는 카메라 영상면에 보이는 타원의 식을 나타내는 타원행렬이고, P는 카메라의 투영행렬로 카메라 보정(camera calibration) 과정을 통해 구해진다.
타원뿔을 수식적으로 기술함에 있어 앞서 단일 영상의 경우는 [수학식 2]로 기술하였고 스테레오 영상의 경우에는 [수학식 14]로 기술하였다. 두 경우의 다른 점은 단일 영상의 경우 타원뿔의 식을 카메라 좌표계로 기술하였지만, 스테레오 영상의 경우에는 타원뿔의 식을 기준 좌표계로 기술하였다. 그 이유는 스테레오 영상의 경우에는 카메라 좌표계도 2개가 있으므로, 타원뿔을 하나의 카메라 좌표계를 기준으로 기술하기보다는 처음부터 기준 좌표계로 기술하는 것이 더 유리하기 때문이다.
도 8에서 보듯이 하나의 원을 두 개의 카메라에서 촬영하였다면 제1카메라와 제2카메라에 대해서 다음 식이 성립한다.
수학식 15
Figure PCTKR2012009747-appb-M000015
수학식 16
Figure PCTKR2012009747-appb-M000016
여기서 P 1, P 2는 각각 제1카메라와 제2카메라의 투영행렬을, C 1, C 2는 각각 제1카메라와 제2카메라의 영상에 나타나는 타원행렬을 의미하며 Q 1, Q 2는 각각 제1카메라와 제2카메라의 좌표계 원점과 영상면의 타원을 연결하여 생성되는 타원뿔 행렬을 의미한다.
상기의 타원뿔 Q 1, Q 2는 하나의 원으로부터 생성된 타원뿔로, 바꿔 말하면 타원뿔 Q 1, Q 2가 교차하여 생성된 곡선은 원이 된다. 이때 주목할 점은 두 개의 타원뿔 Q 1, Q 2가 교차하면 도 9에서 보듯이 두 개의 원이 생성된다는 점이다.
두 개의 타원뿔의 식을 알고 있을 경우에 두 개의 타원뿔이 교차하여 생성되는 원의 식을 구하기 위해 두 개의 타원뿔의 식으로부터 직접 계산하는 방법은 매우 복잡하므로, 간접적인 방법으로 먼저 두 개의 타원뿔의 식으로부터 두 개의 타원뿔이 교차하여 생성되는 원을 내포하는 평면의 식을 구하고, 다음에 그 평면과 원뿔이 교차하여 생긴 원의 식을 구하는 것이 유리하다.
투영이론 분야의 복원(reconstruction) 이론에 따르면 동일한 원을 공유하는 원뿔행렬 Q 1, Q 2가 교차하여 생성된 곡선을 내포하는 평면은 원뿔행렬 Q 1, Q 2에 대하여 다음과 같이 정의된 C(λ)와 관련되고,
수학식 17
Figure PCTKR2012009747-appb-M000017
C(λ) 행렬의 차수(rank)가 2가 되는 λ를 구하면, 그때의 C(λ)는 원뿔 2개가 교차하여 생성된 곡선을 내포하는 평면의 식을 나타낸다. 따라서 C(λ) 행렬의 차수(rank)가 2가 되도록 하는 λ를 계산하면 평면의 식을 구할 수 있다.
C(λ) 행렬의 차수(rank)가 2가 되도록 하는 λ의 계산은 다음과 같다. Q 1, Q 2는 행렬의 크기(dimension)가 4×4인 대칭 행렬(symmetric matrix)이므로 C(λ)도 또한 크기가 4×4인 대칭 행렬이다. 크기가 4×4인 대칭 행렬 C(λ)의 차수가 2라는 의미는 행렬 C(λ)의 고유치(eigen value) 4 개 중에 2개는 0이 아닌 실수이고, 2개는 0이라는 의미이다. 즉, C(λ) 행렬의 특성방정식(characteristic equation)의 해 4개 중에 2개는 0이 아닌 실근을 갖고, 2개는 0이라는 의미가 된다.
상기 조건과 Q 1, Q 2의 차수는 3이어야 한다는 조건(Q 1, Q 2가 타원뿔이므로)으로부터 C(λ)의 차수(rank)가 2가 되도록 하는 λ는 다음 식과 같이 계산되며,
수학식 18
Figure PCTKR2012009747-appb-M000018
또한 다음 식을 항상 만족한다.
수학식 19
Figure PCTKR2012009747-appb-M000019
여기서 I2, I3 및 I4는 각각 C(λ)의 행렬식(determinant)의 3차항, 2차항 및 1차항의 계수를 의미한다.
[수학식 19]는 원 마커의 개수가 여러 개인 경우에 제1카메라 영상에서 선택한 하나의 원 마커가 제2카메라 영상의 원 마커들 중에 어느 원 마커와 동일한 원 마커인지를 구별하기 위한 식으로 이용할 수 있다. 자세한 방법은 차후에 설명한다.
[수학식 18]에 의해 λ가 계산되면 [수학식 17]에 의해 행렬 C(λ)를 계산할 수 있으며, C(λ)가 계산되면 C(λ)의 고유치 해석(eigen analysis)을 통해 두 개의 타원뿔이 교차하여 생성된 원을 내포하는 두 개의 원 평면을 계산할 수 있다.
구형물체에 그려진 원 마커와 같이 원이 그려진 물체가 불투명일 경우에 카메라에서 바라보는 원은 카메라를 향하는 면만을 볼 수 있고 반대쪽 면은 볼 수 없으므로, 앞서 계산된 두 개의 평면 중에 제1카메라와 제2카메라에서 바라보는 면이 동일한 평면, 즉 도 9에서 원 평면 후보-1(410)이 원의 평면이 된다.
다음으로 원의 식을 계산하는 방법을 설명한다. 구하고자 하는 원은 원이 위치하는 평면과 원뿔 Q 1이 교차하여 생성된 원이므로, 앞서 계산된 원 평면 식과 원뿔 Q 1의 식인 [수학식 15]를 연립하여 풀면 원의 식이 구해진다. 또는 원뿔 Q 1 대신 원뿔 Q 2를 이용하여 앞서 계산된 원 평면 식과 원뿔 Q 2의 식인 [수학식 16]을 연립하여 풀어도 같은 결과를 얻을 수 있다.
이제까지 원 마커가 하나인 경우에 제1카메라에서 보이는 원의 영상인 타원의 식 C 1과 제2카메라에서 보이는 원의 영상인 타원의 식 C 2로부터 3차원 공간상에 위치하는 원의 식을 구하는 과정을 설명하였다.
다음으로 원 마커가 여러 개인 경우에 제1카메라 영상에서 선택한 하나의 원 마커가 제2카메라 영상의 원 마커들 중에 어느 원 마커와 동일한 원 마커인지를 구별하는 방법에 대하여 설명한다.
[수학식 19]는 동일한 원의 제1카메라와 제2카메라 영상의 타원의 식으로부터 계산된 값으로 만약 제1카메라와 제2카메라의 영상의 타원인 C 1과 C 2가 동일한 원의 영상이 아닌 경우에는 [수학식 19]가 만족되지 않는다. 따라서 [수학식 19]의 만족 여부에 따라 타원인 C 1과 C 2가 동일한 원의 영상인지를 구별할 수가 있다. 여기서 유의할 점은 동일한 원에 대한 [수학식 19]의 좌변항 Δ = I3 2 - 4I2I4의 값이 항상 0이어야 하지만 실제에서는 영상 노이즈 등의 영향으로 Δ 값이 0과 약간의 차이가 있을 수 있으므로 이를 고려하여야 한다. 제1카메라의 영상에서 선택한 임의의 원 마커 영상 C 1과 제2카메라 영상에서 선택한 임의의 원 마커 영상 C 2의 모든 가능한 짝짓기에 대하여 Δ = I3 2 - 4I2I4 값들을 계산한 후에 이 중에서 가장 작은 절대값 |Δ|을 갖는 짝짓기가 동일한 원 마커에 대한 짝짓기이다.
이상에서 설명한 것을 토대로 구형물체 표면에 그려진 원 마커들에 대한 스테레오 영상으로부터 비행하는 구형물체의 비행속도 및 회전속도를 구하는 방법에 대하여 설명한다.
비행하는 구형물체의 비행속도 및 회전속도의 계산을 위해서는 최소 두 시점 이상에서의 스테레오 영상이 필요하다. 두 시점 이상에서 취득된 각각의 스테레오 영상들에 대하여 다음 과정을 통해 3차원 공간에서의 원 마커의 중심점 위치와 카메라에 대한 원 마커의 법선벡터를 계산한다.
1) 단계-1 : 두 시점 이상에서 취득된 제1카메라 영상과 제2카메라 영상으로부터 원 마커의 영상점들을 추출한다. 이 과정은 모노 영상을 이용하는 방법과 동일하다.
2) 단계-2 : 각각의 영상에서 원 마커 영상점들을 이용하여 타원의 식들을 구한다. 이 과정도 모노 영상을 이용하는 방법과 동일하다.
3) 단계-3 : 단계-2에서 계산된 제1카메라의 여러 개의 타원들과 제2카메라의 여러 개의 타원들이 조합되는 모든 가능한 경우의 수에 대해 Δ의 절대값을 구하고 |Δ|가 0에 가장 가까운 조합을 동일한 원 마커로 판단한다.
이를 프로그래밍 언어 형식으로 기술하면 다음과 같다.
제1카메라 영상에서의 타원 C 1 (i)와 제2카메라 영상에서의 타원 C 2 (j)에 대하여
for i=1 to N { //여기서 N은 제1카메라 영상에서의 타원의 개수
for j=1 to M { //여기서 M은 제2카메라 영상에서의 타원의 개수
C 1 (i), C 2 (j)에 대하여 |Δij| = |I3 2 - 4I2I4|를 계산
}
δi = min(|Δij|)
if δi < b, then C 1 (i), C 2 (j) 는 동일한 원 마커
}
상기에서 b는 제1카메라에서의 타원에 대해 제2카메라에 동일한 원의 형상(=타원)이 없는 경우를 대비하기 위한 것으로 그 값은 실험을 통해 설정한다.
4) 단계-4 : 짝짓기가 성공한 제1카메라 영상에서의 타원 C 1 (i)와 제2카메라 영상에서의 타원 C 2 (j)들에 대하여 원-마커가 위치하는 평면의 식들을 구하고 계산된 두 개의 평면 중에 제1카메라와 제2카메라에서 바라보는 면이 동일한 평면을 선택한다.
5) 단계-5 : 단계-4에서 계산한 평면식과 원뿔식인 [수학식 17]을 연립하여 원의 식을 계산하고 이로부터 원-마커의 3차원 공간상의 위치 c k를 구하고, 성공한 짝짓기의 개수가 여러 개인 경우엔 c k들을 평균한다. 또한 평면식으로부터 원 마커 평면의 법선벡터 n k를 구한다.
이상의 단계를 거쳐 영상취득 시점 t1의 스테레오 영상에서 계산한 원 마커 중심점의 3차원 공간에서의 위치 벡터를 c 1라하고, 영상 취득시점 t2의 스테레오 영상에서 계산한 원 마커 중심점의 3차원 공간에서의 위치 벡터를 c 2라 하면, 구형물체의 비행속도 벡터 v는 단일 영상의 경우와 마찬가지로 [수학식 11]로 계산된다.
그리고 구형물체의 회전속도 벡터 ω도 영상취득 시점 t1의 스테레오 영상에서 계산한 원 마커 법선방향 벡터 n 1 (k)와 영상취득 시점 t2의 스테레오 영상에서 계산한 원 마커 법선방향 벡터 n 2 (k)에 대하여 앞서 설명한 단일 영상의 경우와 마찬가지로 반복시도(try-and-error) 방법으로 실제 일어날 가능성이 있는 원 마커의 짝짓기(matching)를 통해 구형물체의 회전속도를 계산하는 방법을 적용하여 계산할 수 있다.
스테레오 영상을 이용하는 경우도 모노 영상을 이용하는 경우와 마찬가지로 세 번째 시점에서 취득된 비행하는 구형물체의 스테레오 영상이 더 있다면, 처음 시점의 영상과 세 번째 시점의 영상을 이용하여 상기 설명한 방법대로 구형물체의 비행속도 및 회전속도를 구하고, 처음 시점의 영상과 두 번째 시점의 영상으로부터 계산한 결과와 평균화하면 결과의 신뢰성을 좀 더 높일 수 있다.
이제까지 원 마커가 새겨진 구형물체의 비행 중의 모노 영상으로부터 구형물체의 비행정보를 추정하는 방법과 비행 중의 스테레오 영상으로부터 구형물체의 비행정보를 추정하는 방법에 대하여 설명하였다. 결론적으로 본 발명에서 제공하는 구형물체의 원 마커를 이용하여 비행중인 구형물체의 비행정보를 추정하는 방법은 구형물체의 크기를 미리 알 수 없는 경우에는 스테레오 영상을 이용하는 방법만을 적용할 수 있으며, 구형물체의 크기를 미리 알 수 있는 경우에는 모노 영상 이용하는 방법과 스테레오 영상을 이용하는 방법 모두가 적용 가능하다.
부호의 설명
100,400 원 평면 110, 211 원
200, 250 카메라 영상면 210, 212, 260 타원
213 직선 220, 270 카메라 좌표계 원점
221 카메라 좌표계 z축 230, 280 타원뿔
240, 410 원 평면 후보-1 290, 420 원 평면 후보-2
300 구형물체 310 원 마커
320 타원 단축 330 타원 장축
331 원 마커-1-t1 332 원 마커-2-t1
351 원 마커-1-t2 352 원 마커-2-t2

Claims (12)

  1. 구형물체의 서로 다른 여러 시점에서의 카메라 영상들에 대하여,
    각각의 카메라 영상으로부터 한 개 이상의 원 마커 영상점들을 추출하는 단계;
    상기 추출된 원 마커 영상점들로부터 각각의 원 마커에 해당하는 타원의 식들을 구하는 단계;
    상기 구해진 타원의 식을 이용하여 각각의 3차원 공간에서의 원 마커 법선벡터를 구하는 단계;
    상기 구해진 타원의 식을 이용하여 각각의 3차원 공간에서의 원 마커 중심점 위치벡터를 구하는 단계;
    상기 구해진 서로 다른 여러 시점에서의 한 개 이상의 원 마커 법선벡터들로부터 구형물체의 회전속도를 산출하는 단계; 및
    상기 구해진 서로 다른 여러 시점에서의 한 개 이상의 원 마커 중심점 위치벡터들로부터 구형물체의 비행속도를 산출하는 단계를 포함하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  2. 청구항 1에 있어서, 상기 타원의 식들을 구하는 단계는 허프 변환을 이용하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  3. 청구항 1에 있어서, 상기 원 마커 법선벡터를 구하는 단계 및 원 마커 중심점 위치벡터를 구하는 단계는 카메라 좌표계 원점과 타원의 중심을 연결하는 축이 타원뿔의 중심축과 일치하도록 좌표계를 회전시키는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  4. 청구항 3에 있어서, 상기 원 마커 법선벡터 및 원 마커 중심점 위치벡터를 구하는 단계를 구하는 단계는 상기 회전된 타원뿔이 원뿔이 되도록 좌표계를 더 회전시키는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  5. 청구항 3 또는 4에 있어서, 상기 원 마커 법선벡터를 구하는 단계는, 타원의 단축을 기준으로 타원의 어느 면이 보이는지에 따라 상기 구해진 타원의 식 각각에 대해 2개의 원 마커 법선벡터 후보 중 1개를 선택하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  6. 청구항 1에 있어서, 상기 구형물체의 회전속도를 산출하는 단계는 원 마커의 색상에 의해 서로 다른 시점에서의 구형물체 영상들로부터 동일한 원 마커 영상을 구별하는 단계를 포함하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  7. 청구항 1에 있어서, 상기 구형물체의 회전속도를 산출하는 단계는 반복시도(try-and-error) 방법으로 서로 다른 시점에서의 원 마커를 조합하여 만들어지는 모든 경우의 수를 구하고 그 중에서 실제 일어날 가능성이 있는 경우에 해당하는 조합을 동일한 원 마커 조합으로 판단하는 단계를 포함하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  8. 청구항 1에 있어서, 상기 원 마커 중심점 위치벡터를 구하는 단계에서 구형물체의 반지름을 아는 경우 상기 카메라 영상은 1대의 카메라로 촬영한 모노 영상인 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  9. 청구항 1에 있어서, 상기 원 마커 법선벡터를 구하는 단계는,
    상기 카메라 영상이 2대의 카메라로 촬영한 스테레오 영상으로 제공되는 경우 스테레오 영상의 타원의 식 2개로부터 각각의 타원뿔의 식을 계산하는 단계;
    상기 계산된 타원뿔 2개가 교차하여 생성되는 평면의 식을 계산하는 단계; 및
    상기 계산된 평면의 식으로부터 원 마커의 법선벡터를 구하는 단계를 포함하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  10. 청구항 9에 있어서, 상기 원 마커의 법선벡터를 구하는 단계는 계산된 타원뿔 2개가 교차하여 생성되는 평면의 식 후보 2개 중에 스테레오 카메라 두 대가 바라보는 면이 동일한 평면의 법선벡터를 원 마커의 법선벡터로 결정하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  11. 청구항 1에 있어서, 상기 원 마커 중심점 위치벡터를 구하는 단계는,
    상기 카메라 영상이 2대의 카메라로 촬영한 스테레오 영상으로 제공되는 경우 스테레오 영상의 타원의 식 2개로부터 각각의 타원뿔의 식을 계산하는 단계;
    상기 계산된 타원뿔 2개가 교차하여 생성되는 평면의 식을 계산하는 단계; 및
    상기 계산된 평면이 상기 계산된 타원뿔 중 어느 하나와 교차하여 생성되는 원의 식으로부터 원 마커 중심점 위치벡터를 구하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
  12. 청구항 9에 있어서, 상기 원 마커 법선벡터를 구하는 단계는 상기 스테레오 영상에서 나타나는 한 개 이상의 원 마커 영상들로부터 동일한 원 마커 영상을 구별하는 것을 특징으로 하는 원 마커를 이용한 구형물체 비행정보 추정 방법.
PCT/KR2012/009747 2011-12-01 2012-11-16 원 마커를 이용한 구형물체 비행정보 추정 방법 WO2013081322A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110127950A KR101246975B1 (ko) 2011-12-01 2011-12-01 원 마커를 이용한 구형물체 비행정보 추정 방법
KR10-2011-0127950 2011-12-01

Publications (1)

Publication Number Publication Date
WO2013081322A1 true WO2013081322A1 (ko) 2013-06-06

Family

ID=48535726

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/009747 WO2013081322A1 (ko) 2011-12-01 2012-11-16 원 마커를 이용한 구형물체 비행정보 추정 방법

Country Status (2)

Country Link
KR (1) KR101246975B1 (ko)
WO (1) WO2013081322A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103630117A (zh) * 2013-11-01 2014-03-12 北京邮电大学 用于视觉方法测量高尔夫球运动参数的球面标记
CN106643662A (zh) * 2016-09-20 2017-05-10 深圳市衡泰信科技有限公司 球体及其高速旋转运动参数检测方法
EP3309741A4 (en) * 2015-06-12 2018-12-12 Golfzon Co., Ltd. Device and method for sensing moving ball

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871595B1 (ko) * 2007-10-09 2008-12-02 박선의 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
KR100937922B1 (ko) * 2009-02-12 2010-01-21 엔지비스 주식회사 구형 물체의 비행정보 측정 시스템 및 방법
KR20100092357A (ko) * 2009-09-03 2010-08-20 엔지비스 주식회사 구형 물체
KR101044887B1 (ko) * 2009-06-23 2011-06-28 동서대학교산학협력단 고속 씨씨디 카메라의 촬상 이미지를 이용한 골프공의 비행데이터 측정방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871595B1 (ko) * 2007-10-09 2008-12-02 박선의 고속카메라를 이용한 구형물체의 비행정보 측정 시스템
KR100937922B1 (ko) * 2009-02-12 2010-01-21 엔지비스 주식회사 구형 물체의 비행정보 측정 시스템 및 방법
KR101044887B1 (ko) * 2009-06-23 2011-06-28 동서대학교산학협력단 고속 씨씨디 카메라의 촬상 이미지를 이용한 골프공의 비행데이터 측정방법
KR20100092357A (ko) * 2009-09-03 2010-08-20 엔지비스 주식회사 구형 물체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103630117A (zh) * 2013-11-01 2014-03-12 北京邮电大学 用于视觉方法测量高尔夫球运动参数的球面标记
EP3309741A4 (en) * 2015-06-12 2018-12-12 Golfzon Co., Ltd. Device and method for sensing moving ball
CN106643662A (zh) * 2016-09-20 2017-05-10 深圳市衡泰信科技有限公司 球体及其高速旋转运动参数检测方法

Also Published As

Publication number Publication date
KR101246975B1 (ko) 2014-02-27

Similar Documents

Publication Publication Date Title
WO2015194864A1 (ko) 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법
WO2015194867A1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
WO2021112462A1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2018199701A1 (en) Method for providing content and apparatus therefor
WO2014109545A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2016200197A1 (ko) 사용자 기준 공간좌표계 상에서의 제스처 검출 방법 및 장치
WO2013081322A1 (ko) 원 마커를 이용한 구형물체 비행정보 추정 방법
WO2016200208A1 (ko) 운동하는 볼에 대한 센싱장치 및 센싱방법
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2023048380A1 (ko) 카메라뷰 뎁스맵을 활용하여 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 이미지 처리 장치
WO2020230931A1 (ko) 다중 센서 및 인공지능에 기반하여 맵을 생성하고 노드들의 상관 관계를 설정하며 맵을 이용하여 주행하는 로봇 및 맵을 생성하는 방법
JP2003065714A (ja) カメラ・キャリブレーションのためのガイド装置及びガイド方法、並びに、カメラ・キャリブレーション装置
JP2559939B2 (ja) ３次元情報入力装置
WO2012144848A2 (ko) 기설정 배율각을 가진 다중투사광의 2차원 영상획득을 통한 3차원 인식 방법
WO2023063661A1 (ko) 학습 세트 생성 방법, 학습 세트 생성 장치, 및 학습 세트 생성 시스템
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2021020883A1 (ko) 3차원 스캐닝 장치 및 방법
WO2017003257A1 (ko) 도로 표면 상태 인식 장치 및 방법
WO2020149527A1 (en) Apparatus and method for encoding in structured depth camera system
WO2021020813A1 (ko) 골프클럽의 검출 방법 및 이를 이용한 센싱장치
WO2018182066A1 (ko) 이미지에 동적 효과를 적용하는 방법 및 장치
WO2020080732A1 (ko) 가상 콘텐츠를 제어하기 위한 인터페이스 방법
WO2022181861A1 (ko) 디지털 콘텐츠를 녹화하여 3d 영상을 생성하는 방법 및 장치
WO2024122807A1 (ko) 포인트 클라우드 데이터의 오차를 예측하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12854396

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12854396

Country of ref document: EP

Kind code of ref document: A1