WO2015183050A1 - 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법 - Google Patents

옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법 Download PDF

Info

Publication number
WO2015183050A1
WO2015183050A1 PCT/KR2015/005444 KR2015005444W WO2015183050A1 WO 2015183050 A1 WO2015183050 A1 WO 2015183050A1 KR 2015005444 W KR2015005444 W KR 2015005444W WO 2015183050 A1 WO2015183050 A1 WO 2015183050A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate
matrix
pattern
coordinates
transformation
Prior art date
Application number
PCT/KR2015/005444
Other languages
English (en)
French (fr)
Inventor
이현기
채유성
김민영
Original Assignee
주식회사 고영테크놀러지
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고영테크놀러지, 경북대학교 산학협력단 filed Critical 주식회사 고영테크놀러지
Priority to US15/314,672 priority Critical patent/US10109066B2/en
Priority to CN202011125744.8A priority patent/CN113240732B/zh
Priority to EP19182768.2A priority patent/EP3576051B1/en
Priority to JP2016569681A priority patent/JP6357251B2/ja
Priority to EP15800560.3A priority patent/EP3151196B1/en
Priority to CN201580027892.7A priority patent/CN106415663B/zh
Publication of WO2015183050A1 publication Critical patent/WO2015183050A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Definitions

  • the present invention relates to an optical tracking system and a method of calculating the position of the marker unit of the optical tracking system, and more particularly, to an optical tracking system and the method of calculating the position of the marker unit of the optical tracking system using the pattern information.
  • an optical tracking system is used to track the position of a given object.
  • the optical tracking system can be utilized to track an object in real time in equipment such as surgical robots.
  • the optical tracking system typically includes a plurality of markers attached to a target object and imaging units for imaging light emitted by the markers, and mathematically calculating information obtained from the imaging units to obtain position information and the like. do.
  • the conventional optical tracking system has a disadvantage in that the size of the equipment is increased by including a plurality of markers, and thus may be inappropriate in the case of tracking requiring small precision.
  • an object of the present invention is to provide an optical tracking system that can accurately and easily track markers.
  • Another object of the present invention is to provide a method for calculating the position and position of the marker of the optical tracking system applicable to the optical tracking system.
  • An optical tracking system is a marker portion including a pattern having a specific information and a first lens having a first focal length and spaced apart from the pattern, the second A first imaging unit including a second lens having a focal length and a first imaging unit spaced apart from the second lens, and configured to form a first image of the pattern by the first lens and the second lens; A second imaging unit including a third lens having a third focal length and a second imaging unit spaced apart from the third lens, and configured to form a second image of the pattern by the first lens and the third lens; And a first coordinate transformation between the coordinates on the patterned surface of the pattern and the first pixel coordinates on the first image of the pattern, and the rotation edge between the first pixel coordinates and the second pixel coordinates on the second image of the pattern.
  • To from a second coordinate conversion equation between the second second-pixel coordinates on the image of the coordinates and the pattern on the pattern surface of the pattern determines the position marker portion, and a tracking processing unit for parts of the
  • the processing unit a first transformation matrix for converting a first coordinate corresponding to the coordinates on the pattern surface of the pattern to a second coordinate corresponding to the three-dimensional coordinates of the first lens of the marker unit, A second transformation for converting a third coordinate corresponding to a three-dimensional coordinate of the second lens of the second coordinate to a fourth coordinate corresponding to a first pixel coordinate on a first image of the pattern of the first imaging unit A third transformation matrix equal to the first transformation matrix for converting a fifth coordinate corresponding to a coordinate on a pattern surface of the pattern into a sixth coordinate corresponding to three-dimensional coordinates of the first lens of the marker unit, And a fourth coordinate for converting a seventh coordinate corresponding to the three-dimensional coordinate of the third lens of the sixth coordinate into an eighth coordinate corresponding to a second pixel coordinate on the second image of the pattern of the second imaging unit.
  • the first coordinate transformation equation is defined to convert the first coordinate into the fourth coordinate including the first transformation matrix and the second transformation matrix
  • the second coordinate transformation equation is the third transformation matrix and the fourth transformation matrix.
  • a first posture defining a posture of the marker unit with respect to the first imaging unit from the first and second coordinate transformation equations, wherein the processing unit is defined to convert the fifth coordinate to the eighth coordinate including a transformation matrix;
  • a positive matrix can be obtained.
  • the first coordinate transformation equation may be defined by the following equation,
  • the second coordinate transformation equation may be defined by the following equation.
  • the first transform matrix and the third transform matrix may be defined by the following equation,
  • the second and fourth transformation matrices may be defined by the following equation.
  • the processor may obtain the first transform matrix and the third transform matrix by obtaining calibration values u c , v c, and f b from at least three captured images.
  • the second transform matrix and the fourth transform matrix can be obtained by obtaining calibration values of f c , pw and ph using data.
  • the processor may acquire a plurality of data for the first coordinate and the fourth coordinate and a plurality of data for the fifth and eighth coordinates, and the obtained plurality of data.
  • the first posture definition matrix can be obtained by the following equation.
  • the data of four coordinates are the pixel coordinates on the first image of the pattern corresponding to the center of the pattern, ((ru 1 , rv 1 ),..., (ru n , rv n ) Is data of the fifth coordinate, (ru ' 1 , rv' 1 ), ..., (ru ' n , rv' n ) is data of the eighth coordinate, and (ru ' c , rv' c ) is the Pixel coordinates on the second image of the pattern corresponding to the center)
  • the processing unit may determine a position of the marker unit from a third coordinate transformation equation relating to the second coordinate and the fourth coordinate and a fourth coordinate transformation equation relating to the sixth coordinate and the eighth coordinate,
  • the marker unit may be tracked using the position of the marker unit.
  • the third coordinate transformation equation may be defined by the following equation,
  • the fourth coordinate transformation equation may be defined by the following equation.
  • the processing unit may acquire a first center coordinate and a second center coordinate which are centers of a viewing range of the pattern photographed by the first and second imaging units, respectively, and obtain the obtained center coordinates.
  • the position conversion matrix between the first imaging unit and the second image forming unit may be calibrated, and the position of the marker unit may be obtained using the calibrated position transformation matrix.
  • the processing unit may obtain a conversion coefficient by measuring the marker unit at at least two positions, and using the obtained conversion coefficient together with the obtained central coordinates, the first imaging unit and The position transformation matrix between the second image forming unit may be calibrated.
  • the method of calculating the position and position of the marker part of the optical tracking system includes a pattern having a specific information with specific information, a pattern spaced apart from the pattern, and having a first focal length.
  • a marker unit including a first lens, a second lens having a second focal length, and a second lens are spaced apart from the second lens, and the first image of the pattern is formed by the first lens and the second lens.
  • a first image forming unit including a first image forming unit, a third lens having a third focal length, and a third lens spaced apart from the third lens, and the second image of the pattern is formed by the first lens and the third lens Including an image forming second imaging unit, it is provided to calculate the posture of the marker portion to track the marker portion.
  • the method of calculating the position and position of the marker part of the optical tracking system may include converting a first coordinate corresponding to a coordinate on a pattern surface of the pattern into second coordinate corresponding to three-dimensional coordinates of the first lens of the marker part.
  • Convert to coordinate Obtaining a fourth transform matrix; and a first coordinate transform equation and a third transform matrix including the first transform matrix and the second transform matrix, and converting the first coordinate into the fourth coordinate.
  • obtaining a posture definition matrix defining a posture of the marker unit from a second coordinate transformation equation including a fourth transformation matrix and converting the fifth coordinate to the eighth coordinate.
  • the method of calculating the position and position of the marker unit of the optical tracking system further includes: obtaining a conversion factor by measuring the marker unit at at least two positions before calibrating the position transformation matrix.
  • the position transformation matrix between the first imaging unit and the second imaging unit may be calibrated using the obtained conversion factor together with the acquired data.
  • the marker portion in an optical tracking system for tracking a marker portion, can be miniaturized by including a pattern of specific information so as to enable tracking, and the optical system of the marker portion and the image forming portion can be modeled by coordinate transformation.
  • the optical system of the marker portion and the image forming portion can be modeled by coordinate transformation.
  • the location of the marker part can be more accurately determined by modeling a miniaturized marker part including a pattern of specific information by using a stereo method, it is possible to accurately track the marker part in a simpler and easier way.
  • FIG. 1 is a conceptual diagram illustrating an optical tracking system according to an embodiment of the present invention.
  • FIG. 2 is a flowchart schematically illustrating a problem solving process required for a processing unit of the optical tracking system of FIG. 1 to determine a posture of a marker unit.
  • FIG. 3 is a flowchart illustrating a process of modeling a system in the problem solving process of FIG. 2.
  • FIG. 4 is a conceptual diagram illustrating a process of modeling the system of FIG. 3.
  • FIG. 5 is a flowchart illustrating a process of calibrating a second transform matrix during the problem solving process of FIG. 2.
  • FIG. 6 is a flowchart illustrating a process of calibrating a first transform matrix in the problem solving process of FIG. 2.
  • FIG. 7 is a flowchart illustrating an example of a process of obtaining a posture definition matrix in the problem solving process of FIG. 2.
  • FIG. 8 is a flowchart illustrating another example of a process of obtaining a posture definition matrix in the problem solving process of FIG. 2.
  • FIG. 9 is a flowchart illustrating a method of calculating a marker posture of an optical tracking system according to an exemplary embodiment of the present invention.
  • FIG. 10 is a conceptual diagram illustrating an optical tracking system according to another embodiment of the present invention.
  • FIG. 11 is a flowchart schematically illustrating a problem solving process required for a processing unit of the optical tracking system of FIG. 10 to determine a posture of a marker unit.
  • FIG. 12 is a flowchart illustrating a process of calibrating a transformation matrix during the problem solving process of FIG. 11.
  • FIG. 13 is a flowchart illustrating an example of a process of obtaining a posture definition matrix in the problem solving process of FIG. 11.
  • FIG. 14 is a flowchart illustrating a method of calculating a marker part attitude of an optical tracking system according to another exemplary embodiment of the present invention.
  • FIG. 15 is a flowchart schematically illustrating a problem solving process required for a processing unit of the optical tracking system of FIG. 10 to determine a position of a marker unit.
  • FIG. 16 is a conceptual diagram illustrating a process of performing system modeling in the problem solving process of FIG. 15.
  • FIG. 17 is a flowchart illustrating a process of calibrating a position transformation matrix during the problem solving process of FIG. 15.
  • FIG. 18 is a flowchart illustrating an example of a process of acquiring a position of a marker unit in the problem solving process of FIG. 15.
  • FIG. 19 is a flowchart illustrating another example of a process of acquiring a position of a marker part in the problem solving process of FIG. 15.
  • 20 is a flowchart illustrating a marker position calculation method of the optical tracking system according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • FIG. 1 is a conceptual diagram illustrating an optical tracking system according to an embodiment of the present invention.
  • the optical tracking system 100 includes a marker unit 110, an image forming unit 120, and a processing unit 130.
  • the marker unit 110 includes a pattern 112 and a first lens 114.
  • the pattern 112 has specific information.
  • the specific information is information that can be recognized for tracking in the imaging unit 120, which will be described later.
  • the one-dimensional pattern similar to a bar code and two similar to a QR code Dimensional patterns and the like.
  • the first lens 114 is spaced apart from the pattern 112 and has a first focal length.
  • the separation distance between the first lens 114 and the pattern 112 may allow the imaging unit 120, which will be described later, to image and track the pattern 112 even at a distance. It may be equal to the first focal length of (114).
  • bundles of rays with respect to the pattern 112 passing through the first lens 114 may be parallel to each other.
  • the first lens 114 may perform a function similar to that of an objective lens of a microscope.
  • the marker unit 110 may not include a light source. In this case, the marker unit 110 may be used as a passive marker using an illumination located outside. Alternatively, the marker unit 110 may include a light source. In this case, the marker unit 110 may be used as an active marker using self illumination.
  • the imaging unit 120 includes a second lens 122 and an imaging unit 124.
  • the second lens 122 has a second focal length.
  • the second lens 114 may perform a function similar to that of the eyepiece of the microscope, for example.
  • the imaging unit 124 is spaced apart from the second lens 122 and the image of the pattern 112 is formed by the first lens 114 and the second lens 122.
  • the separation distance between the imaging unit 124 and the second lens 122 may form an optical bundle for the pattern 112 parallel to each other through the first lens 114.
  • the second focal length may be the same as the second focal length of the second lens 122.
  • the imaging unit 124 may include an image sensor such as a charge coupled device (CCD), a complementary metal-oxide semiconductor (CMOS), or the like.
  • the processor 130 determines the posture of the marker unit 110 from a coordinate conversion equation between coordinates on the pattern surface of the pattern 112 and pixel coordinates on the image of the pattern 112.
  • the processor 130 tracks the marker unit 110 using the determined posture of the marker unit 110.
  • the processing unit 130 may include, for example, a computer or more specifically a central processing unit (CPU).
  • FIG. 2 is a flowchart schematically illustrating a problem solving process required for a processing unit of the optical tracking system of FIG. 1 to determine a posture of a marker unit.
  • system modeling is performed on the optical tracking system 100 having the above-described configuration (S100).
  • the coordinate transformation between the coordinates on the pattern surface of the pattern 112 and the pixel coordinates on the image of the pattern 112 is based on the optical system of the optical tracking system 100. Since it is made by, by modeling the coordinate transformation according to the optical system of the optical tracking system 100 can set the coordinate transformation equation. In this case, the coordinate transformation according to the optical system of the optical tracking system 100 may be modeled by the optical system of each of the marker unit 110 and the image forming unit 120 and the relationship between them.
  • the coordinates on the pattern surface of the pattern 112 shown in FIG. 1 are the first coordinates
  • the three-dimensional local coordinates of the first lens 114 of the first coordinates are the second coordinates
  • the first transformation is performed.
  • the matrix is a matrix for converting the first coordinates to the second coordinates
  • the second transform matrix is a matrix for converting the third coordinates to the fourth coordinates.
  • the coordinate transformation equation obtained as a result of the system modeling is determined by equations for various parameters of the optical system of the marker unit 110 and the imaging unit 120 shown in FIG. 1, but the parameters cannot be accurately obtained. Since the value may change due to mechanical arrangement, etc., more accurate system modeling may be possible by calibrating the first and second transformation matrices.
  • the posture refers to the direction in which the marker unit 110 is directed
  • the posture definition matrix is a matrix that provides information on the posture of the marker unit 110, and the marker unit 110 from the posture definition matrix. Roll, pitch, yaw, and the like.
  • FIG. 3 is a flowchart illustrating a system modeling process of the problem solving process of FIG. 2, and FIG. 4 is a conceptual diagram illustrating a process of modeling the system of FIG. 3.
  • the center point of the first lens 114 is referred to as the first center point A
  • the center point of the second lens 122 is called the second center point O
  • any point on the pattern 112 is referred to as B.
  • the light passing through the first center point A of the first lens 114 goes straight and the light passing through the first center point A meets the second lens 122.
  • the point D is refracted by the second lens 122 at the point D and formed at the imaging unit 124 is E.
  • the light passing through the first center point A of the first lens 114 and passing through the second center point O of the second lens 122 goes straight, and the point where the light meets the extension line of the line segment DE is referred to as C. .
  • the equation of a straight line for the line segment AO (or line AC)
  • the coordinate of the first center point A is set to (X, Y, Z), and the coordinate of the second center point O is set to (0,0,0), which is the origin. Since the coordinate of the second center point O of the second lens 122 is set as the origin, the three-dimensional local coordinate system for the second lens 122 is the same as the world coordinate system.
  • the coordinates of the pixels (corresponding to the point E) of the image of the pattern 112 formed in the phase are set to (u ', v').
  • the coordinates (u, v) and (u c , v c ) may be set based on, for example, the upper left side of the pattern 112, and the coordinates (u ′, v ′) are, for example, the pattern ( 112 may be set based on the upper left side of the image.
  • the imaging unit 124 when the imaging unit 124 is positioned at the focal length f c of the second lens 122, the z-axis coordinate of the imaging unit 124 becomes -f c .
  • the equation of straight line L1 is found from line segment AO, where the position of point C is obtained.
  • the equation of straight line L2 is found from line segment AB, where the position of point D is obtained.
  • the equation for straight line L3 is found from line segment DC.
  • the attitude definition matrix defining the attitude of the marker unit 110 is defined as a 3 * 3 matrix [R], and each component of the matrix [R] is r 11 , r 12 , r 13 , r 21 , r 22 ,
  • the world coordinate of point B is the pattern coordinate (u, v) of point B, and the focal length f b of the matrix [R] and the first lens 114.
  • the pixel coordinates (u ', v') of the point E can be represented by the pattern coordinates (u, v) of the point B, the pattern 112 corresponding to the point B and the pattern corresponding to the point E You can define the relationship between images.
  • the relational expression may be represented by a matrix equation as shown in Equation 1 below, and the matrix equation regarding the coordinate transformation may be set as the coordinate transformation formula.
  • (u, v) is the first coordinate
  • (u ', v') is the fourth coordinate
  • [C] is the first transformation matrix
  • [A] is the second transformation matrix
  • [R] Means the posture definition matrix.
  • (u c , v c ) is the coordinate on the pattern surface of the center of the pattern
  • f b is the first focal length
  • f c is the second focal length
  • pw is the width of the pixel of the image of the pattern
  • ph Is the height of the pixels of the image of the pattern.
  • i is a predetermined i-th pattern.
  • the coordinate transformation equation consists of the product of the first and second transformation matrices and the attitude definition matrix described in FIG. 1.
  • the coordinates on the pattern surface of the pattern 112 may be defined as a first coordinate ((u, v)) and the first lens of the first coordinate ( 114 is a 3D local coordinate for the second coordinate, the 3D local coordinates (same as the world coordinate) for the second lens 122 of the second coordinate, and the image forming unit 120
  • the coordinate transformation equation is a first transformation for converting the first coordinates to the second coordinates.
  • a posture definition matrix [R] for converting the second coordinates to the third coordinates
  • a second transformation matrix [A] for converting the third coordinates to the fourth coordinates ] [C].
  • the calibration is first performed on the second transform matrix, and then performed on the first transform matrix.
  • FIG. 5 is a flowchart illustrating a process of calibrating a second transform matrix during the problem solving process of FIG. 2.
  • a matrix [B] and a matrix [H] are defined to facilitate mathematical analysis for calibration (S210).
  • Equation 2 when the matrix [B] is defined using the second transform matrix [A], it is represented by Equation 2, and the first transform matrix [C] and the second transform matrix [A] are defined. And a matrix [H] using the posture definition matrix [R], as shown in Equation 3 below.
  • Equation 4 is obtained by multiplying A ⁇ 1 by both sides of Equation 3.
  • the matrix [B] can be defined as in Equation 5.
  • ⁇ -f c / pw
  • ⁇ -f c / ph
  • f c is the focal length of the second lens 122 of the imaging unit 120
  • pw and ph are the width and height of the pixel, respectively it means.
  • the column vectors b and v ij are defined using Equation 6 using nonzero components of the matrix [B].
  • Equation 7 Using the orthogonality of the matrix [R] in Equation 6, Equation 7 can be obtained.
  • the column vector b may be obtained by using a method such as singular value decomposition (SVD). Finding the column vector b gives us all the components of the matrix [B].
  • SVD singular value decomposition
  • the matrix through a formula (8) to know all of the components of the [B] v 'c, ⁇ , ⁇ , u' can be obtained c (representing the ⁇ , ⁇ as a parameter).
  • the first transform matrix [C] is calibrated using the second transform matrix [A] previously calibrated.
  • FIG. 6 is a flowchart illustrating a process of calibrating a first transform matrix in the problem solving process of FIG. 2.
  • the calibrated matrix [A] is substituted into the matrix [H] to obtain a matrix [R] (S250).
  • Equation 10 is obtained by substituting the second transform matrix [A] of Equation 9 into Equation 3 and arranging [R] [C] of Equation 1.
  • the product of the matrix [A] and the matrix [R] is defined as the matrix [HK], substituted into the coordinate transformation equation of Equation 1, and arranged to be composed of the components of the matrix [HK] and the matrix [C].
  • the matrix [HK] can be obtained by using the matrix [A] obtained from Equation 9 and the matrix [R] obtained from Equation 11, and when applied to the coordinate conversion equation of Equation 1, the matrix [HK] and the matrix [ Equation 12 consisting of the components of C] is obtained.
  • the matrix [AA], the matrix [BB], and the matrix [CC] can be defined using Equation 13 using the matrix [HK].
  • FIG. 7 is a flowchart illustrating an example of a process of obtaining a posture definition matrix in the problem solving process of FIG. 2.
  • Equation 14 can be obtained by setting this as an equation.
  • the matrix [H] is obtained using, for example, a method such as singular value decomposition (SVD) (S320a).
  • SVD singular value decomposition
  • Equation 15 is obtained.
  • Equation 15 2n equations of Equation 15 are obtained using a method such as singular value decomposition (SVD) as an example.
  • SVD singular value decomposition
  • the posture definition matrix may be obtained in other ways.
  • FIG. 8 is a flowchart illustrating another example of a process of obtaining a posture definition matrix in the problem solving process of FIG. 2.
  • Equation 16 is obtained.
  • the matrix [R] is obtained using, for example, a method such as singular value decomposition (SVD) (S330b).
  • SVD singular value decomposition
  • Equation 16 2n equations of Equation 16 are obtained using a method such as singular value decomposition (SVD).
  • SVD singular value decomposition
  • the posture of the marker unit 110 may be calculated by applying the system modeling process and the method of obtaining the posture definition matrix [R] to the optical tracking system 100 shown in FIG. 1.
  • FIG. 9 is a flowchart illustrating a method of calculating a marker posture of an optical tracking system according to an exemplary embodiment of the present invention.
  • the processor 130 first calibrates first and second transform matrices from at least three images (S510).
  • the calibration is substantially the same as the process of step S200 described in FIG. 2 and the steps S210 to S280 described in detail in FIGS. 5 and 6, and the processing unit 130 includes steps S230 and S280 of the process.
  • the first and second transformation matrices may be calibrated using only the final equation for calibration.
  • an attitude definition matrix is obtained from a coordinate transformation equation including the first and second transformation matrices (S520).
  • the attitude definition matrix is substantially the same as the process of step S300 described in FIG. 2, steps S310 to S330a, and steps S310 to S330b described in detail with reference to FIGS. 7 and 8, and the processing unit 130.
  • the attitude definition matrix may be obtained using only the final equation for acquiring the attitude definition matrix as in steps S320a and S320a, or step S320b.
  • the processor 130 preliminarily obtains a first transformation matrix for converting the first coordinates to the second coordinates and a second transformation matrix for converting the third coordinates to the fourth coordinates in advance. From the coordinate transformation equation, an attitude definition matrix defining the attitude of the marker unit 110 may be obtained.
  • the posture of the marker unit 110 may be obtained by obtaining the posture definition matrix.
  • the roll, pitch, yaw, and the like of the marker unit 110 may be grasped from the posture defining matrix.
  • the marker part can be miniaturized by including a pattern of specific information so as to enable tracking, and the attitude of the marker part can be determined by modeling the optical system of the marker part and the image forming part by coordinate transformation. Therefore, accurate tracking of the marker portion may be possible in a simpler and easier way.
  • FIG. 10 is a conceptual diagram illustrating an optical tracking system according to another embodiment of the present invention.
  • the optical tracking system 1000 includes a marker unit 1110, a first imaging unit 1120a, a second imaging unit 1120b, and a processing unit 1130. .
  • the optical tracking system 1000 shown in FIG. 10 has the optical system shown in FIG. 1 except that the stereo method including two imaging units is applied and the processing unit 1140 determines the posture using the two imaging units. Since it is substantially the same as the tracking system 100, overlapping detailed description is omitted.
  • the marker part 1110 includes a pattern 1112 and a first lens 1114 and is substantially the same as the marker part 110 shown in FIG. 1.
  • the first imaging unit 1120a may be disposed to be spaced apart from the second lens having the second focal length and the second lens, and the first image of the pattern may be formed by the first lens and the second lens. It includes an imaging unit.
  • the second imaging unit 1120b is disposed to be spaced apart from the third lens and the third lens having a third focal length, and the second image of the pattern is formed by the first lens and the third lens. It includes an imaging unit.
  • Each of the first imaging unit 1120a and the second imaging unit 1120b is substantially the same as the imaging unit 120 illustrated in FIG. 1.
  • the processor 1130 may perform a first coordinate transformation between the coordinates on the pattern surface of the pattern 1112 and the first pixel coordinates on the first image of the pattern 1112 and the coordinates on the pattern surface of the pattern 1112 and the An attitude of the marker unit 1110 is determined from a second coordinate transformation equation between second pixel coordinates on the second image of the pattern 1112.
  • the second coordinate transformation equation includes a rotation transformation between the first pixel coordinate and the second pixel coordinate on the second image.
  • the processing unit 1130 tracks the marker unit 1110 using the determined posture of the marker unit 1110.
  • FIG. 11 is a flowchart schematically illustrating a problem solving process required for a processing unit of the optical tracking system of FIG. 10 to determine a posture of a marker unit.
  • system modeling is performed on the optical tracking system 1000 having the above-described configuration (S1100).
  • the coordinate transformation between the coordinates on the pattern surface of the pattern 1112 and the pixel coordinates on the image of the pattern 1112 is an optical system of the optical tracking system 1100. Since it is made by, by modeling the coordinate transformation according to the optical system of the optical tracking system 1000 can set the coordinate transformation equation. In this case, the coordinate transformation according to the optical system of the optical tracking system 100 may be modeled by the optical system of each of the marker unit 1110 and the first and second image forming units 1120a and 1120b and a relationship therebetween. .
  • the coordinate on the pattern surface of the pattern 1112 shown in FIG. 10 is the first coordinate
  • the three-dimensional local coordinates of the first lens 1114 of the first coordinate is the second coordinate
  • the pixel coordinates on the first image of the pattern 1112 of the first image forming unit 1120a are defined as fourth coordinates, respectively.
  • the first transform matrix is a matrix for converting the first coordinates to the second coordinates
  • the second transform matrix is a matrix for converting the third coordinates to the fourth coordinates.
  • coordinates on the pattern surface of the pattern 1112 illustrated in FIG. 10 are fifth coordinates
  • the three-dimensional local coordinates of the first lens 1114 of the fifth coordinates are sixth coordinates and the sixth coordinates.
  • the three-dimensional local coordinates of the third lens 1122b may be defined as seventh coordinates
  • the pixel coordinates of the second image of the pattern 1112 of the second image forming unit 1120b may be defined as eighth coordinates, respectively.
  • the third transformation matrix is a matrix for converting the fifth coordinate to the sixth coordinate
  • the fourth transformation matrix is a matrix for converting the seventh coordinate to the eighth coordinate.
  • the coordinate transformation equation obtained as a result of the system modeling is determined by equations for various parameters of the optical system of the marker unit 1110 and the imaging unit 1120 shown in FIG. 10, but the parameters cannot be obtained correctly. Since the value may change due to mechanical arrangement, etc., more accurate system modeling may be possible by calibrating the first and second transformation matrices.
  • the posture definition matrix is a matrix that provides information about the posture of the marker unit 1110.
  • the roll, pitch, yaw, and the like of the marker unit 1110 may be obtained from the posture definition matrix. I can figure it out.
  • Equation 1 may be independently applied to the first imaging unit 1120a and the second imaging unit 1120b. Accordingly, the following equation 17 can be obtained as a system modeling result.
  • L and 1 are applied to the variable for the first imaging unit 1120a
  • R and r are applied to the variable for the second imaging unit 1120b.
  • [R LR ] means a matrix for converting the three-dimensional local coordinates of the first imaging unit 1120a into the three-dimensional local coordinates of the second imaging unit 1120b, and the second determination It can be seen as a matrix defining the attitude of the first imaging unit 1120a with respect to the upper portion 1120b.
  • FIG. 12 is a flowchart illustrating a process of calibrating a transformation matrix during the problem solving process of FIG. 11.
  • the process of calibrating the transform matrix is basically the same as the process described with reference to FIGS. 5 and 6.
  • steps S210 to S240 are applied to the first image forming unit 1120a to calibrate [A l ] (S1210a).
  • step S250 is applied to the first imaging unit 1120a to obtain [R L ] (S1220a).
  • steps S210 to S240 are applied to the second image forming unit 1120b to calibrate [A r ] (S1210b).
  • step S250 is applied to the second image forming unit 1120b to obtain [R R ] (S1220b).
  • [C] corresponding to the calibrated first and third transform matrices is obtained.
  • FIG. 13 is a flowchart illustrating an example of a process of obtaining a posture definition matrix in the problem solving process of FIG. 11.
  • the process of acquiring the posture definition matrix is basically the same as the process described with reference to FIG. 8, but there is a difference in using more data as a stereo system.
  • steps S310 and S320b are applied to [R L ] in the first coordinate transformation equation to arrange the first equations for components r11 to r33 (S1310).
  • This process corresponds to the processes of steps S310 and S320b described in FIG. 8, and the first equation is shown in Equation 21 below.
  • equation (22) is obtained.
  • the matrix [R L ] is obtained using a method such as singular value decomposition (SVD) as an example (S1340).
  • Equation 22 since the matrixes [LW i ] and [RW i ] in Equation 22 each include two equations, a total of 4n equations are obtained for r 11 to r 33 , and the same method as singular value decomposition (SVD) is performed. Obtained using
  • Equation 22 includes more equations than the method described with reference to FIGS. 1 to 9 including 4n expressions, so that a more accurate result for the matrix [R L ] can be obtained, and thus the marker part 1110 More accurate posture measurement may be possible.
  • FIG. 14 is a flowchart illustrating a method of calculating a marker part attitude of an optical tracking system according to another exemplary embodiment of the present invention.
  • the processor 1130 first calibrates first, second, third and fourth transformation matrices from at least three images (S1510).
  • the calibration is substantially the same as the steps S1200 described with reference to FIG. 11 and the processes of steps S1210a and S1210b to S1280 described in detail with reference to FIG.
  • the first and second transform matrices may be calibrated using only the final equation for calibration such as S1220b and S1280.
  • the attitude definition matrix is obtained from the first and second coordinate transformation equations including the first, second, third and fourth transformation matrices (S1520).
  • the attitude definition matrix is substantially the same as that of steps S1300 described in FIG. 11 and steps S1310 to S1340 described in detail in FIG. 13, and the processing unit 1130 performs steps S1330 and S1340 during the process.
  • the attitude definition matrix may be obtained using only the final equation for obtaining the attitude definition matrix.
  • the processor 1130 may convert the first coordinate into the second coordinate, a second transform matrix to convert the third coordinate into the fourth coordinate, and the fifth coordinate into the sixth transform.
  • the marker unit 1110 is obtained from the first and second coordinate transformation equations. We can obtain a posture definition matrix that defines the posture.
  • the posture of the marker unit 1110 may be known.
  • the roll, pitch, yaw, and the like of the marker part 1110 may be grasped from the posture defining matrix.
  • the marker portion including the pattern of the specific information can be miniaturized so that the tracking is possible, and the optical system of the marker portion and the image forming unit coordinate conversion type By modeling, but by applying a stereo method can determine the position of the marker more accurately, it may be possible to accurately track the marker in a simpler and easier way.
  • the optical tracking system 1000 as described above may determine the position of the marker unit 1110 in addition to the posture of the marker unit 1110.
  • FIG. 15 is a flowchart schematically illustrating a problem solving process required for a processing unit of the optical tracking system of FIG. 10 to determine a position of a marker unit.
  • system modeling is performed on the optical tracking system 1000 having the above-described configuration (S2100).
  • the system modeling may be performed by using the center of the center of the first lens 1114 (see FIG. 10) of the marker unit 1110, unlike the above-described coordinate conversion equation.
  • the second coordinate (same as the sixth coordinate) corresponding to the coordinate is performed to be included.
  • the position conversion matrix [T] indicates the position of the first imaging unit 1120a according to the separation between the first imaging unit 1120a (see FIG. 10) and the second imaging unit 1120b (see FIG. 10).
  • the matrix converts to the position of the second imaging unit 1120b.
  • FIG. 16 is a conceptual diagram illustrating a process of performing system modeling in the problem solving process of FIG. 15.
  • the second coordinate P2 corresponding to the coordinate of the center of the first lens 1114 of the marker unit 1110 and the first pattern of the pattern 1112 of the first image forming unit 1120a may be used.
  • a third coordinate transformation equation is set with respect to the fourth coordinates P4 corresponding to the first pixel coordinates on the first image.
  • the third coordinate transformation equation may be expressed as a matrix equation as shown in Equation 23 below.
  • the sixth coordinate P6 (same as the second coordinate P2) and the second image forming unit 1120b corresponding to the coordinates of the center of the first lens 1114 of the marker unit 1110.
  • a fourth coordinate transformation equation is set with respect to the eighth coordinates P8 corresponding to the second pixel coordinates on the second image of the pattern 1112.
  • the position conversion matrix [T] between the first imaging unit 1120a and the second imaging unit 1120b is set to be included. Accordingly, the fourth coordinate transformation equation may be expressed as a matrix equation as shown in Equation 24 below.
  • (u ' 2 , v' 2 ) is the eighth coordinate (P8)
  • (X, Y, Z) is the sixth coordinate (P6) (same as the second coordinate (P2))
  • a R is The fourth transform matrix, [R LR ], has a 3x3 form and defines a posture of the first image forming unit 1120a with respect to the second image forming unit 1120b described in FIG. 11 and the like
  • [T] is 3x1.
  • the position conversion matrix converts the position of the first imaging unit 1120a into the position of the second imaging unit 1120b. As shown in FIG.
  • the rotation conversion of the eighth coordinate P8 of the second imaging unit 1120b is based on the reference point.
  • the part is represented by the matrix [R LR ] and the position conversion part is represented by [T], so that it can be expressed as [R LR
  • the factors shown in the system modeling are all the factors obtained in FIGS. 11 to 14 except for the position conversion matrix [T]. Accordingly, when the position transformation matrix [T] is obtained, the second coordinate P2 (same as the sixth coordinate P6), that is, the position of the marker unit 1110 may be obtained.
  • FIG. 17 is a flowchart illustrating a process of calibrating a position transformation matrix during the problem solving process of FIG. 15.
  • first, first and second center coordinates respectively photographed by the first and second imaging units 1124a and 1124b are obtained (S2210).
  • first and second center coordinates refer to the center of the filed of view that appears when the pattern 1112 is photographed by the first and second imaging units 1124a and 1124b, respectively. Central coordinates can be obtained.
  • the elementary matrix may be expressed by Equation 25.
  • Equation 25 the subscript j represents the sequence number of several data obtained when several central coordinates are obtained.
  • Equation 26 By arranging Equation 25 as a component of the elementary matrix [F], Equation 26 can be obtained. Equation 26 is applied to at least eight points, for example, using a method such as singular value decomposition (SVD). The base matrix [F] can be obtained.
  • SVD singular value decomposition
  • Equation 27 The basic matrix [E] is expressed by Equation 27.
  • Equation 28 Since the basic matrix [E] calculated from Equation 27 is expressed as a product of position transformation and rotation transformation, the matrix [t] X corresponding to the position transformation component can be obtained by arranging as in Equation 28.
  • the matrix [t] X may be the same as the position transformation matrix, but if necessary, the position transformation matrix may be calculated by multiplying a scale factor.
  • the conversion factor can be obtained by measuring the marker at at least two positions. For example, it can be calculated by moving the markers to at least two marker stages having known separation distances and measuring them.
  • the position conversion matrix [T] is a matrix of a 3x1 type (t x , t y , t z ) T having t x , t y , t z as components of the matrix [t] X obtained. It can be calculated by multiplying the conversion factor.
  • FIG. 18 is a flowchart illustrating an example of a process of acquiring a position of a marker unit in the problem solving process of FIG. 15.
  • a first equation is obtained from a first position conversion equation for the first imaging unit 1120a (S2310).
  • Equation 23 which is the first position conversion equation, is defined as in Equation 29.
  • Equation (30) corresponding to the first equation can be obtained by leaving the self on both sides of Equation 29 to be 0 and arranging it.
  • Equation 24 which is the second position conversion equation is defined as Equation 31.
  • the second equation may be obtained by applying Equation 31 to the same process as the process of obtaining the first equation (S2310).
  • Equation 30 corresponding to the first equation includes two equations, and since the second equation also includes two equations in the same manner, four equations may be obtained in correspondence to the two imaging units.
  • the position of the marker unit 1110 is obtained from the first and second equations and the position transformation matrix [T] (S2330).
  • three-dimensional coordinates of the center of the first lens 1114 of the marker unit 1110 may be obtained by applying the calibrated position transformation matrix [T] to the first and second equations.
  • FIG. 19 is a flowchart illustrating another example of a process of acquiring a position of a marker part in the problem solving process of FIG. 15.
  • a third equation is obtained from the first pattern coordinate transformation equation for the first imaging unit 1120a (S2350).
  • Equation 32 a first pattern coordinate transformation equation modified from the first position transformation equation is set and arranged.
  • Equation 33 By arranging Equation 32 into an equation, Equation 33 can be obtained.
  • This step is substantially the same as the step (S2350) of obtaining the third equation except that the object is not the first imaging unit 1120a but the second imaging unit 1120b.
  • Equation 33 corresponding to the third equation includes two equations, and since the fourth equation also includes two equations in the same manner, four equations may be obtained in correspondence to the two imaging units.
  • the position of the marker part 1110 is obtained from the third and fourth equations and the position transformation matrix [T] (S2370).
  • three-dimensional coordinates of the center of the first lens 1114 of the marker unit 1110 may be obtained by applying the calibrated position transformation matrix [T] to the first and second equations.
  • 20 is a flowchart illustrating a marker position calculation method of the optical tracking system according to an embodiment of the present invention.
  • a plurality of coordinate values are obtained by photographing the first and second imaging units 1124a and 1124b (S2510).
  • Acquisition of the coordinate values is substantially the same as the process of acquiring the first central coordinate and the second central coordinate described in FIG. 17 (S2210). For example, at least eight coordinate values are acquired.
  • the position conversion matrix is calibrated using the obtained coordinate values and the conversion factor (S2530).
  • the calibration is substantially the same as the process of step S2200 described with reference to FIG. 15 and step S2250 described with reference to FIG. Can be.
  • the position of the marker unit 1110 is obtained using the calibrated position transformation matrix (S2540).
  • Acquisition of the position of the marker part 1110 may include steps S2300 described in FIG. 15, steps S2310 through S2330 described in detail in FIG. 18, and steps S2350 through S2370 described in detail in FIG. 19. Substantially the same, the processor 1130 may use only the final equation for the position acquisition, such as step S2330 or step S2370 during the process.
  • the miniaturized marker portion including the pattern of specific information is modeled by applying a stereo method, the position of the marker portion can be determined more accurately, so that the accurate tracking of the marker portion can be performed in a simpler and easier way. It may be possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

옵티컬 트래킹 시스템은 마커부, 결상부 및 처리부를 포함한다. 마커부는 특정정보를 갖는 패턴 및 제1 렌즈를 포함한다. 제1 및 제2 결상부는 각각 제2 렌즈 및 제3 렌즈와 제1 및 제2 결상유닛을 포함한다. 처리부는 패턴의 패턴면 상의 좌표와 패턴의 제1 이미지 상의 제1 픽셀좌표 사이의 제1 좌표변환식 및 제1 픽셀좌표와 패턴의 제2 이미지 상의 제2 픽셀좌표 사이의 회전변환을 포함하는 패턴의 패턴면 상의 좌표와 패턴의 제2 이미지 상의 제2 픽셀좌표 사이의 제2 좌표변환식으로부터 마커부의 자세를 결정하고, 결정된 마커부의 자세를 이용하여 마커부를 트래킹한다. 이에 따라, 보다 단순하고 용이한 방법으로 정확하게 마커부를 트래킹할 수 있다.

Description

옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
본 발명은 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법에 관한 것으로, 더욱 상세하게는 패턴정보를 이용한 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법에 관한 것이다.
일반적으로, 소정의 물체의 위치를 추적하기 위하여 옵티컬 트래킹 시스템(optical tracking system)이 사용된다. 예를 들면, 상기 옵티컬 트래킹 시스템은 수술로봇과 같은 장비에서 목적물을 실시간으로 추적하기 위하여 활용될 수 있다.
상기 옵티컬 트래킹 시스템은 통상 목적물에 부착되는 복수의 마커들과 상기 마커들에 의해 방출되는 광을 결상시키는 결상유닛들을 포함하고, 상기 결상유닛들로부터 획득된 정보를 수학적으로 계산하여 위치정보 등을 획득한다.
그러나, 종래의 옵티컬 트래킹 시스템은 복수의 마커들을 포함함으로써 장비의 크기가 커지는 단점이 있으며, 이에 따라 소형의 정밀성이 요구되는 트래킹의 경우 부적절할 수 있다.
따라서, 마커를 단순화하면서도 정확하고 용이하게 트래킹할 수 있는 옵티컬 트래킹 시스템이 요청된다.
따라서, 본 발명이 해결하고자 하는 과제는 마커를 단순화하면서도 정확하고 용이하게 트래킹할 수 있는 옵티컬 트래킹 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 상기한 옵티컬 트래킹 시스템에 적용 가능한 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법을 제공하는 것이다.
본 발명의 예시적인 일 실시예에 따른 옵티컬 트래킹 시스템은 특정정보를 갖는 패턴(pattern) 및 상기 패턴으로부터 이격되어 배치되며 제1 초점거리를 갖는 제1 렌즈를 포함하는 마커(marker)부, 제2 초점거리를 갖는 제2 렌즈 및 상기 제2 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제2 렌즈에 의하여 상기 패턴의 제1 이미지가 결상되는 제1 결상유닛을 포함하는 제1 결상부, 제3 초점거리를 갖는 제3 렌즈 및 상기 제3 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제3 렌즈에 의하여 상기 패턴의 제2 이미지가 결상되는 제2 결상유닛을 포함하는 제2 결상부, 및 상기 패턴의 패턴면 상의 좌표와 상기 패턴의 제1 이미지 상의 제1 픽셀좌표 사이의 제1 좌표변환식 및 상기 제1 픽셀좌표와 상기 패턴의 제2 이미지 상의 제2 픽셀좌표 사이의 회전변환을 포함하는 상기 패턴의 패턴면 상의 좌표와 상기 패턴의 제2 이미지 상의 제2 픽셀좌표 사이의 제2 좌표변환식으로부터 상기 마커부의 자세를 결정하여, 상기 마커부를 트래킹하는 처리부를 포함한다.
일 실시예로, 상기 처리부는, 상기 패턴의 패턴면 상의 좌표에 해당하는 제1 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제2 좌표로 변환하는 제1 변환행렬, 상기 제2 좌표의 상기 제2 렌즈에 대한 3차원적 좌표에 해당하는 제3 좌표를 상기 제1 결상부의 상기 패턴의 제1 이미지 상의 제1 픽셀좌표에 해당하는 제4 좌표로 변환하는 제2 변환행렬, 상기 패턴의 패턴면 상의 좌표에 해당하는 제5 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제6 좌표로 변환하는 상기 제1 변환행렬과 동일한 제3 변환행렬, 및 상기 제6 좌표의 상기 제3 렌즈에 대한 3차원적 좌표에 해당하는 제7 좌표를 상기 제2 결상부의 상기 패턴의 제2 이미지 상의 제2 픽셀좌표에 해당하는 제8 좌표로 변환하는 제4 변환행렬을 획득할 수 있고, 상기 제1 좌표변환식은 상기 제1 변환행렬 및 상기 제2 변환행렬을 포함하여 상기 제1 좌표를 상기 제4 좌표로 변환하도록 정의되고, 상기 제2 좌표변환식은 상기 제3 변환행렬 및 상기 제4 변환행렬을 포함하여 상기 제5 좌표를 상기 제8 좌표로 변환하도록 정의되며, 상기 처리부는 상기 제1 및 제2 좌표변환식들로부터 상기 제1 결상부에 대한 상기 마커부의 자세를 정의하는 제1 자세정의행렬을 획득할 수 있다.
예를 들면, 상기 제1 좌표변환식은 하기 수학식에 의하여 정의될 수 있고,
Figure PCTKR2015005444-appb-I000001
((lu,lv)는 상기 제1 좌표, (lu',lv')는 상기 제4 좌표, [C]는 상기 제1 변환행렬, [Al]은 상기 제2 변환행렬, [RL]은 상기 제1 자세정의행렬, s는 비례상수)
상기 제2 좌표변환식은 하기 수학식에 의하여 정의될 수 있다.
Figure PCTKR2015005444-appb-I000002
((ru,rv)는 상기 제5 좌표, (ru',rv')는 상기 제8 좌표, [C]는 상기 제1 변환행렬과 동일한 상기 제3 변환행렬, [Ar]은 상기 제4 변환행렬, [RR]은 상기 제2 결상부에 대한 상기 마커부의 자세를 정의하는 제2 자세정의행렬, [RLR]은 상기 제2 결상부에 대한 상기 제1 결상부의 자세를 정의하는 제3 자세정의행렬, s는 비례상수)
예를 들면, 상기 제1 변환행렬 및 상기 제3 변환행렬은 하기 수학식에 의하여 정의될 수 있고,
Figure PCTKR2015005444-appb-I000003
((uc,vc)는 상기 패턴의 중심의 좌표, fb는 상기 제1 초점거리)
상기 제2 및 제4 변환행렬은 하기 수학식에 의하여 정의될 수 있다.
Figure PCTKR2015005444-appb-I000004
((u'c,v'c)는 상기 패턴의 중심에 대응하는 상기 패턴의 이미지 상의 픽셀좌표, fc는 상기 제2 변환행렬의 경우 상기 제2 초점거리이고 상기 제4 변환행렬의 경우 상기 제3 초점거리, pw는 상기 제2 변환행렬의 경우 상기 패턴의 제1 이미지의 픽셀의 폭이고 상기 제4 변환행렬의 경우 상기 패턴의 제2 이미지의 픽셀의 폭, ph는 상기 제2 변환행렬의 경우 상기 패턴의 제1 이미지의 픽셀의 높이이고 상기 제4 변환행렬의 경우 상기 패턴의 제2 이미지의 픽셀의 높이)
일 실시예로, 상기 처리부는, 적어도 3개 이상의 촬영 이미지로부터 uc, vc 및 fb의 캘리브레이션 값을 획득함으로써 상기 제1 변환행렬 및 상기 제3 변환행렬을 획득할 수 있으며, 상기 획득된 데이터를 이용하여 fc, pw, ph의 캘리브레이션 값을 획득함으로써 상기 제2 변환행렬 및 상기 제4 변환행렬을 획득할 수 있다.
일 실시예로, 상기 처리부는, 상기 제1 좌표와 상기 제4 좌표에 대한 복수의 데이터 및 상기 제5 좌표와 상기 제8 좌표에 대한 복수의 데이터를 획득할 수 있고, 상기 획득된 복수의 데이터가 적용된 하기 수학식에 의하여 상기 제1 자세정의행렬을 획득할 수 있다.
Figure PCTKR2015005444-appb-I000005
((lu1,lv1), …, (lun,lvn)은 상기 제1 좌표의 데이터, (lu'1,lv'1), …, (lu'n,lv'n)은 상기 제4 좌표의 데이터, (lu'c,lv'c)는 상기 패턴의 중심에 대응하는 상기 패턴의 제1 이미지 상의 픽셀좌표, ((ru1,rv1), …, (run,rvn)은 상기 제5 좌표의 데이터, (ru'1,rv'1), …, (ru'n,rv'n)은 상기 제8 좌표의 데이터, (ru'c,rv'c)는 상기 패턴의 중심에 대응하는 상기 패턴의 제2 이미지 상의 픽셀좌표)
일 실시예로, 상기 처리부는, 상기 제2 좌표와 상기 제4 좌표에 관한 제3 좌표변환식 및 상기 제6 좌표와 상기 제8 좌표에 관한 제4 좌표변환식으로부터 상기 마커부의 위치를 결정하고, 결정된 상기 마커부의 위치를 이용하여 상기 마커부를 트래킹할 수 있다.
예를 들면, 상기 제3 좌표변환식은 하기 수학식에 의하여 정의될 수 있고,
Figure PCTKR2015005444-appb-I000006
((u'1,v'1)은 상기 제4 좌표, (X,Y,Z)는 상기 제2 좌표, [AL]은 상기 제2 변환행렬, [I]는 3x3형태의 항등행렬(identity matrix), [0]은 3x1 형태의 영행렬, s는 비례상수)
상기 제4 좌표변환식은 하기 수학식에 의하여 정의될 수 있다.
Figure PCTKR2015005444-appb-I000007
((u'2,v'2)은 상기 제8 좌표, (X,Y,Z)는 상기 제6 좌표, [AR]은 상기 제4 변환행렬, [RLR]은 3x3형태의 상기 제3 자세정의행렬, [T]는 3x1 형태의 위치변환행렬, s는 비례상수)
일 실시예로, 상기 처리부는, 상기 제1 및 제2 결상유닛에서 각각 촬영된 상기 패턴의 시야범위의 중심인 제1 중심좌표 및 제2 중심좌표를 획득할 수 있고, 상기 획득된 중심좌표들을 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 위치변환행렬을 캘리브레이션할 수 있으며, 상기 캘리브레이션된 위치변환행렬을 이용하여 상기 마커부의 위치를 획득할 수 있다.
일 실시예로, 상기 처리부는, 상기 마커부를 적어도 2개 이상의 위치에서 측정하여 환산계수를 획득할 수 있고, 상기 획득된 환산계수를 상기 획득된 중심좌표들과 함께 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 상기 위치변환행렬을 캘리브레이션할 수 있다.
본 발명의 예시적인 일 실시예에 따른 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법은 특정정보를 갖는 패특정정보를 갖는 패턴(pattern) 및 상기 패턴으로부터 이격되어 배치되며 제1 초점거리를 갖는 제1 렌즈를 포함하는 마커(marker)부, 제2 초점거리를 갖는 제2 렌즈 및 상기 제2 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제2 렌즈에 의하여 상기 패턴의 제1 이미지가 결상되는 제1 결상유닛을 포함하는 제1 결상부, 및 제3 초점거리를 갖는 제3 렌즈 및 상기 제3 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제3 렌즈에 의하여 상기 패턴의 제2 이미지가 결상되는 제2 결상유닛을 포함하여, 상기 마커부를 트래킹하도록 상기 마커부의 자세를 산출하기 위해 제공된다. 상기 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법은, 상기 패턴의 패턴면 상의 좌표에 해당하는 제1 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제2 좌표로 변환하는 제1 변환행렬, 상기 제2 좌표의 상기 제2 렌즈에 대한 3차원적 좌표에 해당하는 제3 좌표를 상기 제1 결상부의 상기 패턴의 제1 이미지 상의 제1 픽셀좌표에 해당하는 제4 좌표로 변환하는 제2 변환행렬, 상기 패턴의 상기 패턴면 상의 좌표에 해당하는 제5 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제6 좌표로 변환하는 상기 제1 변환행렬과 동일한 제3 변환행렬, 및 상기 제6 좌표의 상기 제3 렌즈에 대한 3차원적 좌표에 해당하는 제7 좌표를 상기 제2 결상부의 상기 패턴의 제2 이미지 상의 제2 픽셀좌표에 해당하는 제8 좌표로 변환하는 제4 변환행렬을 획득하는 단계, 및 상기 제1 변환행렬 및 상기 제2 변환행렬을 포함하며, 상기 제1 좌표를 상기 제4 좌표로 변환하는 제1 좌표변환식 및 상기 제3 변환행렬 및 상기 제4 변환행렬을 포함하며, 상기 제5 좌표를 상기 제8 좌표로 변환하는 제2 좌표변환식으로부터 상기 마커부의 자세를 정의하는 자세정의행렬을 획득하는 단계를 포함한다.
일 실시예로, 상기 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법은, 상기 제1 및 제2 결상유닛에서 각각 촬영된 상기 패턴의 시야범위의 중심인 제1 중심좌표 및 제2 중심좌표를 획득하는 단계, 상기 획득된 중심좌표들을 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 위치변환행렬을 캘리브레이션하는 단계, 및 상기 캘리브레이션된 위치변환행렬을 이용하여 상기 마커부의 위치를 획득하는 단계를 더 포함할 수 있다.
일 실시예로, 상기 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법은, 상기 위치변환행렬을 캘리브레이션하는 단계 이전에, 상기 마커부를 적어도 2개 이상의 위치에서 측정하여 환산계수를 획득하는 단계를 더 포함할 수 있고, 위치변환행렬을 캘리브레이션하는 단계에서, 상기 획득된 환산계수를 상기 획득된 데이터와 함께 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 위치변환행렬을 캘리브레이션할 수 있다.
본 발명에 따르면, 마커부를 트래킹하는 옵티컬 트래킹 시스템에 있어서, 트래킹이 가능하도록 마커부가 특정정보의 패턴을 포함하여 마커부를 소형화할 수 있고, 상기 마커부와 상기 결상부의 광학계를 좌표변환식으로 모델링하되 상기 광학계를 스테레오로 구성함으로써 보다 정확하게 상기 마커부의 자세 및 위치를 결정할 수 있으므로, 보다 단순하고 용이한 방법으로 보다 정확하게 마커부를 트래킹할 수 있다.
또한, 특정정보의 패턴을 포함하여 소형화된 마커부를 스테레오 방식을 적용하여 모델링함으로써 상기 마커부의 위치를 보다 정확히 결정할 수 있으므로, 보다 단순하고 용이한 방법으로 정확한 마커부의 트래킹이 가능할 수 있다.
도 1은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템을 도시한 개념도이다.
도 2는 도 1의 옵티컬 트래킹 시스템의 처리부가 마커부의 자세를 결정하기 위해 필요한 문제해결 과정을 개략적으로 나타낸 흐름도이다.
도 3은 도 2의 문제해결 과정 중 시스템 모델링을 하는 과정을 나타낸 흐름도이다.
도 4는 도 3의 시스템 모델링을 하는 과정을 설명하기 위한 개념도이다.
도 5는 도 2의 문제해결 과정 중 제2 변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 6은 도 2의 문제해결 과정 중 제1 변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 7은 도 2의 문제해결 과정 중 자세정의행렬을 획득하는 과정의 일 예를 나타낸 흐름도이다.
도 8은 도 2의 문제해결 과정 중 자세정의행렬을 획득하는 과정의 다른 예를 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템의 마커부 자세 산출방법을 나타낸 흐름도이다.
도 10은 본 발명의 다른 실시예에 의한 옵티컬 트래킹 시스템을 도시한 개념도이다.
도 11은 도 10의 옵티컬 트래킹 시스템의 처리부가 마커부의 자세를 결정하기 위해 필요한 문제해결 과정을 개략적으로 나타낸 흐름도이다.
도 12는 도 11의 문제해결 과정 중 변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 13은 도 11의 문제해결 과정 중 자세정의행렬을 획득하는 과정의 일 예를 나타낸 흐름도이다.
도 14는 본 발명의 다른 실시예에 의한 옵티컬 트래킹 시스템의 마커부 자세 산출방법을 나타낸 흐름도이다.
도 15는 도 10의 옵티컬 트래킹 시스템의 처리부가 마커부의 위치를 결정하기 위해 필요한 문제해결 과정을 개략적으로 나타낸 흐름도이다.
도 16은 도 15의 문제해결 과정 중 시스템 모델링을 수행하는 과정을 설명하기 위한 개념도이다.
도 17은 도 15의 문제해결 과정 중 위치변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 18은 도 15의 문제해결 과정 중 마커부의 위치를 획득하는 과정의 일 예를 나타낸 흐름도이다.
도 19는 도 15의 문제해결 과정 중 마커부의 위치를 획득하는 과정의 다른 예를 나타낸 흐름도이다.
도 20은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템의 마커부 위치 산출방법을 나타낸 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템을 도시한 개념도이다.
도 1을 참조하면, 본 발명의 예시적인 일 실시예에 따른 옵티컬 트래킹 시스템(100)은 마커(marker)부(110), 결상부(120) 및 처리부(130)를 포함한다.
상기 마커부(110)는 패턴(pattern)(112) 및 제1 렌즈(114)를 포함한다.
상기 패턴(112)은 특정정보를 갖는다. 예를 들면, 상기 특정정보는 상기 패턴은 후술하는 결상부(120)에서 트래킹을 위하여 인식할 수 있는 정보로서, 바코드(bar code)와 유사한 1차원적 패턴, 큐알코드(QR code)와 유사한 2차원적 패턴 등을 포함할 수 있다.
상기 제1 렌즈(114)는 상기 패턴(112)으로부터 이격되어 배치되며 제1 초점거리를 갖는다. 예를 들면, 상기 제1 렌즈(114)와 상기 패턴(112) 사이의 이격 거리는, 후술되는 결상부(120)가 원거리에서도 상기 패턴(112)을 결상하여 트래킹할 수 있도록, 상기 제1 렌즈(114)의 제1 초점거리와 동일할 수 있다. 이 경우, 상기 제1 렌즈(114)를 통과하는 상기 패턴(112)에 대한 광다발(bundle of rays)은 평행을 이룰 수 있다. 상기 제1 렌즈(114)는, 예를 들면, 현미경의 대물렌즈와 유사한 기능을 수행할 수 있다.
상기 마커부(110)는 광원을 포함하지 않을 수 있으며, 이 경우 상기 마커부(110)는 외부에 위치한 조명을 이용하는 패시브 마커(passive marker)로 활용될 수 있다. 이와는 다르게, 상기 마커부(110)는 광원을 포함할 수도 있으며, 이 경우 상기 마커부(110)는 자체 조명을 이용하는 액티브 마커(active marker)로 활용될 수 있다.
상기 결상부(120)는 제2 렌즈(122) 및 결상유닛(124)을 포함한다.
상기 제2 렌즈(122)는 제2 초점거리를 갖는다. 상기 제2 렌즈(114)는, 예를 들면, 현미경의 접안렌즈와 유사한 기능을 수행할 수 있다.
상기 결상유닛(124)은 상기 제2 렌즈(122)로부터 이격되어 배치되며 상기 제1 렌즈(114)와 상기 제2 렌즈(122)에 의하여 상기 패턴(112)의 이미지가 결상된다. 예를 들면, 상기 결상유닛(124)과 상기 제2 렌즈(122) 사이의 이격 거리는, 상기 제1 렌즈(114)를 통과하여 평행을 이루는 상기 패턴(112)에 대한 광다발을 결상할 수 있도록, 상기 제2 렌즈(122)의 제2 초점거리와 동일할 수 있다. 예를 들면, 상기 결상유닛(124)은 CCD(charge coupled device), CMOS(complementary metal-oxide semiconductor)　등과 같은 이미지 센서를 포함할 수 있다.
상기 처리부(130)는 상기 패턴(112)의 패턴면 상의 좌표와 상기 패턴(112)의 이미지 상의 픽셀좌표 사이의 좌표변환식으로부터 상기 마커부(110)의 자세를 결정한다. 상기 처리부(130)는 결정된 상기 마커부(110)의 자세를 이용하여 상기 마커부(110)를 트래킹한다. 상기 처리부(130)는 예를 들면 컴퓨터 혹은 보다 구체적으로 중앙처리장치(CPU)를 포함할 수 있다.
이하, 상기 처리부(130)의 기능의 근거가 되는 시스템 모델링 과정 및 이에 따라 상기 마커부(110)의 자세를 결정하는 과정을 도면을 참조로 보다 상세하게 설명한다.
도 2는 도 1의 옵티컬 트래킹 시스템의 처리부가 마커부의 자세를 결정하기 위해 필요한 문제해결 과정을 개략적으로 나타낸 흐름도이다.
도 2를 참조하면, 먼저 상술한 구성을 갖는 상기 옵티컬 트래킹 시스템(100)에 대하여 시스템 모델링을 수행한다(S100).
도 1에 도시된 바와 같은 옵티컬 트래킹 시스템(100)에서, 상기 패턴(112)의 패턴면 상의 좌표와 상기 패턴(112)의 이미지 상의 픽셀좌표 사이의 좌표변환은 상기 옵티컬 트래킹 시스템(100)의 광학계에 의해 이루어지므로, 상기 옵티컬 트래킹 시스템(100)의 광학계에 따른 좌표변환을 모델링함으로써 상기 좌표변환식을 설정할 수 있다. 이때, 상기 옵티컬 트래킹 시스템(100)의 광학계에 따른 좌표변환은 상기 마커부(110) 및 상기 결상부(120) 각각의 광학계 및 이들 사이의 관계에 의해 모델링될 수 있다.
이어서, 시스템 모델링의 결과로 획득된 좌표변환식 중 후술되는 제1 및 제2 변환행렬들을 캘리브레이션(calibration)한다(S200).
도 1에 도시된 상기 패턴(112)의 패턴면 상의 좌표를 제1 좌표, 상기 제1 좌표의 상기 제1 렌즈(114)에 대한 3차원적 로컬좌표를 제2 좌표, 상기 제2 좌표의 상기 제2 렌즈(122)에 대한 3차원적 로컬좌표를 제3 좌표, 그리고 상기 결상부(120)의 상기 패턴(112)의 이미지 상의 픽셀좌표를 제4 좌표라 각각 정의할 때, 상기 제1 변환행렬은 상기 제1 좌표를 상기 제2 좌표로 변환하는 행렬이고, 상기 제2 변환행렬은 상기 제3 좌표를 상기 제4 좌표로 변환하는 행렬이다.
상기 시스템 모델링의 결과로 획득된 좌표변환식은 도 1에 도시된 상기 마커부(110) 및 상기 결상부(120)의 광학계의 각종 파라미터들에 대한 식으로 정해지지만, 상기 파라미터들을 정확히 획득할 수 없거나 기구적인 배치 상태 등에 의해 값이 변할 수 있으므로, 상기 제1 및 제2 변환행렬들을 캘리브레이션함으로써 보다 정확한 시스템 모델링이 가능할 수 있다.
다음으로, 캘리브레이션 결과를 이용하여 자세정의행렬을 획득한다(S300)
여기서, 자세는 상기 마커부(110)가 향하고 있는 방향을 의미하며, 상기 자세정의행렬은 상기 마커부(110)의 자세에 대한 정보를 제공하는 행렬로서, 상기 자세정의행렬로부터 상기 마커부(110)의 롤(roll), 피치(pitch), 요(yaw) 등을 파악할 수 있다.
이하, 도 2에 나타난 각 단계에 대해서 도면을 참조로 보다 구체적으로 설명한다.
도 3은 도 2의 문제해결 과정 중 시스템 모델링을 하는 과정을 나타낸 흐름도이고, 도 4는 도 3의 시스템 모델링을 하는 과정을 설명하기 위한 개념도이다.
도 3 및 도 4를 참조하면, 먼저 상기 마커부(110)와 상기 결상부(120) 사이의 광경로에 따른 3개의 직선의 방정식을 획득한다(S110).
구체적으로, 상기 제1 렌즈(114)의 중심점을 제1 중심점 A, 상기 제2 렌즈(122)의 중심점을 제2 중심점 O라 하며, 상기 패턴(112) 상의 임의의 점을 B라 한다. 상기 임의의 점 B에 대한 광이 상기 제1 렌즈(114)의 제1 중심점 A를 통과하는 광은 직진하며, 상기 제1 중심점 A를 통과한 광이 상기 제2 렌즈(122)와 만나는 점을 D라 하고, 상기 D점에서 상기 제2 렌즈(122)에 의해 굴절되어 상기 결상유닛(124)에 결상되는 점을 E라 한다. 또한, 상기 제1 렌즈(114)의 제1 중심점 A를 지나서 상기 제2 렌즈(122)의 제2 중심점 O를 통과하는 광은 직진하며, 이 광이 선분 DE의 연장선과 만나는 점을 C라 한다.
이때, 선분 AO(또는 선분 AC)에 대한 직선의 방정식, 선분 AD 에 대한 직선의 방정식, 및 선분 DC에 대한 직선의 방정식을 도 4에 도시된 바와 같이 각각 L1, L2, 및 L3라 정의한다.
월드좌표계(world coordinate system)에서, 상기 제1 중심점 A의 좌표는 (X,Y,Z), 상기 제2 중심점 O의 좌표는 원점인 (0,0,0)으로 설정한다. 상기 제2 렌즈(122)의 제2 중심점 O의 좌표를 원점으로 설정하므로, 상기 제2 렌즈(122)에 대한 3차원적 로컬좌표계는 상기 월드좌표계와 동일하다.
또한, 상기 패턴(112) 상의 임의의 점(B점에 대응)의 좌표를 (u,v), 상기 패턴(112)의 중심점의 좌표를 (uc,vc), 상기 결상유닛(124)에 결상되는 상기 패턴(112)의 이미지의 픽셀(E점에 대응)의 좌표를 (u',v')로 정한다. 상기 좌표들 (u,v), (uc,vc)는 일 예로 상기 패턴(112)의 좌상측을 기준으로 설정될 수 있으며, 상기 좌표 (u',v')는 일 예로 상기 패턴(112)의 이미지의 좌상측을 기준으로 설정될 수 있다.
한편, 상기 결상유닛(124)을 상기 제2 렌즈(122)의 초점거리 fc에 위치시키면 상기 결상유닛(124)의 z축 좌표는 -fc가 된다.
이상의 정보를 이용하여 상기 세 개의 직선의 방정식들을 차례로 획득한다.
직선 L1의 방정식은 선분 AO로부터 구하고, 여기서 C점의 위치를 획득한다. 직선 L2의 방정식은 선분 AB로부터 구하고, 여기서 D점의 위치를 획득한다. 직선 L3의 방정식은 선분 DC로부터 구한다. 이때, A점과 O점의 월드좌표를 알기 때문에 B점의 월드좌표만 알면 상기 세 개의 직선의 방정식들을 알 수 있다.
상기 마커부(110)의 자세를 정의하는 자세정의행렬을 3*3 행렬 [R]이라 정의하고, 행렬 [R]의 각 성분을 각각 r11, r12, r13, r21, r22, r23, r31, r32, r33라 정의하면, B점의 월드좌표는 B점의 패턴상 좌표 (u,v)를 행렬 [R]과 상기 제1 렌즈(114)의 초점거리 fb를 기초로 변환된 (r11u+r12v+r13fb+X, r21u+r22v+r23fb+Y, r31u+r32v+r33fb+Z)로 정할 수 있다.
따라서, A점, O점 및 B점의 월드좌표로부터 세 개의 직선의 방정식들을 획득할 수 있다.
이어서, 상기 획득된 세 개의 직선의 방정식들로부터 상기 패턴(112) 및 패턴의 이미지 사이의 관계식을 유도한다(S120).
앞서 구한 직선 L3의 방정식에서 E점의 위치(E점의 월드좌표)를 획득할 수 있으므로, 이로부터 E점의 픽셀좌표 (u',v')를 알 수 있다.
이에 따라, E점의 픽셀좌표 (u',v')를 B점의 패턴상 좌표 (u,v)로 나타낼 수 있으므로, B점에 대응하는 상기 패턴(112) 및 E점에 대응하는 패턴의 이미지 사이의 관계식을 정할 수 있다.
다음으로, 상기 관계식을 행렬 방정식으로 표현하여 상기 좌표변환식으로 설정한다(S130).
상기 관계식은 하기 수학식 1과 같은 행렬 방정식으로 표현할 수 있으며, 이러한 좌표변환에 관한 행렬 방정식을 상기 좌표변환식으로 설정할 수 있다.
(수학식 1)
Figure PCTKR2015005444-appb-I000008
여기서, (u,v)는 상기 제1 좌표, (u',v')는 상기 제4 좌표, [C]는 상기 제1 변환행렬, [A]는 상기 제2 변환행렬, 그리고 [R]은 상기 자세정의행렬을 의미한다. 또한, (uc,vc)는 상기 패턴의 중심의 패턴면 상의 좌표, fb는 상기 제1 초점거리, fc는 상기 제2 초점거리, pw는 상기 패턴의 이미지의 픽셀의 폭, ph는 상기 패턴의 이미지의 픽셀의 높이이다. 또한, (ui,vi), (u'i,v'i)에서 i는 소정의 i번째 패턴임을 의미한다.
상기 좌표변환식은 도 1에서 설명한 상기 제1 및 제2 변환행렬 및 상기 자세정의행렬의 곱으로 이루어져 있음을 알 수 있다.
구체적으로, 상기 좌표변환식을 개념적으로 살펴보면, 도 1에서 설명한 바와 같이, 상기 패턴(112)의 패턴면 상의 좌표를 제1 좌표((u,v)), 상기 제1 좌표의 상기 제1 렌즈(114)에 대한 3차원적 로컬좌표를 제2 좌표, 상기 제2 좌표의 상기 제2 렌즈(122)에 대한 3차원적 로컬좌표(월드좌표와 동일)를 제3 좌표, 그리고 상기 결상부(120)의 상기 패턴(112)의 이미지 상의 픽셀좌표를 제4 좌표((u',v'))라 각각 정의할 때, 상기 좌표변환식은 상기 제1 좌표를 상기 제2 좌표로 변환하는 제1 변환행렬 [C], 상기 제2 좌표를 상기 제3 좌표로 변환하는 자세정의행렬 [R] 및 상기 제3 좌표를 상기 제4 좌표로 변환하는 제2 변환행렬 [A]의 곱인 [A][R][C]로 나타남을 알 수 있다.
다음으로, 상기 시스템 모델링의 결과로 획득된 좌표변환식 중 상기 제1 및 제2 변환행렬들을 캘리브레이션하는 과정(S200)을 도면을 참조로 보다 상세하게 설명한다.
상기 캘리브레이션은 상기 제2 변환행렬에 대해서 먼저 수행하고, 이어 상기 제1 변환행렬에 대해서 수행한다.
도 5는 도 2의 문제해결 과정 중 제2 변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 5를 참조하면, 먼저 캘리브레이션을 위한 수학적 해석이 용이하도록, 행렬 [B]와 행렬 [H]를 정의한다(S210).
구체적으로, 상기 제2 변환행렬([A])을 이용하여 행렬 [B]를 정의하면 수학식 2와 같고, 상기 제1 변환행렬([C]), 상기 제2 변환행렬([A]) 및 상기 자세정의행렬([R])을 이용하여 행렬 [H]를 정의하면 수학식 3과 같다.
(수학식 2)
Figure PCTKR2015005444-appb-I000009
(수학식 3)
Figure PCTKR2015005444-appb-I000010
여기서, 각 행렬 [A], [B], [C], [H]. [R]은 모두 3*3 형태를 가지며, [H]=[h1, h2, h3], [R]=[r1, r2, r3]로 나타낼 수 있다.
수학식 3의 양변에 A- 1를 곱하면 수학식 4가 획득된다.
(수학식 4)
Figure PCTKR2015005444-appb-I000011
이어서, 행렬 [R]의 정규직교성(orthonormality)을 이용하여 [H]와 [B]의 성분으로 이루어진 방정식을 설정한다(S220).
구체적으로, 회전행렬(rotation matrix)에 해당하는 자세정의행렬([R])의 정규직교성을 이용하면, 행렬 [B]를 수학식 5와 같이 정의할 수 있다.
(수학식 5)
Figure PCTKR2015005444-appb-I000012
여기서, α=-fc/pw, β=-fc/ph이며, fc는 상기 결상부(120)의 제2 렌즈(122)의 초점거리, pw와 ph는 각각 픽셀의 폭과 높이를 의미한다.
행렬 [B]의 0이 아닌 성분을 이용하여 열벡터 b와 vij를 수학식 6과 같이 정의한다.
(수학식 6)
Figure PCTKR2015005444-appb-I000013
수학식 6에 행렬 [R]의 정규직교성을 이용하면 수학식 7을 얻을 수 있다.
(수학식 7)
Figure PCTKR2015005444-appb-I000014
다음으로, 3장 이상의 영상 데이터를 [H]에 적용하여 [B]의 해를 구한다(S230).
구체적으로, 적어도 3장 이상의 영상을 수학식 7에 적용한 후, 일 예로 특이값 분해(singular value decomposition, SVD)와 같은 방법을 이용하여 열벡터 b를 구할 수 있다. 열벡터 b를 구하면 행렬 [B]의 모든 성분을 알 수 있다.
이어서, 최종적으로 캘리브레이션된 [A]를 획득한다(S240).
구체적으로, 행렬 [B]의 모든 성분을 알면 하기 수학식 8을 통해 v'c, α, β, u'c를 구할 수 있다(λ, γ를 파라미터로 표현).
(수학식 8)
Figure PCTKR2015005444-appb-I000015
따라서, 수학식 9로부터 행렬 [A]의 모든 성분을 알 수 있다.
(수학식 9)
Figure PCTKR2015005444-appb-I000016
다음으로, 앞서 캘리브레이션한 제2 변환행렬([A])을 이용하여 제1 변환행렬([C])을 캘리브레이션한다.
도 6은 도 2의 문제해결 과정 중 제1 변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 6을 참조하면, 먼저 캘리브레이션된 행렬 [A]를 행렬 [H]에 대입 정리하여 행렬 [R]을 획득한다(S250).
구체적으로, 수학식 9의 상기 제2 변환행렬 [A]를 수학식 3에 대입하고, 수학식 1의 [R][C]를 정리하여 수학식 10을 획득한다.
(수학식 10)
Figure PCTKR2015005444-appb-I000017
수학식 10에서 행렬 [R]을 [R]=[r1 r2 r3]로 두면, [R]은 수학식 11에서 열벡터 성분별로 획득할 수 있다.
(수학식 11)
Figure PCTKR2015005444-appb-I000018
이어서, 행렬 [HK]를 [HK]=[A][R]로 정의하여 상기 좌표변환식에 대입하여 정리한다(S260).
구체적으로, 행렬 [A]와 행렬 [R]의 곱을 행렬 [HK]로 정의하여 수학식 1의 좌표변환식에 대입하고 행렬 [HK]와 행렬 [C]의 성분들로 이루어지도록 정리한다.
이때, 수학식 9에서 구한 행렬 [A]와 수학식 11에서 구한 행렬 [R]을 이용하여 행렬 [HK]를 구할 수 있고, 이를 수학식 1의 좌표변환식에 적용하면 행렬 [HK]와 행렬 [C]의 성분들로 이루어진 수학식 12가 얻어진다.
(수학식 12)
Figure PCTKR2015005444-appb-I000019
다음으로, 정리된 식을 [AA][CC]=[BB] 형태로 변형한다(S270).
구체적으로, 정리된 식에서 행렬 [C]의 성분들만으로 이루어진 행렬을 [CC]로 정의하여 분리한 후, 정리된 식을 [AA][CC]=[BB] 형태로 변형한다. 이때, 행렬 [HK]를 알고 있으므로, 행렬 [HK]를 이용하여 행렬 [AA], 행렬 [BB] 및 행렬 [CC]를 수학식 13과 같이 정의할 수 있다.
(수학식 13)
Figure PCTKR2015005444-appb-I000020
이어서, [CC]=[AA]-1[BB]로부터 [CC]를 구하여 캘리브레이션된 행렬 [C]를 획득한다(S280).
구체적으로, 식 [AA][CC]=[BB]를 변형한 [CC]=[AA]-1[BB]로부터 [CC]의 성분들을 획득하여 최종적으로 캘리브레이션된 상기 제1 변환행렬 [C]를 획득한다.
다음으로, 상기 캘리브레이션된 제1 및 제2 변환행렬들을 이용하여 상기 자세정의행렬을 획득하는 과정(S300)을 도면을 참조로 보다 상세하게 설명한다.
도 7은 도 2의 문제해결 과정 중 자세정의행렬을 획득하는 과정의 일 예를 나타낸 흐름도이다.
도 7을 참조하면, 상기 자세정의행렬 [R]을 획득하는 일 예로, 먼저 양변에 자기자신을 외적한 방정식을 설정한다(S310).
구체적으로, 상기 수학식 1의 양변에 자기자신을 외적하면 0이 되므로, 이를 방정식으로 설정하면 수학식 14를 얻을 수 있다.
(수학식 14)
Figure PCTKR2015005444-appb-I000021
이어서, 행렬 [H]를, 일 예로 특이값 분해(SVD)와 같은 방법을 이용하여 획득한다(S320a).
구체적으로, 수학식 14에 수학식 3의 [H]=[A][R][C]를 적용한 후 행렬 [H]의 각 성분들(H1, H2, …, H9)에 관한 방정식으로 정리하여 수학식 15를 획득한다.
(수학식 15)
Figure PCTKR2015005444-appb-I000022
수학식 15의 2n개의 식을 일 예로 특이값 분해(SVD)와 같은 방법을 이용하여 획득한다.
다음으로, [R]=[A]-1[H][C]-1로부터 [R]을 획득한다(S330a).
구체적으로, 수학식 3의 [H]=[A][R][C]를 변형한 [R]=[A]-1[H][C]-1로부터 [R]을 획득한다
상기 자세정의행렬은 다른 방법으로 획득될 수도 있다.
도 8은 도 2의 문제해결 과정 중 자세정의행렬을 획득하는 과정의 다른 예를 나타낸 흐름도이다.
도 8을 참조하면, 상기 자세정의행렬 [R]을 획득하는 다른 예로, 먼저 양변에 자기자신을 외적한 방정식을 설정한다(S310). 본 과정은 도 7의 과정과 동일하므로 중복되는 설명은 생략한다.
이어서, r11~r33에 대한 방정식으로 정리한다(S320b).
구체적으로, 수학식 14로부터 상기 자세정의행렬 [R]의 각 성분 r11, r12, r13, r21, r22, r23, r31, r32, r33에 대한 방정식으로 정리하여 수학식 16을 획득한다.
(수학식 16)
Figure PCTKR2015005444-appb-I000023
다음으로, 행렬 [R]을, 일 예로 특이값 분해(SVD)와 같은 방법을 이용하여 획득한다(S330b).
구체적으로, 수학식 16의 2n개의 식을 특이값 분해(SVD)와 같은 방법을 이용하여 획득한다.
이와 같이 최종적으로 상기 자세정의행렬 [R]을 획득할 수 있다.
상기와 같은 시스템 모델링 과정 및 자세정의행렬 [R]의 획득 방법을 도 1에 도시된 상기 옵티컬 트래킹 시스템(100)에 적용하여 상기 마커부(110)의 자세를 산출할 수 있다.
이하, 상기 처리부(130)에서 상기 마커부(110)의 자세를 산출하는 방법을 도면을 참조로 보다 상세하게 설명한다.
도 9는 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템의 마커부 자세 산출방법을 나타낸 흐름도이다.
도 9를 참조하면, 먼저 상기 처리부(130)에서 적어도 3개의 영상들로부터 제1 및 제2 변환행렬들을 캘리브레이션한다(S510).
상기 캘리브레이션은 도 2에서 설명된 단계 S200과, 도 5 및 도 6에서 구체적으로 설명된 단계 S210 내지 단계 S280의 과정과 실질적으로 동일하며, 상기 처리부(130)에서는 상기 과정 중 단계 S230과 단계 S280과 같이 캘리브레이션을 위한 최종 방정식만을 이용하여 상기 제1 및 제2 변환행렬들을 캘리브레이션할 수 있다.
다음으로, 상기 제1 및 제2 변환행렬들을 포함하는 좌표변환식으로부터 자세정의행렬을 획득한다(S520).
상기 자세정의행렬의 획득은 도 2에서 설명된 단계 S300과, 도 7 및 도 8에서 구체적으로 설명된 단계 S310 내지 단계 S330a, 및 단계 S310 내지 단계 S330b의 과정과 실질적으로 동일하며, 상기 처리부(130)에서는 상기 과정 중 단계 S320a와 S320a, 또는 단계 S320b와 같이 상기 자세정의행렬 획득을 위한 최종 방정식만을 이용하여 상기 자세정의행렬을 획득할 수 있다.
따라서, 상기 처리부(130)는 상기 제1 좌표를 상기 제2 좌표로 변환하는 제1 변환행렬 및 상기 제3 좌표를 상기 제4 좌표로 변환하는 제2 변환행렬을 사전에 캘리브레이션하여 미리 획득한 후, 상기 좌표변환식으로부터 상기 마커부(110)의 자세를 정의하는 자세정의행렬을 획득할 수 있다.
상기 자세정의행렬을 획득하면 상기 마커부(110)의 자세를 알 수 있다. 예를 들면, 상기 자세정의행렬로부터 상기 마커부(110)의 롤(roll), 피치(pitch), 요(yaw) 등을 파악할 수 있다.
상기와 같은 옵티컬 트래킹 시스템에 따르면, 트래킹이 가능하도록 마커부가 특정정보의 패턴을 포함하여 마커부를 소형화할 수 있고, 상기 마커부와 상기 결상부의 광학계를 좌표변환식으로 모델링함으로써 상기 마커부의 자세를 결정할 수 있으므로, 보다 단순하고 용이한 방법으로 정확한 마커부의 트래킹이 가능할 수 있다.
도 10은 본 발명의 다른 실시예에 의한 옵티컬 트래킹 시스템을 도시한 개념도이다.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 옵티컬 트래킹 시스템(1000)은 마커부(1110), 제1 결상부(1120a), 제2 결상부(1120b) 및 처리부(1130)를 포함한다.
도 10에 도시된 옵티컬 트래킹 시스템(1000)은 결상부를 두 개 포함하는 스테레오 방식을 적용하는 점 및 처리부(1140)가 두 개의 결상부를 이용하여 자세를 결정하는 점을 제외하면 도 1에 도시된 옵티컬 트래킹 시스템(100)과 실질적으로 동일하므로, 중복되는 상세한 설명은 생략한다.
상기 마커부(1110)는 패턴(pattern)(1112) 및 제1 렌즈(1114)를 포함하며, 도 1에 도시된 마커부(110)와 실질적으로 동일하다.
상기 제1 결상부(1120a)는 제2 초점거리를 갖는 제2 렌즈 및 상기 제2 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제2 렌즈에 의하여 상기 패턴의 제1 이미지가 결상되는 제1 결상유닛을 포함한다.
상기 제2 결상부(1120b)는 제3 초점거리를 갖는 제3 렌즈 및 상기 제3 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제3 렌즈에 의하여 상기 패턴의 제2 이미지가 결상되는 제2 결상유닛을 포함한다.
상기 제1 결상부(1120a) 및 상기 제2 결상부(1120b) 각각은 도 1에 도시된 결상부(120)와 실질적으로 동일하다.
상기 처리부(1130)는 상기 패턴(1112)의 패턴면 상의 좌표와 상기 패턴(1112)의 제1 이미지 상의 제1 픽셀좌표 사이의 제1 좌표변환식 및 상기 패턴(1112)의 패턴면 상의 좌표와 상기 패턴(1112)의 제2 이미지 상의 제2 픽셀좌표 사이의 제2 좌표변환식으로부터 상기 마커부(1110)의 자세를 결정한다. 이때, 상기 제2 좌표변환식은 상기 제1 픽셀좌표와 상기 제2 이미지 상의 제2 픽셀좌표 사이의 회전변환을 포함한다. 상기 처리부(1130)는 결정된 상기 마커부(1110)의 자세를 이용하여 상기 마커부(1110)를 트래킹한다.
이하, 상기 처리부(1130)의 기능의 근거가 되는 시스템 모델링 과정 및 이에 따라 상기 마커부(1110)의 자세를 결정하는 과정을 도면을 참조로 보다 상세하게 설명한다.
도 11은 도 10의 옵티컬 트래킹 시스템의 처리부가 마커부의 자세를 결정하기 위해 필요한 문제해결 과정을 개략적으로 나타낸 흐름도이다.
도 11을 참조하면, 먼저 상술한 구성을 갖는 상기 옵티컬 트래킹 시스템(1000)에 대하여 시스템 모델링을 수행한다(S1100).
도 10에 도시된 바와 같은 옵티컬 트래킹 시스템(1000)에서, 상기 패턴(1112)의 패턴면 상의 좌표와 상기 패턴(1112)의 이미지 상의 픽셀좌표 사이의 좌표변환은 상기 옵티컬 트래킹 시스템(1100)의 광학계에 의해 이루어지므로, 상기 옵티컬 트래킹 시스템(1000)의 광학계에 따른 좌표변환을 모델링함으로써 상기 좌표변환식을 설정할 수 있다. 이때, 상기 옵티컬 트래킹 시스템(100)의 광학계에 따른 좌표변환은 상기 마커부(1110) 및 상기 제1 및 제2 결상부들(1120a, 1120b) 각각의 광학계 및 이들 사이의 관계에 의해 모델링될 수 있다.
이어서, 시스템 모델링의 결과로 획득된 좌표변환식 중 후술되는 제1, 제2, 제3 및 제4 변환행렬들을 캘리브레이션한다(S1200).
도 10에 도시된 상기 패턴(1112)의 패턴면 상의 좌표를 제1 좌표, 상기 제1 좌표의 상기 제1 렌즈(1114)에 대한 3차원적 로컬좌표를 제2 좌표, 상기 제2 좌표의 상기 제2 렌즈(1122a)에 대한 3차원적 로컬좌표를 제3 좌표, 그리고 상기 제1 결상부(1120a)의 상기 패턴(1112)의 제1 이미지 상의 픽셀좌표를 제4 좌표라 각각 정의할 때, 상기 제1 변환행렬은 상기 제1 좌표를 상기 제2 좌표로 변환하는 행렬이고, 상기 제2 변환행렬은 상기 제3 좌표를 상기 제4 좌표로 변환하는 행렬이다.
또한, 도 10에 도시된 상기 패턴(1112)의 패턴면 상의 좌표를 제5 좌표, 상기 제5 좌표의 상기 제1 렌즈(1114)에 대한 3차원적 로컬좌표를 제6 좌표, 상기 제6 좌표의 상기 제3 렌즈(1122b)에 대한 3차원적 로컬좌표를 제7 좌표, 그리고 상기 제2 결상부(1120b)의 상기 패턴(1112)의 제2 이미지 상의 픽셀좌표를 제8 좌표라 각각 정의할 때, 상기 제3 변환행렬은 상기 제5 좌표를 상기 제6 좌표로 변환하는 행렬이고, 상기 제4 변환행렬은 상기 제7 좌표를 상기 제8 좌표로 변환하는 행렬이다.
상기 시스템 모델링의 결과로 획득된 좌표변환식은 도 10에 도시된 상기 마커부(1110) 및 상기 결상부(1120)의 광학계의 각종 파라미터들에 대한 식으로 정해지지만, 상기 파라미터들을 정확히 획득할 수 없거나 기구적인 배치 상태 등에 의해 값이 변할 수 있으므로, 상기 제1 및 제2 변환행렬들을 캘리브레이션함으로써 보다 정확한 시스템 모델링이 가능할 수 있다.
다음으로, 캘리브레이션 결과를 이용하여 자세정의행렬을 획득한다(S1300)
상기 자세정의행렬은 상기 마커부(1110)의 자세에 대한 정보를 제공하는 행렬로서, 상기 자세정의행렬로부터 상기 마커부(1110)의 롤(roll), 피치(pitch), 요(yaw) 등을 파악할 수 있다.
이하, 도 11에 나타난 각 단계에 대해서 보다 구체적으로 설명한다.
먼저, 시스템 모델링을 수행함에 있어(S1100), 도 3에서 설명된 방식 및 결과가 동일하게 적용된다. 따라서, 상기 제1 결상부(1120a)와 상기 제2 결상부(1120b)에 대해서 독립적으로 수학식 1이 적용될 수 있다. 이에 따라, 시스템 모델링 결과 하기 수학식 17을 얻을 수 있다. 편의상, 수학식 17에서는, 제1 결상부(1120a)에 대한 변수에 L, l이 적용되어 있고, 제2 결상부(1120b)에 대한 변수에 R, r이 적용되어 있다.
(수학식 17)
Figure PCTKR2015005444-appb-I000024
여기서, (lu,lv)는 상기 제1 좌표, (lu',lv')는 상기 제4 좌표, [C]는 상기 제1 변환행렬, [Al]은 상기 제2 변환행렬, [RL]은 상기 제1 자세정의행렬을 의미하고, (ru,rv)는 상기 제5 좌표, (ru',rv')는 상기 제6 좌표, [C]는 상기 제1 변환행렬과 동일한 상기 제3 변환행렬, [Ar]은 상기 제4 변환행렬, [RR]은 상기 제2 자세정의행렬을 의미한다. 또한, 도 10을 참조하면, 행렬 [RR]은 행렬 [RLR][RL]로 표현할 수 있다. 여기서, [RLR]은 상기 제1 결상부(1120a)에 대한 3차원적 로컬좌표를 상기 제2 결상부(1120b)에 대한 3차원적 로컬좌표로 변환하는 행렬을 의미하며, 상기 제2 결상부(1120b)에 대한 상기 제1 결상부(1120a)의 자세를 정의하는 행렬로 볼 수 있다.
다음으로, 상기 시스템 모델링의 결과로 획득된 좌표변환식 중 상기 제1, 제2, 제3 및 제4 변환행렬들을 캘리브레이션하는 과정(S1200)을 도면을 참조로 보다 상세하게 설명한다.
도 12는 도 11의 문제해결 과정 중 변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
상기 변환행렬을 캘리브레이션하는 과정은 앞서 도 5 및 도 6에서 설명한 과정과 기본적으로는 동일하다.
도 12를 참조하면, 먼저 단계 S210 내지 단계 S240의 과정을 상기 제1 결상부(1120a)에 적용하여 [Al]을 캘리브레이션한다(S1210a). 이어서, 단계 S250을 상기 제1 결상부(1120a)에 적용하여 [RL]을 획득한다(S1220a).
또한, 이와 병렬적으로, 단계 S210 내지 단계 S240의 과정을 상기 제2 결상부(1120b)에 적용하여 [Ar]을 캘리브레이션한다(S1210b). 이어서, 단계 S250을 상기 제2 결상부(1120b)에 적용하여 [RR]을 획득한다(S1220b).
이와 같이 도 5 및 도 6에서 설명된 방식에 따라 독립적으로 획득된 [Al], [RL], [Ar] 및 [RR]을 도 5 및 도 6에서 설명된 방식과 유사한 방식으로 [C]를 캘리브레이션한다.
구체적으로, 먼저 행렬 [HKl]을 [HKl]=[Al][RL]로 정의하고, 행렬 [HKr]를 [HKr]=[Ar][RR]로 정의하여 각각의 좌표변환식에 대입하여 정리한다(S1260). 이 과정은 도 6에서 설명된 단계 S260에 대응되며, 이로써 행렬 [HKl] 및 [HKr]와 행렬 [C]의 성분들로 이루어진 수학식 18이 얻어진다.
(수학식 18)
Figure PCTKR2015005444-appb-I000025
이어서, 정리된 식을 [AA2][CC2]=[BB2] 형태로 변형한다(S1270). 이 과정은 도 6에서 설명된 단계 S270에 대응되며, 이때 행렬 [AA2], 행렬 [BB2] 및 행렬 [CC2]를 수학식 19와 같이 정의할 수 있다.
(수학식 19)
Figure PCTKR2015005444-appb-I000026
다음으로, [CC2]=[AA2]-1[BB2]로부터 [CC2]를 구하여 캘리브레이션된 [C] 획득한다(S1280). 이 과정은 도 6에서 설명된 단계 S280에 대응되며, [AA2][CC2]=[BB2]를 변형한 [CC2]=[AA2]-1[BB2]로부터 [CC2]의 성분들을 획득하여 최종적으로 캘리브레이션된 상기 제1 변환행렬 및 제3 변환행렬에 해당하는 [C]를 획득한다.
다음으로, 상기 캘리브레이션된 제1, 제2, 제3 및 제4 변환행렬들을 이용하여 상기 자세정의행렬을 획득하는 과정(S1300)을 도면을 참조로 보다 상세하게 설명한다.
도 13은 도 11의 문제해결 과정 중 자세정의행렬을 획득하는 과정의 일 예를 나타낸 흐름도이다.
상기 자세정의행렬을 획득하는 과정은 앞서 도 8에서 설명한 과정과 기본적으로는 동일하지만, 스테레오 방식으로서 보다 많은 데이터를 이용하는 점에서 차이가 있다.
도 13을 참조하면, 먼저 상기 제1 좌표변환식에서 단계 S310 및 단계 S320b의 과정을 [RL]에 적용하여 성분 r11~r33에 대한 제1 방정식으로 정리한다(S1310). 이 과정은 도 8에서 설명된 단계 S310 및 단계 S320b의 과정에 대응되며, 하기 수학식 21에 상기 제1 방정식이 나타나 있다.
(수학식 20)
Figure PCTKR2015005444-appb-I000027
이어서, 상기 제2 좌표변환식에서 [RLR]의 성분을 r'11~r'33으로 두고 단계 S310 및 단계 S320b의 과정을 [RL]에 적용하여 성분 r11~r33에 대한 제2 방정식으로 정리한다(S1320). 이 과정은 도 8에서 설명된 단계 S310 및 단계 S320b의 과정을 응용한 것으로, 하기 수학식 21에 상기 제2 방정식이 나타나 있다.
(수학식 21)
Figure PCTKR2015005444-appb-I000028
다음으로, 정리된 r11~r33에 대한 상기 제1 및 제2 방정식들을 통합방정식으로 정리한다(S1330). 이로써, 수학식 22가 얻어진다.
(수학식 22)
Figure PCTKR2015005444-appb-I000029
이어서, 행렬 [RL]을 일 예로 특이값 분해(SVD)와 같은 방법을 이용하여 획득한다(S1340)
구체적으로, 수학식 22에서 행렬 [LWi] 및 [RWi]는 각각 2개의 식을 포함하므로, r11~r33에 대해서 총 4n개의 식이 얻어지므로, 이를 특이값 분해(SVD)와 같은 방법을 이용하여 획득한다.
수학식 22는 4n개의 식을 포함하여 도 1 내지 도 9에서 설명된 방법에 비해 더 많은 식을 포함하므로, 행렬 [RL]에 대한 보다 정확한 결과를 얻을 수 있으며, 이에 따라 상기 마커부(1110)의 보다 정확한 자세측정이 가능할 수 있다.
이하, 상기 처리부(1130)에서 상기 마커부(1110)의 자세를 산출하는 방법을 도면을 참조로 보다 상세하게 설명한다.
도 14는 본 발명의 다른 실시예에 의한 옵티컬 트래킹 시스템의 마커부 자세 산출방법을 나타낸 흐름도이다.
도 14를 참조하면, 먼저 상기 처리부(1130)에서 적어도 3개의 영상들로부터 제1, 제2, 제3 및 제4 변환행렬들을 캘리브레이션한다(S1510).
상기 캘리브레이션은 도 11에서 설명된 단계 S1200과, 도 12에서 구체적으로 설명된 단계 S1210a 및 S1210b 내지 단계 S1280의 과정과 실질적으로 동일하며, 상기 처리부(1130)에서는 상기 과정 중 단계 S1210a, S1220a, S1210b, S1220b 및 단계 S1280 등과 같이 캘리브레이션을 위한 최종 방정식만을 이용하여 상기 제1 및 제2 변환행렬들을 캘리브레이션할 수 있다.
다음으로, 상기 제1, 제2, 제3 및 제4 변환행렬들을 포함하는 제1 및 제2 좌표변환식들로부터 자세정의행렬을 획득한다(S1520).
상기 자세정의행렬의 획득은 도 11에서 설명된 단계 S1300과, 도 13에서 구체적으로 설명된 단계 S1310 내지 단계 S1340의 과정과 실질적으로 동일하며, 상기 처리부(1130)에서는 상기 과정 중 단계 S1330 및 단계 S1340과 같이 상기 자세정의행렬 획득을 위한 최종 방정식만을 이용하여 상기 자세정의행렬을 획득할 수 있다.
따라서, 상기 처리부(1130)는 상기 제1 좌표를 상기 제2 좌표로 변환하는 제1 변환행렬, 상기 제3 좌표를 상기 제4 좌표로 변환하는 제2 변환행렬, 상기 제5 좌표를 상기 제6 좌표로 변환하는 제3 변환행렬 및 상기 제7 좌표를 상기 제8 좌표로 변환하는 제4 변환행렬을 사전에 캘리브레이션하여 미리 획득한 후, 상기 제1 및 제2 좌표변환식들로부터 상기 마커부(1110)의 자세를 정의하는 자세정의행렬을 획득할 수 있다.
상기 자세정의행렬을 획득하면 상기 마커부(1110)의 자세를 알 수 있다. 예를 들면, 상기 자세정의행렬로부터 상기 마커부(1110)의 롤(roll), 피치(pitch), 요(yaw) 등을 파악할 수 있다.
상기와 같은 옵티컬 트래킹 시스템에 따르면, 마커부를 트래킹하는 옵티컬 트래킹 시스템에 있어서, 트래킹이 가능하도록 마커부가 특정정보의 패턴을 포함하여 마커부를 소형화할 수 있고, 상기 마커부와 상기 결상부의 광학계를 좌표변환식으로 모델링하되 스테레오 방식을 적용함으로써 상기 마커부의 자세를 보다 정확히 결정할 수 있으므로, 보다 단순하고 용이한 방법으로 정확한 마커부의 트래킹이 가능할 수 있다.
한편, 상기와 같은 옵티컬 트래킹 시스템(1000)은 상기 마커부(1110)의 자세에 더하여, 상기 마커부(1110)의 위치를 결정할 수 있다.
이하, 상기 마커부(1110)의 위치를 결정하기 위한 시스템 모델링 과정 및 이에 따라 상기 마커부(1110)의 위치를 결정하는 과정을 도면을 참조로 보다 상세하게 설명한다.
도 15는 도 10의 옵티컬 트래킹 시스템의 처리부가 마커부의 위치를 결정하기 위해 필요한 문제해결 과정을 개략적으로 나타낸 흐름도이다.
도 15를 참조하면, 먼저 상술한 구성을 갖는 상기 옵티컬 트래킹 시스템(1000)에 대하여 시스템 모델링을 수행한다(S2100).
상기 시스템 모델링은, 상기 마커부(1110, 도 10 참조)의 위치를 획득하기 위하여, 앞서 설명한 좌표변환식과는 다르게, 상기 마커부(1110)의 제1 렌즈(1114, 도 10 참조)의 중심의 좌표에 대응하는 상기 제2 좌표(상기 제6 좌표와 동일함)가 포함되도록 수행된다.
이어서, 상기 시스템 모델링의 결과로부터 위치변환행렬 [T]를 캘리브레이션한다(S2200).
상기 위치변환행렬 [T]는 상기 제1 결상부(1120a, 도 10 참조)와 상기 제2 결상부(1120b, 도 10 참조)의 이격에 따라, 상기 제1 결상부(1120a)의 위치를 상기 제2 결상부(1120b)의 위치로 변환하는 행렬을 의미한다.
다음으로, 상기 마커부(1110)의 위치를 획득한다(S2300).
구체적으로, 상기 마커부(1110)의 상기 제1 렌즈(1114)의 중심의 3차원 좌표를 획득한다.
도 16은 도 15의 문제해결 과정 중 시스템 모델링을 수행하는 과정을 설명하기 위한 개념도이다.
도 16을 참조하면, 상기 마커부(1110)의 제1 렌즈(1114)의 중심의 좌표에 대응하는 상기 제2 좌표(P2) 및 상기 제1 결상부(1120a)의 상기 패턴(1112)의 제1 이미지 상의 제1 픽셀좌표에 해당하는 상기 제4 좌표(P4) 사이에 관하여 제3 좌표변환식을 설정한다. 상기 제3 좌표변환식은 하기 수학식 23과 같이 행렬 방정식으로 표현할 수 있다.
(수학식 23)
Figure PCTKR2015005444-appb-I000030
여기서, (u',v')은 상기 제4 좌표(P4), (X,Y,Z)는 상기 제2 좌표(P2), [AL]은 상기 제2 변환행렬, [I]는 3x3형태의 항등행렬(identity matrix), [0]은 3x1 형태의 영행렬이다. 도 16에 도시된 바와 같이, 상기 제1 결상부(1120a)의 제2 렌즈(1122a)가 원점이므로, 이를 기준으로 하는 상기 제4 좌표(P4)의 경우 회전변환 부분은 항등행렬, 그리고 위치변환 부분은 영행렬로 나타나서, [I|0]과 같이 표현될 수 있다.
다음으로, 상기 마커부(1110)의 제1 렌즈(1114)의 중심의 좌표에 대응하는 상기 제6 좌표(P6)(상기 제2 좌표(P2)와 동일함) 및 상기 제2 결상부(1120b)의 상기 패턴(1112)의 제2 이미지 상의 제2 픽셀좌표에 해당하는 상기 제8 좌표(P8) 사이에 관하여 제4 좌표변환식을 설정한다. 상기 제4 좌표변환식을 설정할 때, 상기 제1 결상부(1120a) 및 상기 제2 결상부(1120b) 사이의 위치변환행렬 [T]가 포함되도록 설정한다. 이에 따라, 상기 제4 좌표변환식은 하기 수학식 24와 같이 행렬 방정식으로 표현할 수 있다.
(수학식 24)
Figure PCTKR2015005444-appb-I000031
여기서, (u'2,v'2)은 상기 제8 좌표(P8), (X,Y,Z)는 제6 좌표(P6)(상기 제2 좌표(P2)와 동일함), AR은 상기 제4 변환행렬, [RLR]은 3x3형태를 가지며 도 11 등에서 설명된 상기 제2 결상부(1120b)에 대한 상기 제1 결상부(1120a)의 자세를 정의하는 행렬, [T]는 3x1 형태를 가지며 상기 제1 결상부(1120a)의 위치를 상기 제2 결상부(1120b)의 위치로 변환하는 위치변환행렬을 의미한다. 도 16에 도시된 바와 같이, 상기 제1 결상부(1120a)의 제1 렌즈(1122a)가 원점이므로, 이를 기준으로 상기 제2 결상부(1120b)의 상기 제8 좌표(P8)의 경우 회전변환 부분은 행렬 [RLR], 그리고 위치변환 부분은 [T]로 나타나서, [RLR|T]와 같이 표현될 수 있다.
상기 시스템 모델링에서 나타난 인자들은 위치변환행렬 [T]를 제외하면 모두 앞서 도 11 내지 도 14에서 획득된 인자들이다. 따라서, 위치변환행렬 [T]를 획득하면, 상기 제2 좌표(P2)(상기 제6 좌표(P6)와 동일함), 즉 상기 마커부(1110)의 위치를 획득할 수 있다.
다음으로, 상기 시스템 모델링의 결과로 획득된 제3 및 제4 좌표변환식 중 상기 위치변환행렬 [T]를 캘리브레이션하는 과정(S2200)을 도면을 참조로 보다 상세하게 설명한다.
도 17은 도 15의 문제해결 과정 중 위치변환행렬을 캘리브레이션하는 과정을 나타낸 흐름도이다.
도 17을 참조하면, 먼저 상기 제1 및 제2 결상유닛들(1124a, 1124b)에서 각각 촬영된 제1 중심좌표 및 제2 중심좌표를 획득한다(S2210).
여기서, 상기 제1 및 제2 중심좌표들은 각각 상기 제1 및 제2 결상유닛들(1124a, 1124b)에서 상기 패턴(1112)을 촬영할 때 나타나는 시야범위(filed of view)의 중심을 의미하며, 여러 개의 중심좌표들을 획득할 수 있다.
다음으로, 획득된 상기 제1 및 제2 중심좌표들을 이용하여 기초행렬(fundamental matrix) [F]를 산출한다(S2220).
상기 기초행렬은 수학식 25와 같이 표현될 수 있다.
(수학식 25)
Figure PCTKR2015005444-appb-I000032
수학식 25에서 하첨자 j는 여러 개의 중심좌표들을 획득할 때 획득된 여러 개의 데이터의 순번을 나타낸다.
수학식 25를 상기 기초행렬 [F]의 성분으로 정리하면 수학식 26을 획득할 수 있고, 수학식 26을 예를 들면 적어도 8개의 점에 대해 일 예로 특이값 분해(SVD)와 같은 방법을 적용하여 상기 기초행렬 [F]를 획득할 수 있다.
(수학식 26)
Figure PCTKR2015005444-appb-I000033
이어서, 획득된 기초행렬 [F]를 이용하여 기본행렬(essential matrix) [E]를 산출한다(S2230).
상기 기본행렬 [E]는 수학식 27과 같이 표현된다.
(수학식 27)
Figure PCTKR2015005444-appb-I000034
수학식 27로부터 산출한 기본행렬 [E]는 위치변환 및 회전변환의 곱으로 표현되므로, 수학식 28과 같이 정리하면 위치변환 성분에 대응되는 행렬 [t]X를 구할 수 있다.
(수학식 28)
Figure PCTKR2015005444-appb-I000035
상기 행렬 [t]X는 상기 위치변환행렬과 동일할 수 있지만, 필요한 경우 환산계수(scale factor)를 곱하여 위치변환행렬을 산출할 수 있다.
따라서 다음으로, 환산계수를 획득한다(S2240).
상기 환산계수는 마커를 적어도 2개의 위치에서 측정함으로써 획득할 수 있다. 예를 들면, 이격거리를 알고 있는 적어도 2개의 마커 스테이지들에 마커를 이동 배치시켜 측정함으로써 산출할 수 있다.
이어서, 획득된 상기 기본행렬 [E]와 상기 환산계수를 이용하여 위치변환행렬 [T]를 획득한다(S2250).
구체적으로, 상기 위치변환행렬 [T]는 획득된 상기 행렬 [t]X의 성분 중 tx, ty, tz를 성분으로 하는 3x1 형태의 행렬 (tx, ty, tz)T에 환산계수를 곱하여 산출할 수 있다.
다음으로, 상기 캘리브레이션된 위치변환행렬 [T]를 이용하여 상기 마커부(1110)의 위치를 획득하는 과정(S2300)을 도면을 참조로 보다 상세하게 설명한다.
도 18은 도 15의 문제해결 과정 중 마커부의 위치를 획득하는 과정의 일 예를 나타낸 흐름도이다.
도 18을 참조하면, 먼저 상기 제1 결상유닛(1120a)에 대한 제1 위치변환식으로부터 제1 방정식을 획득한다(S2310).
구체적으로, 상기 제1 위치변환식인 수학식 23을 수학식 29와 같이 정의한다.
(수학식 29)
Figure PCTKR2015005444-appb-I000036
수학식 29의 양변에 자기자신을 외적하여 0으로 두고, 이를 정리하면 상기 제1 방정식에 대응하는 수학식 30을 얻을 수 있다.
(수학식 30)
Figure PCTKR2015005444-appb-I000037
이어서, 상기 제2 결상유닛(1120b)에 대한 제2 위치변환식으로부터 제2 방정식을 획득한다(S2320).
구체적으로, 상기 제2 위치변환식인 수학식 24를 수학식 31과 같이 정의한다.
(수학식 31)
Figure PCTKR2015005444-appb-I000038
수학식 31을 상기 제1 방정식을 획득하는 과정(S2310)과 동일한 과정을 적용하면 상기 제2 방정식을 얻을 수 있다.
상기 제1 방정식에 대응하는 수학식 30은 2개의 방정식을 포함하고, 동일한 방식으로 상기 제2 방정식도 2개의 방정식을 포함하므로, 두 개의 결상유닛들에 대응하여 모두 4개의 방정식을 얻을 수 있다.
다음으로, 상기 제1 및 제2 방정식들과 위치변환행렬 [T]로부터 상기 마커부(1110)의 위치를 획득한다(S2330).
구체적으로, 상기 제1 및 제2 방정식들에 캘리브레이션된 상기 위치변환행렬 [T]를 적용하여 상기 마커부(1110)의 상기 제1 렌즈(1114)의 중심의 3차원 좌표를 획득할 수 있다.
도 19는 도 15의 문제해결 과정 중 마커부의 위치를 획득하는 과정의 다른 예를 나타낸 흐름도이다.
도 19를 참조하면, 먼저 상기 제1 결상유닛(1120a)에 대한 제1 패턴좌표 변환식으로부터 제3 방정식을 획득한다(S2350).
구체적으로, 수학식 32와 같이 상기 제1 위치변환식을 변형한 제1 패턴좌표 변환식을 설정하여 정리한다.
(수학식 32)
Figure PCTKR2015005444-appb-I000039
수학식 32를 방정식으로 정리하면 수학식 33을 얻을 수 있다.
(수학식 33)
Figure PCTKR2015005444-appb-I000040
이어서, 상기 제2 결상유닛(1120b)에 대한 제2 패턴좌표 변환식으로부터 제4 방정식을 획득한다(S2360).
본 단계는 대상이 상기 제1 결상유닛(1120a)이 아니라 상기 제2 결상유닛(1120b)이라는 점을 제외하면, 상기 제3 방정식을 획득하는 단계(S2350)와 실질적으로 동일하다.
상기 제3 방정식에 대응하는 수학식 33은 2개의 방정식을 포함하고, 동일한 방식으로 상기 제4 방정식도 2개의 방정식을 포함하므로, 두 개의 결상유닛들에 대응하여 모두 4개의 방정식을 얻을 수 있다.
다음으로, 상기 제3 및 제4 방정식들과 위치변환행렬 [T]로부터 상기 마커부(1110)의 위치를 획득한다(S2370).
구체적으로, 상기 제1 및 제2 방정식들에 캘리브레이션된 상기 위치변환행렬 [T]를 적용하여 상기 마커부(1110)의 상기 제1 렌즈(1114)의 중심의 3차원 좌표를 획득할 수 있다.
이하, 상기 처리부(1130)에서 상기 마커부(1110)의 위치를 산출하는 방법을 도면을 참조로 보다 상세하게 설명한다.
도 20은 본 발명의 일 실시예에 의한 옵티컬 트래킹 시스템의 마커부 위치 산출방법을 나타낸 흐름도이다.
도 20을 참조하면, 먼저 상기 제1 및 제2 결상유닛들(1124a, 1124b)의 촬영에 의해 복수의 좌표값들을 획득한다(S2510).
상기 좌표값들의 획득은 도 17에서 설명된 상기 제1 중심좌표 및 상기 제2 중심좌표를 획득하는 과정(S2210)과 실질적으로 동일하며, 일 예로 적어도 8개의 좌표값들을 획득한다.
이어서, 환산계수를 획득한다(S2520).
상기 환산계수의 획득은 도 17에서 설명된 단계 S2240과 실질적으로 동일하다.
다음으로, 획득된 좌표값들과 환산계수를 이용하여 위치변환행렬을 캘리브레이션한다(S2530).
상기 캘리브레이션은 도 15에서 설명된 단계 S2200과, 도 17에서 구체적으로 설명된 단계 S2250의 과정과 실질적으로 동일하며, 상기 처리부(1130)에서는 캘리브레이션을 위한 최종 방정식만을 이용하여 상기 위치변환행렬을 캘리브레이션할 수 있다.
이어서, 캘리브레이션된 위치변환행렬을 이용하여 마커부(1110)의 위치를 획득한다(S2540).
상기 마커부(1110)의 위치의 획득은 도 15에서 설명된 단계 S2300과, 도 18에서 구체적으로 설명된 단계 S2310 내지 단계 S2330의 과정 또는 도 19에서 구체적으로 설명된 단계 S2350 내지 단계 S2370의 과정과 실질적으로 동일하며, 상기 처리부(1130)에서는 상기 과정 중 단계 S2330 또는 단계 S2370과 같이 상기 위치획득을 위한 최종 방정식만을 이용할 수 있다.
상기와 같은 옵티컬 트래킹 시스템에 따르면, 특정정보의 패턴을 포함하여 소형화된 마커부를 스테레오 방식을 적용하여 모델링함으로써 상기 마커부의 위치를 보다 정확히 결정할 수 있으므로, 보다 단순하고 용이한 방법으로 정확한 마커부의 트래킹이 가능할 수 있다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있을 것이다.　 따라서, 전술한 설명 및 아래의 도면은 본 발명의 기술사상을 한정하는 것이 아닌 본 발명을 예시하는 것으로 해석되어야 한다.
(부호의 설명)
100, 1000 : 옵티컬 트래킹 시스템 110, 1110 : 마커부
112, 1112 : 패턴 114, 1114 : 제1 렌즈
120, 1120 : 결상부 122, 1122 : 제2 렌즈
124, 1124 : 결상유닛 130, 1130 : 처리부

Claims (13)

  1. 특정정보를 갖는 패턴(pattern) 및 상기 패턴으로부터 이격되어 배치되며 제1 초점거리를 갖는 제1 렌즈를 포함하는 마커(marker)부;
    제2 초점거리를 갖는 제2 렌즈 및 상기 제2 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제2 렌즈에 의하여 상기 패턴의 제1 이미지가 결상되는 제1 결상유닛을 포함하는 제1 결상부;
    제3 초점거리를 갖는 제3 렌즈 및 상기 제3 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제3 렌즈에 의하여 상기 패턴의 제2 이미지가 결상되는 제2 결상유닛을 포함하는 제2 결상부; 및
    상기 패턴의 패턴면 상의 좌표와 상기 패턴의 제1 이미지 상의 제1 픽셀좌표 사이의 제1 좌표변환식 및 상기 제1 픽셀좌표와 상기 패턴의 제2 이미지 상의 제2 픽셀좌표 사이의 회전변환을 포함하는 상기 패턴의 패턴면 상의 좌표와 상기 패턴의 제2 이미지 상의 제2 픽셀좌표 사이의 제2 좌표변환식으로부터 상기 마커부의 자세를 결정하여, 상기 마커부를 트래킹하는 처리부를 포함하는 옵티컬 트래킹 시스템.
  2. 제1항에 있어서,
    상기 처리부는, 상기 패턴의 패턴면 상의 좌표에 해당하는 제1 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제2 좌표로 변환하는 제1 변환행렬, 상기 제2 좌표의 상기 제2 렌즈에 대한 3차원적 좌표에 해당하는 제3 좌표를 상기 제1 결상부의 상기 패턴의 제1 이미지 상의 제1 픽셀좌표에 해당하는 제4 좌표로 변환하는 제2 변환행렬, 상기 패턴의 패턴면 상의 좌표에 해당하는 제5 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제6 좌표로 변환하는 상기 제1 변환행렬과 동일한 제3 변환행렬, 및 상기 제6 좌표의 상기 제3 렌즈에 대한 3차원적 좌표에 해당하는 제7 좌표를 상기 제2 결상부의 상기 패턴의 제2 이미지 상의 제2 픽셀좌표에 해당하는 제8 좌표로 변환하는 제4 변환행렬을 획득하고,
    상기 제1 좌표변환식은 상기 제1 변환행렬 및 상기 제2 변환행렬을 포함하여 상기 제1 좌표를 상기 제4 좌표로 변환하도록 정의되고, 상기 제2 좌표변환식은 상기 제3 변환행렬 및 상기 제4 변환행렬을 포함하여 상기 제5 좌표를 상기 제8 좌표로 변환하도록 정의되며,
    상기 처리부는 상기 제1 및 제2 좌표변환식들로부터 상기 제1 결상부에 대한 상기 마커부의 자세를 정의하는 제1 자세정의행렬을 획득하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  3. 제2항에 있어서,
    상기 제1 좌표변환식은 하기 수학식에 의하여 정의되고,
    Figure PCTKR2015005444-appb-I000041
    ((lu,lv)는 상기 제1 좌표, (lu',lv')는 상기 제4 좌표, [C]는 상기 제1 변환행렬, [Al]은 상기 제2 변환행렬, [RL]은 상기 제1 자세정의행렬, s는 비례상수)
    상기 제2 좌표변환식은 하기 수학식에 의하여 정의되는 것을 특징으로 하는 옵티컬 트래킹 시스템.
    Figure PCTKR2015005444-appb-I000042
    ((ru,rv)는 상기 제5 좌표, (ru',rv')는 상기 제8 좌표, [C]는 상기 제1 변환행렬과 동일한 상기 제3 변환행렬, [Ar]은 상기 제4 변환행렬, [RR]은 상기 제2 결상부에 대한 상기 마커부의 자세를 정의하는 제2 자세정의행렬, [RLR]은 상기 제2 결상부에 대한 상기 제1 결상부의 자세를 정의하는 제3 자세정의행렬, s는 비례상수)
  4. 제3항에 있어서, 상기 제1 변환행렬 및 상기 제3 변환행렬은 하기 수학식에 의하여 정의되고,
    Figure PCTKR2015005444-appb-I000043
    ((uc,vc)는 상기 패턴의 중심의 좌표, fb는 상기 제1 초점거리)
    상기 제2 및 제4 변환행렬은 하기 수학식에 의하여 정의되는 것을 특징으로 하는 옵티컬 트래킹 시스템.
    Figure PCTKR2015005444-appb-I000044
    ((u'c,v'c)는 상기 패턴의 중심에 대응하는 상기 패턴의 이미지 상의 픽셀좌표, fc는 상기 제2 변환행렬의 경우 상기 제2 초점거리이고 상기 제4 변환행렬의 경우 상기 제3 초점거리, pw는 상기 제2 변환행렬의 경우 상기 패턴의 제1 이미지의 픽셀의 폭이고 상기 제4 변환행렬의 경우 상기 패턴의 제2 이미지의 픽셀의 폭, ph는 상기 제2 변환행렬의 경우 상기 패턴의 제1 이미지의 픽셀의 높이이고 상기 제4 변환행렬의 경우 상기 패턴의 제2 이미지의 픽셀의 높이)
  5. 제4항에 있어서, 상기 처리부는,
    적어도 3개 이상의 촬영 이미지로부터 uc, vc 및 fb의 캘리브레이션 값을 획득함으로써 상기 제1 변환행렬 및 상기 제3 변환행렬을 획득하고,
    상기 획득된 데이터를 이용하여 fc, pw, ph의 캘리브레이션 값을 획득함으로써 상기 제2 변환행렬 및 상기 제4 변환행렬을 획득하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  6. 제3항에 있어서, 상기 처리부는,
    상기 제1 좌표와 상기 제4 좌표에 대한 복수의 데이터 및 상기 제5 좌표와 상기 제8 좌표에 대한 복수의 데이터를 획득하고, 상기 획득된 복수의 데이터가 적용된 하기 수학식에 의하여 상기 제1 자세정의행렬을 획득하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
    Figure PCTKR2015005444-appb-I000045
    ((lu1,lv1), …, (lun,lvn)은 상기 제1 좌표의 데이터, (lu'1,lv'1), …, (lu',lv')은 상기 제4 좌표의 데이터, (lu'c,lv'c)는 상기 패턴의 중심에 대응하는 상기 패턴의 제1 이미지 상의 픽셀좌표, ((ru1,rv1), …, (run,rvn)은 상기 제5 좌표의 데이터, (ru'1,rv'1), …, (ru'n,rv'n)은 상기 제8 좌표의 데이터, (ru'c,rv'c)는 상기 패턴의 중심에 대응하는 상기 패턴의 제2 이미지 상의 픽셀좌표)
  7. 제3항에 있어서, 상기 처리부는,
    상기 제2 좌표와 상기 제4 좌표에 관한 제3 좌표변환식 및 상기 제6 좌표와 상기 제8 좌표에 관한 제4 좌표변환식으로부터 상기 마커부의 위치를 결정하고, 결정된 상기 마커부의 위치를 이용하여 상기 마커부를 트래킹하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  8. 제7항에 있어서,
    상기 제3 좌표변환식은 하기 수학식에 의하여 정의되고,
    Figure PCTKR2015005444-appb-I000046
    ((u'1,v'1)은 상기 제4 좌표, (X,Y,Z)는 상기 제2 좌표, [AL]은 상기 제2 변환행렬, [I]는 3x3형태의 항등행렬(identity matrix), [0]은 3x1 형태의 영행렬, s는 비례상수)
    상기 제4 좌표변환식은 하기 수학식에 의하여 정의되는 것을 특징으로 하는 옵티컬 트래킹 시스템.
    Figure PCTKR2015005444-appb-I000047
    ((u'2,v'2)은 상기 제8 좌표, (X,Y,Z)는 상기 제6 좌표, [AR]은 상기 제4 변환행렬, [RLR]은 3x3형태의 상기 제3 자세정의행렬, [T]는 3x1 형태의 위치변환행렬, s는 비례상수)
  9. 제8항에 있어서, 상기 처리부는,
    상기 제1 및 제2 결상유닛에서 각각 촬영된 상기 패턴의 시야범위의 중심인 제1 중심좌표 및 제2 중심좌표를 획득하고,
    상기 획득된 중심좌표들을 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 위치변환행렬을 캘리브레이션하며,
    상기 캘리브레이션된 위치변환행렬을 이용하여 상기 마커부의 위치를 획득하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  10. 제9항에 있어서, 상기 처리부는,
    상기 마커부를 적어도 2개 이상의 위치에서 측정하여 환산계수를 획득하고,
    상기 획득된 환산계수를 상기 획득된 중심좌표들과 함께 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 상기 위치변환행렬을 캘리브레이션하는 것을 특징으로 하는 옵티컬 트래킹 시스템.
  11. 특정정보를 갖는 패턴(pattern) 및 상기 패턴으로부터 이격되어 배치되며 제1 초점거리를 갖는 제1 렌즈를 포함하는 마커(marker)부, 제2 초점거리를 갖는 제2 렌즈 및 상기 제2 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제2 렌즈에 의하여 상기 패턴의 제1 이미지가 결상되는 제1 결상유닛을 포함하는 제1 결상부, 및 제3 초점거리를 갖는 제3 렌즈 및 상기 제3 렌즈로부터 이격되어 배치되며 상기 제1 렌즈와 상기 제3 렌즈에 의하여 상기 패턴의 제2 이미지가 결상되는 제2 결상유닛을 포함하여, 상기 마커부를 트래킹하도록 상기 마커부의 자세를 산출하기 위한 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법에 있어서,
    상기 패턴의 패턴면 상의 좌표에 해당하는 제1 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제2 좌표로 변환하는 제1 변환행렬, 상기 제2 좌표의 상기 제2 렌즈에 대한 3차원적 좌표에 해당하는 제3 좌표를 상기 제1 결상부의 상기 패턴의 제1 이미지 상의 제1 픽셀좌표에 해당하는 제4 좌표로 변환하는 제2 변환행렬, 상기 패턴의 상기 패턴면 상의 좌표에 해당하는 제5 좌표를 상기 마커부의 상기 제1 렌즈에 대한 3차원적 좌표에 해당하는 제6 좌표로 변환하는 상기 제1 변환행렬과 동일한 제3 변환행렬, 및 상기 제6 좌표의 상기 제3 렌즈에 대한 3차원적 좌표에 해당하는 제7 좌표를 상기 제2 결상부의 상기 패턴의 제2 이미지 상의 제2 픽셀좌표에 해당하는 제8 좌표로 변환하는 제4 변환행렬을 획득하는 단계; 및
    상기 제1 변환행렬 및 상기 제2 변환행렬을 포함하며, 상기 제1 좌표를 상기 제4 좌표로 변환하는 제1 좌표변환식 및 상기 제3 변환행렬 및 상기 제4 변환행렬을 포함하며, 상기 제5 좌표를 상기 제8 좌표로 변환하는 제2 좌표변환식으로부터 상기 마커부의 자세를 정의하는 자세정의행렬을 획득하는 단계를 포함하는 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법.
  12. 제11항에 있어서,
    상기 제1 및 제2 결상유닛에서 각각 촬영된 상기 패턴의 시야범위의 중심인 제1 중심좌표 및 제2 중심좌표를 획득하는 단계;
    상기 획득된 중심좌표들을 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 위치변환행렬을 캘리브레이션하는 단계; 및
    상기 캘리브레이션된 위치변환행렬을 이용하여 상기 마커부의 위치를 획득하는 단계를 더 포함하는 것을 특징으로 하는 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법.
  13. 제12항에 있어서,
    상기 위치변환행렬을 캘리브레이션하는 단계 이전에,
    상기 마커부를 적어도 2개 이상의 위치에서 측정하여 환산계수를 획득하는 단계를 더 포함하고,
    위치변환행렬을 캘리브레이션하는 단계에서, 상기 획득된 환산계수를 상기 획득된 중심좌표들과 함께 이용하여 상기 제1 결상부 및 상기 제2 결상부 사이의 상기 위치변환행렬을 캘리브레이션하는 것을 특징으로 하는 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법.
PCT/KR2015/005444 2014-05-29 2015-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법 WO2015183050A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US15/314,672 US10109066B2 (en) 2014-05-29 2015-05-29 Optical tracking system, and method for calculating posture and location of marker part in optical tracking system
CN202011125744.8A CN113240732B (zh) 2014-05-29 2015-05-29 光学跟踪***及光学跟踪***的标记部姿势及位置算出方法
EP19182768.2A EP3576051B1 (en) 2014-05-29 2015-05-29 Optical tracking system, and method for calculating posture and location of marker part in optical tracking system
JP2016569681A JP6357251B2 (ja) 2014-05-29 2015-05-29 オプティカルトラッキングシステム及びオプティカルトラッキングシステムのマーカー部の姿勢並びに位置算出方法
EP15800560.3A EP3151196B1 (en) 2014-05-29 2015-05-29 Optical tracking system, and method for calculating posture and location of marker part in optical tracking system
CN201580027892.7A CN106415663B (zh) 2014-05-29 2015-05-29 光学跟踪***及光学跟踪***的标记部姿势及位置算出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140065178A KR101613418B1 (ko) 2014-05-29 2014-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
KR10-2014-0065178 2014-05-29

Publications (1)

Publication Number Publication Date
WO2015183050A1 true WO2015183050A1 (ko) 2015-12-03

Family

ID=54699308

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/005444 WO2015183050A1 (ko) 2014-05-29 2015-05-29 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법

Country Status (6)

Country Link
US (1) US10109066B2 (ko)
EP (2) EP3576051B1 (ko)
JP (1) JP6357251B2 (ko)
KR (1) KR101613418B1 (ko)
CN (2) CN113240732B (ko)
WO (1) WO2015183050A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018025531A (ja) * 2016-08-09 2018-02-15 コー・ヤング・テクノロジー・インコーポレーテッド オプティカルトラッキング用のマーカー、オプティカルトラッキングシステム及びオプティカルトラッキング方法
US11033337B2 (en) * 2017-12-20 2021-06-15 Koh Young Technology Inc. Optical tracking system and optical tracking method

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194968B (zh) * 2017-05-18 2024-01-16 腾讯科技（上海）有限公司 图像的识别跟踪方法、装置、智能终端和可读存储介质
KR102166372B1 (ko) * 2017-12-20 2020-10-15 주식회사 고영테크놀러지 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
US11673567B2 (en) 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
CN114486292B (zh) * 2022-04-18 2022-07-12 中国汽车技术研究中心有限公司 碰撞测试中假人运动响应的测量方法、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070122271A (ko) * 2006-06-26 2007-12-31 한국산업기술대학교산학협력단 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
US20080125896A1 (en) * 2006-07-24 2008-05-29 The Boeing Company Closed-Loop Feedback Control Using Motion Capture Systems
US20110017826A1 (en) * 2009-07-23 2011-01-27 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
JP2012069126A (ja) * 2011-10-13 2012-04-05 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
KR101262181B1 (ko) * 2010-05-03 2013-05-14 한국과학기술원 수족관 내의 로봇 물고기 위치 탐지 방법 및 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3144400B2 (ja) * 1998-11-13 2001-03-12 日本電気株式会社 ジェスチャ認識装置及び方法
KR100374346B1 (ko) * 2000-12-06 2003-03-04 한국과학기술원 영상을 이용한 머리의 위치 및 방향을 추적하는 방법
EP1349114A3 (en) * 2002-03-19 2011-06-15 Canon Kabushiki Kaisha Sensor calibration apparatus, sensor calibration method, program, storage medium, information processing method, and information processing apparatus
US7632004B2 (en) * 2004-07-06 2009-12-15 Tseng-Lu Chien LED night light with more than 1 optics means
CN101308012B (zh) * 2008-05-29 2010-06-23 上海交通大学 双单目白光三维测量***标定方法
US7671318B1 (en) * 2008-11-14 2010-03-02 Lockheed Martin Corporation Sensor apparatus and method for low-frequency scene suppression and fixed pattern noise suppression
CN101766476B (zh) * 2009-07-08 2011-05-11 中国科学院自动化研究所 自发荧光分子影像***
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8848977B2 (en) * 2010-01-04 2014-09-30 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
US9832441B2 (en) * 2010-07-13 2017-11-28 Sony Interactive Entertainment Inc. Supplemental content on a mobile device
JP4869430B1 (ja) 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8441626B2 (en) * 2010-12-17 2013-05-14 Teledyne Scientific & Imaging, Llc Optical angle-of-arrival measurement system and method for multiple light sources
CN103649998B (zh) * 2010-12-21 2016-08-31 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
WO2012092058A2 (en) * 2010-12-29 2012-07-05 Orthodyne Electroncis Corporation Methods and systems for aligning tooling elements of ultrasonic bonding systems
US9235894B2 (en) * 2011-01-27 2016-01-12 Metaio Gmbh Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
CN102890785A (zh) * 2011-07-19 2013-01-23 上海上大海润信息***有限公司 一种服务机器人目标识别与定位的方法
US20130063558A1 (en) * 2011-09-14 2013-03-14 Motion Analysis Corporation Systems and Methods for Incorporating Two Dimensional Images Captured by a Moving Studio Camera with Actively Controlled Optics into a Virtual Three Dimensional Coordinate System
CN103236054B (zh) * 2013-04-10 2015-07-15 博奥生物集团有限公司 一种拍照装置的定位方法及定位***
CN103315739B (zh) * 2013-05-22 2015-08-19 华东师范大学 基于动态跟踪技术免除运动伪影的磁共振影像方法和***
US9478030B1 (en) * 2014-03-19 2016-10-25 Amazon Technologies, Inc. Automatic visual fact extraction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070122271A (ko) * 2006-06-26 2007-12-31 한국산업기술대학교산학협력단 로봇 자세 제어 시스템 및 로봇 자세 제어 방법
US20080125896A1 (en) * 2006-07-24 2008-05-29 The Boeing Company Closed-Loop Feedback Control Using Motion Capture Systems
US20110017826A1 (en) * 2009-07-23 2011-01-27 Massachusetts Institute Of Technology Methods and apparatus for bokeh codes
KR101262181B1 (ko) * 2010-05-03 2013-05-14 한국과학기술원 수족관 내의 로봇 물고기 위치 탐지 방법 및 장치
JP2012069126A (ja) * 2011-10-13 2012-04-05 Nintendo Co Ltd 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018025531A (ja) * 2016-08-09 2018-02-15 コー・ヤング・テクノロジー・インコーポレーテッド オプティカルトラッキング用のマーカー、オプティカルトラッキングシステム及びオプティカルトラッキング方法
US10108833B2 (en) 2016-08-09 2018-10-23 Koh Young Technology Inc. Marker for optical tracking, optical tracking system, and optical tracking method
US11033337B2 (en) * 2017-12-20 2021-06-15 Koh Young Technology Inc. Optical tracking system and optical tracking method

Also Published As

Publication number Publication date
CN106415663A (zh) 2017-02-15
US10109066B2 (en) 2018-10-23
EP3151196A4 (en) 2017-11-22
EP3151196A1 (en) 2017-04-05
CN113240732A (zh) 2021-08-10
EP3151196B1 (en) 2019-08-14
KR101613418B1 (ko) 2016-04-21
JP2017525937A (ja) 2017-09-07
EP3576051B1 (en) 2021-03-24
US20170200278A1 (en) 2017-07-13
CN106415663B (zh) 2020-11-10
JP6357251B2 (ja) 2018-07-11
EP3576051A1 (en) 2019-12-04
CN113240732B (zh) 2024-04-19
KR20150138501A (ko) 2015-12-10

Similar Documents

Publication Publication Date Title
WO2015183050A1 (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 시스템의 마커부 자세 및 위치 산출방법
WO2017191927A1 (en) Dual camera module and method for controlling the same
WO2017155341A1 (en) Apparatus and method for controlling auto focus of camera module
WO2020145718A1 (ko) 디스플레이용 기판
WO2021107524A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 모듈
WO2020060235A1 (ko) 카메라 장치
WO2020213862A1 (ko) 카메라 모듈 및 광학 기기
WO2014178610A1 (ko) 옵티컬 트랙킹 시스템 및 이를 이용한 트랙킹 방법
WO2020050532A1 (ko) 광 스캐닝 홀로그래피 시스템
WO2019112396A1 (ko) 휴대폰 케이스
WO2018182310A1 (ko) 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
WO2022035192A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2023239159A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2023018076A1 (ko) 렌즈 구동장치 및 이를 포함하는 카메라 장치
WO2020059977A1 (ko) 연속적으로 스티어링 가능한 2차 디퍼런셜 마이크로폰 어레이 및 그것을 구성하는 방법
WO2023132413A1 (ko) 제조 시의 위치 정밀도와 부착 시 편의성이 향상된 3d 보호필름의 제조 시스템 및 보호필름 부착방법
WO2022235109A1 (ko) 카메라 엑추에이터 및 이를 포함하는 카메라 장치
WO2023214748A1 (ko) 이미지에서의 측색 방법, 장치, 및 컴퓨터-판독가능 매체
WO2022173223A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2018164538A1 (ko) 스캐너
WO2021020603A1 (ko) 복합 패턴을 이용한 초고속 편향 측정법을 이용한 자유곡면의 3차원 형상측정시스템 및 측정방법
WO2022255780A1 (ko) 광학계
WO2023101276A1 (ko) 영상 처리 장치 및 그 동작 방법
WO2023027550A1 (ko) 광학 모듈
WO2023113446A1 (ko) 광학계 및 이를 포함하는 카메라 모듈

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15800560

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016569681

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15314672

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2015800560

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015800560

Country of ref document: EP