KR101405317B1 - 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법 - Google Patents

카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법 Download PDF

Info

Publication number
KR101405317B1
KR101405317B1 KR1020130004311A KR20130004311A KR101405317B1 KR 101405317 B1 KR101405317 B1 KR 101405317B1 KR 1020130004311 A KR1020130004311 A KR 1020130004311A KR 20130004311 A KR20130004311 A KR 20130004311A KR 101405317 B1 KR101405317 B1 KR 101405317B1
Authority
KR
South Korea
Prior art keywords
sensor
laser distance
distance sensor
laser
oblique
Prior art date
Application number
KR1020130004311A
Other languages
English (en)
Inventor
김창환
황중원
김남훈
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020130004311A priority Critical patent/KR101405317B1/ko
Application granted granted Critical
Publication of KR101405317B1 publication Critical patent/KR101405317B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

카메라 센서와 레이저 거리 센서의 보정을 위한 개선된 센서 보정 보조장치로서, 뿔 형태의 몸체를 구비하고, 상기 몸체는, 상기 몸체를 상기 몸체의 높이방향을 따라 절반으로 나누는 가상의 사면을 기준으로 상기 사면의 전방에 위치하는 전방 빗면부와 상기 사면의 후방에 위치하는 후방 빗면부를 포함하며, 상기 전방 빗면부에는 상기 전방 빗면부를 관통하는 절개부가 형성되어 상기 몸체를 전방에서 보았을 때 상기 절개부를 통해 상기 후방 빗면부의 내면의 일부가 노출되고, 상기 전방 빗면부의 외면 또는 상기 후방 빗면부의 내면에는 격자 무늬가 새겨진 격자 무늬부가 형성되는 센서 보정 보조장치가 제공된다. 또한, 개선된 형태의 센서 보정 보조장치를 이용한 센서 보정 시스템 및 센서 보정 방법이 제공된다.

Description

카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법{Assist Apparatus for calibarating Camera Sensor and Laser Sensor, and Sensor Calibration System and Method using the same}
본 발명은 카메라 센서와 레이저 거리 센서의 보정에 관한 것으로서, 더욱 상세하게는 카메라 센서와 레이저 거리 센서의 정확한 위치(위치 및 방향)를 산출하는데 이용되는 보조장치와 이를 이용한 센서 보정 시스템 및 센서 보정 방법에 관한 것이다.
도 1에 도시된 바와 같이, 레이저 거리 센서(11)와 카메라 센서(12)가 동시에 탑재된 시스템(10)이 다양한 분야에서 이용되고 있다.
레이저 거리 센서(11)는 레이저를 물체에 주사하여 반사되어 돌아오는 시간을 통해 물체까지의 거리를 측정하는 센서이고, 카메라 센서(12)는 물체를 촬영하여 물체의 이미지 정보를 수집하는 센서이다.
레이저 거리 센서(11)와 카메라 센서(12)를 통해 정확한 정보를 수집하기 위해서는 상기 센서들의 정확한 위치를 찾아내는 보정(Calibration) 작업이 먼저 이루어져야 한다.
레이저 거리 센서(11)의 보정은 센서가 위치한 공간에서의 센서의 정확한 위치 및 방향을 찾아내는 작업이다. 레이저 거리 센서를 통해 수집되는 거리 정보를 통해 센싱 대상이 되는 물체의 위치를 정보화하기 위해서는 레이저 거리 센서가 위치한 공간의 임의의 절대 좌표계 상에서 레이저 거리 센서의 위치 및 방향을 먼저 확정할 필요가 있다.
여기서, 레이저 거리 센서(11)의 위치는 특정 좌표계에서 x, y, z의 좌표 정보를 의미하고, 레이저 거리 센서(11)의 방향은 롤(Roll), 피치(Pitch), 요(Yaw)의 정보를 의미한다.
카메라 센서(12)의 보정은 카메라 센서의 위치와 카메라 내부 변수(카메라 초점거리, 왜곡 변수)를 찾아내는 작업이다.
특허문헌 1은 카메라 센서와 레이저 거리 센서가 고정된 상태에서, 레이저 거리 센서가 보정용 보조장치에 레이저를 주사하여 얻어지는 정보를 통해 센서를 보정하는 방법을 제안하고 있다.
하지만, 특허문헌 1에 따르면 레이저 거리 센서가 바닥에 수평한 경우를 가정하고 있어, 오로지 레이저 거리 센서의 피치 정보만을 획득하게 된다.
즉, 특허문헌 1에 따르면 레이저 거리 센서가 바닥에 실제로 수평한지를 측정하고 못하며(즉, 레이저 거리 센서의 롤을 고려하고 있지 못하며), 레이저 거리 센서의 요를 전혀 고려하고 있지 않기 때문에 레이저 거리 센서를 정확히 보정하기 어렵다.
또한, 특허문헌 1은 카메라 센서의 자체의 위치 보정에 대해서는 전혀 고려하고 있지 않다.
대한민국 특허등록공보 제10-1033167호
본 발명은 상술한 종래 기술의 문제점을 해결하기 위한 것으로, 레이저 거리 센서의 위치 및 방향을 정확히 추출하고, 카메라 센서의 위치 정보를 정확하게 추출하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 따르면 개선된 형태의 센서 보정 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법이 제공된다.
본 발명의 일 측면에 따르면, 카메라 센서와 레이저 거리 센서의 보정을 위한 센서 보정 보조장치로서, 뿔 형태의 몸체를 구비하고, 상기 몸체는, 상기 몸체를 상기 몸체의 높이방향을 따라 절반으로 나누는 가상의 사면을 기준으로 상기 사면의 전방에 위치하는 전방 빗면부와 상기 사면의 후방에 위치하는 후방 빗면부를 포함하며, 상기 전방 빗면부에는 상기 전방 빗면부를 관통하는 절개부가 형성되어 상기 몸체를 전방에서 보았을 때 상기 절개부를 통해 상기 후방 빗면부의 내면의 일부가 노출되고, 상기 전방 빗면부의 외면 또는 상기 후방 빗면부의 내면에는 격자 무늬가 새겨진 격자 무늬부가 형성되는 센서 보정 보조장치가 제공된다.
일 실시예에 따르면, 상기 몸체는 다각형 뿔 형태를 구비하고, 상기 전방 빗면부는 복수의 전방 빗면을 포함하고, 상기 후방 빗면부는 복수의 후방 빗면을 포함하며, 상기 사면은 상기 전방 빗면과 상기 후방 빗면이 연결되는 두 모서리를 지난다.
또한, 상기 몸체는 정점과 밑면의 중심을 잇는 선분이 밑면과 수직한 사각뿔 형태를 가지고, 상기 사각뿔의 사각형 밑면의 두 개의 대각 선분은 서로 직교하며, 상기 두 개의 절개부는, 상기 전방 빗면부를 형성하는 두 개의 전방 빗면이 형성하는 모서리를 중심으로 대칭으로 배치될 수도 있다.
다른 실시예에 따르면, 센서 보정 보조장치는 몸체에 결합되는 보조면체를 더 포함하고, 상기 보조면체는 상기 후방 빗면의 내면과 하나의 평면을 형성하는 보조면을 구비한다.
이때, 상기 보조면체는, 상기 후방 빗면과 상기 전방 빗면이 만나는 모서리를 기준으로 상기 몸체에 대해 접철 가능하도록 형성될 수도 있다.
상기 격자 무늬부에는 단색으로 형성된 단색 무늬부가 구비될 수도 있다.
또한, 상기 격자 무늬부는 상기 전방 빗면부의 외면 빗면부에 형성될 수도 있다.
본 발명의 다른 측면에 따르면, 카메라 센서와 레이저 거리 센서를 보정하기 위한 센서 보정 시스템으로서, 물체의 이미지 정보를 촬영하는 카메라 센서와, 레이저 광을 주사하여 물체까지의 거리 정보를 감지하는 레이저 거리 센서와, 상기 센서 보정 보조장치 및 상기 카메라 센서와 상기 레이저 거리 센서에 의해 수집되는 정보를 분석하는 정보 처리장치를 포함하고, 상기 레이저 거리 센서는 상기 절개부를 지나면서 상기 몸체를 가로지르는 레이저 광의 주사면이 형성되도록 상기 몸체의 전방에서 레이저 광을 주사하고, 상기 정보 처리장치는, 상기 전방 빗면부 및 상기 절개부를 통해 노출된 후방 빗면부의 내면에서 반사되는 레이저 광을 분석하여, 상기 주사면이 상기 몸체와 교차하여 형성하는 교차면의 형상을 산출하고, 상기 교차면과 상기 몸체의 기하학적 관계를 통해 상기 레이저 거리 센서의 위치 및 방향을 산출하는 센서 보정 시스템이 제공된다.
또한, 상기 정보 처리장치는, 상기 카메라 센서로 상기 격자 무늬부를 촬영하여 획득된 영상 정보를 이용해 상기 3차원 영상을 2차원 영상으로 투영하기 위한 카메라 변수를 산출하여 상기 카메라 센서의 위치를 보정할 수도 있다.
일 실시예에 따르면, 상기 격자 무늬부에는 상기 몸체의 높이 방향과 수평하게 연장되며 단색으로 형성된 단색 무늬부가 구비되고, 상기 레이저 거리 센서는 상기 주사면이 상기 단색 무늬부를 지나도록 레이저 광을 주사한다.
본 발명의 또 다른 측면에 따르면, 상기 센서 보정 보조장치를 이용하여 카메라 센서와 레이저 거리 센서를 보정하는 센서 보정 방법으로서, 상기 몸체의 전방 빗면부의 중심이 상기 레이저 거리 센서와 정면으로 마주하도록 상기 센서 보정 보조장치의 몸체와 상기 레이저 거리 센서를 배치하고, 상기 절개부를 지나면서 상기 몸체를 가로지르는 레이저 광의 주사면이 형성되도록 상기 몸체의 전방에서 레이저 광을 주사하며, 상기 전방 빗면부 및 상기 절개부를 통해 노출된 후방 빗면부의 내면에 의해 반사되는 레이저 광을 분석하여 상기 레이저의 주사면이 상기 몸체와 교차하여 형성하는 교차면의 형상을 산출하고, 상기 교차면과 상기 몸체의 기하학적 관계를 통해 임의의 절대 좌표계 상에서의 상기 센서 보정 보조장치에 대한 상기 레이저 거리 센서의 위치 및 방향을 산출하는 센서 보정 방법이 제공된다.
또한, 상기 카메라 센서로 상기 격자 무늬부를 촬영하여 획득된 영상 정보를 이용해 상기 3차원 영상을 2차원 영상으로 투영하기 위한 변수를 산출하고, 상기 변수를 이용해 상기 임의의 절대 좌표계 상에서의 상기 카메라의 위치를 산출할 수도 있다.
일 실시예에 따르면, 상기 센서 보정 보조장치는 정점과 밑면의 중심을 잇는 선분이 지면과 수직한 사각뿔 형태의 몸체를 구비하고, 상기 사각뿔의 사각형 밑면의 두 개의 대각 선분은 서로 직교하며, 상기 전방 빗면부는 두 개의 전방 빗면을 포함하고, 상기 후방 빗면부는 두 개의 후방 빗면을 포함하고, 상기 사면은 상기 전방 빗면과 상기 후방 빗면이 연결되는 두 모서리를 지나며, 상기 레이저 거리 센서의 정면 방향이 상기 두 개의 전방 빗면이 만나는 모서리와 두 개의 후방 빗면이 만나는 모서리를 모두 통과하도록 상기 보정 보조장치와 상기 레이저 거리 센서를 배치할 수도 있다.
도 1은 레이저 거리 센서와 카메라 센서가 동시에 탑재된 로봇을 도시한 것이다.
도 2는 본 발명의 제1실시예에 따른 센서 보정 보조장치의 사시도이다.
도 3은 도 2의 센서 보정장치의 평면도이다.
도 4는 도 2의 센서 보정장치의 측면도이다.
도 5는 도 2의 센서 보정장치의 정면도이다.
도 6 및 도 7은 레이저 거리 센서를 이용해 도 2의 센서 보정 보조장치에 레이저 광을 조사하는 모습을 도시한 것이다.
도 8은 레이저 광의 주사면이 도 2의 센서 보정 보조장치와 교차하여 형성되는 교차면의 추출 원리를 설명하기 위한 도면이다.
도 9는 레이저 거리 센서의 위치 및 방향 확정을 위해 레이저 거리 센서와 센서 보정 보조장치가 정렬된 모습을 도시한 것이다.
도 10은 도 9와 같이 레이저 거리 센서와 센서 보정 보조장치가 정렬된 상태에서 레이저 거리 센서의 롤과 피치에 따라 변화하는 교차면의 형상을 도시한 것이다.
도 11은 레이저 거리 센서와 센서 보정 보조장치를 측면에서 도시한 것이다.
도 12는 레이저 거리 센서와 센서 보정 보조장치를 정면에서 도시한 것이다.
도 13은 도 11 및 도 12와 같이 배치된 레이저 거리 센서와 센서 보정 보조장치에 의한 교차면을 도시한 것이다.
도 14는 본 발명의 제2실시예에 따른 센서 보정 보조장치의 사시도이다.
도 15는 레이저 광의 주사면이 도 2의 센서 보정 보조장치와 교차하여 형성되는 교차면의 추출 원리를 설명하기 위한 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 하나의 실시예로서 설명되는 것이며, 이것에 의해 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지 않는다.
<제1실시예>
센서 보정 보조장치
도 2는 본 발명의 제1실시예에 따른 센서 보정 보조장치의 사시도이다.
도 3은 도 2의 센서 보정장치의 평면도이고, 도 4는 도 2의 센서 보정장치의 측면도이며, 도 5는 도 2의 센서 보정장치의 정면도이다. 도 3 내지 도 4에서는 도시의 편의를 위해 격자무늬부(124)가 도시 생략되었다.
도 2 내지 도 5에 도시된 바와 같이, 센서 보정 보조장치(100)는 속이 빈 뿔 형태의 몸체(100)를 구비한다.
본 실시예에 따른 몸체(100)는 밑면의 두 대각 선분이 서로 수직하고, 몸체(100)의 정점(T)과 밑면의 중심(OH)을 잇는 선분이 지면과 수직한 사각뿔 형태를 가진다. 즉, 몸체(100)는 위에서 바라보았을 때 마주보는 대각의 크기가 서로 동일하고(도 3), 측면 및 정면에서 보았을 때 전체적으로 이등변 삼각형의 형상을 가진다(도 4 및 도 5).
몸체(100)는, 몸체(100)를 그 높이방향을 따라 절반으로 나누는 가상의 사면(미도시)을 기준으로 상기 사면의 전방에 위치하는 전방 빗면부와 상기 사면의 후방에 위치하는 후방 빗면부를 포함한다.
상기 사면은 몸체(100)의 정점(T)과 두 모서리(151, 152)를 통과하는 가상의 면이다. 따라서, 본 실시예에 따르면, 상기 전방 빗면부는 두 개의 전방 빗면(110, 120)으로 이루어지고, 상기 후방 빗면부는 두 개의 후방 빗면(130, 140)으로 이루어진다. 네 개의 빗면(110, 120, 130, 140)은 네 모서리(151, 152, 153, 154)를 형성한다.
도 2에 가장 잘 도시된 바와 같이, 두 개의 전방 빗면(110, 120)에는 각각 전방 빗면(110, 120)을 관통하는 절개부(112, 122)가 형성되어 있다. 몸체(100)를 전방에서 보았을 때 절개부(112, 122)를 통해 후방 빗면(130, 140)의 내면(131, 141)의 일부가 외부로 노출된다.
본 실시예에 따르면 두 개의 절개부(112, 122)는 두 개의 전방 빗면(110, 120)이 형성하는 모서리(153)를 중심으로 대칭으로 배치된다.
절개부(112, 122)가 형성되지 않은 전방 빗면부(112, 122)의 외면(111, 121)에는 흑백의 격자 무늬가 바둑판 형태로 새겨진 격자 무늬부(124)가 형성된다.
격자 무늬부(124)에는 몸체(100)의 높이 방향과 수직한 방향으로 연장되며, 흰색으로 형성된 단색 무늬부(123)가 구비된다.
후술하는 바와 같이, 격자 무늬부(124)는 카메라 센서(12)의 보정을 위해 이용되는 부분이다.
또한, 후술하는 바와 같이, 레이저 거리 센서(11)의 위치 및 방향을 추출하기 위해 레이저 거리 센서(11)를 이용해 몸체(100)에 레이저를 주사하게 되는데, 격자 무늬부(124)의 흑백의 격자 무늬에 따라 레이저의 율상이 변화하는 현상이 발생할 수 있다. 따라서, 레이저 거리 센서(11)가 단색 무늬부(123)를 지나는 경로로 레이저를 주사하도록 하여 보정의 정확도를 높일 수 있다.
단색 무늬부(123)는 별도의 부재를 이용해 격자 무늬부(124)에 탈착 가능하며, 격자 무늬부(124)에 대해 상하로 위치 이동 가능하도록 형성될 수도 있다.
센서 보정 시스템 및 보정 방법
도 6 내지 도 13은 본 발명의 제1실시예에 따른 센서 보정 보조장치를 이용한 센서 보정 시스템 및 센서 보정 방법을 설명하기 위한 도면이다.
본 실시예에 따른 센서 보정 시스템은 카메라 센서(12)와 레이저 거리 센서(11)를 보정하기 위한 센서 보정 시스템으로서, 물체의 이미지 정보를 촬영하는 카메라 센서(12)와 레이저를 주사하여 상기 물체까지의 거리 정보를 감지하는 레이저 거리 센서(11), 본 실시에에 따른 센서 보정 보조장치 및 카메라 센서(12)와 레이저 거리 센서(11)에 의해 수집되는 정보를 처리하는 정보 처리장치(미도시)를 포함하여 구성된다.
먼저 레이저 거리 센서(11)의 보정 시스템 및 방법을 설명한다.
도 6에 도시된 바와 같이, 레이저 거리 센서(11)는 몸체(100)의 전방에서 절개부(112, 122)를 지나면서 몸체(100)를 가로지르도록 복수의 레이저 광(점선 표시)을 조사한다. 상술한 바와 같이, 레이저 거리 센서(11)가 단색 무늬부(123)를 지나는 경로로 레이저를 주사하도록 하는 것이 바람직하다.
복수의 레이저 광들은 서로 일정한 간격(θ)을 가지고 조사된다. 일반적으로 레이저 거리 센서(11)는 로봇(10)에 연결된 회전축(미도시)을 기준으로 회전하면서 일정 간격으로 복수의 레이저 광을 차례로 조사하지만, 필요에 따라서는 레이저 거리 센서(11)가 일정 간격의 복수의 레이저 광을 동시에 조사하도록 구성될 수 있다는 것이 이해되어야 할 것이다.
도 7에 도시된 바와 같이, 복수의 레이저 광이 형성하는 주사면은 몸체(100)와 교차하는 가상의 교차면(200)을 형성하게 된다.
본 실시예에 따르면 교차면(200)의 형상 정보를 산출하고, 교차면(200)과 몸체(100)의 형상의 기하학적 관계를 통해 레이저 거리 센서(11)의 위치 및 방향을 산출하게 된다.
다시 도 6을 참조하면, 복수의 레이저 광 중 일부는 절개부를 통해 노출된 후방 빗면의 내면(131, 141)에 도달한 뒤 반사되고, 다른 일부는 전방 빗면의 외면(111, 121)에 부딪힌 뒤 반사된다.
반사된 레이저 광의 정보를 분석하면, 레이저 거리 센서(11)로부터 레이저 광이 도달하는 몸체(100)의 복수의 지점(P1, P2)까지의 거리를 알 수 있다. 지점(P1, P2) 간의 간격(θ)은 이미 알고 있으므로, 도 8에 도시된 바와 같이, 복수의 레이저 광에 의해 수집된 각 지점까지의 거리를 레이저 거리 센서(11)의 위치(도 8의 0점)를 기준으로 각 지점 위치를 2차원 평면에 좌표화할 수 있다.
도 8에서, 데이터(P111)는 제1전방 빗면(110)의 외면(111)에 의해 반사된 레이저 광들에 의해 수집된 지점 정보이고, 데이터(P121)는 제2전방 빗면(120)의 외면(121)에 의해 반사된 레이저 광들에 의해 수집된 지점 정보이며, 데이터(P131)는 제1후방 빗면(130)의 외면(131)에 의해 반사된 레이저 광들에 의해 수집된 지점 정보이고, 데이터(P141)는 제2후방 빗면(140)의 외면(141)에 의해 반사된 레이저 광들에 의해 수집된 지점 정보이다.
위와 같이 수집된 각 거리 데이터들을 공지의 RANSAC 알고리즘 등을 통해 노이즈를 제거하고, 각 지점들을 잇는 라인들을 추출한 뒤 이를 이용하여 각 라인이 형성하는 사각형을 추출할 수 있다.
노이즈 제거 방법은 데이터들이 평균 값을 사용하는 방법과, 데이터들의 중간 값을 사용하는 방법 등과 같은 공지의 방법들이 이용될 수도 있으며, 사각형의 추출은 사각형의 꼭지점 모델을 이용하여 사각형을 추출하거나, 필터링 방법으로 사각형을 추출할 수도 있다는 것이 이해되어야 할 것이다.
도 8과 같이 추출된 사각형은, 레이저 광의 주사면이 몸체(100)와 교차하여 형성하는 교차면(200)의 2차원적인 형상을 나타낸다.
도 8은 레이저 거리 센서(11)의 몸체(100)에 대한 롤과 피치가 0인 상태에서 추출된 사각형을 도시한 것이다. 이와 같은 상태에서는 교차면(200)이 몸체(100)의 밑면 형상과 동일한 대각이 a 또는 b인 형상을 가진다.
이하, 레이저 거리 센서(11)의 보정 방법에 대해 설명한다.
도 9에 도시된 바와 같이, 먼저 몸체(100)의 전방 빗면부의 중심이 레이저 거리 센서(11)와 정면으로 마주하도록 센서 보정 보조장치와 레이저 거리 센서(11)를 배치한다.
레이저 거리 센서(11)에 대해 레이저 거리 센서(11)의 전방 중심을 원점(OL)으로 한 센서 좌표계(x', y', z')를 설정할 수 있다. 또한, 센서 보정 보조장치의 밑면 중심을 원점(OH)으로 하고, 두 대각선을 각각 x, y축으로 밑면의 중심과 정점(T)를 잇는 선분을 z축으로 하는 몸체 좌표계(x", y", z")를 설정할 수 있다. 도 9에서는 z축은 도시 생략되어 있다.
본 실시예에 따르면, 레이저 거리 센서(11)의 정면 방향이 몸체(100)의 두 개의 전방 빗면이 만나는 모서리(153)와 두 개의 후방 빗면이 만나는 모서리(154)를 모두 통과하도록 센서 보정 보조장치와 레이저 거리 센서(11)를 배치한다. 즉, 도 9에서 센서 좌표계의 y축과 몸체 좌표계의 y축이 동일 축선 상에 위치하도록 한다.
이와 같은 배치 상태에서는 도 10에 도시된 바와 같이, 레이저 거리 센서(11)의 롤과 피치에 관계없이 교차면(200, 400, 500)들의 전후방 꼭지점(1, 1', 1", 2, 2', 2")들이 하나의 축(B) 상에 위치하게 된다. 또한, 도 10에 도시된 바와 같이, 축(B)은 0점과 일치하여 형성된다. 레이저 거리 센서(11)의 롤과 피치에 따라서, 교차면(200, 400, 500)의 형상(변의 길이 및 대각의 크기 등)이 달라질 뿐이다.
따라서, 본 실시예에 따르면, 추출되는 교차면의 전후방 꼭지점을 연결한 선분(축(B))이 0점(도 8)과 일치하는지를 확인하여, 몸체(100)의 전방 빗면부의 중심이 레이저 거리 센서(11)와 정면으로 마주하였는지 여부를 확인할 수 있다.
다시 도 9를 참조하면, 센서 보정 보조장치의 몸체(100)의 전방 빗면부의 중심이 레이저 거리 센서(11)와 정면으로 마주하도록 배치한 상태에서, 몸체(100)의 좌표계 (x", y", z")에 대해 롤, 피치, 요가 0인 임의의 절대 좌표계(x, y, z)를 설정한다.
절대 좌표계에서의 몸체(100)의 밑면 중심(OH)의 위치(x좌표, y좌표, z좌표) 및 몸체의 방향(몸체 좌표계의 절대 좌표계에 대한 롤, 피치, 요)은 (x H , y H , z H ∥0, 0, 0)로 나타낼 수 있다. 여기서, x H , y H , z H 는 절대 좌표계 설정시 정해지는 값으로, 사용자가 임의로 결정할 수 있는 값이다.
다음으로 레이저 거리 센서(11)의 절대 좌표계에서의 위치 및 방향(즉, 절대 좌표계에서의 원점(OL)의 좌표 및 센서 좌표계의 절대 좌표계에 대한 회전 정도)를 구할 수 있다.
센서 보정 보조장치의 몸체(100)의 전방 빗면부의 중심이 레이저 거리 센서(11)와 정면으로 마주하도록 배치한 상태이므로, 레이저 거리 센서(11)의 x 좌표 값(xL)은 XH가 된다. 또한, 레이저 거리 센서(11)의 요 값(YL)은 0이 된다.
한편, 이미 알고 있는 몸체(100)의 형상 정보와, 교차면의 형상 정보의 기하학적 관계를 통해, 레이저 거리 센서(11)의 y, z 좌표 값과, 롤 및 피치 값을 계산할 수 있다.
도 11 내지 도 13은 레이저 거리 센서(11)의 y, z 좌표 값과, 롤 및 피치 값을 계산하는 방법을 설명하기 위한 도면이다.
도 11 및 도 12에 도시된 바와 같이, 레이저 거리 센서(11)가 소정 각도의 롤(θR) 및 피치(θP)를 가지고 몸체(100)에 레이저 광을 주사하는 경우, 도 13에 도시된 바와 같은 교차면(400)이 형성된다.
교차면(400)은 레이저 거리 센서(11)와 센서 보정 보조장치와의 거리 정보를 통해 추출된 것이므로, 추출된 교차면(400)을 통해 교차면(400)의 대각 선분의 길이(LB1 + LB2, LB3+LB4), 각 변의 길이(La, Lb, Lc, Ld), 사잇각의 크기 등을 계산해낼 수 있다.
또한, 레이저 거리 센서(11)로부터 몸체까지의 길이(Ly)는 0점에서부터 전방 꼭지점(1)까지의 길이가 된다.
한편, 도 11 및 도 12에 도시된 바와 같은, 몸체(100)의 높이(L3), 밑면의 대각선 길이(2L1, 2L2) 및 밑면과 빗면의 사잇각의 크기(b, c)는 몸체(100)의 형상 정보로부터 이미 알고 있는 값이다.
도 11을 참조하면, 계산된 교차면(400)의 형상 정보와 이미 알고 있는 몸체(100)의 형상 정보를 이용하면, 레이저 거리 센서(11)의 몸체 좌표계에 대한 y, z 좌표(yL, zL) 및 피치(θp)의 값을 아래 세 수학식과 같이 구할 수 있다.
[수학식 1]
Figure 112013003924714-pat00001

[수학식 2]
Figure 112013003924714-pat00002

[수학식 3]
Figure 112013003924714-pat00003

한편, 도 12를 참조하면, 교차면(400)과 몸체(100)의 형상 정보로부터, 레이저 거리 센서(11)의 롤(θR) 값을 아래 두 수학식을 통해 구할 수 있다.
[수학식 4]
Figure 112013003924714-pat00004

[수학식 5]
Figure 112013003924714-pat00005

위와 같이 구한 값을 정리하면, 레이저 거리 센서(11)의 절대 좌표계에 대한 위치 및 방향은 (x L , y L , z L ∥RL, PL, YL) = (xH, yH-yL, zH-zL ∥θR, θP, 0)로 확정할 수 있다(도 9 참조).
본 실시예에 따르면, 레이저 거리 센서의 위치뿐만 아니라, 방향(롤, 피치 및 요)를 모두 고려하므로, 센서를 정확하게 보정할 수 있다.
이와 같이 보정된 레이저 거리 센서(11)의 절대 좌표계에서의 위치 및 방향 정보는, 레이저 거리 센서(11)에 의해 수집되는 대상 물체의 형상 정보 등을 절대 좌표계 상에 데이터화하는 기초가 된다.
다음으로, 카메라 센서(12)의 보정 방법을 설명한다.
카메라 센서(12)의 보정은 촬영된 영상을 통해 실제 카메라 변수를 찾아내는 과정을 의미한다. 카메라 변수는 카메라 초점거리, 카메라 왜곡을 의미하는 내부 변수와 카메라의 위치를 의미하는 외부 변수로 나누어진다.
핀홀(pinhole) 카메라 모델에서 투영변환을 통해 3D 이미지는 2D 이미지로 사영된다. 절대 좌표계의 3D 이미지의 좌표는 하기 [수학식 6]을 통해 2D 이미지 좌표계의 좌표로 사용된다.
[수학식 6]
Figure 112013003924714-pat00006
여기서 [u v 1]T는 2D 픽셀 좌표계의 2D 좌표이고, [X Y Z 1]T는 절대 좌표계의 3D 좌표이다.
상기 [수학식 6]에서 하기 행렬은 내부 변수이다.
Figure 112013003924714-pat00007

내부 변수는 카메라 센서의 초점 거리(αx, αy)와 카메라의 광축이 만나는 2D 픽셀 좌표계 상의 한 점 즉, 왜곡 중심(Cx, Cy)에 의해 결정된다.
한편, 상기 [수학식 6]에서 하기 행렬은 외부 변수이다.
Figure 112013003924714-pat00008

외부 변수는 절대 좌표계의 좌표를 카메라 좌표계의 좌표로 변환시키기 위한 것으로서, 세계 좌표계에 대한 카메라 좌표계의 상대적인 이동과 회전에 관한 파마리터이다.
카메라 좌표계의 한점 (x, y, z)는 하기 [수학식 7]에 의해 절대 좌표계의 한점 (X, Y, Z)로 변환될 수 있다.
[수학식 7]
Figure 112013003924714-pat00009

다시 도 2를 참조하면, 카메라 센서(12)를 이용해 흑백의 격자 무늬가 바둑판 형태로 새겨진 격자 무늬부(124)를 촬영하여 카메라 센서(12)의 위치를 보정한다.
센서 보정 보조장치의 몸체(100)의 형상 정보를 알고 있으므로, 몸체(100)의 격자 무늬부(124)의 각 격자의 꼭지점을 임의의 절대 좌표계 상에 좌표화할 수 있다.
한편, 카메라에 의해 촬영된 격자의 꼭지점을 2D 픽셀 좌표계에 좌표화할 수 있다.
촬영된 격자의 절대 좌표계 상의 좌표와 2D 픽셀 좌표계 상의 좌표 값을 상기 [수학식 6]에 대입하면, 외부 변수를 구할 수 있다.
이어서 절대 좌표계 상의 격자 꼭지점의 좌표와 외부 변수를 상기 [수학식 7]에 대입하면, 해당 꼭지점의 카메라 좌표계 상의 좌표를 구할 수 있다.
동일 격자의 꼭지점의 절대 좌표계 상의 좌표와 카메라 좌표계 상의 좌표를 비교하면, 카메라 좌표계의 절대 좌표계에 대한 상대 위치를 알 수 있다. 즉, 절대 좌표계에 대한 카메라 센서(12)의 위치를 확정할 수 있게 되는 것이다.
<제2실시예>
도 14는 본 발명의 제2실시예에 따른 센서 보정 보조장치의 사시도이다.
본 실시예에 따른 센서 보정 보조장치는 제1실시예에 따른 센서 보정 보조장치에 비교하여, 몸체(100')에 결합되는 보조면체(130', 140')를 더 포함한다.
보조면체(130', 140')는 각각 후방 빗면과 전방 빗면이 만나는 모서리(151, 152)를 기준으로 몸체(100')에 대해 접철 가능하게 형성된다.
보조면체(130', 140')는 펼쳐졌을 때, 후방 빗면(130, 140)의 내면(131, 141)과 하나의 평면을 형성하는 보조면(131', 141')을 구비한다.
이러한 보조면(131', 141')은 후방 빗면(130, 140)의 내면(131, 141)과 더불어 레이저 거리 센서(11)의 레이저 광을 반사한다.
도 15에 도시된 바와 같이, 보조면(131', 141')은 제1실시예와 비교하여 수집되는 거리 정보(P131', P141')를 증가시킬 수 있으므로, 교차면(200')의 형상을 추출하기 위한 데이터를 증가시켜 정확도를 증가시켜준다.
교차면(200')의 형상을 이용해 레이저 거리 센서(11)의 위치 및 방향을 확정하는 보정 과정은 제1실시예와 동일하므로, 자세한 설명을 생략한다.
또한, 카메라 센서(12)의 보정 방법 역시 제1실시예와 동일하므로, 자세한 설명은 생략한다.

Claims (14)

  1. 카메라 센서와 레이저 거리 센서의 보정을 위한 센서 보정 보조장치로서,
    뿔 형태의 몸체를 구비하고,
    상기 몸체는,
    상기 몸체를 상기 몸체의 높이방향을 따라 절반으로 나누는 가상의 사면을 기준으로 상기 사면의 전방에 위치하는 전방 빗면부와 상기 사면의 후방에 위치하는 후방 빗면부를 포함하며,
    상기 전방 빗면부에는 상기 전방 빗면부를 관통하는 절개부가 형성되어 상기 몸체를 전방에서 보았을 때 상기 절개부를 통해 상기 후방 빗면부의 내면의 일부가 노출되고,
    상기 전방 빗면부의 외면 또는 상기 후방 빗면부의 내면에는 격자 무늬가 새겨진 격자 무늬부가 형성된 것을 특징으로 하는 센서 보정 보조장치.
  2. 제1항에 있어서,
    상기 몸체는 다각형 뿔 형태를 구비하고,
    상기 전방 빗면부는 복수의 전방 빗면을 포함하고, 상기 후방 빗면부는 복수의 후방 빗면을 포함하며,
    상기 사면은 상기 전방 빗면과 상기 후방 빗면이 연결되는 두 모서리를 지나는 것을 특징으로 하는 센서 보정 보조장치.
  3. 제2항에 있어서,
    상기 몸체는 정점과 밑면의 중심을 잇는 선분이 밑면과 수직한 사각뿔 형태를 가지고,
    상기 사각뿔의 사각형 밑면의 두 개의 대각 선분은 서로 직교하며,
    상기 두 개의 절개부는, 상기 전방 빗면부를 형성하는 두 개의 전방 빗면이 형성하는 모서리를 중심으로 대칭으로 배치되는 것을 특징으로 하는 센서 보정 보조장치.
  4. 제3항에 있어서,
    상기 몸체에 결합되는 보조면체를 더 포함하고,
    상기 보조면체는 상기 후방 빗면의 내면과 하나의 평면을 형성하는 보조면을 구비하는 것을 특징으로 센서 보정 보조장치.
  5. 제4항에 있어서,
    상기 보조면체는,
    상기 후방 빗면과 상기 전방 빗면이 만나는 모서리를 기준으로 상기 몸체에 대해 접철 가능한 것을 특징으로 하는 센서 보정 보조장치.
  6. 제1항에 있어서,
    상기 격자 무늬부에는 단색으로 형성된 단색 무늬부가 구비되는 것을 특징으로 하는 센서 보정 보조장치.
  7. 제6항에 있어서,
    상기 격자 무늬부는 상기 전방 빗면부의 외면 빗면부에 형성된 것을 특징으로 하는 센서 보정 보조장치.
  8. 카메라 센서와 레이저 거리 센서를 보정하기 위한 센서 보정 시스템으로서,
    물체의 이미지 정보를 촬영하는 카메라 센서;
    레이저 광을 주사하여 물체까지의 거리 정보를 감지하는 레이저 거리 센서;
    청구항 제1항의 센서 보정 보조장치;
    상기 카메라 센서와 상기 레이저 거리 센서에 의해 수집되는 정보를 분석하는 정보 처리장치를 포함하고,
    상기 레이저 거리 센서는 상기 절개부를 지나면서 상기 몸체를 가로지르는 레이저 광의 주사면이 형성되도록 상기 몸체의 전방에서 레이저 광을 주사하고,
    상기 정보 처리장치는,
    상기 전방 빗면부 및 상기 절개부를 통해 노출된 후방 빗면부의 내면에서 반사되는 레이저 광을 분석하여, 상기 주사면이 상기 몸체와 교차하여 형성하는 교차면의 형상을 산출하고,
    상기 교차면과 상기 몸체의 기하학적 관계를 통해 상기 레이저 거리 센서의 위치 및 방향을 산출하는 것을 특징으로 하는 센서 보정 시스템.
  9. 제8항에 있어서,
    상기 정보 처리장치는,
    상기 카메라 센서로 상기 격자 무늬부를 촬영하여 획득된 영상 정보를 이용해 3차원 영상을 2차원 영상으로 투영하기 위한 카메라 변수를 산출하여 상기 카메라 센서의 위치를 보정하는 것을 특징으로 하는 센서 보정 시스템.
  10. 제8항에 있어서,
    상기 격자 무늬부에는 상기 몸체의 높이 방향과 수평하게 연장되며 단색으로 형성된 단색 무늬부가 구비되고,
    상기 레이저 거리 센서는 상기 주사면이 상기 단색 무늬부를 지나도록 레이저 광을 주사하는 것을 특징으로 하는 센서 보정 시스템.
  11. 청구항 제1항의 센서 보정 보조장치를 이용하여 카메라 센서와 레이저 거리 센서를 보정하는 센서 보정 방법으로서,
    상기 몸체의 전방 빗면부의 중심이 상기 레이저 거리 센서와 정면으로 마주하도록 상기 센서 보정 보조장치의 몸체와 상기 레이저 거리 센서를 배치하고,
    상기 절개부를 지나면서 상기 몸체를 가로지르는 레이저 광의 주사면이 형성되도록 상기 몸체의 전방에서 레이저 광을 주사하며,
    상기 전방 빗면부 및 상기 절개부를 통해 노출된 후방 빗면부의 내면에 의해 반사되는 레이저 광을 분석하여, 상기 레이저의 주사면이 상기 몸체와 교차하여 형성하는 교차면의 형상을 산출하고,
    상기 교차면과 상기 몸체의 기하학적 관계를 통해 임의의 절대 좌표계 상에서의 상기 센서 보정 보조장치에 대한 상기 레이저 거리 센서의 위치 및 방향을 산출하는 것을 특징으로 하는 센서 보정 방법.
  12. 제11항에 있어서,
    상기 카메라 센서로 상기 격자 무늬부를 촬영하여 획득된 영상 정보를 이용해 3차원 영상을 2차원 영상으로 투영하기 위한 변수를 산출하고,
    상기 변수를 이용해 상기 임의의 절대 좌표계 상에서의 상기 카메라의 위치를 산출하는 것을 특징으로 하는 센서 보정 방법.
  13. 제11항에 있어서,
    상기 센서 보정 보조장치는
    정점과 밑면의 중심을 잇는 선분이 지면과 수직한 사각뿔 형태의 몸체를 구비하고,
    상기 사각뿔의 사각형 밑면의 두 개의 대각 선분은 서로 직교하며,
    상기 전방 빗면부는 두 개의 전방 빗면을 포함하고, 상기 후방 빗면부는 두 개의 후방 빗면을 포함하고,
    상기 사면은 상기 전방 빗면과 상기 후방 빗면이 연결되는 두 모서리를 지나며,
    상기 레이저 거리 센서의 정면 방향이 상기 두 개의 전방 빗면이 만나는 모서리와 두 개의 후방 빗면이 만나는 모서리를 모두 통과하도록 상기 보정 보조장치와 상기 레이저 거리 센서를 배치하는 것을 특징으로 하는 센서 보정 방법.
  14. 제11항에 있어서,
    상기 격자 무늬부에는 단색으로 형성된 단색 무늬부가 구비되고,
    상기 레이저 거리 센서는 단색 무늬부를 지나는 경로로 상기 몸체에 레이저를 주사하는 것을 특징으로 하는 센서 보정 방법.
KR1020130004311A 2013-01-15 2013-01-15 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법 KR101405317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130004311A KR101405317B1 (ko) 2013-01-15 2013-01-15 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130004311A KR101405317B1 (ko) 2013-01-15 2013-01-15 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법

Publications (1)

Publication Number Publication Date
KR101405317B1 true KR101405317B1 (ko) 2014-06-11

Family

ID=51132317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130004311A KR101405317B1 (ko) 2013-01-15 2013-01-15 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법

Country Status (1)

Country Link
KR (1) KR101405317B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
CN113008271A (zh) * 2019-08-15 2021-06-22 深圳市瑞立视多媒体科技有限公司 校准3d旋转差异的数学模型构建方法、校准方法及其装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035336A (ja) 1998-07-16 2000-02-02 Asahi Optical Co Ltd 道路標示部材
KR20090128177A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 계측 시스템의 캘리브레이션 장치
KR101033167B1 (ko) 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000035336A (ja) 1998-07-16 2000-02-02 Asahi Optical Co Ltd 道路標示部材
KR20090128177A (ko) * 2008-06-10 2009-12-15 삼성중공업 주식회사 비접촉 계측 시스템의 캘리브레이션 장치
KR101033167B1 (ko) 2011-01-31 2011-05-11 국방과학연구소 카메라 및 레이저 센서의 캘리브레이션 장치, 캘리브레이션 시스템 및 캘리브레이션 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036723A (ko) * 2014-09-25 2016-04-05 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
KR101669850B1 (ko) * 2014-09-25 2016-10-28 (주)씨소 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
CN113008271A (zh) * 2019-08-15 2021-06-22 深圳市瑞立视多媒体科技有限公司 校准3d旋转差异的数学模型构建方法、校准方法及其装置

Similar Documents

Publication Publication Date Title
EP3392831B1 (en) Three-dimensional sensor system and three-dimensional data acquisition method
CN103782321B (zh) 当3d扫描刚性对象时可移动对象的检测
CN104142157B (zh) 一种标定方法、装置及设备
EP2068280B1 (en) Image Distortion Correction
EP2839238B1 (en) 3d scanner using merged partial images
JP5792157B2 (ja) 画像処理装置、方法、プログラム及び記録媒体
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
JP4492654B2 (ja) ３次元計測方法および３次元計測装置
JP5480914B2 (ja) 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US11544860B2 (en) Combined point cloud generation using a stationary laser scanner and a mobile scanner
CN104574406B (zh) 一种360度全景激光与多个视觉***间的联合标定方法
JP2018513345A (ja) ４カメラ組の平面アレイの特徴点の３次元測定システム及び測定方法
CN110296667A (zh) 基于线结构光多角度投影的高反射表面三维测量方法
JP5156601B2 (ja) 形状測定装置およびプログラム
CN104567727A (zh) 立体靶标及对线结构光轮廓传感器的全局统一校准方法
CN107084680A (zh) 一种基于机器单目视觉的目标深度测量方法
JP3690581B2 (ja) 位置検出装置及びその方法、平面姿勢検出装置及びその方法
KR102109814B1 (ko) 영상 정합 장치 및 방법
KR20230000585A (ko) 센서 캘리브레이션 방법 및 장치
KR101809529B1 (ko) 3차원 캘리브레이션 시스템 및 그 방법
KR101405317B1 (ko) 카메라 센서와 레이저 거리 센서의 보정을 위한 보조장치와, 이를 이용한 센서 보정 시스템 및 센서 보정 방법
CN108062790A (zh) 应用于物体三维重建的三维坐标系建立方法
KR20210050365A (ko) 영상 정합 장치 및 방법
CN113432558B (zh) 一种基于激光的不规则物体表面积的测量装置及方法
Maimone et al. A taxonomy for stereo computer vision experiments

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee