KR100921995B1 - 라인스캔 카메라를 이용한 피사체의 규격 측정시스템 - Google Patents

라인스캔 카메라를 이용한 피사체의 규격 측정시스템 Download PDF

Info

Publication number
KR100921995B1
KR100921995B1 KR1020070087037A KR20070087037A KR100921995B1 KR 100921995 B1 KR100921995 B1 KR 100921995B1 KR 1020070087037 A KR1020070087037 A KR 1020070087037A KR 20070087037 A KR20070087037 A KR 20070087037A KR 100921995 B1 KR100921995 B1 KR 100921995B1
Authority
KR
South Korea
Prior art keywords
subject
line scan
scan camera
camera
measuring
Prior art date
Application number
KR1020070087037A
Other languages
English (en)
Other versions
KR20090022033A (ko
Inventor
문형철
김장락
김종호
이형돈
Original Assignee
주식회사 로드텍
한국도로공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로드텍, 한국도로공사 filed Critical 주식회사 로드텍
Priority to KR1020070087037A priority Critical patent/KR100921995B1/ko
Publication of KR20090022033A publication Critical patent/KR20090022033A/ko
Application granted granted Critical
Publication of KR100921995B1 publication Critical patent/KR100921995B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명에 따르면, 피사체를 촬상하는 라인스캔 카메라와, 라인스캔 카메라를 장착한 이동수단의 이동거리를 측정하고 이동수단의 일정한 이동거리마다 트리거 신호를 출력하는 거리측정 및 트리거 출력장치와, 라인스캔 카메라의 기울어진 정도를 측정하는 기울기 센서 및 라인스캔 카메라에서 제공되는 영상과 거리측정 및 트리거 출력장치에서 트리거 단위로 제공하는 정보와 기울기 센서에서 제공되는 측정값을 이용하여 피사체의 규격을 연산하는 연산부를 포함하는 것을 특징으로 하는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템이 개시된다.
개시된 라인스캔 카메라를 이용한 피사체의 규격 측정시스템에 의하면, 한 대의 카메라를 이용하여 피사체의 규격 측정시스템의 구성이 가능하기 때문에 비용 절감의 효과가 있으며, 카메라 정렬이 용이하고 간단한 절차를 통해 보정이 가능하다. 또한 영상으로부터 정보를 산출하는 과정이 간단 명료한 장점이 있다.
라인스캔 카메라, 높이측정, 가로측정, 측정장치, 측정시스템

Description

라인스캔 카메라를 이용한 피사체의 규격 측정시스템{Measurement System}
본 발명은 피사체의 규격을 측정하는 측정시스템에 관한 것으로, 보다 구체적으로는 라인스캔 카메라를 이용하여 촬상한 영상을 통해, 피사체의 규격을 측정하는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템에 관한 것이다.
일반 카메라로 피사체를 촬상한 영상은, 소실점에 의한 원근감 때문에 실제로 같은 길이인 피사체의 근접면(近接面)과 원접면(遠接面)의 가로길이가 서로 다른 길이로 보이게 된다. 즉, 카메라와 가까운 근접면의 가로길이는 카메라와 거리가 먼 원접면의 가로길이보다 길게 보이는 것이다. 이러한 영상에서 피사체의 가로길이 및 높이를 알기 위해서는 먼저 카메라와 피사체까지의 거리를 알아야 한다. 일반적으로 카메라에서 피사체까지의 거리를 얻는 방법으로는 스테레오 카메라를 주로 이용한다. 이는 일정한 간격을 둔 두 대의 스테레오 카메라를 이용하여 동일한 피사체를 촬영한 후, 두 영상을 이용해 카메라와 피사체까지의 거리를 삼각법을 이용하여 산출하며, 산출된 거리 정보를 토대로 영상 내에서 이미지의 원근에 따른 크기 변화비를 구하여 피사체의 가로길이 및 높이를 구할 수 있다.
그러나, 상술한 스테레오 카메라를 이용하여 피사체의 규격을 측정하기 위해 서는, 반드시 두 대의 카메라가 필요하여 이에 따른 비용 증가의 문제점이 있으며, 두 대의 카메라를 정확히 정렬해야 하는 어려움이 있다. 게다가, 이와 같은 방법을 통해 촬상한 두 영상으로부터 피사체까지의 거리를 산출하기 위해서는 복잡한 이미지 프로세싱을 통한 영상 정합의 절차가 필요하며, 촬상지역과 피사체와의 거리가 멀어짐에 따라 산출되는 측정 결과값의 오차가 크게 증가하는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 한 대의 라인 스캔 카메라를 이용한 피사체의 규격 측정시스템을 통하여 피사체의 영상을 획득하고, 이 영상을 통하여 측정값의 오차를 최소화함으로써, 정확한 피사체의 규격을 측정하도록 그 구성을 개선한 라인스캔 카메라를 이용한 피사체의 규격 측정시스템을 제공하는 데 그 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 라인스캔 카메라를 이용한 피사체의 규격 측정시스템은, 피사체를 촬상하는 라인스캔 카메라와 상기 라인스캔 카메라를 장착한 이동수단의 이동거리를 측정하며 상기 이동수단의 일정한 이동거리마다 트리거 신호를 출력하는 거리측정 및 트리거 출력장치와 상기 라인스캔 카메라의 기울어진 정도를 측정하는 기울기 센서 및 상기 라인스캔 카메라에서 제공되는 영상과 상기 거리측정 및 트리거 출력장치에서 트리거 단위로 제공되는 정보와 상기 기울기 센서에서 제공되는 측정값을 이용하여 피사체의 규격을 산출하는 연산부를 포함한다.
또한, 상기 연산부는 상기 라인스캔 카메라에서 제공되는 영상과 상기 거리측정 및 트리거 출력장치에서 트리거 단위로 제공되는 정보와 상기 기울기 센서에서 제공되는 측정값과 미리 측정한 라인스캔 카메라의 촬상 높이(H) 및 하기의 수학식 1을 이용하여 피사체의 높이(y)를 연산하는 것을 특징으로 하는 라인스캔 카 메라를 이용한 피사체의 규격 측정시스템을 포함할 수 있다.
수학식 1
Figure 112007062944040-pat00001
여기서, L은 라인스캔 카메라의 세로 픽셀수(pixel)이고, k는 영상 하단에서 피사체 하단까지의 픽셀수이며, x는 영상속의 피사체 높이(픽셀 단위)이다.
게다가, 상기 연산부는 상기 라인스캔 카메라에서 제공되는 영상과 상기 거리측정 및 트리거 출력장치에서 트리거 단위로 제공되는 정보와 상기 기울기 센서에서 제공되는 측정값 및 하기의 수학식 2를 이용하여 피사체의 가로길이(폭)를 연산하는 것을 특징으로 하는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템을 포함하는 것이 바람직하다.
수학식 2
피사체의 가로길이[mm] = 피사체의 가로 픽셀수 × 라인스캔 카메라의 촬상간격[mm]
아울러, 상기 연산부는 피사체의 규격을 표시하는 출력기능이 구비되는 것을 특징으로 하는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템을 포함할 수 있다.
본 발명의 라인스캔 카메라를 이용한 피사체의 규격 측정시스템에 따르면, 한 대의 카메라를 이용하여 시스템 구성을 할 수 있어 비용 절감의 효과가 있으며, 영상으로부터 정보를 도출해내는 과정이 간단 명료하고 측정값의 오차를 최소화하여 정확한 피사체의 규격을 측정할 수 있는 장점이 있다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
도 1a와 도 1b는 본 발명의 실시예에 따른 라인스캔 카메라(10)를 이용한 피사체의 규격 측정시스템의 개략도이며, 도 2는 라인스캔 카메라(10)를 이용한 피사체의 규격 측정시스템을 공간좌표로 나타낸 도면이다.
도 1a와 도 2를 참조하면, 본 발명의 실시예에 따른 라인스캔 카메라를 이용한 피사체의 규격 측정시스템은 라인스캔 카메라(10), 거리측정 및 트리거 출력장치(20), 기울기 센서(30), 연산부(40)를 포함한다.
상기 라인스캔 카메라(10)를 이용하여 피사체(100)의 높이(y)를 측정하는 방법에 대하여 이하에서 살펴보도록 한다.
도 1a와 도 1b에서 도시하는 바와 같이 본 발명에 의한 피사체 규격 측정시스템은 이동하며 촬상할 수 있도록 상기 라인스캔 카메라(10)를 이동수단에 장착하며, 상기 라인스캔 카메라(10)는 이미 측정한 상기 라인스캔 카메라(10)의 설치 높 이(H)에 맞추어 고정한다. 또한, 상기 라인스캔 카메라(10)의 일측부에는 상기 기울기 센서(30)와 상기 연산부(40)를 구비한다.
여기서, 고려되어야 할 사항은 상기 라인스캔 카메라(10)의 정렬이 지표면을 기준으로 하여 평행하도록 수평정렬되어야 한다는 것이다. 그러나 실제로 움직이는 이동수단에 상기 라인스캔 카메라(10)가 고정되어 있고, 상기 이동수단이 이동하며 발생하는 상하 진동으로 인하여 상기 라인스캔 카메라(10)의 지면에 대한 수평정렬이 흐트러짐은 필연적이다. 따라서, 이를 보정하기 위해서 상기 라인스캔 카메라(10)의 상하 진동에 의한 기울기 변화값(수평정렬의 흐트러진 정도)을 측정할 필요가 있으며, 이는 상기 라인스캔 카메라(10)에 구비된 기울기 센서(30)에 의해 측정할 수 있다. 상기 기울기 센서(30)로부터 획득한 상기 라인스캔 카메라(10)의 수평정렬 상태의 변화값에 대한 데이터를 이용하여, 촬상된 이미지의 상하 기울어진 정도를 알 수 있으며, 상기 라인스캔 카메라의 기울기 변화값에 따라 촬상된 영상의 상하 옵셋(Offset)을 설정하여 이미지를 재구성함으로써, 상기 라인스캔 카메라(10)의 흐트러진 수평정렬에 따른 측정값의 오차를 보정을 할 수 있다.
한편, 상기 라인스캔 카메라(10)는 미리 설정된 높이(H)에 고정 설치되어, 피사체(100)와 평행하게 이동하며 피사체(100)를 촬상한다. 여기서, 이동수단의 일측부에는 상기 거리측정 및 트리거 출력장치(20)를 구비하여, 이동수단의 이동거리를 측정하고, 이동수단의 일정한 이동거리에 비례하여 트리거 출력신호를 라인스캔 카메라로 보낸다. 이에 따라, 상기 거리측정 및 트리거 출력장치(20)에서 트리거 출력신호를 입력받은 상기 라인스캔 카메라(10)는 트리거 출력신호를 기초로 하여 일정한 거리간격으로 피사체(100)에 대한 촬상을 하게 된다.
또한, 상기 연산부(40)는 도 3에 나타낸 바와 같이, 상기 라인스캔 카메라(10)가 촬상한 2차원 영상을 전송받아 저장하며, 상기 기울기 센서(30)가 측정한 결과값을 전송받아, 상기 라인스캔 카메라(10)에서 전송받은 영상의 이미지를 재구성하여 보정한다. 이와 같이 상기 연산부(40)는 각 구성 장치들로부터 전송받은 정보들을 종합적으로 연산하고 오차를 수정하는 과정을 거쳐 피사체의 높이 및 폭을 산출한다.
이때, 상기 연산부(40)는 피사체의 규격을 표시하는 출력기능을 구비하는 것이 바람직하다.
한편, 상기 라인스캔 카메라(10)를 설치한 후 촬상되는 피사체와 영상과의 위치관계를 XZ축의 평면상에 도시하면, 도 2와 같이 표현할 수 있으며. 도 2의 각 변수는 아래의 의미를 가진다.
H : 지면으로부터 카메라까지의 높이
L : 카메라의 세로 픽셀수
k : 영상하단에서 피사체 하단까지의 픽셀수
x : 영상속의 피사체 높이
y : 피사체의 실제 높이
여기서, y는 x와 k의 함수이며, 이 관계식을 구해보면,
수학식 1
Figure 112007062944040-pat00002
과 같이 된다. 여기서 H와 L은 이미 알고 있는 상수이며, k와 x는 영상 속에서 간단히 산출될 수 있다.
따라서, 상기 수학식 1을 이용하면 상기 라인스캔 카메라(10)를 이용하여 획득한 영상으로부터 피사체의 연직 높이(y)를 간단히 산출할 수 있다.
한편, 상기 라인스캔 카메라(10)를 이용하여 피사체(100)의 가로길이를 측정하는 방법에 대하여 이하에서 살펴보도록 한다.
상술한 피사체의 높이(y)를 측정하기 위해 측정시스템에 포함된 장비들이 설치된 정렬상태와 동일한 상태로 상기 장비들을 설치하고, 상기 라인스캔 카메라(10)를 일정한 이동거리마다 촬영되도록 촬상간격을 설정한다. 예를 들어 설명하면, 상기 거리측정 및 트리거 출력장치(20)에서 이동거리에 따른 트리거 출력 간격을 1mm로 설정하였을 때, 상기 거리측정 및 트리거 출력장치(20)는 1mm를 이동할 때마다 1트리거의 출력신호를 상기 라인스캔 카메라(10)로 보내주게 되면, 상기 라인스캔 카메라(10)는 1트리거의 출력신호를 받을 때마다, 1픽셀이 세로방향으로 줄지어 이루어진 1라인 단위로 촬영을 하게 된다. 따라서, 상기 라인스캔 카메라(10)가 이동하며 촬상한 영상에서 가로방향으로 1픽셀(pixel)(또는 1픽셀이 세로방향으로 줄지어 이루어진 라인과 다른 라인 사이의 간격)은 정확히 1mm의 거리에 해당하게 된다.
이 점을 이용하면 피사체의 가로길이를 획득한 영상으로부터 용이하게 산출할 수 있다. 즉, 원근에 관계없이 영상 내에서 피사체의 가로 픽셀 수(라인의 개수)만 측정할 수 있으면, 하기 수학식 2에 의해 피사체의 가로방향 길이를 구할 수 있다. 여기서, 가로 픽셀 수(라인의 개수)에서 초기점은 그 개수에서 포함하지 않는다.
수학식 2
피사체의 가로길이[mm] = 피사체의 가로 픽셀수 × 라인스캔 카메라의 촬상간격[mm]
이상과 같이, 본 발명은 비록 한정된 실시예에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 특허청구범위의 균등 범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
도 1a와 도 1b는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템을 나타낸 개략도,
도 2는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템을 나타낸 공간좌표,
도 3은 라인스캔 카메라를 이용한 피사체의 규격 측정시스템의 전체 구성도이다.
<도면 주요 부분에 대한 부호의 설명>
10...라인스캔 카메라 20...거리측정 및 트리거 출력장치
30...기울기 센서 40...연산부
50...이동수단의 바퀴 100...피사체(측정 대상물)

Claims (4)

  1. 피사체의 규격을 측정하는 측정시스템에 있어서,
    피사체를 촬상하는 라인스캔 카메라(10);
    상기 라인스캔 카메라를 장착한 이동수단의 이동거리를 측정하며, 상기 이동수단의 일정한 이동거리마다 트리거 신호를 출력하는 거리측정 및 트리거 출력장치(20);
    상기 라인스캔 카메라의 기울어진 정도를 측정하는 기울기 센서(30); 및
    상기 라인스캔 카메라에서 제공되는 영상과 상기 거리측정 및 트리거 출력장치에서 트리거 단위로 제공되는 정보와 상기 기울기 센서에서 제공되는 측정값을 이용하여, 피사체의 규격을 산출하는 연산부(40)를 포함하여 이루어지되,
    상기 연산부는 상기 라인스캔 카메라에서 제공되는 영상과 상기 거리측정 및 트리거 출력장치에서 트리거 단위로 제공되는 정보와 상기 기울기 센서에서 제공되는 측정값과 미리 측정한 상기 라인스캔 카메라의 촬상 높이(H)와 하기의 수학식 1을 이용하여 피사체의 높이(y)를 연산하는 것을 특징으로 하는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템.
    Figure 112009024423783-pat00008
    여기서, L은 라인스캔 카메라의 세로 픽셀수(pixel)이고, k는 영상 하단에서 피사체 하단까지의 픽셀수이며, x는 영상속의 피사체 높이(픽셀 단위)이다.
  2. 삭제
  3. 제1항에 있어서,
    상기 연산부(40)는 상기 라인스캔 카메라에서 제공되는 영상과 상기 거리측정 및 트리거 출력장치에서 트리거 단위로 제공되는 정보와 하기의 수학식 2를 이용하여 피사체의 가로길이(폭)를 연산하는 것을 특징으로 하는 라인스캔 카메라를 이용한 피사체의 규격 측정시스템.
    피사체의 가로길이[mm] = 피사체의 가로 픽셀수 × 라인스캔 카메라의 촬상간격[mm]
  4. 제1항 또는 제3항에 있어서,
    상기 연산부(40)는 피사체의 규격을 표시하는 출력기능을 구비하는 것을 특징으로 하는 라인스캔 카메라를 이용한 피사체의 규격 측정 시스템.
KR1020070087037A 2007-08-29 2007-08-29 라인스캔 카메라를 이용한 피사체의 규격 측정시스템 KR100921995B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070087037A KR100921995B1 (ko) 2007-08-29 2007-08-29 라인스캔 카메라를 이용한 피사체의 규격 측정시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070087037A KR100921995B1 (ko) 2007-08-29 2007-08-29 라인스캔 카메라를 이용한 피사체의 규격 측정시스템

Publications (2)

Publication Number Publication Date
KR20090022033A KR20090022033A (ko) 2009-03-04
KR100921995B1 true KR100921995B1 (ko) 2009-10-14

Family

ID=40691985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070087037A KR100921995B1 (ko) 2007-08-29 2007-08-29 라인스캔 카메라를 이용한 피사체의 규격 측정시스템

Country Status (1)

Country Link
KR (1) KR100921995B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227083B1 (ko) * 2010-12-23 2013-01-29 주식회사 로드텍 활주로 평탄성 측정방법 및 장치
KR102135109B1 (ko) 2018-06-14 2020-07-17 위프코 주식회사 신경회로망을 이용한 도로 노면의 크랙 검출 시스템 및 그 검출 방법
KR102613944B1 (ko) 2021-10-29 2023-12-15 주식회사 비즈포스 고속 실시간 라인 스캔 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194141A (ja) * 2000-01-14 2001-07-19 Fuji Electric Co Ltd 移動体の位置検出方法
JP2006258486A (ja) * 2005-03-15 2006-09-28 Nagoya City 座標計測装置と座標計測方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001194141A (ja) * 2000-01-14 2001-07-19 Fuji Electric Co Ltd 移動体の位置検出方法
JP2006258486A (ja) * 2005-03-15 2006-09-28 Nagoya City 座標計測装置と座標計測方法

Also Published As

Publication number Publication date
KR20090022033A (ko) 2009-03-04

Similar Documents

Publication Publication Date Title
KR101827494B1 (ko) 이미지 수집 시스템과 이미지 수집 방법
KR102166691B1 (ko) 객체의 3차원 형상을 산출하는 장치 및 방법
EP2588836B1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
US6539330B2 (en) Method and apparatus for measuring 3-D information
JP6296477B2 (ja) 対象物の三次元座標を決定する方法および装置
US8810801B2 (en) Three-dimensional measurement apparatus, method for controlling a three-dimensional measurement apparatus, and storage medium
JP5293131B2 (ja) 車両用複眼距離測定装置及び複眼距離測定方法
KR20160100788A (ko) 이동체의 이동속도 측정장치 및 그 방법
JP6875836B2 (ja) ワイヤロープ計測装置及び方法
WO2019184410A1 (zh) 虚拟现实设备的畸变参数测量方法及装置、测量***
CN108489423B (zh) 一种产品表面水平倾斜角度的测量方法及***
JPWO2013005244A1 (ja) ３次元相対座標計測装置およびその方法
CN108260360B (zh) 场景深度计算方法、装置及终端
KR100921995B1 (ko) 라인스캔 카메라를 이용한 피사체의 규격 측정시스템
CN116134289A (zh) 三维测量装置
JP3842988B2 (ja) 両眼立体視によって物体の３次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体
KR101459522B1 (ko) 모바일 기반의 부가정보를 이용한 위치 보정 방법
JP5648159B2 (ja) ３次元相対座標計測装置およびその方法
JP2018112476A (ja) 微小変位測定装置および微小変位測定方法
CN206583440U (zh) 一种投影图像视距检测***
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
CN105300314A (zh) 一种光学的成像方法
KR101703715B1 (ko) 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법
JP6985872B2 (ja) 車両の周辺監視装置と周辺監視方法
KR101142279B1 (ko) 스테레오 비전 시스템에서의 이미지 정렬 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121008

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131007

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160727

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170810

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190904

Year of fee payment: 11