KR101124317B1 - 후방카메라를 이용한 자동차 통신시스템 - Google Patents

후방카메라를 이용한 자동차 통신시스템 Download PDF

Info

Publication number
KR101124317B1
KR101124317B1 KR1020100021121A KR20100021121A KR101124317B1 KR 101124317 B1 KR101124317 B1 KR 101124317B1 KR 1020100021121 A KR1020100021121 A KR 1020100021121A KR 20100021121 A KR20100021121 A KR 20100021121A KR 101124317 B1 KR101124317 B1 KR 101124317B1
Authority
KR
South Korea
Prior art keywords
rear camera
controller
vehicle
communication
communication system
Prior art date
Application number
KR1020100021121A
Other languages
English (en)
Other versions
KR20110101831A (ko
Inventor
정진철
Original Assignee
주식회사 이브릿지에스앤티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이브릿지에스앤티 filed Critical 주식회사 이브릿지에스앤티
Priority to KR1020100021121A priority Critical patent/KR101124317B1/ko
Publication of KR20110101831A publication Critical patent/KR20110101831A/ko
Application granted granted Critical
Publication of KR101124317B1 publication Critical patent/KR101124317B1/ko

Links

Images

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 자동차 통신시스템에 관한 것으로서, 더욱 상세하게는 후방카메라를 매개로 하여 CAN/LIN통신이 가능한 자동차 통신시스템에 관한 것이다.
본 발명에 따른 후방카메라를 이용한 자동차 통신시스템은, CAN(Controller Area Network)통신을 통해 OBD(ON-Board Diagnostics)단자로부터 각종 정보를 수집하며, LIN(Local Interconnect Network)통신에 의해 후방카메라를 제어하는 컨트롤러와; 상기 컨트롤러로부터 LIN통신을 통해 전송받은 제어 명령에 따라 상기 차량 내부 센서들의 정보와 매칭되는 데이타와 내부의 이미지센서를 통해 촬영된 비디오 신호를 디스플레이 장치로 전송하는 후방카메라와; 상기 후방카메라로부터 전송되는 데이타 및 비디오 신호를 표시하는 디스플레이 장치;를 포함하여 이루어진다.

Description

후방카메라를 이용한 자동차 통신시스템{VEHICLE COMMUNICATION SYSTEM USING REAR CAMERA}
본 발명은 자동차 통신시스템에 관한 것으로서, 더욱 상세하게는 후방카메라를 매개로 하여 CAN/LIN통신이 가능한 자동차 통신시스템에 관한 것이다.
일반적으로, 자동차의 바디에는 BCM(Body Control Module) 블록, 드라이버 모어 모듈 블록, 어시스트 도어 모듈 블록, 파워시트 ECU 블록 및 틸트 ECU 블록 등으로 구성된다.
각각의 블록으로 이루어지는 자동차의 네트워크 시스템은 국제적으로 표준화된 CAN(Controller Area Network)이라고 하는 프로토콜을 이용하여 통신이 이루어진다.
CAN 통신을 이용하여 자동차 내부의 각종 센서들에 연결된 ECU 정보를 OBD(ON-Board Diagnostics) 단자를 통해 고장진단을 수행하기도 한다.
하지만, 종래의 자동차 통신시스템은 CAN 통신이나 LIN 통신을 이용하여 자동차 전자부품의 이상유무를 판단하고 해결하는 수동적 통신시스템에 머물고 있는 실정이다.
CAN 통신 및 LIN 통신을 이용하여 자동차 부품의 이상 유무를 운전자에게 실시간으로 각인시켜줄 수 있는 능동적 통신시스템의 개발이 필요할 것이다.
또한, 종래의 자동차 후방카메라는 후방 모니터링 화면 지원의 역할만 수행하고 있어 후방카메라의 기능 확장이 요구되는 실정이다.
상술한 능동적 통신시스템과 후방카메라와의 연계를 통해 보다 기능적인 기술들이 개발되어야 할 것으로 보인다.
상술한 종래의 문제점을 해결하기 위한 본 발명의 목적은, 후방카메라를 매개로 하여 CAN 통신 및 LIN 통신을 통해 자동차 이상 유무 및 다이나믹한 주차라인을 표시할 수 있는 능동적 자동차 통신시스템을 제안하고자 한다.
상술한 과제를 해결하기 위한 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템은, CAN(Controller Area Network)통신을 통해 OBD(ON-Board Diagnostics)단자로부터 각종 정보를 수집하며, LIN(Local Interconnect Network)통신에 의해 후방카메라를 제어하는 컨트롤러와; 상기 컨트롤러로부터 LIN통신을 통해 전송받은 제어 명령에 따라 상기 차량 내부 센서들의 정보와 매칭되는 데이타와 내부의 이미지센서를 통해 촬영된 비디오 신호를 디스플레이 장치로 전송하는 후방카메라와; 상기 후방카메라로부터 전송되는 데이타 및 비디오 신호를 표시하는 디스플레이 장치;를 포함하여 이루어진다.
여기서, 상기 컨트롤러로부터 상기 후방카메라로 전송되는 제어 명령은 차량 내부 센서들로부터 전달되는 이상 신호인 것이 바람직하다.
여기서, 상기 컨트롤러로부터 상기 후방카메라로 전송되는 제어 명령은 조향 데이타인 것이 바람직하다.
여기서, 상기 조향 데이타는 상기 컨트롤러에서 수집 가공되고, 가공된 신호에 대응되는 명령이 상기 후방카메라로 전달되며, 상기 후방카메라는 상기 명령에 따라 해당 주차안내라인 이미지와 후방 이미지를 매칭하여 NTSC 또는 PAL 형식의 컴포지트 신호를 출력하게 된다.
여기서, 상기 주차라인 이미지는 상기 차량의 조향 데이타로부터 얻은 차체의 방향과 연동되어 후진시 진행되는 예상 진행경로 또는 주차안내 라인으로 표시되는 것을 특징으로 한다.
상술한 본 발명의 구성에 따르면, 후방카메라를 매개로 하여 CAN 통신 및 LIN 통신을 통해 자동차 이상 유무(각종 센서들의 이상, 타이어압력 이상 등)을 실시간으로 디스플레이 장치를 통해 확인할 수 있게 된다.
또한, 자동차의 조향시스템과 연동되어 후방카메라로부터 후진시 예상 진행경로를 표시하여 후진방향을 예측할 수 있게 된다.
도 1은 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 내부 블록도를 도시한 것이다.
도 2는 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 프로세스의 일예이다.
도 3은 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 프로세스의 다른 예이다.
도 4는 도 2 및 도 3 프로세스를 통해 표시되는 결과 이미지를 예시로서 도시한 것이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 구조, 동작 및 작용효과를 설명한다.
도 1은 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 내부 블록도를 도시한 것이다.
도시된 바와 같이, 후방카메라를 이용한 자동차 통신시스템은 OBD(ON-Board Diagnostics)단자(140), 컨트롤러(110), 후방카메라(120) 및 디스플레이 장치(130)를 포함하여 이루어진다.
OBD는 진단대상 장치의 이상 유무를 ECU에서 지속적으로 진단하다가 이상이 발생하면 백업(Backup) 또는 페일 세이프(Fail Safe) 기능을 작동시켜 처리한 후, 그 고장에 대한 데이터를 코드화하여 자체적으로 구비된 메모리에 저장하는 장치이다.
컨트롤러(110)는 OBD단자(140)와 연결되어 CAN(Control Area Network) 통신을 통해 자동차의 ECU로부터 각종 정보를 수집하고 필요에 따라 가공하는 장치이며, 후단의 후방카메라(120)를 제어하는 역할을 담당한다.
CAN(Controller Area Network)은 소규모 범위에서 사용할 수 있는 자동차 네트워크 통신 방식으로 차세대 차량용 진단 통신 방식으로 속도는 500Kbps~1Mbps로 기존 통신 속도에 비해 50배 이상 빠르며, K-Line은 OBD 법규에 의해 명명된 차량용 진단 통신 라인으로 10.4Kbps의 속도를 가진다.
후방카메라(120)는 컨트롤러(110)로부터 송신되는 제어명령에 따라 그에 대응되는 메모리(125)에 저장된 데이타(또는 이미지)를 디스플레이 장치(130)에 전송하며, 이미지센서(124)를 통해 습득된 차량 후방 이미지를 디스플레이 장치(130)에 전송하게 된다.
컨트롤러(110)와 후방카메라(120) 간의 통신은 LIN(Local Interconnect Network) 통신에 의해 이루어지며, LIN(Local Interconnect Network)은 차량에서의 분산된 전자 시스템을 위한 저비용의 직렬 통신 시스템으로 CAN 등과 같은 고비용의 자동 다중화 네트워크를 보완하기 위해 고안된 것이며, 이 규격에는 프로토콜과 물리 계층의 정의와 더불어 개발 도구, 애플리케이션 소프트웨어에 대한 정의까지 들어 있어서 CAN의 대역폭과 다기능이 필요하지 않은 액츄에이터와 센서를 위한 비용 절감 통신을 가능하게 하기 때문에 컨트롤러(110)와 후방카메라(120) 간의 통신에 적합하다.
컨트롤러(110)는 전반적인 제어를 담당하는 마이크로 프로세서(111)와, OBD단자(140)와 연결되어 CAN 통신을 수행하는 CAN 드라이버(112)와, 후방카메라(120)와 통신이 이루어지도록 하는 LIN 드라이버(113)와, 배터리 전원 DC 12V를 인가받아 DC 3.3V로 전환하여 DC전원을 공급하는 컨버터(114)를 포함하여 이루어진다.
후방카메라(120)는 전반적인 제어를 담당하는 마이크로 프로세서(121)와, 이미지 센서(124)로부터 수신되는 이미지 신호 및 컨트롤러(110)의 제어명령 신호에 따라 그에 대응되는 데이타를 메모리(125)로부터 수신받아 디스플레이 장치(130)로 송신하는 비디오 드라이버(122)와, 컨트롤러(110)와 통신을 위한 LIN 드라이버(123)와, 렌즈(126)를 통해 촬영된 이미지를 비디오 드라이버(122)로 전송하는 이미지 센서(124)와, 촬영된 이미지 및 기설정된 데이타가 저장되는 메모리(125)를 포함하여 이루어진다.
이러한 구성을 갖는 후방카메라를 이용한 자동차 통신시스템의 프로세스를 도 2 및 도 3을 통하여 설명한다.
도 2는 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 프로세스의 일예이다.
도 2에 도시된 플로우 챠트는 차량 내부 센서들로부터 얻을 수 있는 정보들을 이용하여 차량 내부 센서에 의한 이상 신호 접수시 이 신호를 후방카메라를 통해 디스플레이 장치에 특정 이미지나 텍스트로 표시할 수 있도록 하는 일예를 도시한 것이다.
먼저, 차량의 시동을 온 시키면(S201), ECU 데이타가 CAN 통신에 의해 OBD 단자(140)로부터 컨트롤러(110)로 수집된다(S202).
자동차의 후진 기어가 들어갔는 지 여부(S203)에 따라 후진 기어가 없는 경우는 S202단계로 복귀하며, 후진 기어가 들어간 경우에는 카메라 전원을 ON시킨다(S204, S208).
이어서, ECU로부터 수집된 정보중에서 차량 내부 센서의 이상신호를 수신하는 경우(S205), 이 신호를 근거로 하여 컨트롤러(110)는 후방카메라(120)에 제어명령을 송신하고 이를 후방카메라(120)가 수신한다(S209).
후방카메라(120)의 마이크로 프로세서(121)는 수신된 제어명령에 근거하여 그와 매칭되는 데이타를 메모리(125)로부터 추출하여 비디오 드라이버(122)를 통해 해당 데이타를 디스플레이 장치로 송출하고(S210), 디스프레이 장치(130)는 그 데이타를 디스플레이한다(S211).
S205 단계후 각종 ECU로부터 이상신호를 수신하지 않는 경우에는 다시 후진 기어가 들어 갔는 지 여부(S206)를 판단하고, 계속 후진 기어가 들어가 있는 상태인 경우에는 S205단계를 거치며, 후진 기어가 아닌 경우에는 카메라 전원을 off 시킨다(S207, S212).
S205 단계에서 컨트롤러(110)에서 이상 신호가 수집된 경우, 후방카메라(120)가 그 이상 신호에 해당하는 명령을 수행하여 결과를 표시한 화면의 예는 도 4의 도면기호 410이다.
도면기호 410은 TPMS((Tire Presure Monitoring System) 기반으로 타이어 압력에 이상신호시 '주의' 이미지를 디스플레이 장치(130)를 통해 디스플레이된 화면을 도시한 것이다. 본 발명의 예시로서 TPMS를 표시하였지만, CAN 통신에 의해 차량의 내부 센서를 통해 수신할 수 있는 정보의 이상 유무 표시는 그 제한이 없다.
도 3은 본 발명에 따른 후방카메라를 이용한 자동차 통신시스템의 프로세스의 다른 예이다.
도 3에 도시된 플로우 챠트는 차량 내부 센서들(ECU, Electronic Control Unit)로부터 얻을 수 있는 정보들 중에서 특히 조향핸들과 관련된 정보를 이용하여 후방카메라를 통해 조향핸들과 동일방향으로 연동되어 표시되는 주차라인 표시예를 도시한 것이다.
먼저, 차량의 시동을 온 시키면(S301), 컨트롤러(110)는 조향 핸들로부터 조향 데이터를 CAN 통신에 의해 OBD 단자(140)로부터 수집하고, 수집된 조향 데이타를 기설정된 조향 핸들 각도와 매칭되는 데이타로 가공을 하게 된다(S302).
이어서, 자동차의 후진 기어가 들어갔는 지 여부(S303)에 따라 후진 기어가 없는 경우는 S302단계로 복귀하며, 후진 기어가 들어간 경우에는 카메라 전원을 ON시킨다(S304, S308).
이어서, 조향 핸들로부터 수집된 정보에 의해 편집된 정보를 후방카메라(120)에 제어명령을 송신하고(S305), 이를 후방카메라(120)가 수신한다(S309).
후방카메라(120)의 마이크로 프로세서(121)는 수신된 제어명령에 근거하여 그와 매칭되는 데이타를 메모리(125)로부터 추출하여 비디오 드라이버(122)를 통해 해당 데이타(주차라인)를 디스플레이 장치로 송출하고(S310), 디스프레이 장치(130)는 그 데이타를 디스플레이한다(S311). 이때 후방카메라(120)는 조향핸들 방향과 연동된 주차라인과 후방 이미지를 매칭시켜 디스플레이 장치(130)로 송신하게 된다.
S305 단계후 계속하여 후진 기어가 들어 갔는 지 여부(S306)를 계속 판단하고, 계속 후진 기어가 들어가 있는 상태인 경우에는 S305단계를 거치며, 후진 기어가 아닌 경우에는 카메라 전원을 off 시킨다(S307, S312).
S305 단계에서 컨트롤러(110)에서 조향핸들의 방향신호가 수집되어 편집된 신호에 근거하여 후방카메라(120)가 그 신호에 해당하는 명령을 수행하여 결과를 표시한 화면의 예는 도 4의 도면기호 420이다.
도면기호 420은 디스플레이 장치(130) 즉, 네이게이션 장치에 표시된 화면으로서, 후방카메라(120)에 의해 자동차 후방이 촬영된 이미지와 컨트롤러(110)로부터 수신된 조향핸들 방향과 연동되어 표시되는 주차라인이 매칭된 화면이다.
도시된 바와 같이, 전체 이미지(420)에서 도면기호 423은 도로에 표시된 주차라인이며, 도면기호 422는 현 차량위치가 표시되는 주차구역이고, 도면기호 421은 조향 데이타를 통해 조향 핸들 방향과 연동되어 후진(주차)시 후진 방향을 표시하는 다이나믹한 주차안내 라인을 표시한 것이다.
주차안내 라인(421)은 차량의 조향 데이터로부터 컨트롤러(110)를 통해 얻을 수 있는 정보를 활용한다. 예를 들면, 조향 데이터를 0도 내지 90도 범위 내에서 소정의 범위로 분할하여 차량이 기준선을 기준으로 조향된 각도마다 해당 주차라인의 형태를 메모리(125)에 룩업 테이블(Look up table)화하여 조향 데이터에 매칭되는 데이타를 송출하여 표시하도록 한다.
이러한 방식은 기존의 후방카메라가 후방 모니터링 화면 지원의 역할만 수행하는 단순성을 벗어나, 본 발명의 조향 연동 후방카메라는 핸들 방향과 연동하여 후진시 예상 진행경로를 표시함으로써 후진 방향을 예측할 수 있도록 하는 능동적 통신시스템이 제공된다.
이상 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 ; 컨트롤러 120 ; 후방카메라
111, 121 ; 마이크로 프로세서 112 ; CAN 드라이버
113, 123 ; LIN 드라이버 122 ; 비디오 드라이버
124 ; 이미지 센서 125 ; 메모리
126 ; 렌즈 130 ; 디스플레이 장치
140 ; OBD 단자

Claims (5)

  1. CAN(Controller Area Network)통신을 통해 OBD(ON-Board Diagnostics)단자로부터 각종 정보를 수집하며, LIN(Local Interconnect Network)통신에 의해 후방카메라를 제어하는 컨트롤러와;
    상기 컨트롤러로부터 LIN통신을 통해 전송받은 제어 명령에 따라 내부의 이미지센서를 통해 촬영된 비디오 신호를 디스플레이 장치로 전송하는 후방카메라와;
    자동차의 후진 기어와 연동되어 상기 컨트롤러로부터 상기 OBD단자로부터 수신된 신호에 매칭되는 데이타를 표시하고, 상기 후방카메라로부터 전송되는 비디오 신호를 표시하는 디스플레이 장치;를 포함하고,
    상기 데이타는 상기 OBD단자로부터 수신되는 자동차 내부의 각종 센서들로부터 수신되는 신호 중 이상 신호로 판단되는 신호에 매칭되는 데이타로서 상기 후방카메라에 기저장된 텍스트 또는 이미지이며,
    상기 비디오 신호는 상기 OBD단자로부터 수신되는 조향 데이타와 매칭되는 후방 주차 라인 이미지로서 상기 후방카메라에 기저장된 이미지인, 후방카메라를 이용한 자동차 통신시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020100021121A 2010-03-10 2010-03-10 후방카메라를 이용한 자동차 통신시스템 KR101124317B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100021121A KR101124317B1 (ko) 2010-03-10 2010-03-10 후방카메라를 이용한 자동차 통신시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100021121A KR101124317B1 (ko) 2010-03-10 2010-03-10 후방카메라를 이용한 자동차 통신시스템

Publications (2)

Publication Number Publication Date
KR20110101831A KR20110101831A (ko) 2011-09-16
KR101124317B1 true KR101124317B1 (ko) 2012-03-06

Family

ID=44953777

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100021121A KR101124317B1 (ko) 2010-03-10 2010-03-10 후방카메라를 이용한 자동차 통신시스템

Country Status (1)

Country Link
KR (1) KR101124317B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101472624B1 (ko) * 2012-05-24 2014-12-24 주식회사 만도 휴대용 전자 장치, 휴대용 전자 장치의 차량 정보 처리 방법, 및 기록 매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101895461B1 (ko) * 2016-12-22 2018-09-05 박만금 차량 액세서리 제어 장치
CN107117119A (zh) * 2017-05-18 2017-09-01 深圳市可可卓科科技有限公司 支持和obd双向检测的hud的方法及***
US11616932B1 (en) * 2020-12-15 2023-03-28 Ambarella International Lp Car security camera triggering mechanism

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899892B1 (ko) * 2008-04-21 2009-05-29 삼성전기주식회사 자동차용 카메라 장치 및 안내선 표시방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100899892B1 (ko) * 2008-04-21 2009-05-29 삼성전기주식회사 자동차용 카메라 장치 및 안내선 표시방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101472624B1 (ko) * 2012-05-24 2014-12-24 주식회사 만도 휴대용 전자 장치, 휴대용 전자 장치의 차량 정보 처리 방법, 및 기록 매체

Also Published As

Publication number Publication date
KR20110101831A (ko) 2011-09-16

Similar Documents

Publication Publication Date Title
CN113195329B (zh) 用于自主车辆的冗余硬件***
JP5099451B2 (ja) 車両周辺確認装置
US11242066B2 (en) Vehicle control apparatus and vehicle control system and vehicle control method thereof
KR100709401B1 (ko) 차선이탈경보시스템용 힐스 장치 및 그의 시험 방법
CN105320520A (zh) 用于将数据功能集成在用于车辆的运动控制***中的方法
CN105320035B (zh) 用于将数据功能集成在用于车辆的运动控制***中的设备
US11463408B2 (en) Vehicular secure gateway system
KR101124317B1 (ko) 후방카메라를 이용한 자동차 통신시스템
US11220273B2 (en) Vehicle control apparatus and vehicle control method
JP2008141578A (ja) 車両周辺視認装置
KR20140133544A (ko) 스마트폰 상에서의 자동차 데이터 프로세싱
US11351917B2 (en) Vehicle-rendering generation for vehicle display based on short-range communication
CN114174123A (zh) 车辆控制***
CN111497871A (zh) 一种汽车行驶跑偏告警方法、电子设备及***
EP3984838A1 (en) Control device for mobile body
CN108621953B (zh) 自主车辆中的侧后视镜的控制
RU2708998C2 (ru) Способ контроля зеркал бокового вида в автономных транспортных средствах, компьютер и транспортное средство
US20220229432A1 (en) Autonomous vehicle camera interface for wireless tethering
JP2009048639A (ja) 自動車走行記録装置
CN116668992A (zh) 车辆事故处理方法、计算机可读存储介质及车辆
KR101311112B1 (ko) 차량 사고 판단 장치 및 그 방법
CN114206700B (zh) 车辆控制***
CN106157660B (zh) 车辆的限制速度显示装置
CN107433908A (zh) 折叠式反射镜装置以及提高燃料效率的方法
KR20180090521A (ko) 카메라 도난 감지 기능이 구비된 차량의 카메라 모니터 시스템 및 그를 이용한 카메라 도난 감지방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141128

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151126

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200109

Year of fee payment: 9