KR100696226B1 - 차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시시스템 - Google Patents

차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시시스템 Download PDF

Info

Publication number
KR100696226B1
KR100696226B1 KR1020050035368A KR20050035368A KR100696226B1 KR 100696226 B1 KR100696226 B1 KR 100696226B1 KR 1020050035368 A KR1020050035368 A KR 1020050035368A KR 20050035368 A KR20050035368 A KR 20050035368A KR 100696226 B1 KR100696226 B1 KR 100696226B1
Authority
KR
South Korea
Prior art keywords
character pattern
vehicle
specific character
compression
recognized
Prior art date
Application number
KR1020050035368A
Other languages
English (en)
Other versions
KR20060084772A (ko
Inventor
칸노 하지메
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20060084772A publication Critical patent/KR20060084772A/ko
Application granted granted Critical
Publication of KR100696226B1 publication Critical patent/KR100696226B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/141—Image acquisition using multiple overlapping images; Image stitching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 차량의 특정 문자 패턴 인식에 의한 차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시 시스템에 관한 것으로, 특정 문자 패턴의 인식 결과에 따라 전송 데이터량을 제어하는 것을 목적으로 한다.
촬영부에 의한 촬영 화상 데이터를 처리하여 차량의 특정 문자 패턴을 인식하는 인식 장치(7)와, 복수의 인식 장치와 회선(6)을 통해 접속한 센터(1)를 포함하고, 인식 장치(7)는 촬영 화상 데이터를 기초로 차량 특정 문자 패턴의 인식 처리를 행하여, 문자 패턴을 인식할 수 없을 때에는 촬영 화상 데이터로부터 차량 영역을 캡처링(Capturing)하여 저압축율로 압축하고, 문자 패턴의 일부만 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하며, 문자 패턴의 전부를 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하여 기록 또는 송출하고, 센터(1)는 인식 장치로부터의 압축 데이터를 회선(6)을 통해 수신하여 저장하는 관리 테이블(4) 및 표시하는 표시부(3)를 갖는다.

Description

차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시 시스템{VEHICLE MONITORING METHOD, SPECIFIC CHARACTER PATTERN RECOGNITION DEVICEM AND VEHICLE MONITORING SYSTEM}
도 1은 본 발명의 실시예 1의 개요 설명도.
도 2는 본 발명의 실시예 1의 시스템 설명도.
도 3은 본 발명의 실시예 1의 흐름도.
도 4는 압축 범위의 설명도.
도 5는 본 발명의 실시예 2의 시스템 설명도.
도 6은 본 발명의 실시예 3의 시스템 설명도.
도 7은 종래예의 주요부 설명도.
〈도면의 주요부분에 대한 부호의 설명〉
1 : 센터
2 : 제어 처리부
3 : 표시부
4 : 데이터 관리 테이블
5 : 교환망
6 : 회선
7 : 특정 문자 패턴 인식 장치
8 : 카메라
9 : 차량
본 발명은 차량이 갖는 특정 문자 패턴을 인식하여 감시하는 차량 감시 방법 및 특정 문자 패턴 인식 장치 및 차량 감시 시스템에 관한 것이다.
각종 차량에 대하여 각각 중복되지 않도록 특정 문자 패턴이 부여되어 있다. 따라서, 특정 문자 패턴을 자동 판독하여 차량 특정 문자 패턴을 인식함으로써, 유료 도로의 요금 지불소의 자동화나, 주차장의 주차 차량이 계약자인지 아닌지의 판정 혹은 도난 차량이나 도주 차량의 검출 등에 적용할 수 있는 것으로, 이미 각종 시스템이 제안되어 있다. 이 경우, 특정 문자 패턴의 촬상된 화상 신호를 처리하는 것이며, 따라서, 이 화상 신호의 처리를 효율적으로 행하는 것이 요망되고 있다.
도 7은 종래예의 주요부 설명도로서, 차량 검출부(70)에 의해 통과 차량이 촬영 위치에 도달한 것을 검출하고, 그 검출 신호를 인식 처리부(72)에 입력한다. 인식 처리부(72)는 촬영부(71)에 통과 차량의 촬영 지시를 행한다. 촬영부(71)는 촬영 지시에 따라 차량을 촬영하고, 그 화상 신호를 인식 처리부(72)와 화상 전송부(74)에 전송한다. 인식 처리부(72)는 촬영한 차량의 화상 중 특정 문자 패턴 영역을 추출하고, 그 특정 문자 패턴 영역내의 문자, 숫자에 의한 차량 특정 문자 패 턴을 인식한다. 이 차량 특정 문자 패턴의 인식 처리는 1문자분의 캡처링과, 캡처링한 문자에 대해서 패턴 매칭, 특징 추출에 의한 대조 등의 각종 수단이 알려져 있다. 또 이 종래예는 차량이 촬영 위치를 통과했을 때에 만 그 차량을 촬영부(71)에 의해 촬영하는 것이다.
또, 대조부(73)는 미리 특정한 차량 특정 문자 패턴을 등록해 두고, 인식 처리부(72)에서 인식한 차량 특정 문자 패턴을 대조부(73)에 전송하여 등록된 차량 특정 문자 패턴과 대조하고, 대조 결과를 인식 처리부(72)에 전송한다. 인식 처리부(72)는 대조부(73)로부터의 대조 일치 신호를 수신하면, 이 대조 일치한 차량 특정 문자 패턴을 화상 전송부(74)에 전송한다. 화상 전송부(74)는 이 차량 특정 문자 패턴과 촬상 화상 신호를 화상 기록/표시부(75)에 전송한다. 화상 기록/표시부(75)는 일시 정보와 촬영 지점 정보를 부가하여 기록하고, 필요에 따라, 차량 특정 문자 패턴, 일시, 촬영 지점 등의 정보를 기초로 검색하여 판독하여 모니터에 표시하여, 육안으로의 확인을 가능하게 한다(예컨대, 특허문헌 1 참조).
또, 촬상 화상 신호로부터 특정 문자 패턴상의 차량 특정 문자 패턴을 인식하고, 그 촬상 화상 신호를 압축 처리하며, 인식한 차량 특정 문자 패턴을 부가하여 기록한다. 이 기록 내용을 차량 특정 문자 패턴을 기초로 하여 판독하고, 판독한 압축 화상 신호를 신장 처리하여 모니터에 표시하는 수단도 알려져 있다(예컨대, 특허문헌 2 참조).
또, 복수의 감시 범위 중 하나의 감시 범위를 선택하고, 그 감시 범위에 대응하여 화상 신호의 압축율, 전송 시간을 전환하여 전송하는 원격 감시 수단이 알 려져 있다. 예컨대, 피감시 대상물이 고속 이동하는 선택 감시 범위의 경우는, 압축율을 높게 하여 고속 전송하고, 모니터 화면을 고속 이동하는 피감시 대상물에 따라 변화하도록 한다. 또 피감시 대상물이 저속 이동하는 선택 감시 범위의 경우는 압축율을 낮게 하여 저속 전송하고, 모니터 화면의 해상도를 높게 하여 표시한다(예컨대, 특허문헌 3 참조).
[특허문헌 1] 일본 특허 공개 평성 제9-282590호 공보
[특허문헌 2] 일본 특허 공개 평성 제9-261620호 공보
[특허문헌 3] 일본 특허 공개 평성 제9-37232호 공보
전술한 바와 같이, 차량을 특정하는 문자 패턴을 촬영하고, 화상 처리에 의해 특정 문자 패턴을 추출하여 문자 인식 처리를 행하며, 인식한 문자 패턴을 기초로 하여 차량 감시를 행할 수 있다. 그러나, 특정 문자 패턴의 부착 각도나 더러워진 상태 및 날씨에 따라 촬영 조건이 크게 차이가 난다. 따라서, 악조건의 경우에는, 화상 처리에 의한 문자 패턴의 인식이 곤란해진다. 이러한 차량의 특정 문자 패턴의 자동 인식 처리가 곤란한 경우, 촬상 화상 신호를 모니터에 입력하여 표시하고, 그 표시 화면을 기초로 육안으로 특정 문자 패턴의 영역을 식별하여 차량 특정 문자 패턴을 인식하는 수단을 사용할 수 있다.
그러나, 모니터 설치 장소와, 예컨대, 도 7에 도시된 화상 전송부(74)가 떨어진 위치에 설치되어 있는 경우, 회선을 통해 화상 데이터를 전송하게 되지만, 그 화상 데이터를 압축 처리했다고 하여도, 1화면 분에 대해서는 데이터량이 많기 때 문에, 고속 전송로를 필요로 하게 된다. 따라서, 저레이트의 네트워크를 통해 센터와 분산 배치된 촬영 처리부 사이를 접속하여 원격적으로 차량 감시를 행하는 것은 곤란하였다.
본 발명은 차량의 특정 문자 패턴의 인식 결과에 따른 압축 범위, 압축율을 제어하여 전송 데이터를 삭감하는 것을 목적으로 한다.
본 발명의 차량 감시 방법은 촬영 화상 데이터를 기초로 차량의 특정 문자 패턴 영역을 추출하여 문자 패턴의 인식 처리를 행하고, 인식한 문자 패턴을 기초로 하여 차량 감시를 행하는 방법으로서, 차량 특정 문자 패턴의 인식 처리 결과가 문자 패턴을 인식할 수 없는 것을 나타낼 때에, 촬영 화상 데이터로부터 거의 차량 전체를 포함하는 차량 영역을 캡처링하여, 저압축율로 압축하여, 기록 또는 전송한다. 또 차량 특정 문자 패턴의 일부만을 인식할 수 있었던 것을 나타낼 때에, 촬영 화상 데이터로부터 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하고, 기록 또는 전송한다. 또 차량 특정 문자 패턴의 전부를 인식할 수 있었던 것을 나타낼 때에, 촬영 화상 데이터로부터 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하고, 기록 또는 전송하는 과정을 포함하는 것이다. 따라서, 차량 특정 문자 패턴을 전부 인식할 수 있었을 때에는 면적이 비교적 작은 특정 문자 패턴 영역을 고압축율로 압축한 화상 데이터로서 전송하기 때문에, 저레이트 회선이라도 용이하게 전송할 수 있게 된다.
또 본 발명의 특정 문자 패턴 인식 장치는 촬영부에 의한 촬영 화상 데이터 를 일시 기억하는 프레임 메모리와, 촬영 화상 데이터로부터 차량을 포함하는 차량 영역을 캡처링하고, 이 차량 영역으로부터 특정 문자 패턴 영역을 캡처링하는 화상 처리 기능과, 특정 문자 패턴 영역의 문자 패턴을 인식 처리하는 문자 인식 처리 기능을 포함하는 인식 처리부와, 이 인식 처리부에 의한 문자 패턴의 인식 처리 결과가 문자 패턴을 인식할 수 없는 것을 나타낼 때에, 압축 범위를 차량 영역, 압축율을 저압축율로 하고, 문자 패턴의 일부만을 인식할 수 있었던 것을 나타낼 때에, 압축 범위를 특정 문자 패턴 영역, 압축율을 저압축율로 하고, 문자 패턴의 전부를 인식할 수 있었던 것을 나타낼 때에, 압축 범위를 특정 문자 패턴 영역, 압축율을 고압축율로 판정하는 압축 범위·압축율 판정부와, 이 압축 범위·압축율 판정부의 판정 결과에 따라 프레임 메모리로부터 압축 범위의 영역을 캡처링하여 압축율에 대응하여 압축 처리하는 화상 압축부와, 이 화상 압축부에 의해 압축된 화상 데이터를 전송하는 송수신부를 구비하고 있다.
또 화상 압축부에 의해 압축 처리된 화상 데이터를 차량 특정 문자 패턴의 인식 결과와 함께 저장하는 데이터 보존부를 구비할 수 있다.
또 검색 지시된 차량 특정 문자 패턴과, 데이터 보존부에 저장된 인식 결과의 차량 특정 문자 패턴을 대조하여, 대조 일치일 때에 데이터 보존부에 저장된 데이터를 판독하여 송출하는 제어를 행하는 대조 처리부를 구비할 수 있다.
또 본 발명의 차량 감시 시스템은 촬영부에 의한 촬영 화상 데이터를 처리하여 차량 특정 문자 패턴을 인식하는 인식 장치(7)와, 복수의 인식 장치와 회선(6)을 통해 접속한 센터(1)를 포함하는 차량 감시 시스템으로서, 인식 장치(7)는 촬영 화상 데이터를 기초로 하여 차량 특정 문자 패턴의 인식 처리를 행하여, 이 문자 패턴을 인식할 수 없을 때에는 촬영 화상 데이터로부터 차량 영역을 캡처링하여 저압축율로 압축하고, 문자 패턴의 일부만 인식할 수 있었을 때에는, 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하고, 문자 패턴의 전부를 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하며, 기록 또는 송출하는 구성을 가지며, 센터(1)는 인식 장치로부터의 압축 데이터를 회선(6)을 통해 수신하여 저장하는 관리 테이블(4) 및 표시하는 표시부(3)를 갖는 것이다.
본 발명의 차량 감시 방법은 차량 특정 문자 패턴의 인식 처리 결과가 문자 패턴을 인식할 수 없는 것을 나타낼 때에, 촬영 화상 데이터로부터 거의 차량 전체를 포함하는 차량 영역을 캡처링하여 저압축율로 압축하고, 기록 또는 전송한다. 또 차량 특정 문자 패턴의 일부만을 인식할 수 있었던 것을 나타낼 때에, 촬영 화상 데이터로부터 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하고, 기록 또는 전송한다. 또한 차량 특정 문자 패턴의 전부를 인식할 수 있었던 것을 나타낼 때에, 촬영 화상 데이터로부터 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하고, 기록 또는 전송하는 과정을 포함하는 것이다.
본 발명의 특정 문자 패턴 인식 장치는 촬영부에 의한 촬영 화상 데이터를 일시 기억하는 프레임 메모리와, 촬영 화상 데이터로부터 차량을 포함하는 차량 영역을 캡처링하고, 이 차량 영역으로부터 특정 문자 패턴 영역을 캡처링하는 화상 처리 기능과, 특정 문자 패턴 영역의 문자 패턴을 인식 처리하는 문자 인식 처리 기능을 포함하는 인식 처리부와, 이 인식 처리부에 의한 문자 패턴의 인식 처리 결 과가 문자 패턴을 인식할 수 없는 것을 나타낼 때에, 압축 범위를 차량 영역으로 하고, 그 압축율을 저압축율로 하며, 또 문자 패턴의 일부만을 인식할 수 있었던 것을 나타낼 때에, 압축 범위를 특정 문자 패턴 영역으로 하고, 그 압축율을 저압축율로 하며, 또 문자 패턴의 전부를 인식할 수 있었던 것을 나타낼 때에, 압축 범위를 특정 문자 패턴 영역으로 하고, 그 압축율을 고압축율로 하는 압축 범위·압축율 판정부와, 이 압축 범위·압축율 판정부의 판정 결과에 따라 프레임 메모리로부터 압축 범위의 영역을 캡처링하여 압축율에 대응하여 압축 처리하는 화상 압축부와, 이 화상 압축부에 의해 압축된 화상 데이터를 전송하는 송수신부를 구비하고 있다.
본 발명의 차량 감시 시스템은 촬영부에 의한 촬영 화상 데이터를 처리하여 차량 특정 문자 패턴을 인식하는 인식 장치(7)와, 복수의 인식 장치와 회선(6)을 통해 접속한 센터(1)를 포함하고, 인식 장치(7)는 촬영 화상 데이터를 기초로 차량 특정 문자 패턴의 인식 처리를 행하여, 이 문자 패턴을 인식할 수 없을 때에는 촬영 화상 데이터로부터 차량 영역을 캡처링하여 저압축율로 압축하고, 문자 패턴의 일부만 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하고, 문자 패턴의 전부를 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하고, 기록 또는 송출하는 구성을 가지며, 센터(1)는 인식 장치로부터의 압축 데이터를, 회선(6)을 통해 수신하여 저장하는 관리 테이블(4) 및 표시하는 표시부(3)를 구비하고 있다.
[실시예 1]
도 1은 본 발명의 실시예 1의 개요 설명도로서, 1은 센터, 2는 제어 처리부, 3은 표시부, 4는 데이터 관리 테이블, 5는 교환망(네트워크), 6은 전화 회선 등의 회선, 7은 인식 장치, 8은 카메라, 9는 차량을 나타낸다. 센터(1)와 인식 장치(7) 사이를 교환망(5)에 수용된 회선(6)을 통해 접속하여 차량 감시 시스템을 구성한 경우를 나타낸다. 또 인식 장치(7)는 고속도로나 일반도로 혹은 주차장 등에 분산 배치하고, 센터(10)와 회선을 통해 접속하여, 차량 감시 시스템을 구성할 수도 있다.
또 카메라(8)는 고속도로나 일반도로를 주행하는 차량을 촬영하는 위치 혹은 주차장에 출입하는 차량, 혹은, 주차중인 차량을 촬영하는 위치에 배치한다. 또 인식 장치(7)는 화상 처리 기능, 문자 패턴 인식 처리 기능, 데이터의 송수신 기능 등을 갖추고 있고, 카메라(8)에 의한 화상 데이터를 화상 처리 기능에 의해 처리하여 차량(9)의 특정 문자 패턴 영역을 추출하며, 문자 인식 처리 기능에 의해 차량 특정 문자 패턴을 인식하고, 이 경우의 인식 처리 결과에 대응하여 촬영 화상 데이터로부터 차량(9)의 전체를 포함하는 영역 또는 특정 문자 패턴 영역을 캡처링하면서 압축율을 선택하여 송수신 기능에 의해 회선(6)을 통해 센터(1)에 송출한다.
이 경우의 전송 데이터는 도시한 바와 같이, 특정 문자 패턴 정보와 화상 압축 데이터를 포함하고, 예컨대, 특정 문자 패턴 정보로서, 헤더 정보, 지점 정보, 시간 정보, 인식 결과의 차량 특정 문자 패턴인 예컨대 「12345」를 포함하며, 또 화상압축 데이터로서, 차량 영역인지 특정 문자 패턴 영역인지의 압축 범위와, 화질, 압축 데이터 길이, 압축 데이터를 포함하는 것이다.
또 센터(1)의 제어 처리부(2)는 데이터 관리 테이블(4)을 구비하고 있고, 이 데이터 관리 테이블(4)은 인식 장치(7)로부터 회선(6)을 통해 전송된 전송 데이터를 저장하는 것으로, 일부 생략하여 도시하는 차량 특정 문자 패턴과, 압축 범위내의 화상 데이터, 화질, 시간을 포함하는 것이다.
예컨대, 항 번호 1의 특정 문자 패턴란의 「12345」는 차량 특정 문자 패턴을 전부 인식할 수 있었던 경우를 나타내고, 화상 데이터는 플레이트부, 화질은 낮은 것을 나타낸다. 즉, 압축 범위를 특정 문자 패턴 영역으로 하고, 재생 화질은 낮아도 되도록 압축율을 높게 하는 것이다. 또 항 번호 3의 특정 문자 패턴란의 「?」는 차량 특정 문자 패턴을 전부 인식할 수 없었던 경우를 나타내고, 그 경우의 화상 데이터는 차량 전체로 하고, 화질은 높은 것을 나타낸다. 즉, 압축 범위를 차량 영역으로 하고, 재생 화질이 높아지도록, 압축율은 낮게 하는 것이다. 또 항 번호 4의 특정 문자 패턴란의 「12?45」는 차량 특정 문자 패턴의 「?」의 문자를 인식할 수 없는 경우에, 화상 데이터는 특정 문자 패턴부, 화질은 높은 것을 나타낸다. 즉, 압축 범위를 특정 문자 패턴 영역으로 하고, 재생 화질이 좋아지도록, 압축율을 낮게 하는 것이다.
제어 처리부(2)의 제어에 의해 데이터 관리 테이블(4)의 예컨대 항 번호 3의 화상 데이터를 판독하여 표시부(3)에 표시하면, 저압축율의 차량 영역의 압축 데이터를 복원하여 표시하게 되기 때문에, 고화질로 차량을 표시할 수 있다. 따라서, 그 표시 화면을 육안으로 특정 문자 패턴 영역을 확인하고, 그 특정 문자 패턴 영역내의 문자를 판독하는 것이 가능해진다. 그 경우, 특정 문자 패턴란을 육안으로 확인할 수 있었던 차량 특정 문자 패턴으로 수정할 수 있다. 또 전 화면을 압축 처리하는 경우에 비하여 차량 영역만을 압축 처리하는 것이기 때문에, 데이터량을 삭감할 수 있다.
또 항 번호 4의 화상 데이터를 판독하여 표시부(3)에 표시하면, 특정 문자 패턴 부분을 고화질로 표시할 수 있다. 따라서, 자동 인식할 수 없었던 「?」의 문자를 육안으로 확인하는 것이 용이해진다. 이 경우도, 확인할 수 있었던 내용에 따라 데이터 관리 테이블(4)의 특정 문자 패턴란을 수정할 수 있다. 이 경우, 특정 문자 패턴 영역만을 압축 처리하여 전송하는 것이기 때문에, 전 화면 또는 차량 영역을 압축 처리하는 경우에 비하여 데이터를 삭감할 수 있다.
또 항 번호 1, 2, 6과 같이, 차량 특정 문자 패턴을 전부 자동 인식할 수 있었던 경우는, 특정 문자 패턴 영역을 화질이 낮아도 되도록 압축 처리하기 때문에, 데이터량을 더욱 삭감할 수 있다. 이 경우, 이미 자동 인식할 수 있었던 특정 문자 패턴을 표시부(3)에 표시했을 때, 화질이 낮아도 재확인은 용이해진다.
도 2는 본 발명의 실시예 1의 시스템 설명도로서, 10은 센터, 11은 송수신부, 12는 제어 처리부, 13은 표시부, 14는 관리 테이블, 20은 특정 문자 패턴 인식 장치, 21은 인식 처리부, 22는 프레임 메모리, 23은 압축 범위·압축율 판정부, 24는 화상 압축부, 25는 송수신부, 30은 촬영부, 40은 전화 회선 등의 회선을 나타낸다. 센터(10)는 도 1에 있어서의 센터(1)에 대응하고, 특정 문자 패턴 인식 장치(20)는 도 1에 있어서의 센터 인식 장치(7)에 대응하며, 촬영부(30)는 도 1에 있어서의 카메라(8)에 대응하고, 회선(40)은 도 1에 있어서의 회선(6)에 대응한다. 또 제어 처리부(12)는 도 1에 있어서의 제어 처리부(2)에 대응하고, 표시부(13)는 도 1에 있어서의 표시부(3)에 대응하며, 관리 테이블(14)은 도 1에 있어서의 데이터 관리 테이블(4)에 대응한다. 또 도 1에 있어서의 네트워크(5)에 대해서는 도시를 생략하고 있다.
촬영부(30)는 TV 카메라와 같이 소정의 프레임 주기로 연속적으로, 차량의 통과 위치 혹은 주차 위치를 촬영 범위로 할 수 있는 것이다. 또, 이것에 대하여, 차량이 촬영 범위 내에 존재하는 경우만 촬영하는 구성으로 하는 것도 물론 가능하다. 이 촬영부(30)에 의한 화상 신호를 디지털화하여 인식 처리부(21)의 프레임 메모리(22)에 저장한다. 전술한 바와 같이, 연속적으로 촬영하는 경우, 인식 처리부(21)에 있어서는, 소정 시간 간격의 프레임간 차분에 의해 도로 등의 배경 부분과 이동하는 차량 부분을 구별할 수 있기 때문에, 그 차량을 포함하는 영역을 캡처링할 수 있다. 그리고, 그 차량 영역내의 특정 문자 패턴 영역을 캡처링하여, 특정 문자 패턴 영역내의 문자 인식 처리를 행한다.
압축 범위·압축율 판정부(23)는 인식 처리부(21)에 있어서의 차량 특정 문자 패턴의 인식 처리 결과에 따라 압축 범위 및 압축율을 제어한다. 전술한 바와 같이, 차량 특정 문자 패턴을 인식할 수 없을 때에는 압축 범위를 차량 영역으로 하고, 그 압축율을 낮게 한다. 또 차량 특정 문자 패턴을 전부 인식할 수 있었을 때에는 압축 범위를 특정 문자 패턴 영역으로 하고, 그 압축율을 높게 한다. 또 차량 특정 문자 패턴의 일부는 인식할 수 있고, 나머지를 인식할 수 없을 때에는 압축 범위를 특정 문자 패턴 영역으로 하고, 그 압축율을 낮게 한다.
화상 압축부(24)는 압축 범위·압축율 판정부(23)로부터의 판정 신호에 따라 프레임 메모리(22)의 화상 데이터의 영역의 캡처링과, 압축 처리를 행하고, 압축 화상 데이터를 압축 범위·압축율 판정부(23)를 통해 혹은 직접적으로 송수신부(25)로 전송하며, 회선(40)을 통해 센터(10)에 송신한다.
센터(10)에 있어서는, 송수신부(11)에 있어서 수신한 압축 화상 데이터를 제어 처리부(12)의 제어에 의해 관리 테이블(14)에 일단 저장하고, 차량 특정 문자 패턴을 자동 인식할 수 없었던 차량에 대해서 자동적으로 혹은 오퍼레이터의 지시에 의해 관리 테이블(14)로부터 판독하여 압축율에 대응하여 신장 처리하고, 표시부(13)에 표시한다. 이 경우, 차량 영역을 고화질로 표시할 수 있기 때문에, 그 표시 화면에 의해 차량 특정 문자 패턴을 눈으로 확인함으로 인식할 수 있는 가능성이 높아진다.
도 3은 본 발명의 실시예 1의 흐름도로서, 촬영부(30; 도 2 참조)로부터의 촬영 화상 신호를 디지털화하여 프레임 메모리(22)에 기록하고(A1), 배경 화상 데이터와 이번 촬상 화상 데이터와의 차분 데이터(차량의 윤곽)를 추출한다(A2). 이 차분 데이터는 전술한 바와 같이, 도로 등의 시간 경과에 따라서도 동일 화면이 되는 배경 화면과, 차량 등의 배경 화면과 다른 화면과의 차분을 나타내고, 따라서, 이동한 차량을 포함하는 차분 데이터가 되기 때문에, 이 차분 데이터로부터 차량을 포함하는 영역을 캡처링한다(A3).
그리고, 차량을 인식할 수 있었는지 여부를 판정한다(A4). 즉, 차량은 각종 형상을 갖는 것이지만, 보행자 등과는 다른 크기 및 형상을 갖기 때문에, 차량과 그 이외의 이동 물체를 구별할 수 있다. 그리고, 차분 데이터로부터 차량을 인식할 수 없는 경우는 단계 (A1)로 이행하고, 차량을 인식할 수 있었던 경우는 단계 (A5)로 이행한다.
단계 (A5)에 있어서는, 특정 문자 패턴 영역의 추출 처리를 행하는 것으로, 예컨대, 수평 방향과 수직 방향에 대한 막대그래프를 작성하고, 이 막대그래프를 기초로 직사각형의 특정 문자 패턴의 영역을 추출할 수 있다. 혹은, 특정 문자 패턴의 배경색을 예컨대 흰색으로 하면, 거의 직사각형으로 문자 이외의 배경색이 흰색인 영역을 특정 문자 패턴의 영역으로서 추출할 수도 있다.
그리고, 특정 문자 패턴을 인식할 수 있었는지 여부를 판정하고(A6), 판정할 수 있었을 때에는 문자를 캡처링하고, 특정 문자 패턴을 수치화한다(A7). 즉, 캡처링한 문자 영역을 패턴 매칭이나 특징점 추출 등에 의해 문자 인식을 행한다. 다음에, 모든 특정 문자 패턴을 수치화할 수 있었는지 여부, 즉, 차량 특정 문자 패턴을 전부 인식할 수 있었는지 여부를 판정하고(A8), 판정할 수 있었던 경우는 캡처링한 차량 특정 문자 패턴 영역을 압축율 중시, 즉, 고압축율로 압축한다(A9).
또 모든 특정 문자 패턴을 수치화할 수 없었을 경우, 즉, 차량 특정 문자 패턴의 일부만 인식할 수 있었을 경우는, 인식할 수 있었던 특정 문자 패턴을 수치화하고(A12), 캡처링한 특정 문자 패턴 영역을 화질 중시, 즉, 저압축율로 압축한다(A13). 또 특정 문자 패턴을 인식할 수 없는 경우, 혹은, 차량 특정 문자 패턴을 전혀 인식할 수 없었을 경우는, 캡처링한 차량을 포함하는 영역을 화질 중시, 즉, 저압축율로 압축한다(A11). 그리고, 도 1에 도시한 바와 같은 전송 데이터를 작성 하고, 압축 화상 데이터를 특정 문자 패턴 인식 장치(20)로부터 센터(10)로 송신한다.(A10).
도 4는 압축 범위의 설명도로서, (a)는 촬영부(30; 도 2 참조)에 의한 촬영 화상을 나타내고, 예JS대, 프레임 메모리(22)에 저장된 화상 데이터에 의한 화면을 도시하게 된다. 그리고, 특정 문자 패턴의 추출을 할 수 없는 경우, 또는 차량 특정 문자 패턴의 자동 인식을 전혀 할 수 없는 경우, (b)에 도시한 바와 같이, 차량 영역을 캡처링하여 화질을 중시하기 위하여 화상 압축부(24)에서 저압축율로 압축한다.
따라서, 이 경우의 압축 화상 데이터를 센터(10)에서 수신하고, 복원하여 표시부(13)에 표시하면, 화질이 좋은 차량의 화상을 표시하게 되며, 육안으로 특정 문자 패턴을 확인하여 차량 특정 문자 패턴을 인식할 수 있는 가능성을 높게 할 수 있다.
또 차량 특정 문자 패턴의 일부만을 자동 인식할 수 있었을 때에는 특정 문자 패턴 영역을 저압축율로 압축한다. 따라서, (c) 또는 (d)에 도시된 특정 문자 패턴 영역을 저압축율로 압축한 화상 데이터를 센터(10)에서 수신하고, 복원하여 표시부(13)에 표시했을 때에, 화질이 좋은 특정 문자 패턴 영역의 표시 화면이 되기 때문에, 육안으로의 차량 특정 문자 패턴의 인식 가능성을 높게 할 수 있다.
[실시예 2]
도 5는 본 발명의 실시예 2의 시스템 설명도로서, 도 2와 동일 부호는 동일 부분을 나타내고, 26은 데이터 보존부이다. 이 데이터 보존부(26)는 반도체 집적 회로 메모리나 하드디스크 장치 등의 화상 데이터를 축적하는 구성을 가지며, 화상 압축부(24)에 있어서 압축 범위·압축율 판정부(23)의 판정 결과에 의한 압축 데이터 및 인식 처리부(21)에 있어서의 차량 특정 문자 패턴의 인식 결과를 축적하는 것이다. 예컨대, 도 1에 도시된 전송 데이터의 포맷 혹은 데이터 관리 테이블(4)에 해당하는 포맷으로 압축 데이터를 데이터 보존부(26)에 축적한다.
그리고, 센터(10)로부터 시간 지정이나 차량 특정 문자 패턴 지정 등에 따라 데이터 보존부(26)를 검색하고, 검색 추출한 압축 데이터를 판독하여 예컨대 도 1에 도시된 전송 데이터의 포맷으로 송수신부(25)로부터 회선(40)으로 송출한다. 따라서, 이 실시예 2에 있어서는, 센터(10)에 있어서 필요로 하는 경우만, 특정 문자 패턴 인식 장치(20)로부터, 자동 인식한 차량 특정 문자 패턴과 압축 화상 데이터를 수집할 수 있다.
도 6은 본 발명의 실시예 3의 시스템 설명도로서, 도 2 또는 도 5와 동일 부호는 동일 부분을 나타내고, 27은 대조 처리부이다. 대조 처리부(27)는 센터(10)로부터 특정한 차량 특정 문자 패턴을 지정했을 때에, 데이터 보존부(26)에 보존된 차량 특정 문자 패턴을 검색하고, 지정 차량 특정 문자 패턴과 인식 차량 특정 문자 패턴을 대조하여 대조 일치의 경우에, 데이터 보존부(26)로부터 예컨대 도 1에 도시된 전송 데이터의 포맷에 따라 화상 압축 데이터를 판독하고, 송수신부(25)로부터 회선(6)을 통해 센터(10)로 송신한다.
본 발명은 전술한 각 실시예에만 한정되는 것이 아니라, 여러 가지 부가 변경하는 것이 가능하며, 예컨대, 카메라(8) 또는 촬영부(30)는 디지털·카메라로 하 고, 일정 시간 간격으로 촬영하는 구성으로 하는 것도 가능하다. 또 프레임 메모리(22)를 2면 구성으로 하여 차분 데이터를 구하는 경우의 처리를 용이하게 하는 것도 가능하다. 또 압축율을 차량 특정 문자 패턴의 인식할 수 있었던 수에 대응하여 다단층으로 전환하도록 제어하는 것도 가능하다.
차량 특정 문자 패턴의 자동 인식에 있어서의 인식 결과에 대응하여 촬영 화상 데이터의 영역 및 압축율을 선택하는 것으로, 차량 특정 문자 패턴을 인식할 수 없는 경우에도, 전화면이 아니라 차량 영역을 압축 처리하기 때문에, 데이터량을 삭감할 수 있다. 또 센터(1)의 표시부(3)에 표시했을 때에, 고화질로 차량 부분을 표시할 수 있기 때문에, 육안으로 확인함으로써 차량 특정 문자 패턴의 인식 가능성을 높게 할 수 있다. 또 차량 특정 문자 패턴을 인식할 수 있었을 때에는 추가로 면적이 작은 특정 문자 패턴 영역을 압축 처리하기 때문에, 데이터량을 더욱 삭감하는 것이 가능해지고, 저레이트 회선을 통해서도 용이하게 전송할 수 있게 된다. 또 차량 특정 문자 패턴의 인식율은 비교적 높기 때문에, 연속적으로 압축 데이터를 전송하는 경우라도 대부분은 특정 문자 패턴 영역의 고압축 데이터가 되고, 인식한 차량 특정 문자 패턴 등의 데이터를 포함시켜도 전송 데이터량은 적기 때문에, 저속의 회선이라도 용이하게 전송할 수 있다.

Claims (5)

  1. 촬영 화상 데이터를 기초로 하여 차량의 특정 문자 패턴 영역을 추출하여 문자 패턴의 인식 처리를 행하고, 인식한 문자 패턴을 기초로 하여 차량 감시를 행하는 방법에 있어서,
    상기 문자 패턴 인식 처리 결과가 그 차량의 문자 패턴을 인식할 수 없는 것을 나타낼 때에는, 상기 촬영 화상 데이터로부터 거의 차량 전체를 포함하는 차량 영역을 캡처링하여 저압축율로 압축하여, 기록 또는 전송하는 단계와,
    상기 차량의 특정 문자 패턴의 일부만을 인식할 수 있는 것을 나타낼 때에는, 상기 촬영 화상 데이터로부터 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하여, 기록 또는 전송하는 단계와, 상기 차량의 특정 문자 패턴의 전부를 인식할 수 있었던 것을 나타낼 때에는,
    상기 촬영 화상 데이터로부터 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하여, 기록 또는 전송하는 단계를 포함하는 것을 특징으로 하는 차량 감시 방법.
  2. 촬영부에 의한 촬영 화상 데이터를 일시 기억하는 프레임 메모리와, 상기 촬영 화상 데이터로부터 차량을 포함하는 차량 영역을 캡처링하여 그 차량 영역으로부터 특정 문자 패턴 영역을 캡처링하는 화상 처리 기능과, 그 특정 문자 패턴 영역의 문자 패턴을 인식 처리하는 문자 인식 처리 기능을 포함하는 인식 처리부와,
    상기 인식 처리부에 의한 문자 패턴의 인식 처리 결과가 문자 패턴을 인식할 수 없는 것을 나타낼 때에는, 압축 범위를 차량 영역, 압축율을 저압축율로 하고, 문자 패턴의 일부만을 인식할 수 있었던 것을 나타낼 때에는, 압축 범위를 특정 문자 패턴 영역, 압축율을 저압축율로 하며, 문자 패턴의 전부를 인식할 수 있었던 것을 나타낼 때에는, 압축 범위를 특정 문자 패턴 영역, 압축율을 고압축율로 판정하는 압축 범위·압축율 판정부와,
    상기 압축 범위·압축율 판정부의 판정 결과에 따라 상기 프레임 메모리로부터 압축 범위의 영역을 캡처링하여 압축율에 따라 압축 처리하는 화상 압축부와,
    상기 화상 압축부에 의해 압축된 화상 데이터를 전송하는 송수신부를 구비하는 것을 특징으로 하는 특정 문자 패턴 인식 장치.
  3. 제2항에 있어서, 상기 화상 압축부에 의해 압축 처리된 화상 데이터를 차량특정 문자 패턴의 인식 결과와 함께 저장하는 데이터 보존부를 구비하는 것을 특징으로 하는 특정 문자 패턴 인식 장치.
  4. 제3항에 있어서, 검색 지시된 차량 특정 문자 패턴과 상기 데이터 보존부에 저장된 인식 결과의 차량 특정 문자 패턴을 대조하여, 대조가 일치할 때에 상기 데이터 보존부에 저장된 데이터를 판독하여 송출하여 제어하는 대조 처리부를 구비하는 것을 특징으로 하는 특정 문자 패턴 인식 장치.
  5. 촬영부에 의한 촬영 화상 데이터를 처리하여 차량 특정 문자 패턴을 인식하는 청구항 제2항에 기재한 특정 문자 패턴 인식 장치와, 복수의 특정 문자 패턴 인식 장치와 회선을 통해 접속한 센터를 포함하는 차량 감시 시스템에 있어서,
    상기 특정 문자 패턴 인식 장치는 상기 촬영 화상 데이터를 기초로 하여 문자 패턴의 인식 처리를 행하고, 그 차량의 특정 문자 패턴을 인식할 수 없을 때에는 상기 촬영 화상 데이터로부터 차량 영역을 캡처링하여 저압축율로 압축하며, 문자 패턴의 일부만 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 저압축율로 압축하고, 문자 패턴의 전부를 인식할 수 있었을 때에는 특정 문자 패턴 영역을 캡처링하여 고압축율로 압축하여 기록 또는 송출하는 구성을 가지며,
    상기 센터는 상기 특정 문자 패턴 인식 장치로부터의 압축 데이터를 회선을 통해 수신하여 저장하는 관리 테이블 및 표시하는 표시부를 구비하는 것을 특징으로 하는 차량 감시 시스템.
KR1020050035368A 2005-01-20 2005-04-28 차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시시스템 KR100696226B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00012376 2005-01-20
JP2005012376A JP2006202000A (ja) 2005-01-20 2005-01-20 車両監視方法及び特定文字パターン認識装置及び車両監視システム

Publications (2)

Publication Number Publication Date
KR20060084772A KR20060084772A (ko) 2006-07-25
KR100696226B1 true KR100696226B1 (ko) 2007-03-22

Family

ID=36682561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050035368A KR100696226B1 (ko) 2005-01-20 2005-04-28 차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시시스템

Country Status (4)

Country Link
US (1) US20060157012A1 (ko)
JP (1) JP2006202000A (ko)
KR (1) KR100696226B1 (ko)
CN (1) CN1808516A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19960887A1 (de) * 1999-12-17 2001-06-21 Robot Foto Electr Kg Ortsinformation bei Dateikompression
JP4731568B2 (ja) * 2005-10-31 2011-07-27 パイオニア株式会社 情報記録装置、情報記録方法、情報記録プログラムおよび記録媒体
CN101187982B (zh) * 2006-11-17 2011-08-24 东软集团股份有限公司 一种用于从图像中分割出对象的方法及装置
US8509571B2 (en) * 2008-06-11 2013-08-13 Panasonic Corporation Pattern recognition apparatus, pattern recognition method, image processing apparatus, and image processing method
EP2549755B1 (en) * 2010-03-18 2017-09-27 Panasonic Intellectual Property Corporation of America Data processing device and data processing method
US8736458B2 (en) 2010-04-29 2014-05-27 Signature Research, Inc. Weigh-in-motion scale
CN108108729B (zh) * 2016-11-25 2021-08-20 杭州海康威视数字技术股份有限公司 一种车牌类型的识别方法及装置
CN108270999A (zh) * 2018-01-26 2018-07-10 中南大学 一种目标检测方法、图像识别服务器及***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937232A (ja) * 1995-07-17 1997-02-07 Mitsubishi Denki Eng Kk 遠隔画像監視装置
KR970017025A (ko) * 1995-09-25 1997-04-28 김광호 주차관리 시스템에 있어서 차량영상 압축 및 복원방법
JPH09261620A (ja) * 1996-03-25 1997-10-03 Sanyo Electric Co Ltd 監視装置
JPH09282590A (ja) * 1996-04-11 1997-10-31 Mitsubishi Electric Corp 自動車ナンバ自動読取装置
KR19990007285A (ko) * 1997-06-25 1999-01-25 다까노 야스아끼 화상 데이타 압축 장치
KR19990041929A (ko) * 1997-11-25 1999-06-15 전주범 영상 부호화 시스템의 압축율 자동-변환 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5948038A (en) * 1996-07-31 1999-09-07 American Traffic Systems, Inc. Traffic violation processing system
JPH11167623A (ja) * 1997-12-03 1999-06-22 Canon Inc 画像処理装置及び画像処理方法
JP2001271616A (ja) * 2000-01-18 2001-10-05 Unisia Jecs Corp 可変動弁機構の制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937232A (ja) * 1995-07-17 1997-02-07 Mitsubishi Denki Eng Kk 遠隔画像監視装置
KR970017025A (ko) * 1995-09-25 1997-04-28 김광호 주차관리 시스템에 있어서 차량영상 압축 및 복원방법
JPH09261620A (ja) * 1996-03-25 1997-10-03 Sanyo Electric Co Ltd 監視装置
JPH09282590A (ja) * 1996-04-11 1997-10-31 Mitsubishi Electric Corp 自動車ナンバ自動読取装置
KR19990007285A (ko) * 1997-06-25 1999-01-25 다까노 야스아끼 화상 데이타 압축 장치
KR19990041929A (ko) * 1997-11-25 1999-06-15 전주범 영상 부호화 시스템의 압축율 자동-변환 장치

Also Published As

Publication number Publication date
KR20060084772A (ko) 2006-07-25
JP2006202000A (ja) 2006-08-03
US20060157012A1 (en) 2006-07-20
CN1808516A (zh) 2006-07-26

Similar Documents

Publication Publication Date Title
KR100696226B1 (ko) 차량 감시 방법과 특정 문자 패턴 인식 장치 및 차량 감시시스템
KR101116789B1 (ko) 감시 카메라 장치 및 영상 데이터 처리 방법
KR100946749B1 (ko) 영상인식 및 이미지의 학습 방법을 기반한 안개 감지 방법및 그 시스템
US7623678B2 (en) Image pick-up apparatus having a function of automatically picking-up an object image and automatic image pick-up method
KR100883632B1 (ko) 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법
US9761103B2 (en) Portable terminal having video surveillance apparatus, video surveillance method using the portable terminal, and video surveillance system
EP2903261A1 (en) Apparatus and method for detecting event from plurality of photographed images
JP3681152B2 (ja) テレビカメラの制御方法及びテレビカメラ
JP7428360B2 (ja) 車両監視システムおよび車両監視方法
CN110008771B (zh) 一种扫码***及扫码方法
KR101074850B1 (ko) 영상 검색 시스템
KR20090035798A (ko) 차량 번호판의 영상 저장 시스템 및 그 방법
KR100839815B1 (ko) 차량번호 인식 및 검색시스템 및 이를 이용한 차량번호인식 및 검색방법
JP4260325B2 (ja) 監視カメラシステム
JP5404453B2 (ja) 車両監視装置
KR20130062489A (ko) 객체추적 시스템 및 그 운영방법
KR101615243B1 (ko) 지능형 방범 영상 감시장치 및 영상 감시방법
JP3910749B2 (ja) 監視カメラシステム
KR100869139B1 (ko) 휴대용 단말기로 영상 입력되는 신호를 이용한 차량 번호판인식 시스템 및 그 인식 방법
JP4825479B2 (ja) 監視システム及び監視方法
JPH05189691A (ja) 文字検出装置および駐車検出装置
JP4205020B2 (ja) テレビカメラの制御方法及び画像記録装置の制御方法
KR20130085115A (ko) 차량용 영상기록장치 및 영상기록방법
KR100485419B1 (ko) 차량정보 인식 시스템
CN111524360A (zh) 埋入式车牌辨识筛选***及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100223

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee