KR100996449B1 - 아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법 - Google Patents

아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법 Download PDF

Info

Publication number
KR100996449B1
KR100996449B1 KR1020080097577A KR20080097577A KR100996449B1 KR 100996449 B1 KR100996449 B1 KR 100996449B1 KR 1020080097577 A KR1020080097577 A KR 1020080097577A KR 20080097577 A KR20080097577 A KR 20080097577A KR 100996449 B1 KR100996449 B1 KR 100996449B1
Authority
KR
South Korea
Prior art keywords
surveillance
video
network
image
surveillance video
Prior art date
Application number
KR1020080097577A
Other languages
English (en)
Other versions
KR20100038560A (ko
Inventor
이현철
신용선
Original Assignee
주식회사 씨앤비텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 씨앤비텍 filed Critical 주식회사 씨앤비텍
Priority to KR1020080097577A priority Critical patent/KR100996449B1/ko
Publication of KR20100038560A publication Critical patent/KR20100038560A/ko
Application granted granted Critical
Publication of KR100996449B1 publication Critical patent/KR100996449B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 IP 네트워크를 사용하는 IPTV 망을 이용하여 감시용 촬영 수단으로부터 제공되는 감시용 영상을 용이하게 백업 저장하는 것이 가능하고, 검색 및 모니터링이 가능하도록 하는 IP 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법을 제공한다.
이를 위해 본 발명은 주변 상황의 감시가 필요한 다수의 지역에 각각 배치되어 주변 지역을 촬영한 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따른 프로토콜을 적용하여 실시간 모니터링 및 백업 저장을 위해 전송하는 적어도 하나의 감시 영상 생성 수단과, 상기 적어도 하나의 감시 영상 생성 수단으로부터 전송되는 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따라 전송받아 모니터 장치에 화면 표시되도록 하고, 상기 감시 영상 생성 수단으로부터 발생되어 관리센터 장치에 의해 백업 저장된 감시 영상을 검색하여 원하는 영상을 전송받아 모니터 장치에 화면 표시되도록 하는 IP 셋탑 박스, 상기 감시 영상 생성 수단으로부터 전송되는 감시 영상이 저장 장치에 백업 저장되도록 관리하고, 백업 저장된 감시 영상이 IP 네트워크를 통해 IPTV 방송 방식으로 검색 및 전송되도록 하는 관리센터 장치를 포함하여 구성된 것을 특징으로 한다.

Description

아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법{System and Method for Managing Supervisory Video Using IP Network}
본 발명은 IP 네트워크를 이용한 IPTV 망을 활용하여 감시용 카메라 등으로부터 제공되는 감시 영상을 용이하게 관리할 수 있도록 하는 IP 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법에 관한 것이다.
일반적으로, 공중파 영상 텔레비전 방송이나 유선, 케이블 텔레비전 방송의 경우에는 방송국, 전송국 등으로부터 전송되는 방송 신호를 수신측 텔레비전 수상기에서 일방적으로 제공받아 시청하도록 하는 단방향 통신 방식으로 이루어지는 반면, 최근 서비스가 이루어지고 있는 IPTV(Internet Protocol Television) 방송 서비스의 경우에는 고속/초고속 인터넷 망을 통해 사용자가 원하는 영상 미디어나 방송 컨텐츠를 선택하여 시청할 수 있도록 하는 양방향 통신 방식으로 이루어진다.
이러한 IPTV 방송 서비스를 통해 IPTV를 이용하기 위해서는 텔레비전 수상기에 전용 모뎀이 탑재되어 있는 셋탑 박스(Set Top Box)를 구비하고, 그 셋탑 박스에 인터넷 회선을 연결할 수 있도록 되어 있고, 셋탑 박스용 전용 리모콘을 사용자가 조작하여 인터넷 검색은 물론 영화 감상, 홈쇼핑, 홈뱅킹, 온라인 게임, MP3 등 인터넷에서 제공되는 다양한 콘텐츠 및 부가 서비스를 제공받을 수 있다.
한편, 최근 범죄율의 급증과 더불어 보다 안전한 사회 환경의 조성을 위해 보안용 감시 시스템이 확대되고 있는 추세이고, 이러한 추세를 감안하여 보안용 감시 시스템에 적용되는 감시 카메라 등으로부터 얻어지는 감시 영상을 사용자가 효과적으로 모니터링할 뿐만 아니라, 보다 효율적이고 체계적으로 백업하여 관리할 필요성이 대두되고 있다.
이를 감안하여, 최근에는 편리한 IPTV 방송 서비스를 활용하여 보안용 감시 시스템으로부터의 감시 영상을 효과적으로 모니터링하고, 효율적으로 백업하여 관리하기 위한 새로운 방안이 절실히 요구되는 실정이다.
따라서, 본 발명은 상기한 종래의 사정을 감안하여 이루어진 것으로서, 그 목적은 IP 네트워크를 사용하는 IPTV 망을 이용하여 감시용 촬영 수단으로부터 제공되는 감시용 영상을 용이하게 백업 저장하는 것이 가능하고, 검색 및 모니터링이 가능하도록 하는 IP 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명의 시스템에 따르면, 주변 상황의 감시가 필요한 다수의 지역에 각각 배치되어 주변 지역을 촬영한 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따른 프로토콜을 적용하여 실시간 모니터링 및 백업 저장을 위해 전송하는 적어도 하나의 감시 영상 생성 수단과, 상기 적어도 하나의 감시 영상 생성 수단으로부터 전송되는 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따라 전송받아 모니터 장치에 화면 표시되도록 하고, 상기 감시 영상 생성 수단으로부터 발생되어 관리센터 장치에 의해 백업 저장된 감시 영상을 검색하여 원하는 영상을 전송받아 모니터 장치에 화면 표시되도록 하는 IP 셋탑 박스, 상기 적어도 하나의 감시 영상 생성 수단으로부터 전송되는 적어도 하나의 감시 영상이 저장 장치에 백업 저장되도록 관리하고, 상기 IP 셋탑 박스의 영상 조회 요청에 따라 백업 저장된 감시 영상이 IP 네트워크를 통해 IPTV 방송 방식으로 검색 및 전송되도록 하는 관리센터 장치 및, 상기 관리센터 장치의 영상 관리 처리에 따라 상기 적어도 하나의 감시 영상 생성 수단으로부터의 감시 영상을 각각 백업 저장하여 관리하는 저장 장치를 포함하여 구성된 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 시스템을 제공한다.
상기한 목적을 달성하기 위해 본 발명의 방법에 따르면, 주변 상황의 감시가 필요한 다수의 지역에 각각 배치되어 있는 각 감시 영상 생성 수단에서 주변 지역을 촬영한 감시 영상을 IPTV 방송 방식에 따른 프로토콜을 적용하여 IP 네트워크를 통해 전송하는 단계와, 관리센터 장치에서 상기 각 감시 영상 생성 수단으로부터의 감시 영상을 IP 네트워크를 통해 전송받아 저장 장치에 백업 저장하여 관리하는 단계 및, IP 셋탑 박스에서 상기 각 감시 영상 생성 수단에서 전송되는 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따라 전송받아 모니터 장치에 실시간으로 화면 표시되도록 하거나, 상기 관리센터 장치에 의해 저장 장치에 백업 저장된 감시 영상을 검색하여 원하는 영상을 전송받아 모니터 장치에 화면 표시되도록 하는 단계를 포함하여 이루어진 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 방법을 제공한다.
이상과 같이 본 발명에 따르면, IP 네트워크를 통한 IPTV 방송 서비스를 사용하여 다양한 감시 카메라, 디지털 비디오 레코더, 세대 비디오폰으로부터의 감시영상을 IPTV 방송으로 모니터링할 수 있도록 하고, 감시 영상을 백업 저장하여 데이터베이스화 관리할 수 있도록 하며, 백업 저장된 감시 영상을 IPTV 방송 서비스를 통해 검색 및 조회할 수 있도록 함에 따라, 양방향 통신 서비스가 가능한 IPTV를 이용하여 보안 감시가 용이하게 이루어질 수 있게 되면서, 보안 감시를 위한 다량의 장비 구축, 각기 다른 복잡한 네트워크의 구축에 소요되는 막대한 비용 및 인력을 대폭으로 절감하는 것이 가능하고, IPTV 방송 컨텐츠의 활용 폭이 증대됨에 의해 관련 시장의 확대 및 활성화를 꾀할 수 있다는 효과를 갖게 된다.
또한, 다양한 감시용 장비로부터의 서로 다른 영상 압축 포맷을 갖는 상이한 영상 데이터를 통일된 단일 압축 포맷으로 변환하여 관리할 수 있도록 함에 따라, 보다 일관되고 체계적인 감시 영상의 관리가 가능하다는 효과가 있다.
또, 본 발명에서는 데이터베이스화하여 관리되는 감시 영상을 암호화하고, 암호화된 감시 영상에 대한 조회 권한이 있는 사용자에 대해서만 사용자 인증을 통해 감시 영상의 검색 및 전송이 가능하도록 함에 따라, 개방적인 IPTV 방송 서비스 체계 하에서도 감시 영상의 보안 강화가 가능하다는 효과를 갖게 된다.
이하, 상기한 바와 같이 구성된 본 발명에 대해 첨부도면을 참조하여 상세히 설명한다.
즉, 도 1은 본 발명에 따른 IP 네트워크를 이용한 감시 영상 관리 시스템에 대한 전체 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명에 따른 IP 네트워크를 이용한 감시 영상 관리 시스템은, 다수의 IP 감시 카메라(A1∼An)와, 디지털 비디오 레코더(Digital Video Recorder; DVR)(10), 복수의 감시용 카메라(12,14,16), 세대 비디오폰(18), 카메라(20), IP 셋탑 박스(22), 모니터 장치(24), 라우터(Router)(26), 네트워크망, 관리센터 장치(28), 저장 장치(30,32,34)로 구성된다.
상기 다수의 IP 감시 카메라(A1∼An)는 주변 상황의 감시가 필요한 다수의 위치에 각각 개별 설치되고서, 각 카메라마다 개별 IP를 부여받아 카메라 모듈로부터 촬영된 주변 감시 영상을 네트워크를 통해 IPTV 방송 방식에 따른 프로토콜을 적용하여 상기 IP 셋탑 박스(22) 또는 관리센터 장치(28) 측으로 전송한다.
여기서, 상기 IPTV 방송 방식에 따라 적용이 가능한 프로토콜로서는, RTP, UDP, HTTP, MMSH, RTSP, TCP 프로토콜을 지원할 수 있다.
상기 디지털 비디오 레코더(10)는 IP를 부여받아 상기 IP 셋탑 박스(22) 및 관리센터 장치(28)와 양방향 네트워크 통신이 가능한 것으로서, 상기 복수의 감시용 카메라(12,14,16)로부터 촬영되는 감시 영상을 디지털 영상으로 녹화하거나, 재생 및 각종 이벤트 관리를 진행할 수 있도록 하고, 상기 감시 영상을 네트워크를 통해 IPTV 방송 방식에 따른 프로토콜을 적용하여 상기 IP 셋탑 박스(22) 또는 관리센터 장치(28) 측으로 전송한다.
여기서, 상기 디지털 비디오 레코더(10)는 네트워크가 가능한 것으로서 네트워크 비디오 레코더(Network Video Recorder)라는 명칭으로 사용이 가능하다.
또한, 동 도면에서는 상기 디지털 비디오 레코더(10)가 단일개 설치되어 있는 것을 일예로 하고 있지만, 본 발명은 이에 한정되지 않고 각 지역에 따라 분포적으로 설치되어 있는 다수의 디지털 비디오 레코더를 모두 적용할 수 있다.
상기 세대 비디오폰(18)은 주거용, 업무용 아파트, 주택, 빌딩 등의 건물 내에 각 세대별로 설치되어 있는 것으로서, 네트워크용 IP를 부여받아 상기 감시용 카메라(20)로부터 촬영된 감시 영상을 자신의 비디오 모니터 상에 화면 표시함과 더불어, 네트워크를 통해 상기 IP 셋탑 박스(22) 또는 관리센터 장치(28) 측으로 전송한다.
상기 IP 셋탑 박스(22)는 사용자의 리모콘 조작에 따라 내부의 전용 모뎀을 이용한 네트워크 통신을 통해 양방향 통신을 진행하여 IPTV 방송 서비스에 따른 방송 컨텐츠를 제공받는 것으로서, 네트워크를 통해 상기 다수의 IP 감시 카메라(A1∼An)나, 상기 디지털 비디오 레코더(10) 또는 세대 비디오폰(18)으로부터의 디지털 감시 영상을 실시간으로 제공받아 상기 모니터 장치(24)에 화면 표시되도록 함과 더불어, 상기 라우터(26)를 이용하여 네트워크망을 통해 상기 관리센터 장치(28)에서 백업 저장하여 관리하고 있는 디지털 감시 영상을 검색 및 재생 선택하여 상기 모니터 장치(24)에 화면 표시되도록 한다.
상기 모니터 장치(24)는 상기 IP 셋탑 박스(22)로부터의 사용자 리모콘 조작에 따른 메뉴 입력 상태, 감시 영상의 검색 상태를 화면 표시함과 더불어, 실시간의 감시 영상이나 상기 관리센터 장치(28)에서 백업 저장하여 관리하고 있는 감시 영상을 재생하여 화면 표시한다.
여기서, 상기 모니터 장치(24)는 IPTV 방송 컨텐츠 및 감시 영상의 화면 표시 전용 디지털 모니터를 적용하는 것도 가능하고, 공중파를 포함한 케이블 방송, HD 텔레비전 방송의 수신이 가능한 HD 텔레비전 수상기를 적용하는 것도 가능하다.
본 발명에서, 상기 IP 셋탑 박스(22)와 모니터 장치(24)가 각각 단일개로 구비되어 있는 것을 일예로 하고 있지만, 본 발명에서는 실질적으로 다수의 IP 셋탑 박스와 다수의 모니터 장치가 적용되는 것임은 물론이다.
상기 라우터(26)는 각 IP 장치 간의 양방향 통신을 위한 네트워크망을 연결해 주는 브리지(Bridge) 기능을 수행함과 더불어, 감시 영상의 정보 전송을 위한 경로 설정 기능을 제공한다.
상기 관리센터 장치(28)는 네트워크망을 통해 상기 다수의 IP 감시 카메라(A1∼An)와, 상기 디지털 비디오 레코더(10), 세대 비디오폰(18)과 양방향 통신을 진행하여 각 카메라를 통해 촬영된 디지털 감시 영상을 제공받아 백업 저장하여 데이터베이스화 관리하고, 상기 IP 셋탑 박스(22)로부터의 저장된 감시 영상의 조회 요청에 따라 감시 영상의 검색 정보를 제공함과 더불어, IP 셋탑 박스(22)의 사용자가 선택한 감시 영상을 제공한다.
여기서, 상기 관리센터 장치(28)는 고속의 프로세서와 대용량 하드디스크 드 라이브가 갖추어져서 네트워크가 가능한 데스크탑 컴퓨터 단말기를 적용하는 것도 가능하고, 영상 관리 전용 서버를 구축하여 적용하는 것도 얼마든지 가능하다.
상기 복수의 저장 장치(30,32,34)는 상기 관리센터 장치(28)의 관리 제어하에 원격지의 감시 카메라로부터 촬영된 감시 영상을 백업 저장하여 관리한다.
그 다음에, 도 2는 본 발명의 바람직한 실시예에 따라 IP 네트워크를 통해 IP 감시 카메라로부터의 감시 영상을 관리하기 위한 구성을 나타낸 도면이다.
도 2에 도시된 바와 같이, 상기 각 IP 감시 카메라(A1∼An)는 각각 카메라 모듈(B1∼Bn)과, 통신 모듈(C1∼Cn)을 포함하여 구성되고, 상기 IP 셋탑 박스(22)는 모뎀(40)을 포함하여 구성된다.
상기 다수의 카메라 모듈(B1∼Bn)은 각각 주변 지역을 촬영하여 디지털 감시 영상으로 제공하고, 상기 다수의 통신 모듈(C1∼Cn)은 각각 네트워크 통신이 가능하도록 IP가 부여되어 각 카메라 모듈(B1∼Bn)로부터 촬영된 디지털 감시 영상 데이터를 네트워크 통신을 통해 상기 IP 셋탑 박스(22) 또는 상기 관리센터 장치(28)로 전송한다.
상기 IP 셋탑 박스(22)의 모뎀(40)은 상기 각 통신 모듈(C1∼Cn)과의 양방향 네트워크 통신에 의해 감시 영상을 수신받기 위한 변복조 처리를 수행하고, 상기 관리센터 장치(28)와의 양방향 네트워크 통신에 의해 백업 저장된 감시 영상의 검색 및 영상 수신을 위한 변복조 처리를 수행한다.
또한, 상기 관리센터 장치(28)는 통신 모듈(42)과, 입력부(44), 메모리(46), 마이크로 프로세서(48), 저장데이터 관리부(50)를 포함하여 구성된다.
상기 통신 모듈(42)은 상기 다수의 통신 모듈(C1∼Cn) 및 상기 IP 셋탑 박스(22)와 감시 영상의 송수신을 위한 양방향 네트워크 통신을 수행한다.
상기 입력부(44)는 키보드 및 마우스 등의 정보 입력 장치로 이루어져서, 감시 영상의 백업 저장을 통한 데이터베이스화 관리와, 저장된 감시 영상의 제공을 위한 관리자로부터의 정보 입력을 수행한다.
상기 메모리(46)는 해당 관리센터 장치의 시스템 운용을 위한 오퍼레이팅 시스템이 저장되고서, 감시 영상의 백업 저장 및 저장된 감시 영상의 검색을 지원하는 전용 소프트웨어 프로그램이 저장되어 있는 바, 이는 대용량의 하드디스크 드라이브를 적용하는 것이 바람직하다.
상기 마이크로 프로세서(48)는 해당 관리센터 장치(28)에 탑재된 머더 보드(Mother Board) 및 칩셋(도시되지 않음)과 연동적으로 동작되어 감시 영상의 백업 저장 및 저장된 감시 영상의 검색/조회를 위한 제어 동작 및 데이터 처리를 수행한다.
상기 저장데이터 관리부(50)는 상기 마이크로 프로세서(48)의 제어 동작 및 데이터 처리 하에, 감시 영상을 저장 장치(30,32,34)에 백업 저장함에 의한 데이터베이스화 관리 및 저장된 감시 영상의 제공을 위한 실질적인 영상 관리 처리를 수행한다.
도 2에서, 상기 IP 셋탑 박스(22)는 상기 다수의 IP 감시 카메라(A1∼An) 중에서 자신이 접근 허용되는 IP 감시 카메라의 통신 모듈과 양방향 통신을 진행하여 카메라 모듈로부터 촬영된 감시 영상을 IP를 이용한 IPTV 방송 방식으로 실시간으 로 수신받아 상기 모니터 장치(24)에 화면 표시할 수 있다.
또한, 상기 IP 셋탑 박스(22)는 네트워크망을 통해서 상기 관리센터 장치(28)에 의해 백업 저장된 다수의 IP 감시 카메라(A1∼An)로부터의 감시 영상 중에서 접근이 허용된 감시 영상만을 검색할 수 있으며, 해당 IP 셋탑 박스(22)에 구비된 리모콘(도시되지 않음)을 통한 사용자의 조작으로 접근이 허용된 감시 영상 중에서 원하는 영상을 선택하여 전송받을 수 있도록 한다.
그 다음에, 도 3은 본 발명의 바람직한 실시예에 따라 네트워크가 가능한 감시장비로서 DVR로부터의 감시 영상을 관리하기 위한 구성을 나타낸 도면이다.
도 3에 도시된 바와 같이, 상기 디지털 비디오 레코더(10)는 상기 IP 셋탑 박스(22)의 모뎀(40)과, 네트워크망을 통해 상기 관리센터 장치(28)의 통신 모듈(42)과의 양방향 통신을 수행하는 통신 모듈(60)을 구비하고서, 상기 각 감시 카메라(12,14,16)로부터 촬영된 실시간 감시 영상 또는 영상 녹화된 영상을 상기 통신 모듈(60)의 통신에 의해 상기 IP 셋탑 박스(22)에 전송하거나, 상기 관리센터 장치(28)에 전송한다.
상기 IP 셋탑 박스(22)는 모뎀(40)을 통해 상기 디지털 비디오 레코더(10)의 통신 모듈(60)과 양방향 통신을 진행하여 감시 영상을 IP를 기반으로 한 IPTV 방송 방식으로 전송받아 모니터 장치(24)에 화면 표시되도록 한다.
또한, 상기 IP 셋탑 박스(22)는 네트워크망을 통해서 상기 관리센터 장치(28)에 의해 백업 저장된 디지털 비디오 레코더(10)로부터의 감시 영상에 대해 접근이 허용된 경우에 각 감시 영상을 검색할 수 있으며, 사용자의 조작으로 접근 이 허용된 감시 영상 중에서 원하는 영상을 선택하여 전송받을 수 있도록 한다.
그 다음에, 도 4는 본 발명의 바람직한 실시예에 따라 네트워크가 가능한 세대 비디오폰으로부터의 감시 영상을 관리하기 위한 구성을 나타낸 도면이다.
도 4에 도시된 바와 같이, 상기 세대 비디오폰(18)은 상기 카메라(20)로부터 촬영된 세대 내부 또는 외부 감시 영상을 모니터링하면서 상대방과 통화를 진행할 수 있도록 하고, 해당 감시 영상을 백업 저장을 위해 제공하는 비디오폰 장치(70)와, 네트워크 통신이 가능하도록 IP가 부여되고서, 상기 IP 셋탑 박스(22)의 모뎀(40)과의 양방향 통신을 통해 상기 비디오폰 장치(70)로부터의 감시 영상을 상기 IP 셋탑 박스(22)에 전송하거나, 상기 관리센터 장치(28)의 통신 모듈(42)과의 양방향 통신을 통해 해당 감시 영상을 백업 저장을 위해 전송하는 IP 전송 모듈(72)을 포함하여 구성된다.
상기 IP 셋탑 박스(22)는 모뎀(40)을 통해 상기 세대 비디오폰(18)의 IP 전송 모듈(72)과 양방향 통신을 진행하여 감시 영상을 IP를 기반으로 한 IPTV 방송 방식으로 전송받아 모니터 장치(24)에 화면 표시되도록 한다.
또한, 상기 IP 셋탑 박스(22)는 네트워크망을 통해서 상기 관리센터 장치(28)에 의해 백업 저장된 세대 비디오폰(18)으로부터의 감시 영상에 대해 접근이 허용된 경우에 각 감시 영상을 검색할 수 있으며, 사용자의 조작으로 접근이 허용된 감시 영상 중에서 원하는 영상을 선택하여 전송받을 수 있도록 한다.
그 다음에, 도 5는 본 발명의 바람직한 실시예에 따라 다양한 영상 포맷을 갖는 영상 데이터를 통일된 표준의 영상 포맷으로 변환하여 관리하기 위한 구성을 나타낸 도면이다.
도 5에 도시된 바와 같이, 본 발명에 적용되는 다수의 IP 감시 카메라(A1∼An)와, 디지털 비디오 레코더(10) 및 그 디지털 비디오 레코더(10)와 연결된 각 감시 카메라(12,14,16), 세대 비디오폰(18) 및 그 세대 비디오폰(18)과 연결된 감시 카메라(20)와 같은 영상 장비들은 각기 제조 업체가 상이할 수 있고, 제조 업체별로 각각 다른 영상 압축 포맷으로 감시 영상을 압축 처리하여 전송할 수 있다.
이에, 본 발명에서는 각기 상이한 영상 압축 포맷으로 전송되는 감시 영상들을 단일의 영상 포맷으로 통일하여 데이터베이스화할 필요성이 있고, 감시 영상의 조회를 원하는 사용자측의 IP 셋탑 박스에 통일된 영상 포맷의 감시영상을 제공할 필요성이 있다.
이를 위해, 상기 관리센터 장치(28)는 각기 상이한 영상 압축 포맷의 감시영상을 단일 영상 포맷으로 통일적으로 변환하기 위한 구성 요소를 제공한다.
즉, 상기 관리센터 장치(28)는 네트워크망을 통해 수신되는 다양한 영상 압축 포맷의 감시 영상 데이터를 통일된 단일 영상 포맷으로 인코딩 처리하는 라이브 인코더(80)와, 상기 라이브 인코더(80)가 다양한 압축 포맷의 영상을 단일 영상 포맷으로 인코딩할 수 있도록 하기 위한 통합 코덱을 제공하는 통합 코덱 모듈(82), 상기 저장데이터 관리부(50)를 통해 저장 장치(30,32,34)로부터 추출된 감시 영상 데이터를 통일된 단일영상 포맷의 영상 데이터로 출력하는 트랜스코더(Transcoder)(84), 상기 트랜스코더(84)로부터의 통일된 영상 포맷의 감시 영상 데이터를 IPTV 방송 방식에 따른 프로토콜이 적용된 스트리밍 데이터의 형태로 상 기 IP 셋탑 박스(22)에 전송하는 스트리머(Streamer)(86)를 포함하여 구성된다.
여기서, 상기 라이브 인코더(80)와, 통합 코덱 모듈(82), 트랜스코더(84), 스트리머(86)는 해당 관리센터 장치(28)의 메모리(46)에 저장되어 있고서, 상기 마이크로 프로세서(48)에 의해 구동되는 소프트웨어 프로그램의 형태로 구현되어 있으며, 별도의 통합적인 하드웨어 모듈의 형태로도 얼마든지 구현이 가능하다.
상기 라이브 인코더(80)는 상기 다수의 IP 감시 카메라(A1∼An), 디지털 비디오 레코더(10), 세대 비디오폰(18)으로 제공되는 MPG, AVI, WMV, MOV, ASF 등과 같은 다양한 영상 압축 포맷의 감시 영상 데이터를 상기 통합 코덱 모듈(82)로부터 제공되는 통합 코덱에 의해 예컨대 H.264와 같은 특정한 하나의 압축 코덱으로 인코딩하여 MP4와 같은 단일 압축 포맷의 영상 데이터로 변환한다.
상기 통합 코덱 모듈(82)은 MPG, AVI, WMV, MOV, ASF 등의 영상 압축 포맷을 위한 코덱으로서 MPEG1, MPEG2, Divx, MPEG4, H.264, WMV 등 영상 압축 코덱과, MPEG1, MP3, AAC, AC3(DTS) 등의 음성 압축 코덱을 지원한다.
한편, 상기 트랜스코더(84)는 상기 IP 셋탑 박스(22)가 상기 통일된 단일 압축 포맷의 영상 규격을 지원하지 않는 경우에, 상기 IP 셋탑 박스(22)로부터의 지원 압축 포맷에 대한 정보를 별도로 제공받아서 상기 통합 코덱 모듈(82)을 근거로 해당 지원 압축 포맷의 영상으로 코딩하여 제공하는 것도 얼마든지 가능하다.
그 다음에, 도 6은 본 발명의 바람직한 실시예에 따라 감시 영상 데이터를 보안 암호화하여 관리하기 위한 구성을 나타낸 도면이다.
도 6에 도시된 바와 같이, 상기 저장데이터 관리부(50)는 다양한 감시 카메 라로부터의 감시 영상을 데이터베이스화하여 저장/관리하고, 사용자측의 IP 셋탑 박스에서 영상의 검색 및 선택이 가능하도록 관리하는 기능을 수행할 뿐만 아니라, 각 감시 영상을 보안 암호화하여 관리할 수 있도록 함에 의해 해당 영상을 조회할 자격이 있는 IP 셋탑 박스에 대해 사용 인증 처리를 수행하고 그 조회 권한을 부여하여 감시 영상의 검색 및 전송이 진행될 수 있도록 한다.
즉, 상기 저장데이터 관리부(50)는 상기 감시 영상 데이터에 PKI(Public Key Infrastructure) 등과 같은 암호화 알고리즘을 적용하여 암호화 처리하는 암호화 관리 모듈(90)과, 상기 저장 장치(30,32,34)에 백업 저장되어 있는 다수의 감시 영상에 대해 IP 셋탑 박스(22) 측의 사용자가 검색이 가능하도록 하기 위한 검색툴을 제공하는 검색 관리 모듈(92), 상기 암호화 관리 모듈(90)에 의해 암호화되어 저장된 상기 저장 장치(30,32,34)로부터의 감시 영상을 사용자가 조회할 수 있도록 하는 권한을 부여하기 위한 사용자 인증을 수행하는 인증 처리 모듈(94)을 포함하여 구성된다.
상기 저장 장치(30,32,34)에는 상기 암호화 관리 모듈(90)로부터의 보안 암호화 처리에 의해, 데이터베이스화되어 백업 저장되는 각 감시 영상 데이터(D1∼Dn) 별로 암호화 정보(E1∼En)가 각각 부여된다.
상기 인증 처리 모듈(94)은 상기 저장 장치(30,32,34)에 저장된 감시 영상 데이터의 조회를 위한 사용자 인증 방식으로서, 셋탑 박스의 장치 코드에 의한 인증 방식과, 사용자 패스워드에 의한 인증 방식, 전자공인 인증서에 의한 인증 방식을 적용할 수 있다.
상기 셋탑 박스 장치 코드에 의한 인증방식은, 상기 IP 셋탑 박스(22)의 장비 제조시 부여되는 시리얼 번호 등과 같은 특정 코드를 상기 인증 처리 모듈(94)에서 인증하여, 조회 권한이 허용된 일부 감시 영상에 대해서만 검색 및 전송이 가능하도록 하는 방식이다.
상기 사용자 패스워드에 의한 인증 방식은, 상기 권리센터 단말기(28) 측의 감시 영상 관리를 위탁받은 업체나 지방자치 단체, 정부 조직 등의 공신력있는 기관에서 사용자 신분 증명을 통해 허용한 패스워드를 입력하여 인증받을 수 있도록 함에 의해, 해당 사용자에 대해 조회 권한이 허용된 일부 감시 영상만을 검색 및 전송할 수 있도록 하는 방식이다.
상기 전자공인 인증서에 의한 인증 방식은, 금융 거래 등의 전자 거래를 위해 네트워크 상에서 할당된 개인 전자 공인 인증키를 통해 시스템에 접근하여 사용 인증을 받도록 함에 의해, 조회 권한이 허용된 일부 감시 영상에 대해서만 검색 및 전송이 가능하도록 하는 방식이다.
한편, 상기 인증 처리 모듈(94)은 상기 인증 방식들 이외에도 생체 인증 처리 방식이나, 전자 카드에 의한 인증 방식 등의 여러가지 다양한 인증 방식을 적용할 수 있다.
상기에서 본 발명의 특정한 실시예가 설명 및 도시되었지만, 본 발명이 당업자에 의해 다양하게 변형되어 실시될 가능성이 있는 것은 자명한 일이다. 이와 같은 변형된 실시예들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안되며, 본 발명에 첨부된 청구범위 안에 속한다고 해야 할 것이다.
도 1은 본 발명에 따른 IP 네트워크를 이용한 감시 영상 관리 시스템에 대한 전체 구성을 나타낸 도면,
도 2는 본 발명의 바람직한 실시예에 따라 IP 네트워크를 통해 IP 감시 카메라로부터의 감시 영상을 관리하기 위한 구성을 나타낸 도면,
도 3은 본 발명의 바람직한 실시예에 따라 네트워크가 가능한 감시장비로서 DVR로부터의 감시 영상을 관리하기 위한 구성을 나타낸 도면,
도 4는 본 발명의 바람직한 실시예에 따라 네트워크가 가능한 세대 비디오폰으로부터의 감시 영상을 관리하기 위한 구성을 나타낸 도면,
도 5는 본 발명의 바람직한 실시예에 따라 다양한 영상 포맷을 갖는 영상 데이터를 통일된 표준의 영상 포맷으로 변환하여 관리하기 위한 구성을 나타낸 도면,
도 6은 본 발명의 바람직한 실시예에 따라 감시 영상 데이터를 보안 암호화하여 관리하기 위한 구성을 나타낸 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
10:디지털 비디오 레코더(DVR), 12,14,16:감시 카메라,
18:세대 비디오폰, 20:카메라,
22:IP 셋탑박스, 24:모니터 장치,
26:라우터, 28:관리센터 장치,
30,32,34:저장 장치, A1∼An:IP 감시 카메라,
B1∼Bn:카메라 모듈, C1∼Cn:통신 모듈.

Claims (9)

  1. 주변 상황의 감시가 필요한 다수의 지역에 각각 배치되어 주변 지역을 촬영한 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따른 프로토콜을 적용하여 실시간 모니터링 및 백업 저장을 위해 전송하는 적어도 하나의 감시 영상 생성 수단;
    상기 적어도 하나의 감시 영상 생성 수단으로부터 전송되는 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따라 전송받아 모니터 장치에 화면 표시되도록 하고, 상기 감시 영상 생성 수단으로부터 발생되어 관리센터 장치에 의해 백업 저장된 감시 영상을 검색하여 원하는 영상을 전송받아 모니터 장치에 화면 표시되도록 하는 IP 셋탑 박스;
    상기 적어도 하나의 감시 영상 생성 수단으로부터 전송되는 적어도 하나의 감시 영상이 저장 장치에 백업 저장되도록 관리하고, 상기 IP 셋탑 박스의 영상 조회 요청에 따라 백업 저장된 감시 영상이 IP 네트워크를 통해 IPTV 방송 방식으로 검색 및 전송되도록 하는 관리센터 장치; 및
    상기 관리센터 장치의 영상 관리 처리에 따라 상기 적어도 하나의 감시 영상 생성 수단으로부터의 감시 영상을 각각 백업 저장하여 관리하는 저장 장치
    를 포함하고,
    상기 감시 영상 생성 수단은, IP 네트워크를 통해 양방향 통신이 가능하도록 IP가 부여되어 주변 지역을 촬영한 감시 영상을 전송하는 적어도 하나의 IP 감시 카메라와, 감시 카메라로부터 촬영된 감시 영상을 영상 녹화하거나 IP 네트워크를 통한 양방향 통신에 의해 실시간 모니터링 및 백업 저장을 위해 전송하는 적어도 하나의 디지털 비디오 레코더(DVR), 세대 내/외부의 촬영 영상을 IP 네트워크를 통한 양방향 통신에 의해 실시간 모니터링 및 백업 저장을 위해 전송하는 적어도 하나의 세대 비디오폰 중에서 어느 하나인 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 관리센터 장치는, 상기 적어도 하나의 감시 영상 생성 수단 및 상기 IP 셋탑 박스와 감시 영상의 송수신을 위한 양방향 네트워크 통신을 수행하는 통신 모듈과,
    감시 영상의 백업 저장을 통한 데이터베이스화 관리와, 저장된 감시 영상의 제공을 위한 관리자로부터의 정보 입력을 수행하는 입력부,
    해당 관리센터 장치의 시스템 운용을 위한 오퍼레이팅 시스템과, 감시 영상의 백업 저장 및 저장된 감시 영상의 검색을 지원하는 전용 소프트웨어 프로그램이 저장되어 있는 메모리,
    상기 감시 영상의 백업 저장 및 저장된 감시 영상의 검색/조회를 위한 제어 동작 및 데이터 처리를 수행하는 마이크로 프로세서 및,
    상기 마이크로 프로세서의 제어 동작 및 데이터 처리 하에, 상기 감시 영상을 저장 장치에 백업 저장함에 의한 데이터베이스화 관리 및 저장된 감시 영상의 제공을 위한 영상 관리 처리를 수행하는 저장데이터 관리부를 포함하여 구성된 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 시스템.
  4. 제 3 항에 있어서,
    상기 저장데이터 관리부는, 상기 감시 영상 데이터에 암호화 알고리즘을 적용하여 암호화 처리하는 암호화 관리 모듈과,
    상기 저장 장치에 백업 저장되어 있는 감시 영상에 대해 IP 셋탑 박스 측의 사용자가 검색이 가능하도록 하기 위한 검색툴을 제공하는 검색 관리 모듈 및,
    상기 암호화 관리 모듈에 의해 암호화되어 저장된 상기 감시 영상을 사용자가 검색 및 전송할 수 있도록 하는 권한을 부여하기 위한 사용자 인증을 수행하는 인증 처리 모듈을 포함하여 구성된 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 시스템.
  5. 제 1 항에 있어서,
    상기 관리센터 장치는, 네트워크망을 통해 수신되는 서로 상이한 영상 압축 포맷의 감시 영상 데이터를 통일된 단일 영상 포맷으로 인코딩 처리하는 라이브 인코더와,
    서로 상이한 압축 포맷의 영상을 단일 영상 포맷으로 인코딩할 수 있도록 하 기 위한 통합 코덱을 상기 라이브 인코더에 제공하는 통합 코덱 모듈,
    상기 IP 셋탑 박스로부터 요청되는 감시 영상 데이터를 통일된 단일영상 포맷의 영상 데이터로 출력하는 트랜스코더(Transcoder) 및,
    상기 트랜스코더로부터의 통일된 영상 포맷의 감시 영상 데이터를 IPTV 방송 방식에 따른 프로토콜이 적용된 스트리밍 데이터의 형태로 상기 IP 네트워크에 전송하는 스트리머(Streamer)를 포함하여 구성된 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 시스템.
  6. 주변 상황의 감시가 필요한 다수의 지역에 각각 배치되어 있는 각 감시 영상 생성 수단에서 주변 지역을 촬영한 감시 영상을 IPTV 방송 방식에 따른 프로토콜을 적용하여 IP 네트워크를 통해 전송하는 제1단계;
    관리센터 장치에서 상기 각 감시 영상 생성 수단으로부터의 감시 영상을 IP 네트워크를 통해 전송받아 저장 장치에 백업 저장하여 관리하는 제2단계; 및
    IP 셋탑 박스에서 상기 각 감시 영상 생성 수단에서 전송되는 감시 영상을 IP 네트워크를 통해 IPTV 방송 방식에 따라 전송받아 모니터 장치에 실시간으로 화면 표시되도록 하거나, 상기 관리센터 장치에 의해 저장 장치에 백업 저장된 감시 영상을 검색하여 원하는 영상을 전송받아 모니터 장치에 화면 표시되도록 하는 제3단계
    를 포함하고,
    상기 제1단계는, 적어도 하나의 IP 감시 카메라와, 적어도 하나의 디지털 비디오 레코더(DVR), 적어도 하나의 세대 비디오폰 중에서 어느 하나가 감시 영상 생성 수단으로 적용되어 감시 영상을 전송하도록 이루어진 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 제2단계는, 상기 관리센터 장치에서 각 감시 영상 생성 수단으로부터 전송되는 감시 영상 데이터를 암호화 알고리즘에 따라 암호화 처리하여 백업 저장하는 단계를 더 포함하여 이루어지고,
    상기 제3단계는, 상기 IP 셋탑 박스에서 감시 영상의 조회를 요청하면, 상기 관리센터 장치에서 상기 IP 셋탑 박스에 대해 사용자 인증을 수행하여 암호화되어 저장된 상기 감시 영상을 사용자가 검색 및 전송할 수 있도록 하는 권한을 부여하는 단계를 더 포함하여 이루어진 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 방법.
  9. 제 6 항에 있어서,
    상기 제2단계는, 상기 관리센터 장치에서 각 감시 영상 생성 수단으로부터 수신되는 서로 상이한 영상 압축 포맷의 감시 영상 데이터에 대해 통합 코덱을 지원하여 통일된 단일 영상 포맷으로 인코딩 처리하여 저장 장치에 백업 저장하도록 이루어지고,
    상기 제3단계는, 상기 IP 셋탑 박스에서 감시 영상의 조회가 요청되면, 상기 관리센터 장치에서 상기 IP 셋탑 박스로부터 요청되는 감시 영상 데이터를 저장 장치로부터 추출하여 통일된 단일 영상 포맷의 영상 데이터로 출력하도록 이루어진 것을 특징으로 하는 IP 네트워크를 이용한 감시 영상 관리 방법.
KR1020080097577A 2008-10-06 2008-10-06 아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법 KR100996449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080097577A KR100996449B1 (ko) 2008-10-06 2008-10-06 아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080097577A KR100996449B1 (ko) 2008-10-06 2008-10-06 아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100038560A KR20100038560A (ko) 2010-04-15
KR100996449B1 true KR100996449B1 (ko) 2010-11-25

Family

ID=42215250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080097577A KR100996449B1 (ko) 2008-10-06 2008-10-06 아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100996449B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101372358B1 (ko) * 2013-09-24 2014-03-12 주식회사 다누시스 영상 데이터 출력 시스템
KR101690153B1 (ko) 2015-04-21 2016-12-28 서울과학기술대학교 산학협력단 Http 기반 무버퍼링 영상전송 방법을 이용한 실시간 스트리밍 시스템
KR101562541B1 (ko) * 2015-05-29 2015-10-23 (주)동연시스템 바이너리 ｃｄｍａ와 아리아 암호화를 이용한 네트워크 카메라
KR101655706B1 (ko) * 2015-11-24 2016-09-07 남규태 트랜스코딩 기법을 이용한 원격관리시스템
US20190251204A1 (en) 2018-02-14 2019-08-15 Commvault Systems, Inc. Targeted search of backup data using calendar event data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100437252B1 (ko) 2001-04-30 2004-06-23 황인철 물체인식 동영상 보안 시스템 및 그 방법
KR100731188B1 (ko) * 2005-03-30 2007-06-22 한국전자금융 주식회사 네트워크 카메라를 이용한 보안 감시 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100437252B1 (ko) 2001-04-30 2004-06-23 황인철 물체인식 동영상 보안 시스템 및 그 방법
KR100731188B1 (ko) * 2005-03-30 2007-06-22 한국전자금융 주식회사 네트워크 카메라를 이용한 보안 감시 시스템 및 방법

Also Published As

Publication number Publication date
KR20100038560A (ko) 2010-04-15

Similar Documents

Publication Publication Date Title
US11706200B2 (en) Tracking and analyses of content presentation
US20210334339A1 (en) Multimedia network system with content importation, content exportation, and integrated content management
US8010984B2 (en) Redirection of streaming content
US20170323542A1 (en) Apparatus for security enhancement in closed circuit television using hardware security module and the method by using the same
JP5108308B2 (ja) デジタルレコーダーを使用してパーソナルメディアを共有する方法
EP2925007B1 (en) Information processing device and information processing method
US20130283051A1 (en) Persistent License for Stored Content
EP3378235A1 (en) Media streaming
US20090129587A1 (en) Method, system and apparatus for sharing media content in a private network
CN101945248A (zh) 处理流中的可录制内容
KR100996449B1 (ko) 아이피 네트워크를 이용한 감시 영상 관리 시스템 및 그 방법
US20150135208A1 (en) Content distribution control program, content distribution control device, content distribution device and content distribution system
CN102186061A (zh) 一种基于云计算模式的、网络远程监控***的实现方法
CN101945249A (zh) 处理流中的可录制内容
KR101815467B1 (ko) 보안 에이전트를 이용한 보안 감시 강화 시스템
CN101834883A (zh) 适用于不同终端设备的网络服务管理***与方法
US11128678B2 (en) Multi-platform digital rights management for placeshifting of multimedia content
US20140108804A1 (en) System and method for verifying the authenticity of an electronic device
JP2006101398A (ja) 監視システム
US20090313666A1 (en) Television Content Management for Clients
TW201136314A (en) System and method for displaying monitoring videos
KR20080054088A (ko) 네트워크 ｐｖｒ 시스템, 네트워크 ｐｖｒ 구현방법 및이에 사용되는 ｐｖｒ 디바이스
TW201032527A (en) Network service management system and method applicable to various terminal devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141118

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151120

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee