KR101102408B1 - 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법 - Google Patents
증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법 Download PDFInfo
- Publication number
- KR101102408B1 KR101102408B1 KR1020100097131A KR20100097131A KR101102408B1 KR 101102408 B1 KR101102408 B1 KR 101102408B1 KR 1020100097131 A KR1020100097131 A KR 1020100097131A KR 20100097131 A KR20100097131 A KR 20100097131A KR 101102408 B1 KR101102408 B1 KR 101102408B1
- Authority
- KR
- South Korea
- Prior art keywords
- parking
- information
- vehicle
- service server
- vehicle terminal
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 238000004891 communication Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
- G08G1/141—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
- G08G1/143—Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
- G06K7/10237—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the reader and the record carrier being capable of selectively switching between reader and record carrier appearance, e.g. in near field communication [NFC] devices where the NFC device may function as an RFID reader or as an RFID tag
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Toxicology (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Electromagnetism (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 특정 주차면에 대한 주차 경로가 주차장의 실제 영상에 주차 경로의 가상 영상을 결합한 형태로 차량의 단말기 화면에 표시되어 이를 통해 차량 운전자가 비어 있는 주차면으로 용이하게 안내될 수 있도록 하는 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법에 관한 것이며, 본 발명에 따른 증강현실을 이용한 주차 안내 시스템은, 주차장의 교차로를 중심으로 사방 섹터의 영상정보들이 저장되고, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 특정 주차면에 대한 경로 안내를 위해 상기 영상정보들의 각 영상정보별로 방향표시정보가 매칭된 경로 안내 테이블이 저장되는 동시에 상기 경로 안내 테이블을 차량 단말기에 제공하는 주차안내 서비스 서버와, 주차안내 어플리케이션이 설치되고, 카메라 및 상기 카메라에 의해 비추어지고 있는 실사영상을 표시하는 디스플레이부를 포함하며, 상기 주차안내 서비스 서버에 접속하여 상기 영상정보들을 다운받아 저장하고, 상기 주차안내 서비스 서버로부터 제공되는 상기 경로 안내 테이블을 저장하며, 상기 주차안내 어플리케이션이 실행된 상태에서 상기 카메라를 통해 주차장의 특정 영역을 비추면, 상기 주차안내 어플리케이션은 상기 카메라에 의해 비추어지고 있는 실사영상에 해당하는 영상정보 및 이와 매칭되는 방향표시정보를 저장된 상기 경로 안내 테이블로부터 검출하는 동시에 상기 방향표시정보를 상기 카메라에 의해 비춰지고 있는 실사영상에 겹쳐지는 화면 상태로 상기 디스플레이부에 표시하는 차량 단말기와, 상기 주차장의 입구 및 교차로에 설치되며, 상기 차량 단말기와 주차안내 서비스 서버 간의 상기 영상정보들 및 경로 안내 테이블을 포함한 각종 정보의 송수신을 중계하는 둘 이상의 무선접속장치를 포함하는 것을 특징으로 한다.
Description
본 발명은 주차 안내 시스템 및 그를 이용한 주차 안내 방법에 관한 것으로서, 특히 특정 주차면에 대한 주차 경로가 주차장의 실제 영상에 주차 경로의 가상 영상을 결합한 형태로 차량의 단말기 화면에 표시되어 이를 통해 차량 운전자가 비어 있는 주차면으로 용이하게 안내될 수 있도록 하는 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법에 관한 것이다.
증강 현실(Augmented Reality)은 현실 세계에 있는 물리적 대상에 컴퓨터를 통해 제작된 가상의 객체가 겹진 형태로 보이도록 하는 네트워크화된 환경을 의미한다. 증강 현실은 미리 정해진 마커 또는 식별자를 통해 현실 공간에 대한 영상에 가상의 영상을 전부 또는 부분적으로 결합시키는 영상 합성의 일 분야이다. 증강 영상(Augmented image)은 증강 현실을 기반으로 재생되는 영상으로서, 디스플레이 화면에 현실의 객체와 가상의 객체가 합성된 형태로 재생되는 영상이다.
증강 현실 기술은 가상 영상을 이용하여 현실 영상을 보완 또는 개선하는 개념으로 발전되었으며, 인간의 신체에 컴퓨터 디바이스를 부착시키는 기기 또는 휴대 가능한 모바일 기기에 탑재 가능한 시스템의 형태로 개발되었다.
한편, 인구의 도시 집중 및 차량 증가로 인해 대도시의 주차 문제가 매우 중요하게 인식되고 있는 것은 어제오늘의 일이 아니다.
이에 따라, 대형 주차장의 주차 관제 관련 시스템이 차량의 주차 및 출차 과정을 원활하게 할 수 있도록 설계되고 운영되는 것은 매우 중요한 사안이다.
주차 관제와 관련한 종래 기술은 통상 차량 진출입만을 관리하며, 이를 위해서 주로 루프 코일을 활용한다. 루프 코일 방식은 차량이 루트 코일을 통과할 경우, 이를 감지하여 진입 차량일 경우 주차권을 발급하며, 진출 차량과 진입 차량 대수 차이를 이용하여 주차 가능 차량 수를 계산하는 방법이다.
그러나, 이러한 종래의 루프 코일에 의한 주차 관리 시스템은, 단순히 차량의 진출입만을 확인하는 것일 뿐만 아니라, 루프 코일이 설치된 주차장 전체 주차면에 의한 주차 가능 차량 대수만을 확인할 수 있다. 즉, 루프 코일 방식에서는 주차장의 현재 비어있는 주차면으로 차량을 인도하거나 주차한 차량의 주차면 정보를 확인하는 것이 불가능하다. 또한, 주차를 위해 주차장 내를 주행중인 차량의 실시간 위치정보를 추적하는 것이 불가능하다.
따라서, 본 발명은 증강 현실(Augmented Reality) 기술을 이용하여 주차장의 실제 영상에 주차 경로의 가상 영상이 결합된 특정 주차면에 대한 주차 경로 안내 영상이 차량의 단말기 화면에 표시되도록 하는 증강현실을 이용한 주차 안내 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 주차장 내 차량의 주행 방향을 실시간으로 검출하면서 그에 따른 최적의 주차 경로를 실시간으로 파악하고 이를 차량의 단말기에 증강현실 영상으로 제공할 수 있는 증강현실을 이용한 주차 안내 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 주차장의 주차면에 대한 주차 시작시간 및 출차 시간이 자동으로 체크되는 동시에 그를 통해 실제 주차시간에 따른 주차 요금이 주차장의 정산소 및 차량의 단말기에 제공될 수 있도록 하는 증강현실을 이용한 주차 안내 시스템을 제공하는 것을 목적으로 한다.
또한, 본 발명은 상기 증강현실을 이용한 주차 안내 시스템을 이용한 주차 안내 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명에 따른 증강현실을 이용한 주차안내 시스템은, 주차장의 교차로를 중심으로 사방 섹터의 영상정보들이 저장되고, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 특정 주차면에 대한 경로 안내를 위해 상기 영상정보들의 각 영상정보별로 방향표시정보가 매칭된 경로 안내 테이블이 저장되는 동시에 상기 경로 안내 테이블을 차량 단말기에 제공하는 주차안내 서비스 서버와, 주차안내 어플리케이션이 설치되고, 카메라 및 상기 카메라에 의해 비추어지고 있는 실사영상을 표시하는 디스플레이부를 포함하며, 상기 주차안내 서비스 서버에 접속하여 상기 영상정보들을 다운받아 저장하고, 상기 주차안내 서비스 서버로부터 제공되는 상기 경로 안내 테이블을 저장하며, 상기 주차안내 어플리케이션이 실행된 상태에서 상기 카메라를 통해 주차장의 특정 영역을 비추면, 상기 주차안내 어플리케이션은 상기 카메라에 의해 비추어지고 있는 실사영상에 해당하는 영상정보 및 이와 매칭되는 방향표시정보를 저장된 상기 경로 안내 테이블로부터 검출하는 동시에 상기 방향표시정보를 상기 카메라에 의해 비춰지고 있는 실사영상에 겹쳐지는 화면 상태로 상기 디스플레이부에 표시하는 차량 단말기와, 상기 주차장의 입구 및 교차로에 설치되며, 상기 차량 단말기와 주차안내 서비스 서버 간의 상기 영상정보들 및 경로 안내 테이블을 포함한 각종 정보의 송수신을 중계하는 둘 이상의 무선접속장치를 포함하는 것을 특징으로 한다.
또한, 상기 주차안내 어플리케이션은, 상기 주차장의 교차로 통과시마다 상기 카메라에 의해 비추어지고 있는 실사영상을 정보화하여 상기 차량 단말기를 통해 상기 주차안내 서비스 서버에 제공하며, 상기 주차안내 서비스 서버는, 상기 차량 단말기를 통해 제공되는 실사영상의 정보를 영상화한 후 저장된 상기 경로 안내 테이블의 영상정보와 비교하여 차량의 주행 방향이 처음 제공된 주차 안내 테이블의 방향표시정보의 안내 방향과 일치 여부를 확인하는 동시에 차량의 현재 위치를 실시간으로 파악하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버는, 차량의 실제 주행방향과 상기 주차 안내 테이블의 방향표시정보의 안내 방향이 서로 다른 것으로 파악되면, 차량의 현재 위치를 기준으로 저장된 영상정보들 중 복수의 영상정보 및 검출된 영상정보별로 표시되기 위한 방향표시정보가 포함된 수정된 경로 안내 테이블을 생성하여 저장하는 동시에 차량 단말기에 제공하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버는, 상기 차량 단말기 및 무선접속장치와 상기 영상정보들 및 경로 안내 테이블을 포함한 각종 정보 신호를 송수신하는 통신부와, 상기 영상정보, 상기 경로 안내 테이블의 방향표시정보의 생성을 위한 문자와 숫자 및 기호를 포함한 이미지정보, 상기 주차장의 각 구획 별 주차면의 일련번호를 포함한 주차면정보, 상기 경로 안내 테이블, 상기 주차안내 서비스 서버의 운용을 위한 각종 운용정보가 저장되는 데이터베이스와, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 감지하는 주차면 감지부와, 상기 주차장의 특정 주차면에 대한 경로 안내를 위해 상기 영상정보들 중 검출되는 복수의 영상정보 및 검출된 영상정보별로 표시되기 위한 방향표시정보가 포함된 경로 안내 테이블을 생성하여 저장하는 동시에 차량 단말기에 제공하는 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실을 이용한 주차안내 시스템은, 주차안내 어플리케이션이 설치되고, 카메라가 장착되며, 상기 주차안내 어플리케이션이 실행된 상태에서 상기 카메라를 통해 주차장의 특정 영역을 비추면 단말기의 위치정보 획득 기능에 의해 특정 영역의 위치정보를 획득하여 해당 정보를 주차안내 서비스 서버에 제공하는 차량 단말기와, 상기 주차장의 교차로를 중심으로 사방 섹터의 영상정보들이 저장되고, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 상기 차량 단말기로부터 전송되는 상기 위치정보에 따라 해당 섹터의 상기 영상정보를 검출한 후, 검출된 영상정보에 겹쳐 표시되기 위한 특정 주차면에 대한 경로표시정보를 생성하여 상기 차량단말기에 제공하는 주차안내 서비스 서버와, 상기 주차장의 입구 및 교차로에 설치되며, 상기 차량 단말기와 주차안내 서비스 서버 간의 상기 위치정보 및 경로표시정보를 포함한 각종 정보의 송수신을 중계하는 둘 이상의 무선접속장치를 포함하며, 상기 주차안내 어플리케이션은 상기 카메라가 비추고 있는 실사영상에 상기 경로표시정보가 겹쳐지는 화면 상태로 상기 차량 단말기의 디스플레이부에 표시되도록 하는 것을 특징으로 한다.
또한, 상기 주차안내 어플리케이션은 상기 교차로에서의 차량 주행 방향을 상기 주차안내 서비스 서버에 알리기 위해 상기 카메라를 통해 비추어지는 주차장의 실사영상을 정보화하여 상기 무선접속장치에 전송하고, 상기 주차안내 서비스 서버는 상기 무선접속장치를 통해 전송되는 상기 실사영상의 정보를 영상화한 후 상기 영상정보와 비교하여 차량의 상기 교차로에서의 주행 방향 및 현재 위치를 실시간으로 파악하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버는, 상기 주차장의 전체 맵(map) 정보가 저장되고, 상기 차량 단말기가 상기 주차장의 입구에 설치된 무선접속장치를 통해 접속시 상기 맵 정보 및 이를 기준으로 상기 특정 주차면에 대한 이동경로를 표시하기 위한 좌표정보를 검출하여 상기 차량 단말기에 전송하며, 상기 주차안내 어플리케이션은, 상기 맵 정보 및 좌표정보를 통해 상기 특정 주차면에 대한 전체 이동경로를 표시하기 위한 화면정보를 생성하여 상기 차량 단말기의 디스플레이부를 통해 표시하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버는, 실시간으로 파악되고 있는 차량 위치를 통해 상기 맵(map) 정보를 기준으로 한 현재좌표정보를 생성하고, 차량의 상기 현재좌표정보와 상기 차량 단말기에 전송한 좌표정보를 비교하여 양 정보가 서로 다른 것으로 판단시 상기 특정 주차면에 대한 다른 이동경로 표시를 위한 수정좌표정보를 검출하여 상기 차량 단말기에 전송하는 것을 특징으로 한다.
또한, 상기 무선접속장치는, 상기 주차장의 출구에도 설치되고, 상기 차량 단말기는, 차량의 상기 특정 주차면에 대한 주차시 주차를 시작한 시간정보를 포함한 주차정보를 상기 주차안내 서비스 서버에 제공하는 동시에 상기 주차장으로부터 차량 출차시 해당 신호를 상기 주차장의 출구에 설치된 무선접속장치에 전송하며, 상기 주차안내 서비스 서버는, 저장된 상기 주차정보의 시간정보와 상기 주차장 출구의 무선접속장치로부터 전송되는 차량 출차 신호의 입력시간을 비교하여 주차요금을 산출한 후, 이를 상기 주차장의 정산소 단말기에 제공하는 동시에 상기 차량 단말기에 선택적으로 제공하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버는, 상기 차량 단말기 및 무선접속장치와 상기 위치정보 및 경로표시정보를 포함한 각종 정보 신호를 송수신하는 통신부와, 상기 영상정보, 상기 경로표시정보의 생성을 위한 문자와 숫자 및 기호를 포함한 이미지정보, 상기 주차장의 각 구획 별 주차면의 일련번호를 포함한 주차면정보, 상기 주차안내 서비스 서버의 운용을 위한 각종 운용정보가 저장되는 데이터베이스와, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 감지하는 주차면 감지부와, 상기 주차면 감지부를 통해 입력되는 신호에 따라 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 상기 통신부를 통해 입력되는 상기 위치정보에 따라 상기 데이터베이스로부터 해당 영상정보를 검출한 후, 상기 검출된 영상정보에 겹쳐 표시되기 위한 상기 특정 주차면에 대한 경로표시정보를 상기 데이터베이스의 이미지정보들로부터 검출하여 생성하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버는, 상기 특정 주차면에 대해 차량이 주차를 시작한 시간정보와 상기 특정 주차면에 주차한 차량의 상기 주차장으로부터 출차하는 시간정보를 비교하여 주차요금을 산출하는 주차요금 정산부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 증강현실을 이용한 주차 안내 방법은, (a) 카메라가 장착된 차량 단말기에 주차안내 어플리케이션이 설치되는 단계와, (b) 상기 주차안내 어플리케이션이 실행되고, 상기 차량 단말기가 주차안내 서비스 서버에 접속되며, 상기 카메라 및 상기 차량 단말기의 위치정보 획득 기능에 의해 획득되는 주차장의 특정 구역에 대한 위치정보가 상기 주차안내 서비스 서버에 제공되는 단계와, (c) 상기 주차안내 서비스 서버는 상기 위치정보에 따라 데이터베이스에 저장된 상기 주차장의 교차로를 중심으로 한 사방 섹터의 영상정보들 중 상기 차량 단말기의 위치정보에 해당하는 영상정보를 검출한 후, 검출된 영상정보에 겹쳐 표시되기 위한 상기 주차장의 특정 주차면에 대한 경로표시정보를 생성하여 상기 차량 단말기에 제공하는 단계와, (d) 상기 주차안내 어플리케이션이 상기 카메라에 비추어지고 있는 실사영상에 상기 주차안내 서비스 서버로부터 제공된 경로표시정보를 겹쳐 표시하는 화면 상태로 상기 차량 단말기의 디스플레이부에 표시하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (b) 단계에서 상기 차량 단말기로부터 위치정보가 상기 주차안내 서비스 서버에 제공되는 과정은, 상기 주차장의 교차로에 설치되는 무선접속장치를 매개로 이루어지는 것을 특징으로 한다.
또한, 상기 주차안내 어플리케이션이 상기 주차장의 교차로에서의 차량 주행 방향을 상기 주차안내 서비스 서버에 알리기 위해 상기 카메라를 통해 비추어지는 실사영상을 정보화하여 이를 상기 차량 단말기를 통해 상기 주차안내 서비스 서버에 전송하는 단계, 그리고 상기 주차안내 서비스 서버가 상기 차량 단말기로부터 전송되는 실사영상의 정보를 영상화한 후 이를 상기 데이터베이스로부터 검출되는 영상정보들과 비교하여 차량의 상기 교차로에서의 주행방향 및 현재 위치를 실시간으로 파악하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 주차안내 서비스 서버가 데이터베이스에 저장된 상기 주차장의 전체 맵(map) 정보 및 상기 맵(map) 정보를 기준으로 상기 특정 주차면에 대한 이동경로를 표시하기 위한 좌표정보를 검출하여 상기 차량 단말기에 제공하는 단계, 그리고 상기 주차안내 어플리케이션이 상기 주차안내 서비스 서버로부터 상기 차량 단말기에 제공되는 상기 맵(map) 정보 및 좌표정보를 통해 상기 특정 주차면에 대한 전체 이동경로의 표시를 위한 화면정보를 생성하여 상기 차량 단말기의 디스플레이부를 통해 표시하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 상기 특정 주차면에 대해 차량이 주차를 시작한 시간정보와 상기 특정 주차면에 주차한 차량의 상기 주차장으로부터 출차하는 시간정보를 비교하여 주차요금을 산출한 후 이를 주차장의 정산소 단말기에 제공하는 동시에 상기 차량 단말기에 선택적으로 제공하는 (e) 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 특정 주차면에 대한 주차 경로가 주차장의 실제 영상에 주차 경로의 가상 영상을 결합한 증강현실(Augmented Reality) 주차 안내 영상으로서 차량의 단말기 화면에 표시되고, 차량의 운전자는 이를 통해 현재 비어있는 특정 주차면을 찾기 위해 주차장을 배회하지 않고도 제공되는 증강현실 주차 안내 영상을 통해 비어있는 특정 주차면을 찾아 용이하게 주차할 수 있다.
또한, 주차장 내 차량의 주행 방향을 실시간으로 검출하면서 그에 따른 최적의 주차 경로를 실시간으로 파악하고 이를 차량의 단말기에 증강현실 영상으로 제공할 수 있으므로, 최초 제공되는 증강현실 주차 안내 영상과 다른 경로로 주행하더라도 곧이어 제공되는 수정된 증강현실 주차 안내 영상을 통해 현재 비어있는 특정 주차면을 찾아 용이하게 주차할 수 있다.
또한, 주차장의 주차면에 대한 주차 시작시간 및 출차 시간이 자동으로 체크되는 동시에 그를 통해 실제 주차시간에 따른 주차 요금이 주차장의 정산소 및 차량의 단말기에 제공될 수 있으므로, 주차 요금 정산을 위한 주차권 발급 및 정산시의 주차권 제출 과정이 생략될 수 있고, 따라서 주차 요금 정산 과정의 간소화 및 그에 따른 사용자 및 주차 관리자의 편의성이 향상될 수 있다.
또한, 본 발명에 따르면, 주차 안내 시스템을 이용한 주차 안내 방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 시스템의 전체 구성을 보인 블럭도
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 시스템에 의한 주차안내 과정을 예시한 구성도
도 3은 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 시스템의 전체 구성을 보인 블럭도
도 4는 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 방법에 의한 차량 주차시의 흐름을 보인 흐름도
도 5는 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 방법에 의한 차량 출차시의 흐름을 보인 흐름도
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 시스템에 의한 주차안내 과정을 예시한 구성도
도 3은 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 시스템의 전체 구성을 보인 블럭도
도 4는 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 방법에 의한 차량 주차시의 흐름을 보인 흐름도
도 5는 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 방법에 의한 차량 출차시의 흐름을 보인 흐름도
이하에서는 도면을 참조하여 본 발명의 일 실시예를 통해 본 발명을 더욱 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 시스템의 전체 구성을 보인 블럭도이다.
도시된 바와 같이, 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 시스템은 차량 단말기(110)와 무선접속장치(121~126), 주차안내 서비스 서버(130)를 포함하여 형성된다.
주차안내 서비스 서버(130)는 주차장의 교차로를 중심으로 사방 섹터의 영상정보들을 저장하며, 주차장의 각 주차면에 대한 차량의 주차 여부를 실시간으로 파악한다. 여기서, 주차장의 각 주차면에 대한 차량 주차 여부의 확인은, 주차면에 센서나 RFID태그를 부착하고 이를 통해 차량 주차 여부를 감지하는 방법 또는 주차장의 각 주차면에 대해 사진촬영을 하여 촬영되는 주차장의 영상을 분석하여 각 주차면에 대한 차량 주차 여부를 파악하는 방법 등이 사용될 수 있다. 또한, 주차안내 서비스 서버(130)는 주차장의 특정 주차면에 대한 경로 안내를 위해 저장된 영상정보들의 각 영상정보별로 방향표시정보가 매칭된 경로 안내 테이블(134a)을 데이터베이스(134)에 저장하는 동시에 이를 차량 단말기(110)에 제공한다.
차량 단말기(110)는 카메라(111) 및 이러한 카메라(112)에 의해 비추어지고 있는 실사영상을 표시하는 디스플레이부(미도시)를 포함한다. 그리고, 차량 단말기(110)에는 주차안내 어플리케이션(111)이 설치된다. 또한, 차량 단말기(110)는 주차안내 서비스 서버(130)로부터 주차장의 교차로를 중심으로 한 사방 섹터의 영상정보들 및 경로 안내 테이블(113a)을 다운받아 메모리(113)에 저장한다. 그리고, 주차안내 어플리케이션(111)의 실행 상태에서 사용자가 카메라(112)를 통해 주차장의 특정 영역을 비추면, 주차안내 어플리케이션(111)은 카메라(112)에 의해 비추어지고 있는 실사영상에 해당하는 영상정보 및 이와 매칭되는 방향표시정보를 저장된 경로 안내 테이블(113a)로부터 검출하는 동시에 검출된 방향표시정보를 카메라(112)에 의한 실사영상에 겹쳐지는 화면 상태로 디스플레이부에 표시되도록 한다.
무선접속장치(121~126)는 주차장의 입구 및 교차로에 설치되며, 여기서 무선 접속장치(121~126)는 주차장의 모든 교차로마다 설치될 수 있고, 이와는 달리 주차장의 일부 교차로에만 설치될 수 있다. 또한, 무선접속장치(121~126)는 주차장의 출구에도 설치될 수 있다. 이러한 무선접속장치(121~126)는 차량 단말기(110)와 주차안내 서비스 서버(130) 간의 영상정보 및 경로 안내 테이블(134a) 및 각종 정보의 송수신을 중계하는 기능을 한다.
그리고, 주차안내 서비스 서버(130)는 통신부(131), 데이터베이스(134), 주차면 감지부(135), 제어부(132), 주차요금 정산부(133)를 포함하여 형성될 수 있다.
통신부(131)는 차량 단말기(110) 및 무선접속장치(121~126)와 영상정보들 및 경로 안내 테이블(134a)을 포함한 각종 정보 신호를 송수신하는 기능을 한다.
데이터베이스(134)는 영상정보, 경로 안내 테이블(134a)의 방향표시정보의 생성을 위한 문자와 숫자 및 기호를 포함한 이미지정보, 주차장의 각 구획 별 주차면의 일련번호를 포함한 주차면정보, 경로 안내 테이블(134), 주차안내 서비스 서버(130)의 운용을 위한 각종 운용정보가 저장된다.
주차면 감지부(135)는 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 감지하는 기능을 한다.
제어부(132)는 주차안내 서비스 서버(130)의 전체적인 동작을 제어하는 기능을 하며, 특히 주차장의 특정 주차면에 대한 경로 안내를 위해 영상정보들 중 검출되는 복수의 영상정보 및 검출된 영상정보별로 표시되기 위한 방향표시정보가 포함된 경로 안내 테이블(134)을 생성하여 데이터베이스(134)에 저장하는 동시에 차량 단말기(110)에 제공하는 기능을 가진다.
주차요금 정산부(133)는 특정 주차면에 대해 차량이 주차를 시작한 시간정보 및 동일 차량의 출차 시간정보를 비교하여 주차요금을 산출하는 기능을 한다.
도 2는 본 발명의 일 실시예에 따른 주차 안내 시스템에 의한 주차안내 과정을 예시한 구성도이다.
도 2를 참조하여 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 시스템에 의해 차량의 주차 경로가 안내되는 과정을 설명하면 아래와 같다.
본 실시예에서 무선접속장치(AP0~AP5)는 주차장의 입구에 설치되는 무선접속장치(AP0)를 포함하여 총 6개의 무선접속장치(AP0~AP5)가 설치되는 형태를 예로 하였다.
먼저, 차량이 주차장 입구에서 주차안내 어플리케이션(111)을 실행하며, 차량 단말기(110)는 무선접속장치 AP0를 통해 주차안내 서비스 서버(130)에 접속한다.
그리고, 주차안내 어플리케이션(111)은 차량 단말기(110)를 통해 현재 비어있는 특정 주차면의 정보를 요청하는 신호를 주차안내 서비스 서버(130)에 전송한다. 이에 따라, 주차안내 서비스 서버(130)는 주차장의 교차로를 중심으로 사방 섹터의 영상정보들 및 경로 안내 테이블(134)을 차량 단말기(110)에 제공한다. 그리고, 차량 단말기(110)는 주차안내 서비스 서버(130)로부터 제공되는 영상정보들 및 경로 안내 테이블(113a)을 저장한다.
이어서, 주차안내 어플리케이션(111)이 실행된 상태에서, 차량 단말기(110)의 카메라(112)가 주차장의 특정 영역을 비추면, 상기 주차안내 어플리케이션(111)은 차량 단말기(110)에 저장된 영상정보들 중 카메라(112)에 의한 실사영상에 해당하는 영성정보를 검출하는 동시에 차량 단말기(110)에 저장된 경로 안내 테이블(113a)의 해당 방향표시정보를 검출한다. 그리고, 주차안내 어플리케이션(111)은 검출된 방향표시정보를 카메라(112)에 의한 실사영상에 겹쳐지는 화면상태로 하여 차량 단말기(110)의 디스플레이부(113)를 통해 표시되도록 한다.
본 실시예를 기준으로 설명하면, 차량 단말기(110)는 무선접속장치 AP1이 설치된 첫번째 교차로(1,1)에 도달하면 무선접속장치 AP0와의 접속을 해제하는 동시에 무선접속장치 AP1과 접속하여 주차안내 서비스 서버(130)와 연동한다. 이어서, 차량 단말기(110)의 카메라(112)를 통해 첫번째 교차로(1,1)의 일부 영역을 비추면, 카메라(112)에 의한 실사영상에 방향표시정보가 겹쳐진 화면 상태로 차량 단말기(110)의 디스플레이부(113)에 표시되며, 이를 통해 운전자는 주행 방향을 결정하게 된다. 이때, 주차안내 어플리케이션(111)은 차량의 주행방향에 따른 카메라(112)의 실사영상을 정보화하여 이를 차량 단말기(110)를 통해 주차안내 서비스 서버(130)에 전송하고, 주차안내 서비스 서버(130)는 이를 통해 차량의 교차로를 중심으로 한 주행방향이 처음 안내한 경로와 동일한지 여부를 판단하는 동시에 차량의 현재 위치를 실시간으로 파악하게 된다.
그리고, 이러한 일련의 과정이 차량의 주행에 따른 차량 단말기(110)와 무선접속장치(AP0~AP5)들 간의 순차적인 접속과 함께 반복적으로 진행되면서 차량의 특정 주차면에 도달하기까지 주차경로를 제공받게 된다.
도 3은 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 시스템의 전체 구성을 보인 블럭도이다.
도시된 바와 같이, 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 시스템은 차량 단말기(210)와 무선접속장치(221~226) 주차안내 서비스 서버(230)를 포함하여 형성된다.
차량 단말기(210)는 카메라(212))를 구비하며, 이러한 차량 단말기(210)에 주차안내 어플리케이션(211)이 설치된다. 그리고, 차량 단말기(210)는 주차안내 어플리케이션(211)이 실행된 상태에서 사용자가 카메라(212)를 통해 주차장의 특정 영역을 비추면, 차량 단말기(200)에 포함된 위치정보 획득 기능(위치정보(GPS기술) - 차량 단말기의 위치를 제공, 디지털 나침판 - 차량 단말기가 향하는 방향을 제공, 중력센서 - 차량 단말기의 기울어진 정도를 제공)을 통해 주차장의 특정 영역의 위치정보를 획득하여 해당 정보를 주차안내 서비스 서버(230)에 제공한다.
주차안내 서비스 서버(230)는 주차장의 교차로를 중심으로 사방 섹터의 영상정보들이 데이터베이스(234)에 저장된다. 이러한, 주차안내 서비스 서버(230)는 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악한다. 여기서, 주차장의 각 주차면에 대한 차량 주차 여부의 확인은, 주차면에 센서나 RFID태그를 부착하고 이를 통해 차량 주차 여부를 감지하는 방법 또는 주차장의 각 주차면에 대해 사진촬영을 하여 촬영되는 주차장의 영상을 분석하여 각 주차면에 대한 차량 주차 여부를 파악하는 방법 등이 사용될 수 있다.
그리고, 주차안내 서비스 서버(230)는 차량 단말기(210)로부터 전송되는 위치정보에 따라 데이터베이스(234)에 저장된 영상정보들 중 주차장의 해당 섹터의 영상정보를 검출하고, 이렇게 검출된 영상정보를 기준으로 영상정보에 겹쳐 표시되기 위한 경로표시정보를 생성하여 이를 차량 단말기(210)에 제공한다.
이에 따라, 차량 단말기(210)의 주차안내 어플리케에션(211)은 카메라(212)를 통해 비추고 있는 실사영상에 주차안내 서비스 서버(230)로부터 제공된 경로표시정보를 겹친 화면상태로 상기 차량 단말기(210)의 디스플레이부(미도시)에 표시되도록 한다. 그리고, 이렇게 차량 단말기(210)의 디스플레이부에 표시되는 주차 안내 화면을 통해 차량의 운전자는 주차 안내를 받게 된다.
무선접속장치(221~226)는 주차장의 입구 및 교차로에 설치되며, 여기서 무선 접속장치(221~226)는 주차장의 모든 교차로마다 설치될 수 있고, 이와는 달리 주차장의 일부 교차로에만 설치될 수 있다. 또한, 무선접속장치(221~226)는 주차장의 출구에도 설치될 수 있다. 이러한 무선접속장치(221~226)는 차량 단말기(210)와 주차안내 서비스 서버(230) 간의 위치정보 및 경로표시정보를 포함한 각종 정보의 송수신을 중계하는 기능을 한다.
그리고, 주차안내 서비스 서버(230)는 주차장의 전체 맵(map) 정보를 데이터베이스(234)에 저장하고 있으며, 주차장의 입구에 설치된 무선접속장치(221)를 통해 차량 단말기가 접속시, 주차안내 서비스 서버(230)는 데이터베이스(234)에 저장된 전체 맵(map) 정보를 기준으로 특정 주차면에 대한 이동경로를 표시하기 위한 좌표정보를 검출하여 차량 단말기(210)에 전송한다. 이에 따라, 주차안내 어플리케이션(211)은 주차안내 서비스 서버(230)로부터 차량 단말기(210)에 전송되는 주차장의 전체 맵(map) 정보 및 좌표정보를 통해 특정 주차면에 대한 전체 이동경로를 표시하기 위한 화면정보를 생성한다. 그리고, 이렇게 주차안내 어플리케이션(211)에 의해 생성된 화면정보가 차량 단말기(210)의 디스플레이부를 통해 표시된다.
또한, 차량 단말기(210)는 주차장의 특정 주차면에 대한 차량 주차시, 주차안내 어플리케이션(211)에 의해 주차를 시작한 시간정보를 포함한 주차정보를 생성하고, 이를 주차안내 서비스 서버(230)에 제공한다. 또한, 차량 단말기(210)는 특정 주차면에 주차했던 차량이 주차장으로부터 출차시 해당 시간의 신호를 주차안내 서비스 서버(230)에 제공한다. 이에 따라, 주차안내 서비스 서버(230)는 차량 단말기(210)로부터 제공되는 주차정보의 시간정보와 차량 출차시, 차량 단말기(210)로부터 제공되는 해당 시간의 신호를 비교하여 주차요금을 산출한다. 그리고, 주차안내 서비스 서버(230)는 이렇게 정산된 주차요금을 주차장의 정산소 단말기(240)에 제공하는 동시에 차량 단말기(210)에 선택적으로 제공한다.
그리고, 주차안내 서비스 서버(230)는 통신부(231), 데이터베이스(234), 주차면 감지부(235), 제어부(232)를 포함하여 형성된다. 또한, 주차안내 서비스 서버(230)는 주차요금 정산부(233)를 더 포함하여 형성될 수 있다.
통신부(231)는 차량 단말기(210) 및 무선접속장치(221~226)와 위치정보 및 경로표시정보를 포함한 각종 정보 신호를 송수신하는 기능을 한다.
데이터베이스(234)는 영상정보, 경로표시정보의 생성을 위한 문자와 숫자 및 기호를 포함한 이미지정보, 주차장의 각 구획 별 주차면의 일련번호를 포함한 주차면 정보, 주차안내 서비스 서버(230)의 운용을 위한 각종 운용정보가 저장된다.
주차면 감지부(235)는 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 감지하는 기능을 한다.
제어부(232)는 주차면 감지부(235)를 통해 입력되는 신호에 따라 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 통신부(231)를 통해 입력되는 위치정보에 따라 데이터베이스(234)로부터 해당 영상정보를 검출한 후, 검출된 영상정보에 겹쳐 표시되기 위한 특정 주차면에 대한 경로표시정보를 데이터베이스(234)의 이미지정보들로부터 검출하여 생성하는 기능을 한다.
주차요금 정산부(233)는 특정 주차면에 대해 차량이 주차를 시작한 시간정보와 상기 특정 주차면에 주차한 차량의 주차장으로부터 출차하는 시간정보를 비교하여 주차요금을 산출하는 기능을 한다.
도 3은 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 방법에 의한 차량 주차시의 흐름을 보인 흐름도이다.
이러한 도 3을 참조하여 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 방법을 설명한다. 그리고, 이하의 설명에서 주차안내 시스템의 구성은 상술한 도 2를 참조한 본 발명의 다른 실시예에 따른 증강현실을 이용한 주차 안내 시스템의 구성을 따르는 동시에 동일한 도면부호를 사용한다.
단계(S110)에서, 차량 단말기(210)에 주차안내 어플리케이션(211)이 설치된다.
단계(S120)에서, 차량 단말기(210)가 주차안내 서비스 서버(230)에 접속되는 동시에 주차안내 어플리케이션(211)이 실행된다.
단계(S130)에서 차량 단말기(210)의 카메라(212) 및 차량 단말기(210)의 위치 획득 기능에 의해 획득되는 주차장의 특정 영역에 대한 위치정보가 주차안내 서비스 서버(230)에 전송된다.
단계(S140)에서 주차안내 서비스 서버(230)는 차량 단말기(210)로부터 제공되는 위치정보에 따라 데이터베이스(234)에 저장된 주차장의 교차로를 중심으로 한 사방 섹터의 영상정보들 중 해당 영상정보를 검출하는 동시에 검출된 영상정보에 겹쳐 표시되기 위한 주차경로 안내용 경로표시정보가 생성된다.
단계(S150)에서 주차안내 서비스 서버(230)는 단계(S140)에서 생성된 경로표시정보를 차량 단말기(210)에 제공한다.
단계(S160)에서 주차안내 어플리케이션(211)은 카메라(212)에 의해 비추어지고 있는 주차장의 실사영상에 주차안내 서비스 서버(230)로부터 제공된 경로표시정보를 겹쳐지는 화면 상태로 차량 단말기(210)의 디스플레이부에 표시되도록 한다.
단계(S170)에서 주차안내 서비스 서버(230)는 주차장의 특정 주차면에 차량 도달 및 주차시 차량의 주차를 시작한 시간정보 및 해당 주차면의 정보를 저장한다.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용한 주차 안내 방법에 의한 차량 출차시의 흐름을 보인 흐름도이다.
단계(S210)에서, 차량 단말기(210)의 주차안내 어플리케이션(211)이 실행된다.
단계(S220)에서, 차량 단말기(210)가 주차안내 서비스 서버(230)에 접속된다.
단계(S230)에서, 주차안내 서비스 서버(230)가 데이터베이스(234))로부터 해당 차량의 주차를 시작한 시간 정보를 검출한다.
단계(S240)에서, 해당 차량이 주차장의 출구에 도착하고, 이에 따라 해당 차량의 출차하는 시간정보가 주차안내 서비스 서버(230)에 제공된다. 여기서, 출차하는 시간 정보가 주차안내 서비스 서버(230)에 제공되는 과정은, 차량 단말기(210)가 주차장의 출구에 설치된 무선접속장치(206)와 통신하고, 이에 따라 주차안내 어플리케이션(211)은 이를 차량의 출차 상황으로 인식하여 해당 시간을 출차하는 시간정보로써 무선접속장치(206)를 통해 주차안내 서비스 서버(230)에 전송하는 방식일 수 있다. 또한 이와는 달리, 무선접속장치(206)가 차량 단말기(210)와 교신하여 차량의 주차장 출구에 대한 도착 정보를 주차안내 서비스 서버(230)에 전송하고, 이에 따라 주차안내 서비스 서버(230)는 무선접속장치(206)로부터의 신호 전송 시간을 차량의 출차하는 시간정보로 판단하는 방식일 수 있다.
단계(S250)에서, 주차안내 서비스 서버(2300는 데이터베이스(234)에서 검출된 주차시의 시간정보와 정보와 출차시의 시간정보를 비교하여 주차 요금을 산출한다.
단계(S260)에서, 주차안내 서비스 서버(230)는 단계(S250)에서 산출된 주차 요금을 주차장의 정산소 단말기(240)와 차량 단말기(210)에 각각 전송한다. 그리고, 본 실시예에서는 주차 요금이 주차자의 정산소 단말기(240)와 차량 단말기(210)에 모두 제공되는 것을 예로 하였으나, 이와는 달리 주차 요금이 주차장의 정산소 단말기(240)에는 반드시 제공되고, 차량 단말기(210)에는 선택적으로 제공되는 것일 수 있다.
상기한 본 발명의 실시예를 통하여 알 수 있는 바와 같이, 본 발명의 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법을 통해서, 특정 주차면에 대한 주차 경로가 주차장의 실제 영상에 주차 경로의 가상 영상을 결합한 증강현실(Augmented Reality) 주차 안내 영상으로서 차량 단말기 화면에 표시되고, 차량의 운전자는 이를 통해 현재 비어있는 특정 주차면을 찾기 위해 주차장을 배회하지 않고도 제공되는 증강현실의 주차 경로 안내 영상을 통해 비어있는 특정 주차면을 찾아 용이하게 주차할 수 있다.
또한, 주차장 내 차량의 주행 방향을 실시간으로 검출하면서 그에 따른 최적의 주차 경로를 실시간으로 파악하고 이를 차량 단말기에 증강현실 영상으로 제공할 수 있으므로, 최초 제공되는 증강현실 주차 안내 영상과 다른 경로로 주행하더라도 곧이어 제공되는 수정된 증강현실 주차 안내 영상을 통해 현재 비어있는 특정 주차면을 찾아 용이하게 주차할 수 있다.
또한, 주차장의 주차면에 대한 주차 시작시간 및 출차 시간이 자동으로 체크되는 동시에 그를 통해 실제 주차시간에 따른 주차 요금이 주차장의 정산소 및 차량 단말기(100)에 제공될 수 있으므로, 주차 요금 정산을 위한 주차권 발급 및 정산시의 주차권 제출 과정이 생략될 수 있고, 따라서 주차 요금 정산 과정의 간소화 및 그에 따른 사용자 및 주차 관리자의 편의성이 향상될 수 있다.
이상에서 설명한 것은 본 발명에 따른 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시 예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
110 : 차량 단말기 111,211 : 주차안내 어플리케이션
112,212 : 카메라 120,220 : 무선 중계기
130,230 : 주차안내 서비스 서버 131,231 : 통신부
132,232 : 제어부 133,233 : 주차요금 정산부
134,234 : 데이터베이스 135,235 : 주차면 감지부
140,240 : 정산소 단말기
112,212 : 카메라 120,220 : 무선 중계기
130,230 : 주차안내 서비스 서버 131,231 : 통신부
132,232 : 제어부 133,233 : 주차요금 정산부
134,234 : 데이터베이스 135,235 : 주차면 감지부
140,240 : 정산소 단말기
Claims (16)
- 주차장의 교차로를 중심으로 사방 섹터의 영상정보들이 저장되고, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 특정 주차면에 대한 경로 안내를 위해 상기 영상정보들의 각 영상정보별로 방향표시정보가 매칭된 경로 안내 테이블이 저장되는 동시에 상기 경로 안내 테이블을 차량 단말기에 제공하는 주차안내 서비스 서버;
주차안내 어플리케이션이 설치되고, 카메라 및 상기 카메라에 의해 비추어지고 있는 실사영상을 표시하는 디스플레이부를 포함하며, 상기 주차안내 서비스 서버에 접속하여 상기 영상정보들을 다운받아 저장하고, 상기 주차안내 서비스 서버로부터 제공되는 상기 경로 안내 테이블을 저장하며, 상기 주차안내 어플리케이션이 실행된 상태에서 상기 카메라를 통해 주차장의 특정 영역을 비추면, 상기 주차안내 어플리케이션은 상기 카메라에 의해 비추어지고 있는 실사영상에 해당하는 영상정보 및 이와 매칭되는 방향표시정보를 저장된 상기 경로 안내 테이블로부터 검출하는 동시에 상기 방향표시정보를 상기 카메라에 의해 비춰지고 있는 실사영상에 겹쳐지는 화면 상태로 상기 디스플레이부에 표시하는 차량 단말기;
상기 주차장의 입구 및 교차로에 설치되며, 상기 차량 단말기와 주차안내 서비스 서버 간의 상기 영상정보들 및 경로 안내 테이블을 포함한 각종 정보의 송수신을 중계하는 둘 이상의 무선접속장치를 포함하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 1 항에 있어서,
상기 주차안내 어플리케이션은, 상기 주차장의 교차로 통과시마다 상기 카메라에 의해 비추어지고 있는 실사영상을 정보화하여 상기 차량 단말기를 통해 상기 주차안내 서비스 서버에 제공하며,
상기 주차안내 서비스 서버는, 상기 차량 단말기를 통해 제공되는 실사영상의 정보를 영상화한 후 저장된 상기 경로 안내 테이블의 영상정보와 비교하여 차량의 주행 방향이 처음 제공된 주차 안내 테이블의 방향표시정보의 안내 방향과 일치 여부를 확인하는 동시에 차량의 현재 위치를 실시간으로 파악하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 2 항에 있어서,
상기 주차안내 서비스 서버는, 차량의 실제 주행방향과 상기 주차 안내 테이블의 방향표시정보의 안내 방향이 서로 다른 것으로 파악되면, 차량의 현재 위치를 기준으로 저장된 영상정보들 중 복수의 영상정보 및 검출된 영상정보별로 표시되기 위한 방향표시정보가 포함된 수정된 경로 안내 테이블을 생성하여 저장하는 동시에 차량 단말기에 제공하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 주차안내 서비스 서버는,
상기 차량 단말기 및 무선접속장치와 상기 영상정보들 및 경로 안내 테이블을 포함한 각종 정보 신호를 송수신하는 통신부;
상기 영상정보, 상기 경로 안내 테이블의 방향표시정보의 생성을 위한 문자와 숫자 및 기호를 포함한 이미지정보, 상기 주차장의 각 구획 별 주차면의 일련번호를 포함한 주차면정보, 상기 경로 안내 테이블, 상기 주차안내 서비스 서버의 운용을 위한 각종 운용정보가 저장되는 데이터베이스;
상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 감지하는 주차면 감지부;
상기 주차장의 특정 주차면에 대한 경로 안내를 위해 상기 영상정보들 중 검출되는 복수의 영상정보 및 검출된 영상정보별로 표시되기 위한 방향표시정보가 포함된 경로 안내 테이블을 생성하여 저장하는 동시에 차량 단말기에 제공하는 제어부를 포함하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 주차안내 어플리케이션이 설치되고, 카메라가 장착되며, 상기 주차안내 어플리케이션이 실행된 상태에서 상기 카메라를 통해 주차장의 특정 영역을 비추면 단말기의 위치정보 획득 기능에 의해 특정 영역의 위치정보를 획득하여 해당 정보를 주차안내 서비스 서버에 제공하는 차량 단말기;
상기 주차장의 교차로를 중심으로 사방 섹터의 영상정보들이 저장되고, 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 상기 차량 단말기로부터 전송되는 상기 위치정보에 따라 해당 섹터의 상기 영상정보를 검출한 후, 검출된 영상정보에 겹쳐 표시되기 위한 특정 주차면에 대한 경로표시정보를 생성하여 상기 차량단말기에 제공하는 주차안내 서비스 서버;
상기 주차장의 입구 및 교차로에 설치되며, 상기 차량 단말기와 주차안내 서비스 서버 간의 상기 위치정보 및 경로표시정보를 포함한 각종 정보의 송수신을 중계하는 둘 이상의 무선접속장치를 포함하며,
상기 주차안내 어플리케이션은 상기 카메라가 비추고 있는 실사영상에 상기 경로표시정보가 겹쳐지는 화면 상태로 상기 차량 단말기의 디스플레이부에 표시되도록 하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 5 항에 있어서,
상기 주차안내 어플리케이션은 상기 교차로에서의 차량 주행 방향을 상기 주차안내 서비스 서버에 알리기 위해 상기 카메라를 통해 비추어지는 주차장의 실사영상을 정보화하여 상기 무선접속장치에 전송하고,
상기 주차안내 서비스 서버는 상기 무선접속장치를 통해 전송되는 상기 실사영상의 정보를 영상화한 후 상기 영상정보와 비교하여 차량의 상기 교차로에서의 주행 방향 및 현재 위치를 실시간으로 파악하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 6 항에 있어서,
상기 주차안내 서비스 서버는, 상기 주차장의 전체 맵(map) 정보가 저장되고, 상기 차량 단말기가 상기 주차장의 입구에 설치된 무선접속장치를 통해 접속시 상기 맵 정보 및 이를 기준으로 상기 특정 주차면에 대한 이동경로를 표시하기 위한 좌표정보를 검출하여 상기 차량 단말기에 전송하며,
상기 주차안내 어플리케이션은, 상기 맵 정보 및 좌표정보를 통해 상기 특정 주차면에 대한 전체 이동경로를 표시하기 위한 화면정보를 생성하여 상기 차량 단말기의 디스플레이부를 통해 표시하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 7 항에 있어서,
상기 주차안내 서비스 서버는, 실시간으로 파악되고 있는 차량 위치를 통해 상기 맵(map) 정보를 기준으로 한 현재좌표정보를 생성하고, 차량의 상기 현재좌표정보와 상기 차량 단말기에 전송한 좌표정보를 비교하여 양 정보가 서로 다른 것으로 판단시 상기 특정 주차면에 대한 다른 이동경로 표시를 위한 수정좌표정보를 검출하여 상기 차량 단말기에 전송하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 5 항에 있어서,
상기 무선접속장치는, 상기 주차장의 출구에도 설치되고,
상기 차량 단말기는, 차량의 상기 특정 주차면에 대한 주차시 주차를 시작한 시간정보를 포함한 주차정보를 상기 주차안내 서비스 서버에 제공하는 동시에 상기 주차장으로부터 차량 출차시 해당 신호를 상기 주차장의 출구에 설치된 무선접속장치에 전송하며,
상기 주차안내 서비스 서버는, 저장된 상기 주차정보의 시간정보와 상기 주차장 출구의 무선접속장치로부터 전송되는 차량 출차 신호의 입력시간을 비교하여 주차요금을 산출한 후, 이를 상기 주차장의 정산소 단말기에 제공하는 동시에 상기 차량 단말기에 선택적으로 제공하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 주차안내 서비스 서버는,
상기 차량 단말기 및 무선접속장치와 상기 위치정보 및 경로표시정보를 포함한 각종 정보 신호를 송수신하는 통신부;
상기 영상정보, 상기 경로표시정보의 생성을 위한 문자와 숫자 및 기호를 포함한 이미지정보, 상기 주차장의 각 구획 별 주차면의 일련번호를 포함한 주차면정보, 상기 주차안내 서비스 서버의 운용을 위한 각종 운용정보가 저장되는 데이터베이스;
상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 감지하는 주차면 감지부;
상기 주차면 감지부를 통해 입력되는 신호에 따라 상기 주차장의 각 주차면에 대한 차량 주차 여부를 실시간으로 파악하며, 상기 통신부를 통해 입력되는 상기 위치정보에 따라 상기 데이터베이스로부터 해당 영상정보를 검출한 후, 상기 검출된 영상정보에 겹쳐 표시되기 위한 상기 특정 주차면에 대한 경로표시정보를 상기 데이터베이스의 이미지정보들로부터 검출하여 생성하는 제어부를 포함하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - 제 10 항에 있어서,
상기 주차안내 서비스 서버는,
상기 특정 주차면에 대해 차량이 주차를 시작한 시간정보와 상기 특정 주차면에 주차한 차량의 상기 주차장으로부터 출차하는 시간정보를 비교하여 주차요금을 산출하는 주차요금 정산부를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 주차안내 시스템. - (a) 카메라가 장착된 차량 단말기에 주차안내 어플리케이션이 설치되는 단계;
(b) 상기 주차안내 어플리케이션이 실행되고, 상기 차량 단말기가 주차안내 서비스 서버에 접속되며, 상기 카메라 및 상기 차량 단말기의 위치정보 획득 기능에 의해 획득되는 주차장의 특정 구역에 대한 위치정보가 상기 주차안내 서비스 서버에 제공되는 단계;
(c) 상기 주차안내 서비스 서버는 상기 위치정보에 따라 데이터베이스에 저장된 상기 주차장의 교차로를 중심으로 한 사방 섹터의 영상정보들 중 상기 차량 단말기의 위치정보에 해당하는 영상정보를 검출한 후, 검출된 영상정보에 겹쳐 표시되기 위한 상기 주차장의 특정 주차면에 대한 경로표시정보를 생성하여 상기 차량 단말기에 제공하는 단계;
(d) 상기 주차안내 어플리케이션이 상기 카메라에 비추어지고 있는 실사영상에 상기 주차안내 서비스 서버로부터 제공된 경로표시정보를 겹쳐 표시하는 화면 상태로 상기 차량 단말기의 디스플레이부에 표시하는 단계를 포함하는 것을 특징으로 하는 증강현실을 이용한 주차 안내 방법. - 제 12 항에 있어서,
상기 (b) 단계에서 상기 차량 단말기로부터 위치정보가 상기 주차안내 서비스 서버에 제공되는 과정은, 상기 주차장의 교차로에 설치되는 무선접속장치를 매개로 이루어지는 것을 특징으로 하는 증강현실을 이용한 주차 안내 방법. - 제 13 항에 있어서,
상기 주차안내 어플리케이션이 상기 주차장의 교차로에서의 차량 주행 방향을 상기 주차안내 서비스 서버에 알리기 위해 상기 카메라를 통해 비추어지는 실사영상을 정보화하여 이를 상기 차량 단말기를 통해 상기 주차안내 서비스 서버에 전송하는 단계, 그리고 상기 주차안내 서비스 서버가 상기 차량 단말기로부터 전송되는 실사영상의 정보를 영상화한 후 이를 상기 데이터베이스로부터 검출되는 영상정보들과 비교하여 차량의 상기 교차로에서의 주행방향 및 현재 위치를 실시간으로 파악하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 주차 안내 방법. - 제 12 항에 있어서,
상기 주차안내 서비스 서버가 데이터베이스에 저장된 상기 주차장의 전체 맵(map) 정보 및 상기 맵(map) 정보를 기준으로 상기 특정 주차면에 대한 이동경로를 표시하기 위한 좌표정보를 검출하여 상기 차량 단말기에 제공하는 단계, 그리고 상기 주차안내 어플리케이션이 상기 주차안내 서비스 서버로부터 상기 차량 단말기에 제공되는 상기 맵(map) 정보 및 좌표정보를 통해 상기 특정 주차면에 대한 전체 이동경로의 표시를 위한 화면정보를 생성하여 상기 차량 단말기의 디스플레이부를 통해 표시하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 주차 안내 방법. - 제 12 항에 있어서,
상기 특정 주차면에 대해 차량이 주차를 시작한 시간정보와 상기 특정 주차면에 주차한 차량의 상기 주차장으로부터 출차하는 시간정보를 비교하여 주차요금을 산출한 후 이를 주차장의 정산소 단말기에 제공하는 동시에 상기 차량 단말기에 선택적으로 제공하는 (e) 단계를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 주차 안내 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100097131A KR101102408B1 (ko) | 2010-10-06 | 2010-10-06 | 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100097131A KR101102408B1 (ko) | 2010-10-06 | 2010-10-06 | 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101102408B1 true KR101102408B1 (ko) | 2012-01-05 |
Family
ID=45613705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100097131A KR101102408B1 (ko) | 2010-10-06 | 2010-10-06 | 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101102408B1 (ko) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101243881B1 (ko) | 2012-07-20 | 2013-03-20 | (주)아트웨어 | 주차유도 시스템 |
| CN106601009A (zh) * | 2016-12-07 | 2017-04-26 | 浙江宇视科技有限公司 | 一种停车信息生成方法及装置 |
| KR20180050072A (ko) * | 2016-11-04 | 2018-05-14 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 그의 제어방법 |
| CN108766025A (zh) * | 2018-06-14 | 2018-11-06 | 苏州市职业大学 | 一种基于ar技术的停车管理*** |
| KR20190110859A (ko) * | 2018-03-21 | 2019-10-01 | 주식회사 디자인에이포인트 | 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법 |
| WO2021021427A1 (en) * | 2019-07-29 | 2021-02-04 | Waymo Llc | Methods for transitioning between autonomous driving modes in large vehicles |
| WO2021187704A1 (ko) * | 2020-03-15 | 2021-09-23 | 김경식 | 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템 |
| CN113532435A (zh) * | 2021-06-18 | 2021-10-22 | 上海追势科技有限公司 | 一种车机地下停车场ar导航方法 |
| CN114466780A (zh) * | 2019-07-29 | 2022-05-10 | 伟摩有限责任公司 | 用于在大型车辆中的自主驾驶模式之间转换的方法 |
| KR102511356B1 (ko) * | 2022-11-24 | 2023-03-20 | 김병준 | 엣지 ai 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법 |
| KR102595887B1 (ko) * | 2023-08-03 | 2023-10-30 | 주식회사 티미 | 광학식 센서를 기반으로 한 주차 유도 방법, 장치 및시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050078136A (ko) * | 2004-01-30 | 2005-08-04 | 삼성전자주식회사 | 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템 |
| KR20060029473A (ko) * | 2004-10-01 | 2006-04-06 | 에스케이 텔레콤주식회사 | 근거리 무선 통신을 이용한 지역 기반 부가 서비스 제공방법 및 시스템 |
| JP2006292616A (ja) | 2005-04-13 | 2006-10-26 | Alps Electric Co Ltd | バーチャル・ナビゲーション・システムおよび携帯端末機 |
-
2010
- 2010-10-06 KR KR1020100097131A patent/KR101102408B1/ko not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050078136A (ko) * | 2004-01-30 | 2005-08-04 | 삼성전자주식회사 | 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템 |
| KR20060029473A (ko) * | 2004-10-01 | 2006-04-06 | 에스케이 텔레콤주식회사 | 근거리 무선 통신을 이용한 지역 기반 부가 서비스 제공방법 및 시스템 |
| JP2006292616A (ja) | 2005-04-13 | 2006-10-26 | Alps Electric Co Ltd | バーチャル・ナビゲーション・システムおよび携帯端末機 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101243881B1 (ko) | 2012-07-20 | 2013-03-20 | (주)아트웨어 | 주차유도 시스템 |
| KR20180050072A (ko) * | 2016-11-04 | 2018-05-14 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 그의 제어방법 |
| KR101979694B1 (ko) * | 2016-11-04 | 2019-05-17 | 엘지전자 주식회사 | 차량에 구비된 차량 제어 장치 및 그의 제어방법 |
| US10366610B2 (en) | 2016-11-04 | 2019-07-30 | Lg Electronics Inc. | Vehicle control device mounted at vehicle and method for controlling vehicle |
| CN106601009A (zh) * | 2016-12-07 | 2017-04-26 | 浙江宇视科技有限公司 | 一种停车信息生成方法及装置 |
| KR20190110859A (ko) * | 2018-03-21 | 2019-10-01 | 주식회사 디자인에이포인트 | 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법 |
| KR102074684B1 (ko) * | 2018-03-21 | 2020-02-20 | (주)브이알에이포인트 | 위치정보와 방향정보를 기반으로 한 ar 또는 vr 영상 제공 방법 |
| CN108766025A (zh) * | 2018-06-14 | 2018-11-06 | 苏州市职业大学 | 一种基于ar技术的停车管理*** |
| WO2021021427A1 (en) * | 2019-07-29 | 2021-02-04 | Waymo Llc | Methods for transitioning between autonomous driving modes in large vehicles |
| CN114466780A (zh) * | 2019-07-29 | 2022-05-10 | 伟摩有限责任公司 | 用于在大型车辆中的自主驾驶模式之间转换的方法 |
| US11392122B2 (en) | 2019-07-29 | 2022-07-19 | Waymo Llc | Method for performing a vehicle assist operation |
| US11927956B2 (en) | 2019-07-29 | 2024-03-12 | Waymo Llc | Methods for transitioning between autonomous driving modes in large vehicles |
| US11927955B2 (en) | 2019-07-29 | 2024-03-12 | Waymo Llc | Methods for transitioning between autonomous driving modes in large vehicles |
| WO2021187704A1 (ko) * | 2020-03-15 | 2021-09-23 | 김경식 | 딥러닝과 rtt신호를 이용한 주차지도 제작 및 주차장내 차량위치확인 시스템 |
| CN113532435A (zh) * | 2021-06-18 | 2021-10-22 | 上海追势科技有限公司 | 一种车机地下停车场ar导航方法 |
| KR102511356B1 (ko) * | 2022-11-24 | 2023-03-20 | 김병준 | 엣지 ai 기반의 차량 주차 예약 및 안내 서비스 제공 장치 및 방법 |
| KR102595887B1 (ko) * | 2023-08-03 | 2023-10-30 | 주식회사 티미 | 광학식 센서를 기반으로 한 주차 유도 방법, 장치 및시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101102408B1 (ko) | 증강현실을 이용한 주차 안내 시스템 및 그를 이용한 주차 안내 방법 | |
| KR101586706B1 (ko) | 카스토퍼 지자기 무선센서를 이용한 주차 관리 방법 | |
| KR101066385B1 (ko) | 차량별 상세유도안내가 가능한 주차유도시스템 | |
| KR102197704B1 (ko) | 실내주차장에서 증강현실기반 주차 안내시스템 | |
| CN112908019B (zh) | 用于管理车辆泊车的方法、电子设备和计算机存储介质 | |
| JP5054834B2 (ja) | 情報処理装置、システム、空きスペース案内方法及びプログラム | |
| JP2011065279A (ja) | 駐車スペース案内システム | |
| KR20100029985A (ko) | 주차 정보 제공 방법 및 장치 | |
| CN102027318A (zh) | 用于提供停车信息的导航装置及方法 | |
| KR20180009551A (ko) | 지능형 주차 관리 시스템 | |
| US7885643B2 (en) | Information communication system | |
| JP2007305026A (ja) | 施設内外自動車誘導システム、施設側誘導装置、自動車側誘導装置及び施設内外自動車誘導方法 | |
| KR101280313B1 (ko) | 스마트 버스정보시스템 | |
| CN109785654A (zh) | 基于位置空间模型的车辆引导 | |
| JP2004245610A (ja) | 対抗車両すれ違い解析システムおよび方法、ナビゲーション装置 | |
| KR20180071458A (ko) | 비콘을 이용한 주차 유도 방법 및 시스템 | |
| KR102357138B1 (ko) | 증강현실기반 주차 안내시스템 | |
| KR102268014B1 (ko) | 공유 주차면 요금 결제시스템 | |
| CN109218966A (zh) | 位置确定方法、装置、终端及存储介质 | |
| JP4800252B2 (ja) | 車載装置及び交通情報提示方法 | |
| WO2014107000A1 (ko) | 보행 경로 안내 시스템 및 방법 | |
| JP2002296061A (ja) | 道案内情報提供方法及び道案内情報提供プログラム | |
| KR20150068680A (ko) | 스마트 주차 안내 단말기 및 시스템, 및 이를 이용한 스마트 주차 안내 방법 | |
| JP2018037083A (ja) | サービスステーションでサービスを享受するためのパラメータを供給するための方法 | |
| CN115662178A (zh) | 一种停车路径确定方法、装置、***及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |