KR20190029412A - Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein - Google Patents

Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein Download PDF

Info

Publication number
KR20190029412A
KR20190029412A KR1020180045398A KR20180045398A KR20190029412A KR 20190029412 A KR20190029412 A KR 20190029412A KR 1020180045398 A KR1020180045398 A KR 1020180045398A KR 20180045398 A KR20180045398 A KR 20180045398A KR 20190029412 A KR20190029412 A KR 20190029412A
Authority
KR
South Korea
Prior art keywords
image
user
user terminal
signboard
management server
Prior art date
Application number
KR1020180045398A
Other languages
Korean (ko)
Other versions
KR102107208B1 (en
Inventor
김동균
김기영
추교인
채명성
Original Assignee
주식회사 제주컨버전스
(주)나무플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 제주컨버전스, (주)나무플러스 filed Critical 주식회사 제주컨버전스
Publication of KR20190029412A publication Critical patent/KR20190029412A/en
Application granted granted Critical
Publication of KR102107208B1 publication Critical patent/KR102107208B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0255—Targeted advertisements based on user history
    • G06Q30/0256—User search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0267—Wireless devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

A method for providing offline shop information through a network and a managing server used therein are disclosed. The present invention is realized by a managing server through the steps of comprising a storage unit stored with a shop signboard image photographed offline, receiving a signboard image taken by a user from a user terminal, searching for the photographed signboard image corresponding to the signboard image information received from the user terminal through the storage unit, and transmitting store information corresponding to the searched photographed signboard image to the user terminal. According to the present invention, information, related to an object photographed by the user, such as a signboard of an offline store or the like can be selectively provided to the user.

Description

네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버{Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein}[0001] The present invention relates to a method of providing offline store information through a network and a management server used therein,

본 발명은 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버에 관한 것으로, 더욱 상세하게는 오프라인 매장의 간판 등과 같이 사용자가 직접 촬영한 대상체와 관련된 정보를 사용자에게 선별적으로 제공할 수 있도록 하는 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버에 관한 것이다. The present invention relates to a method of providing offline store information via a network and a management server used therefor, and more particularly, to a method of providing offline store information through a network so that information related to a target object photographed by a user To a method of providing offline store information via a network and a management server used therefor.

낯선 곳을 여행하는 관광객에서 증강 현실 기술 및 위치 기반 서비스를 이용하여 관광객이 소지하고 있는 스마트 폰 등의 무선 통신 단말기로 관광지 정보를 제공하는 다양한 형태의 기술이 제안된 바 있다.Various types of technologies have been proposed for tourists traveling in unfamiliar places to provide sightseeing information to a wireless communication terminal such as a smart phone using augmented reality technology and location-based services.

그러나, 이와 같은 종래 기술은 사용자의 위치 정보에 따라 자동적으로 연관되는 불필요한 정보들을 사용자에게 무분별하게 제공함으로써 오히려 사용자의 피로감을 증가시킨다는 기술적 한계가 있다.However, there is a technical limitation in such a conventional technique that the unnecessary information automatically associated with the user's location information is indiscreetly provided to the user, thereby increasing the fatigue of the user.

아울러, 현재 구글, 네이버 등이 제공하는 이미지 검색 서비스를 통해 사용자가 특정 이미지를 입력하면, 해당 이미지와 유사한 이미지들에 대한 검색 결과를 제공받을 수 있게 된다.In addition, when a user inputs a specific image through an image search service provided by Google, Naver, etc., a search result for images similar to the image can be provided.

그러나, 이와 같은 종래 기술에 따른 이미지 검색 방법은 사용자가 입력한 특정 이미지와 데이터 베이스에 저장되어 있는 모든 이미지들을 비교해야 하므로 자연히 그 검색 속도가 늦어질 수 밖에 없다는 기술적 한계가 있다.However, in the conventional image search method, there is a technical limitation that the search speed must be slowed down because the user must compare the specific image input by the user with all the images stored in the database.

따라서, 본 발명의 목적은, 오프라인 매장의 간판 등과 같이 사용자가 직접 촬영한 대상체와 관련된 정보를 사용자에게 선별적으로 제공할 수 있도록 하는 네트워크를 통한 오프라인 매장 정보 제공 방법 및 이에 사용되는 관리 서버를 제공함에 있다.Accordingly, an object of the present invention is to provide a method of providing offline store information via a network, which enables users to selectively provide information related to an object photographed by a user, such as a signboard of an offline store, and a management server used therein .

상기 목적을 달성하기 위한 본 발명에 따른 네트워크를 통한 오프라인 매장 정보 제공 방법은, (a) 관리 서버가, 오프라인 상의 매장 간판 촬영 이미지가 저장된 저장부를 구비하는 단계; (b) 상기 관리 서버가, 사용자 단말기로부터 사용자가 촬영한 간판 이미지를 수신하는 단계; (c) 상기 관리 서버가, 상기 사용자 단말기로부터 수신된 간판 이미지 정보와 대응되는 간판 촬영 이미지를 상기 저장부를 통해 검색하는 단계; 및 (d) 상기 관리 서버가, 검색된 간판 촬영 이미지에 대응되는 매장 정보를 상기 사용자 단말기에 송신하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of providing offline store information through a network, the method comprising: (a) the storage server having a storage section for storing a shop sign image taken offline; (b) the management server receiving a signboard image taken by a user from a user terminal; (c) the management server retrieving a billboard image corresponding to the billboard image information received from the user terminal through the storage unit; And (d) transmitting, by the management server, the store information corresponding to the retrieved billboard image to the user terminal.

한편, 본 발명에 따른 관리 서버는, 오프라인 상의 매장 간판 촬영 이미지가 저장된 저장부; 사용자 단말기로부터 사용자가 촬영한 간판 이미지를 수신하는 수신부; 상기 사용자 단말기로부터 수신된 간판 이미지 정보와 대응되는 간판 촬영 이미지를 상기 저장부를 통해 검색하는 검색부; 및 상기 검색부에 의해 검색된 간판 촬영 이미지에 대응되는 매장 정보를 상기 사용자 단말기에 송신하는 송신부를 포함한다.Meanwhile, the management server according to the present invention includes: a storage unit for storing an image of a store sign taken on an off-line; A receiving unit for receiving a signboard image taken by a user from a user terminal; A retrieval unit for retrieving a billboard image corresponding to the billboard image information received from the user terminal through the storage unit; And a transmitting unit for transmitting the store information corresponding to the billboard image captured by the searching unit to the user terminal.

한편, 본 발명에 따른 이미지 검색 방법은, (a) 이미지 검색 장치가, 서로 다른 공간에 있는 복수의 촬영 대상체에 대한 각각의 촬영 이미지를 상기 촬영 대상체의 위치 정보와 연관하여 저장하는 단계; (b) 상기 이미지 검색 장치가, 이미지 검색 요청에 포함된 위치 정보에 기초하여, 상기 촬영 이미지를 1차 검색하는 단계; 및 (c) 상기 이미지 검색 장치가, 1차 검색된 복수의 촬영 이미지와 상기 이미지 검색 요청에 포함된 촬영 이미지를 비교하여 1차 검색된 복수의 촬영 이미지 중 최종 촬영 이미지를 선택하는 단계를 포함한다.According to another aspect of the present invention, there is provided an image retrieval method comprising the steps of: (a) storing, by an image retrieval apparatus, each of a plurality of photographing objects in different spaces in association with positional information of the object; (b) the image search apparatus performs a primary search for the photographed image based on positional information included in an image search request; And (c) the image search apparatus selecting the final shot image among the plurality of shot images that are searched first by comparing the plurality of shot images that are searched first and the shot images included in the image search request.

바람직하게는, 상기 (a) 단계서의 상기 촬영 이미지는, 상기 촬영 대상체를 서로 다른 각도에서 주야간을 구분하여 촬영한 복수의 촬영 이미지인 것을 특징으로 한다. Preferably, the photographed image in step (a) is a plurality of photographed images obtained by photographing the photographed object separately from day and night at different angles.

한편, 본 발명에 따른 기록 매체는 상기 방법을 실행시키는 프로그램이 기록된 것을 특징으로 한다.On the other hand, the recording medium according to the present invention is characterized in that a program for executing the method is recorded.

본 발명에 따르면, 오프라인 매장의 간판 등과 같이 사용자가 직접 촬영한 대상체와 관련된 정보를 사용자에게 선별적으로 제공할 수 있게 된다. According to the present invention, it is possible to selectively provide information related to a target object photographed by a user, such as a signboard of an offline store, to a user.

아울러, 본 발명에 따르면, 1차적으로 지오해시 코드값에 기초하여 선별된 이미지들에 대한 이미지 패턴 비교를 통해 이미지를 검색함으로써, 이미지 검색 시간을 대폭 단축할 수 있게 될 뿐만 아니라, 이미지 검색의 정확도를 높일 수 있게 된다.In addition, according to the present invention, not only the image search time can be greatly shortened by searching an image through image pattern comparison of the selected images based on the geo code value, The accuracy can be increased.

도 1은 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 시스템의 구성도,
도 2는 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 서비스를 제공하는 관리 서버(200)의 구조를 나타내는 기능 블록도,
도 3은 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 방법의 실행 과정을 설명하는 신호 흐름도,
도 4는 본 발명의 일 실시예에 따른 이미지 검색 방법의 실행 과정을 설명하는 절차 흐름도,
도 5는 본 발명의 일 실시예에 따른 이미지 검색 방법에서의 지오해시 코드값에 기초하여 형성되는 그리드 영역을 나타낸 도면, 및
도 6은 본 발명의 일 실시예에 따른 이미지 검색 방법에서의 촬영 이미지의 저장 상태를 나타낸 도면이다. 1 is a block diagram of a system for providing offline store information through a network according to an embodiment of the present invention;
FIG. 2 is a functional block diagram illustrating a structure of a management server 200 for providing an offline store information providing service through a network according to an embodiment of the present invention.
FIG. 3 is a signal flow diagram illustrating an execution process of a method for providing offline store information via a network according to an embodiment of the present invention; FIG.
FIG. 4 is a flowchart illustrating an image search method according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a grid area formed based on a geocode code value in an image retrieval method according to an embodiment of the present invention, and FIG.
6 is a diagram illustrating a storage state of a captured image in the image search method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, the present invention will be described in detail with reference to the drawings. It is to be noted that the same elements among the drawings are denoted by the same reference numerals whenever possible. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

도 1은 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 시스템의 구성도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 시스템은 적어도 하나의 사용자 단말기(100), 및 관리 서버(200)를 포함한다.1 is a block diagram of a system for providing offline store information through a network according to an embodiment of the present invention. Referring to FIG. 1, a system for providing offline store information through a network according to an embodiment of the present invention includes at least one user terminal 100 and a management server 200.

사용자 단말기(100)는 본 발명에 따른 네트워크를 통한 오프라인 매장 정보 제공 서비스를 이용하는 사용자가 소지하는 스마트 폰 등의 무선 통신 단말기로서, 사용자가 촬영한 오프라인 매장 간판의 이미지를 포함하는 매장 정보 제공 요청을 관리 서버(200)로 송신하며, 이후 관리 서버(200)로부터 해당 매장에 대한 상세 정보를 수신하는 기능을 수행한다.The user terminal 100 is a wireless communication terminal such as a smart phone possessed by a user who uses the offline store information providing service through the network according to the present invention and stores a store information providing request including an image of the offline store signboard taken by the user To the management server 200, and then receives detailed information on the store from the management server 200. [

관리 서버(200)는 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 서비스를 제공하는 사업자가 설치 및 운영하는 서버로서, 사용자 단말기(100)로부터 매장 정보 제공 요청을 수신하는 경우, 해당 요청에 포함되어 있는 사용자의 GPS 위치 정보 및 간판 이미지 정보에 기초하여, 사용자가 촬영이 간판이 설치된 오프라인 매장의 상세 정보를 검색하고, 검색된 매장 정보를 사용자 단말기(100)로 송신하는 기능을 수행한다.The management server 200 is a server installed and operated by a service providing company for providing offline store information through a network according to an embodiment of the present invention. When receiving a store information providing request from the user terminal 100, Based on the user's GPS position information and billboard image information included in the request, the user searches for detailed information of the offline store where the signboard is installed, and transmits the retrieved store information to the user terminal 100 .

도 2는 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 서비스를 제공하는 관리 서버(200)의 구조를 나타내는 기능 블록도이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 서비스를 제공하는 관리 서버(200)는 수신부(210), 저장부(230), 검색부(250), 및 송신부(270)를 포함한다.2 is a functional block diagram illustrating a structure of a management server 200 for providing offline store information through a network according to an embodiment of the present invention. 2, a management server 200 for providing offline store information providing service through a network according to an embodiment of the present invention includes a receiving unit 210, a storage unit 230, a searching unit 250, (Not shown).

관리 서버(200)의 저장부(230)에는 오프라인 상에서 서로 다른 공간에 존재하는 다양한 매장에 각각 설치된 간판에 대한 촬영 이미지가 해당 매장의 GPS 등의 위치 정보, 및 해당 매장에 대한 상세 정보(식당명, 외국어 식당명, 식당명 풀이, 주요 음식 사진, 가격, 맛 분석, 평점, 이용기, 주문 도우미, 환율 계산기 등)와 함께 저장되어 있다.In the storage unit 230 of the management server 200, a shot image of a signboard installed in each of various stores located in different spaces on the off-line is stored in the storage unit 230 of the management server 200, , Foreign language restaurant name, restaurant name resolution, main food photograph, price, taste analysis, rating, usage period, order assistant, currency calculator, etc.).

관리 서버(200)의 수신부(210)는 사용자 단말기(100)를 통해 촬영된 간판 이미지를 포함하는 매장 정보 제공 요청을 사용자 단말기(100)로부터 수신하고, 관리 서버(200)의 검색부(250)는 사용자 단말기(100)로부터 수신된 매장 정보 제공 요청에 포함된 사용자의 현재 위치 정보, 및 간판 이미지에 기초하여 사용자가 촬영한 간판 이미지와 대응되는 간판 이미지를 검색한 다음, 검색된 간판 이미지와 함께 저장부(230)에 저장되어 있는 매장 상세 정보를 검색한다.The receiving unit 210 of the management server 200 receives the store information providing request including the signboard image photographed through the user terminal 100 from the user terminal 100 and searches the searching unit 250 of the management server 200, Retrieves the current location information of the user included in the store information providing request received from the user terminal 100 and the signboard image corresponding to the signboard image photographed by the user based on the signboard image and then stores it together with the detected signboard image (230). ≪ / RTI >

한편, 관리 서버(200)의 송신부(270)는 검색부(250)에 의해 검색된 매장 상세 정보를 사용자 단말기(100)로 송신한다.Meanwhile, the transmission unit 270 of the management server 200 transmits the store detailed information retrieved by the retrieval unit 250 to the user terminal 100.

도 3은 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 방법의 실행 과정을 설명하는 신호 흐름도이다. 이하에서는 도 1 내지 도 3을 참조하여, 본 발명의 일 실시예에 따른 네트워크를 통한 오프라인 매장 정보 제공 방법의 실행 과정을 설명하기로 한다.3 is a signal flow diagram illustrating an execution procedure of the offline store information providing method through the network according to the embodiment of the present invention. Hereinafter, a method of providing offline store information through a network according to an embodiment of the present invention will be described with reference to FIGS. 1 to 3. FIG.

먼저, 관리 서버(200)의 저장부(230)에는 서로 다른 공간에 존재하는 다양한 오프라인 매장의 외부에 각각 설치되어 있는 간판에 대한 촬영 이미지가 해당 매장의 GPS 등의 위치 정보에 따라 분류 저장되어 있다(S300).First, the storage unit 230 of the management server 200 categorizes and stores shot images of signboards installed outside the various offline stores existing in different spaces according to the location information of the GPS of the shop (S300).

아울러, 본 발명을 실시함에 있어서, 관리 서버(200)의 저장부(230)에는 각각의 간판 이미지에 대응되는 오프라인 매장에 대한 상세 정보(식당명, 외국어 식당명, 식당명 풀이, 주요 음식 사진, 가격, 맛 분석, 평점, 이용기, 주문 도우미, 환율 계산기 등)가 각각의 간판 이미지 정보에 연관되어 저장됨이 바람직할 것이다(S310).In order to implement the present invention, the storage unit 230 of the management server 200 stores detailed information about the offline store corresponding to each signboard image (restaurant name, name of a foreign language restaurant, restaurant name resolution, Price, taste analysis, rating, usage period, order assistant, currency converter, etc.) is stored in association with each of the billboard image information (S310).

한편, 사용자는 사용자 단말기(100)에 본 발명에 따른 오프라인 매장 정보 제공 서비스를 이용하기 위해 필요한 소정의 어플리케이션 프로그램을 설치하고, 이를 실행한다(S320).Meanwhile, the user installs a predetermined application program necessary for using the offline store information providing service according to the present invention to the user terminal 100 and executes the application program (S320).

사용자는 어플리케이션 프로그램을 실행한 다음, 사용자의 위치 정보를 서비스 사업자에게 제공하는 것으로 선택하는 선택 버튼을 입력한다(S330).After executing the application program, the user inputs a selection button for selecting the providing location information of the user to the service provider (S330).

이후 낯선 지역을 여행하는 사용자는 음식점 등과 같은 오프라인 매장에 설치된 외부 간판을 사용자 단말기(100)에 구비된 카메라 모듈을 통해 촬영한다(S340).The user who travels in a strange area shoots an external signboard installed in an offline store such as a restaurant through a camera module provided in the user terminal 100 (S340).

이에 따라, 사용자 단말기(100)에 설치된 어플리케이션 프로그램은 사용자 단말기(100)를 통해 촬영된 간판 이미지와 간판 이미지가 촬영된 시점의 사용자 단말기(100)의 GPS 위치 정보를 포함하는 매장 정보 제공 요청을 생성하며, 이와 같이 생성된 매장 정보 제공 요청은 사용자 단말기(100)를 통해 관리 서버(200)로 송신된다(S350).Accordingly, the application program installed in the user terminal 100 generates a store information providing request including the signboard image photographed through the user terminal 100 and the GPS position information of the user terminal 100 at the time of shooting the signboard image The generated store information providing request is transmitted to the management server 200 through the user terminal 100 (S350).

이에 관리 서버(200)의 수신부(210)는 사용자 단말기(100)로부터 매장 정보 제공 요청을 수신하게 되며, 사용자 단말기(100)로부터 수신된 매장 정보 제공 요청은 관리 서버(200)의 저장부(230)에 저장된다.The reception unit 210 of the management server 200 receives the store information provision request from the user terminal 100 and the store information provision request received from the user terminal 100 is stored in the storage unit 230 of the management server 200 ).

한편, 본 발명을 실시함에 있어서, 관리 서버(200)의 검색부(250)는 사용자 단말기(100)로부터 수신된 매장 정보 제공 요청에 포함되어 있는 사용자의 GPS 위치 정보에 기초하여, 해당 위치로부터 일정한 반경(예를 들면, 20m) 내에 속하는 GPS 위치 정보로서 저장부(230)에 분류 및 저장되어 있는 간판 이미지들을 검색할 수 있을 것이다(S360).The search unit 250 of the management server 200 searches the location information of the user terminal 100 based on the GPS location information of the user included in the store information providing request received from the user terminal 100, It is possible to search for signboard images classified and stored in the storage unit 230 as GPS position information belonging to a radius (for example, 20 m) (S360).

그 다음, 관리 서버(200)의 검색부(250)는 전술한 S360 단계의 실행에 따라 1차 검색된 복수의 간판 이미지들과, 전술한 S350 단계에서의 매장 정보 제공 요청에 포함된 간판 이미지의 이미지 패턴 비교를 통해 사용자가 전술한 S340 단계에서 촬영한 간판 이미지와 가장 높은 일치도를 보이는 간판 이미지를 최종적으로 선택한다.Then, the search unit 250 of the management server 200 searches the first plurality of sane images retrieved according to the execution of step S360 described above, and the images of the standard images included in the store information providing request in step S350 The user finally selects the signboard image photographed in step S340 and the signboard image showing the highest match degree through pattern comparison.

한편, 전술한 S350 단계에서의 매장 정보 검색 요청에 따라 관리 서버(200)는 상술한 바와 같이 저장부(230)에 저장되어 있는 간판 이미지들을 검색하게 되는 바, 본 발명을 실시함에 있어서 전술한 S350 단계에서의 매장 정보 검색 요청은 간판 이미지 검색 요청으로 이해될 수도 있을 것이다.Meanwhile, in response to the store information retrieval request at step S350, the management server 200 searches for the signboard images stored in the storage unit 230 as described above. In carrying out the present invention, The store information retrieval request at the step may be understood as a signboard image retrieval request.

도 4는 본 발명의 일 실시예에 따른 이미지 검색 방법의 실행 과정을 설명하는 절차 흐름도이다.FIG. 4 is a flowchart illustrating an image search method according to an exemplary embodiment of the present invention. Referring to FIG.

본 발명을 실시함에 있어서, 전술한 S360 단계에서 관리 서버(200)의 검색부(250)가 저장부(230)에 저장되어 있는 간판 이미지들을 검색함에 있어서, 도 4에서의 이미지 검색 방법이 사용됨이 바람직할 것이다. In the present invention, when the search unit 250 of the management server 200 searches the standard images stored in the storage unit 230 in step S360, the image search method of FIG. 4 is used Lt; / RTI >

먼저, 관리 서버(200)의 검색부(250)는 사용자 단말기(100)로부터 수신된 매장 정보 제공 요청에 포함되어 있는 사용자의 GPS 좌표를 지오해시(geohash) 코드로 변환한다(S361).First, the search unit 250 of the management server 200 converts the GPS coordinates of the user included in the store information providing request received from the user terminal 100 into a geohash code (S361).

구체적으로, 사용자의 현재 위치를 나타내는 GPS 좌표의 위경도값이 [33.481426, 126.497226]일 경우 이를 지오해시 알고리즘을 이용해 지오해시 코드값으로 변경하면 'wvcyqx0'가 된다.Specifically, when the radar value of the GPS coordinate indicating the user's current position is [33.481426, 126.497226], it is changed to the geocode code value using the geo-hash algorithm to become 'wvcyqx0'.

이에 관리 서버(200)의 검색부(250)는 도 5에서와 같이, 지오해시 코드값인 'wvcyqx0'로 특정되는 그리드 내에 포함되는 위치 정보에 따라 저장부(230)에 분류 저장되어 있는 간판 이미지를 검색한다(S363).As shown in FIG. 5, the search unit 250 of the management server 200 determines whether or not the signboard 250, which is classified and stored in the storage unit 230 according to the location information included in the grid specified by the geocode code value 'wvcyqx0' An image is retrieved (S363).

한편, 본 발명을 실시함에 있어서, 관리 서버(200)는 전술한 S363 단계를 통해 검색된 간판 이미지를 사용자 단말기(100)에 송신할 수도 있을 것이며, 이에 사용자 단말기(100)를 통해 관리 서버(200)가 검색한 간판 이미지를 확인한 사용자가 해당 간판 이미지를 선택하는 경우에 관리 서버(200)는 사용자 단말기(100)로부터 간판 이미지 선택 정보를 수신하게 될 것이다.The management server 200 may transmit the signboard image searched through step S363 to the user terminal 100 and may transmit the signboard image to the management server 200 through the user terminal 100. [ The management server 200 will receive the standard image selection information from the user terminal 100 when the user who has checked the standard image retrieved by the user selects the standard image.

한편, 이러한 경우에 관리 서버(200)는 사용자에 의해 선택된 간판 이미지와 함께 연관 저장되어 있는 매장 정보를 검색할 수도 있을 것이다(S370). Meanwhile, in this case, the management server 200 may retrieve the store information associated with the billboard image selected by the user (S370).

한편, 전술한 S363 단계에서 관리 서버(200)가 검색한 간판 이미지를 사용자 단말기(100)를 통해 확인한 사용자가 해당 간판 이미지가 자신이 전술한 S340 단계에서 촬영한 간판과는 다른 간판에 대한 이미지인 것으로 판단한 경우에 사용자는 사용자 단말기(100)를 통해 관리 서버(200)로 간판 이미지의 재검색을 요청할 수도 있을 것이다. On the other hand, if the user who verified the signboard image searched by the management server 200 through the user terminal 100 in step S363 described above determines that the signboard image is an image of a signboard different from the signboard photographed in step S340 The user may request the management server 200 to rescan the signboard image through the user terminal 100. [

이러한 경우에 관리 서버(200)의 검색부(250)는 전술한 S361 단계에서의 지오해시 코드값(wvcyqx0)에 해당하는 그리드 영역을 중심으로 형성되는 인접 그리드 영역인 총 8개의 그리드 영역(wvcyqrr, wvcyqx2, wvcyqx3, wvcyqrp, wvcyqx0, wvcyqx1, wvcyqqz, wvcyqwb, wvcyqwc)을 추가 검색 영역으로 설정하고(S365), 이와 같이 추가 설정된 인접 그리드 영역 내에 포함되는 위치 정보에 따라 저장부(230)에 분류 저장되어 있는 간판 이미지를 추가로 검색함이 바람직할 것이다(S367).In this case, the search unit 250 of the management server 200 searches for a total of eight grid areas wvcyqrr (wvcyqr0), which is an adjacent grid area formed around the grid area corresponding to the geo code value wvcyqx0 in step S361, (step S365), and stores it in the storage unit 230 in accordance with the positional information included in the additional adjacent grid area (step S363) It is preferable to further search the signboard image (S367).

한편, 관리 서버(200)는 전술한 S367 단계를 통해 추가 검색된 간판 이미지들을 사용자 단말기(100)에 송신할 수 있을 것이며, 사용자 단말기(100)를 통해 관리 서버(200)가 검색한 간판 이미지들을 확인한 사용자가 그 중에서 전술한 S340 단계에서 자신이 촬영한 간판과 동일한 간판의 이미지를 선택하는 경우에 관리 서버(200)는 사용자 단말기(100)로부터 간판 이미지 선택 정보를 수신하게 될 것이다.Meanwhile, the management server 200 may transmit the searched-over signboard images to the user terminal 100 through the above-described step S367. The management server 200 checks the signboard images searched by the management server 200 through the user terminal 100 In the case where the user selects an image of the same signboard as the signboard photographed in step S340, the management server 200 will receive the signboard image selection information from the user terminal 100. [

이러한 경우에 관리 서버(200)는 사용자에 의해 선택된 간판 이미지와 함께 연관 저장되어 있는 매장 정보를 검색하게 될 것이다(S370). In this case, the management server 200 will search for the store information associated with the billboard image selected by the user (S370).

한편, 본 발명을 실시함에 있어서, 관리 서버(200)의 검색부(250)는 지오해시 코드값에 기초하여 검색된 간판 이미지가 복수개인 경우에 상기에서와 같이 사용자에게 복수개의 간판 이미지 중 하나를 선택하도록 유도하지 않고, 지오해시 코드값에 기초하여 검색된 복수의 간판 이미지들과 전술한 S350 단계에서의 매장 정보 제공 요청에 포함된 간판 이미지의 이미지 패턴 비교를 통해 사용자가 전술한 S340 단계에서 촬영한 간판과 가장 높은 일치도를 보이는 간판 이미지를 선택할 수도 있을 것이다.In the meantime, when the present invention is implemented, the search unit 250 of the management server 200 may search for one of a plurality of standard image images in the case where a plurality of standard image images are searched based on the geo code value, It is possible to determine whether or not the user has photographed at step S340 by comparing the image pattern of a plurality of standard images retrieved based on the geo code value and the standard image included in the store information providing request at step S350 You can also choose the signboard image that best matches the one signboard.

이를 위해 전술한 S300 단계에서 저장부(230)에 저장되는 간판 이미지는, 도 6에서와 같이 촬영 대상체인 동일한 간판을 서로 다른 각도에서 주간/야간을 구분하여 촬영한 복수의 간판 이미지가 됨이 바람직할 것이다.For this purpose, the signboard image stored in the storage unit 230 in the above-described S300 is preferably a plurality of signboard images obtained by photographing the same signboard, something to do.

이와 같이 본 발명에 의하면, 사용자가 촬영한 간판 이미지와 동일한 간판 이미지를 검색함에 있어서, 1차적으로 지오해시 코드값에 기초하여 간판 이미지들을 검색한 다음, 1차 검색된 간판 이미지들에 대한 이미지 패턴 비교를 통해 간판 이미지를 최종적으로 선택함으로써, 이미지 검색 시간을 대폭 단축할 수 있게 될 뿐만 아니라, 저장부(230)에 동일한 간판을 서로 다른 각도에서 주간/야간을 구분하여 촬영한 복수의 간판 이미지를 저장하고, 이와 같은 복수의 간판 이미지와 이미지 패턴 비교를 함으로써, 사용자가 간판을 촬영한 각도 또는 시간대와 무관하게 높은 정확도로 간판 이미지를 검색할 수 있게 된다.As described above, according to the present invention, in searching for the same signboard image as the signboard image taken by the user, the signboard images are firstly searched based on the geo code value, and then the image patterns By selecting the final image of the signboard through comparison, not only the image search time can be greatly shortened, but also a plurality of signboard images photographed by dividing the same signboard at different angles from day to night in the storage unit 230 By comparing the image patterns of the plurality of standard images with each other, the user can search the standard image with high accuracy irrespective of the angle at which the signboard was photographed or the time zone.

한편, 관리 서버(200)의 검색부(250)는 최종 검색된 간판 이미지와 함께 저장부(230)에 연관 저장되어 있는 매장 정보를 검색하며, 검색된 매장 정보(식당명, 외국어 식당명, 식당명 풀이, 주요 음식 사진, 가격, 맛 분석, 평점, 이용기, 주문 도우미, 환율 계산기 등)를 사용자 단말기(100)로 송신한다(S380).Meanwhile, the search unit 250 of the management server 200 searches the store information associated with the final retrieved signboard image and stored in the storage unit 230, and stores the retrieved store information (restaurant name, foreign language restaurant name, A main food photograph, a price, a taste analysis, a rating, a usage period, an order assistant, a currency converter, etc.) to the user terminal 100 (S380).

이에 사용자는 사용자 단말기(100)를 통해 전술한 S340 단계에서 촬영한 간판이 설치되어 있는 오프라인 매장의 상세 정보를 확인한 후 해당 매장에 들어갈 수 있게 된다.Accordingly, the user can enter detailed information of the offline store installed with the signboard photographed in step S340 through the user terminal 100, and enter the store.

이와 같이 관리 서버(200)를 통해 매장 정보를 확인한 사용자가 해당 매장 안으로 들어가는 경우에 사용자 단말기(100)의 위치 정보는 관리 서버(200)로 송신되며(S385), 이후 관리 서버(200)는 사용자 단말기(100)의 현재 위치 정보와 해당 매장의 위치 정보가 소정의 오차 범위(예를 들면, 5m) 이내에 있는 것으로 판단된 경우에, 사용자가 해당 매장에 방문하여 관련 서비스를 이용한 것으로 판단하고, 사용자의 매장 방문 시각 정보(사용자 단말기(100)의 현재 위치 정보와 해당 매장의 위치 정보가 소정의 오차 범위 이내로 형성된 시각 정보)와, 방문 매장의 위치 정보를 포함하는 매장 방문 정보를 생성하고, 이를 저장부(230)에 저장한다.When the user who has confirmed the store information through the management server 200 enters the store, the location information of the user terminal 100 is transmitted to the management server 200 (S385) When it is determined that the current location information of the terminal 100 and the location information of the store are within a predetermined error range (for example, 5 m), the user visits the store and determines that the related service is used, The shop visit information including the shop visit time information of the user terminal 100 (time information in which the current location information of the user terminal 100 and the location information of the store are formed within a predetermined error range) and the store location information, (230).

이와 같은 사용자의 시간대별 매장 방문 정보는 관리 서버(200)의 저장부(230)에 사용자의 이동 경로로서 저장되며, 관리 서버(200)는 저장부(230)에 저장된 사용자의 이동 경로 정보를 분석함으로써 해당 사용자를 위한 추천 이동 경로를 생성할 수 있게 된다(S390).The store visit information for each user in the time zone is stored in the storage unit 230 of the management server 200 as a user's travel route and the management server 200 analyzes the travel route information of the user stored in the storage unit 230 Thereby creating a recommended movement route for the user (S390).

구체적으로, 관리 서버(200)의 저장부(230)에는 본 발명에 따른 오프라인 매장 정보 제공 서비스를 이용하는 각각의 사용자별 이동 경로 정보가 저장되어 있으며, 관리 서버(200)의 검색부(250)는 특정 사용자의 이동 경로 정보에 포함되어 있는 방문 매장의 위치 정보를 동일하게 포함하고 있는 다른 사용자의 이동 경로 정보를 검색한다.Specifically, the storage unit 230 of the management server 200 stores movement route information for each user using the offline store information providing service according to the present invention, and the search unit 250 of the management server 200 And searches for travel route information of other users that also include the location information of the visited store included in the travel route information of the specific user.

관리 서버(200)는, 이에 따라 검색된 다른 사용자의 이동 경로 정보 상에서의, 상기 방문 매장의 위치 정보와 함께 저장되어 있는 방문 시각 정보와 가장 근접한 방문 시각 정보를 갖는 매장 방문 정보에 포함되어 있는 방문 매장의 위치 정보를 해당 사용자를 위한 추천 이동 경로로서 생성할 수도 있을 것이다.The management server 200 stores in the store visit information included in the store visit information having the visit time information closest to the visit time information stored together with the location information of the visited store on the travel route information of other users searched accordingly, May be generated as a recommended movement route for the user.

한편, 관리 서버(200)는 이와 같이 생성된 추천 이동 경로를 사용자 단말기(100)로 송신함으로써, 사용자는 다른 관광객의 이동 경로(즉, 매장 방문 경로)에 따른 관광을 제안받을 수 있게 된다(S395).On the other hand, the management server 200 transmits the generated recommended travel route to the user terminal 100, so that the user can be offered a tour according to the travel route (i.e., the shop visit route) of other tourists (S395 ).

한편, 본 발명을 실시함에 있어서, 전술한 S360 단계에서의 이미지 검색은 상기 각 과정을 실행하는 프로그램이 설치된 이미지 검색 장치를 통해 별도로 실행될 수도 있을 것이다.In implementing the present invention, the image retrieval in step S360 may be separately performed through the image retrieval apparatus installed with the program for executing the above-described processes.

본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이상에서는 본 발명의 바람직한 실시예 및 응용예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예 및 응용예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.


100: 사용자 단말기, 200: 관리 서버.
100: user terminal, 200: management server.

Claims (2)

(a) 관리 서버가, 오프라인 상의 매장 간판 촬영 이미지가 저장된 저장부를 구비하는 단계;
(b) 상기 관리 서버가, 사용자 단말기로부터 사용자가 촬영한 간판 이미지를 수신하는 단계;
(c) 상기 관리 서버가, 상기 사용자 단말기로부터 수신된 간판 이미지 정보와 대응되는 간판 촬영 이미지를 상기 저장부를 통해 검색하는 단계; 및
(d) 상기 관리 서버가, 검색된 간판 촬영 이미지에 대응되는 매장 정보를 상기 사용자 단말기에 송신하는 단계
를 포함하는 네트워크를 통한 오프라인 매장 정보 제공 방법.
(a) the management server has a storage section for storing a shop sign image taken off-line;
(b) the management server receiving a signboard image taken by a user from a user terminal;
(c) the management server retrieving a billboard image corresponding to the billboard image information received from the user terminal through the storage unit; And
(d) transmitting, by the management server, the store information corresponding to the searched signboard image to the user terminal
The method comprising the steps of:
오프라인 상의 매장 간판 촬영 이미지가 저장된 저장부;
사용자 단말기로부터 사용자가 촬영한 간판 이미지를 수신하는 수신부;
상기 사용자 단말기로부터 수신된 간판 이미지 정보와 대응되는 간판 촬영 이미지를 상기 저장부를 통해 검색하는 검색부; 및
상기 검색부에 의해 검색된 간판 촬영 이미지에 대응되는 매장 정보를 상기 사용자 단말기에 송신하는 송신부
를 포함하는 관리 서버.
A storage unit for storing a shop sign image taken offline;
A receiving unit for receiving a signboard image taken by a user from a user terminal;
A retrieval unit for retrieving a billboard image corresponding to the billboard image information received from the user terminal through the storage unit; And
A transmitting unit for transmitting to the user terminal store information corresponding to the billboard image picked up by the searching unit;
≪ / RTI >
KR1020180045398A 2017-09-11 2018-04-19 Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein KR102107208B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170115838 2017-09-11
KR20170115838 2017-09-11

Publications (2)

Publication Number Publication Date
KR20190029412A true KR20190029412A (en) 2019-03-20
KR102107208B1 KR102107208B1 (en) 2020-05-06

Family

ID=66036142

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180045398A KR102107208B1 (en) 2017-09-11 2018-04-19 Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein
KR1020180045397A KR102107207B1 (en) 2017-09-11 2018-04-19 Image Searching Method, and Media Recorded with Program Executing Image Searching Method

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180045397A KR102107207B1 (en) 2017-09-11 2018-04-19 Image Searching Method, and Media Recorded with Program Executing Image Searching Method

Country Status (1)

Country Link
KR (2) KR102107208B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110379152B (en) * 2019-07-19 2021-12-31 同济大学 Visualization method for real-time monitoring and rebalancing of shared bicycle
KR102358533B1 (en) * 2020-06-15 2022-02-04 경상국립대학교산학협력단 Restaurant Information Service Providing System and Method
KR20230027560A (en) 2021-08-19 2023-02-28 주식회사 스토어링크 Marketing system and method through portal logic prediction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100838580B1 (en) * 2007-01-17 2008-06-20 한국과학기술원 System for providing store information using cell-phone, and the method therefor
US20110135207A1 (en) * 2009-12-07 2011-06-09 Google Inc. Matching An Approximately Located Query Image Against A Reference Image Set
KR20160041034A (en) * 2016-03-30 2016-04-15 엔에이치엔엔터테인먼트 주식회사 Service method and system for providing reward using moving path of users

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001494A (en) * 2007-04-18 2009-01-09 옥은호 Digital photomap shooting system and service method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100838580B1 (en) * 2007-01-17 2008-06-20 한국과학기술원 System for providing store information using cell-phone, and the method therefor
US20110135207A1 (en) * 2009-12-07 2011-06-09 Google Inc. Matching An Approximately Located Query Image Against A Reference Image Set
KR20160041034A (en) * 2016-03-30 2016-04-15 엔에이치엔엔터테인먼트 주식회사 Service method and system for providing reward using moving path of users

Also Published As

Publication number Publication date
KR20190029411A (en) 2019-03-20
KR102107207B1 (en) 2020-05-06
KR102107208B1 (en) 2020-05-06

Similar Documents

Publication Publication Date Title
US9292764B2 (en) Method and apparatus for selectively providing information on objects in a captured image
CN105007320B (en) Based on the intelligent movable tourist guide system of Cloud Server
US10972864B2 (en) Information recommendation method, apparatus, device and computer readable storage medium
CN100433050C (en) Mobile communication system, mobile terminal device, fixed station device, character recognition device and method, and program
CN102194367B (en) Information processing device, map update method, and information processing system
CN105025101B (en) Based on the intelligent guide guide system of the android system of hand-drawing map
US20130211718A1 (en) Apparatus and method for providing indoor navigation service
CN105021186B (en) Intelligent guide guide system based on hand-drawing map
US9583074B2 (en) Optimization of label placements in street level images
US20170055118A1 (en) Location and activity aware content delivery system
US10234299B2 (en) Geo-location tracking system and method
JP2012531669A (en) Portal service based on dialogue with points of interest detected via directional device information
US20170180928A1 (en) Maintaining privacy in location-based operations
KR20140130499A (en) Visual ocr for positioning
US20130328931A1 (en) System and Method for Mobile Identification of Real Property by Geospatial Analysis
KR20190029412A (en) Method for Providing Off-line Shop Information in Network, and Managing Server Used Therein
CN105025100A (en) IOS system-based hand-drawn map intelligent guide and navigation system
KR20120051636A (en) Presentation of a digital map
KR100706912B1 (en) System and method for mapping photo according to position
KR101568741B1 (en) Information System based on mobile augmented reality
CN109068374A (en) Resident POI determines method, apparatus, terminal and storage medium
WO2020095541A1 (en) Information processing device, information processing method, and program
JP2010028806A (en) Position management server and communication system and communication terminal device, and position providing apparatus and communication system
KR20130068463A (en) System for providing history information using location based information service and the method
JP5709261B2 (en) Information terminal, information providing system, and information providing method

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant