KR101784287B1 - Integrative image searching system and service method of the same - Google Patents

Integrative image searching system and service method of the same Download PDF

Info

Publication number
KR101784287B1
KR101784287B1 KR1020160174653A KR20160174653A KR101784287B1 KR 101784287 B1 KR101784287 B1 KR 101784287B1 KR 1020160174653 A KR1020160174653 A KR 1020160174653A KR 20160174653 A KR20160174653 A KR 20160174653A KR 101784287 B1 KR101784287 B1 KR 101784287B1
Authority
KR
South Korea
Prior art keywords
image
terminal
type
decoder
server
Prior art date
Application number
KR1020160174653A
Other languages
Korean (ko)
Other versions
KR20160149185A (en
Inventor
나승원
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020160174653A priority Critical patent/KR101784287B1/en
Publication of KR20160149185A publication Critical patent/KR20160149185A/en
Application granted granted Critical
Publication of KR101784287B1 publication Critical patent/KR101784287B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G06F17/30244—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G06F17/30386—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G06K9/46—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 객체의 영상을 이용하여 검색하는 영상 검색 시스템 및 방법에 관한 것으로, 스마트 폰이나 웹 캠이 설치된 PC 기반의 단말기를 통해 바코드, QR코드, 얼굴 또는 사물 등을 포함한 실물 등의 객체에 대한 영상이 입력되면 입력된 영상을 특징점 기반의 영상 인식을 통해 분석하여 객체의 유형을 파악하고 파악된 객체의 유형에 따라 디코더를 자동 구동하여 영상을 판독함으로써 다양한 객체를 모두 검색할 수 있고, 사용자의 편리한 검색 기능을 제공할 수 있다.The present invention relates to an image retrieval system and method for retrieving using an image of an object, and more particularly, to an image retrieval system and method for retrieving an object such as a barcode, a QR code, a real object including a face or an object through a PC- When an image is input, the inputted image is analyzed through image recognition based on a minutia point to identify the type of the object, and the decoder can be automatically driven according to the type of the object, It is possible to provide a convenient search function.

Description

통합 영상 검색 시스템 및 그 서비스 방법{INTEGRATIVE IMAGE SEARCHING SYSTEM AND SERVICE METHOD OF THE SAME}[0001] INTEGRATIVE IMAGE SEARCHING SYSTEM AND SERVICE METHOD OF THE SAME [0002]

본 발명은 통합 영상 검색 시스템 및 그 서비스 방법에 관한 것으로서, 더욱 상세하게는 스마트 폰이나 웹 캠이 설치된 PC 기반의 단말기를 통해 검색하고자 하는 객체의 영상이 입력되면 입력된 영상을 특징점 추출 기반의 영상 인식 기술로 분석하여 객체의 유형을 미리 파악하고 객체의 유형에 따라 해당 디코더를 자동 구동하여 객체를 판독함으로써 객체의 유형에 관계없이 모든 객체에 대하여 통합 인식이 가능한 통합 영상 검색 시스템 및 그 서비스 방법에 관한 것이다.The present invention relates to an integrated image search system and a service method thereof, and more particularly, to an integrated image search system and a service method thereof. More particularly, The integrated image retrieval system and the service method that can recognize all objects regardless of the type of object by reading the object by automatically detecting the type of the object by analyzing with the recognition technology and automatically driving the corresponding decoder according to the object type .

일반적으로, 텔레비전 등에서 영화 또는 광고 프로그램을 시청하거나 쇼핑 중에 마음에 드는 객체(예컨대, 사람 또는 사물 등)를 찾게 된 경우, 또는 평소에 관심을 가지고 있던 임의의 객체를 발견한 경우 사용자들은 객체를 메모하거나, 최근에는 모바일 단말의 카메라를 이용하여 촬영하여 기억하고자 한다. In general, when a user watches a movie or an advertisement program on a television or the like, finds an object (e.g., a person or an object) that he / she likes during shopping, or finds any object that he / In recent years, it is desired to capture and memorize using a camera of a mobile terminal.

그러나, 전자의 경우 메모를 습관화해야 하고 항상 메모지를 구비해야 하며, 상품의 상세 정보를 메모한 메모지를 잃어버릴 위험성이 있는 등 관리가 쉽지 않다. However, in the case of the former, it is difficult to manage the memo by habit, always have a memo sheet, and there is a risk of losing a memo note of the detailed information of the commodity.

후자의 경우는 사용자가 항상 소지하고 있는 모바일 단말을 이용한다는 점에서 휴대 및 관리가 용이하지만, 촬영한 영상을 통해 원하는 객체를 검색하기 위해서는 영상에서 노출되는 정보를 수동적으로 입력해야 하는 단점이 있다. 예를 들어, 영상에서 노출된 상품의 이름이나 제품 번호, 모양, 색깔 등을 이용하여 입력해야 한다.In the latter case, it is easy to carry and manage the mobile terminal because it uses the mobile terminal always possessed by the user. However, in order to retrieve the desired object through the captured image, there is a disadvantage that the information exposed in the image must be manually input. For example, you must enter the name of the exposed item in the image, product number, shape, color, and so on.

이때, 상품의 이름이나 제품 번호와 같이 명확하게 노출되는 정보에 대해서는 검색이 명확하게 이루어지지만, 모양이나 이미지 등에 특징이 있거나 영상을 보고서도 정확한 정보를 알 수 없는 경우에는 검색 작업에 어려운 문제점이 있다. At this time, although the search is clearly made for the information that is clearly exposed such as the name of the product or the product number, there is a difficult problem in the search operation when the feature such as the shape or the image is characteristic or the image is not reported accurately .

이로 인해, 최근 들어서는 단말에 객체의 영상을 이용하여 인식할 수 있는 디코더(인식 엔진)를 내장한 기술들이 적용되고 있다. Therefore, in recent years, technologies including a decoder (recognition engine) capable of recognizing the object using the image of the object have been applied to the terminal.

즉, 단말에 바코드 디코더를 탑재하여 바코드 영상으로부터 바코드를 인식한 다음 검색하거나 또는 단말에 QR코드 디코더를 탑재하여 QR코드의 영상으로부터 해당 QR코드를 인식하여 검색을 수행하는 기술이 개시되어 있다. That is, a technique is disclosed in which a bar code decoder is mounted on a terminal, a bar code is recognized from a bar code image and then the bar code is recognized or a QR code decoder is mounted on the terminal to recognize the QR code from the image of the QR code.

그런데, 상기의 기술들은 바코드, QR코드, 얼굴 인식, 영상 인식을 위한 디코더들이 각 단말에 개별적으로 탑재되어 있어 객체의 유향에 따라 인식이 제한되며, 객체 인식을 위해서는 사용자가 직접 유형을 구분하여 인식 요청을 수행해야 하는 단점이 있다.However, since the decoders for barcode, QR code, face recognition, and image recognition are individually mounted on each terminal, the recognition is limited according to the orientation of the object. In order to recognize the object, There is a disadvantage to perform the request.

본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 검색하고자 하는 객체의 영상이 입력되면 단말기 또는 서버에서 특징점 추출 기반의 영상 인식 기술을 활용하여 영상으로부터 객체의 유형을 미리 파악한 후 파악한 유형과 대응되는 디코더를 자동 호출하여 객체를 판독함으로써 객체의 유형에 관계없이 모든 객체에 대하여 자동 판독으로 통합 인식이 가능한 시스템 및 방법을 제공함에 그 목적이 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made in an effort to solve the above problems, and it is an object of the present invention to provide a method and apparatus for recognizing a type of an object from an image, The object of the present invention is to provide a system and method capable of automatically recognizing all objects regardless of the type of an object by automatic reading by reading the object by automatically calling the decoder.

이를 위하여, 본 발명의 제1 측면에 따르면, 본 발명에 따른 통합 영상 검색을 위한 단말기는, 통신망을 통해 서버에 접속하여 원하는 객체에 대한 검색을 요청하고 그 검색 결과를 수신하는 단말기로서, 상기 원하는 객체를 촬영하여 상기 객체에 대한 영상을 생성하는 촬영 수단과, 상기 촬영 수단을 통해 생성된 객체의 영상을 영상 인식 기반으로 분석하여 객체의 유형을 미리 파악하는 영상 인식부와, 상기 영상 인식부를 통해 파악한 객체의 유형에 따라, 판독 가능한 디코더를 자동 구동하여 상기 객체의 영상을 인식하는 통합 인식 엔진을 포함하는 것을 특징으로 한다. According to a first aspect of the present invention, there is provided a terminal for integrated image search according to the present invention, which is connected to a server through a communication network, requests a search for a desired object, and receives the search result, An image capturing unit for capturing an object and generating an image of the object; an image recognizing unit for analyzing the image of the object generated through the photographing unit based on image recognition to grasp the type of the object in advance; And an integrated recognition engine for automatically driving a readable decoder according to the type of the identified object to recognize the image of the object.

구체적으로, 상기 영상 인식부는 상기 객체의 영상에서 영상 인식 기반으로 특징점을 추출하고 추출된 특징점으로 상기 객체의 유형을 구별할 수 있다.Specifically, the image recognition unit can extract feature points based on image recognition from the image of the object, and distinguish the types of the objects with the extracted feature points.

구체적으로, 상기 객체의 유형을 구별할 수 있는 특징점 정보는 상기 통합 인식 엔진에 유형별로 구분 저장되어, 상기 영상 인식부에서 객체의 유형을 파악하는데 기준 자료가 될 수 있다.Specifically, the feature point information that can distinguish the type of the object may be classified and stored for each type in the integrated recognition engine, and the feature recognition information may be used as reference data for identifying the type of the object in the image recognition unit.

구체적으로, 상기 통합 인식 엔진은 상기 객체의 유형에 따라 판독 가능한 각 디코더를 모두 포함할 수 있다.Specifically, the integrated recognition engine may include all readable decoders according to the type of the object.

구체적으로, 상기 디코더는 바코드 디코더, QR코드 디코더, NFC(Near Field Communication) 디코더, RFID(Radio Frequency IDentification) 디코더, OCR(Optical Character Recognition) 디코더, 얼굴인식 디코더, 영상인식 디코더를 모두 포함할 수 있다.Specifically, the decoder may include a barcode decoder, a QR code decoder, an NFC (Near Field Communication) decoder, a Radio Frequency Identification (RFID) decoder, an OCR (Optical Character Recognition) decoder, a face recognition decoder, .

구체적으로, 상기 객체의 유형은 사물 또는 사람, 특정 신체 부위, 문자/숫자 등을 포함한 제품 번호, 바코드, QR코드, NFC태그, RFID 태그, OCR 코드 중 어느 하나 이상을 포함할 수 있다.Specifically, the type of the object may include at least one of a product number, a bar code, a QR code, an NFC tag, an RFID tag, and an OCR code including a thing or a person, a specific body part, a letter /

본 발명의 제2 측면에 따르면, 본 발명에 따른 영상 검색 서버는, 통신망을 통해 클라이언트의 단말기와 접속하여 상기 단말기로부터 원하는 객체에 대한 검색 요청을 수신하면 그 검색 결과를 상기 단말기로 전송하는 서버로서, 상기 통신망을 통해 단말기와의 통신을 수행하는 인터페이스 모듈과, 상기 인터페이스 모듈을 통해 객체의 영상이 입력되면 상기 객체의 영상을 영상 인식 기반으로 분석하여 객체의 유형을 미리 파악하는 영상 인식 모듈과, 상기 영상 인식 모듈에서 파악한 객체의 유형에 따라, 판독 가능한 디코더를 자동 구동하여 상기 객체의 영상을 인식하는 통합 인식 엔진을 포함하는 것을 특징으로 한다. According to a second aspect of the present invention, there is provided an image search server according to the present invention, which is connected to a client terminal through a communication network and receives a search request for a desired object from the terminal, An interface module for performing communication with the terminal through the communication network; and an image recognition module for analyzing the image of the object based on the image recognition based on the input of the image of the object through the interface module, And an integrated recognition engine for automatically driving a readable decoder according to a type of the object recognized by the image recognition module and recognizing the image of the object.

구체적으로, 상기 영상 인식 모듈은 상기 객체의 영상에서 영상 인식 기반으로 특징점을 추출하고 추출된 특징점으로 상기 객체의 유형을 구별할 수 있다.Specifically, the image recognition module can extract feature points based on image recognition from the image of the object, and distinguish the types of the objects with the extracted feature points.

구체적으로, 상기 객체의 유형을 구별할 수 있는 특징점 정보는 상기 통합 인식 엔진에 유형별로 구분 저장되어, 상기 영상 인식 모듈에서 객체의 유형을 파악하는데 기준 자료가 될 수 있다.Specifically, the feature point information that can distinguish the type of the object is classified and stored in the integrated recognition engine according to the type, and can be used as a reference data for determining the type of the object in the image recognition module.

구체적으로, 상기 통합 인식 엔진은 상기 객체의 유형에 따라 판독 가능한 각 디코더를 모두 포함할 수 있다.Specifically, the integrated recognition engine may include all readable decoders according to the type of the object.

구체적으로, 상기 디코더는 바코드 디코더, QR코드 디코더, NFC(Near Field Communication) 디코더, RFID(Radio Frequency IDentification) 디코더, OCR(Optical Character Recognition) 디코더, 얼굴인식 디코더, 영상인식 디코더를 모두 포함할 수 있다.Specifically, the decoder may include a barcode decoder, a QR code decoder, an NFC (Near Field Communication) decoder, a Radio Frequency Identification (RFID) decoder, an OCR (Optical Character Recognition) decoder, a face recognition decoder, .

구체적으로, 상기 객체의 유형은 사물 또는 사람, 특정 신체 부위, 문자/숫자 등을 포함한 제품 번호, 바코드, QR코드, NFC태그, RFID 태그, OCR 코드 중 어느 하나 이상을 포함할 수 있다.Specifically, the type of the object may include at least one of a product number, a bar code, a QR code, an NFC tag, an RFID tag, and an OCR code including a thing or a person, a specific body part, a letter /

본 발명의 제3 측면에 따르면, 본 발명에 따른 단말기에서의 검색 서비스 방법은, 통신망을 통해 서버에 접속하여 원하는 객체에 대한 검색을 요청하고 그 검색 결과를 수신하는 단말기의 검색 서비스 방법으로서, 상기 단말기에 상기 객체에 대한 영상이 입력되면 영상 인식 기반으로 영상의 특성을 분석하여 상기 객체의 유형을 미리 파악하는 단계; 상기 단말기는 상기 객체의 유형에 따라 판독 가능한 디코더를 자동 호출하여 구동 요청하는 단계; 상기 단말기는 구동 요청된 디코더에 의해 상기 객체의 영상을 판독하여 객체를 인식하는 단계; 상기 단말기는 인식한 객체를 상기 서버에 전송하여 검색 서비스를 제공받는 단계를 포함하는 것을 특징으로 한다. According to a third aspect of the present invention, there is provided a search service method of a terminal for accessing a server through a communication network, requesting a search for a desired object, and receiving the search result, Analyzing characteristics of an image based on image recognition when a video for the object is input to a terminal, and determining a type of the object; The terminal automatically requests a decoder that can be read according to the type of the object, The terminal recognizing an object by reading an image of the object by a decoder requested to be driven; And the terminal is provided with a search service by transmitting the recognized object to the server.

구체적으로, 상기 객체에 대한 영상은 상기 단말기 내에 구비된 촬영 수단으로 통해 상기 객체를 촬영하고 생성한 영상이거나, 통신망을 통한 웹 페이지 또는 별도의 디바이스로부터 획득한 영상일 수 있다.Specifically, the image for the object may be an image obtained by photographing the object through photographing means provided in the terminal, or a web page through a communication network or an image obtained from a separate device.

구체적으로, 상기 객체의 유형을 파악하는 단계는, 상기 객체의 영상으로부터 영상 인식 기반으로 특징점을 추출하고 추출된 특징점을 기 저장된 특징점 정보와 비교하여 상기 객체의 유형을 구별할 수 있다.In more detail, the step of recognizing the type of the object may distinguish the type of the object by extracting the feature points from the image of the object based on the image recognition and comparing the extracted feature points with the previously stored feature point information.

구체적으로, 상기 디코더는 상기 객체의 유형에 따라 복수 개 구비될 수 있다.Specifically, a plurality of decoders may be provided according to the type of the object.

구체적으로, 상기 디코더는 바코드 디코더, QR코드 디코더, NFC(Near Field Communication) 디코더, RFID(Radio Frequency IDentification) 디코더, OCR(Optical Character Recognition) 디코더, 얼굴인식 디코더, 영상인식 디코더를 포함할 수 있다.Specifically, the decoder may include a barcode decoder, a QR code decoder, an NFC (Near Field Communication) decoder, a Radio Frequency Identification (RFID) decoder, an OCR (Optical Character Recognition) decoder, a face recognition decoder, and an image recognition decoder.

본 발명의 제4 측면에 따르면, 본 발명에 따른 서버에서의 검색 서비스 방법은, 통신망을 통해 클라이언트의 단말기와 접속하여 상기 단말기로부터 원하는 객체에 대한 검색 요청을 수신하면 그 검색 결과를 상기 단말기로 전송하는 서버의 검색 서비스 방법으로서, 상기 단말기로부터 서버에 객체에 대한 영상이 입력되면 상기 서버는 영상 인식 기반으로 상기 영상의 특성을 분석하여 객체의 유형을 미리 파악하는 단계; 상기 서버는 파악한 객체의 유형에 따라 판독 가능한 디코더를 자동 호출하여 구동 요청하는 단계; 상기 서버는 구동 요청된 디코더에 의해 상기 객체의 영상을 판독하여 객체를 인식하는 단계; 상기 서버가 인식한 객체를 검색하여 검색 결과를 상기 단말기로 전송하는 단계를 포함하는 것을 특징으로 한다. According to a fourth aspect of the present invention, there is provided a search service method in a server according to the present invention, comprising the steps of connecting to a terminal of a client through a communication network and receiving a search request for a desired object from the terminal, Wherein the server analyzes the characteristics of the image based on image recognition and grasps the type of the object when the image of the object is input from the terminal to the server, The server automatically requesting a decoder capable of reading according to the type of the identified object and requesting the decoder to drive the decoder; The server recognizing an object by reading an image of the object by a decoder requested to be driven; Searching for an object recognized by the server, and transmitting the search result to the terminal.

구체적으로, 상기 객체에 대한 영상은 상기 단말기 내에 구비된 촬영 수단으로 통해 상기 객체를 촬영하고 생성한 영상이거나, 통신망을 통한 웹 페이지 또는 별도의 디바이스로부터 획득한 영상일 수 있다.Specifically, the image for the object may be an image obtained by photographing the object through photographing means provided in the terminal, or a web page through a communication network or an image obtained from a separate device.

구체적으로, 상기 객체의 유형을 파악하는 단계는, 상기 객체의 영상으로부터 영상 인식 기반으로 특징점을 추출하고 추출된 특징점을 기 저장된 특징점 정보와 비교하여 상기 객체의 유형을 구별할 수 있다.In more detail, the step of recognizing the type of the object may distinguish the type of the object by extracting the feature points from the image of the object based on the image recognition and comparing the extracted feature points with the previously stored feature point information.

구체적으로, 상기 디코더는 상기 객체의 유형에 따라 복수 개 구비될 수 있다.Specifically, a plurality of decoders may be provided according to the type of the object.

구체적으로, 상기 디코더는 바코드 디코더, QR코드 디코더, NFC(Near Field Communication) 디코더, RFID(Radio Frequency IDentification) 디코더, OCR(Optical Character Recognition) 디코더, 얼굴인식 디코더, 영상인식 디코더를 포함할 수 있다.Specifically, the decoder may include a barcode decoder, a QR code decoder, an NFC (Near Field Communication) decoder, a Radio Frequency Identification (RFID) decoder, an OCR (Optical Character Recognition) decoder, a face recognition decoder, and an image recognition decoder.

본 발명에 따르면, 바코드, 얼굴 영상, QR코드, NFC 태그, RFID 태그 등 다양한 유형의 객체가 입력되어도 객체의 영상 인식을 통해 유형을 자동 인식하고 인식한 유형에 따라 디코더를 선택 적용함으로써 사용자가 객체의 유형별 검색 방식을 직접 선택 조작할 필요없이 자동 처리가 가능한 효과가 있다. 또한, 하나의 단말 또는 서버에서 다양한 객체에 대한 통합 인식이 가능하므로 편리한 검색 서비스를 제공할 수 있다. According to the present invention, even when various types of objects such as a barcode, a face image, a QR code, an NFC tag, and an RFID tag are input, the type is automatically recognized through image recognition of the object, There is an effect that automatic processing can be performed without having to directly select and operate a search method for each type. In addition, since a single terminal or server can recognize a variety of objects, it is possible to provide a convenient search service.

또한, 검색을 위한 통합 디코더가 탑재되지 않은 디바이스에도 서버 기반의 통합 인식 엔진을 적용하여 제공 가능하므로 디바이스에 구애받지 않고 검색 서비스를 제공할 수 있다. 나아가, 객체의 유형이 신규 추가된 경우에는 해당 디코더를 간편하게 확장할 수 있으므로 신속하게 적용할 수 있는 효과가 있다. In addition, since a server-based integrated recognition engine can be applied to a device not equipped with an integrated decoder for searching, a search service can be provided regardless of a device. Further, when the type of the object is newly added, the corresponding decoder can be easily expanded, so that the decoder can be applied quickly.

또한, 본 발명을 온라인 쇼핑몰을 이용한 쇼핑 제공 서비스와 연계하면 이로 인한 시너지 및 신규 서비스를 창출할 수 있는 효과가 있다.Further, when the present invention is associated with a shopping provision service using an online shopping mall, synergies and new services can be created.

도 1은 본 발명의 실시 예에 따른 통합 영상 검색 시스템의 네트워크 구성을 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 단말기의 세부 구성을 나타낸 블록도.
도 3은 도 2에 도시한 통합 인식 엔진의 세부 구성을 나타낸 블록도.
도 4는 본 발명의 실시 예에 따른 영상 검색 서버의 세부 구성을 나타낸 블록도.
도 5는 본 발명의 실시 예에 따른 통합 인식 엔진이 단말기에 탑재된 경우 단말기의 검색 과정을 나타낸 순서도.
도 6은 본 발명의 실시 예에 따른 통합 인식 엔진이 서버에 탑재된 경우 서버와 단말기간 검색 과정을 나타낸 순서도.1 is a diagram illustrating a network configuration of an integrated image search system according to an embodiment of the present invention.
2 is a block diagram illustrating a detailed configuration of a terminal according to an embodiment of the present invention;
3 is a block diagram showing the detailed configuration of the integrated recognition engine shown in Fig.
4 is a block diagram illustrating a detailed configuration of an image search server according to an embodiment of the present invention;
5 is a flowchart illustrating a search process of a terminal when the integrated recognition engine according to the embodiment of the present invention is installed in the terminal.
FIG. 6 is a flowchart illustrating a search process of a server and a terminal when the integrated recognition engine is loaded in the server according to the embodiment of the present invention. FIG.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Before describing the present invention in detail, the same components are denoted by the same reference symbols as possible even if they are displayed on different drawings. In the case where it is judged that the gist of the present invention may be blurred to a known configuration, do.

이하에서 언급하는 객체는 사용자가 쇼핑 중에 구매하고 싶거나 평소에 우연히 발견한 상품, 물(物) 자체이거나 물(物)의 식별 코드, 또는 텔레비전 등의 프로그램을 통해 노출되는 사람이나 사물, 특정 신체 부위 등을 포함한다. 식별 코드는 문자/숫자 등을 포함한 제품 번호이거나, 바코드, QR코드, NFC(Near Field Communication) 태그, RFID(Radio Frequency IDentification) 태그, OCR(Optical Character Recognition) 코드 등일 수 있다. 모든 객체는 문자, 모양, 용도, 기능면에서 특징점이 존재하며 둘 이상의 특징점이 공존할 수 있다. 이를 테면, 안경에 식별 코드가 부착된 경우, 객체는 안경이 되며 이 객체의 영상은 안경에 대한 이미지 정보뿐만 아니라 식별 코드 정보까지 포함하게 된다. The objects referred to hereinbelow are objects or objects that are exposed through programs such as goods, water itself, water, or television programs that the user would like to purchase during shopping or normally accidentally found, Site and the like. The identification code may be a product number including a character / number, a bar code, a QR code, an NFC (Near Field Communication) tag, an RFID (Radio Frequency Identification) tag, an OCR (Optical Character Recognition) All objects have characteristic points in terms of character, shape, purpose, function, and two or more characteristic points can coexist. For example, if an identification code is attached to the glasses, the object becomes an eyeglass, and the image of the object includes not only image information about the eyeglasses but also identification code information.

도 1은 본 발명의 실시 예에 따른 통합 영상 검색 시스템의 네트워크 구성을 나타낸 도면이다. 1 is a diagram illustrating a network configuration of an integrated image search system according to an embodiment of the present invention.

본 발명의 실시 예에 따른 통합 영상 검색 시스템은, 검색하고자 원하는 객체의 영상을 획득할 수 있는 단말기(100), 단말기(100)로부터 통신망(200)을 통해 수신한 객체의 영상을 인식하고 검색하는 영상 검색 서버(300)를 포함하여 구현될 수 있다. The integrated image search system according to an embodiment of the present invention includes a terminal 100 capable of acquiring an image of an object desired to be searched, a recognition unit 120 for recognizing and searching an image of an object received through the communication network 200 from the terminal 100 And may include an image search server 300.

추가로, 각 객체에 대한 부가 정보를 영상 검색 서버(300)에 제공하는 부가 정보 서버(400)를 더 포함할 수 있다. 부가 정보는 객체가 사물인 경우 사물에 대한 상세 정보, 쇼핑 구매 정보(가격 정보, 판매처 정보 등) 등을 포함할 수 있으며, 객체가 사람인 경우 사람과 관련된 상세 정보(착용한 의류, 액세서리 정보, 음악 앨범 정보 등)를 포함할 수 있다. 전자의 경우, 단말기(100)는 통신망(200)을 통해 부가 정보 서버(400)에 직접 링크하여 원하는 상품을 구매할 수 있는 쇼핑 서비스까지 제공받을 수 있다. In addition, the image search server 300 may further include an additional information server 400 for providing additional information on each object to the image search server 300. The additional information may include detailed information about the object, shopping purchase information (price information, selling place information, etc.) when the object is an object, and detailed information related to the person (clothes, accessory information, Album information, etc.). In the former case, the terminal 100 can be provided with a shopping service which can directly link to the additional information server 400 through the communication network 200 to purchase a desired commodity.

본 발명의 실시 예에 따른 단말기(100)는 통신망(200)을 통해 데이터를 송수신하고 객체의 영상을 획득할 수 있는 단말기라면 단말기의 종류에 관계없이 모두 적용 가능하다. 예를 들어, PC, PDA, 디지털 카메라, 웹 캠, 모바일 단말기 등이 적용될 수 있다. The terminal 100 according to the embodiment of the present invention can be applied to any type of terminal regardless of the terminal if it is a terminal capable of transmitting and receiving data through the communication network 200 and acquiring an image of the object. For example, a PC, a PDA, a digital camera, a web cam, a mobile terminal, and the like can be applied.

특히, 본 발명의 실시 예에 따른 단말기(100)는 쇼핑 중 또는 평소에 우연히 발견한 객체를 촬영하여 객체에 대한 영상을 생성하고 저장하며, 사용자가 객체에 대한 상세 정보와 객체의 관리를 원하는 경우 사용자의 요청에 따라 객체의 영상을 통신망(200)을 통해 영상 검색 서버(300)로 전송한다. 이를 위해, 단말기(100)는 객체를 촬영하고 이의 영상을 생성하는 촬영 수단(120)을 구비할 수 있다.In particular, the terminal 100 according to the embodiment of the present invention creates and stores an image of an object by photographing an object that is found by chance during shopping or usually, and when the user wants to manage detailed information about the object and the object And transmits the image of the object to the image search server 300 through the communication network 200 at the request of the user. To this end, the terminal 100 may include photographing means 120 for photographing an object and generating an image of the object.

또한, 본 발명의 실시 예에 따른 단말기(100)는 촬영 수단(120)으로부터 획득한 객체의 영상을 영상 인식 기반을 통해 인식하여 객체가 어떤 유형인지를 파악하고, 파악한 유형에 따라 디코더를 선택 적용함으로써 다양한 객체에 대하여 통합 인식이 가능하다. 이를 위해, 단말기(100)는 상기의 기능을 수행하는 통합 인식 엔진을 구비할 수 있다. 이의 세부 구성은 하기에서 자세히 설명하기로 한다.In addition, the terminal 100 according to the embodiment of the present invention recognizes the type of the object by recognizing the image of the object acquired from the photographing means 120 through the image recognition basis, and selects and applies a decoder according to the determined type Thereby enabling integrated recognition of various objects. For this, the terminal 100 may include an integrated recognition engine that performs the above functions. The detailed configuration thereof will be described in detail below.

또한, 본 발명의 실시 예에 따른 단말기(100)는 객체를 촬영한 위치에 대한 위치 정보, 관심 상품을 촬영한 시간 즉, 일시에 대한 정보인 일시 정보, 및 객체에 대한 판매 가격이나 판매점 등에 대한 부가 정보를 포함한 기타 정보 중 적어도 하나 이상을 입력받아 객체의 영상에 첨부하여 포함시킬 수 있다. In addition, the terminal 100 according to the embodiment of the present invention may store location information of a location where the object was photographed, time information of the time when the interested goods were photographed, that is, date and time information, And at least one of other information including additional information can be input and included in the image of the object.

또한, 본 발명의 실시 예에 따른 단말기(100)는 객체를 촬영한 위치 정보를 사용자로부터 입력받지 않고, 객체가 촬영되면 위성 항법 시스템(GPS: Global Positioning System)을 구비하여 스스로 관심 상품을 촬영한 위치를 파악하고 객체의 영상에 위치 정보를 부가할 수도 있다. In addition, the terminal 100 according to the embodiment of the present invention does not receive location information of an object photographed by a user, and when the object is photographed, the terminal 100 has a global positioning system (GPS) It is possible to grasp the position and add the position information to the image of the object.

또한, 본 발명의 실시 예에 따른 단말기(100)는 통신망(200)이 제공하는 데이터 통신 서비스 또는 인터넷 서비스를 이용하여 부가 정보 서버(400)에 접속하고 부가 정보 서버(400)로 객체에 대한 구매 서비스를 제공받을 수 있다.The terminal 100 according to the embodiment of the present invention accesses the supplementary information server 400 by using the data communication service or the Internet service provided by the communication network 200, Service can be provided.

본 발명의 실시 예에 따른 통신망(200)은 단말기(100)와 유무선으로 통신하여 서비스를 제공하는 네트워크이다. 즉, 통신망(200)은 유선 인터넷망일 수 있으며, 이동 통신망(CDMA, W-CDMA 등)을 통해 연결되는 무선 데이터망(인터넷망, IMS 등), 또는 Wi-Fi를 통해 연결되는 인터넷망 등을 포함할 수 있다. 구체적으로, CDMA 망의 경우 PDSN(Packet Data Serving Node)을 통해 데이터망에 접속될 수 있고, W-CDMA 망의 경우 GGSN(Gateway GPRS Support Node)을 통해 데이터망에 접속될 수 있다. 또한 핫 스팟(Hot-Spot) 등의 지역에서는 Wi-Fi 등의 근거리 통신을 통해 인터넷망에 접속될 수 있다. The communication network 200 according to the embodiment of the present invention is a network that provides services by communicating with the terminal 100 by wire / wireless. That is, the communication network 200 may be a wired Internet network, and may be a wireless data network (Internet network, IMS, etc.) connected through a mobile communication network (CDMA, W- . Specifically, the CDMA network may be connected to the data network through a PDSN (Packet Data Serving Node), and the W-CDMA network may be connected to the data network through a GGSN (Gateway GPRS Support Node). In addition, in areas such as hot-spot, it can be connected to the Internet network through short-range communication such as Wi-Fi.

본 발명의 실시 예에 따른 통신망(200)은 단말기(100)로부터 객체의 영상에 대한 전송을 요청받으면 해당 영상을 단말기(100)로부터 수신하여 영상 검색 서버(300)로 전송한다. 이와 반대로, 통신망(200)은 영상 검색 서버(300)로부터 검색 결과 정보의 전송을 요청받으면 검색 결과 정보를 영상 검색 서버(300)로부터 수신하여 해당 단말기(100)로 전송한다.The communication network 200 according to an embodiment of the present invention receives a request for transmission of an image of an object from the terminal 100 and receives the image from the terminal 100 and transmits the image to the image search server 300. On the contrary, when the communication network 200 is requested to transmit search result information from the image search server 300, the search result information is received from the image search server 300 and transmitted to the corresponding terminal 100.

영상 검색 서버(300)는 객체의 영상을 이용하여 검색 기능을 제공하는 서버로서, 부가 정보 서버(400)로부터 각 객체의 부가 정보를 제공받아 데이터베이스에 저장 및 갱신하고, 단말기(100)로부터 객체에 대한 검색이 요청되면 해당 객체의 부가 정보를 검색하여 검색 결과를 단말기(100)로 전송한다.The image search server 300 is a server that provides a search function using an image of an object. The image search server 300 receives additional information of each object from the additional information server 400, stores and updates the additional information in the database, The mobile terminal 100 searches for the additional information of the corresponding object and transmits the search result to the terminal 100.

이러한 영상 검색 서버(300)는 단말기 기반으로 통합 인식을 수행하는 시스템의 경우 단말기(100)를 통해 인식한 객체의 검색이 요청되면 객체의 부가 정보를 검색하고 그 검색 결과를 단말기(100)로 피드백하는 기능을 수행한다. In the case of a system that performs integrated recognition on the basis of a terminal, the image search server 300 searches for additional information of an object recognized by the terminal 100, and transmits the search result to the terminal 100 .

서버 기반으로 통합 인식을 수행하는 시스템의 경우, 영상 검색 서버(300)는 단말기(100)로부터 수신한 객체의 영상을 영상 검색 서버(300)에서 인식하여 객체의 유형을 파악하고 파악한 유형에 따라 최적의 디코더를 적용하여 객체를 분석하는 기능을 추가로 수행할 수 있다. 이후, 해당 객체의 부가 정보를 검색하고 그 검색 결과를 단말기(100)로 전송한다. 이의 세부 구성은 하기의 도 4에서 자세히 설명하기로 한다. In the case of a system that performs integrated recognition based on a server, the image search server 300 recognizes the image of the object received from the terminal 100 in the image search server 300, and determines the type of the object, The decoder can be applied to analyze the object. Thereafter, the additional information of the object is searched and the search result is transmitted to the terminal 100. The detailed configuration thereof will be described in detail in FIG. 4 below.

부가 정보 서버(400)는 다양한 객체와 관련한 부가 정보를 저장 및 관리하며, 일정 주기마다 영상 검색 서버(300)에 객체의 부가 정보를 제공한다. The additional information server 400 stores and manages additional information related to various objects and provides supplementary information of the object to the image search server 300 at regular intervals.

또한, 본 발명의 실시 예에 따른 부가 정보 서버(400)는 객체를 판매하는 온라인 쇼핑몰 사이트를 운영할 수 있다. 이 경우, 부가 정보 서버(400)는 단말기(100)의 구매 요청에 응답하여 구매 상품을 판매 및 배송한다. In addition, the additional information server 400 according to the embodiment of the present invention can operate an online shopping mall site for selling objects. In this case, the additional information server 400 sells and delivers the purchased product in response to the purchase request of the terminal 100. [

도 2는 본 발명의 실시 예에 따른 단말기의 세부 구성을 나타낸 블록도이다. 2 is a block diagram illustrating a detailed configuration of a terminal according to an embodiment of the present invention.

도 2에 도시된 단말기(100)는 객체의 영상을 자동으로 인식하여 판독하는 통합 인식 엔진이 내부에 구현되어 단말기 기반 통합 인식을 수행하는 구조이다. The terminal 100 shown in FIG. 2 has a structure in which an integrated recognition engine for automatically recognizing and reading an image of an object is implemented therein to perform terminal-based integrated recognition.

이러한 단말기(100)는 인터페이스부(110), 촬영 수단(120), 제어부(130), 영상 인식부(140), 메모리(150), 통합 인식 엔진(160)을 포함할 수 있다. The terminal 100 may include an interface unit 110, a photographing unit 120, a control unit 130, an image recognition unit 140, a memory 150, and an integrated recognition engine 160.

인터페이스부(110)는 통신망(도 1의 200)을 통해 영상 검색 서버(도 1의 300) 또는 부가 정보 서버(도 1의 400)에 접속하여 이들과의 통신을 인터페이스한다. The interface unit 110 connects to the image search server 300 (FIG. 1) or the additional information server (400 in FIG. 1) through a communication network 200 (FIG.

촬영 수단(120)은 객체를 촬영하여 이의 영상을 생성한다. 구체적으로 촬영 수단(120)은 단말기(100)에 구비된 카메라, 웹 캠 등을 포함할 수 있다. The photographing means 120 photographs an object and generates an image thereof. Specifically, the photographing means 120 may include a camera, a web cam, and the like provided in the terminal 100.

메모리(150)는 촬영 수단(120)을 통해 촬영한 영상을 저장하고, 영상 인식부(140) 및 통합 인식 엔진(160)을 통해 인식한 정보를 저장할 수 있다. The memory 150 stores an image photographed through the photographing unit 120 and stores the recognized information through the image recognizing unit 140 and the integrated recognition engine 160. [

영상 인식부(140)는 촬영 수단(120)을 통해 생성된 객체의 영상을 특징점 추출 기반의 영상 인식 방법으로 분석하여 객체의 유형을 파악한다. 각 객체는 유형에 따라 이미지 특징점을 가지게 되는데, 예를 들면 객체가 바코드이면 바코드의 형태를 식별할 수 있는 고유의 특징점 정보가 있고, QR코드이면 QR코드의 형태를 식별할 수 있는 고유의 특징점 정보가 있다. 이처럼, 객체의 영상으로부터 영상 인식을 통해 특징점을 추출하게 되면 이 특징점 정보에 따라 각 객체가 어떤 형태인지를 파악할 수 있다.The image recognition unit 140 analyzes the image of the object generated through the photographing unit 120 using the image recognition method based on the feature point extraction to determine the type of the object. For example, if the object is a bar code, each object has unique feature point information that can identify the type of the bar code. If the object is a QR code, unique feature point information . As described above, when a feature point is extracted from an image of an object through image recognition, it is possible to determine the shape of each object according to the feature point information.

이렇게 객체의 특징점 정보를 이용한 유형 파악은 통합 인식 엔진(160)에 구현된 데이터베이스를 활용하여 가능하다.The type identification using the minutia information of the object is possible by utilizing the database implemented in the integrated recognition engine 160.

통합 인식 엔진(160)은 객체를 인식하는데 필요한 특징점 정보와 디코더가 포함되어 있다. 특징점 정보와 디코더는 객체의 유형에 따라 구분되며, 특징점 정보는 영상 인식부(140)에 제공되어 객체의 유형을 파악하는 데 적용되고, 디코더는 객체의 유형에 따라 선택적으로 구동되어 객체를 판독/인식하는데 적용된다. The integrated recognition engine 160 includes feature point information and a decoder necessary for recognizing the object. The feature point information and the decoder are classified according to the type of the object, the feature point information is provided to the image recognition unit 140 to determine the type of the object, and the decoder is selectively driven according to the type of the object, .

특히, 본 발명의 실시 예에 따른 통합 인식 엔진(160)은 각 객체의 유형에 따른 디코더를 모두 구축하여 어떠한 객체가 입력되어도 하나의 단말기 내에서 통합 인식이 가능함에 특징이 있다. In particular, the integrated recognition engine 160 according to the embodiment of the present invention is characterized in that all the decoders according to the type of each object are constructed, so that any object can be integrated and recognized in one terminal.

또한, 본 발명의 실시 예에 따른 통합 인식 엔진(160)은 하나의 객체에 둘 이상의 정보가 담긴 경우 즉, 이미지 정보 또는 바코드 정보가 모두 포함된 경우에도 통합 인식이 가능함에 특징이 있다. 이 경우, 이미지 정보 및 바코드 정보를 동시에 인식할 수 있지만, 검색의 신뢰성을 위해 가장 인식율이 우수한 순위의 디코더를 먼저 호출하여 순차적으로 인식할 수도 있다. In addition, the integrated recognition engine 160 according to the embodiment of the present invention is characterized in that even if two or more pieces of information are contained in one object, i.e., both image information and barcode information are included, integrated recognition can be performed. In this case, the image information and the barcode information can be simultaneously recognized. However, for the reliability of retrieval, the decoder having the highest recognition rate may be called first and sequentially recognized.

도 3에는 본 발명의 실시 예에 따른 통합 인식 엔진의 세부 구성이 도시되어 있다.FIG. 3 shows a detailed configuration of an integrated recognition engine according to an embodiment of the present invention.

도시된 바와 같이 통합 인식 엔진(160)은 각 객체의 유형을 식별할 수 있는 고유의 특징점 정보를 포함한 분류 DB(classifier DB: 162)와, 유형별로 각 객체를 판독하기 위한 디코더(164) 등을 포함한다. As shown, the integrated recognition engine 160 includes a classification DB (classifier DB) 162 including unique minutia information that can identify a type of each object, a decoder 164 for reading each object by type, and the like .

분류 DB(162)는 바코드에 대한 고유의 특징점 정보를 포함한 바코드 분류DB(1621), QR코드의 특징점 정보를 포함한 QR코드 분류DB(1622), 얼굴 인식을 위해 얼굴(눈, 코, 입 등)에 대한 특징점 정보를 포함한 얼굴인식 분류DB(1623), NFC 태그에 대한 특징점 정보를 포함한 NFC 분류DB(1624), RFID 태그에 대한 특징점 정보를 포함한 RFID 분류DB(1625), OCR 코드에 대한 고유의 특징점 정보를 포함한 OCR 분류DB(1626), 이외 기타 코드에 대한 특징점 정보를 포함한 기타 분류DB(1627) 등을 포함할 수 있다. 바코드에 대한 고유의 특징점 정보는 바코드의 검정색 바(bar)와 흰색 바(bar)로 구성된 형상을 이용할 수 있으며, QR코드의 특징점 정보는 세 모서리에 위치한 위치 식별 코드를 이용할 수 있을 것이다. 이외, NFC 태그나 RFID 태그, OCR 코드 또한 고유의 형태를 활용할 수 있다. The classification DB 162 includes a bar code classification DB 1621 including unique minutia information about a bar code, a QR code classification DB 1622 including minutia information of the QR code, a face (eye, nose, mouth, etc.) An NFC classification DB 1624 including minutia information for the NFC tag, an RFID classification DB 1625 including minutia information about the RFID tag, a unique identification code for the OCR code, An OCR classification DB 1626 including minutia information, and other classification DB 1627 including minutia information about other codes. The feature point information unique to the bar code can be a shape composed of a black bar and a white bar of the bar code, and the feature point information of the QR code can use the position identification code located at three corners. In addition, NFC tags, RFID tags, and OCR codes can also be utilized in their own forms.

디코더(164)는 분류 DB(162)의 구성과 대응하여, 바코드 디코더(1641), QR코드 디코더(1642), 얼굴인식 디코더(1643), NFC태그 디코더(1644), RFID태그 디코더(1645), OCR코드 디코더(1646), 기타 디코더(1647) 등을 포함할 수 있다. The decoder 164 corresponds to the configuration of the classification DB 162 and includes a barcode decoder 1641, a QR code decoder 1642, a face recognition decoder 1643, an NFC tag decoder 1644, an RFID tag decoder 1645, An OCR code decoder 1646, a guitar decoder 1647, and the like.

여기에, 객체의 유형이 신규로 추가되면 통합 인식 엔진(160)은 신규로 추가된 특징점 정보 및 디코더를 기존 구성에서 확장 가능하게 구축된다. Here, when the type of the object is newly added, the integrated recognition engine 160 constructs the newly added minutia information and the decoder in a scalable manner in the existing configuration.

다시 도 2를 참조하면, 본 발명의 실시 예에 따른 제어부(130)는 각 부의 동작을 전체적으로 제어하며, 인터페이스부(110)를 통해 데이터의 송수신을 제어한다. 그리고, 촬영 수단(120)을 통해 촬영한 영상을 메모리(150)에 저장하도록 제어한다. 또한, 영상 인식부(140)를 통해 영상 인식을 수행할 때 통합 인식 엔진(160)에 구축된 분류 DB(162)를 영상 인식부(140)로 제공할 수 있다. Referring again to FIG. 2, the controller 130 according to the embodiment of the present invention controls the operation of each unit as a whole, and controls transmission and reception of data through the interface unit 110. Then, control is performed so that the image photographed through the photographing means 120 is stored in the memory 150. In addition, when performing the image recognition through the image recognition unit 140, the classification DB 162 constructed in the integrated recognition engine 160 may be provided to the image recognition unit 140.

따라서, 본 발명의 실시 예에 따른 단말기(100)는 자체 디바이스 내에서 객체의 영상을 유형에 따라 자동 인식함으로써 단말을 이용한 편리한 검색 서비스를 제공한다. Accordingly, the terminal 100 according to the embodiment of the present invention provides a convenient search service using the terminal by automatically recognizing the image of the object according to the type in the device itself.

여기서, 본 발명의 실시 예에 따른 단말기(100)는 촬영 수단(120)을 이용하여 객체의 영상을 생성하고 이를 이용하는 것이 바람직하지만, 이에 한정되지 않으며 소정 웹 페이지나 별도 디바이스를 통해서 객체의 영상을 획득할 수 있다. Here, the terminal 100 according to the embodiment of the present invention preferably generates and uses an image of an object using the photographing means 120. However, the present invention is not limited thereto, and the image of the object may be displayed on a predetermined web page or a separate device Can be obtained.

도 4는 본 발명의 실시 예에 따른 영상 검색 서버의 세부 구성을 나타낸 블록도이다. 4 is a block diagram illustrating a detailed configuration of an image search server according to an embodiment of the present invention.

도 4에 도시한 영상 검색 서버(300)는 도 2의 단말기 구성에서 설명한 통합 인식 엔진(도 2의 160)이 단말기(도 2의 100)가 아닌 서버에 구축된 구조이다. 이 경우, 영상 검색 서버(300)는 통합 인식 엔진(350)을 이용한 통합 인식 서비스를 WiFi 무선망을 포함한 통신망을 통해 단말기로 제공할 수 있다.The image search server 300 shown in FIG. 4 is a structure in which the integrated recognition engine 160 (FIG. 2) described in the terminal configuration of FIG. 2 is constructed in a server other than the terminal 100 (FIG. 2). In this case, the image search server 300 can provide the integrated recognition service using the integrated recognition engine 350 to the terminal through the communication network including the WiFi wireless network.

이를 위한 영상 검색 서버(300)는 인터페이스 모듈(310), 영상 인식 모듈(320), 제어 모듈(330), 부가 정보 관리 모듈(340), 통합 인식 엔진(350)을 포함하여 구현될 수 있다. The image search server 300 may include an interface module 310, an image recognition module 320, a control module 330, an additional information management module 340, and an integrated recognition engine 350.

인터페이스 모듈(310)은 단말기의 인터페이스부(도 1의 110)와 마찬가지로 통신망을 통해 연결된 단말기와 부가 정보 서버와의 통신을 인터페이스한다.The interface module 310 interfaces communication between the terminal connected through the communication network and the additional information server in the same manner as the interface unit 110 of FIG.

영상 인식 모듈(320)은 단말기의 영상 인식부(도 2의 140)와 마찬가지로, 단말기로부터 객체의 영상이 수신되면 영상을 특징점 추출 기반의 영상 인식을 수행하여 객체의 유형을 파악한다.When the image of the object is received from the terminal, the image recognition module 320 recognizes the type of the object by performing the image recognition based on the feature point extraction based on the image of the object from the terminal, as in the image recognition unit 140 of FIG.

통합 인식 엔진(350)은 다양한 객체를 인식하는 데 필요한 특징점 정보와 디코더를 포함한다. 특징점 정보는 영상 인식 모듈(320)로 제공하여 객체의 유형을 파악하는 데 적용하고, 영상 인식 모듈(320)을 통해 파악한 객체에 적합한 최적의 디코더(354)를 구동시켜 객체를 판독한다. The integrated recognition engine 350 includes minutia information and decoders necessary to recognize various objects. The minutiae point information is supplied to the image recognition module 320 to be applied to grasping the type of the object, and the optimal decoder 354 suitable for the object identified through the image recognition module 320 is driven to read the object.

이때, 영상 검색 서버(300)는 통합 인식 엔진(350)에 구축된 디코더(354) 및 분류 DB(352)를 가장 인식율이 우수한 순으로 배열하고 검색 결과를 배열한 순서대로 소팅(sorting)하여 보여줄 수 있다. At this time, the image search server 300 arranges the decoders 354 and the classification DBs 352 constructed in the integrated recognition engine 350 in order of highest recognition rate, sorting the search results in the order of arrangement, .

제어 모듈(330)은 이들의 동작을 제어하고, 부가 정보 관리 모듈(340)은 부가 정보 서버(도 1의 400)에 저장된 각 객체의 부가 정보를 일정 주기마다 수신하여 저장 및 갱신한다. The control module 330 controls these operations, and the additional information management module 340 receives and updates the additional information of each object stored in the additional information server 400 (FIG. 1) at regular intervals.

한편, 이상에서 자세히 설명하지 않은 구성 및 기능은 도 2에서 설명한 단말기(도 2의 100)의 제어부(도 2의 130), 영상 인식부(도 2의 140), 통합 인식 엔진(도 2의 160)의 구성 및 기능과 동일하므로 중복되는 내용은 생략한다. The configuration and functions not described in detail above are the same as those of the control unit (130 in FIG. 2), the image recognition unit (140 in FIG. 2), the integrated recognition engine ), The duplicated description will be omitted.

따라서, 앞서 설명한 바와 같이 본 발명의 실시 예에서는 객체의 영상을 인식하여 객체의 유형을 파악하고 파악한 유형에 따라 해당 디코더를 구동하여 객체를 판독하는 통합 인식 엔진이 클라이언트 영역인 단말기(100)에 탑재되어 서버로 필요한 정보를 호출하는 구조가 될 수 있고, 또는 영상 검색 서버(300)에 탑재되어 입력되는 객체의 영상을 실시간으로 분석하여 호출할 수도 있는 구조가 될 수 있다. 그리고, 구조와 상관없이 영상 검색을 통한 검색 결과는 신뢰성을 위해서 가장 인식율이 우수한 형태로 랭킹(ranking)에 의해서 순차적으로 배열하여 보여 줄 수 있다. Accordingly, as described above, in the embodiment of the present invention, the integrated recognition engine for recognizing the image of the object and recognizing the type of the object and driving the corresponding decoder according to the obtained type, And may be a structure for calling necessary information to the server or may be a structure for loading and analyzing images of an object mounted on the image search server 300 in real time. Regardless of the structure, the search results obtained through the image search can be sequentially arranged by ranking in a form having the highest recognition rate for reliability.

그럼, 이상의 구성을 기반으로 한 통합 영상 검색 시스템을 이용하여 서비스하는 과정에 대하여 도 5 및 도 6을 참조하여 설명한다. Hereinafter, a process of using the integrated image retrieval system based on the above configuration will be described with reference to FIGS. 5 and 6. FIG.

도 5는 본 발명의 실시 예에 따른 통합 인식 엔진이 단말기에 탑재된 경우 단말기의 검색 과정을 나타낸 순서도이다. 참고로, 도 2의 구성요소와 연계하여 설명한다. 5 is a flowchart illustrating a search process of a terminal when the integrated recognition engine according to the embodiment of the present invention is installed in the terminal. For reference, the description will be made in connection with the constituent elements of Fig.

단말기(100)는 촬영 수단(120)을 통해 촬영한 객체의 영상이나 또는 웹 페이지, 별도의 디바이스를 통해 획득한 객체의 영상을 입력한다(S10). The terminal 100 inputs an image of an object photographed through the photographing means 120 or an image of a web page or an object obtained through a separate device (S10).

그리고, 단말기(100)는 입력된 객체의 영상을 통합 인식 엔진(160)의 분류 DB를 근거로 영상의 특성을 분석한다(S20). Then, the terminal 100 analyzes the image of the input object based on the classification DB of the integrated recognition engine 160 (S20).

분석 방법은 영상으로부터 특징점을 추출하는 특징점 추출 기반의 영상 인식 기술을 적용한다. 예컨대, 바코드의 영상은 특징점 기반의 영상 인식으로 객체가 바코드 형태인 것을 인식할 수 있다. The analysis method applies feature recognition technology based on feature extraction to extract feature points from images. For example, an image of a barcode can recognize that the object is in the form of a barcode by image recognition based on a feature point.

단말기(100)는 상기의 분석 과정을 통해 객체의 유형을 분류한다(S30).The terminal 100 classifies the types of objects through the analysis process (S30).

그리고, 단말기(100)는 분류한 객체를 판독하기 위한 해당 디코더를 호출하여 이의 구동을 요청한다(S40). 즉, 객체의 영상으로부터 특징점 기반의 영상 인식을 통해 바코드가 검출되면 바코드를 판독하기 위한 바코드 디코더를 호출 및 구동하고, 얼굴에 대한 특징점 정보가 검출되면 얼굴을 인식하기 위한 얼굴인식 디코더를 호출 및 구동할 수 있다. Then, the terminal 100 calls the corresponding decoder to read the classified object and requests its operation (S40). That is, when a barcode is detected through image recognition based on a feature point from an image of an object, a barcode decoder for reading a barcode is called and driven. When a feature point information about a face is detected, a face recognition decoder can do.

이후, 단말기(100)는 구동 요청된 디코더로 객체의 영상을 분석하여 객체를 식별한다(S50). Then, the terminal 100 analyzes the image of the object by the decoder requested to be driven and identifies the object (S50).

단말기(100)는 식별한 객체 정보를 영상 검색 서버에 전송하여 검색을 요청하고, 이에 응답하여 영상 검색 서버로부터 객체에 대한 부가 정보를 제공받으면 이를 표시하여 보여 준다(S60).The terminal 100 transmits the identified object information to the image search server to request the search, and in response to receiving the additional information about the object from the image search server, the terminal 100 displays and displays it (S60).

도 6은 본 발명의 실시 예에 따른 통합 인식 엔진이 서버에 탑재된 경우 서버와 단말기간 검색 과정을 나타낸 순서도이다. 참고로, 도 6의 동작 과정은 도 4의 구성요소와 연계하여 설명하기로 한다.FIG. 6 is a flowchart illustrating a search procedure of a server and a terminal when the integrated recognition engine according to the embodiment of the present invention is installed in a server. 6 will be described in connection with the components of FIG.

단말기(100)는 촬영 수단을 통해 촬영한 객체의 영상이나 또는 웹 페이지, 별도의 디바이스를 통해 획득한 객체의 영상이 입력되면, 입력된 객체의 영상을 영상 검색 서버(300)로 전송한다(S110, S120). The terminal 100 transmits the image of the object photographed through the photographing means or the image of the object obtained through the web page or the separate device to the image search server 300 (S110 , S120).

영상 검색 서버(300)는 단말기(100)로부터 전송받은 객체의 영상을 특징점 기반의 영상 인식을 통해 영상의 특징을 분석한다(S130). 이러한 분석 과정은 통합 인식 엔진(350)에 구축된 분류 DB(352)와 영상 인식 모듈(320)을 이용하여 구별될 수 있다. The image search server 300 analyzes the image of the object received from the terminal 100 through image recognition based on the feature point (S130). This analysis process can be distinguished by using the classification DB 352 and the image recognition module 320 built in the integrated recognition engine 350.

분석 후, 영상 검색 서버(300)는 특징에 따른 객체의 유형을 분류하고, 분류한 객체를 판독하기 위한 해당 디코더를 호출하여 자동 구동한다(S140, S150). 그리고, 영상 검색 서버(300)는 구동한 디코더로 객체의 영상을 분석하여 해당 객체를 식별한다(S160). After the analysis, the image search server 300 classifies the type of the object according to the characteristic, calls the corresponding decoder to read the classified object, and automatically drives it (S140, S150). Then, the image search server 300 analyzes the image of the object by the driven decoder and identifies the object (S160).

또한, 영상 검색 서버(300)는 식별한 객체에 대한 부가 정보가 있는지를 검색하고 검색 결과를 해당 단말기(100)로 전송한다(S170, S180). In addition, the image search server 300 searches for additional information about the identified object and transmits the search result to the corresponding terminal 100 (S170, S180).

해당 단말기(100)는 영상 검색 서버(300)로부터 전송받은 검색 결과 즉, 객체의 부가 정보를 표시하여 보여 준다(S190).The terminal 100 displays the search result transmitted from the image search server 300, that is, the additional information of the object (S190).

이러한 검색 과정을 통해 본 발명은 인터넷 쇼핑몰에서 가격 비교 서비스에 활용할 수 있으며, 이 경우 사용자는 객체의 영상만 가지고 있으면 상품뿐만 아니라 상품의 가격 비교를 통해 쇼핑 구매 서비스까지 이용할 수 있다. Through this searching process, the present invention can be utilized in a price comparison service in an Internet shopping mall. In this case, a user can use not only a product but also a shopping purchase service through price comparison of goods.

또한, 본 발명은 패턴 인식 관련 비젼 및 그래픽 기술과 네트워크 기술, DB 구축 기술 등에 활용할 수 있다. Further, the present invention can be applied to vision and graphics technology related to pattern recognition, network technology, DB construction technology, and the like.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서, 패턴 인식 관련 비젼 및 그래픽 기술이나 네트워크 기술, DB 구축 기술 등 폭넓은 기술 분야에까지 활용할 수 있을 것이다. 따라서, 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Therefore, it can be applied to a wide range of technical fields such as pattern recognition related vision, graphic technology, network technology, and DB construction technology. Therefore, the embodiments disclosed in the specification of the present invention do not limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.

종래 영상을 이용한 검색 서비스는 바코드, QR코드, 얼굴 인식, 영상 인식 등을 위한 인식 엔진이 각 단말에 개별적으로 탑재되어 있어 개별적이라는 한계성이 존재하고 사용자가 직접 인식을 위한 요청을 의뢰해야 하는 단점이 있으나, 본 발명은 객체의 영상이 입력되면 영상 인식을 통해 객체의 유형을 파악하고 파악한 유형에 따라 디코더를 선택 적용하여 객체를 판독함으로써 다양한 객체에 대한 통합 인식이 가능하고, 객체 인식 전에 유형을 파악함으로써 사용자가 인식 요청을 직접 의뢰할 필요없이 자동 인식 및 검색이 가능한 효과가 있다. 이로 인해 본 발명에 포함된 기술을 온라인 쇼핑몰에서의 가격 비교 서비스, 쇼핑 구매 서비스 등에 연계하면 현재의 영상 검색 서비스 사업을 보다 활성화할 수 있다.Conventionally, a search service using an image has a disadvantage that a recognition engine for barcode, QR code, face recognition, image recognition, etc. is individually mounted on each terminal, and there is a limitation that the user has to request a request for recognition directly However, according to the present invention, when an image of an object is input, the type of the object is recognized through the image recognition, and a decoder is selectively applied according to the type of the object. Thus, integrated recognition of various objects is possible by reading the object, Thus, there is an effect that the user can automatically recognize and search without having to directly ask for the recognition request. Accordingly, if the technology included in the present invention is linked to a price comparison service and a shopping purchase service in an online shopping mall, the current video search service business can be more activated.

종래 영상을 이용한 검색 서비스는 바코드, QR코드, 얼굴 인식, 영상 인식 등을 위한 인식 엔진이 각 단말에 개별적으로 탑재되어 있어 개별적이라는 한계성이 존재하고 사용자가 직접 인식을 위한 요청을 의뢰해야 하는 단점이 있으나, 본 발명은 객체의 영상이 입력되면 영상 인식을 통해 객체의 유형을 파악하고 파악한 유형에 따라 디코더를 선택 적용하여 객체를 판독함으로써 다양한 객체에 대한 통합 인식이 가능하고, 객체 인식 전에 유형을 파악함으로써 사용자가 인식 요청을 직접 의뢰할 필요없이 자동 인식 및 검색이 가능한 효과가 있다. 이로 인해 본 발명에 포함된 기술을 온라인 쇼핑몰에서의 가격 비교 서비스, 쇼핑 구매 서비스 등에 연계하면 현재의 영상 검색 서비스 사업을 보다 활성화할 수 있다.Conventionally, a search service using an image has a disadvantage that a recognition engine for barcode, QR code, face recognition, image recognition, etc. is individually mounted on each terminal, and there is a limitation that the user has to request a request for recognition directly However, according to the present invention, when an image of an object is input, the type of the object is recognized through the image recognition, and a decoder is selectively applied according to the type of the object. Thus, integrated recognition of various objects is possible by reading the object, Thus, there is an effect that the user can automatically recognize and search without having to directly ask for the recognition request. Accordingly, if the technology included in the present invention is linked to a price comparison service and a shopping purchase service in an online shopping mall, the current video search service business can be more activated.

100: 단말기 200: 통신망
300: 영상 검색 서버 400: 부가 정보 서버
110: 인터페이스부 120: 촬영 수단
130: 제어부 140: 영상 인식부
150: 메모리 160: 통합 인식 엔진
162: 분류 DB 164: 디코더
310: 인터페이스모듈 320: 영상 인식 모듈
330: 제어 모듈 340: 부가 정보 관리 모듈
350: 통합 인식 엔진100: terminal 200: communication network
300: image search server 400: additional information server
110: interface unit 120: photographing means
130: control unit 140: image recognition unit
150: memory 160: integrated recognition engine
162: Classification DB 164: Decoder
310: Interface module 320: Image recognition module
330: control module 340: additional information management module
350: Integrated recognition engine

Claims (6)

통신망을 통해 서버에 접속하여 원하는 객체에 대한 검색을 요청하고 그 검색 결과를 수신하는 단말기로서,
상기 원하는 객체를 촬영하여 상기 객체에 대한 영상을 생성하는 촬영 수단과,
상기 촬영 수단을 통해 생성된 객체의 영상을 영상 인식 기반으로 분석하여 객체의 유형을 미리 파악하는 영상 인식부와,
상기 영상 인식부를 통해 파악된 객체의 유형에 따라, 판독 가능한 디코더를 자동 구동하여 상기 객체의 영상을 인식하며, 파악된 객체의 유형이 2 이상인 경우, 상기 2 이상의 객체의 유형에 대해 각각 판독 가능한 2 이상의 디코더를 인식률이 높은 우선순위에 따라 호출하여 상기 객체의 영상을 순차적으로 인식하는 통합 인식 엔진
을 포함하는 것을 특징으로 하는 통합 영상 검색을 위한 단말기.A terminal connected to a server through a communication network to request a search for a desired object and receive the search result,
A photographing means for photographing the desired object to generate an image for the object;
An image recognition unit for analyzing an image of an object generated through the photographing unit based on image recognition to grasp the type of the object in advance;
Recognizes the image of the object by automatically driving a readable decoder according to the type of the object recognized through the image recognition unit, and when the type of the object is two or more, The above-described decoders are called according to a priority with a high recognition rate to recognize an image of the object sequentially,
And a terminal for searching for an integrated image. 통신망을 통해 클라이언트의 단말기와 접속하여 상기 단말기로부터 원하는 객체에 대한 검색 요청을 수신하면 그 검색 결과를 상기 단말기로 전송하는 서버로서,
상기 통신망을 통해 단말기와의 통신을 수행하는 인터페이스 모듈과,
상기 인터페이스 모듈을 통해 객체의 영상이 입력되면 상기 객체의 영상을 영상 인식 기반으로 분석하여 객체의 유형을 미리 파악하는 영상 인식 모듈과,
상기 영상 인식 모듈에서 파악된 객체의 유형에 따라, 판독 가능한 디코더를 자동 구동하여 상기 객체의 영상을 인식하며, 파악된 객체의 유형이 2 이상인 경우, 상기 2 이상의 객체의 유형에 대해 각각 판독 가능한 2 이상의 디코더를 인식률이 높은 우선순위에 따라 호출하여 상기 객체의 영상을 순차적으로 인식하는 통합 인식 엔진을 포함하는 것을 특징으로 하는 영상 검색 서버.A server connected to a client terminal through a communication network and receiving a search request for a desired object from the terminal, the server transmitting the search result to the terminal,
An interface module for performing communication with the terminal through the communication network;
An image recognition module for analyzing the image of the object based on image recognition and grasping the type of the object when the image of the object is inputted through the interface module;
Recognizing the image of the object by automatically driving a readable decoder according to the type of the object recognized by the image recognition module, and when the type of the object is two or more, And a unified recognition engine for sequentially recognizing the images of the object by calling the decoders in a priority order having a high recognition rate. 삭제delete 삭제delete 통신망을 통해 서버에 접속하여 원하는 객체에 대한 검색을 요청하고 그 검색 결과를 수신하는 단말기의 검색 서비스 방법으로서,
상기 단말기에 상기 객체에 대한 영상이 입력되면 영상 인식 기반으로 영상의 특성을 분석하여 상기 객체의 유형을 미리 파악하는 단계;
상기 단말기는 상기 객체의 유형에 따라 판독 가능한 디코더를 자동 호출하여 구동 요청하며, 파악된 객체의 유형이 2 이상인 경우 상기 2 이상의 객체의 유형에 대해 각각 판독 가능한 2 이상의 디코더를 인식률이 높은 우선순위에 따라 호출하여 구동 요청하는 단계;
상기 단말기는 구동 요청된 디코더에 의해 상기 객체의 영상을 판독하여 객체를 인식하는 단계;
상기 단말기는 인식한 객체를 상기 서버에 전송하여 검색 서비스를 제공받는 단계
를 포함하는 것을 특징으로 하는 통합 영상 검색 서비스 방법.A search service method of a terminal for accessing a server through a communication network to request a search for a desired object and receiving the search result,
Analyzing characteristics of the image based on the image recognition when the image of the object is inputted to the terminal, and grasping the type of the object in advance;
The terminal automatically requests a decoder that can be read according to the type of the object and requests the decoder to drive the decoder. If the type of the object is two or more, two or more decoders, each of which is readable with respect to the type of the two or more objects, A step of requesting driving according to the request;
The terminal recognizing an object by reading an image of the object by a decoder requested to be driven;
The terminal transmits the recognized object to the server and receives a search service
Wherein the integrated video search service method comprises: 통신망을 통해 클라이언트의 단말기와 접속하여 상기 단말기로부터 원하는 객체에 대한 검색 요청을 수신하면 그 검색 결과를 상기 단말기로 전송하는 서버의 검색 서비스 방법으로서,
상기 단말기로부터 서버에 객체에 대한 영상이 입력되면 상기 서버는 영상 인식 기반으로 상기 영상의 특성을 분석하여 객체의 유형을 미리 파악하는 단계;
상기 서버는 파악한 객체의 유형에 따라 판독 가능한 디코더를 자동 호출하여 구동 요청하며, 파악된 객체의 유형이 2 이상인 경우, 상기 2 이상의 객체의 유형에 대해 각각 판독 가능한 2 이상의 디코더를 인식률이 높은 우선순위에 따라 호출하여 구동 요청하는 단계;
상기 서버는 구동 요청된 디코더에 의해 상기 객체의 영상을 판독하여 객체를 인식하는 단계;
상기 서버가 인식한 객체를 검색하여 검색 결과를 상기 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 통합 영상 검색 서비스 방법.There is provided a search service method of a server for accessing a terminal of a client through a communication network and receiving a search request for a desired object from the terminal,
If the image of the object is input from the terminal to the server, the server analyzes the characteristics of the image based on the image recognition to grasp the type of the object in advance;
The server automatically requests the decoder to be read according to the type of the identified object, and when the type of the identified object is two or more, the decoder decodes two or more decoders, each of which can read each type of the two or more objects, A step of requesting a drive according to the request;
The server recognizing an object by reading an image of the object by a decoder requested to be driven;
And searching for an object recognized by the server and transmitting the search result to the terminal.
KR1020160174653A 2016-12-20 2016-12-20 Integrative image searching system and service method of the same KR101784287B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160174653A KR101784287B1 (en) 2016-12-20 2016-12-20 Integrative image searching system and service method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160174653A KR101784287B1 (en) 2016-12-20 2016-12-20 Integrative image searching system and service method of the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100076588A Division KR101729938B1 (en) 2010-08-09 2010-08-09 Integrative image searching system and service method of the same

Publications (2)

Publication Number Publication Date
KR20160149185A KR20160149185A (en) 2016-12-27
KR101784287B1 true KR101784287B1 (en) 2017-10-11

Family

ID=57736837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160174653A KR101784287B1 (en) 2016-12-20 2016-12-20 Integrative image searching system and service method of the same

Country Status (1)

Country Link
KR (1) KR101784287B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102026475B1 (en) * 2017-08-20 2019-09-30 네이버 주식회사 Processing visual input
WO2019039799A1 (en) * 2017-08-20 2019-02-28 네이버 주식회사 Processing of visual input
KR102434535B1 (en) * 2019-10-18 2022-08-22 주식회사 메이아이 Method and apparatus for detecting human interaction with an object
KR102273198B1 (en) * 2019-10-22 2021-07-05 라인플러스 주식회사 Method and device for recognizing visually coded patterns

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100633231B1 (en) * 2005-04-18 2006-10-12 엘지전자 주식회사 Portable terminal with a information search function based on gesture recognition and implementating method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100633231B1 (en) * 2005-04-18 2006-10-12 엘지전자 주식회사 Portable terminal with a information search function based on gesture recognition and implementating method thereof

Also Published As

Publication number Publication date
KR20160149185A (en) 2016-12-27

Similar Documents

Publication Publication Date Title
KR101729938B1 (en) Integrative image searching system and service method of the same
US10380170B2 (en) Integrated image searching system and service method thereof
US11238654B2 (en) Offline shopping guide method and apparatus
US9697558B2 (en) Information provision device, information provision method, information provision program, and computer-readable storage medium for storing said program
KR101784287B1 (en) Integrative image searching system and service method of the same
KR101443158B1 (en) Commodity information recommending system based on user interest
US20130051615A1 (en) Apparatus and method for providing applications along with augmented reality data
JP5395920B2 (en) Search device, search method, search program, and computer-readable recording medium storing the program
EP2003611A9 (en) Information presentation system, information presentation terminal, and server
US10817923B2 (en) Information providing system, information providing apparatus, information providing method, and program
US9633272B2 (en) Real time object scanning using a mobile phone and cloud-based visual search engine
US20160098427A1 (en) Filtering inventory objects using images in an rfid system
CN104504402A (en) Data processing method and system based on image search
KR101711163B1 (en) Integrated mobile ordering system using universal internet and beacon
CN104504155A (en) Data acquisition method and system based on image search
KR20110137004A (en) System and method for providing price comparison service based on integrative searching using mobile terminal
US20120226550A1 (en) Method, server, and computer-readable recording medium for providing advertisement using collection information
US20140278789A1 (en) System and method for business entities to receive product and brand related customer input and other data.
CN110348925A (en) Shops's system, article matching method, device and electronic equipment
KR20210094396A (en) Application for searching service based on image and searching server therefor
JP2015191265A (en) Recognition device, data server, recognition program, and recognition method
JP7390772B2 (en) Visit information provision system, visit information provision method, and its program
KR20170055013A (en) System and method for providing price comparison service code-based
KR102230419B1 (en) Method for information providing based on shooting image and system therof
KR101990992B1 (en) System and method for providing code-based price comparison information using association

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant