KR102213861B1 - Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor - Google Patents

Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor Download PDF

Info

Publication number
KR102213861B1
KR102213861B1 KR1020140022019A KR20140022019A KR102213861B1 KR 102213861 B1 KR102213861 B1 KR 102213861B1 KR 1020140022019 A KR1020140022019 A KR 1020140022019A KR 20140022019 A KR20140022019 A KR 20140022019A KR 102213861 B1 KR102213861 B1 KR 102213861B1
Authority
KR
South Korea
Prior art keywords
sketch
search
area
line
candidate
Prior art date
Application number
KR1020140022019A
Other languages
Korean (ko)
Other versions
KR20150100332A (en
Inventor
전혁준
신형철
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140022019A priority Critical patent/KR102213861B1/en
Publication of KR20150100332A publication Critical patent/KR20150100332A/en
Application granted granted Critical
Publication of KR102213861B1 publication Critical patent/KR102213861B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 스케치 입력에 따른 검색 결과들을 후보 밑그림으로 스케치 영역에 제공하여 이를 따라 그릴 수 있도록 유도함과 아울러 검색결과 출력영역에 별도로 제공되는 개별 검색 결과 영상도 밑그림으로 활용하여 원하는 스케치를 진행할 수 있도록 한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 중첩된 후보 밑그림 상에 스케치를 실시하도록 구성된 스케치 영역뿐만 아니라 검색 결과에 따라 후보 밑그림 영상이 개별적으로 나열되는 검색결과 출력영역에서 선택된 개별 후보 밑그림 영상에도 직접 스케치를 실시하여 중첩된 후보 밑그림으로 구별하기 어려운 특정 후보 밑그림 영상의 일부에 대한 스케치도 명확하게 실시할 수 있도록 함으로써, 다수의 밑그림 영상이 중첩된 상태에서 원하는 대상이 명확하게 식별되지 않더라도 정확한 대상을 선택하여 스케치를 진행할 수 있는 효과가 있다.The present invention provides the search results according to the user's sketch input to the sketch area as a candidate sketch and induces it to be drawn along. In addition, an individual search result image separately provided in the search result output area can be used as a sketch to proceed with a desired sketch. A sketch retrieval system, a user device, a service providing device, a service method, and a recording medium in which a computer program is recorded. Candidate sketch images according to the search results as well as sketch areas configured to perform sketches on overlapping candidate sketches. By directly sketching the individual candidate sketch images selected in the individually listed search result output area, it is possible to clearly sketch some of the specific candidate sketch images that are difficult to distinguish with overlapping candidate sketches. Even if the desired object is not clearly identified while the images are superimposed, there is an effect of selecting the correct object and proceeding with the sketch.

Description

스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체{Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor}Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor}

본 발명은 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 사용자의 스케치 입력에 따른 검색 결과들을 후보 밑그림으로 스케치 영역에 제공하여 이를 따라 그릴 수 있도록 유도함과 아울러 검색결과 출력영역에 별도로 제공되는 개별 검색 결과 영상도 밑그림으로 활용하여 원하는 스케치를 진행할 수 있도록 한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체이다.The present invention relates to a sketch search system, a user device, a service providing device, a service method thereof, and a recording medium in which a computer program is recorded. In particular, the search results according to the user's sketch input are provided to a sketch area as candidate sketches and drawn accordingly A sketch search system, a user device, a service providing device, and a record of the service method and computer program, which enables the user to proceed with the desired sketch by using the individual search result image separately provided in the search result output area as a draft. It is a medium.

최근 컴퓨터와 통신 기술의 발달과 더불어 멀티미디어 정보 서비스에 대한 요구가 증가하고 있으며, 인터넷상의 정지 화상 및 동영상 검색, 방송 제작에 사용될 VOD(Video On Demand) 서비스, 전자 도서관, 의료 분야(예를 들어, 원격 진료, 의료 영상 검색) 등 응용될 수 있는 멀티미디어 검색 기술에 대한 연구의 필요성이 증가하고 있다.Recently, with the development of computer and communication technology, the demand for multimedia information service is increasing, and VOD (Video On Demand) service to be used for still image and video search and broadcasting production on the Internet, electronic library, medical field (for example, There is an increasing need for research on multimedia search technologies that can be applied, such as telemedicine and medical image search).

연구 초기에는 검색의 대상이 되는 모든 멀티미디어 데이터에 사람이 직접 색인을 첨가하고, 사용자 또한 주제어를 이용하여 원하는 정보를 검색하는 텍스트 기반 검색이 사용되어 왔다.In the early stages of research, text-based search has been used in which a person directly adds an index to all multimedia data to be searched, and users also search for desired information using a subject word.

그러나 이 방법은 시간 및 내용이 많이 소요되고, 색인을 첨가하는 사람과 검색하는 사용자의 관점이 불일치하는 경우 검색의 효율성이 크게 떨어지는 문제점이 있다. 또한, 멀티미디어 데이터가 가지는 복잡한 속성을 텍스트만으로는 정확하게 표현할 수 없다는 단점이 있다. 이를 보완하기 위하여 멀티미디어 데이터의 내용을 대표할 수 있는 특징을 추출하여 이를 기반으로 색인과 검출을 수행하는 내용 기반 검색 방법이 필요하게 되었다.However, this method takes a lot of time and content, and when the viewpoints of the person who adds the index and the user who searches are inconsistent, there is a problem that the efficiency of the search is greatly reduced. In addition, there is a disadvantage in that complex properties of multimedia data cannot be accurately expressed with text alone. In order to compensate for this, a content-based search method that extracts features representing the contents of multimedia data and performs indexing and detection based on the extracted features is needed.

이런 내용 기반 검색 방법 중 하나인 영상 검색 방식은 사용자가 터치패드를 터치하면서 그리는 그림을 인식하고 인식된 결과를 이용하여 검색이 이루어지도록 하는 것이나, 스케치 품질이 열악한 경우 검색 결과 정확도가 낮아진다. 이를 해소하기 위해 스케치 상황에 대응되는 밑그림이 스케치 작업을 가이드하기 위해 제공되는 경우가 있으나 밑그림으로 복수의 후보 밑그림이 중첩되어 제공되므로 따라 그릴 대상을 명확하게 구분하지 못하여 잘못된 가이드에 의해 원하지 않는 스케치가 이루어지는 상황이 발생하고 있다. One of these content-based search methods, the image search method, recognizes a picture drawn by a user while touching the touch pad and allows the search to be performed using the recognized result. However, if the sketch quality is poor, the accuracy of the search result decreases. In order to solve this problem, sketches corresponding to the sketch situation are sometimes provided to guide the sketching work, but since multiple candidate sketches are overlapped and provided as sketches, it is not possible to clearly distinguish the objects to be drawn according to the sketch. There is a situation that takes place.

한국등록특허 제1005407480000호 [명칭: 내용 기반 검색을 위한 개선된 질의 방법 및 그 방법을 구현하기 위한 프로그램을 저장한 기록매체]Korean Patent Registration No. 1005407480000 [Name: an improved query method for content-based search and a recording medium storing a program for implementing the method]

이와 같은 사용자의 불편함을 최소화하기 위해 본 발명은 중첩된 후보 밑그림 상에 스케치를 실시하도록 구성된 스케치 영역뿐만 아니라 검색 결과에 따라 후보 밑그림 영상이 개별적으로 나열되는 검색결과 출력영역에서 선택된 개별 후보 밑그림 영상에도 직접 스케치를 실시할 수 있도록 하여 중첩된 후보 밑그림으로 구별하기 어려운 특정 후보 밑그림 영상의 일부에 대한 스케치까지도 명확하게 실시할 수 있도록 하는 것을 목적으로 한다.In order to minimize such inconvenience to users, the present invention provides an individual candidate sketch image selected from the search result output area in which candidate sketch images are individually listed according to the search result as well as the sketch area configured to sketch on the overlapped candidate sketch. The aim is to make it possible to perform sketching directly, so that even a part of a specific candidate sketch image, which is difficult to distinguish with overlapping candidate sketches, can be clearly performed.

또한, 본 발명은 스케치를 하는 도중 검색결과 출력영역에 노출되어 있는 후보 밑그림 영상 중 원하는 후보 밑그림 영상을 선택하여 스케치 영역 상의 밑그림 영상으로 적용시켜 스케치 작업을 수행할 수 있도록 하는 것을 목적으로 한다.In addition, it is an object of the present invention to perform a sketching operation by selecting a desired candidate sketch image from among candidate sketch images exposed in a search result output area while sketching and applying it as a sketch image on the sketch area.

본 발명의 실시예에 따른 스케치 검색 사용자 장치는 스케치 입력에 대한 가이드를 제공할 중첩된 밑그림이 표시되는 스케치 영역과 스케치 검색결과가 나열되는 검색결과 출력영역을 구비하는 스케치 검색 인터페이스부, 스케치 검색 인터페이스부의 스케치 영역 및 검색결과 출력영역을 통한 사용자 입력을 스트로크 정보로 검출하여 출력하는 스트로크 인식부 및 스트로크 인식부의 스트로크 정보를 스트로크 인식정보로 서비스 제공 장치에 전송하고, 스트로크 인식정보에 따른 유사성을 기준으로 하여 선별된 후보 밑그림과 그에 대응하는 원본 영상을 포함하는 스케치 검색정보를 서비스 제공 장치로부터 수신하여 스케치 검색 인터페이스부의 스케치 영역과 검색결과 출력영역에 표시하는 제어부를 포함할 수 있다.A sketch search user device according to an embodiment of the present invention includes a sketch search interface unit, a sketch search interface including a sketch area displaying an overlapped sketch to provide a guide for sketch input and a search result output area listing sketch search results. The stroke recognition unit that detects and outputs the user input through the negative sketch area and the search result output area as stroke information and the stroke information of the stroke recognition unit are transmitted as stroke recognition information to the service providing device, and based on the similarity according to the stroke recognition information. Thus, a control unit for receiving sketch search information including the selected candidate sketch and the original image corresponding thereto from the service providing device and displaying the sketch area of the sketch search interface unit and the search result output area.

본 발명과 관련된 일 예로서, 제어부는 검색결과 출력영역으로부터 스케치 작업이 이루어지는 경우 해당 후보 밑그림 영상 상에서 생성된 스케치 라인을 스케치 영역 상의 스케치 라인에 적용시킬 수 있다.As an example related to the present invention, when a sketch operation is performed from a search result output area, the controller may apply a sketch line generated on a corresponding candidate sketch image to the sketch line on the sketch area.

본 발명과 관련된 일 예로서, 제어부는 검색결과 출력영역에 노출된 다수의 후보 밑그림 영상에 대해 원하는 후보 밑그림 영상을 선택하면, 선택된 후보 밑그림을 스케치 영역의 중첩시켜 제공할 수 있다.As an example related to the present invention, when a desired candidate draft image is selected for a plurality of candidate draft images exposed in the search result output area, the selected candidate draft image may be provided by overlapping the sketch area.

본 발명의 실시예에 따른 스케치 검색 서비스 제공 장치는 밑그림 영상과 그에 대응되는 원본 영상이 저장된 밑그림 영상 데이터베이스부, 밑그림을 따라 그릴 수 있도록 구성된 스케치 영역과 스케치한 내용에 따른 검색결과를 제공하는 검색결과 출력영역을 구비한 사용자 장치로부터 스케치 영역 및 검색결과 출력영역을 통해 입력된 스트로크에 대한 스트로크 인식정보를 수신하고, 수신된 스트로크 인식정보를 기준으로 유사도에 따라 밑그림 데이터베이스부로부터 후보 밑그림 영상을 선별하는 밑그림 영상 제공부 및 밑그림 영상 제공부에서 선별된 후보 밑그림과 그에 대응되는 원본 영상을 각각 사용자 장치의 스케치 영역과 검색결과 출력영역에 표시할 수 있도록 사용자 장치에 제공하는 스케치 검색정보 제공부를 포함할 수 있다.The apparatus for providing a sketch search service according to an embodiment of the present invention includes a sketch image database unit in which a sketch image and an original image corresponding thereto are stored, a sketch area configured to draw along the sketch, and a search result providing search results according to the sketched content. Receives stroke recognition information for the stroke input through the sketch area and the search result output area from a user device equipped with an output area, and selects candidate sketch images from the sketch database unit according to the similarity based on the received stroke recognition information. It may include a sketch image providing unit and a sketch search information providing unit that provides the candidate sketch selected by the sketch image providing unit and the corresponding original image to the user device so that they can be displayed in the sketch area and the search result output area of the user device, respectively. have.

본 발명과 관련된 일 예로서, 스케치 검색 정보 제공부는 스케치 라인과 드래그 라인의 간격을 설정하기 위한 간격설정 메뉴항목을 사용자 장치로 제공하고, 간격설정 메뉴항목에 따라 선택된 간격설정방식에 의해 사용자에 의해 그려지는 드래그 라인과 드래그 라인에 따라 밑그림에 그려지는 스케치 라인의 간격을 설정하고, 설정된 간격 내에서 스트로크 정보가 입력되면 드래그 라인을 따라 밑그림 상에 스케치 라인을 노출시킬 수 있다.As an example related to the present invention, the sketch search information providing unit provides a spacing setting menu item for setting the spacing between the sketch line and the drag line to the user device, and by the user by the spacing setting method selected according to the spacing setting menu item. You can set the distance between the drawn drag line and the sketch line drawn on the sketch according to the drag line, and when stroke information is input within the set distance, the sketch line can be exposed on the sketch along the drag line.

본 발명과 관련된 일 예로서, 간격설정 메뉴항목은 더블 터치로 드래그 영역과 드로우 영역을 동시에 클릭하여 스케치 라인과 드래그 라인의 간격을 설정하는 제 1 간격설정 메뉴항목, 드래그 영역과 드로우 영역을 순차적으로 클릭하여 스케치 라인과 드래그 라인의 간격을 설정하는 제 2 간격설정 메뉴항목, 드래그 영역과 드로우 영역이 만나는 양 끝점을 선택하여 에지 길이를 설정하여 스케치 라인과 드래그 라인의 간격을 설정하고, 설정된 간격 사이에 에지를 노출시키는 제 3 간격설정 메뉴항목 및 에지 설정에 따라 드래그 영역과 드로우 영역을 설정하여 스케치 라인과 드래그 라인의 간격을 설정하는 제 4 간격설정 메뉴항목 중 적어도 하나 이상으로 이루어질 수 있다.As an example related to the present invention, the spacing setting menu item is a first spacing setting menu item for setting the spacing between the sketch line and the drag line by simultaneously clicking the drag area and the draw area with a double touch, and the drag area and the draw area in sequence. Click to set the distance between the sketch line and the drag line by selecting the second spacing setting menu item to set the spacing between the sketch line and the drag line, and setting the edge length by selecting both end points where the drag area and the draw area meet, and set the spacing between the sketch line and the drag line. At least one of the third spacing setting menu item exposing the edge to the edge and the fourth spacing setting menu item setting the spacing between the sketch line and the drag line by setting the drag area and the draw area according to the edge setting.

본 발명과 관련된 일 예로서, 제 3 간격설정 메뉴항목 또는 제 4 간격설정 메뉴항목이 선택된 경우 에지를 선택하여 드래그 영역과 드로우 영역의 위치를 변경시킬 수 있도록 한다.As an example related to the present invention, when the third spacing setting menu item or the fourth spacing setting menu item is selected, the position of the drag area and the draw area can be changed by selecting an edge.

본 발명과 관련된 일 예로서, 밑그림 영상 데이터베이스부는 원본 영상에 대응되는 웹페이지 링크 정보를 더 저장하며, 스케치 검색 정보 제공부는 원본 영상에 대응되는 웹페이지 링크 정보도 사용자 장치에 제공할 수 있다.As an example related to the present invention, the sketch image database unit further stores web page link information corresponding to the original image, and the sketch search information providing unit may also provide web page link information corresponding to the original image to the user device.

본 발명의 실시예에 따른 스케치 검색 서비스 방법은 서비스 제공 장치가 사용자 장치로부터 스케치 검색 실행 요청신호를 수신하는 단계, 서비스 제공 장치가 스케치 검색 실행 요청신호에 응하여 스케치 영역 및 검색결과 출력영역으로 이루어진 스케치 검색 인터페이스를 사용자 장치로 제공하는 단계, 서비스 제공 장치가, 사용자 장치로부터 스케치 영역과 검색결과 출력영역 모두에 대한 스트로크 인식 정보를 수신하는 단계 및 서비스 제공 장치가 스트로크 인식 정보를 필터링 조건으로 하여 밑그림 영상들을 선별한 후 사용자 장치로 전송하는 단계를 포함할 수 있다.In the sketch search service method according to an embodiment of the present invention, the service providing device receives a sketch search execution request signal from a user device, and the service providing device includes a sketch area and a search result output area in response to the sketch search execution request signal. Providing a search interface to the user device, the service providing device receiving stroke recognition information for both the sketch area and the search result output area from the user device, and the service providing device using the stroke recognition information as a filtering condition for a sketch image After selecting the items, it may include the step of transmitting to the user device.

본 발명의 실시예에 따른 스케치 검색 서비스 방법은 서비스 제공 장치가 스케치 검색 인터페이스 중 검색결과 출력영역을 터치한 신호를 수신하는 단계, 서비스 제공 장치가, 검색결과 출력영역을 터치한 신호가 수신되는 경우 후보 밑그림 영상 상에서 이루어진 스케치 라인을 인식하는 단계 및 서비스 제공 장치가 인식된 스케치 라인을 스케치 영역 상의 스케치 라인에 적용시켜 스케치 작업이 진행되도록 하는 단계를 포함할 수 있다.In the sketch search service method according to an embodiment of the present invention, the service providing device receives a signal for touching a search result output area of the sketch search interface, and when the service providing device receives a signal touching the search result output area Recognizing a sketch line made on the candidate sketch image, and applying the recognized sketch line to the sketch line on the sketch area by the service providing device to proceed with the sketch work.

본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 스케치 검색 서비스 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.A computer program for performing the sketch search service method according to the above-described embodiment may be stored in the recording medium on which the computer program according to the embodiment of the present invention is recorded.

본 발명의 실시예에 따른 스케치 검색 시스템은 스케치 검색 인터페이스를 제공하고, 스케치 검색 인터페이스를 통해 입력되는 사용자의 스트로크 정보를 송출하고, 송출된 스트로크 정보에 대응되는 밑그림 영상들을 수신받아 스케치 검색 인터페이스의 밑그림으로 중첩시켜 제공하고, 사용자에 의해 선택된 검색결과 출력영역의 후보 밑그림 영상을 스케치 영역에 중첩시켜 제공하며, 검색결과 출력영역으로부터 스케치 작업이 이루어지는 경우 해당 후보 밑그림 영상 상에서 생성된 스케치 라인을 스케치 영역 상에 반영시키는 사용자 장치 및 사용자 장치로부터 스트로크 인식정보가 수신되면 스트로크 인식정보의 유사도를 기준으로 후보 밑그림 영상을 선별하여 사용자 장치로 제공하는 서비스 제공 장치를 포함할 수 있다.A sketch search system according to an embodiment of the present invention provides a sketch search interface, transmits stroke information of the user input through the sketch search interface, receives sketch images corresponding to the transmitted stroke information, and receives the sketch of the sketch search interface. The candidate sketch image of the search result output area selected by the user is superimposed on the sketch area, and when sketching is performed from the search result output area, the sketch line created on the candidate sketch image is displayed on the sketch area. When the stroke recognition information is received from the user device and the stroke recognition information is received, a service providing device that selects a candidate sketch image based on the similarity of the stroke recognition information and provides it to the user device.

본 발명은 중첩된 후보 밑그림 상에 스케치를 실시하도록 구성된 스케치 영역뿐만 아니라 검색 결과에 따라 후보 밑그림 영상이 개별적으로 나열되는 검색결과 출력영역에서 선택된 개별 후보 밑그림 영상에도 직접 스케치를 실시할 수 있도록 하여 중첩된 후보 밑그림으로 구별하기 어려운 특정 후보 밑그림 영상의 일부에 대한 스케치도 명확하게 실시할 수 있도록 함으로써, 다수의 밑그림 영상이 중첩된 상태에서 원하는 대상이 명확하게 식별되지 않더라도 정확한 대상을 선택하여 스케치를 진행할 수 있는 효과가 있다.The present invention allows direct sketching to be performed not only on the sketch area configured to sketch on the overlapped candidate sketch, but also on the individual candidate sketch image selected in the search result output area in which candidate sketch images are individually listed according to the search result. By making it possible to clearly sketch a part of the specific candidate sketch image, which is difficult to distinguish with the candidate sketch, it is possible to select the correct object and proceed with the sketch even if the desired object is not clearly identified in the state of overlapping multiple sketch images. It can have an effect.

또한, 본 발명은 스케치를 하는 도중 검색결과 출력영역에 노출되어 있는 후보 밑그림 영상 중 원하는 후보 밑그림 영상을 선택하여 스케치 영역 상의 밑그림 영상으로 적용시켜 스케치 작업을 수행할 수 있도록 함으로써, 사용자에 의해 선택된 후보 밑그림 영상을 스케치 영역 상에 적용시켜 스케치할 수 있도록 하여 스케치 결과를 좀 더 정확하고 신속하게 얻을 수 있도록 하는 효과가 있다.In addition, the present invention selects a desired candidate sketch image from among the candidate sketch images exposed in the search result output area while sketching, and applies it as a sketch image on the sketch area to perform a sketch operation, It has the effect of obtaining a sketch result more accurately and quickly by allowing the sketch image to be applied to the sketch area.

도 1은 본 발명의 실시예에 따른 스케치 검색 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 사용자 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 서비스 제공 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 스케치 검색 서비스 방법을 보인 흐름도이다.
도 5는 본 발명의 실시에에 따른 스케치 검색 서비스 방법 중 후보 밑그림 출력영역에서의 스케치 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 사용자 장치의 스케치 검색 인터페이스를 설명하기 위한 예시도이다.
도 7은 본 발명의 실시예에 따른 사용자 장치에서 출력되는 후보 밑그림 영상에 이루어지는 스케치 라인이 스케치 영역 상의 스케치 라인에 반영되는 것을 설명하기 위한 예시도이다.1 is a block diagram showing the configuration of a sketch search system according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a user device according to an embodiment of the present invention.
3 is a block diagram showing the configuration of a service providing apparatus according to an embodiment of the present invention.
4 is a flowchart showing a sketch search service method according to an embodiment of the present invention.
5 is a flowchart illustrating a sketching process in a candidate sketch output area in a sketch search service method according to an embodiment of the present invention.
6 is an exemplary view illustrating a sketch search interface of a user device according to an embodiment of the present invention.
7 is an exemplary view for explaining that a sketch line formed on a candidate sketch image output from a user device is reflected on a sketch line on a sketch area according to an embodiment of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It should be noted that the technical terms used in the present invention are only used to describe specific embodiments, and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be interpreted as generally understood by those of ordinary skill in the technical field to which the present invention belongs, unless otherwise defined in the present invention, and is excessively comprehensive. It should not be construed as a human meaning or an excessively reduced meaning. In addition, when a technical term used in the present invention is an incorrect technical term that does not accurately express the spirit of the present invention, it should be replaced with a technical term that can be correctly understood by those skilled in the art. In addition, general terms used in the present invention should be interpreted as defined in the dictionary or according to the context before and after, and should not be interpreted as an excessively reduced meaning.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.In addition, the singular expression used in the present invention includes a plurality of expressions unless the context clearly indicates otherwise. In the present invention, terms such as “consisting of” or “comprising” should not be construed as necessarily including all of the various elements or various steps described in the invention, and some of the elements or some steps are included. It should be construed that it may not be, or may further include additional components or steps.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.In addition, terms including ordinal numbers such as first and second used in the present invention may be used to describe the constituent elements, but the constituent elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may be referred to as a first component.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the same or similar components are assigned the same reference numerals regardless of the reference numerals, and redundant descriptions thereof will be omitted.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, in describing the present invention, when it is determined that a detailed description of a related known technology may obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention and should not be construed as limiting the spirit of the present invention by the accompanying drawings.

도 1은 본 발명의 실시예에 따른 스케치 검색 시스템의 구성을 나타낸 블록도이다. 1 is a block diagram showing the configuration of a sketch search system according to an embodiment of the present invention.

도 1에 도시된 바와 같이 본 발명의 실시예에 따른 스케치 검색 시스템은 사용자 장치(100), 서비스 제공 장치(200) 및 통신망(300)으로 이루어진다.As shown in FIG. 1, a sketch search system according to an embodiment of the present invention includes a user device 100, a service providing device 200, and a communication network 300.

사용자 장치(100)는 스케치 영역 및 검색결과 출력영역으로 이루어진 스케치 검색 인터페이스를 사용자에게 제공하여 사용자가 스케치 영역을 통해 스케치를 실시하면서 가하는 스트로크에 대한 스트로크 인식 정보를 서비스 제공 장치(200)에 전송하고 그에 따른 후보 밑그림 영상을 제공받아 스케치 영역 및 검색결과 출력영역에 표시한다. 스케치 영역에는 후보 밑그림 영상이 중첩되어 흐릿한 밑그림으로 표시되며 사용자는 이를 가이드로 활용하여 스케치 진행에 도움을 받을 수 있다. 만일 밑그림 영상에 대응되는 원본영상을 더 수신할 경우 후보 밑그림 영상은 스케치 영역에 밑그림으로 표시되고 후보 밑그림 영상에 대응되는 원본영상은 검색결과 출력영역에 다양한 방식(리스트, 스크롤 방식 등)으로 표시된다.The user device 100 provides a sketch search interface consisting of a sketch area and a search result output area to the user, and transmits stroke recognition information on the stroke applied by the user while sketching through the sketch area to the service providing device 200. Accordingly, the candidate draft image is provided and displayed in the sketch area and the search result output area. In the sketch area, the candidate draft image is superimposed and displayed as a blurry draft, and the user can use it as a guide to assist in the sketching process. If the original image corresponding to the sketch image is further received, the candidate sketch image is displayed as a sketch in the sketch area, and the original image corresponding to the candidate sketch image is displayed in various ways (list, scroll method, etc.) in the search result output area. .

한편, 본 발명의 실시예에서는 사용자 장치(100)의 스케치 영역뿐만 아니라 검색결과 출력영역에 제공되는 후보 밑그림 영상 혹은 그에 대응되는 원본영상을 선택하고 해당 영상을 밑그림으로 하여 그 위에 스케치의 일부를 실시할 수 있다. 이 경우 해당 영상에 가해지는 스트로크는 대응되는 스케치 영역에 반영된다. 실질적으로 검색결과 출력영역에 제공되는 개별 후보 밑그림 영상 혹은 그에 대응되는 원본영상은 스케치 영역에 중첩되어 제공되는 밑그림 영상 중 하나이므로 스케치 영역에 표현된 비율을 참조하면 검색결과 출력영역에 제공되는 영상에 가해지는 스트로크 지점이 스케치 영역에 대응되어 표현될 수 있다. 이러한 방식을 통해서 중첩된 밑그림에서 구별이 어려운 특정한 부분에 대한 스케치를 해당 부분이 명확하게 표현된 검색결과 출력영역의 개별 영상을 이용하여 진행할 수 있게 된다.On the other hand, in an embodiment of the present invention, a candidate sketch image provided in the search result output area as well as the sketch area of the user device 100 or an original image corresponding thereto is selected, and a part of the sketch is performed on it by using the image as a sketch. can do. In this case, the stroke applied to the image is reflected in the corresponding sketch area. In fact, the individual candidate sketch image provided in the search result output area or the original image corresponding thereto is one of the sketch images provided by overlapping the sketch area, so referring to the ratio expressed in the sketch area, the image provided in the search result output area The stroke point applied may be expressed in correspondence with the sketch area. Through this method, a sketch for a specific part that is difficult to distinguish in the overlapped sketch can be progressed using individual images in the search result output area in which the corresponding part is clearly expressed.

물론, 검색결과 출력영역의 영상에 가해지는 스트로크가 스케치 영역에 반영될 때 오차가 발생할 수 있으나 이는 스케일이나 얼라인먼트를 조정할 수 있도록 할 경우 용이하게 보정할 수 있다.Of course, an error may occur when the stroke applied to the image of the search result output area is reflected in the sketch area, but this can be easily corrected if the scale or alignment can be adjusted.

서비스 제공 장치(200)는 사용자 장치(100)로부터 제공되는 스트로크 정보를 기준으로 후보 밑그림 영상을 추출하여 스케치 검색 정보로 제공하는데, 스케치 검색 정보에는 후보 밑그림 영상에 대응되는 원본영상과 이를 선택할 경우 제공되는 웹페이지에 대한 링크 정보를 포함할 수 있다.The service providing device 200 extracts a candidate sketch image based on the stroke information provided from the user device 100 and provides it as sketch search information.In the sketch search information, the original image corresponding to the candidate sketch image and provided when selecting it Link information for a web page to be used may be included.

다른 예로서, 서비스 제공 장치(200)가 일종의 웹프로그램을 구비하여 사용자 장치(100)에 제공되는 스케치 검색 인터페이스를 실질적으로 관리하는 경우 사용자가 스케치 영역 상에서 스케치 작업을 수행하는지 또는 검색결과 출력영역 상에서 스케치 작업을 수행하는지의 여부를 확인한 후 스케치 영역 상에서 스케치 작업을 수행하는 경우 스케치 작업에 따른 스트로크 인식 정보를 기준으로 후보 밑그림 영상을 추출하여 사용자 장치(100)에 제공하고, 검색결과 출력영역에서 스케치 작업이 이루어지는 경우 후보 밑그림 영상 상에서 생성된 스케치 라인을 스케치 영역 상의 스케치 라인에 적용시켜 검색 내용을 구성한 후 이를 기반으로 후보 밑그림 영상을 추출하여 사용자 장치(100)에 제공할 수 있다.As another example, when the service providing device 200 is provided with a kind of web program and substantially manages the sketch search interface provided to the user device 100, whether the user performs a sketch work on the sketch area or on the search result output area. When sketching is performed on the sketch area after checking whether sketching is performed, a candidate sketch image is extracted based on the stroke recognition information according to the sketching operation and provided to the user device 100, and sketched in the search result output area. When the work is performed, the search content is configured by applying the sketch line generated on the candidate sketch image to the sketch line on the sketch area, and then extracting the candidate sketch image based on this, and providing it to the user device 100.

사용자 장치(200)는 사용자가 복수의 후보 밑그림 영상들 중 하나를 드래그 앤 드롭 방식으로 선택한 후 스케치 영역 상의 밑그림 영상에 중첩시켜 가이드용 밑그림 영상으로 이용할 수 있도록 한다. 이 경우 선택된 후보 밑그림의 표현 가중치를 증가시켜 해당 후보 밑그림 영상이 좀 더 명확하게 파악될 수 있도록 할 수 있으며, 선택된 후보 밑그림 영상들만 스케치 영역의 밑그림으로 중첩시킬 수 있다.The user device 200 allows a user to select one of a plurality of candidate draft images in a drag-and-drop method and then overlap the draft image on the sketch area to be used as a guide draft image. In this case, it is possible to increase the expression weight of the selected candidate sketch so that the corresponding candidate sketch image can be more clearly identified, and only the selected candidate sketch images can be overlaid with the sketch area of the sketch area.

도 2는 본 발명의 스케치 검색 시스템의 사용자 장치의 구성을 나타낸 블록도이다. 2 is a block diagram showing the configuration of a user device of the sketch search system of the present invention.

도 2에 도시된 사용자 장치(100)는 스케치 검색 인터페이스부(110), 스트로크 인식부(120), 제어부(130)로 이루어진다.The user device 100 illustrated in FIG. 2 includes a sketch search interface unit 110, a stroke recognition unit 120, and a control unit 130.

도 2의 구성 요소 모두가 사용자 장치(100)의 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 스케치 검색 시스템을 구현할 수 있는 사용자 장치(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 사용자 장치(100)가 구현될 수도 있다.Not all of the components of FIG. 2 are essential components of the user device 100, and a user device 100 capable of implementing a sketch search system may be implemented by more components than those shown in FIG. 2 In addition, the user device 100 may be implemented by fewer components.

사용자 장치(100)는 사용자의 키 조작에 따라 통신망을 경유하여 각종 데이터를 송수신할 수 있는 단말기를 말하는 것이며, 태블릿 PC(Tablet PC), 랩톱(Laptop), 스마트폰(Smart Phone), 개인휴대용 정보단말기(PDA: Personal Digital Assistant) 및 이동통신 단말기(Mobile Communication Terminal) 등 중 어느 하나일 수 있다. The user device 100 refers to a terminal capable of transmitting and receiving various data via a communication network according to a user's key operation, and a tablet PC, a laptop, a smart phone, and personal portable information It may be any one of a terminal (PDA: Personal Digital Assistant) and a mobile communication terminal.

또한, 사용자 장치(100)는 통신망(300)을 경유하여 서비스 제공 장치(200)와 통신하기 위한 브라우저, 프로그램 및 프로토콜을 저장하는 메모리, 각종 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하고 있는 단말장치를 의미한다. 즉, 사용자 장치(100)는 서비스 제공 장치(200)와 서버-클라이언트 통신이 가능하고, 스케치 검색 서비스를 실행할 수 있다면 그 어떠한 단말기도 가능하며, 이동통신 단말기, PDA 등의 통신 컴퓨팅 장치를 모두 포함하는 넓은 개념이다. 한편, 사용자 장치(100)는 터치 스크린을 구비한 형태로 제작되는 것이 바람직하나 반드시 이에 한정되는 것은 아니다. In addition, the user device 100 includes a browser for communicating with the service providing device 200 via the communication network 300, a memory for storing programs and protocols, and a microprocessor for calculating and controlling by executing various programs. It refers to the terminal device being used. That is, the user device 100 can perform server-client communication with the service providing device 200, and any terminal can be used as long as it can execute the sketch search service, and includes all communication computing devices such as mobile communication terminals and PDAs. It is a broad concept. Meanwhile, the user device 100 is preferably manufactured in a form having a touch screen, but is not limited thereto.

특히, 본 발명의 실시예에 따른 사용자 장치(100)는 스케치 영역 및 검색결과 출력영역으로 이루어진 스케치 검색 인터페이스의 스케치 영역 상에서 임의의 형상이 이루어지도록 스케치 작업이 이루어지는 경우 스케치 작업에 따른 스트로크 인식 정보를 생성시켜 전송하고, 스트로크 인식 정보에 대응하여 수신된 후보 밑그림 영상을 검색결과 출력영역에 노출시키며, 스케치 영역 또는 검색결과 출력영역 상에서 스케치 작업이 이루어지도록 하고 검색결과 출력영역 상에서 생성된 스케치 라인을 스케치 영역 상의 스케치 라인에 반영한다.In particular, the user device 100 according to an exemplary embodiment of the present invention stores stroke recognition information according to the sketch operation when a sketch operation is performed so that an arbitrary shape is formed on the sketch area of the sketch search interface consisting of a sketch area and a search result output area. Generates and transmits, and exposes the received candidate sketch image in response to the stroke recognition information in the search result output area, allows sketching to be performed on the sketch area or the search result output area, and sketches the created sketch line on the search result output area It is reflected in the sketch line on the area.

스케치 검색 인터페이스부(110)는 스케치 입력에 대한 가이드를 제공할 중첩된 밑그림이 표시되는 스케치 영역과 스케치 검색결과가 나열되는 검색결과 출력영역을 구비한다.The sketch search interface unit 110 includes a sketch area in which an overlapped sketch to provide a guide for sketch input is displayed and a search result output area in which sketch search results are listed.

스트로크 인식부(120)는 스케치 검색 인터페이스부(110)의 스케치 영역을 통한 사용자 입력을 스트로크 정보로 검출하여 제어부(130)로 출력한다. 여기서 스트로크 인식부(120)가 스트로크 정보를 인식하여 제어부(130)로 출력하면, 제어부(130)는 스케치의 특징을 추출한 후 추출된 스케치의 특징정보만을 서비스 제공 장치(200)로 전송할 수 있다. 이로써 사용자 장치(100)와 서비스 제공 장치(200) 상호 간의 부하를 감소시켜 서비스 속도가 떨어지는 문제점을 미연에 방지할 수 있도록 한다. 그리고 스트로크 인식부(120)는 예를 들면, 소형 키보드, 펜마우스, 조이스틱, 터치 스크린, 터치 패드 등과 같은 일반적인 입력 장치를 포함할 수 있다.The stroke recognition unit 120 detects a user input through the sketch area of the sketch search interface unit 110 as stroke information and outputs it to the control unit 130. Here, when the stroke recognition unit 120 recognizes the stroke information and outputs it to the control unit 130, the control unit 130 may extract features of the sketch and then transmit only the feature information of the extracted sketch to the service providing apparatus 200. As a result, the load between the user device 100 and the service providing device 200 is reduced so that a problem of a decrease in service speed can be prevented in advance. In addition, the stroke recognition unit 120 may include a general input device such as, for example, a small keyboard, a pen mouse, a joystick, a touch screen, and a touch pad.

제어부(130)는 스트로크 인식부(120)의 스트로크 정보를 스트로크 인식정보로 서비스 제공 장치(200)에 전송하고, 스트로크 인식정보에 따른 유사성을 기준으로 하여 선별된 후보 밑그림과 그에 대응하는 원본 영상을 포함하는 스케치 검색정보를 서비스 제공 장치(200)로부터 수신하여 스케치 검색 인터페이스부(110)의 스케치 영역과 검색결과 출력영역에 표시한다.The control unit 130 transmits the stroke information of the stroke recognition unit 120 to the service providing device 200 as stroke recognition information, and generates a candidate sketch selected based on the similarity according to the stroke recognition information and an original image corresponding thereto. The included sketch search information is received from the service providing apparatus 200 and displayed in the sketch area and the search result output area of the sketch search interface unit 110.

제어부(130)는 검색결과 출력영역으로부터 스케치 작업이 이루어지는 경우 해당 후보 밑그림 영상 상에서 생성된 스케치 라인을 스케치 영역 상의 스케치 라인에 적용시켜 표시되도록 하는 한편, 사용자의 입력에 따른 스케치 검색 실행요청신호(검색 서비스를 실시하고자 하는 정보)를 서비스 제공 장치(200)로 전송하고, 서비스 제공 장치(200)에서 제공하는 스케치 검색 정보(중첩된 후보 밑그림 정보, 개별 후보 밑그림 정보나 그에 대응되는 영상)를 스케치 검색 인터페이스부(110)를 통해 출력하며, 스케치 검색 인터페이스를 통해 스케치를 통한 상품 검색이 이루어지도록 사용자 장치(100) 및 서비스 제공 장치(200) 상호 간에 통신 환경을 제공한다.When a sketch work is performed from the search result output area, the control unit 130 applies the sketch line generated on the corresponding candidate sketch image to the sketch line on the sketch area and displays it, while a sketch search execution request signal according to the user's input (search Sends information to be serviced) to the service providing device 200, and sketch search information (overlapping candidate sketch information, individual candidate sketch information or corresponding video) provided by the service providing device 200 It outputs through the interface unit 110, and provides a communication environment between the user device 100 and the service providing device 200 so that product search through sketch is performed through the sketch search interface.

제어부(130)는 검색결과 출력영역에 노출된 다수의 후보 밑그림 영상에 대해 원하는 후보 밑그림 영상을 선택하면, 선택된 후보 밑그림을 스케치 영역의 높은 가중치로 중첩시켜 제공하도록 한다.When a desired candidate draft image is selected for a plurality of candidate draft images exposed in the search result output area, the controller 130 superimposes the selected candidate draft image with a high weight of the sketch area and provides it.

스케치 검색 인터페이스부(110)는 서비스 제공 장치(200)로부터 제공되는 스케치 영역을 통한 스케치 작업에 의해 생성된 스트로크 정보에 대응되어 제공되는 밑그림 영상(혹은 그에 대응되는 원본영상)을 스케치 검색 인터페이스의 검색결과 출력영역 상에 노출시키고, 검색결과 출력영역 상에 노출된 영상들 중 임의의 영상 상에서 스케치 작업을 수행하면 그 스케치 라인이 스케치 영역 상의 스케치 라인으로 반영되도록 한다.The sketch search interface unit 110 searches for a sketch image (or an original image corresponding thereto) provided in response to the stroke information generated by sketching through the sketch area provided from the service providing device 200 in the sketch search interface. When a sketch is performed on any of the images exposed on the result output area and the search result output area is performed, the sketch line is reflected as a sketch line on the sketch area.

도 3은 본 발명의 스케치 검색 시스템의 서비스 제공 장치 구성을 나타낸 블록도이다.3 is a block diagram showing the configuration of a service providing apparatus of the sketch search system of the present invention.

도 3에 도시된 바와 같이 서비스 제공 장치(200)는 밑그림 영상 데이터베이스부(210), 밑그림 영상 제공부(220), 스케치 검색정보 제공부(230)로 이루어진다.As shown in FIG. 3, the service providing apparatus 200 includes a sketch image database unit 210, a sketch image providing unit 220, and a sketch search information providing unit 230.

서비스 제공 장치(200)는 사용자 장치(100)로부터 스트로크 인식정보를 수신받아 스트로크 인식정보를 검색 조건으로 하여 밑그림 영상들을 추출하며, 추출된 밑그림 영상들을 사용자 장치(100)로 제공하고, 스케치 영역 상에서 스케치 작업이 이루어지는 경우 스트로크 인식 정보를 이용하여 검색결과 출력영역으로부터 가이드용 밑그림 영상을 선택하여 스케치 영역에 중첩시켜 출력하고, 검색결과 출력영역으로부터 스케치 작업이 이루어지는 경우 해당 후보 밑그림 영상 상에서 생성된 스케치 라인을 스케치 영역 상의 스케치 라인에 적용시킨다.The service providing device 200 receives stroke recognition information from the user device 100, extracts the sketch images using the stroke recognition information as a search condition, provides the extracted sketch images to the user device 100, and provides the extracted sketch images to the user device 100. When a sketch work is performed, a sketch image for a guide is selected from the search result output area using stroke recognition information and is superimposed on the sketch area, and when sketch work is performed from the search result output area, a sketch line created on the candidate sketch image Is applied to the sketch line on the sketch area.

밑그림 영상 데이터베이스부(210)는 복수의 밑그림 영상들 및 그에 상응하는 원본영상, 원본영상에 링크되는 웹페이지 정보를 저장한다.The sketch image database unit 210 stores a plurality of sketch images, an original image corresponding thereto, and web page information linked to the original image.

밑그림 영상 제공부(220)는 사용자 장치(100)로부터 수신한 스트로크 인식정보를 기반으로 하는 유사도 범위에 따라 밑그림 데이터베이스부(210)로부터 후보 밑그림 영상을 선별한다.The draft image providing unit 220 selects a candidate draft image from the draft database unit 210 according to a similarity range based on the stroke recognition information received from the user device 100.

밑그림 영상 제공부(220)는 사용자가 검색결과 출력영역에서 선택한 후보 밑그림 영상을 스케치 영역 상의 가이드용 밑그림 영상에 중첩시켜 노출되도록 할 수 있다.The draft image providing unit 220 may overlap the candidate draft image selected by the user in the search result output area on the guide draft image on the sketch area to be exposed.

스케치 검색정보 제공부(230)는 사용자 장치(100)로부터 스케치 검색실행 요청신호가 수신되면 사용자 장치(100)의 스케치 검색 인터페이스부(110)에 대응되는 스케치 검색 정보(후보 밑그림 및 그에 대응되는 원본영상)를 사용자 장치(100)에 제공한다. 사용자 장치(100)로 제공되는 스케치 검색 정보는 스케치 영역 및 검색결과 출력영역에 표시될 후보 밑그림 영상, 후보 밑그림 영상에 대응되는 원본 영상, 해당 원본 영상과 연결되는 링크 정보 등을 포함할 수 있다. 이러한 스케치 검색 정보에 포함되는 후보 밑그림 영상이나 그에 대응되는 원본 영상은 검색 결과로서 사용자 장치(100)에 제공되며, 사용자 장치(100)는 스케치 검색 인터페이스부(110)의 검색 결과 출력영역에 검색 결과를 한 화면에 나열하거나 스크롤 방식으로 제공할 수 있다.When a sketch search execution request signal is received from the user device 100, the sketch search information providing unit 230 provides sketch search information corresponding to the sketch search interface unit 110 of the user device 100 (the candidate sketch and the corresponding original Image) is provided to the user device 100. The sketch search information provided to the user device 100 may include a sketch area and a candidate sketch image to be displayed in the search result output area, an original image corresponding to the candidate sketch image, and link information connected to the corresponding original image. The candidate sketch image included in the sketch search information or the original image corresponding thereto is provided to the user device 100 as a search result, and the user device 100 displays the search result in the search result output area of the sketch search interface unit 110. Can be listed on one screen or provided by scrolling.

스케치 검색정보 제공부(230)는 스케치 라인과 드래그 라인의 간격을 설정하기 위한 간격설정 메뉴항목을 사용자 장치(100)로 제공하고, 간격설정 메뉴항목에 따라 선택된 간격설정방식에 의해 사용자에 의해 그려지는 드래그 라인과 드래그 라인에 따라 밑그림에 그려지는 스케치 라인의 간격을 설정하고, 설정된 간격 내에서 스트로크 정보가 입력되면 드래그 라인을 따라 밑그림 상에 스케치 라인을 노출시킬 수 있다.The sketch search information providing unit 230 provides a spacing setting menu item for setting the spacing between the sketch line and the drag line to the user device 100, and is drawn by the user according to the spacing setting method selected according to the spacing setting menu item. Sets the distance between the drag line and the sketch line drawn on the sketch according to the drag line, and when stroke information is input within the set distance, the sketch line can be exposed on the sketch along the drag line.

즉, 사용자가 스케치 영역의 밑그림 영상을 따라서 스케치를 하게 되는 경우 스케치 되는 도구에 밑그림 영상의 에지 라인이 가려져서 스케치를 하는 불편함을 줄 수 있게 된다. 예를 들어 얇은 펜의 경우 이러한 현상이 적을 수 있으나 사용자의 손과 같이 스케치 도구가 두꺼운 경우 스케치 도구에 밑그림 영상이 가려지게 되어 밑그림 영상을 기반으로 스케치하기 어렵게 된다. 이에 밑그림 영상의 에지라인으로부터 일정간격 이격된 위치에서 밑그림 영상의 에지라인을 따라서 스케치하는 경우 스케치 라인에 맞추어서 밑그림 영상의 에지라인을 따라 드래그 라인이 표출되도록 구현할 수 있는데, 이러한 실시예를 구현하기 위해서 서비스 제공 장치(200)의 스케치 검색 정보 제공부(230)는 간격설정 메뉴항목을 제공하고, 스케치 작업 초기시 또는 원하는 시점에 간격설정 메뉴항목을 선택하여 드래그 라인과 스케치 라인의 관계를 세팅할 수 있다.That is, when the user sketches along the sketch image of the sketch area, the edge line of the sketch image is covered by the sketching tool, so that it is possible to inconvenient to sketch. For example, in the case of a thin pen, this phenomenon may be less, but if the sketch tool is thick, such as a user's hand, the sketch image is hidden by the sketch tool, making it difficult to sketch based on the sketch image. Accordingly, when sketching along the edge line of the sketch image at a location spaced apart from the edge line of the sketch image, it can be implemented so that the drag line is expressed along the edge line of the sketch image according to the sketch line. The sketch search information providing unit 230 of the service providing device 200 provides a spacing setting menu item, and may set the relationship between the drag line and the sketch line by selecting the spacing setting menu item at the beginning of the sketch work or at a desired time point. have.

간격설정 메뉴항목은 더블 터치로 드래그 영역과 드로우 영역을 동시에 클릭하여 스케치 라인과 드래그 라인의 간격을 설정하는 제 1 간격설정 메뉴항목과, 드래그 영역과 드로우 영역을 순차적으로 클릭하여 스케치 라인과 드래그 라인의 간격을 설정하는 제 2 간격설정 메뉴항목과, 드래그 영역과 드로우 영역이 만나는 양 끝점을 선택하여 에지 길이를 설정하여 스케치 라인과 드래그 라인의 간격을 설정하고, 설정된 간격 사이에 에지를 노출시키는 제 3 간격설정 메뉴항목과, 에지 설정에 따라 드래그 영역과 드로우 영역을 설정하여 스케치 라인과 드래그 라인의 간격을 설정하는 제 4 간격설정 메뉴항목 등으로 이루어진다. The spacing setting menu item is the first spacing setting menu item that sets the spacing between the sketch line and the drag line by double-touching the drag area and the draw area simultaneously, and the sketch line and the drag line by sequentially clicking the drag area and the draw area. Select the second spacing setting menu item to set the spacing of, and the edge length by selecting both end points where the drag area and the draw area meet to set the spacing between the sketch line and the drag line, and to expose the edge between the set spacing. 3 It consists of a spacing setting menu item, and a fourth spacing setting menu item for setting the spacing between the sketch line and the drag line by setting the drag area and the draw area according to the edge setting.

스케치 검색 정보 제공부(230)는 제 3 간격설정 메뉴항목 또는 제 4 간격설정 메뉴항목이 선택된 경우 에지를 선택하여 드래그 영역과 드로우 영역의 위치를 변경시킬 수 있도록 한다.When the third spacing setting menu item or the fourth spacing setting menu item is selected, the sketch search information providing unit 230 selects an edge to change the positions of the drag area and the draw area.

앞서 실시예에서는 서비스 제공 장치(200)의 스케치 검색정보 제공부(230)가 스케치 인터페이스를 통해 사용자가 스트로크를 입력할 경우 밑그림을 확인하면서 스케치를 실시하기 어려운 상황을 해소하기 위한 추가적인 사용자 인터페이스 지원 기능을 제공할 수 있음을 보였으나 이러한 기능은 사용자 장치(100)의 스케치 검색 인터페이스부(110)에서 서비스 제공 장치(200)와 독립적으로 수행되거나 연동하면서 수행될 수도 있다. 이는 앞서 설명한 내용을 통해 당해 기술분야에서 통상의 지식을 가진자에게 명백하므로 별도의 설명은 생략한다.In the previous embodiment, when the sketch search information providing unit 230 of the service providing device 200 checks the sketch when the user inputs a stroke through the sketch interface, an additional user interface support function to solve a situation where it is difficult to perform a sketch. Although it has been shown that this function can be provided, such a function may be performed independently of or interlocked with the service providing device 200 in the sketch search interface unit 110 of the user device 100. This is apparent to those of ordinary skill in the art through the above description, so a separate description will be omitted.

그러면, 상술한 구성을 바탕으로 하는 스케치 검색 서비스 방법에 대해 첨부된 도면들을 참조하여 구체적으로 설명하기로 한다.Then, a sketch search service method based on the above-described configuration will be described in detail with reference to the accompanying drawings.

도 4는 본 발명의 실시예에 따른 스케치 검색 서비스 방법을 보인 흐름도이다. 4 is a flowchart showing a sketch search service method according to an embodiment of the present invention.

도 4에 도시된 바와 같이 서비스 제공 장치(200)가 사용자 장치(100)로부터 스케치 검색 실행 요청신호가 수신되는지의 여부를 판단한다(S110). 판단 결과 스케치 검색 실행 요청신호가 수신되는 경우 사용자 장치(100)는 스케치 검색 인터페이스부(110)를 통해 스케치 영역 및 검색결과 출력영역으로 이루어진 스케치 검색 인터페이스를 사용자에게 제공하며, 스케치 영역을 통해 얻어진 사용자의 스트로크에 따른 스트로크 인식정보와 스케치 영역의 밑그림으로 설정한 영상에 대응되는 태그 정보를 필터링 조건으로 서비스 제공 장치(200)에 전달한다(S120).As shown in FIG. 4, the service providing device 200 determines whether a sketch search execution request signal is received from the user device 100 (S110). When a sketch search execution request signal is received as a result of determination, the user device 100 provides a sketch search interface consisting of a sketch area and a search result output area to the user through the sketch search interface unit 110, and the user obtained through the sketch area Stroke recognition information according to the stroke of and tag information corresponding to the image set as the sketch of the sketch area are transmitted to the service providing device 200 as a filtering condition (S120).

서비스 제공 장치(200)는 사용자 장치(100)로부터 스트로크 인식 정보가 수신되는지의 여부를 판단하고(S130), 판단 결과 스트로크 인식 정보가 수신된 경우 서비스 제공 장치(200)는 스트로크 인식 정보를 필터링 조건으로 하여 밑그림 영상들을 추출(S140)한 후 사용자 장치(100)로 전송하여, 검색결과 출력영역을 통해 노출시킨다(S150).The service providing device 200 determines whether stroke recognition information is received from the user device 100 (S130), and when the stroke recognition information is received as a result of the determination, the service providing device 200 filters the stroke recognition information As a result, the sketch images are extracted (S140) and then transmitted to the user device 100 to be exposed through the search result output area (S150).

이때, 도 6에 도시된 바와 같이 후보 밑그림 노출 방식은 복수개의 영역으로 분할된 검색결과 출력영역을 이루는 각 분할된 공간에 하나씩 후보 밑그림 영상이 노출되고, 사용자는 한꺼번에 노출된 후보 밑그림 영상을 일괄적으로 확인한 후 원하는 밑그림 영상을 직접 선택할 수 있다. 또한 사용자는 밑그림 영상을 선택하지 않더라도 자신의 스케치 라인에 따라 어떠한 밑그림 영상이 선택되어 또 다른 밑그림으로 적용되는지의 여부를 확인할 수 있다.At this time, as shown in FIG. 6, in the candidate sketch exposure method, one candidate sketch image is exposed in each divided space constituting the search result output area divided into a plurality of areas, and the user collectively displays the candidate sketch images at once. After checking with, you can directly select the sketch video you want. In addition, even if the user does not select the sketch image, the user can check whether a sketch image is selected and applied as another sketch according to his or her sketch line.

한편, 후보 밑그림 영상을 노출시키는 또 다른 방식으로는 스크롤 방식이며, 스크롤 방식은 스케치 영역 하부에 후보 밑그림 영역을 최소로 노출시킨 후 좌우 스크롤 화살표버튼을 구비시켜 사용자가 스크롤 화살표버튼을 클릭하거나 표시 내용을 드래그하는 것으로 이전에 제공되었던 후보 밑그림 영상을 다시 보거나, 제공되는 후보 밑그림 영상을 확인할 수 있도록 한다.On the other hand, another method of exposing the candidate sketch image is a scroll method, and in the scroll method, the candidate sketch area is exposed to the minimum under the sketch area, and then left and right scroll arrow buttons are provided so that the user clicks the scroll arrow button or displays the content. By dragging the button, you can view the previously provided candidate draft image again or check the provided candidate draft image.

도 5는 상술한 구성을 바탕으로 하는 본 발명의 실시예에 따른 스케치 검색 서비스 방법 중 후보 밑그림 출력영역에서의 스케치 과정을 설명하기 위한 흐름도이다. 5 is a flowchart illustrating a sketching process in a candidate sketch output area among a sketch search service method according to an embodiment of the present invention based on the above-described configuration.

도 5에 도시된 바와 같이 서비스 제공 장치(200)는 스케치 검색 인터페이스에서 검색결과 출력영역을 터치한 신호가 수신되는지의 여부를 판단하고(S210), 판단 결과 검색결과 출력영역을 터치한 신호가 수신되는 경우 서비스 제공 장치(200)는 검색결과 출력영역의 후보 밑그림 영상 상에서 스케치 작업이 이루어지는지의 여부를 확인하여(S220), 스케치 작업이 이루어지고 있는 상태인지의 여부를 판단한다(S230).As shown in FIG. 5, the service providing device 200 determines whether a signal that touches the search result output area is received in the sketch search interface (S210), and receives a signal that touches the search result output area as a result of the determination. If so, the service providing apparatus 200 checks whether a sketch operation is performed on the candidate sketch image of the search result output area (S220), and determines whether the sketch operation is in a state (S230).

스케치 작업 상태에 대한 판단 결과 스케치 작업이 이루어지고 있는 경우 서비스 제공 장치(200)는 도 7에 도시된 바와 같이 후보 밑그림 영상 상에서 이루어진 스케치 라인을 인식하고(S240), 인식된 스케치 라인을 스케치 영역 상의 스케치 라인에 적용시켜 스케치 작업이 진행되도록 한다(S250).As a result of determining the sketch work state, when a sketch work is being performed, the service providing device 200 recognizes a sketch line made on the candidate sketch image as shown in FIG. 7 (S240), and places the recognized sketch line on the sketch area. The sketch is applied to the sketch line to proceed (S250).

이때, 스케치 영역 상의 스케치 라인에 후보 밑그림 영상 상에서 이루어진 스케치 라인을 반영시키기 위해서는 먼저 후보 밑그림 영상을 스케치 영역 상의 중첩 밑그림 영상과 맞추어 스케일링 및 얼라인먼트가 이루어지도록 하며 대응 이미지에 적용되었던 추가 스트로크 부분에 대해 스케일링 및 얼라인먼트가 적용되어 현재 작업중인 스케치 라인에 추가되도록 한다. 이러한 스케일링 및 얼라인먼트는 자동으로 실시되는 것이 바람직하지만 수동으로도 실시할 수 있다.At this time, in order to reflect the sketch line made on the candidate sketch image on the sketch line on the sketch area, first, scale and align the candidate sketch image with the superimposed sketch image on the sketch area, and then scale the additional stroke part applied to the corresponding image. And the alignment is applied to be added to the sketch line currently being worked on. This scaling and alignment is preferably done automatically, but can also be done manually.

마지막으로 서비스 제공 장치(200)는 사용자가 검색결과 출력영역의 복수의 후보 밑그림 영상들 중 하나를 선택하여 스케치 영역 상의 가이드용 밑그림 영상에 중첩시킬 수 있도록 하며, 이때 가중치가 적용되어 다른 후보 밑그림 영상들의 노출과는 다른 노출 방식으로 노출되도록 구현할 수 있다. 예를 들면 굵은 에지 라인으로 이루어지도록 하거나, 노출색상을 다르게 하여 중첩된 다른 밑그림 영상들과 차별화를 이루도록 구현할 수 있다.Finally, the service providing device 200 allows the user to select one of a plurality of candidate sketch images in the search result output area and superimpose them on the guide sketch image on the sketch area, and at this time, weights are applied to the other candidate sketch images. It can be implemented so that it is exposed in an exposure method different from that of those. For example, it can be implemented to be made of a thick edge line or to differentiate from other superimposed sketch images by different exposure colors.

도 6은 본 발명의 실시예에 따른 사용자 장치의 스케치 검색 화면을 설명하기 위한 예시도이다. 도시된 화면은 사용자 장치를 통해 제공되는 스케치 검색 인터페이스의 예를 보인 것으로, 도 6a는 비교적 화면이 큰 단말기를 이용할 경우로, 사용자가 터치 스크린에 구성된 스케치 영역에 직접 그림을 그리면서 화면 내의 중첩 밑그림을 참조하여 스케치를 완성해나가면 사용자의 스트로크에 따라 유사성이 높은 후보 밑그림 영상 추출되어 스케치 영역 내 중첩 밑그림을 갱신하며, 추출된 후보 밑그림 영상이나 그에 연동되는 원본영상이 우측의 검색결과 출력영역에 리스트 형태로 제공된다. 참고로, 해당 검색결과 출력영역의 영상을 검색결과 확인을 위해서 선택할 경우 제품 판매 페이지, 광고 페이지, 관련사 홈페이지 등의 다양한 부가 정보를 제공하는 웹페이지가 제공될 수 있다.6 is an exemplary diagram illustrating a sketch search screen of a user device according to an embodiment of the present invention. The illustrated screen shows an example of a sketch search interface provided through a user device.FIG. 6A is a case of using a terminal with a relatively large screen. While the user draws a picture directly on the sketch area configured on the touch screen, an overlapping sketch in the screen When the sketch is completed with reference to, the candidate sketch image with high similarity is extracted according to the user's stroke and the overlapping sketch image in the sketch area is updated, and the extracted candidate sketch image or the original image linked thereto are listed in the search result output area on the right. It is provided in the form. For reference, when an image of a corresponding search result output area is selected to check a search result, a web page providing various additional information such as a product sales page, an advertisement page, and a related company homepage may be provided.

도 6b는 비교적 화면의 작은 단말기를 이용하는 경우의 스케치 검색 인터페이스의 예로서, 도시된 바와 같이 가급적 스케치 영역의 비중을 높이기 위해 검색결과 출력영역의 크기가 줄어들게 된다. 이 경우 검색결과 출력영역은 좌우 화살표를 이용하여 스크롤 될 수 있으며 사용자의 제스처에 의해 스크롤 될 수도 있다.6B is an example of a sketch search interface when a terminal with a relatively small screen is used. As shown, the size of the search result output area is reduced to increase the proportion of the sketch area as much as possible. In this case, the search result output area may be scrolled using the left and right arrows, or may be scrolled by a user's gesture.

한편, 스케치 검색에 있어 사용자의 손가락이나 펜 등의 스케치 도구에 의해 밑그림이 가려지는 상황이 발생할 수 있는데, 이러한 문제는 실제 스트로크가 표현되는 영역과 실제 사용자가 터치하는 영역을 이격시키는 다양한 방식을 통해 일부 해소할 수 있다. 예를 들어 실제 스트로크를 제공할 위치를 선택한 후 그와 이격된 영역을 터치하여 선을 그리면 먼저 선택한 위치에서 선이 그려지는 방식을 취할 수 있다. 물론 그 이격 거리나 스트로크 제공 위치 선택 방식 등은 다양한 방식에 따라 가변될 수도 있다.On the other hand, in sketch search, there may be a situation in which the sketch is covered by a sketch tool such as a user's finger or a pen. This problem can be solved through various methods of separating the area where the actual stroke is expressed and the area that the user touches. Some can be solved. For example, if you select a location to provide the actual stroke and then draw a line by touching an area spaced from it, you can take a method of drawing a line at the first selected location. Of course, the separation distance or the stroke provision location selection method may vary according to various methods.

도 7은 본 발명의 실시예에 따른 사용자 장치에 출력된 후보 밑그림 영상에서 이루어지는 스케치 라인이 스케치 영역 상의 스케치 라인에 반영되는 것을 설명하기 위한 예시도이다. 도시된 예시와 같이 사용자가 스케치 영역에서 스케치를 하는 도중 검색결과 출력영역의 후보 밑그림 영상 중 하나를 선택하고 해당 영상에 직접 스케치를 하면 후보 밑그림 영상에 직접 그린 스케치 라인이 스케치 영역에 반영된다. 도 7a는 비교적 화면이 큰 단말기에 적용될 경우의 예시이며, 도 7b는 비교적 화면이 작은 단말기를 이용하는 경우로서 사용자가 스크롤 방식으로 제공되는 후보 밑그림 영상을 선택하면 화면상에 해당 영상이 팝업되어 큰 영상으로 제공되며, 팝업된 후보 밑그림 영상에 직접 스케치한 스케치 라인은 스케치 영역에 바로 반영된다.7 is an exemplary view for explaining that a sketch line formed from a candidate sketch image output to a user device according to an embodiment of the present invention is reflected on a sketch line on a sketch area. As shown in the illustrated example, when a user selects one of the candidate sketch images in the search result output area while sketching in the sketch area and sketches directly on the corresponding image, the sketch line drawn directly on the candidate sketch image is reflected in the sketch area. 7A is an example of a case applied to a terminal with a relatively large screen, and FIG. 7B is a case of using a terminal with a relatively small screen. When a user selects a candidate sketch image provided by a scrolling method, the corresponding image is popped up on the screen The sketch line directly sketched on the pop-up candidate sketch image is immediately reflected in the sketch area.

본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 스케치 검색 서비스 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.A computer program for performing the sketch search service method according to the above-described embodiment may be stored in the recording medium on which the computer program according to the embodiment of the present invention is recorded.

본 발명의 실시예에 따른 스케치 검색 서비스 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 스케치 검색 서비스 방법을 구현할 수 있다. The sketch search service method according to an embodiment of the present invention can be written in a computer program, and codes and code segments constituting the computer program can be easily inferred by a computer programmer in the art. In addition, the corresponding computer program is stored in a computer readable media, and is read and executed by a computer or a service providing device according to an embodiment of the present invention, thereby implementing a sketch search service method.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 스케치 검색 서비스 방법을 구현하는 컴퓨터 프로그램은 사용자 장치, 서비스 제공 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 스케치 검색 서비스 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 장치, 서비스 제공 장치 등에 장착될 수도 있다.Information storage media include magnetic recording media, optical recording media, and carrier wave media. A computer program implementing the sketch search service method according to an embodiment of the present invention may be stored and installed in an internal memory such as a user device or a service providing device. Alternatively, an external memory such as a smart card storing and installing a computer program implementing the sketch search service method according to an embodiment of the present invention may be mounted on a user device or a service providing device through an interface.

전술한 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above contents may be modified and modified without departing from the essential characteristics of the present invention by those of ordinary skill in the technical field to which the present invention pertains. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

본 발명은 사용자에 의해 스케치 작업이 이루어지면서 생성된 스트로크 인식 정보를 기반으로 제공되어 검색결과 출력영역에 노출된 후보 밑그림 영상들 중 원하는 후보 밑그림 영상에서 직접적으로 스케치를 수행하면 스케치 영역상의 스케치 라인에 반영시켜 스케치 작업이 이루어지도록 함으로써, 사용자가 검색하고자 하는 상품을 정확하게 스케치할 수 있고, 이로 인해 원하는 상품을 검색결과로 제공받을 수 있도록 할 뿐만 아니라 이를 활용하여 사용자에게 상품을 많이 노출시켜 광고를 해야하는 서비스 분야에서 광범위하게 이용될 수 있다.The present invention is provided based on the stroke recognition information generated while the sketching work is performed by the user, and if a sketch is performed directly on the desired candidate sketch image among candidate sketch images exposed in the search result output area, the sketch line on the sketch area is displayed. By reflecting and making the sketch work done, users can accurately sketch the product they want to search for, and this allows not only to receive the desired product as a search result, but also to use it to expose a lot of products to the user to advertise. It can be widely used in the service field.

100: 사용자 장치 110: 스케치 검색 인터페이스부
120: 스트로크 인식부 130: 제어부
200: 서비스 제공 장치 210: 밑그림 영상 데이터베이스부
220: 밑그림 영상 제공부 230: 스케치 검색 정보 제공부
300: 통신망100: user device 110: sketch search interface unit
120: stroke recognition unit 130: control unit
200: service providing device 210: sketch image database unit
220: sketch image providing unit 230: sketch search information providing unit
300: network

Claims (12)

스케치 입력에 대한 가이드를 제공할 중첩된 밑그림이 표시되는 스케치 영역과 스케치 검색결과가 나열되는 검색결과 출력영역을 구비하는 스케치 검색 인터페이스부;
상기 스케치 검색 인터페이스부의 스케치 영역 및 검색결과 출력영역을 통한 사용자 입력을 스트로크 정보로 검출하여 출력하는 스트로크 인식부; 및
상기 스트로크 인식부의 스트로크 정보를 스트로크 인식정보로 서비스 제공 장치에 전송하고, 상기 스트로크 인식정보에 따른 유사성을 기준으로 하여 선별된 후보 밑그림과 그에 대응하는 원본 영상을 포함하는 스케치 검색정보를 상기 서비스 제공 장치로부터 수신하여 상기 스케치 검색 인터페이스부의 스케치 영역과 검색결과 출력영역에 표시하는 제어부
를 포함하며,
상기 제어부는 상기 검색결과 출력영역으로부터 스케치 작업이 이루어지는 경우 상기 검색결과 출력 영역에 제공되는 후보 밑그림 영상 상에서 생성된 스케치 라인을 상기 스케치 영역 상의 스케치 라인에 적용시키며,
상기 스케치 검색 인터페이스부는 스케치 라인과 드래그 라인의 간격을 설정하기 위한 간격설정 메뉴항목을 제공하여, 상기 간격설정 메뉴항목에 따라 선택된 간격설정방식에 의해 사용자에 의해 그려지는 드래그 라인과 상기 드래그 라인에 따라 상기 밑그림에 그려지는 스케치 라인의 간격을 설정하고, 설정된 간격 내에서 상기 스트로크 정보가 입력되면 상기 드래그 라인을 따라 상기 스케치 영역의 상기 밑그림 상에 상기 스케치 라인을 노출시키는 것을 특징으로 하는 스케치 검색 사용자 장치.A sketch search interface unit having a sketch area displaying an overlapped sketch to provide a guide for sketch input and a search result output area displaying sketch search results;
A stroke recognition unit configured to detect and output a user input through the sketch area and the search result output area of the sketch search interface unit as stroke information; And
The service providing device transmits stroke information of the stroke recognition unit as stroke recognition information to a service providing device, and provides sketch search information including a candidate sketch selected based on the similarity according to the stroke recognition information and an original image corresponding thereto A control unit that receives from and displays in the sketch area and the search result output area of the sketch search interface unit
Including,
When a sketch operation is performed from the search result output area, the control unit applies a sketch line generated on the candidate sketch image provided in the search result output area to the sketch line on the sketch area,
The sketch search interface unit provides a spacing setting menu item for setting the spacing between the sketch line and the drag line, and according to the drag line drawn by the user and the drag line according to the spacing setting method selected according to the spacing setting menu item. A sketch search user device, comprising: setting an interval of the sketch line drawn on the sketch, and exposing the sketch line on the sketch of the sketch area along the drag line when the stroke information is input within the set interval . 삭제delete 삭제delete 밑그림 영상과 그에 대응되는 원본 영상이 저장된 밑그림 영상 데이터베이스부;
밑그림을 따라 그릴 수 있도록 구성된 스케치 영역과 스케치한 내용에 따른 검색결과를 제공하는 검색결과 출력영역을 구비한 사용자 장치로부터 스케치 영역 및 검색결과 출력영역을 통해 입력된 스트로크에 대한 스트로크 인식정보를 수신하고, 수신된 스트로크 인식정보를 기준으로 유사도에 따라 상기 밑그림 영상 데이터베이스부로부터 후보 밑그림 영상을 선별하는 밑그림 영상 제공부; 및
상기 밑그림 영상 제공부에서 선별된 후보 밑그림과 그에 대응되는 원본 영상을 각각 사용자 장치의 스케치 영역과 검색결과 출력영역에 표시할 수 있도록 사용자 장치에 제공하는 스케치 검색정보 제공부
를 포함하되,
상기 스케치 검색정보 제공부는 스케치 라인과 드래그 라인의 간격을 설정하기 위한 간격설정 메뉴항목을 사용자 장치로 제공하여, 상기 간격설정 메뉴항목에 따라 선택된 간격설정방식에 의해 사용자에 의해 그려지는 드래그 라인과 상기 드래그 라인에 따라 밑그림에 그려지는 스케치 라인의 간격이 설정되도록 하고, 설정된 간격 내에서 상기 스트로크 인식 정보에 대응되는 스트로크 정보가 상기 사용자 장치에 입력되면 상기 사용자 장치에서 상기 드래그 라인을 따라 상기 스케치 영역의 상기 밑그림 상에 상기 스케치 라인이 노출되도록 하는 것을 특징으로 하며,
상기 사용자 장치로부터 스케치 검색 실행 요청신호를 수신시, 상기 스케치 검색 실행 요청신호에 응하여 상기 스케치 영역 및 검색결과 출력영역으로 이루어진 스케치 검색 인터페이스를 상기 사용자 장치로 제공하고, 상기 스케치 검색 인터페이스 중 상기 검색결과 출력영역을 터치한 신호가 수신되는 경우 상기 검색결과 출력 영역에 제공되는 후보 밑그림 영상 상에서 이루어진 스케치 라인을 인식하고, 상기 인식된 스케치 라인을 상기 스케치 영역 상의 스케치 라인에 적용시켜 스케치 작업이 진행되도록 하는 것을 특징으로 하는 스케치 검색 서비스 제공 장치.A sketch image database unit in which the sketch image and the original image corresponding thereto are stored;
Receives stroke recognition information for the stroke input through the sketch area and the search result output area from a user device having a sketch area configured to draw along the sketch and a search result output area that provides search results according to the sketched contents. , A sketch image providing unit for selecting a candidate sketch image from the sketch image database unit according to a similarity based on the received stroke recognition information; And
A sketch search information providing unit that provides the candidate sketch selected by the sketch image providing unit and the corresponding original image to the user device so that they can be displayed in the sketch area and the search result output area of the user device, respectively.
Including,
The sketch search information providing unit provides an interval setting menu item for setting the interval between the sketch line and the drag line to the user device, and the drag line and the drag line drawn by the user according to the interval setting method selected according to the interval setting menu item. The spacing of the sketch lines drawn on the draft is set according to the drag line, and when stroke information corresponding to the stroke recognition information is input to the user device within the set spacing, the user device may determine the sketch area along the drag line. Characterized in that the sketch line is exposed on the sketch,
When receiving a sketch search execution request signal from the user device, in response to the sketch search execution request signal, a sketch search interface consisting of the sketch area and the search result output area is provided to the user device, and the search result of the sketch search interface When a signal touching the output area is received, a sketch line made on the candidate sketch image provided in the search result output area is recognized, and the recognized sketch line is applied to the sketch line on the sketch area to proceed with the sketching process. Sketch search service providing device, characterized in that. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 스케치 검색 인터페이스를 제공하고, 상기 스케치 검색 인터페이스를 통해 입력되는 사용자의 스트로크 정보를 송출하고, 송출된 스트로크 정보에 대응되는 밑그림 영상들을 수신받아 스케치 검색 인터페이스의 밑그림으로 중첩시켜 제공하고, 사용자에 의해 선택된 검색결과 출력영역의 후보 밑그림 영상을 스케치 영역에 중첩시켜 제공하며, 검색결과 출력영역으로부터 스케치 작업이 이루어지는 경우 해당 후보 밑그림 영상 상에서 생성된 스케치 라인을 스케치 영역 상에 반영시키는 사용자 장치; 및
상기 사용자 장치로부터 스트로크 인식정보가 수신되면 스트로크 인식정보의 유사도를 기준으로 후보 밑그림 영상을 선별하여 사용자 장치로 제공하는 서비스 제공 장치를 포함하며,
상기 사용자 장치는 스케치 라인과 드래그 라인의 간격을 설정하기 위한 간격설정 메뉴항목을 제공하여, 상기 간격설정 메뉴항목에 따라 선택된 간격설정방식에 의해 사용자에 의해 그려지는 드래그 라인과 상기 드래그 라인에 따라 상기 밑그림에 그려지는 스케치 라인의 간격을 설정하고, 설정된 간격 내에서 상기 스트로크 정보가 입력되면 상기 드래그 라인을 따라 상기 스케치 검색 인터페이스의 상기 밑그림 상에 상기 스케치 라인을 노출시키는 것을 특징으로 하는 태그 정보를 이용한 스케치 검색 시스템.Provides a sketch search interface, transmits user's stroke information input through the sketch search interface, receives sketch images corresponding to the transmitted stroke information, and provides them by overlapping with the sketch of the sketch search interface, selected by the user. A user device that superimposes the candidate sketch image of the search result output area on the sketch area and reflects the sketch line generated on the candidate sketch image on the sketch area when a sketch is performed from the search result output area; And
When the stroke recognition information is received from the user device, it includes a service providing device that selects a candidate sketch image based on the similarity of the stroke recognition information and provides it to the user device,
The user device provides a spacing setting menu item for setting the spacing between the sketch line and the drag line, and according to the drag line drawn by the user and the drag line according to the spacing setting method selected according to the spacing setting menu item. Using tag information, characterized in that an interval of a sketch line drawn on a sketch is set, and when the stroke information is input within a set interval, the sketch line is exposed on the sketch of the sketch search interface along the drag line. Sketch search system.
KR1020140022019A 2014-02-25 2014-02-25 Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor KR102213861B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140022019A KR102213861B1 (en) 2014-02-25 2014-02-25 Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140022019A KR102213861B1 (en) 2014-02-25 2014-02-25 Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor

Publications (2)

Publication Number Publication Date
KR20150100332A KR20150100332A (en) 2015-09-02
KR102213861B1 true KR102213861B1 (en) 2021-02-08

Family

ID=54242066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140022019A KR102213861B1 (en) 2014-02-25 2014-02-25 Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor

Country Status (1)

Country Link
KR (1) KR102213861B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190053004A (en) * 2017-11-09 2019-05-17 엘지전자 주식회사 Projecting device
CN113157954B (en) * 2021-04-20 2022-04-26 江西师范大学 Sketch interactive clothing image retrieval method based on cross-domain conversion

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148795A (en) * 1998-08-31 2000-05-30 Canon Inc Device and method for image retrieval and computer- readable memory
JP2002215627A (en) 2001-01-22 2002-08-02 Hitachi Ltd Image retrieving technique and device, and image database creating method and device
KR100451649B1 (en) * 2001-03-26 2004-10-08 엘지전자 주식회사 Image search system and method
KR100540748B1 (en) 2003-09-08 2006-01-10 학교법인 한양학원 Improved query method for content-based image retrieval and storage medium storing program for realizing the method
JP4449183B2 (en) 2000-07-11 2010-04-14 ソニー株式会社 Image editing system, image editing method, and storage medium
US20100135597A1 (en) * 2005-05-09 2010-06-03 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
KR101326083B1 (en) * 2011-11-28 2013-11-07 건국대학교 산학협력단 Preprocessing apparatus for query image and searching image in content based image retrieval using sketch query and methof therefor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010092891A (en) * 2000-03-27 2001-10-27 이성환 Content-based image retrieval method based on sketch features
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
KR101698096B1 (en) * 2010-10-08 2017-01-19 엘지전자 주식회사 Method for searching information by using drawing and terminal thereof
KR20130059033A (en) * 2011-11-28 2013-06-05 연세대학교 산학협력단 Multimedia retrieval system and method using sketch

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148795A (en) * 1998-08-31 2000-05-30 Canon Inc Device and method for image retrieval and computer- readable memory
JP4449183B2 (en) 2000-07-11 2010-04-14 ソニー株式会社 Image editing system, image editing method, and storage medium
JP2002215627A (en) 2001-01-22 2002-08-02 Hitachi Ltd Image retrieving technique and device, and image database creating method and device
KR100451649B1 (en) * 2001-03-26 2004-10-08 엘지전자 주식회사 Image search system and method
KR100540748B1 (en) 2003-09-08 2006-01-10 학교법인 한양학원 Improved query method for content-based image retrieval and storage medium storing program for realizing the method
US20100135597A1 (en) * 2005-05-09 2010-06-03 Salih Burak Gokturk System and method for enabling image searching using manual enrichment, classification, and/or segmentation
KR101326083B1 (en) * 2011-11-28 2013-11-07 건국대학교 산학협력단 Preprocessing apparatus for query image and searching image in content based image retrieval using sketch query and methof therefor

Also Published As

Publication number Publication date
KR20150100332A (en) 2015-09-02

Similar Documents

Publication Publication Date Title
US11080350B2 (en) Method for searching and device thereof
US11592980B2 (en) Techniques for image-based search using touch controls
US10191650B2 (en) Actionable content displayed on a touch screen
KR102314274B1 (en) Method for processing contents and electronics device thereof
EP2954692B1 (en) Telestration system for command processing
US20150339348A1 (en) Search method and device
CN106484266A (en) A kind of text handling method and device
US9134833B2 (en) Electronic apparatus, method, and non-transitory computer-readable storage medium
US20130300675A1 (en) Electronic device and handwritten document processing method
CN103218160A (en) Man-machine interaction method and terminal
US11734370B2 (en) Method for searching and device thereof
CN103258534A (en) Voice command recognition method and electronic device
US9588678B2 (en) Method of operating electronic handwriting and electronic device for supporting the same
US20150134641A1 (en) Electronic device and method for processing clip of electronic document
EP2947584A1 (en) Multimodal search method and device
US20240143163A1 (en) Digital ink processing system, method, and program
KR102213861B1 (en) Sketch retrieval system, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor
KR20150097250A (en) Sketch retrieval system using tag information, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor
KR102159331B1 (en) Sketch Retrieval system, user equipment, service equipment and service method based on meteorological phenomena information and computer readable medium having computer program recorded therefor
KR102207514B1 (en) Sketch retrieval system with filtering function, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor
CN112287131A (en) Information interaction method and information interaction device
KR102213856B1 (en) Product search system with a sketch, user equipment, service equipment, service method and computer readable medium having computer program recorded therefor
US9411885B2 (en) Electronic apparatus and method for processing documents
US20240118803A1 (en) System and method of generating digital ink notes
JP5660966B2 (en) Bookmark output device, bookmark output program, bookmark output method, and electronic book browsing device

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant