KR20180079030A

KR20180079030A - 인터랙션을 이용한 메신저 검색 방법, 그리고 이를 구현한 서버 및 어플리케이션

Info

Publication number: KR20180079030A
Application number: KR1020160184388A
Authority: KR
Inventors: 김유미; 장성용; 박일남; 신명철; 최동진; 장준혁; 변민우; 양정석; 이주영; 이근섭; 김일태; 이혜미; 김종민; 윤유경; 이성목
Original assignee: 주식회사 카카오
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2018-07-10
Also published as: JP2018109991A; KR102079221B1; JP6674942B2

Abstract

적어도 하나의 프로세서에 의해 동작하는 사용자 단말의 메신저 검색 방법으로서, 메신저 어플리케이션의 채팅방 화면을 표시하는 단계, 대화자들이 주고받은 대화 내용이 구분되어 표시되는 상기 채팅방 화면에서 특정 영역이 선택된 신호를 입력받는 단계, 상기 특정 영역이, 텍스트가 표시된 말풍선 영역인지 이미지가 표시된 이미지 영역인지 판단하는 단계, 상기 특정 영역이 상기 말풍선 영역인 경우, 상기 말풍선 영역에 포함된 적어도 일부의 텍스트를 서버로 전송하여 전송 텍스트에 대해 검색 질의하고, 상기 특정 영역이 상기 이미지 영역인 경우, 상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송하여 상기 이미지에 대해 검색 질의하는 단계, 그리고 상기 검색 질의에 응답하여 상기 서버로부터 수신한 검색 결과를 검색 결과 화면에 표시하는 단계를 포함한다.

Description

인터랙션을 이용한 메신저 검색 방법, 그리고 이를 구현한 서버 및 어플리케이션{MESSENGER SEARCHING METHOD BASED ON INTERACTION, AND SERVER AND APPLICATION IMPLEMENTING THE SAME METHOD}

본 발명은 메신저 서비스에 관한 것이다.

메신저 서비스는 지인끼리 실시간으로 텍스트나 사진 등을 교환할 수 있는 서비스로서, 서비스 가입자는 어플리케이션이 설치된 단말을 통해 어디에서든 지인과 실시간으로 대화할 수 있다. 메신저 서비스는 채팅방에서 텍스트나 사진 등을 교환하는 기본적인 기능 이외에도 채팅방에서 키워드 검색을 지원하거나, 연락처를 교환하거나, 대화자 간의 송금 서비스를 제공하는 등 고도의 통합 서비스 플랫폼으로 진화하고 있다.

본 발명이 해결하고자 하는 과제는 채팅방에 표시된 말풍선이나 이미지를 선택하는 다양한 인터랙션을 기초로 검색 질의를 입력받고, 선택된 말풍선이나 이미지에 관계된 검색 결과를 제공하는 메신저 검색 방법, 그리고 이를 구현한 서버 및 어플리케이션을 제공하는 것이다.

한 실시예에 따른 적어도 하나의 프로세서에 의해 동작하는 사용자 단말의 메신저 검색 방법으로서, 메신저 어플리케이션의 채팅방 화면을 표시하는 단계, 대화자들이 주고받은 대화 내용이 구분되어 표시되는 상기 채팅방 화면에서 특정 영역이 선택된 신호를 입력받는 단계, 상기 특정 영역이, 텍스트가 표시된 말풍선 영역인지 이미지가 표시된 이미지 영역인지 판단하는 단계, 상기 특정 영역이 상기 말풍선 영역인 경우, 상기 말풍선 영역에 포함된 적어도 일부의 텍스트를 서버로 전송하여 전송 텍스트에 대해 검색 질의하고, 상기 특정 영역이 상기 이미지 영역인 경우, 상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송하여 상기 이미지에 대해 검색 질의하는 단계, 그리고 상기 검색 질의에 응답하여 상기 서버로부터 수신한 검색 결과를 검색 결과 화면에 표시하는 단계를 포함한다.

상기 특정 영역은 상기 채팅방 화면에서 상기 사용자에 의해 길게 터치된 영역 또는 상기 채팅방 화면에서 상기 사용자에 의해 터치된 후 지정된 방향으로 움직인 영역일 수 있다.

상기 메신저 검색 방법은 상기 판단하는 단계 이후에, 상기 특정 영역이 상기 말풍선 영역인 경우, 상기 사용자로부터 상기 특정 영역에 대한 텍스트 검색 요청을 입력받을 수 있는 선택창을 표시하고, 상기 특정 영역이 상기 이미지 영역인 경우, 상기 사용자로부터 상기 특정 영역에 대한 이미지 검색 요청을 입력받을 수 있는 선택창을 표시하는 단계를 더 포함할 수 있다. 상기 검색 질의하는 단계는 상기 선택창에서 상기 텍스트 검색 요청이 입력되면, 상기 말풍선 영역에 포함된 적어도 일부의 텍스트를 서버로 전송하고, 상기 선택창에서 상기 이미지 검색 요청이 입력되면, 상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송할 수 있다.

상기 검색 결과는 상기 특정 영역에 포함된 내용에 대한 정답형 검색 결과와 정보형 검색 결과 중 적어도 하나를 포함할 수 있다.

상기 검색 결과는 상기 특정 영역에 포함된 내용과 연관된 적어도 하나의 검색 키워드를 포함하고, 상기 메신저 검색 방법은 상기 검색 결과 화면에서 상기 검색 키워드가 선택되는 경우, 상기 검색 키워드에 대한 검색 결과를 표시하는 단계를 더 포함할 수 있다.

상기 메신저 검색 방법은 상기 검색 결과 화면에 표시된 공유 버튼이 선택되면, 상기 공유 버튼에 연결된 검색 결과를 상기 채팅방 화면에 표시하는 단계를 더 포함할 수 있다.

상기 채팅방 화면에 표시하는 단계는 상기 공유 버튼에 연결된 검색 결과가 복수의 이미지를 포함하는 경우, 상기 채팅방 화면의 특정 영역에서 상기 복수의 이미지의 표시 순서에 따라 해당 이미지를 순차적으로 넘기면서 표시할 수 있다.

상기 채팅방 화면에 표시하는 단계는 상기 공유 버튼에 연결된 검색 결과와 함께, 상기 검색 질의된 텍스트나 이미지에 연관된 적어도 하나의 검색 키워드를 표시하고, 상기 공유 버튼에 연결된 검색 결과와 상기 검색 키워드는 썸네일 형태, 말풍선 형태, 그리고 검색 후 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태 중 적어도 하나로 상기 채팅방 화면에 표시될 수 있다.

다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 사용자 단말의 메신저 검색 방법으로서, 메신저 어플리케이션의 채팅방 화면에서 이미지가 선택된 신호를 입력받는 단계, 상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송하여 상기 이미지에 대해 검색 질의하는 단계, 상기 서버로부터 상기 이미지에 매칭된 정보 그리고 상기 이미지와 유사한 이미지 정보 중 적어도 하나를 포함하는 검색 결과를 수신하는 단계, 그리고 상기 검색 결과를 검색 결과 화면에 표시하는 단계를 포함하고, 상기 이미지는 상기 채팅방 화면에 표시된 이미지이다.

상기 이미지에 매칭된 정보 또는 상기 유사한 이미지 정보가 상품 객체를 포함하는 경우, 상기 검색 결과는 상품이미지, 상품명, 상품가격, 상품판매처, 그리고 상품평 정보 중 적어도 하나를 포함하고, 상기 이미지에 매칭된 정보 또는 상기 유사한 이미지 정보가 인물 객체를 포함하는 경우, 상기 검색 결과는 인물이미지와 인물명을 포함하는 인물 정보를 포함할 수 있다.

상기 메신저 검색 방법은 상기 검색 결과 화면에 표시된 공유 버튼이 선택되면, 상기 공유 버튼에 연결된 검색 결과를 상기 채팅방 화면에 표시하는 단계를 더 포함할 수 있다. 상기 검색 결과는 썸네일 형태, 말풍선 형태, 그리고 검색 후 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태 중 적어도 하나로 상기 채팅방 화면에 표시되거나, 상기 채팅방 화면의 외부 인터페이스 화면에 표시될 수 있다.

상기 메신저 검색 방법은 상기 채팅방 화면에서 상기 검색 결과가 표시된 영역이 선택되는 경우, 상기 서버로부터 상기 링크 정보에 해당하는 콘텐츠 정보를 수신하는 단계, 그리고 상기 콘텐츠 정보를 상기 채팅방 화면과 다른 인터페이스 화면에 표시하는 단계를 더 포함할 수 있다.

상기 채팅방 화면에 표시하는 단계는 상기 이미지에 연관된 적어도 하나의 검색 키워드를 더 표시할 수 있다.

또 다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하는 서버의 메신저 검색 방법으로서, 사용자 단말의 채팅방 화면에 표시된 이미지에 대한 정보 그리고 상기 이미지 중 적어도 하나를 포함하는 검색 질의를 수신하는 단계, 상기 검색 질의를 기초로 상기 이미지를 획득하고, 상기 이미지에 매칭된 제1 검색 결과, 그리고 상기 이미지와 유사한 이미지들을 포함하는 제2 검색 결과 중 적어도 하나를 포함하는 이미지 검색 결과를 생성하는 단계, 그리고 상기 이미지 검색 결과를 상기 사용자 단말로 전송하는 단계를 포함한다.

상기 이미지 검색 결과를 생성하는 단계는 상기 이미지에 매칭된 상품 정보 또는 상기 이미지와 유사한 상품 정보를 상기 이미지 검색 결과로 추출할 수 있다.

상기 이미지 검색 결과를 생성하는 단계는 상기 이미지에 연관된 적어도 하나의 검색 키워드를 더 포함할 수 있다.

상기 메신저 검색 방법은 상기 채팅방 화면에 표시된 말풍선 영역에 포함된 적어도 일부의 텍스트를 포함하는 검색 질의를 수신하는 단계, 상기 검색 질의에 포함된 텍스트를 분석하여 정답형 검색 결과와 정보형 검색 결과 중 적어도 하나를 포함하는 텍스트 검색 결과를 생성하는 단계, 그리고 상기 텍스트 검색 결과를 상기 사용자 단말로 전송하는 단계를 더 포함할 수 있다.

또 다른 실시예에 따라 적어도 하나의 프로세서에 의해 동작하고, 메신저 어플리케이션을 구동한 사용자 단말과 통신하는 메시징 서버의 메신저 검색 방법으로서, 상기 사용자 단말로부터, 채팅방 화면에 표시된 텍스트 또는 이미지에 대한 검색 질의를 수신하는 단계, 검색 서버로부터 상기 검색 질의에 대한 검색 결과를 전달받는 단계, 상기 검색 결과를 상기 사용자 단말로 전송하는 단계, 상기 사용자 단말로부터, 상기 검색 결과에 대한 공유 요청을 수신하는 단계, 그리고 상기 공유 요청된 검색 결과를 상기 채팅방에 참여한 대화자들 단말로 전송하는 단계를 포함한다. 상기 텍스트 또는 상기 이미지는 대화자들이 주고받은 대화 내용이 구분되어 표시되는 상기 채팅방 화면에서 선택된 영역에 포함된 정보이다.

상기 검색 결과는 썸네일 형태, 말풍선 형태, 그리고 검색 후 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태 중 적어도 하나로 상기 채팅방 화면에 표시되거나, 상기 채팅방 화면의 외부 인터페이스 화면에 표시될 수 있다.

상기 대화자들 단말로 전송하는 단계는 상기 공유 요청된 검색 결과가 복수의 이미지를 포함하는 경우, 상기 복수의 이미지를 상기 채팅방 화면의 특정 영역에서 표시 순서에 따라 순차적으로 넘기면서 표시하는 콘텐츠를 생성하여 전송할 수 있다.

본 발명의 실시예에 따르면 사용자는 질의 내용을 직접 입력할 필요 없이, 채팅방에서 대화 내용이 표시된 말풍선이나 이미지를 선택하여 손쉽게 해당 콘텐트에 대한 검색을 요구할 수 있다. 본 발명의 실시예에 따르면 메신저 서비스는 사용자에게 새로운 사용자 경험을 제공할 수 있다. 본 발명의 실시예에 따르면 서버는 채팅방에서 질의된 내용을 분석하여 정답형 결과를 제공하거나, 유의미한 검색 키워드를 추천하거나, 유사한 이미지나 상품을 추천할 수 있다. 본 발명의 실시예에 따르면 사용자는 채팅방의 대화 내용 중에서 궁금한 정보가 있으면, 해당 영역을 롱탭하거나 밀기 등의 동작을 통해 다양한 검색 결과를 쉽게 확인하고, 채팅방에 공유할 수 있다.

도 1은 본 발명의 한 실시예에 따른 메신저 서비스 시스템의 개략적인 구성도이다.
도 2와 도 3 각각은 본 발명의 한 실시예에 따른 채팅방에서의 검색 방법을 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 채팅방에서의 이미지 검색 방법을 설명하는 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 채팅방에서의 이미지 검색을 통한 상품 정보 제공 방법을 설명하는 도면이다.
도 6은 본 발명의 또 다른 실시예에 따른 채팅방에서 밀어서 검색 요청 방법을 설명하는 도면이다.
도 7은 본 발명의 한 실시예에 따른 채팅방으로 검색 결과 표시 방법을 설명하는 도면이다.
도 8과 도 9는 본 발명의 한 실시예에 따른 인터랙션을 이용한 메신저 검색 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

도 1은 본 발명의 한 실시예에 따른 메신저 서비스 시스템의 개략적인 구성도이다.

도 1을 참고하면, 메신저 서비스 시스템(100)은 메신저 어플리케이션을 구동하는 사용자 단말(200), 그리고 사용자 단말(200)과 통신하는 서버(300)를 포함한다. 서버(300)는 사용자 단말(200)로부터 메신저 어플리케이션에서 입력된 정보를 수신하거나 메신저 어플리케이션에서 표시될 정보를 전송한다.

도 1의 (a)를 참고하면, 서버(300)는 메신저 서비스에서 제공하는 기능에 따라 메시징 서버(30), 검색 서버(32), 스크랩 서버(34) 등으로 분리될 수 있으나, 기능적으로 분리하여 설명할 필요가 있는 경우에 한하여 분리하여 설명한다. 서버 기능이 분리되는 경우, 메시징 서버(30), 검색 서버(32), 그리고 스크랩 서버(34) 사이의 연동 방법과, 이들이 사용자 단말(200, 210)과 통신하는 방법은 연동 규칙이나 서비스 시나리오에 따라 다양하게 설계변경될 수 있다.

한편, 서버(300)는 메시징 서버(30), 검색 서버(32), 스크랩 서버(34) 중 적어도 하나를 포함하고, 서버(300)에 포함되지 않은 서버 기능은 외부의 서버 시스템(예를 들면, 제3자에 의해 운용되는 시스템)과 연동하여 외부의 서버 시스템으로부터 제공받을 수 있다. 예를 들어, 도 1의 (b)를 참고하면, 서버(300)는 메시징 서버(30)를 포함하고, 외부의 검색 서버(32) 및 스크랩 서버(34)와 연동할 수 있다. 이 경우, 서버(300)는 사용자 단말(200)로부터 수신한 정보를 기초로 검색 서버(32)나 스크랩 서버(34)로 검색이나 스크랩을 요청하고, 해당 서버로부터 검색 결과나 스크랩 결과를 수신하여 사용자 단말(200)로 전송할 수 있다. 또는 외부의 검색 서버(32) 및 스크랩 서버(34)가 사용자 단말(200)로 직접 검색 결과나 스크랩 결과를 전송할 수 있다.

사용자 단말(200)은 컴퓨터 판독 가능한 저장 매체에 저장되는 메신저 어플리케이션, 그리고 프로세서, 메모리, 디스플레이, 통신 모듈 등의 하드웨어를 포함한다. 메신저 어플리케이션은 본 발명에서 예를 들어 설명한 동작을 실행하기 위한 명령어들을 포함한다. 프로세서는 메신저 어플리케이션을 구동하여 프로그램된 동작을 실행한다. 디스플레이는 메신저 어플리케이션에서 제공하는 채팅방 등의 사용자 인터페이스 화면을 표시하고, 사용자 입력을 수신할 수 있고, 예를 들면 터치 입력을 수신할 수 있다. 통신 모듈은 통신망을 통해 서버(300)와 통신한다.

사용자 단말(200)은 다양한 형태로 구현될 수 있고, 예를 들면, 스마트폰과 같은 모바일 단말, 스마트패드와 같은 패드형 단말, 랩탑 컴퓨터 등 각종 형태의 컴퓨터, 웨어러블 디바이스, TV 단말 등의 형태로 구현될 수 있다.

메신저 어플리케이션을 구동한 사용자 단말(200)은 채팅방 화면(앞으로, 간단히 '채팅방'이라고 한다)(400)을 표시한다. 채팅방(400)은 대화자들이 주고받는 텍스트, 이미지나 동영상, 이모티콘, 외부 웹페이지로 연결되는 링크(URL) 정보나 스크래핑된 썸네일 등의 각종 콘텐트를 표시할 수 있고, 각 콘텐트는 채팅방(400)에서 일정 영역을 점유하여 표시된다.

대화자들이 주고받는 텍스트, 이미지나 동영상, 이모티콘, 외부 웹페이지로 연결되는 링크(URL) 정보는 메시징 서버(30)를 경유하여 채팅방(400)에서 공유될 수 있다.

대화자들 각각의 채팅방에 표시되는 스크래핑된 썸네일은 각 대화자의 단말이 스크랩 서버(34)로부터 획득할 수 있다. 예를 들면, 사용자가 채팅방(400)에 특정 링크(URL) 정보를 입력하면, 사용자 단말(200)은 스크랩 서버(34)로 특정 링크(URL) 정보를 전달하고, 스크랩 서버(34)는 특정 링크(URL) 정보에 해당하는 콘텐츠 서버에 접속하여 해당 콘텐트를 스크래핑하고, 스크래핑한 콘텐트의 썸네일을 채팅방(400)에 전달한다. 한편, 채팅방(400)의 다른 대화자 단말(210)은 메시징 서버(30)로부터 사용자가 채팅방(400)에 입력한 특정 링크(URL) 정보를 수신하면, 스크랩 서버(34)로 특정 링크(URL) 정보를 전달하고, 스크랩 서버(34)로부터 특정 링크에서 스크래핑된 콘텐트를 썸네일 형태로 수신하여 채팅방(400)에 표시한다.

사용자가 채팅방(400)에서 검색을 요청하는 경우, 검색 요청은 검색 서버(32)로 전달되거나, 메시징 서버(30)를 경유하여 검색 서버(32)로 전달될 수 있다. 또한, 검색 결과는 검색 서버(32)에서 사용자 단말(200)로 전달하거나, 검색 서버(32)에서 메시징 서버(30)를 경유하여 사용자 단말(200)로 전달할 수 있다.

도 2와 도 3 각각은 본 발명의 한 실시예에 따른 채팅방에서의 검색 방법을 설명하는 도면이다.

먼저, 도 2를 참고하면, 메신저 어플리케이션을 구동한 사용자 단말(200)은 채팅방(400)을 표시한다. 채팅방(400)은 대화자들이 주고받는 텍스트, 이미지나 동영상, 외부 웹페이지로 연결되는 링크 정보나 스크래핑된 썸네일 등의 각종 콘텐트가 점유하는 영역을 시각적으로 구분하여 표시한다. 예를 들면, 채팅방(400)은 대화자들이 말하는 것과 같은 시각적 효과를 주기 위해 각 대화자의 전송 콘텐트를 말풍선 모양 안에 표시하도록 디자인될 수 있다. 말풍선에는 주로 텍스트가 기재될 수 있으나, 반드시 텍스트로 한정되는 것은 아니고, 이미지, 동영상, 이모티콘, 외부 웹페이지로 연결되는 링크 정보나 스크래핑된 썸네일 등 다양한 형태의 콘텐트가 적어도 하나 포함될 수 있다. 다만, 설명의 편의를 위해, 채팅방(400)에서, 텍스트가 기재된 영역을 텍스트 말풍선 영역이라고 부르고, 이미지나 동영상이 표시된 영역을 간단히 이미지 영역이나 동영상 영역이라고 부른다.

사용자는 질의 내용을 직접 입력할 필요 없이, 채팅방(400)의 텍스트 말풍선 영역, 이미지 영역 등의 특정 영역을 선택하여 해당 영역에 포함된 콘텐트에 관련된 검색을 요청한다. 검색 요청 방법은 다양할 수 있다. 한 실시예에 따르면 사용자는 말풍선 영역 등의 특정 영역을 길게 터치하거나 길게 눌러서 검색(앞으로, '롱탭' 검색이라고 함) 요청할 수 있다. 다른 실시예에 따르면 사용자는 말풍선 영역 등의 특정 영역을 지정된 방향(예를 들면, 왼쪽 방향 또는 오른쪽 방향)으로 밀어서(swipe) 검색(앞으로, '밀기' 검색이라고 함) 요청할 수 있다. 이외에도, 말풍선 영역 등의 특정 영역을 더블탭하거나, 특정 영역에 지정된 강도로 압력(힘)을 가하는 등의 사용자 인터랙션으로 검색을 요청할 수 있다. 도 2부터 도 4는 롱탭 검색을 예로 들어 설명하고, 밀기 검색은 도 6에서 설명한다.

서버(300)는 사용자 단말(200)로부터 특정 내용에 대한 검색 질의를 받으면, 자연어 분석 기술을 기초로 텍스트를 분석하거나, 이미지 분석 기술을 기초로 이미지를 분석하여 검색 결과를 제공한다. 검색 결과는 질의 내용에 따라 다양한 형태로 제공될 수 있고, 질의 내용에 관련된 정답형 결과를 제공하거나, 정보형 결과를 제공할 수 있다. 구체적으로, 서버(300)는 질의 내용에 해당하는 정답형 결과가 있다면 해당 결과를 포함하는 정답형 컬렉션을 검색 결과로 노출하고, 이때, 추출된 대표 키워드로 질의 내용을 변경할 수 있다. 서버(300)는 질의 내용에 해당하는 정답형 결과가 없다면, 정보형 결과를 검색 결과로 노출하고, 또한 유의미한 검색 키워드들을 상단에 노출할 수 있다. 검색 결과는 통합 웹검색 결과, 이미지 검색 결과, 동영상 검색 결과, 추천 키워드 검색 결과, 상품이나 광고 검색 결과, 인물 검색 결과 등 다양한 형태로 제공될 수 있다. 여기서, 이미지 검색 결과는 이미지들을 한 장씩 표시하거나, 이미지들이 연속적으로 자동 재생되는 형태(앞으로, '움직이는 이미지'라고 함)로 제공할 수 있다.

도 2의 (a)를 참고하면, 사용자 단말(200)은 사용자 또는 상대방이 입력한 대화 내용을 채팅방(400)에 실시간으로 표시한다. 사용자 단말(200)은 사용자로부터 어느 말풍선 영역(410)이 롱탭된 신호를 입력받으면, 롱탭된 위치에 들어 있는 대화 내용 종류를 판단한다. 대화 내용 종류는 텍스트, 이미지, 동영상, 이모티콘 등 다양할 수 있다. 사용자 단말(200)은 롱탭된 위치가 텍스트가 포함된 말풍선 영역이라고 판단한 경우, 도 2의 (b)와 같이, 말풍선 영역(410) 근처에 선택창(420)을 표시한다. 선택창(420)은 복사, 나에게 전송, 공유, 공지, 게시글로 작성, 삭제, #검색(또는 텍스트로 검색)(430) 등의 작업을 선택할 수 있는 셀로 구성될 수 있다.

사용자가 선택창(420)에서 #검색(430)을 선택하면, 도 2의 (c)와 같이, 사용자 단말(200)은 말풍선 영역(410)에 들어있는 내용과 관련된 검색 결과 화면(500)을 표시한다. 여기서, 롱탭 후 표시된 선택창(420)에서 #검색(430)이 선택되면, 사용자 단말(200)은 검색 결과 화면(500)으로 이동하여 검색 결과를 표시하는 것으로 설명하고 있으나, 검색만의 고유 인터랙션(예를 들면, 더블탭)이 지정된 경우, 사용자 단말(200)은 말풍선 영역(410)에서 고유 인터랙션을 입력받으면 도 2의 (a)에서 도 2의 (c)로 곧장 이동할 수 있다.

특정 말풍선 영역(410)에서 #검색(430)이 선택되면, 사용자 단말(200)은 서버(300)로 말풍선 영역(410)에 포함된 적어도 일부의 내용을 전송하여 검색 질의한다. 사용자 단말(200)은 말풍선 영역(410)에 포함된 내용 전체를 전송하는 것으로 설명하나, 말풍선 영역(410)에 포함된 주요 키워드만을 전송하거나, 말풍선 영역(410)에 포함된 텍스트가 기준 이상으로 길거나 데이터량이 많은 경우, 일부 내용만을 전송할 수 있다.

서버(300)는 사용자 단말(200)로부터 말풍선 영역(410)에 들어 있는 특정 내용에 대한 검색 질의를 받는다. 서버(300)는 특정 내용을 질의 내용(쿼리)으로 인식하고, 자연어 분석 기술을 기초로 질의 내용에 포함된 텍스트의 문맥을 분석하여 검색 결과를 추출한다. 서버(300)는 질의 내용에 관계된 정답형 결과가 있는지 검색하고, 정답형 결과가 있다면 질의 내용에 해당하는 정답형 결과를 추출하고, 정답형 결과가 없다면, 질의 내용에 연관된 정보형 결과를 추출할 수 있다. 서버(300)는 질의 내용과 유의미한 검색 키워드들을 추출하여 사용자에게 추천할 수 있다.

도 2의 (c)를 참고하면, '바르셀로나의 역사와 전통이 숨쉬는 가우디의 역작 구엘공원에 왔어!!'가 포함된 말풍선 영역(410)에 대한 검색 질의를 받는 경우, 서버(300)는 질의 내용의 문맥이나 형태소 분석 등을 거쳐 질의 내용이 정보형 결과를 요구하는 것으로 판단할 수 있다. 그러면, 서버(300)는 질의 내용과 관련된 내용을 포함하는 뉴스, 블로그, 카페글, 도서 등을 통합 검색하고, 관련성이 높은 검색 결과를 검색 결과 화면(500)에 제공한다. 예를 들면, 검색 결과 화면(500)은 바르셀로나의 구엘공원 여행기를 포함하는 적어도 하나의 웹페이지를 검색 결과 영역(510)에 표시할 수 있다. 이때, 검색 결과 영역(510)에 표시되는 복수의 검색 결과들은 카드뷰 형태로 제공될 수 있고, 사용자는 좌우나 상하 방향으로 넘기면서 검색 결과를 확인할 수 있다. 서버(300)는 검색 편의성을 높기 위해 질의 내용과 관련된 복수의 검색 키워드들을 제공할 수 있다. 예를 들면, 서버(300)는 '바르셀로나의 역사와 전통이 숨쉬는 가우디의 역작 구엘공원에 왔어!!'에서 추출된 복수의 검색 키워드들(예를 들면, #바르셀로나, #구엘공원, #역작, #가우디 등)을 추천할 수 있다.

구체적으로, 검색 결과 화면(500)은 질의 내용에 관련된 검색 결과 영역(510)을 표시할 수 있다. 검색 결과 화면(500)은 질의 내용인 '바르셀로나의 역사와 전통이 숨쉬는 가우디의 역작 구엘공원에 왔어!!'를 질의 입력 영역(520)에 디폴트로 표시할 수 있다. 사용자는 질의 입력 영역(520)에 디폴트로 기재된 내용을 삭제 또는 수정하여 재검색 요청할 수 있다. 검색 결과 화면(500)은 채팅방(400)에서 입력된 내용인 '바르셀로나의 역사와 전통이 숨쉬는 가우디의 역작 구엘공원에 왔어!!'와 관련된 복수의 검색 키워드들(예를 들면, #바르셀로나, #구엘공원, #역작, #가우디 등)을 키워드 추천 영역(530)에 표시할 수 있다. 각 검색 키워드가 선택되면, 사용자 단말(200)은 해당 키워드들이 태깅된 정보들을 표시하는 인터페이스 화면을 제공한다. 검색 결과 화면(500)은 화면에 표시된 검색 결과를 사용자 선택에 의해 채팅방(400)에 공유할 수 있는 공유 버튼(540)을 표시한다. 사용자가 공유 버튼(540)을 선택하는 경우, 공유 버튼(540)에 해당하는 검색 결과는 채팅방(400)에 표시된다. 이때, 공유 버튼 검색 결과는 다양한 형태로 채팅방(400)에 표시될 수 있다. 예를 들면, 공유 버튼 검색 결과는 말풍선에 표시되거나, 썸네일 형태로 표시되거나, 검색 결과로부터 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태로 표시되거나, 공유 콘텐트를 확인할 수 있는 별도의 팝업 인터페이스 화면에 표시될 수 있다. 검색 결과가 채팅방(400)에 공유되는 방법은 도 7에서 구체적으로 설명한다.

도 3의 (a)를 참고하면, 사용자 단말(200)은 사용자 또는 상대방이 입력한 대화 내용을 채팅방(400)에 실시간으로 표시하고, 사용자로부터 어느 말풍선 영역(411)이 롱탭된 신호를 입력받으면, 도 3의 (b)와 같이, 말풍선 영역(411) 근처에 선택창(420)을 표시한다. 사용자가 선택창(420)에서 #검색(430)을 선택하면, 사용자 단말(200)은 서버(300)로 말풍선 영역(411)에 포함된 적어도 일부의 내용을 전송하여 검색 요청한다.

도 3의 (c)를 참고하면, 사용자 단말(200)은 서버(300)로부터 수신한 검색 결과를 검색 결과 화면(600)에 표시한다.

검색 결과 화면(600)을 제공하는 서버(300)는 사용자 단말(200)로부터 말풍선 영역(411)에 포함된 내용(BMW 520d 연비)에 대한 검색 질의를 받는다. 서버(300)는 말풍선 영역(411)에 포함된 내용(BMW 520d 연비?)을 질의 내용으로 인식하고, 질의 내용에 포함된 텍스트의 문맥을 분석하여 검색 결과를 추출한다. 서버(300)는 질의 내용에 해당하는 정답형 결과가 있는 경우, 정답형 결과를 추출하여 사용자 단말(200)에 제공한다.

구체적으로, 검색 결과 화면(600)은 질의 내용에 관련된 검색 결과 영역(610)을 표시할 수 있다. 검색 결과 영역(610)은 정답형 결과에 관련된 컬렉션(예를 들면, 자동차)이 있는 경우, 해당 컬렉션에서 차량의 연비 정보를 포함하는 정답형 결과를 우선적으로 표시할 수 있다. 검색 결과 화면(600)은 사용자가 다른 컬렉션(예를 들면, 통합웹, 이미지 등)에서의 검색 결과를 확인할 수 있는 인터페이스를 더 제공할 수 있다. 검색 결과 화면(500)은 질의 내용인 'BMW 520d 연비?'를 질의 입력 영역(620)에 표시할 수 있다. 또는 질의 내용에 대한 정답형 결과가 있으므로, 검색 결과 화면(500)은 정답형 결과에 연관된 키워드(예를 들면, BMW, BMW 520d 등)로 질의 내용을 자동 변경하여 표시할 수 있다. 사용자는 질의 입력 영역(620)에 디폴트로 기재된 내용을 삭제 또는 수정하여 재검색 요청할 수 있다. 검색 결과 화면(600)은 채팅방(400)에서 입력된 내용 관련된 복수의 검색 키워드들(예를 들면, #BMW, #연비, #벤츠, 등)을 키워드 추천 영역(미도시)에 표시할 수 있다. 검색 결과 화면(600)은 화면에 표시된 검색 결과를 사용자 선택에 의해 채팅방(400)에 공유할 수 있는 공유 버튼(640)을 표시한다. 사용자가 공유 버튼(640)을 선택하는 경우, 공유 버튼(640)에 해당하는 검색 결과가 채팅방(400)에 표시된다.

도 4는 본 발명의 다른 실시예에 따른 채팅방에서의 이미지 검색 방법을 설명하는 도면이다.

도 4의 (a)를 참고하면, 사용자 단말(200)은 사용자 또는 상대방이 입력한 대화 내용을 채팅방(400)에 실시간으로 표시한다. 채팅방(400)은 텍스트와 이미지 등의 각종 콘텐트를 표시하는데, 사용자는 이미지 영역(412)을 롱탭하여 검색 질의할 수 있다.

도 4의 (b)를 참고하면, 사용자 단말(200)은 이미지 영역(412)이 롱탭된 신호를 입력받으면, 이미지 영역(412) 근처에 선택창(421)을 표시한다. 이때, 사용자 단말(200)은 선택 영역이 텍스트를 포함하는 영역(말풍선 영역)인지 이미지를 포함하는 영역인지 판단하고, 이미지 검색에 적합한 선택창(421)을 표시할 수 있다. 예를 들면, 선택창(421)은 #이미지로 검색하기(431)를 선택할 수 있는 셀을 포함할 수 있다.

사용자가 선택창(421)에서 #이미지로 검색하기(431)를 선택하면, 사용자 단말(200)은 서버(300)로 이미지 영역(412)에 포함된 이미지(예를 들면, 구엘 공원 사진)에 대한 검색을 요청한다. 사용자 단말(200)은 이미지에 대한 검색 요청에 이미지에 대한 정보(예를 들면, 해당 이미지가 저장된 이미지 서버의 주소)와 이미지 중 적어도 하나를 포함시킬 수 있다. 서버(300)가 이미지에 대한 정보를 포함한 검색 요청을 수신한 경우, 서버(300)는 이미지에 대한 정보를 이용하여 해당 이미지를 추출하고 추출된 이미지를 분석하여 검색을 수행할 수 있다. 예를 들면, 이미지에 대한 정보가 이미지가 저장된 이미지 서버의 주소인 경우, 이미지 서버에 접속하여 해당 이미지를 추출하고 분석할 수 있다. 이때, 이미지 서버에서 이미지가 존재하지 않는 경우(저장 기간 만료 등), 서버(300)는 사용자 단말(200)로 이미지 없음을 알려줄 수 있다. 서버(300)가 이미지를 포함한 검색 요청을 수신하는 경우, 서버(300)는 이미지를 분석하여 검색을 수행할 수 있다.

도 4의 (c)를 참고하면, 사용자 단말(200)은 서버(300)로부터 수신한 이미지 검색 결과를 검색 결과 화면(700)에 표시한다.

검색 결과 화면(700)을 제공하는 서버(300)는 이미지 분석 기술을 기초로 사용자 단말(200)로부터 검색 요청된 구엘 공원 사진과 유사한 이미지들을 추출한다. 서버(300)는 이미지간 유사성을 비교하여 검색 질의된 이미지와 유사한 이미지들을 추출한다. 서버(300)는 뉴스, 블로그, 카페글, 도서 등에서 통합 이미지 검색할 수 있다.

구체적으로, 검색 결과 화면(700)은 질의 내용에 관련된 검색 결과 영역(710)을 표시할 수 있다. 검색 결과 영역(710)은 정답형 결과가 있다면 해당 결과를 포함하는 정답형 컬렉션을 검색 결과로 노출하고, 정답형 결과가 없다면, 유사한 이미지들을 노출할 수 있다. 이때, 검색 결과 영역(710)은 채팅창(400)에서 질의된 원본 이미지를 정답형 결과나 유사 이미지들과 함께 노출시킬 수도 있다. 이미지 검색 결과는 검색 결과 화면(700)에 유사 이미지들을 펼쳐서 한 장씩 표시할 수 있다. 또는 이미지 검색 결과는 유사 이미지들이 표시(정렬) 순서에 따라 연속적으로(순차적으로) 자동/수동 재생되는 움직이는 이미지로 제공될 수 있다. 서버(300)는 검색된 이미지 전체 또는 검색된 이미지들 중에서 관련성이 기준 이상인 이미지들을 묶고, 이들이 연속적으로 자동/수동 재생되도록 만들어 움직이는 이미지를 제공할 수 있다. 움직이는 이미지는 사용자가 탭하여 재생되거나, 자동 재생될 수 있다.

검색 결과 화면(700)은 질의 내용인 '#이미지로 검색하기'를 질의 입력 영역(720)에 디폴트로 표시할 수 있다. 사용자는 질의 입력 영역(720)에 디폴트로 기재된 내용을 삭제 또는 수정하여 재검색 요청할 수 있다. 검색 결과 화면(700)은 채팅방(400)에서 입력된 이미지와 관련된 복수의 검색 키워드들(예를 들면, #바르셀로나, #구엘공원, #역작, #가우디 등)을 키워드 추천 영역(미도시)에 표시할 수 있다. 검색 결과 화면(700)은 화면에 표시된 이미지 검색 결과를 사용자 선택에 의해 채팅방(400)에 공유할 수 있는 공유 버튼(740)을 표시한다. 사용자가 공유 버튼(740)을 선택하는 경우, 공유 버튼(740)에 해당하는 이미지 검색 결과는 채팅방(400)에 표시된다. 이때, 검색 요청된 이미지와 관련된 적어도 하나의 검색 키워드들이 유사 이미지들과 함께 채팅방(400)에 표시될 수 있다. 이미지 검색 결과에 포함된 움직이는 이미지 역시 채팅방(400)에 표시될 수 있다. 한편, 이미지 검색 결과에 포함된 유사 이미지들은 펼쳐져 있더라도, 채팅방(400)에 공유될 때 연속적으로(순차적으로) 자동/수동 재생되는 움직이는 이미지로 변환되어 표시될 수 있다. 즉, 유사 이미지들은 채팅방(400)에서 단일 이미지처럼 표시되지만, 자동/수동으로 다음 유사 이미지로 넘어가면서 유사 이미지들을 보여줄 수 있다.

한편, 서버(300)는 검색 질의된 이미지와 유사한 이미지들 이외에도, 검색 질의된 이미지에 관련된 정답형 결과를 제공할 수 있다. 예를 들면, 서버(300)는 검색 질의된 이미지가 나타내는 장소(예를 들면, 구엘 공원, 위치 등)/여행지(스페인, 바르셀로나 등)/인물(가우디)/음식(스페인 음식)/상품 등의 정보를 정답형 결과로 제공할 수 있다. 또한, 서버(300)는 검색 질의된 이미지에 관련된 상품 정보나 광고 정보를 제공할 수 있다. 예를 들어, 채팅방(400)에서 특정 상품 이미지가 표시되고, 사용자가 해당 이미지를 선택하여 검색 질의하면, 서버(300)는 이미지가 나타내는 상품을 식별하고, 상품 정보나 구매 정보 등을 검색 결과로 제공할 수 있고, 이미지가 나타내는 상품과 유사한 상품들을 검색하여 추천할 수 있다. 상품 추천에 대해서 도 5를 참고하여 다음에서, 설명한다.

도 5는 본 발명의 또 다른 실시예에 따른 채팅방에서의 이미지 검색을 통한 상품 정보 제공 방법을 설명하는 도면이다.

도 5를 참고하면, 사용자가 채팅방(400)에서 특정 이미지를 롱탭하여 #이미지로 검색하기를 선택하면, 사용자 단말(200)은 서버(300)로 이미지가 저장된 이미지 서버 주소(이미지 서버 URL)을 전송한다.

서버(300)는 이미지 서버에서 이미지를 추출하여 이미지 분석을 시작한다. 서버(300)는 이미지간 유사성을 비교하여 검색 질의된 이미지와 유사한 이미지들을 추출하는데, 이때 유사 이미지들에서 검색 질의된 이미지에 포함된 객체와 동일/유사한 객체를 추출할 수 있다.

서버(300)는 이미지 분석 기술을 기초로 이미지에서 검색 카테고리에 해당하는 객체들을 추출한다. 만약, 검색 카테고리가 인물이라면, 서버(300)는 이미지 분석 기술을 기초로 이미지에서 인물을 추출한다. 검색 카테고리가 상품이라면, 서버(300)는 이미지 분석 기술을 기초로 이미지에서 상품들을 추출한다. 검색 카테고리가 더 세분화되어 패션이라면, 서버(300)는 이미지 분석 기술을 기초로 이미지에서 모자, 장신구, 셔츠, 원피스, 치마, 바지, 가방 등의 상품들을 추출할 수 있다.

서버(300)는 이미지에서 추출한 상품(예를 들면, 선글라스)에 매칭되는 검색 결과가 있는 경우, 도 5의 (a)와 같이 검색 결과 화면(700a)에 매칭된 상품의 정보를 검색 결과로 제공한다. 상품의 정보는 상품이미지, 상품명, 상품가격, 상품판매처, 상품평 정보 등을 포함할 수 있다. 이때, 매칭 상품 이미지 검색 결과는 상품 추천 컬렉션에 표시될 수 있다. 한편, 서버(300)는 이미지에서 추출한 인물에 매칭되는 검색 결과가 있는 경우, 인물이미지, 인물명 등의 인물 정보를 인물 컬렉션에 표시할 수 있다.

도 5의 (a)의 검색 결과 화면(700a)에서, 사용자가 공유 버튼을 선택하는 경우, 도 5의 (b)와 같이 공유 버튼에 해당하는 매칭 상품 이미지 검색 결과가 채팅방(400)에 표시된다.

서버(300)는 이미지에서 추출한 상품(예를 들면, 썬글라스)과 유사한 검색 결과가 있는 경우, 도 5의 (c)와 같이 검색 결과 화면(700b)에 유사 상품의 정보를 검색 결과로 제공한다. 이때, 유사 상품 이미지 검색 결과는 유사 이미지 컬렉션에 표시될 수 있다.

도 5의 (c)의 검색 결과 화면(700b)에서, 사용자가 공유 버튼을 선택하는 경우, 도 5의 (d)와 같이 공유 버튼에 해당하는 유사 상품 이미지 검색 결과가 채팅방(400)에 표시될 수 있다.

도 6은 본 발명의 또 다른 실시예에 따른 채팅방에서 밀어서 검색 요청 방법을 설명하는 도면이다.

도 6의 (a)를 참고하면, 사용자 단말(200)은 사용자 또는 상대방이 입력한 대화 내용을 채팅방(400)에 실시간으로 표시한다. 사용자는 말풍선 영역(410)이나 이미지 영역(412) 등의 검색 희망 영역을 특정 방향(예를 들면, 왼쪽 방향 또는 오른쪽 방향)으로 밀어서 검색을 요청할 수 있다.

한 실시예에 따르면, 사용자 단말(200)이 말풍선 영역(410)이나 이미지 영역(412)에서 밀기 검색을 요청받으면, 서버(300)에게 해당 영역에 포함된 내용에 대한 검색을 요청하고, 서버(300)로부터 도 6의 (b)와 같은 검색 결과 화면(500)을 수신하여 표시할 수 있다.

다른 실시예에 따르면, 사용자 단말(200)은 말풍선 영역(410)에서 밀기 검색 요청을 받으면, 말풍선 영역(410)에 들어있는 텍스트를 어절 단위로 구분하여 표시한다. 어절 단위로 구분된 텍스트는 말풍선 영역(410) 근처에 별도 창으로 표시될 수 있다. 또는 도 6의 (c)와 같이 어절 단위로 구분된 텍스트는 현재 말풍선 영역(410)에서 선택할 수 있는 어절을 밑줄, 색깔, 크기, 글자체, 등으로 시각적으로 구분하여 표시할 수 있다. 다만, 텍스트가 어절 단위로 구분된 정보는 반드시 시각적으로 보이도록 표시할 필요는 없다.

도 6의 (d)를 참고하면, 사용자가 검색하고자 하는 어절(키워드)(예를 들면, 구엘공원)을 선택하면, 사용자 단말(200)은 서버(300)로 선택된 어절에 대한 검색(#구엘공원)을 요청하고, 서버(300)로부터 검색 결과를 수신하여 검색 결과 화면(800)을 표시할 수 있다.

도 7은 본 발명의 한 실시예에 따른 채팅방으로 검색 결과 표시 방법을 설명하는 도면이다.

도 7의 (a)를 참고하면, 사용자가 채팅방(400)에서 특정 영역을 선택해서 검색 질의하면, 사용자 단말(200)은 질의 내용에 관계된 검색 결과를 검색 결과 화면(500)에 제공한다. 검색 결과 화면(500)은 화면에 표시된 검색 결과를 사용자 선택에 의해 채팅방(400)에 공유할 수 있는 공유 버튼(540)을 표시한다. 사용자가 공유 버튼(540)을 선택하는 경우, 공유 버튼(540)에 연결된 검색 결과가 채팅방(400)에 표시된다. 공유 버튼(540)에 연결된 검색 결과가 구엘공원 관련 웹페이지라고 가정한다.

도 7의 (b)를 참고하면, 검색 결과 화면(500)에서 구엘공원 관련 웹페이지에 연결된 공유 버튼(540)이 선택되는 경우, 채팅방(400)은 해당 웹페이지를 요약한 썸네일 (900)로 표시할 수 있다. 이때, 해당 웹페이지의 링크 정보는 채팅방(400)에서 숨겨지거나, 썸네일과 함께 표시될 수 있다. 한편, 채팅방(400)에 공유되는 검색 결과는 썸네일 형태 이외에도, 말풍선 형태나 검색 결과로부터 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태로 채팅방(400)에 표시될 수 있고, 또는 공유 콘텐트를 확인할 수 있는 별도의 팝업 인터페이스 화면(채팅방(400) 외부)에 표시될 수 있다.

썸네일(900)은, 서버(300)가 질의 내용인 '바르셀로나의 역사와 전통이 숨쉬는 가우디의 역작 구엘공원에 왔어!!'로부터 추출한 검색 키워드들(예를 들면, #바르셀로나, #구엘공원, #가우디 등)을 함께 표시할 수 있다.

한편, 채팅방(400)의 다른 대화자 단말(210)은 메시징 서버(30)나 검색 서버(32)로부터 공유 버튼(540)에 연결된 링크 정보를 수신하면, 스크랩 서버(34)로 링크 정보를 전달하고, 스크랩 서버(34)로부터 썸네일(900)을 수신하여 채팅방(400)에 표시한다.

도 7의 (b)의 채팅방(400)에서, 사용자가 썸네일과 함께 노출된 어느 검색 키워드를 선택하면, 사용자 단말(200)은 서버(300)로 선택된 검색 키워드에 대한 검색을 요청한다. 서버(300)는 선택된 검색 키워드에 대한 검색 결과를 사용자 단말(200)의 검색 결과 화면에 제공한다. 예를 들어, 사용자가 #구엘공원을 선택하면, 사용자 단말(200)은 서버(300)로 #구엘공원에 대해 검색 질의하고, 도 7의 (c)와 같이, 서버(300)로부터 수신한 검색 결과 화면(800)을 표시할 수 있다.

도 8과 도 9는 본 발명의 한 실시예에 따른 인터랙션을 이용한 메신저 검색 방법의 흐름도이다.

도 8을 참고하면, 사용자 단말(200)은 메신저 어플리케이션의 채팅방(400)을 표시한다(S110).

사용자 단말(200)은 채팅방(400)에서 선택된 특정 영역에 대한 검색 요청(예를 들면, #검색 요청, #이미지로 검색 요청 등)을 입력받는다(S120). 특정 영역은 대화자들 간에 주고받은 대화 내용이 위치한 영역으로서, 예를 들면, 텍스트 영역(텍스트가 기재된 말풍선 영역), 이미지 영역, 동영상 영역 등을 포함한다. 사용자가 채팅방에서 검색 요청하기 위해 특정 영역을 선택하는 방법은 다양하게 정의될 수 있고, 예를 들면, 사용자는 텍스트 말풍선 영역 등을 롱탭하거나 밀어서 검색 희망 영역을 특정할 수 있다.

사용자 단말(200)은 특정 영역에 포함된 내용에 대해 서버(300)로 검색 질의한다(S130). 사용자가 특정 영역을 선택한 동작이 검색 요청에 지정된 고유 인터랙션(예를 들면, 밀어서 검색 요청 또는 더블탭해서 검색 요청 등)이라면, 사용자 단말(200)은 서버(300)로 곧장 질의할 수 있다. 또는 사용자 단말(200)은 도 2부터 도 4에서 예를 들어 설명한 바와 같이, 사용자가 특정 영역을 선택한 동작(예를 들면, 롱탭)으로부터 적어도 하나의 단계를 거쳐 서버(300)로 질의할 수 있다.

서버(300)는 사용자 단말(200)로부터 수신한 질의 내용을 분석하여 검색 결과를 추출한다(S140). 검색 결과는 질의 내용에 따라 다양한 형태로 제공될 수 있고, 질의 내용에 관련된 정답형 결과를 제공하거나, 정보형 결과를 제공할 수 있다. 검색 결과는 통합 웹검색 결과, 이미지/동영상 검색 결과, 추천 키워드 검색 결과, 상품이나 광고 검색 결과, 인물 검색 결과 등 다양한 형태로 제공될 수 있다. 예를 들어, 서버(300)는 텍스트 형태의 질의 내용을 수신하면, 자연어 분석 기술을 기초로 질의 내용에 포함된 텍스트의 문맥을 분석하여 검색 결과를 추출할 수 있다. 서버(300)는 이미지나 동영상 등의 미디어 형태의 질의 내용을 수신하면, 이미지/동영상 분석 기술을 기초로 이미지/동영상 정보를 추출하고, 유사한 이미지/동영상을 추출할 수 있다.

서버(300)는 검색 결과를 사용자 단말(200)로 전달한다(S150).

사용자 단말(200)은 수신한 검색 결과를 검색 결과 화면에 표시한다(S160).

사용자는 검색 결과 화면을 확인한 후 채팅방 화면(400)으로 복귀할 수 있다. 만약 사용자가 검색 결과 화면 중에서 채팅방에서 공유하고 싶은 콘텐츠가 있는 경우, 사용자는 도 9와 같이, 검색 결과 화면에 표시된 공유 버튼을 선택하여 해당 콘텐츠를 채팅방에 표시할 수 있다.

도 9를 참고하면, 사용자 단말(200)은 수신한 검색 결과를 검색 결과 화면에 표시한다(S210).

사용자 단말(200)은 검색 결과 화면에 표시된 공유 버튼이 선택되면, 서버(300)로 공유 버튼에 연결된 링크 정보를 전송한다(S220).

서버(300)는 링크 정보에서 해당하는 콘텐츠 서버에 접속하여 콘텐츠를 스크래핑한다(S230).

서버(300)는 스크래핑한 콘텐츠를 사용자 단말(200)로 전송한다(S240). 스크래핑한 콘텐츠는 요약 정보로 구성된 썸네일로 만들어 제공될 수 있다.

사용자 단말(200)은 수신한 콘텐츠의 썸네일을 채팅방 화면(400)에 표시한다(S250).

이와 같이, 본 발명의 실시예에 따르면 사용자는 질의 내용을 직접 입력할 필요 없이, 채팅방에서 대화 내용이 표시된 말풍선이나 이미지를 선택하여 손쉽게 해당 콘텐트에 대한 검색을 요구할 수 있다. 본 발명의 실시예에 따르면 메신저 서비스는 사용자에게 새로운 사용자 경험을 제공할 수 있다. 본 발명의 실시예에 따르면 서버는 채팅방에서 질의된 내용을 분석하여 정답형 결과를 제공하거나, 유의미한 검색 키워드를 추천하거나, 유사한 이미지나 상품을 추천할 수 있다. 본 발명의 실시예에 따르면 사용자는 채팅방의 대화 내용 중에서 궁금한 정보가 있으면, 해당 영역을 롱탭하거나 밀기 등의 동작을 통해 다양한 검색 결과를 쉽게 확인하고, 채팅방에 공유할 수 있다.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims

적어도 하나의 프로세서에 의해 동작하는 사용자 단말의 메신저 검색 방법으로서,
메신저 어플리케이션의 채팅방 화면을 표시하는 단계,
대화자들이 주고받은 대화 내용이 구분되어 표시되는 상기 채팅방 화면에서 특정 영역이 선택된 신호를 입력받는 단계,
상기 특정 영역이, 텍스트가 표시된 말풍선 영역인지 이미지가 표시된 이미지 영역인지 판단하는 단계,
상기 특정 영역이 상기 말풍선 영역인 경우, 상기 말풍선 영역에 포함된 적어도 일부의 텍스트를 서버로 전송하여 전송 텍스트에 대해 검색 질의하고, 상기 특정 영역이 상기 이미지 영역인 경우, 상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송하여 상기 이미지에 대해 검색 질의하는 단계, 그리고
상기 검색 질의에 응답하여 상기 서버로부터 수신한 검색 결과를 검색 결과 화면에 표시하는 단계
를 포함하는 메신저 검색 방법.
제1항에서,
상기 특정 영역은
상기 채팅방 화면에서 상기 사용자에 의해 길게 터치된 영역 또는 상기 채팅방 화면에서 상기 사용자에 의해 터치된 후 지정된 방향으로 움직인 영역인, 메신저 검색 방법.
제2항에서,
상기 판단하는 단계 이후에,
상기 특정 영역이 상기 말풍선 영역인 경우, 상기 사용자로부터 상기 특정 영역에 대한 텍스트 검색 요청을 입력받을 수 있는 선택창을 표시하고, 상기 특정 영역이 상기 이미지 영역인 경우, 상기 사용자로부터 상기 특정 영역에 대한 이미지 검색 요청을 입력받을 수 있는 선택창을 표시하는 단계를 더 포함하고,
상기 검색 질의하는 단계는
상기 선택창에서 상기 텍스트 검색 요청이 입력되면, 상기 말풍선 영역에 포함된 적어도 일부의 텍스트를 서버로 전송하고, 상기 선택창에서 상기 이미지 검색 요청이 입력되면, 상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송하는, 메신저 검색 방법.
제1항에서,
상기 검색 결과는
상기 특정 영역에 포함된 내용에 대한 정답형 검색 결과와 정보형 검색 결과 중 적어도 하나를 포함하는 메신저 검색 방법.
제1항에서,
상기 검색 결과는
상기 특정 영역에 포함된 내용과 연관된 적어도 하나의 검색 키워드를 포함하고,
상기 검색 결과 화면에서 상기 검색 키워드가 선택되는 경우, 상기 검색 키워드에 대한 검색 결과를 표시하는 단계
를 더 포함하는 메신저 검색 방법.
제1항에서,
상기 검색 결과 화면에 표시된 공유 버튼이 선택되면, 상기 공유 버튼에 연결된 검색 결과를 상기 채팅방 화면에 표시하는 단계
를 더 포함하는 메신저 검색 방법.
제6항에서,
상기 채팅방 화면에 표시하는 단계는
상기 공유 버튼에 연결된 검색 결과가 복수의 이미지를 포함하는 경우, 상기 채팅방 화면의 특정 영역에서 상기 복수의 이미지의 표시 순서에 따라 해당 이미지를 순차적으로 넘기면서 표시하는 메신저 검색 방법.
제6항에서,
상기 채팅방 화면에 표시하는 단계는
상기 공유 버튼에 연결된 검색 결과와 함께, 상기 검색 질의된 텍스트나 이미지에 연관된 적어도 하나의 검색 키워드를 표시하고,
상기 공유 버튼에 연결된 검색 결과와 상기 검색 키워드는 썸네일 형태, 말풍선 형태, 그리고 검색 후 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태 중 적어도 하나로 상기 채팅방 화면에 표시되는 메신저 검색 방법.
적어도 하나의 프로세서에 의해 동작하는 사용자 단말의 메신저 검색 방법으로서,
메신저 어플리케이션의 채팅방 화면에서 이미지가 선택된 신호를 입력받는 단계,
상기 이미지에 대한 정보와 상기 이미지 중 적어도 하나를 상기 서버로 전송하여 상기 이미지에 대해 검색 질의하는 단계,
상기 서버로부터 상기 이미지에 매칭된 정보 그리고 상기 이미지와 유사한 이미지 정보 중 적어도 하나를 포함하는 검색 결과를 수신하는 단계, 그리고
상기 검색 결과를 검색 결과 화면에 표시하는 단계를 포함하고,
상기 이미지는 상기 채팅방 화면에 표시된 이미지인, 메신저 검색 방법.
제9항에서,
상기 이미지에 매칭된 정보 또는 상기 유사한 이미지 정보가 상품 객체를 포함하는 경우, 상기 검색 결과는 상품이미지, 상품명, 상품가격, 상품판매처, 그리고 상품평 정보 중 적어도 하나를 포함하고,
상기 이미지에 매칭된 정보 또는 상기 유사한 이미지 정보가 인물 객체를 포함하는 경우, 상기 검색 결과는 인물이미지와 인물명을 포함하는 인물 정보를 포함하는 메신저 검색 방법.
제9항에서,
상기 검색 결과 화면에 표시된 공유 버튼이 선택되면, 상기 공유 버튼에 연결된 검색 결과를 상기 채팅방 화면에 표시하는 단계를 더 포함하고,
상기 검색 결과는 썸네일 형태, 말풍선 형태, 그리고 검색 후 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태 중 적어도 하나로 상기 채팅방 화면에 표시되거나, 상기 채팅방 화면의 외부 인터페이스 화면에 표시되는 메신저 검색 방법.
제11항에서,
상기 채팅방 화면에서 상기 검색 결과가 표시된 영역이 선택되는 경우, 상기 서버로부터 상기 링크 정보에 해당하는 콘텐츠 정보를 수신하는 단계, 그리고
상기 콘텐츠 정보를 상기 채팅방 화면과 다른 인터페이스 화면에 표시하는 단계
를 더 포함하는 메신저 검색 방법.
제11항에서,
상기 채팅방 화면에 표시하는 단계는
상기 이미지에 연관된 적어도 하나의 검색 키워드를 더 표시하는 메신저 검색 방법.
제11항에서,
상기 채팅방 화면에 표시하는 단계는
상기 공유 버튼에 연결된 검색 결과가 복수의 이미지를 포함하는 경우, 상기 채팅방 화면의 특정 영역에서 상기 복수의 이미지의 표시 순서에 따라 해당 이미지를 순차적으로 넘기면서 표시하는 메신저 검색 방법.
적어도 하나의 프로세서에 의해 동작하는 서버의 메신저 검색 방법으로서,
사용자 단말의 채팅방 화면에 표시된 이미지에 대한 정보 그리고 상기 이미지 중 적어도 하나를 포함하는 검색 질의를 수신하는 단계,
상기 검색 질의를 기초로 상기 이미지를 획득하고, 상기 이미지에 매칭된 제1 검색 결과, 그리고 상기 이미지와 유사한 이미지들을 포함하는 제2 검색 결과 중 적어도 하나를 포함하는 이미지 검색 결과를 생성하는 단계, 그리고
상기 이미지 검색 결과를 상기 사용자 단말로 전송하는 단계
를 포함하는, 메신저 검색 방법.
제15항에서,
상기 이미지 검색 결과를 생성하는 단계는
상기 이미지에 매칭된 상품 정보 또는 상기 이미지와 유사한 상품 정보를 상기 이미지 검색 결과로 추출하는 메신저 검색 방법.
제15항에서,
상기 이미지 검색 결과를 생성하는 단계는
상기 이미지에 연관된 적어도 하나의 검색 키워드를 더 포함하는 메신저 검색 방법.
제15항에서,
상기 채팅방 화면에 표시된 말풍선 영역에 포함된 적어도 일부의 텍스트를 포함하는 검색 질의를 수신하는 단계,
상기 검색 질의에 포함된 텍스트를 분석하여 정답형 검색 결과와 정보형 검색 결과 중 적어도 하나를 포함하는 텍스트 검색 결과를 생성하는 단계, 그리고
상기 텍스트 검색 결과를 상기 사용자 단말로 전송하는 단계
를 더 포함하는 메신저 검색 방법.
적어도 하나의 프로세서에 의해 동작하고, 메신저 어플리케이션을 구동한 사용자 단말과 통신하는 메시징 서버의 메신저 검색 방법으로서,
상기 사용자 단말로부터, 채팅방 화면에 표시된 텍스트 또는 이미지에 대한 검색 질의를 수신하는 단계,
검색 서버로부터 상기 검색 질의에 대한 검색 결과를 전달받는 단계,
상기 검색 결과를 상기 사용자 단말로 전송하는 단계,
상기 사용자 단말로부터, 상기 검색 결과에 대한 공유 요청을 수신하는 단계, 그리고
상기 공유 요청된 검색 결과를 상기 채팅방에 참여한 대화자들 단말로 전송하는 단계를 포함하고,
상기 텍스트 또는 상기 이미지는
대화자들이 주고받은 대화 내용이 구분되어 표시되는 상기 채팅방 화면에서 선택된 영역에 포함된 정보인 메신저 검색 방법.
제19항에서,
상기 검색 결과는 썸네일 형태, 말풍선 형태, 그리고 검색 후 공유된 콘텐트임을 대화자들이 알 수 있는 특정 형태 중 적어도 하나로 상기 채팅방 화면에 표시되거나, 상기 채팅방 화면의 외부 인터페이스 화면에 표시되는 메신저 검색 방법.
제19항에서,
상기 대화자들 단말로 전송하는 단계는
상기 공유 요청된 검색 결과가 복수의 이미지를 포함하는 경우, 상기 복수의 이미지를 상기 채팅방 화면의 특정 영역에서 표시 순서에 따라 순차적으로 넘기면서 표시하는 콘텐츠를 생성하여 전송하는 메신저 검색 방법.