KR102254975B1 - 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템 - Google Patents

Abstract

본 발명은 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템에 관한 것으로, 메신저 프로그램의 대화창 내에 존재하는 대화 내용 중 원하는 영상을 쉽게 검색할 수 있도록 하기 위한 것이다. 본 발명에 따르면, 단말이 실행 중인 메신저 프로그램을 통해 대화 수행 시 대화창에 영상이 출력되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅한다. 그리고 대화창에 연동된 검색창에 검색어가 입력되면, 단말이 대화창에 포함된 영상 중 입력된 검색어를 포함하는 태그를 갖는 영상을 추출하여 화면에 출력한다.

Description

태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템{Method for searching images based on tag, apparatus and system for the same}

본 발명은 메신저 서비스에 관한 것으로서, 더욱 상세하게는 메신저를 통해 대화 수행 시 대화창에 입력되는 영상을 위치 정보와 메타 정보(metadata)를 기반으로 태깅(tagging)하고, 영상에 태깅된 태그(tag)를 기반으로 대화창 내에서 영상 검색을 수행하는 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템에 관한 것이다.

정보통신 기술의 비약적인 발전으로 인해 이동통신 단말, 개인용 컴퓨터 등과 같은 다양한 종류의 단말들은 다양한 기능을 수행할 수 있도록 구현되고 있다.

이동통신 단말을 예로 들어 설명하면, 이동통신 단말은 기본적인 음성 통신 기능에서 더 나아가 최근에는 데이터 통신, 카메라를 이용한 사진이나 동영상 촬영, 음악 또는 동영상 파일 재생, 게임, 방송 시청 등 다양한 기능들을 이용할 수 있도록 구현되고 있다.

이러한 단말에서 실행될 수 있는 기능의 증대를 위한 기술 개발은 지속적으로 이뤄지고 있으며, 하드웨어 개량 기술은 물론 소프트웨어 개량 기술을 중심으로 지속적으로 이뤄지고 있다.

한편, 최근에는 이러한 단말을 이용하여 통신망에 접속한 후 다수의 사용자와 메시지를 송수신함으로써, 대화를 진행할 수 있는 메신저 프로그램의 사용 빈도가 지속적으로 증가하고 있다.

이러한 메신저 프로그램을 통해 사용자는 문자 메시지를 생성하고, 생성된 문자 메시지를 상대방 단말로 전송함으로써, 상대방 단말과 통신을 수행하는 것이 일반적이나, 최근에는 캡쳐한 영상, 촬영한 영상, 저장된 영상 등을 이용하는 빈도가 증가하고 있다.

그리고 메신저 프로그램의 대화창 내에는 상대방과 주고받은 문자 메시지, 영상 등과 같은 대화 내용이 입력된 시간 순서에 따라 섞여 존재하게 된다. 사용자가 대화 내용을 삭제하지 않는 이상, 대화창에서는 상대방과 주고 받은 대화 내용이 그대로 존재한다.

따라서 사용자가 상대방과 주고 받은 내용 중 특정 내용을 찾고자 하는 경우, 직접 대화창을 스크롤 하면서 해당 내용을 찾아야 하는 번거로움이 있다.

한국등록특허 제10-0932484호, 2009년 12월 09일 등록(명칭: 이동통신 단말기의 이미지에 단문메시지 삽입방법)

이러한 문제점을 해소하기 위해서, 메신저 프로그램의 대화창에 텍스트 검색 기능을 제공하는 방안을 고려할 수 있다.

하지만 텍스트 검색 기능은 대화창의 대화 내용 중 문자 메시지에 대해서만 검색할 수 있을 뿐, 영상에 대한 검색은 수행할 수 없는 문제점을 안고 있다. 이로 인해 대화창에서 특정 영상을 찾기 위해서는 일일이 대화창을 스크롤 하면서 찾아야 하는 번거로움이 여전히 존재한다.

따라서 본 발명의 목적은 메신저 프로그램의 대화창에서의 텍스트 검색을 통하여 원하는 영상을 검색할 수 있는 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템을 제공하는 데 있다.

본 발명의 다른 목적은 메신저를 통해 대화 수행 시 대화창에 입력되는 영상을 위치 정보와 메타 정보(metadata)를 기반으로 태깅(tagging)하고, 영상에 태깅된 태그(tag)를 기반으로 대화창 내에서 영상 검색을 수행하는 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은 메신저 프로그램의 대화창에서 텍스트 검색을 통하여 원하는 문자 메시지 뿐만 아니라 영상을 함께 검색할 수 있는 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템을 제공하는 데 있다.

상술한 바와 같은 목적을 달성하기 위해서, 본 발명은 출력부 및 제어부를 포함하는 단말을 제공한다. 출력부는 메신저 프로그램을 통한 대화 수행 시 입력되는 대화 내용을 출력한다. 그리고 제어부는 출력부와 기능적으로 연결되며, 메신저 프로그램을 실행하고, 실행 중인 메신저 프로그램을 통해 대화 수행 중 대화 내용으로 영상이 출력부로 출력되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅하고, 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 출력부를 통해 출력한다.

본 발명에 따른 단말에 있어서, 제어부는 단말의 현재 위치에 대한 좌표 정보를 획득하고, 획득한 좌표 정보를 기반으로 현재 위치의 장소 명 또는 건물 명을 획득한 후, 획득한 장소 명 또는 건물 명을 해당 영상의 태그로 사용하여 태깅할 수 있다.

본 발명에 따른 단말에 있어서, 제어부는 대화창에서 영상이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명 또는 명칭을 추출하고, 추출한 장소 명, 건물 명 또는 명칭을 해당 영상의 태그로 사용하여 태깅할 수 있다.

본 발명에 따른 단말은, 제어부의 제어에 따라 태깅된 영상, 영상의 메타 정보 및 위치 정보를 함께 저장하는 저장부를 더 포함할 수 있다.

본 발명에 따른 단말은, 통신망을 통해 서비스 장치와 연동하여 하나 이상의 상대방 단말과 메신저 프로그램을 통해 발생되는 정보를 송수신하는 통신부를 더 포함할 수 있다.

이때 제어부는 통신부를 통하여 상대방 단말로부터 영상을 수신하여 대화창에 출력하되, 서비스 장치로부터 상대방 단말의 현재 위치 정보를 수신하고, 출력한 영상, 수신한 상대방 단말의 현재 위치 정보 및 출력한 영상의 메타 정보를 함께 저장부에 저장할 수 있다.

또는 제어부는 통신망을 통하여 상대방 단말로 영상을 전송하여 대화창에 출력하되, 단말의 현재 위치 정보를 파악하고, 파악한 현재 위치 정보를 영상과 함께 서비스 장치를 통하여 상대방 단말로 전송할 수 있다.

본 발명은 또한, 서비스 통신부, 서비스 제어부 및 서비스 저장부를 포함하는 서비스 장치를 제공한다. 서비스 통신부는 하나 이상의 단말과 메신저 프로그램을 통해 다양한 정보를 송수신한다. 서비스 제어부는 서비스 통신부와 기능적으로 연결되며, 서비스 통신부를 통해 메신저 프로그램의 대화창이 실행되고 있는 단말로부터 영상이 수신되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅하여 저장하고, 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 단말로 전송한다. 그리고 서비스 저장부는 서비스 제어부의 제어에 따라 태깅된 영상, 영상의 메타 정보 및 위치 정보를 함께 저장한다.

본 발명은 또한, 단말과 서비스 장치를 포함하는 서비스 시스템을 제공한다. 단말은 실행 중인 메신저 프로그램을 통해 대화 수행 시 대화창에 대화 내용 중 영상이 출력되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅하고, 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 화면에 출력한다. 그리고 서비스 장치는 통신망을 통해 단말과 상대방 단말 간의 대화 수행에 따른 대화 내용의 전달을 중계한다.

본 발명은 또한, 단말이 실행 중인 메신저 프로그램을 통해 대화 수행 시 대화창에 영상이 출력되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅하는 단계와, 대화창에 연동된 검색창에 검색어가 입력되면, 단말이 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 화면에 출력하는 단계를 포함하는 태그 기반의 영상 검색 방법을 제공한다.

본 발명에 따른 영상 검색 방법에 있어서, 태깅하는 단계에서, 영상의 태그에 포함되는 위치 정보는 영상을 전송하는 쪽의 현재 위치에 대한 좌표 정보를 기반으로 한 장소 명, 건물 명, 영상이 대화창에 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명 또는 명칭을 포함할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 영상은 캡쳐한 영상, 촬영한 영상 또는 단말에 저장된 영상을 포함할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 태깅하는 단계는 단말이 영상, 영상의 메타 정보 및 위치 정보를 함께 저장하는 단계를 더 포함할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 저장하는 단계에서, 단말이 태깅된 영상을 저장할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 저장하는 단계는, 단말이 상대방 단말로 전송할 영상을 대화창에 입력하는 단계, 단말이 단말의 현재 위치 정보를 파악하는 단계, 및 단말이 입력한 영상, 파악한 단말의 현재 위치 정보 및 입력한 영상의 메타 정보를 함께 저장하는 단계를 포함할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 저장하는 단계는, 단말이 서비스 장치를 통하여 상대방 단말로부터 영상을 수신하여 대화창에 출력하는 단계, 단말이 서비스 장치로부터 상대방 단말의 현재 위치 정보를 수신하는 단계, 및 단말이 출력한 영상, 수신한 상대방 단말의 현재 위치 정보 및 출력한 영상의 메타 정보를 함께 저장하는 단계를 포함할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 저장하는 단계에서, 단말이 메신저 프로그램을 통해 대화 수행 시 대화창에 입력되는 문자 메시지와 영상을 포함하는 대화 내용을 저장할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 출력하는 단계에서, 추출된 영상이 복수 개인 경우, 단말이 추출된 영상이 입력된 시간 순서에 따라 순차적으로 화면에 출력할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 출력하는 단계에서, 단말이 검색어를 포함하는 영상과 문자 메시지를 추출하여 화면에 출력할 수 있다.

본 발명에 따른 영상 검색 방법에 있어서, 출력하는 단계에서, 추출된 영상과 문자 메시지가 적어도 하나 이상인 경우, 단말이 추출된 영상과 문자 메시지를 입력된 시간 순서에 따라 순차적으로 화면에 출력할 수 있다.

그리고 본 발명은 전술된 영상 검색 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공한다.

본 발명에 따르면, 대화창의 대화 내용에 포함된 영상을 위치 정보와 메타 정보를 기반으로 태깅하고, 영상에 태깅된 태그를 기반으로 대화창 내에서 해당 영상에 대한 검색을 수행할 수 있기 때문에, 사용자는 대화창에서의 텍스트 검색을 통하여 원하는 영상을 쉽게 검색할 수 있다.

더욱이 영상의 태그에 포함되는 위치 정보는 영상을 전송하는 쪽의 현재 위치에 대한 좌표 정보를 기반으로 하는 장소 명 또는 건물 명, 대화창에 표시된 영상의 표시 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명, 명칭 등을 포함하기 때문에, 사용자는 직관적으로 해당 영상을 연상할 수 있는 위치에 대한 텍스트 입력을 통하여 원하는 영상을 쉽게 검색할 수 있다.

또한 본 발명은 메신저 프로그램의 대화창에서 텍스트 검색을 통하여 원하는 문자 메시지 뿐만 아니라 영상을 함께 검색할 수 있다.

도 1은 본 발명의 실시예에 따른 메신저 시스템을 보여주는 개략적인 블록도이다.
도 2는 도 1의 단말의 주요 구성을 보여주는 블록도이다.
도 3은 도 1의 서비스 장치의 주요 구성을 보여주는 블록도이다.
도 4는 본 발명의 실시예에 따른 태그 기반의 영상 검색 방법에 따른 흐름도이다.
도 5는 도 4의 저장 단계의 일 예에 대한 상세 흐름도이다.
도 6은 도 4의 저장 단계의 다른 예에 대한 상세 흐름도이다.
도 7 내지 도 9는 본 발명의 실시예에 태그 기반의 영상 검색 방법에 따른 화면 예시도이다.
도 10은 본 발명의 다른 실시예에 따른 태그 기반의 영상 검색 방법에 따른 흐름도이다.
도 11은 본 발명의 다른 실시예에 태그 기반의 영상 검색 방법에 따른 화면 예시도이다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 구성요소들을 한정하기 위해 사용되지 않는다.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.

아울러, 본 발명의 단말은 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 단말은 스마트 폰(smart phone), 타블렛 PC(Tablet PC), PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), MP3 Player 등의 이동 단말기는 물론, 스마트 TV(Smart TV), 데스크탑 컴퓨터 등과 같은 고정 단말기가 사용될 수 있으며, 통신망을 통해 다른 사용자와 메시지를 송수신할 수 있는 단말이라면, 그 어떠한 장치도 본 발명의 단말로 적용 가능하다.

이하, 본 발명의 실시 예에 따른 메신저 시스템에 대해 설명하도록 한다.

도 1은 본 발명의 실시예에 따른 메신저 시스템을 보여주는 개략적인 블록도이다.

도 1을 참조하면, 본 실시예에 따른 메신저 시스템(100)은 통신망(30)을 매개로 연결된 다수의 단말(10)과 서비스 장치(20)를 포함하여 구성될 수 있다.

다수의 단말(10)은 메신저 프로그램을 통해 하나 이상의 상대방 단말과 메시지를 송수신하거나 컨텐츠를 송수신하여 공유할 수 있는 장치로, 사용자가 이용 가능한 장치를 의미한다.

여기서, 메신저 프로그램은 서비스 장치(20)에 의해 제공될 수 있는 것으로, 인스턴트 메시징 서비스(Instant Messaging Service)를 제공할 수 있는 프로그램이 될 수 있다. 이러한 메신저 프로그램은 서비스 장치(20)로부터 다운로드 되어 단말(10)에 설치될 수 있으며, 단말(10)이 메신저 프로그램을 설치하고 있지 않더라도, 서비스 장치(20)에 접속하여 클라우드 서비스 방식으로 메신저 프로그램을 이용할 수도 있다.

이러한 단말(10)은 메신저 프로그램을 실행하고, 메신저 프로그램 실행 화면(예컨대, 초기 화면, 대화창 화면, 검색창 화면 등)을 표시할 수 있다. 여기서 메신저 프로그램은 사용자의 요청에 따라 실행되거나 특정 이벤트 발생 시 실행될 수 있다. 예컨대 상대방으로부터 메시지가 수신될 때 또는 서비스 장치(20)로부터 특정 정보가 수신될 때 등과 같이 특정 이벤트 발생 시 단말(10)의 메신저 프로그램이 실행될 수 있다.

본 실시예에 따른 단말(10)은 실행 중인 메신저 프로그램의 대화창을 통해 지정된 하나 이상의 상대방 단말과 대화 수행을 위한 대화 내용을 송수신한다. 여기서 설명의 편의를 위해 제1 단말(10a)은 사용자가 이용하는 단말이며, 제2 단말(10b)은 메신저 프로그램을 통해 제1 단말(10a)의 사용자와 대화 내용을 송수신할 수 있는 상대방의 단말인 것을 가정하여 설명하나, 이에 한정되는 것은 아니다.

이러한 단말(10)은 실행 중인 메신저 프로그램을 통해 대화 수행 시 대화창에 대화 내용이 출력되면, 해당 대화 내용을 저장한다. 특히 단말(10)은 대화 내용 중 영상이 출력되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅한다. 단말(10)은 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 검색창 화면에 출력할 수 있다.

또한 단말(10)은 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 문자 메시지 및 영상 중 검색어를 포함하는 태그를 갖는 영상과 문자 메시지를 추출하여 검색창 화면에 출력할 수 있다.

여기서 대화 내용은 사용자와 상대방 간에 주고 받는 문자 메시지와 영상을 포함하며, 그 외 이모티콘, 플레시콘, 스티커 등과 같은 다양한 아이콘, 음성 메시지 등 다양한 컨텐츠를 포함할 수 있다.

서비스 장치(20)는 통신망(30)을 통해 다수의 단말(10) 간의 대화 수행에 따른 대화 내용의 전달을 중계한다. 이러한 서비스 장치(20)는 메신저 프로그램을 통해 다수의 단말(10) 사이의 대화 내용의 송수신을 지원하는 역할을 수행한다. 예컨대, 서비스 장치(20)는 제1 단말(10a)의 사용자에 의해 대화 내용이 입력되면, 메신저 프로그램의 대화창 화면을 통해 연결된 하나 이상의 제2 단말(10b)로 전송하고, 제2 단말(10b)로부터 대화 내용이 수신되면, 이를 제1 단말(10a)로 전송하는 과정의 전반을 제어할 수 있다.

또한 단말(10)의 메신저 프로그램을 통해 송수신되는 대화 내용은 단말(10)에 저장할 수도 있지만 이것에 한정되는 것은 아니다. 예컨대 서비스 장치(20)가 해당 대화 내용을 저장 및 관리할 수 있다. 즉 서비스 장치(20)는 사용자의 요청에 따라 현재 대화창을 통해 송수신되고 있는 대화 내용을 저장하고, 단말(10)로 제공할 수 있다. 다시 말해, 제1 단말(10a)과 하나 이상의 제2 단말(10b)이 메신저 프로그램의 대화창을 통해 연결된 상태에서, 제1 단말(10a)의 대화창 화면에서 기 설정된 조건에 해당하는 사용자 입력, 예컨대, 일 방향으로의 스와이프 동작이 감지되면, 대화창을 통해 송수신된 대화 내용을 저장할 수 있으며, 사용자의 요청에 따라 언제든지 저장된 대화 내용을 제공할 수 있다.

또한 서비스 장치(20)는 메신저 프로그램의 대화창이 실행되고 있는 단말(10)로부터 영상이 수신되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 해당 영상을 태깅하여 저장할 수 있다. 서비스 장치(20)는 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 단말(10)로 전송할 수 있다.

또한 단말(10)의 사용자는 자신이 상대방과 주고받은 대화 내용을 확인하기 위해 서비스 장치(20)에 접속하여 이를 확인할 수 있다. 여기서, 접속은 단말(10)을 통해 서비스 장치(20)에 별도의 로그인 등의 절차를 거치는 과정을 포함할 수 있다. 또한 로그인 등의 절차를 거치지 않더라도 자동적으로 서비스 장치(20)에 연결되는 과정을 포함할 수 있다. 또한 단말(10)의 사용자는 미리 서비스 장치(20)로부터 관련된 정보를 수신하고, 이를 메신저 프로그램의 특정 실행 화면을 통해 즉시 확인할 수 있으며, 사용자로부터 특정 실행 화면에 표시되는 특정 객체 또는 특정 명령에 대한 선택 입력이 감지될 때 서비스 장치(20)에 바로 접속할 수도 있다.

또한 메신저 프로그램을 통해 송수신된 대화 내용은 단말(10)과 서비스 장치(20)에 동시에 저장될 수 있으며, 사용자의 선택에 따라 특정 대화 내용만 서비스 장치(20)에 저장할 수도 있다.

이 외에도, 서비스 장치(20)는 다수의 단말(10)로 메신저 프로그램 서비스를 제공하기 위해, 가입된 사용자들을 사용자 식별자로 구분하고 각각의 가입된 사용자들에 대해 상태, 수신모드, 메시지 수신자 리스트 및 가입자 환경 정보를 관리하고, 인터넷에 접속 중인(On-line) 사용자들 간에 IM 대화 메시지를 전달을 위한 IM 대화 세션, 즉 대화 채널을 관리할 수 있다. 또한 서비스 장치(20)는 SIP(Session Initiation Protocol) 호 처리 및 MSRP(Message Session Relay Protocol) 릴레이 기능 등을 수행할 수 있으며, 이를 통해 다수의 단말(10), 예컨대 제1 단말(10a) 및 제2 단말(10b) 간에 채팅 서비스 제공이 가능하다.

이러한 서비스 장치(20)는 상술한 바와 같은 동작을 지원하기 위해 다양한 장치의 집합으로써 구현될 수 있다. 예컨대 관련된 다양한 정보를 저장하고 관리할 수 있는 데이터베이스 서버, 파일 처리를 위한 파일 서버, 단말(10)로 관련된 정보를 자동적으로 푸쉬(push)할 수 있는 푸쉬 서버 등을 포함하여 구현될 수 있다.

이 외에도 서비스 장치(20)는 시스템 설계 방식에 따라 다양한 서버들을 포함하여 구현될 수 있다. 또한 상기의 서버에 대응하는 기능을 하나의 모듈로써 하나의 서비스 장치(20) 내에 구현될 수도 있다.

앞서 설명한 본 실시예에 따른 대화창을 통해 연결된 상태란 다수의 단말(10) 사이에 메시지를 송수신할 수 있는 이동 경로, 즉 세션(session)이 연결된 상태를 의미한다. 예를 들어, 제1 단말(10a)이 대화를 진행하고자 하는 하나 이상의 제2 단말(10b)을 선택하여 대화창을 생성하는 행위, 제1 단말(10a)이 사용자로부터 입력된 메시지를 하나 이상의 제2 단말(10b)로 전송하는 행위 등을 모두 포함하는 개념이 될 수 있다.

또한 본 실시예에 따른 다수의 단말(10) 및 서비스 장치(20)는 통신망(30)을 통해 관련된 다양한 정보를 송수신한다. 예컨대 통신망(30)으로는 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신 방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신 방식을 이용할 수 있다. 또한 통신망(30)으로는 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.

본 실시예에 따른 단말(10)에 대해서 도 1 및 도 2를 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 2는 도 1의 단말(10)의 주요 구성을 보여주는 블록도이다.

도 1 및 도 2를 참조하면, 본 실시예에 따른 단말(10)은 출력부(14) 및 제어부(15)를 포함하며, 통신부(11), 입력부(12) 및 저장부(13)를 더 포함하여 구성될 수 있다.

통신부(11)는 통신망(30)을 통하여 서비스 장치(20) 및 하나 이상의 상대방 단말과 관련 정보의 송수신을 지원하는 역할을 수행한다. 이때 통신부(11)는 통신망(30)을 통해 서비스 장치(20)와 연동하여 하나 이상의 상대방 단말과 메신저 프로그램을 통해 발생되는 정보를 송수신한다.

예컨대 통신부(11)는 메신저 프로그램의 대화창을 통해 사용자로부터 입력된 메시지를 대화창의 대화 채널을 통해 연결된 상대방 단말로 전송하고, 상대방 단말로부터 메시지를 수신할 수 있다. 특히 통신부(11)는 메신저 프로그램을 통해 상대방 단말로부터 영상 또는 문자 메시지를 수신할 수 있으며, 하나 이상의 상대방 단말로 영상 또는 문자 메시지를 전송할 수 있다.

또한 통신부(11)는 사용자로부터 입력된 다양한 요청 정보를 서비스 장치(20)로 전송할 수 있다. 그리고 통신부(11)는 서비스 장치(20)로부터 메신저 프로그램 관련 정보를 수신할 수 있다.

여기서 영상은 캡쳐한 영상, 촬영한 영상 또는 단말(10)에 저장된 영상을 포함할 수 있다. 물론 영상은 동영상 또는 정지영상일 수 있다.

입력부(12)는 사용자로부터 입력되는 숫자 및 문자 정보 등의 다양한 정보, 각종 기능 설정 및 단말(10)의 기능 제어와 관련하여 입력되는 신호를 제어부(15)로 전달한다. 입력부(12)는 메신저 프로그램을 실행하고, 메신저 프로그램을 통해 사용자로부터의 메시지 입력을 지원한다. 입력부(12)는 메신저 프로그램의 대화창에서 영상을 입력하기 위한 사용자의 기 설정된 동작(터치, 드래그, 스와이프 등)의 입력을 지원한다. 입력부(12)는 메신저 프로그램의 검색창에서 텍스트 형태의 검색어를 입력하기 위한 사용자의 기 설정된 동작의 입력을 지원한다.

여기서 사용자의 기 설정된 동작은 사용자의 터치 또는 조작에 따른 입력 신호를 발생하는 키패드와 터치패드 중 적어도 하나에 의해 입력될 수 있다. 즉 입력부(12)가 출력부(14)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구성되는 경우, 터치패널에서의 사용자의 터치 및 특정 방향으로의 드래그 또는 스와이프 동작의 입력을 감지할 수 있다.

또한 입력부(12)는 사용자로부터 입력되는 키패드의 화살표 등의 입력을 감지할 수도 있다. 또는 입력부(12)는 사용자의 음성, 예컨대 "왼쪽 드래그", "오른쪽 드래그" 등과 같은 음성의 입력을 지원할 수 있다. 또는 입력부(12)가 제스처 입력 수단을 포함하고 있을 경우, 입력부(12)는 사용자의 기 설정된 제스처를 감지할 수도 있다.

이러한 입력부(12)는 상술한 바와 같이, 키보드나 키패드와 같은 키 입력 수단, 터치센서나 터치패드와 같은 터치 입력 수단, 음성 입력 수단, 자이로 센서, 지자기 센서, 가속도 센서, 근접 센서 및 카메라 중 적어도 하나 이상을 포함하여 이루어지는 제스처 입력 수단을 포함할 수도 있다.

이 외에도 입력부(12)는 현재 개발 중이거나 향후 개발될 수 있는 모든 형태의 입력 수단을 포함할 수 있다.

저장부(13)는 단말(10)의 기능 동작에 필요한 응용 프로그램을 비롯하여, 그 응용 프로그램 실행 중에 발생되는 다양한 데이터를 저장할 수 있다. 저장부(13)는 메신저 프로그램을 저장할 수 있으며, 메신저 프로그램을 통해 하나 이상의 상대방 단말과 송수신된 대화 내용을 저장할 수 있다.

이러한 저장부(13)는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 프로그램 영역은 단말(10)을 부팅시키는 운영체제(OS)와 같은 단말(10) 구동을 위한 관련된 정보들을 저장한다. 데이터 영역은 단말(10)의 사용에 따라 발생되는 데이터가 저장되는 영역으로, 상술한 바와 같이 메신저 프로그램 실행 중에 발생되는 다양한 정보를 저장한다. 예컨대 저장부(13)는 대화 내용 중 영상을 저장할 때, 해당 영상, 해당 영상의 메타 정보 및 해당 영상의 위치 정보를 함께 저장한다. 또한 저장부(13)는 제어부(15)의 제어에 따라 해당 영상에 태깅된 태그를 저장한다.

저장부(13)는 플래시 메모리(flash memory), 하드디스크(hard disk), 멀티미디어 카드 마이크로(multimedia card micro) 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(RAM), 롬(ROM) 등의 저장매체를 포함하여 구성될 수 있다.

한편 저장부(13)가 메신저 프로그램, 또는 메신저 프로그램을 통해 송수신된 대화 내용을 저장하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 대화 내용은 클라우드 서비스 방식에 따라 서비스 장치(20)와 연동하여 서비스 장치(20)에 저장될 수 있다.

출력부(14)는 단말(10)의 기능 수행 중에 발생하는 일련의 동작 상태 및 동작 결과 등에 대한 정보를 출력하는 역할을 수행한다. 이러한 출력부(14)는 표시 모듈(미도시) 및 음원출력모듈(미도시)을 포함하여 구성될 수 있다.

이 중에서 표시 모듈(미도시)은 메신저 프로그램 실행 중에 발생되는 다양한 정보들을 표시하는 역할을 수행하는 것으로, 예컨대, 제어부(15)의 제어 하에 대화창에 대화 내용과, 대화창에 연동된 검색창에 입력된 검색어에 따른 검색 결과를 출력하여 표시할 수 있다.

이러한 표시 모듈(미도시)은 상술한 바와 같이 입력부(12)와 함께 하나의 터치패널(또는 터치스크린)의 형태로 구현될 수도 있으며, 입력부(12)와 함께 구현되는 경우, 사용자의 기 설정된 동작, 드래그 앤 드롭 동작, 스크롤 등에 따라 발생되는 다양한 정보들을 표시할 수 있다.

예컨대 표시 모듈(미도시)은 LCD(Liquid Crystal Display), TFT-LCD(Thin Film Transistor LCD), OLED(Organic Light Emitting Diodes), 발광다이오드(LED), AMOLED(Active Matrix Organic LED), 플렉시블 디스플레이(Flexible display) 또는 3차원 디스플레이(3 Dimension) 등으로 구성될 수 있다

음원출력모듈(미도시)은 전기적인 신호인 음원을 아날로그 신호로 변환하여 출력하는 역할을 수행하는 것으로, 제어부(15)의 제어에 따라 음성 메시지를 출력하는 역할을 수행할 수 있다.

제어부(15)는 단말(10)의 전반적인 제어를 수행하는 것으로, 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치, 예컨대, 중앙처리장치(CPU, Central Processing Unit)가 될 수 있다.

제어부(15)는 각 구성 요소와 기능적으로 연결된다. 즉 제어부(15)는 통신부(11), 입력부(12), 저장부(13) 및 출력부(14)와 기능적으로 연결되며, 각 구성 요소에 전원 공급 및 기능 수행을 위한 신호의 흐름을 제어한다.

제어부(15)는 메신저 프로그램을 실행하고, 메신저 프로그램을 통해 발생되는 다양한 기능 실행을 제어할 수 있다. 기본적으로 제어부(15)는 사용자의 요청 또는 기 설정된 이벤트 발생이 감지되면, 메신저 프로그램이 실행되도록 제어하며, 메신저 프로그램 실행 화면이 출력부(14)에 표시되도록 제어할 수 있다.

또한 제어부(15)는 메신저 프로그램을 통해 사용자의 요청에 따라 특정 상대방을 선택하고, 선택된 상대방과의 대화 내용의 송수신을 위한 전반적인 과정을 지원할 수 있다. 이 외에도 제어부(15)는 메신저 프로그램이 제공하는 각종 기능 수행을 위한 다양한 동작들을 지원할 수 있다.

특히 제어부(15)는 메신저 프로그램의 대화창을 통하여 상대방과 주고받는 대화 내용을 저장부(13)에 저장하게 되는데, 대화 내용 중 영상은 태깅하여 저장할 수 있다. 즉 제어부(15)는 실행 중인 메신저 프로그램을 통해 대화 수행 중 대화 내용으로 영상이 출력부(14)로 출력되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅할 수 있다.

이때 영상에 부여되는 태그는 사용자가 대화창에 존재하는 영상들 중에서 검색하고자 하는 영상을 텍스트와 같은 검색어 입력을 통하여 직관적으로 쉽게 찾을 수 있도록 부여한 명칭을 포함한다.

영상의 태그에 장소 명, 건물 명 또는 명칭과 같은 위치 정보를 포함시킨 이유는, 사용자가 쉽게 해당 영상을 찾을 수 있도록 하기 위해서이다. 검색창을 통하여 검색을 수행하는 경우, 검색창의 검색란에 텍스트 형태의 검색어를 입력하여 검색하게 된다. 이때 사용자가 입력할 수 있는 검색어는 찾고자 하는 영상을 쉽게 연상할 수 있는 단어, 예컨대 장소 명, 건물 명, 명칭 등이 주로 사용되기 때문이다.

예컨대 영상의 메타 정보는 영상에 대한 부가정보이다. 예컨대 영상이 디지털 카메라로 찍은 사진인 경우, 디지털 카메라 자체의 정보, 촬영 당시의 시간, 노출, 플래시 사용 여부, 해상도, 사진 크기, 사진에 부여된 명칭(이름) 등에 대한 정보를 포함하며, 그 외 GPS 기능을 사용하여 획득한 촬영 당시의 위치 정보를 더 포함할 수도 있다.

따라서 제어부(15)는 영상의 메타 정보를 태그로 사용하여 해당 영상을 태깅할 수 있다.

영상의 태그에 포함되는 위치 정보는 영상을 전송하는 쪽의 현재 위치에 대한 좌표 정보를 기반으로 한 장소 명 또는 건물 명, 영상이 대화창에 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명 또는 건물 명을 포함할 수 있다.

따라서 단말(10)에 구비된 통신부(11) 또는 GPS 모듈(도시안됨)을 통하여, 제어부(15)는 단말(10)의 현재 위치에 대한 좌표 정보를 획득할 수 있다. 제어부(15)는 획득한 좌표 정보를 기반으로 현재 위치의 장소 명 또는 건물 명을 획득할 수 있다. 제어부(15)는 획득한 장소 명 또는 건물 명을 해당 영상의 태그로 사용할 수 있다.

또는 대화창을 통하여 대화를 수행하면서 영상을 입력하게 되는 경우, 일반적으로 사용자 또는 상대방은 영상을 입력 하기 전 또는 후에 해당 영상에 대한 설명을 문자 메시지로 입력한다.

따라서 제어부(15)는 대화창에서 영상이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명, 명칭 등을 태그로 사용할 수 있다. 이때 명칭은 특정 객체의 명칭, 사람의 이름 등이 될 수 있다.

그리고 제어부(15)는 대화창에 연동된 검색창에 검색어가 입력되면, 대화창에 포함된 영상 중 검색어를 포함하는 태그를 갖는 영상을 추출하여 출력부(14)를 통해 출력한다. 물론 제어부(15)는 추출된 영상을 검색창에 출력한다.

이때 대화창에 영상은 사용자가 입력할 수도 있고, 상대방이 입력할 수 있다. 먼저 통신부(11)를 통하여 상대방 단말로부터 영상을 수신하여 대화창에 출력하는 경우, 제어부(15)는 서비스 장치(20)로부터 상대방 단말의 현재 위치 정보를 수신한다. 그리고 제어부(15)는 출력한 영상, 수신한 상대방 단말의 현재 위치 정보 및 출력한 영상의 메타 정보를 함께 저장부(13)에 저장할 수 있다.

통신부(11)를 통하여 상대방 단말로 영상을 전송하여 대화창에 출력하는 경우, 제어부(15)는 단말(10)의 현재 위치 정보를 파악한다. 그리고 제어부(15)는 출력한 영상, 파악한 단말(10)의 현재 위치 정보 및 출력한 영상의 메타 정보를 함께 저장부(13)에 저장할 수 있다. 이때 제어부(15)는 파악한 단말(10)의 현재 위치 정보를 영상과 함께 서비스 장치(20)를 통하여 상대방 단말로 전송할 수 있다.

추출된 영상이 복수 개인 경우, 제어부(15)는 추출된 영상이 입력된 시간 순서에 따라 순차적으로 검색창에 출력할 수 있다. 제어부(15)는 추출한 영상의 개수와 같은 검색 결과를 검색창에 출력할 수 있다. 예컨대 제어부(15)는 “검색어에 대한 **건 검색”의 형태로 검색 결과를 출력할 수 있다.

또한 제어부(15)는 검색창에서 검색된 영상뿐만 아니라, 검색어를 포함하는 문자 메시지를 추출하여 검색창에 출력할 수 있다. 이때 추출된 영상과 문자 메시지가 적어도 하나 이상인 경우, 제어부(15)는 추출된 영상과 문자 메시지를 입력된 시간 순서에 따라 순차적으로 검색창에 출력할 수 있다. 제어부(15)는 추출한 영상과 문자 메시지의 개수와 같은 검색 결과를 검색창에 출력할 수 있다.

또한 제어부(15)는 검색창에서 검색 메뉴 선택을 통해서 검색 범위를 설정할 수 있다. 예컨대 사용자는 입력부(12)를 통하여 검색 범위를 문자 메시지, 영상 중에서 선택하면, 제어부(15)는 선택된 검색 범위에서 대화창을 검색하여 검색 결과를 검색창에 출력할 수 있다.

상기와 같은 동작을 제어하기 위해 제어부(15)는 메신저 제어 모듈(16)과 영상 태깅 모듈(17)을 포함하여 구성될 수 있다. 메신저 제어 모듈(16)은 메신저 실행, 대화창 생성, 검색창 생성, 검색된 영상 또는 문자 메시지의 출력 등 메신저 프로그램 실행 전반을 제어하는 기능을 수행할 수 있다. 영상 태깅 모듈(17)은 대화창에 표시되는 영상의 태깅 과정을 제어하며, 태깅된 영상을 위치 정보 및 메타 정보와 함께 저장부(13)에 저장하는 과정 전반을 제어하는 기능을 수행할 수 있다.

본 실시예에 따른 서비스 장치(20)에 대해서 도 1 내지 도 3을 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 3은 도 1의 서비스 장치(20)의 주요 구성을 보여주는 블록도이다.

도 1 및 도 3를 참조하면, 본 발명의 서비스 장치(20)는 서비스 통신부(21), 서비스 제어부(25) 및 서비스 저장부(23)를 포함하여 구성될 수 있다.

서비스 통신부(21)는 하나 이상의 단말(10)과 메신저 프로그램과 관련된 다양한 정보를 송수신하는 역할을 수행할 수 있다. 서비스 통신부(21)는 어느 하나의 단말(10)과 연결된 다른 단말(10) 사이에 송수신되는 대화 내용을 수신할 수 있다. 또한 서비스 통신부(21)는 어느 하나의 단말(10)로부터 다양한 정보에 대한 요청 정보를 수신하고, 이에 대한 정보를 해당 단말(10)로 제공할 수도 있다.

서비스 제어부(25)는 서비스 장치(20)의 전반적인 제어를 수행한다. 서비스 제어부(25)는 메신저 프로그램과 관련된 다양한 제어를 수행할 수 있다.

예컨대, 서비스 제어부(25)는 다수의 단말(10)로 메신저 프로그램 서비스를 제공하기 위해, 가입된 사용자들을 사용자 식별자로 구분하고 각각의 가입된 사용자들에 대해 상태, 수신모드, 메시지 수신자 리스트 및 가입자 환경 정보를 관리하고, 인터넷에 접속 중인(On-line) 사용자들 간에 IM 대화 메시지를 전달을 위한 IM 대화 세션, 즉 대화 채널을 관리하게 된다.

또한 서비스 제어부(25)는 SIP(Session Initiation Protocol) 호 처리 및 MSRP(Message Session Relay Protocol) 릴레이 기능 등을 수행할 수 있으며, 이를 통해 다수의 단말(10), 예컨대 제1 단말(10a) 및 제2 단말(10b) 간에 메시지 또는 컨텐츠 송수신이 가능하게 할 수 있다.

한편 앞서 설명한 바와 같이, 단말(10)이 대화창에 출력되는 영상에 대한 태깅을 수행하여 저장하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 즉 서비스 장치(20)가 직접 대화 내용에 포함된 영상에 대한 태깅을 수행한 후 저장할 수 있다. 단말(10)의 대화창에 따른 검색창을 통하여 영상 검색을 요청하는 경우, 서비스 장치(20)가 영상에 부여된 태그를 기반으로 한 텍스트 검색을 통하여 해당 영상을 추출하여 단말(10)의 검색창에 제공할 수 있다.

즉 서비스 제어부(25)는 메신저 프로그램이 실행되고 있는 어느 하나의 단말(10), 예컨대 제1 단말(10a)로부터 어느 하나의 상대방 단말, 예컨대 제2 단말(10b)로 전송되는 영상이 수신되면, 영상의 메타 정보와 영상의 위치 정보를 기반으로 영상을 태깅할 수 있다. 단말(10)의 대화창에 연동된 검색창에 검색어가 입력되면, 서비스 제어부(25)는 대화창에 포함된 문자 메시지 또는 영상 중 검색어를 포함하는 태그를 갖는 문자 메시지 또는 영상을 추출하여 단말(10)에 제공할 수 있다.

또한 제1 단말(10a)로부터 제2 단말(10b)로 전송되는 영상이 수신되는 경우, 서비스 제어부(25)는 제2 단말(10b)로 해당 영상을 전송할 때 제1 단말(10a)의 현재 위치 정보를 파악한 후, 파악한 현재 위치 정보와 해당 영상을 함께 전송할 수 있다.

한편 서비스 제어부(25)에서 태깅은 단말(10)의 태깅과 동일한 방식으로 진행될 수 있기 때문에, 태깅에 대한 상세한 설명은 생략한다.

이와 같이 서비스 제어부(25)는 메신저 서비스, 영상 태깅 및 태그를 기반으로 한 검색 환경을 제공하기 위해서, 단말(10)의 제어부와 유사하게 메신저 제어 모듈(26) 및 영상 태깅 모듈(27)을 포함하여 구성될 수 있다. 메신저 제어 모듈(26)은 다수의 단말(10) 사이의 메신저 프로그램을 제공하고 제어하기 위한 다양한 기능들을 수행할 수 있다. 영상 태깅 모듈(27)은 대화창에 표시되는 영상의 태깅 과정을 제어하며, 태깅된 영상을 위치 정보 및 메타 정보와 함께 서비스 저장부(23)에 저장하는 과정 전반을 제어하는 기능을 수행할 수 있다.

서비스 저장부(23)는 서비스 제어부(25)의 제어에 따라 메신저 프로그램 이용 중에 발생되는 다양한 정보를 저장한다. 즉 서비스 저장부(23)는 복수의 단말(10) 간에 주고 받은 대화 정보를 저장할 수 있다. 서비스 저장부(23)는 태깅된 영상, 영상의 메타 정보 및 영상의 위치 정보를 함께 저장할 수 있다. 그리고 서비스 저장부(23)는 단말(10)의 사용자 식별 정보에 대응하여 대화 정보를 저장할 수 있다.

이러한 서비스 저장부(23)는 메신저 시스템(100) 내의 하나의 저장소일 수 있고, 메신저 시스템(100) 외부에 위치하여 서비스 장치(20)와 데이터 송수신이 가능한 별도의 데이터 저장 장치일 수도 있다.

그리고 서비스 장치(20)는 서버 기반 컴퓨팅 방식 또는 클라우드 방식으로 동작하는 하나 이상의 서버로 구현될 수 있다. 특히, 메신저 시스템(100)을 통해 송수신되는 정보는 인터넷 상의 클라우드 컴퓨팅 장치에 영구적으로 저장될 수 있는 클라우드 컴퓨팅(Cloud Computing) 기능을 통해 제공될 수 있다. 여기서, 클라우드 컴퓨팅은 데스크톱, 태블릿 컴퓨터, 노트북, 넷북 및 스마트폰 등의 디지털 단말기에 인터넷 기술을 활용하여 가상화된 IT(Information Technology) 자원, 예를 들어, 하드웨어(서버, 스토리지, 네트워크 등), 소프트웨어(데이터베이스, 보안, 웹 서버 등), 서비스, 데이터 등을 온 디맨드(On demand) 방식으로 서비스하는 기술을 의미한다. 본 발명에 있어서, 다수의 단말(10)과 서비스 장치(20) 사이에 송수신되는 모든 정보는 인터넷 상의 클라우드 컴퓨팅 장치에 저장되고, 언제 어디서든 전송될 수 있다.

한편, 단말(10) 또는 서비스 장치(20)에 탑재되는 메모리는 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛 일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛 일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

비록 본 명세서와 도면에서는 예시적인 장치 구성을 기술하고 있지만, 본 명세서에서 설명하는 기능적인 동작과 주제의 구현물들은 다른 유형의 디지털 전자 회로로 구현되거나, 본 명세서에서 개시하는 구조 및 그 구조적인 등가물들을 포함하는 컴퓨터 소프트웨어, 펌웨어 혹은 하드웨어로 구현되거나, 이들 중 하나 이상의 결합으로 구현 가능하다. 본 명세서에서 설명하는 주제의 구현물들은 하나 이상의 컴퓨터 프로그램 제품, 다시 말해 본 발명에 따른 장치의 동작을 제어하기 위하여 혹은 이것에 의한 실행을 위하여 유형의 프로그램 저장매체 상에 인코딩된 컴퓨터 프로그램 명령에 관한 하나 이상의 모듈로서 구현될 수 있다. 컴퓨터로 판독 가능한 매체는 기계로 판독 가능한 저장 장치, 기계로 판독 가능한 저장 기판, 메모리 장치, 기계로 판독 가능한 전파형 신호에 영향을 미치는 물질의 조성물 혹은 이들 중 하나 이상의 조합일 수 있다.

이와 같은 본 실시예에 따른 서비스 시스템(100)에서의 태그 기반의 영상 검색 방법에 대해서 도 1 내지 도 4를 참조하여 설명하면 다음과 같다. 여기서 도 4는 본 발명의 실시예에 따른 태그 기반의 영상 검색 방법에 따른 흐름도이다.

도 1 내지 도 4를 참조하면, 먼저 S51단계에서 단말(10)은 메신저 프로그램을 실행하여 화면에 대화창을 출력한다. 즉 단말(10)은 메신저 프로그램을 실행하여 실행 화면에 대화 상대 목록을 출력한다. 대화 상대 목록 중 사용자의 선택 신호에 따라 적어도 하나의 대화 상대가 선택되면, 단말(10)은 화면에 대화창을 출력한다. 이때 대화창의 호출은 입력부를 통하여 다양한 방식으로 가능하다.

다음으로 S53단계에서 단말(10)은 대화창을 통하여 입력되는 대화 내용을 출력하면서 대화를 수행한다. 즉 다수의 단말(10)을 통하여 대화창에 참여한 사람들은 대화창을 통하여 대화 내용을 입력하면서 상대방과 대화를 수행한다. 다수의 단말(10) 간의 대화 내용을 중계는 서비스 장치(20)가 수행한다.

다음으로 S55단계에서 단말(10)은 대화 수행 중 대화창에 영상이 출력되는 지의 여부를 판단한다. 즉 단말(10)은 대화 내용으로 영상이 대화창에 출력되는 지의 여부를 판단한다. 물론 영상은 제1 단말(10a)이 제공할 수도 있고, 제2 단말(10a)이 제공할 수도 있다.

S55단계에서의 판단 결과 영상이 출력되지 않은 경우, 단말(10)은 S53단계에 따른 대화 수행 상태를 유지한다.

반면에 S55단계에서의 판단 결과 영상이 출력된 경우, S57단계에서 단말(10)은 출력된 영상, 영상의 메타 정보 및 위치 정보를 함께 저장한다.

이때 S57단계에 따른 저장은 영상이 사용자 단말인 제1 단말(10a)에서 입력되었느냐, 상대방 단말인 제2 단말(10b)에서 입력되었느냐에 따라서 도 5 및 도 4의 방식으로 수행될 수 있다. 여기서 도 5는 도 4의 저장 단계의 일 예에 대한 상세 흐름도이다. 도 6은 도 4의 저장 단계의 다른 예에 대한 상세 흐름도이다.

먼저 도 5는 제1 단말(10a)에서 대화창으로 영상이 입력된 경우이다.

도 5를 참조하면, 먼저 S571단계에서 제1 단말(10a)은 제2 단말(10b)로 전송할 영상을 대화창에 입력한다.

이어서 S573단계에서 제1 단말(10a)은 자신의 현재 위치를 파악한다. 즉 단말(10)은 통신부 또는 GPS 모듈(도시안됨)을 통하여, 단말(10)의 현재 위치에 대한 좌표 정보를 획득할 수 있다. 단말(10)은 획득한 좌표 정보를 기반으로 현재 위치의 장소 명 또는 건물 명을 획득할 수 있다. 단말(10)은 획득한 장소 명 또는 건물 명을 해당 영상의 태그로 사용할 수 있다.

그리고 S575단계에서 제1 단말(10a)은 입력한 영상, 파악한 자신의 현재 위치 정보 및 입력한 영상의 메타 정보를 함께 저장한다.

도 6은 제2 단말(10b)에서 대화창으로 영상이 입력된 경우이다.

도 1 및 도 6을 참조하면, 먼저 S572단계에서 제1 단말(10a)은 서비스 장치(20)를 통하여 제2 단말(10b)로부터 영상을 수신하여 대화창에 출력한다. 즉 제2 단말(10b)이 제1 단말(10a)로 전송할 영상을 대화창에 입력하면, 서비스 장치(20)는 해당 영상을 수신하여 제1 단말(10a)로 전송한다. 제1 단말(10a)은 수신한 영상을 대화창에 출력한다.

이때 제1 단말(10a)이 수신한 영상에는 해당 영상의 메타 정보가 포함되어 있다.

이어서 S574단계에서 제1 단말(10a)은 서비스 장치(20)로부터 제2 단말(10b)의 현재 위치 정보를 수신한다. 예컨대 서비스 장치(20)는 제2 단말(10b)로부터 제2 단말(10b)의 현재 위치 정보를 수신하여 제1 단말(10a)로 전달할 수 있다.

그리고 S576단계에서 제1 단말(10a)은 대화창에 출력한 영상, 수신한 제2 단말(10b)의 현재 위치 정보 및 출력한 영상의 메타 정보를 함께 저장한다.

다음으로 S59단계에서 단말(10)은 영상의 메타 정보와 위치 정보를 기반으로 영상을 태깅한다. 이때 태깅은 해당 영상의 내용을 대표할 수 있는 검색용 꼬리표인 키워드 또는 태그를 다는 것으로, 사용자가 영상을 쉽게 찾을 수 있는 텍스트 형태의 정보를 제공하기 위해서 사용되었다. 영상의 위치 정보는 영상을 전송하는 쪽의 현재 위치에 대한 좌표 정보를 기반으로 한 장소 명 또는 건물 명, 영상이 대화창에 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명 또는 명칭을 포함할 수 있다.

예컨대 단말(10)은 단말(10)의 현재 위치에 대한 좌표 정보를 획득하고, 획득한 좌표 정보를 기반으로 현재 위치의 장소 명 또는 건물 명을 획득한다. 그리고 단말(10)는 획득한 장소 명 또는 건물 명을 해당 영상의 태그로 사용하여 태깅할 수 있다.

또는 단말(10)은 대화창에서 영상이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명 또는 명칭을 추출한다. 그리고 단말(10)은 추출한 장소 명, 건물 명 또는 명칭을 해당 영상의 태그로 사용하여 태깅할 수 있다. 이때 영상이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지는 영상이 표시된 위치를 기준으로 상하로 1 내지 5개의 문자 메시지를 포함할 수 있으며, 이것에 한정되는 것은 아니다.

물론 S59단계에서 단말(10)은 태깅된 영상을 저장한다.

한편 본 실시예에 따른 방법에서는, 단말(10)이 저장 후에 태깅하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 단말(10)이 태깅을 완료한 이후에 태깅된 영상, 영상의 메타 정보 및 위치 정보를 함께 저장할 수도 있다.

다음으로 S61단계에서 단말(10)은 대화창에 연동된 검색창이 출력되는 지의 여부를 판단한다. 즉 사용자는 대화창에서 대화 내용을 검색하고자 하는 경우, 사용자의 선택 신호에 따라 단말(10)은 대화창에 연동된 검색창을 호출하여 화면에 출력할 수 있다. 검색창의 호출은 입력부를 통하여 다양한 방식으로 가능하다.

S61단계의 판단 결과 검색창이 출력되지 않은 경우, 단말(10)은 S53단계에 따른 대화 수행 상태를 유지한다.

반면에 S61단계의 판단 결과 검색창이 출력된 경우, S63단계에서 단말(10)은 사용자로부터 검색어를 입력받는다. 이때 검색어는 텍스트 형태일 수 있다.

그리고 검색어가 입력된 후 검색 요청 신호가 입력되면, S65단계에서 단말(10)은 검색어를 포함하는 태그를 갖는 영상을 추출하여 화면에 출력한다. 즉 단말(10)은 저장된 대화 내용 중에서 검색어를 포함하는 태그를 갖는 영상을 추출하고, 추출한 영상을 검색창에 출력한다. 추출된 영상이 복수 개인 경우, 단말(10)은 추출된 영상이 입력된 시간 순서에 따라 순차적으로 검색창에 출력할 수 있다. 이때 대화 내용은 단말(10) 또는 서비스 장치(20)에 저장되어 있을 수 있다.

이와 같은 본 실시예에 따른 태그 기반의 영상 검색 방법에 대해서 도 7 내지 도 9의 화면 예시도를 참조하여 설명하면 다음과 같다. 여기서 도 7 내지 도 9는 본 발명의 실시예에 태그 기반의 영상 검색 방법에 따른 화면 예시도이다.

도 7은 사용자 단말, 즉 제1 단말에서의 메신저 프로그램의 대화창(70)의 일 예를 도시한 것이다.

대화창(70)은 상단(71), 중단(73) 및 하단(75)을 포함하여 구성될 수 있다. 상단(71)에는 대화창(70)을 통해 연결된 상대방 단말, 즉 제2 단말의 사용자에 대한 정보가 표시될 수 있다.

중단(73)에는 대화창(70)을 통하여 서비스 장치의 제어 하에 제1 및 제2 단말 간에 주고 받는 다양한 형태의 대화 내용이 표시될 수 있다.

그리고 하단(75)에는 제2 단말과 다양한 정보, 예컨대 사진, 음악 등의 컨텐츠를 공유하기 위한 컨텐츠 공유 화면 표시 메뉴(72), 제2 단말로 이모티콘, 스티커 등을 전송하기 위한 메뉴(74), 메시지를 입력하기 위한 입력란(76) 및 전송 버튼(79) 등이 표시될 수 있다.

제1 단말의 사용자는 대화창(70)의 하단(75)에 마련된 다양한 메뉴를 통하여 입력란(76)에 문자 메시지, 영상 등을 입력할 수 있다. 제1 단말의 사용자가 입력한 내용은 중단(73)의 오른쪽에 표시되고, 제2 단말의 사용자가 입력한 내용은 중단(73)의 왼쪽에 표시될 수 있다.

이와 같이 단말 사용자는 대화창(70)을 통하여 다양한 형태의 대화 내용을 주고 받을 수 있다.

이때 전술된 바와 같이, 대화 내용 중 영상이 입력되면, 제1 단말은 해당 영상을 태깅하여 저장한다. 예컨대 제1 단말 사용자는 “A박물관”에서 사진을 촬영하여 대화창(70)에 입력한 예를 개시하였다. 이때 제1 단말은 “A박물관” 사진을 촬영한 좌표 정보를 GPS 모듈을 통하여 획득한 후, 획득한 좌표 정보를 이용하여 사용자의 현재 위치가 “A박물관”이라는 장소 명을 획득할 수 있다. 제1 단말은 “A박물관”의 장소 명을 포함시켜 “A박물관”의 사진을 태깅할 수 있다. 물론 제1 단말은 태깅된 “A박물관”의 사진, 사진의 메타 정보 및 위치 정보를 함께 저장할 수 있다.

또는 제1 단말(10)은 대화창에서 “A박물관”의 사진이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 “A박물관”이라는 장소 명을 추출한다. 그리고 제1 단말은 추출한 “A박물관”의 장소 명을 해당 영상의 태그로 사용하여 태깅할 수 있다. 물론 제1 단말은 태깅된 “A박물관”의 사진을 저장할 수 있다.

한편 사용자는 대화창(70)의 내용 중 검색하고자 하는 사항이 있는 경우, 해당 대화창(70)이 화면에 출력된 상태에서, 도 8에 도시된 바와 같이, 검색창(80)을 호출하여 화면에 출력할 수 있다. 검색창(80)에는 텍스트를 입력할 수 있는 검색란(81)을 제공한다.

예컨대 사용자가 검색란(81)에 “A박물관”이라는 텍스트 형태의 검색어를 입력하여 제1 단말에 검색을 수행시키면, 제1 단말은 도 9에 도시된 바와 같이, “A박물관”에 대한 태그를 갖고 있는 “A박물관”의 사진을 해당 대화창(70)의 대화 내용에서 추출하여 검색창(80)의 검색 출력창(85)에 표시할 수 있다.

그리고 검색창(80)에는 검색란(81)과 검색 출력창(85) 사이에 검색 건수에 대한 정보를 요약 정보란(83)에 표시할 수 있다. 예컨대 “A박물관”에 대한 추출한 영상이 1개인 경우, 제1 단말은 요약 정보란(83)에 “A박물관에 대한 1건 검색”이라고 표시할 수 있다.

한편 전술한 본 발명의 실시예에 따른 태그 기반의 영상 검색 방법에서는 태그 기반으로 영상만을 검색하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 예컨대 도 10에 도시된 바와 같이, 단말은 검색어 매칭되는 영상과 함께 문자 메시지도 검색하여 제공할 수 있다.

도 10은 본 발명의 다른 실시예에 따른 태그 기반의 영상 검색 방법에 따른 흐름도이다.

도 1 및 도 10을 참조하면, 본 발명의 다른 실시예에 따른 태그 기반의 영상 검색 방법은 S51단계 내지 S63단계는 도 4에 도시된 본 발명의 실시예에 따른 태그 기반의 영상 검색 방법과 동일하게 진행된다.

따라서 S63단계 이후에 진행되는 S67단계에서 대해서 설명하도록 하겠다.

즉 검색어가 입력된 후 검색 요청 신호가 입력되면, S67단계에서 단말(10)은 검색어를 포함하는 태그를 갖는 영상과 문자 메시지를 추출하여 화면에 출력한다. 즉 단말(10)은 저장된 대화 내용 중에서 검색어를 포함하는 태그를 갖는 영상과 문자 메시지를 추출하고, 추출한 영상과 문자 메시지를 검색창에 출력한다.

이때 추출된 영상과 문자 메시지가 있는 경우, 단말(10)은 추출된 영상이 입력된 시간 순서에 따라 순차적으로 검색창에 출력할 수 있다. 이때 대화 내용은 단말(10) 또는 서비스 장치(20)에 저장되어 있을 수 있다.

이와 같은 본 발명의 다른 실시예에 따른 태그 기반의 영상 검색 방법에 대해서 도 7, 도 8 및 도 11의 화면 예시도를 참조하여 설명하면 다음과 같다. 여기서 도 11은 본 발명의 다른 실시예에 태그 기반의 영상 검색 방법에 따른 화면 예시도이다.

대화창에 대화 내용을 입력하고, 검색창에 검색어를 입력하는 과정은 도 7 및 도 8과 동일한 방식으로 수행될 수 있기 때문에, 이에 대한 상세한 설명은 생략한다.

다음으로 사용자가 검색란(81)에 “A박물관”이라고 입력하여 제1 단말에 검색을 수행시키면, 제1 단말은 도 11에 도시된 바와 같이, “A박물관”에 대한 태그를 갖고 있는 “A박물관”의 사진과, “A박물관”이라는 검색어가 포함된 문자 메시지를 해당 대화창(70)의 대화 내용에서 추출하여 검색 출력창(85)에 표시할 수 있다.

그리고 검색창(80)에는 검색란(81)과 검색 출력창(85) 사이에 검색 건수에 대한 정보를 요약 정보란(83)에 표시할 수 있다. 예컨대 “A박물관”에 대한 추출한 영상 및 문자 메시지의 건 수가 3개인 경우, 제1 단말은 요약 정보란(83)에 “A박물관에 대한 3건 검색”이라고 표시할 수 있다.

한편 본 화면 예시도에서는 검색 건 수 전체를 일괄적으로 요약하여 표시하는 예를 개시하였지만, 영상과 문자 메시지의 검색 건 수를 구분하여 요약 정보란(83)에 표시할 수 있다. 예컨대 “A박물관”에 대한 추출한 영상 및 문자 메시지의 건 수가 3개인 경우, 제1 단말은 요약 정보란(83)에 “A박물관에 대한 사진 1건, 문자 메시지 2건 검색”이라고 표시할 수 있다.

상술한 바와 같은 본 발명의 태그를 기반으로 하는 영상 검색 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이때, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.

본 발명에 따른 태그 기반의 영상 검색 방법, 이를 위한 장치 및 시스템은 대화창에 입력되는 영상에 메타 정보와 위치 정보를 기반으로 태깅하고, 메신저 프로그램이 제공하는 텍스트 검색 기능을 통하여 영상에 부여된 태그에 대해서 텍스트 검색을 수행함으로써, 대화창에 존재하는 대화 내용에서 문자 메시지 뿐만 아니라 영상을 검색하여 제공할 수 있다.

따라서 사용자는 메신저 서비스가 제공하는 대화창의 텍스트 검색 기능을 통하여 해당 대화창에 포함된 영상도 쉽게 검색할 수 있기 때문에, 대화창에서 특정 영상을 찾기 위해서 일일이 대화창을 스크롤 하면서 찾아야 하는 번거로움을 해소할 수 있다.

10: 단말 11: 통신부 12: 입력부
13: 저장부 14: 출력부 15: 저장부
16: 메신저 제어 모듈 17: 영상 태깅 모듈 20: 서비스 장치
21: 서비스 통신부 23: 서비스 저장부 25: 서비스 제어부
30: 통신망 100: 메신저 시스템

Claims (20)

1. 메신저 프로그램을 통해 입력되는 대화 내용을 출력하는 출력부;
   상기 출력부와 기능적으로 연결되며, 상기 메신저 프로그램을 실행하고, 상기 실행 중인 메신저 프로그램을 통해 영상이 대화 내용으로서 상기 출력부로 출력되면, 상기 영상의 메타 정보와 위치 정보를 기반으로 상기 영상을 태깅하여 텍스트 형태로 저장하고, 상기 메신저 프로그램에 검색어가 입력되면, 상기 검색어를 포함하는 태그를 가진 영상을 추출하여 상기 출력부를 통해 출력하는 제어부; 를 포함하고,
   상기 메신저 프로그램의 대화창에서 상기 영상이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명 또는 명칭을 추출하고, 추출한 장소 명, 건물 명 또는 명칭을 영상의 태그로 사용하여 태깅하는
   것을 특징으로 하는 단말.
2. 제1항에 있어서, 상기 제어부는
   단말의 현재 위치에 대한 좌표 정보를 획득하고, 획득한 좌표 정보를 기반으로 현재 위치의 장소 명 또는 건물 명을 획득한 후, 획득한 장소 명 또는 건물 명을 해당 영상의 태그로 사용하여 태깅하는
   것을 특징으로 하는 단말.
3. 제1항에 있어서, 상기 제어부는
   상기 검색어를 포함하는 태그를 가진 영상과 함께 상기 검색어를 포함하는 문자 메시지를 더 추출하여 상기 출력부를 통해 출력하는
   것을 특징으로 하는 단말.
4. 하나 이상의 단말과 메신저 프로그램을 통해 정보를 송수신하는 서비스 통신부; 및
   상기 서비스 통신부와 기능적으로 연결되며, 상기 서비스 통신부를 통해 상기 메신저 프로그램이 실행되고 있는 단말로부터 영상이 수신되면, 상기 영상의 메타 정보와 위치 정보를 기반으로 상기 영상을 태깅하여 텍스트 형태로 저장하고, 상기 단말의 메신저 프로그램에 입력된 검색어가 수신되면, 상기 검색어를 포함하는 태그를 가진 영상을 추출하여 상기 단말로 전송하는 서비스 제어부; 를 포함하고,
   상기 메신저 프로그램의 대화창에서 상기 영상이 표시된 위치를 중심으로 근방에 위치하는 문자 메시지에 포함된 장소 명, 건물 명 또는 명칭을 추출하고, 추출한 장소 명, 건물 명 또는 명칭을 영상의 태그로 사용하여 태깅하는
   것을 특징으로 하는 서비스 장치.
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images