KR20140044663A

KR20140044663A - 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법

Info

Publication number: KR20140044663A
Application number: KR1020120110907A
Authority: KR
Inventors: 정길수; 민종술
Original assignee: 삼성전자주식회사
Priority date: 2012-10-05
Filing date: 2012-10-05
Publication date: 2014-04-15

Abstract

방송 수신 장치가 개시된다. 방송 신호를 수신하는 방송 수신 장치에 있어서, 방송 컨텐츠를 수신하는 수신부, 방송 컨텐츠를 처리하는 신호 처리부, 신호 처리부에서 처리된 방송 컨텐츠를 디스플레이하는 디스플레이부, 검색 명령을 입력받기 위한 입력부, 검색 명령이 입력되면, 디스플레이부에 디스플레이되고 있는 영상 프레임을 캡쳐하도록 신호 처리부를 제어하는 제어부 및 캡쳐된 영상 프레임을 타 디스플레이 장치로 전송하는 통신부를 포함하며, 제어부는 타 디스플레이 장치에서 캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 전송하면, 검색 결과를 디스플레이부에 디스플레이한다. 이에 따라, 방송 화면상에 표시되는 객체 이미지를 특정하고 특정된 관심 객체에 대한 정보 검색이 가능하다.

Description

방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법{INFORMATION RETRIEVAL METHOD BY USING BROADCAST RECEIVING APPARATUS WITH DISPLAY DEVICE AND THE APPARATUS THEREOF}

본 발명은 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법에 관한 것으로, 더욱 상세하게는 방송 화면상의 객체 이미지를 특정하여 검색하는 방송 수신 장치 및 디스플레이 장치와 그 검색 방법에 관한 것이다.

방송 수신 장치는 방송 컨텐츠를 출력하는 장치로서 대표적인 예로 TV가 있다. 방송 컨텐츠는 사용자의 관심을 끌고 즐거움을 주기 위해 새로운 물건, 맛있는 음식, 아름다운 풍경이 있는 장소를 포함하는 있는 경우가 많다. 따라서, 사용자는 방송 컨텐츠를 시청할 때 방송 컨텐츠 내의 물건, 음식, 장소 등에 관심을 가지고 검색을 시도할 수 있다.

종래에는 사용자가 관심을 가지는 물건 등을 검색하려면 인터넷이 연결된 기기(예, 데스크탑 컴퓨터)를 이용하여 검색할 수 있었다. 따라서, 방송 컨텐츠가 종료된 후에 검색을 시도하거나, 방송 컨텐츠의 시청을 포기하고 검색을 할 수 밖에 없었다.

최근, 무선 인터넷 기술 및 휴대용 기기에 관한 기술이 발전하면서 사용자는 방송 컨텐츠를 시청하면서 검색이 가능해졌다. 그러나, 사용자가 시청 중에 검색을 하는 경우에도 텍스트를 이용하여 검색을 해야한다. 따라서, 검색을 실시하는 시간이 다소 소요될 수 있어서 검색을 실시하는 동안 방송 컨텐츠를 시청할 수 없는 문제점이 있다.

사용자가 방송 컨텐츠를 시청하면서 검색을 실시하는 경우 사용자는 특정 물건의 검색을 원한다. 예를 들어, 특정 드라마에 출연하는 AAA 출연자가 사용하는 aaa 머플러를 보면서, aaa 머플러에 대해 검색하기를 원한다. 일반적으로 사용자가 휴대용 기기를 이용하여 aaa 머플러를 검색한다면 머플러라는 단어를 입력하고 검색 결과를 확인한다. 그러나, 머플러라는 단어만을 입력하여 검색하면 일반적인 머플러에 대한 검색 결과가 나올 뿐 검색을 원하는 aaa 머플러에 대한 검색 결과를 얻기 힘들다. 좀 더 정확하게 검색하기 위해서 '특정 드라마 AAA 출연자 머플러'라고 단어를 입력하여 검색한다면 시간이 많이 소요될 뿐 아니라 구체적으로 입력하여 검색해도 원하는 검색 결과가 항상 나오는 것이 아니다.

이러한 문제점을 해결하기 위해, 다양한 방법이 제안되었다. 예를 들어, 사용자가 머플러를 그려서 그림으로 검색하는 방법이 있다. 그러나, 사용자가 그림을 잘 그리지 못하는 경우 엉뚱한 검색 결과가 나올 수 있다. 또한, AAA 출연자가 사용하는 aaa 머플러를 그림으로 표현하기 어렵기 때문에 정확한 검색 결과를 얻기 어려운 점이 있다. 따라서, 보다 효과적으로 원하는 검색 결과를 얻을 수 있는 기술에 대한 필요성 대두되고 있다.

본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 방송 화면상에 표시되는 객체 이미지를 특정하고, 특정된 객체의 정보를 검색하는 방송 수신 장치 및 디스플레이 장치와 그 검색 방법을 제공하는 것을 목적으로 한다.

본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 방송 신호를 수신하는 방송 수신 장치에 있어서 방송 컨텐츠를 수신하는 수신부, 상기 방송 컨텐츠를 처리하는 신호 처리부, 상기 신호 처리부에서 처리된 상기 방송 컨텐츠를 디스플레이하는 디스플레이부, 검색 명령을 입력받기 위한 입력부, 상기 검색 명령이 입력되면, 상기 디스플레이부에 디스플레이되고 있는 영상 프레임을 캡쳐하도록 상기 신호 처리부를 제어하는 제어부 및 상기 캡쳐된 영상 프레임을 타 디스플레이 장치로 전송하는 통신부를 포함하며, 상기 제어부는 상기 타 디스플레이 장치에서 상기 캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 전송하면, 상기 검색 결과를 상기 디스플레이부에 디스플레이한다.

그리고, 상기 제어부는 상기 검색 명령이 입력된 시점을 기준으로 기 설정된 시간 범위 이내에 디스플레이되었던 복수의 영상 프레임을 캡쳐하여 상기 타 디스플레이 장치로 전송하도록 상기 신호 처리부 및 상기 통신부를 제어할 수 있다.

그리고, 상기 통신부는 상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 타 디스플레이 장치로 전송하며, 상기 방송 컨텐츠 정보는 EPG 정보, 방송 컨텐츠 제작 정보, 상기 방송 컨텐츠의 각 영상 프레임 별 객체 정보, 촬영 장소 정보, 등장인물 정보, 영상 프레임 식별 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 디스플레이 장치는 방송 컨텐츠를 디스플레이하는 방송 수신 장치로부터 캡쳐된 영상 프레임을 수신하는 통신부, 상기 영상 프레임을 포함하는 검색 UI를 생성하는 UI 생성부, 상기 검색 UI를 디스플레이하는 디스플레이부, 상기 검색 UI에 표시된 상기 영상 프레임 내의 객체에 대한 사용자 선택을 입력받는 입력부 및 상기 사용자 선택에 의해 객체가 특정되면, 웹 서버에 액세스하여 상기 특정된 객체에 대한 검색을 수행하는 제어부를 포함한다.

그리고, 상기 제어부는 상기 영상 프레임 내에서 사용자 선택이 이루어진 영역에 대한 위치 정보 및 이미지 영역 정보를 이용하여 상기 객체를 특정하고 특정된 상기 객체를 검색하기 위한 식별자를 추출할 수 있다.

그리고, 상기 통신부는 상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 방송 수신 장치로부터 수신하며, 상기 제어부는 상기 추출된 식별자 및 상기 수신된 방송 컨텐츠 정보를 이용하여 상기 특정된 객체에 대한 검색을 수행할 수 있다.

또한, 상기 통신부는 복수의 영상 프레임을 상기 방송 수신 장치로부터 수신하며, 상기 검색 UI는 상기 복수의 영상 프레임 중 하나를 디스플레이하는 제1 영역, 상기 복수의 영상 프레임 중 나머지를 썸네일 형태로 디스플레이하는 제2 영역, 상기 제1 영역 내에서 객체를 특정하기 위한 툴을 선택하기 위한 제3 영역, 검색에 이용할 부가 정보를 입력받기 위한 제4 영역을 포함할 수 있다.

그리고, 상기 제어부는 상기 객체에 대한 검색 결과를 상기 방송 수신 장치로 전송하도록 상기 통신부를 제어할 수 있다.

그리고, 상기 제어부는 상기 객체에 대한 검색 결과를 디스플레이하도록 상기 디스플레이부를 제어할 수 있다.

본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법은 방송 컨텐츠를 수신하는 단계, 상기 방송 컨텐츠를 처리하는 단계, 처리된 상기 방송 컨텐츠를 디스플레이하는 단계, 검색 명령을 입력받는 단계, 상기 검색 명령이 입력되면, 디스플레이되고 있는 영상 프레임을 캡쳐하는 단계, 상기 캡쳐된 영상 프레임을 타 디스플레이 장치로 전송하는 단계 및 상기 타 디스플레이 장치에서 상기 캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 전송하면, 상기 검색 결과를 디스플레이하는 단계를 포함한다.

그리고, 상기 캡쳐하는 단계는 상기 검색 명령이 입력된 시점을 기준으로 기 설정된 시간 범위 이내에 디스플레이되었던 복수의 영상 프레임을 캡쳐할 수 있다.

그리고, 상기 전송하는 단계는 상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 타 디스플레이 장치로 전송하며, 상기 방송 컨텐츠 정보는 EPG 정보, 방송 컨텐츠 제작 정보, 상기 방송 컨텐츠의 각 영상 프레임 별 객체 정보, 촬영 장소 정보, 등장인물 정보, 영상 프레임 식별 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 상술한 목적을 달성하기 위한 일 실시예에 따르면 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법은 방송 컨텐츠를 디스플레이하는 방송 수신 장치로부터 캡쳐된 영상 프레임을 수신하는 단계, 상기 영상 프레임을 포함하는 검색 UI를 생성하는 단계, 상기 검색 UI를 디스플레이하는 단계, 상기 검색 UI에 표시된 상기 영상 프레임 내의 객체에 대한 사용자 선택을 입력받는 단계 및 상기 사용자 선택에 의해 객체가 특정되면, 웹 서버에 액세스하여 상기 특정된 객체에 대한 검색을 수행하는 단계를 포함한다.

한편, 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법은 상기 영상 프레임 내에서 사용자 선택이 이루어진 영역에 대한 위치 정보 및 이미지 영역 정보를 이용하여 상기 객체를 특정하고 특정된 상기 객체를 검색하기 위한 식별자를 추출하는 단계를 더 포함할 수 있다.

또한, 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법은 상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 방송 수신 장치로부터 수신하는 단계를 더 포함하며, 상기 검색을 수행하는 단계는 상기 추출된 식별자 및 상기 수신된 방송 컨텐츠 정보를 이용하여 상기 특정된 객체에 대한 검색을 수행할 수 있다.

그리고, 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법은 상기 객체에 대한 검색 결과를 상기 방송 수신 장치로 전송하는 단계를 더 포함할 수 있다.

또한, 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법은 상기 객체에 대한 검색 결과를 디스플레이하는 단계를 더 포함할 수 있다.

이상과 같이 본 발명의 다양한 실시예에 따르면, 방송 화면상에 표시되는 객체 이미지를 특정하고 특정된 관심 객체에 대한 정보 검색이 가능하다.

도 1은 본 발명의 일 실시 예에 따른 검색 시스템의 구성을 나타내는 도면.
도 2는 본 발명의 일 실시예에 따른 방송 수신 장치의 블록도.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도.
도 4는 본 발명의 다른 실시예에 따른 방송 수신 장치의 블록도.
도 5는 본 발명의 일 실시예에 따른 신호처리부와 제어부의 상세 블록도.
도 6은 본 발명의 일 실시예에 따른 영상 프레임의 캡쳐를 설명하는 도면.
도 7는 본 발명의 일 실시예에 따른 디스플레이 장치의 UI를 설명하는 도면.
도 8은 본 발명의 일 실시예에 따른 객체의 특정을 설명하는 도면.
도 9 내지 도10은 본 발명의 다른 실시예에 따른 객체의 특정을 설명하는 도면.
도 11은 본 발명의 일 실시예에 따른 검색 결과를 설명하는 도면.
도 12는 본 발명의 일 실시예에 따른 방송 수신 장치에서의 검색 방법의 흐름도.
도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서의 검색 방법의 흐름도.
도 14는 본 발명의 다른 실시예에 따른 방송 수신 장치에서의 검색 방법의 흐름도.
도 15는 본 발명의 일 실시예에 따른 시스템에서의 객체 검색 방법을 설명하기 위한 타이밍도.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른 검색 시스템의 구성을 나타내는 도면이다. 도 1에 따르면, 객체 검색을 위한 시스템은 방송 수신 장치(100) 및 디스플레이 장치(200)를 포함한다.

방송 수신 장치(100)는 통상적으로 TV로 구현될 수 있지만, 이에 한정되지 않고 전자 액자, PC, 노트북 PC 등과 같이 방송 수신 기능을 구비한 다양한 유형의 장치가 될 수 있다. 또한, 디스플레이 장치(200) 역시 휴대폰, PDA, MP3, 네비게이션, 보조 TV, 통신 기능이 포함된 모니터 등과 같이 다양한 유형의 장치가 될 수 있다.

사용자는 방송 수신 장치(100)의 화면을 통하여 방송 프로그램을 시청할 수 있다. 이러한 상태에서 디스플레이되는 화면을 캡쳐할 수 있다. 사용자가 화면을 캡쳐하면, 방송 수신 장치(100)는 디스플레이 장치(200)와 통신을 연결하여 디스플레이 장치(200)로 캡쳐한 화면을 전송한다.

전송된 캡쳐 화면은 디스플레이 장치(200)에서 디스플레이된다. 사용자는 디스플레이 장치(200)에서 디스플레이되는 화면상의 객체를 선택할 수 있다. 객체의 선택은 화면 상에 표시된 객체의 테두리를 따라 선을 긋는 방법으로 할 수 있다. 디스플레이 장치(200)는 객체가 선택되면 검색 서버에서 검색을 위해 요구되는 식별자 형태를 추출한다. 식별자의 추출은 객체 이미지 정보 뿐만 아니라 방송 컨텐츠 정보로부터 추출될 수 있다. 방송 컨텐츠 정보로부터 추출된 정보는 매칭(matching)과정의 속도를 높이고 결과의 정확성을 높일 수 있다. 디스플레이 장치(200)은 추출된 식별자를 검색 서버로 전송 후 검색 결과를 수신한다.

검색 결과는 디스플레이 장치(200)에 표시될 수 있고, 방송 수신 장치(100)로 전송되어 표시될 수 있다. 또는 디스플레이 장치(200)와 방송 수신 장치(100) 모두에서 표시될 수 있다. 선택된 객체를 검색하는 중에도 방송 수신 장치(100)는 방송 프로그램을 출력하고 있다. 따라서, 검색 결과가 방송 수신 장치(100)에서 표시되는 경우, 사용자의 방송 프로그램 시청에 방해가 되지 않도록 디스플레이부의 일부에 표시될 수 있다. 사용자의 선택에 따라 검색 결과는 디스플레이부의 전체 화면으로 표시될 수 있으며, 투명 또는 반투명으로 표시될 수도 있다.

방송 수신 장치(100) 또는 디스플레이 장치(200)는 검색 결과를 표시할 때, 재검색 버튼 또는 관련 사이트를 링크시켜 표시할 수 있다. 사용자가 재검색 버튼을 선택하면 차순위로 매칭된 검색 결과를 표시할 수 있다. 또는 링크된 관련 사이트를 선택하면 링크된 관련 사이트로 연결될 수 있다. 예를 들어, 관련 사이트는 물품의 제조사 홈페이지, 온라인 쇼핑몰 등이 될 수 있다.

아래에서는 방송 수신 장치를 이용하여 객체를 검색하는 다양한 실시 예에 대해서 설명하기로 한다.

<방송 수신 장치와 디스플레이 장치를 이용한 실시 예>

도 2는 본 발명의 일 실시예에 따른 방송 수신 장치의 블록도이다.

도 2에 따르면, 방송 수신 장치(100)는 수신부(110), 신호처리부(120), 디스플레이부(130), 입력부(140), 통신부(150), 제어부(160)를 포함한다.

수신부(110)란 안테나 및 튜너 등과 같이 방송 신호를 수신하기 위한 구성을 의미한다. 수신부(110)에는 복조기, 등화기 등과 같은 다양한 구성요소가 포함될 수 있다. 수신부(110)는 방송 신호 뿐만 아니라 방송 컨텐츠 정보 및 그 방송 신호의 화면을 구성하는 객체들에 대한 객체 정보도 함께 수신할 수 있다. 이러한 추가적인 정보는 방송 신호의 스트림 내에 포함되어 방송국으로부터 제공될 수 있다. 그리고, 객체 정보는 방송 신호의 스트림 내에 포함되어 제공되는 상품 정보에서 추출된 메타 데이터일 수 있다. 또는, 객체 정보는 방송 신호와 별도의 소스로부터 전송된 것일 수도 있다. 가령, 방송 프로그램의 제작을 지원한 지원 사의 웹서버나, 쇼핑 몰 서버 등으로부터 전송될 수도 있다.

신호처리부(120)는 수신된 방송 신호를 처리하여 출력시키고, 사용자의 검색 명령에 대응하여 영상 프레임을 캡쳐한다. 수신부(110)로부터 들어온 방송 신호는 디멀티플렉서에 의해 음성 신호와 영상 신호로 분리된다. 분리된 방송 음성 신호는 송신기에서 압축된 디지털 음성 신호이다. 따라서, 오디오 디코더는 압축된 디지털 음성 신호를 복구하여 D/A 컨버터를 통해 아날로그 오디오 신호로 변환한다. 마찬가지로 분리된 방송 영상 신호는 송신기에서 압축된 디지털 영상 신호이다.

예를 들어, 압축된 디지털 영상 신호는 IBBP 프레임으로 구성될 수 있다. I 프레임은 인트라 프레임(Intra Frame)으로서 다른 프레임의 움직임 예측(motion prediction)의 기준이 되는 프레임이다. P 프레임은 예측 프레임(Predicted Frame)으로서 프레임 내의 객체 정보를 가지고 있으며 B 프레임의 기준이 되는 프레임이다. B 프레임은 사이 프레임(Between Frame)으로서 실질적인 데이터는 가지고 있지 않으며, I 프레임과 P 프레임의 정보를 이용하여 디코딩되는 프레임이다. 즉, 신호처리부(120)는 I 프레임을 기준 프레임으로 하여 P 프레임으로부터 객체 정보를 얻는다. I 프레임과 P 프레임 간 객체의 움직임 방향, 거리 등의 정보를 이용하여 I 프레임과 P 프레임 사이의 B 프레임을 디코딩한다. 디코딩 순서는 I 프레임, P 프레임, 복수의 B 프레임 순서가 되며, 재생 순서는 I 프레임, 복수의 B 프레임, P 프레임 순서가 된다.

IBBP 프레임을 디코딩하기 위해서는 재생순서 정보를 포함하는 PTS(Presentation Time Stamp)와 디코딩 순서를 포함하는 DTS(Decoding Time Stamp) 정보가 필요하다. PTS 및 DTS 정보는 방송 신호 스트림 내에 포함되어 전송된다. 그리고, 방송 수신 장치(100)는 이러한 디코딩을 위해서 각 프레임을 임시로 저장한다. 임시로 저장하는 장소는 저장부(미도시)가 될 수도 있고, 신호처리부(120) 내의 버퍼가 될 수도 있다.

신호처리부(120)는 사용자의 검색 명령에 대응하여 프레임을 캡쳐할 비디오 캡쳐부를 포함할 수 있다. 비디오 캡쳐부는 비디오 디코더를 통해 출력된 사용자의 관심 객체를 포함하는 영상 프레임을 캡쳐한다. 사용자의 관심 객체란 방송 영상 이미지에 포함되어 있는 검색을 희망하는 객체를 의미한다. 예를 들어, 객체는 물건, 음식, 장소 등이 될 수 있다. 사용자는 방송 프로그램을 시청하는 중에 화면에 표시되는 객체에 관심을 가지게 될 것이므로 사용자의 관심 객체가 포함된 영상은 현재 표시되는 영상 프레임이 된다.

따라서, 방송 수신 장치(100)가 사용자로부터 검색 명령을 입력받으면, 비디오 캡쳐부가 현재 표시되는 영상 프레임을 캡쳐한다. 그러나, 방송 화면은 초당 수십 프레임이 표시되는데(예, 초당 30프레임), 사용자의 입력 명령에 대응하여 영상 프레임을 캡쳐할 때까지 시간이 걸린다. 따라서, 사용자가 원하는 화면이 캡쳐되지 않을 수가 있으므로 비디오 캡쳐부는 캡쳐를 수행할 때, 이전의 프레임을 동시에 캡쳐할 수 있다. 구체적인 방법에 대해서는 후술하기로 한다.

디스플레이부(130)는 수신부(110)에서 수신한 방송 신호를 처리하여 화면 상에 디스플레이한다. 그리고, 디스플레이 장치(200)에서 전송한 검색 결과를 디스플레이한다. 디스플레이부(130)의 기능 및 구성은 이미 주지된 내용이므로, 구체적인 설명 및 도시는 생략한다.

입력부(140)는 사용자로부터 검색 수행 명령을 입력받는다. 입력부(140)가 입력받는 신호는 IR 신호, RF 신호 등이 될 수 있다. 경우에 따라, 유선으로 연결된 입력 장치(미도시)로부터 발생되는 전기 신호가 될 수도 있다.

통신부(150)는 신호처리부(120)에서 캡쳐한 영상 프레임을 디스플레이 장치(200)로 전송한다. 경우에 따라, 방송 컨텐츠 정보를 포함하여 전송할 수 있다. 방송 컨텐츠 정보는 EPG 정보, 방송 컨텐츠 제작 정보, 상기 방송 컨텐츠의 각 영상 프레임 별 객체 정보, 촬영 장소 정보, 등장 인물 정보, 영상 프레임 식별 정보 중 적어도 하나를 포함할 수 있다. EPG 정보는 방송사 정보, 프로그램 타이틀 정보, 방송 시간 정보를 포함할 수 있다. 영상 프레임 식별 정보는 캡쳐한 영상 프레임과 관련된 시간 정보(예, 러닝타임 1시간 중 29분31초에 방송된 화면), PTS 정보, DTS 정보를 포함할 수 있다.

제어부(160)는 검색 명령이 입력되면 영상 프레임을 캡쳐하도록 신호 처리부(120)를 제어하고, 캡쳐한 영상 프레임을 디스플레이 장치(200)로 전송하도록 통신부(150)를 제어한다. 경우에 따라, 방송 컨텐츠 정보를 캡쳐한 영상 프레임과 함께 디스플레이 장치(200)로 전송하도록 제어할 수 있다. 디스플레이 장치(200)에서 검색 결과를 전송하면 검색 결과를 디스플레이부(130)에 디스플레이하도록 제어한다.

도 3은 본 발명의 일 실시예에 따른 디스플레이 장치의 블록도이다.

도 3에 따르면 디스플레이 장치(200)는 통신부(210), UI 생성부(220), 디스플레이부(230), 입력부(240), 제어부(250)을 포함한다.

통신부(210)는 방송 수신 장치(100)로부터 데이터를 수신한다. 수신하는 데이터는 캡쳐된 영상 프레임을 포함하며, 추가적으로 방송 컨텐츠 정보를 포함할 수 있다. 사용자가 관심 객체를 선택하면, 이미지 검색을 위해 추출된 식별자를 이용하여 검색 서버와 연결하여 검색을 수행한다. 그리고, 검색 서버로부터 검색 결과를 수신하고, 검색 결과를 방송 수신 장치(100)로 전송할 수 있다.

UI 생성부(220)는 캡쳐된 영상 프레임 및 사용자 관심 객체를 선택할 수 있는 검색 UI를 생성한다. 검색 UI는 수신된 영상 프레임을 디스플레이하는 제1 영역을 포함한다. 수신된 영상 프레임이 복수인 경우, 복수의 영상 프레임을 썸네일 형태로 디스플레이하는 제2 영역을 포함할 수 있다. 그리고, 제1 영역 내에서 객체를 특정하기 위한 툴을 선택하기 위한 제3 영역, 검색에 이용할 부가 정보를 입력받기 위한 제4 영역을 포함할 수 있다. 구체적인 UI에 관해서는 후술하기로 한다.

디스플레이부(230)는 UI 생성부에서 생성된 검색 UI를 표시한다. 디스플레이부(230)의 기능 및 구성은 이미 주지된 내용이므로, 구체적인 설명 및 도시는 생략한다.

입력부(240)는 사용자로부터 관심 객체의 선택을 입력받는다. 관심 객체의 선택은 검색 UI의 제1 영역에 표시된 화면에서 객체의 주위를 선으로 연결하는 영역을 특정하는 방법으로 할 수 있다. 또는, 관심 객체를 색칠하는 방법으로 관심 객체를 선택할 수 있다.

구체적으로는, 사용자는 화면 터치 또는 커서 조작 방식으로 영상 프레임 내의 일정 영역을 선택할 수 있다. 입력부(240)는 선택된 지점의 좌표값을 제어부(250)로 제공한다. 제어부(250)는 영상 프레임의 선택된 영역을 복수의 픽셀 블럭 단위로 구분하고, 선택 지점의 좌표값에 대응되는 픽셀 블럭을 기준 블럭으로 설정한다. 그리고, 기준 블럭의 주변 블럭들의 픽셀 대표값을 확인한다. 픽셀 대표 값은 해당 블럭 내에 포함된 전체 픽셀들의 픽셀 평균 값이나 중간 값, 최대 픽셀 값, 최소 픽셀 값 등과 같은 다양한 값으로 정해질 수 있다. 제어부(250)는 기준 블럭의 픽셀 대표값을 기초로 일정한 오차 범위 내의 픽셀 값을 가지는 주변 픽셀 블럭들을 판단한다. 제어부(250)는 오차 범위 내의 픽셀 값을 가지는 것으로 판단된 픽셀 블럭들을 전부 조합하여, 하나의 객체로 특정한다. 그리고, 그 픽셀 블럭들의 배치 형태에 기초하여 객체의 형상이나 무늬를 인식하고, 픽셀 블럭들의 픽셀 값에 기초하여 객체의 컬러를 인식할 수 있다.

수신된 영상 프레임이 복수인 경우, 사용자로부터 검색 UI의 제2 영역에서 하나의 영상 프레임을 선택하는 명령을 입력받을 수 있다. 사용자로부터 받은 객체 선택 명령에 의해 사용자 관심 객체는 특정된다.

제어부(250)는 방송 수신 장치(100)로부터 데이터를 전송받아 사용자 선택에 의해 객체가 특정되면 검색을 수행하고, 검색 결과를 방송 수신 장치(100)로 전송하기 위해 디스플레이 장치(200)의 각 구성부를 제어한다.

제어부(250)는 특정된 객체의 영역 정보 및 방송 수신 장치(100)로부터 수신한 방송 컨텐츠 정보로부터 이미지 검색을 위한 식별자 형태(format)를 추출하는 식별자 추출부를 포함할 수 있다. 식별자 추출부는 사용자가 선택한 객체 이미지를 분석하여 이미지에 대응하는 적어도 하나의 식별자를 추출한다. 식별자란 검색을 위한 문자 또는 기호를 의미한다. 식별자 추출은 이미지를 분석하여 이미지에 대응하는 적어도 하나의 문자 또는 기호를 추출하는 것을 의미한다. 식별자는 색상, 질감, 공간, 모형 등의 정보 또는 이들을 조합한 정보가 될 수 있다.

예를 들어, 빨간 사각형 가방을 포함하는 영상 프레임 내에서 가방이 표시된 지점이 선택되면 상술한 객체 인식 방법에 따라 빨간 사각형 가방이 인식된다. 식별자 추출부는 해당 객체의 컬러를 고려하여 식별자를 "RED"로 결정할 수도 있고, 형상을 고려하여 "Rectangular"로 결정할 수도 있다. 또는 복수의 식별자를 조합할 수 있다. 이러한 식별자는 기 저장된 데이터베이스로부터 검출할 수도 있다.

추출된 식별자는 통신부(210)에 의해 검색 서버로 전송되고, 통신부(210)는 검색 서버로부터 검색 결과를 전송받는다. 보다 정확한 검색을 위해 특정된 객체 이미지는 이미지 질의어(query)로 사용하고, 방송 컨텐츠 정보는 태그 질의어(query)로 사용하여 검색을 실시할 수 있다. 이와 같이 이미지 질의어와 태그 질의어를 동시에 사용하는 경우, 검색의 매칭(matching) 과정의 속도를 높이고 결과의 정확성을 높일 수 있다.

검색 결과를 전송받은 통신부(210)는 검색 결과를 방송 수신 장치(100)로 전송한다. 경우에 따라, 검색 결과는 디스플레이 장치(200)에서 표시될 수 있다. 방송 수신 장치(100)로 검색 결과 전송과 디스플레이 장치(200)에서 검색 결과 표시는 선택적으로 수행될 수 있으며, 동시에 수행될 수도 있다.

<방송 수신 장치에서 검색을 실시하는 실시 예>

도 2 및 도 3에서는 방송 수신 장치(100)와 디스플레이 장치(200)의 두 가지 장치를 이용하여 검색을 실시하는 실시 예에 대해서 설명하였다. 그러나, 다른 실시 예로서 방송 수신 장치(100)에서 사용자가 객체를 특정하고, 방송 수신 장치(100)가 검색을 실시하여 검색 결과를 표시할 수도 있다.

이러한 방송 수신 장치(100)의 기본적인 구성 및 역할은 도 2에서 설명한 바와 동일하다. 따라서, 차이가 나는 구성부에 대해서만 설명하기로 한다.

UI 생성부는 캡쳐된 영상 프레임 및 사용자 관심 객체를 선택할 수 있는 검색 UI를 생성한다. 검색 UI는 캡쳐된 영상 프레임을 디스플레이하는 제1 영역을 포함한다. 캡쳐된 영상 프레임이 복수인 경우, 복수의 영상 프레임을 썸네일 형태로 디스플레이하는 제2 영역을 포함할 수 있다. UI 생성부는 도 3의 디스플레이 장치(200)에서 설명한 바와 유사하게 검색 UI를 생성할 수 있다. 디스플레이부(130)는 검색 UI를 표시하고, 검색을 수행한 후 검색 결과를 표시한다.

입력부(140)는 사용자로부터 검색 수행 명령 및 관심 객체의 선택을 입력받는다. 사용자로부터 받은 객체 선택 명령에 의해 사용자 관심 객체는 특정된다. 관심 객체 특정의 구체적인 과정은 도 3에서 설명한 바와 동일하다.

제어부(160)는 사용자 선택에 의해 객체가 특정되면 검색을 수행하고, 검색 결과를 디스플레이부(130)에 표시하기 위해 방송 수신 장치(100)의 각 구성부를 제어한다. 제어부(160)는 특정된 객체의 영역 정보 및 방송 수신 장치(100)로부터 수신한 방송 컨텐츠 정보로부터 이미지 검색을 위한 식별자 형태(format)를 추출하는 식별자 추출부를 포함할 수 있다. 식별자 추출부의 역할은 도 3에서 설명한 바와 동일하다.

통신부(150)는 이미지 검색을 위해 추출된 식별자 및 방송 컨텐츠 정보를 각각 이미지 질의어 및 태그 질의어로 이용할 수 있다. 질의어(quuery)를 검색 서버로 전송하고, 검색 서버로부터 검색 결과를 수신한다.

수신된 검색 결과는 디스플레이부(130)에 표시된다. 경우에 따라, 특정 사용자에게 결과를 알려주기 위해 개인 휴대 단말 장치로 검색 결과를 전송해 줄 수도 있다.

방송 수신 장치(100)와 디스플레이 장치(200)의 두 가지 장치를 이용한 검색은 일반적인 TV와 같이 사용자가 일정 거리 떨어져서 시청하는 장치의 경우에 유용하다. 가까운 거리에서 시청이 가능한 방송 수신 장치(100)는 자체적으로 검색을 실시하고 검색 결과를 표시하는 것이 유용할 수 있다. 예를 들어, 가까운 거리에서 시청이 가능한 방송 수신 장치(100)는 방송 수신 기능을 구비한 모니터, 전자 액자, 노트북 PC 등이 될 수 있다.

<사용자 관심 객체를 특정하는 일 실시 예>

지금까지 디스플레이 장치(200) 또는 방송 수신 장치(100)에서 사용자가 관심 객체를 특정하는 실시 예에 대해서 설명하였다. 그러나, 관심 객체는 방송 수신 장치(100)에 의해 자동으로 특정될 수도 있다.

도 4는 본 발명의 다른 실시예에 따른 방송 수신 장치의 블록도이다.

도 4에 따르면, 방송 수신 장치(100)는 수신부(110), 신호처리부(120), 디스플레이부(130), 입력부(140), 통신부(150), 제어부(160), 촬상부(170)를 포함한다. 수신부(110), 신호처리부(120), 디스플레이부(130), 입력부(140), 통신부(150)는 상술한 바와 동일하므로 여기에서는 설명을 생략하기로 한다.

제어부(160)는 영상 프레임 상에 포함된 관심 객체를 특정하여 검색을 수행하고 검색 결과를 표시하기 위해 방송 수신 장치(100)의 각 구성부를 제어한다. 또한, 촬상부(170)로부터 촬상한 사용자 영상으로부터 실시간 시선 추적을 수행하며, 이를 바탕으로 시선 추적 결과를 갱신한다. 캡쳐된 영상 프레임 내에서 시선 추적 결과를 이용하여 사용자 관심 객체를 특정하고 이미지 검색을 위한 식별자를 추출한다. 추출된 식별자에는 방송 컨텐츠 정보가 포함될 수 있다. 제어부(160)가 관심 객체를 특정하는 과정은 도 5에서 자세하게 설명하기로 한다.

촬상부(170)는 사용자의 시선을 추적하기 위해 사용자 영상을 촬상한다. 사용자 영상이란 방송 수신 장치(100)를 시청하고 있는 사용자의 눈동자의 위치를 파악하여 사용자가 응시하고 있는 화면 상의 위치 정보를 포함하는 영상을 의미한다. 촬상된 사용자 영상은 제어부(160)로 전달된다. 촬상부(170)는 다양한 카메라를 포함할 수 있는데, 예를 들어, IR 카메라, RGB 카메라, 뎁스(depth) 카메라 중 어느 하나 또는 조합하여 구성될 수 있다.

도 5는 본 발명의 일 실시예에 따른 신호처리부와 제어부의 상세 블록도이다.

도 5에 따르면, 방송 수신 장치(100)의 신호처리부(120)는 비디오 디코더(121), 비디오 캡쳐부(122), 디스플레이 처리부(123)을 포함할 수 있다. 비디오 디코더(121)로 입력된 방송 영상 신호는 송신기에서 압축된 디지털 영상 신호이다. 비디오 디코더(121)는 압축된 디지털 영상 신호를 원래의 영상 신호로 변환시켜 준다. 변환된 영상 신호는 비디오 캡쳐부(122)로 입력된다. 입력부(140)를 통해 사용자 검색 명령이 입력되면, 비디오 캡쳐부(122)는 비디오 디코더(121)를 통해 출력된 현재 표시되는 영상 프레임을 캡쳐한다. 사용자 검색 명령이 입력되지 않는 경우, 비디오 캡쳐부(122)는 변환된 영상 신호를 디스플레이 처리부(123)으로 통과시켜 전달해준다. 디스플레이 처리부(123)는 변환된 영상 신호 또는 검색 결과에 따라 생성된 검색 결과 UI를 처리하여 디스플레이부(130)에 출력시킨다.

제어부(160)는 시선 추적부(161), 관심 객체 검출부(162), 식별자 추출부(163)을 포함할 수 있다. 시선 추적부(161)는 촬상부(170)에서 촬상된 사용자 영상을 입력받는다. 입력된 사용자 영상으로부터 실시간 시선 추적을 수행하며, 이를 바탕으로 기 정의된 시간 동안 누적된 시선 추적 결과(예, Heat Map 등의 형태)를 갱신한다. 영상은 각각의 개별 프레임 이미지가 연속적으로 표시되는 것이다. 예를 들어, 방송 프로그램의 경우, 일정 시간 동일한 씬(scene)이 유지된다. 출연자 등의 움직임이 있지만, 동일한 씬(scene)이 유지되는 동안에는 동일한 배경, 출연자, 소품 등이 표시된다. 일정 시간이 지나면 씬(scene)이 변경된다. 이를 씬 변경(scene change)라고 한다. 제어부(160)는 씬 변경이 되고 다음 씬 변경이 되기 전까지 동일한 씬이 유지되는 시간을 시선 추적의 단위 시간으로 설정할 수 있다. 즉, 동일한 씬이 유지되는 시간동안 사용자의 시선이 머무르는 화면 상의 위치를 시간 단위로 누적하여 데이터를 저장한다. 또는, 일정 시간을 정해 시선 추적의 단위 시간으로 설정할 수도 있다. 복수의 사용자가 동시에 방송 프로그램을 시청하는 경우 복수의 사용자 각각에 대해 시선을 추적하여 시선 추적 데이터를 추출할 수 있다. 시선 추적부(161)는 제어부(160) 내에 포함되어 있는 것으로 설명하였으나, 제어부(160)와 별도로 독립적으로 존재할 수 있으며, 촬상부(170)에 포함되어 구성될 수도 있다.

관심 객체 검출부(162)는 캡쳐된 영상 프레임에서 관심 객체를 특정한다. 사용자의 검색 명령에 의해 비디오 캡쳐부(122)는 영상 프레임을 캡쳐한다. 관심 객체 검출부(162)는 캡쳐된 영상 프레임에서 하나 이상의 객체들을 검출하고 카테고리화 한다. 시선 추적부(161)로부터 누적 시선 추적 데이터를 수신한다. 캡쳐된 영상 프레임과 누적 시선 추적 데이터를 이용하여 사용자의 시선이 가장 많이(또는 가장 오래) 머문 객체를 관심 객체로 특정한다. 관심 객체는 하나만 특정할 수 있으나, 누적 시선 추적 데이터의 누적량에 따라 두 개 또는 세 개의 복수 개의 관심 객체를 특정할 수도 있다.

식별자 추출부(613)는 특정된 객체의 영역 정보 및 방송 수신 장치(100)로부터 수신한 방송 컨텐츠 정보로부터 이미지 검색을 위한 식별자 형태(format)를 추출한다. 추출된 식별자는 통신부(150)에 의해 검색 서버로 전송되고, 통신부(150)는 검색 서버로부터 검색 결과를 전송받는다.

검색 결과를 전송받은 방송 수신 장치(100)는 검색 결과를 디스플레이부(130)에 표시한다. 경우에 따라, 검색 결과는 검색을 명령한 사용자의 디스플레이 장치(200)로 전송될 수 있다.

하나의 실시 예로서, 사용자는 고유의 디스플레이 장치(200)의 식별 번호를 방송 수신 장치(100)에 미리 입력시키고, 방송 수신 장치(100)는 촬상부(170)를 통해 검색 명령을 입력한 사용자가 누구인지 판단한다. 입력한 사용자가 판단되면, 해당 사용자의 디스플레이 장치(200)로 검색 결과를 전송한다. 다른 실시 예로서, 각 사용자의 디스플레이 장치(200)가 방송 수신 장치(100)의 입력 장치로 사용된다면, 검색 명령 입력시 해당 디스플레이 장치(200)의 식별 번호를 방송 수신 장치(100)로 전송할 수 있다. 따라서, 방송 수신 장치(100)는 검색 결과를 해당 디스플레이 장치(200)로 전송할 수 있다.

지금까지 방송 수신 장치(100) 및 디스플레이 장치(200)의 구성에 대해서 설명하였다. 아래에서는 방송 수신 장치(100)에서 영상 프레임의 캡쳐 방법과 디스플레이 장치(200)의 검색 UI에 대해서 설명하기로 한다.

도 6은 본 발명의 일 실시예에 따른 영상 프레임의 캡쳐를 설명하는 도면이다.

도 6에 의하면 연속되는 방송 영상 프레임(14,15,16,17,18)이 도시되어 있다. 예를 들어, 도 6에는 버스가 도착하는 프레임(14), 버스에서 출연자가 내리는 프레임(15), 출연자가 가방을 들고 뛰어가는 프레임(16), 출연자가 건물 앞에 도착하는 프레임(17), 출연자가 들어간 건물 프레임(18)이 도시되어 있다. 도 6에서 도시된 다섯 개의 프레임(14,15,16,17,18)의 전후에도 연속적인 방송 영상 프레임이 있음은 물론이다.

사용자가 방송 프로그램을 시청하는 중 출연자가 가방을 들고 뛰어가는 프레임(16)을 시청할 때 가방에 관심을 가지고 검색을 원한다고 가정한다. 사용자는 즉시 입력 장치를 이용하여 방송 수신 장치(100)에 검색 명령을 입력시킨다. 즉, 사용자가 캡쳐하길 원하는 영상 프레임은 가방이 포함된 영상 프레임(12)이다. 방송 수신 장치(100)가 사용자로부터 검색 명령을 입력받으면, 비디오 캡쳐부가 현재 표시되는 영상 프레임을 캡쳐한다.

방송 화면은 초당 수십 프레임이 표시되는데(예, 초당 30프레임), 사용자의 입력 명령에 대응하여 영상 프레임을 캡쳐할 때까지 시간이 걸린다. 따라서, 출연자가 가방을 들고 뛰어가는 프레임(16)에서 사용자가 검색 명령을 입력해도 비디오 캡쳐부의 캡쳐 명령은 출연자가 들어간 건물 프레임(18)에서 수행될 수 있다. 따라서, 이러한 문제점을 방지하기 위해 비디오 캡쳐부는 복수 개의 이전 프레임을 캡쳐할 수 있다. 복수 개의 이전 프레임은 1초 또는 2초 전의 프레임과 같이 시간을 기준으로 설정될 수 있다. 또는 10 프레임 또는 20 프레임과 같이 프레임의 수를 기준으로 설정될 수 있다. 상술한 바와 같이 방송 수신 장치(100)는 압축된 디지털 영상 신호를 디코딩하기 위해 수신된 영상 프레임을 디스플레이부(130)에 표시해주기 전에 임시로 저장하고 있다. 따라서, 디스플레이부(130)에 표시된 프레임 이전의 복수 프레임을 캡쳐하는 것이 가능하다.

도 6에서는 다섯 개의 영상 프레임을 캡쳐하였다. 따라서, 사용자가 희망하는 가방이 포함된 프레임(16)이 캡쳐되었다. 비디오 캡쳐부에서 캡쳐된 영상 프레임은 실시 예에 따라 디스플레이 장치(200)로 전송되거나 관심 객체를 특정하기 위해 방송 수신 장치(100)에 표시된다.

도 7는 본 발명의 일 실시예에 따른 디스플레이 장치의 UI를 설명하는 도면이다.

본 발명의 일 실시예에 따라 캡쳐된 영상 프레임은 디스플레이 장치(200)로 전송될 수 있다. 디스플레이 장치(200)는 검색 UI를 생성하여 디스플레이부(230)에 표시할 수 있다. 도 7에 따르면, 검색 UI는 복수의 영상 프레임 중 하나를 디스플레이하는 제1 영역(21), 복수의 영상 프레임 중 나머지를 썸네일 형태로 디스플레이하는 제2 영역(22), 제1 영역 내에서 객체를 특정하기 위한 툴을 선택하기 위한 제3 영역(23), 검색에 이용할 부가 정보를 입력받기 위한 제4 영역(24), 입력된 부가 정보를 표시하기 위한 제5영역(25)를 포함할 수 있다.

제1 영역(21)은 캡쳐된 영상 프레임 중 하나를 디스플레이한다. 일반적으로 최초 디스플레이되는 영상 프레임은 캡쳐 명령이 수행될 때의 영상 프레임이 될 수 있다. 제1 영역(21)에 표시된 영상 프레임이 원하는 영상 프레임이 아닌 경우, 사용자는 제2 영역(22)에서 원하는 영상 프레임을 선택할 수 있다. 예를 들어, 사용자가 원하는 가방이 포함된 영상 프레임(16)은 제2 영역의 다른 영상 프레임과 함께 섬네일 형태로 표시될 수 있다. 가방이 포함된 영상 프레임(16)을 선택하면 제1 영역(21)에 확대된 형태로 표시된다.

제3 영역(23)은 객체를 특정하기 위해 사용되는 툴이 위치할 수 있다. 예를 들어, 문자 입력 메뉴, 선 그리기 메뉴, 확대 메뉴, 지우기 메뉴 등이 포함될 수 있다. 제4 영역(24)은 검색에 이용할 부가 정보를 입력받을 수 있다. 사용자가 추가적인 정보를 입력하여 검색할 때 사용할 수 있다. 예를 들어, 특정 상표, 특정 문양 등을 직접 입력할 수 있다. 사용자가 문자를 입력하는 경우, 제5 영역(25)은 입력된 문자를 표시해 줌으로써 입력된 문자가 디스플레이 장치(200)에서 정확하게 인식되었는지 사용자가 확인할 있도록 한다. 도 7에 도시된 검색 UI는 일 실시예이며, 다양한 검색 UI가 표시될 수 있다.

도 8은 본 발명의 일 실시예에 따른 객체의 특정을 설명하는 도면이다.

제1 영역(21)에 표시된 영상 프레임 상에서 사용자는 관심 객체를 특정할 수 있다. 도 8을 참조하면, 사용자는 영상 프레임 상에 표시된 가방을 객체로 특정하기를 원한다. 사용자는 펜(91) 등을 이용하여 가방의 경계선을 따라 외곽선(31)을 그려 가방을 객체로 특정할 수 있다. 객체를 특정하는 입력 장치는 펜(91) 뿐만 아니라 사용자의 손가락이 될 수 있다. 또는, 디스플레이 장치(200)가 터치 스크린 상에서 입력을 인식할 수 있는 도구를 이용하여 사용자는 객체를 특정시킬 수 있다. 객체의 특정 방법도 상술한 방법 이외에 영상 프레임 상의 가방 영역에 색칠을 하는 방법으로 특정할 수 있다.

사용자가 관심 객체를 특정하면 식별자 추출부는 이미지의 영역 정보로부터 이미지 검색을 위한 식별자를 추출한다. 디스플레이 장치(200)는 추출된 식별자와 방송 컨텐츠 정보를 검색 서버로 전송하여 검색을 실시한다.

지금까지 사용자가 직접 캡쳐한 영상 프레임 상에서 관심 객체를 특정하는 방법에 대해서 설명하였다. 앞서 설명한 바와 같이 본 발명의 다른 실시 예는 방송 수신 장치(100)가 사용자의 시선 정보를 이용하여 자동으로 관심 객체를 특정한다. 아래에서는 시선 정보를 이용하여 관심 객체를 특정하는 방법에 대해서 설명하기로 한다.

도 9 내지 도10은 본 발명의 다른 실시예에 따른 객체의 특정을 설명하는 도면이다.

도 9는 하나의 영상 프레임을 나타낸다. 시선 추적부(161)는 영상 프레임 상에서 사용자의 시선을 추적하여 누적 데이터를 추출한다. 예를 들어, 히트맵(heat map)을 생성하여 누적 데이터를 추출할 수 있다. 히트맵이란 색상으로 표현할 수 있는 다양한 정보를 일정한 이미지위에 열 분포 형태의 비쥬얼(visual)한 그래픽으로 표현하는 것을 의미한다. 본 발명에서는 촬상부(170)에서 아이 트래킹(eye tracking) 방법으로 촬상된 사용자의 시선 정보를 이용하여 히트맵을 생성하여 사용자의 누적 데이터를 추출할 수 있다.

도 9를 참조하면, 출연자가 가방을 들고 뛰어가는 프레임이 표시되어 있다. 그리고, 출연자 및 가방에 표시된 복수 개의 영역(32, 34)은 사용자의 시선 분포를 나타낸다. 즉, 출연자의 눈, 손, 구두 부분(32)과 가방 부분(34)에 사용자의 시선이 머물렀음을 나타낸다. 또한, 가방 부분(34)의 영역이 크기가 크고 진하므로 가방 부분에 사용자의 시선이 많이(또는 오래) 머물렀음을 의미한다. 시선 추적부(161)는 이런 방법으로 누적 시선 추적 정보를 추출하고, 관심 객체 검출부(162)로 누적 시선 추적 정보를 전달해 준다.

도 10은 관심 객체 검출부(162)에서 슈퍼 픽셀 세그먼트(super pixel segment) 후에 누적 시선 추적 정보를 적용한 것을 나타낸 도면이다. 슈퍼 픽셀 세그먼트란 영상을 픽셀 단위로 나누는 것이 아니라 슈퍼 픽셀(super pixel)로 분할하는 것을 의미한다. 슈퍼 픽셀이란 이미지의 윤곽에 따라 일정 영역을 의미한다. 예를 들어, 영상 이미지에 사람이 포함되어 있다면 슈퍼 픽셀 세그먼트는 눈, 코, 입, 머리의 윤곽 및 색상 등에 따라 일정 영역으로 분할한다. 슈퍼 픽셀 세그먼트를 실행하면 영상 이미지가 모자이크 형태로 분할되게 된다.

관심 객체 검출부(162)는 모자이크 형태로 분할된 영상 이미지를 객체의 윤곽에 따라 카테고리화(pixel categorization)한다. 예를 들어, 영상 이미지 상에 하나의 가방에 있을 때, 하나의 가방도 슈퍼 픽셀 세그먼트의 실행에 의해 복수 개의 세그먼트로 분할된다. 이러한 복수 개의 세그먼트를 가방의 윤곽선, 색상 등을 기준으로 하나의 영역으로 인식하도록 하면 가방이라는 객체를 인식할 수 있다.

도 10을 참조하면, 구두 영역의 세그먼트 중 일부 세그먼트(32)와 가방 영역의 세그먼트(34)의 많은 세그먼트(34)가 시선 누적 데이터가 적용되어 있다. 가방 영역의 세그먼트(34)에 적용된 누적 데이터가 많기 때문에 더 진한 색깔로 표시될 수 있다. 시선 누적 데이터는 가방 영역의 모든 세그먼트에 적용된 것은 아니다. 그러나, 관심 객체 검출부(162)는 상술한 카테고리화 단계를 수행했기 때문에 일정 영역 이상의 세그먼트에 시선 누적 데이터가 적용되면 가방(10)을 관심 객체로 특정할 수 있다.

관심 객체가 특정되면 상술한 바와 같이 식별자 추출부(163)에서 검색을 위한 식별자를 추출한다. 통신부(150)는 추출된 식별자 또는 추출된 식별자와 함께 방송 컨텐츠 정보를 검색 서버로 전송하여 검색을 실시한다. 검색된 결과는 통신부(150)를 통해 수신되고 방송 수신 장치(100) 또는 디스플레이 장치(200)의 디스플레이부(130, 230)에 디스플레이된다.

도 11은 본 발명의 일 실시예에 따른 검색 결과를 설명하는 도면이다.

도 11을 참조하면 디스플레이부(130, 230)는 검색된 가방을 표시한다. 디스플레이부(130, 230)의 우측에는 가방에 대한 정보와 관련 사이트가 표시될 수 있다. 예를 들어, 품명, 브랜드, 출시일, 가격 등의 정보가 표시될 수 있으며, 검색된 가방을 구입할 수 있는 온라인 쇼핑몰 또는 제조사 홈페이지에 접속할 수 있는 링크된 버튼이 표시될 수도 있다. 디스플레이부(130, 230)의 하단에는 재검색 버튼을 표시할 수 있다. 상술한 검색 결과 UI는 일 실시 예이며 다양한 검색 결과 UI가 표시될 수 있다.

예를 들어, 단순히 가방 및 브랜드만 표시할 수 있다. 디스플레이부(130, 230)는 전체 화면으로 검색 결과를 표시할 수 있고, 상하좌우측 일정 영역에만 표시할 수도 있다. 또는, 검색 결과 UI의 투명도를 반투명으로 설정하여 표시할 수도 있다.

사용자 또는 방송 수신 장치(100)는 관심 객체를 복수 개 선택할 수 있다. 이 경우 검색 결과를 표시하는 장치는 선택한 모든 관심 객체에 대한 검색 결과를 하나의 화면에 표시할 수 있다. 또는, 하나의 객체에 대한 검색 결과만 표시하고 다른 화면 페이지가 있다는 것을 알리는 페이지 표시 등을 할 수 있다.

도 12와 도 13은 방송 수신 장치와 디스플레이 장치를 이용한 검색 방법의 흐름도이다.

도 12는 본 발명의 일 실시예에 따른 방송 수신 장치에서의 검색 방법의 흐름도이다. 도 12를 참조하면, 방송 수신 장치는 방송 컨텐츠를 수신하고(S1210), 수신한 방송 컨텐츠를 처리하여(S1220), 방송 컨텐츠를 디스플레이한다(S1230).

방송 수신 장치는 사용자로부터 검색 명령을 입력받는다(S1240). 검색 명령은 리모컨, 개인 휴대 기기 등을 이용하여 입력될 수 있다. 방송 수신 장치는 검색 명령을 입력받으면 영상 프레임을 캡쳐한다(S1250). 신호처리부는 검색 명령이 입력된 시점에 디스플레이되는 영상 프레임을 캡쳐한다. 또는, 검색 명령이 입력된 시점 이전의 영상 프레임을 함께 캡쳐할 수 있다. 제어부는 수신된 방송 스트림에 포함된 방송 컨텐츠 정보를 추출한다. 경우에 따라서, 방송 컨텐츠 정보는 방송 스트림과 별도의 채널로 수신될 수도 있다.

방송 컨텐츠 정보는 EPG 정보, 방송 컨텐츠 제작 정보, 상기 방송 컨텐츠의 각 영상 프레임 별 객체 정보, 촬영 장소 정보, 등장 인물 정보, 영상 프레임 식별 정보 중 적어도 하나를 포함할 수 있다. EPG 정보는 방송사 정보, 프로그램 타이틀 정보, 방송 시간 정보를 포함할 수 있다. 영상 프레임 식별 정보는 캡쳐한 영상 프레임과 관련된 시간 정보, PTS 정보, DTS 정보를 포함할 수 있다.

방송 수신 장치는 캡쳐된 영상 프레임을 디스플레이 장치로 전송한다(S1260). 디스플레이 장치는 수신한 영상 프레임으로부터 관심 객체가 특정되면 검색을 실시한다.

캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 수신하여 표시한다(S1270). 디스플레이 처리부는 수신된 검색 결과를 현재 재생되고 있는 방송 프로그램 내에 기 정의된 형식에 따라 출력한다.

도 13은 본 발명의 일 실시예에 따른 디스플레이 장치에서의 검색 방법의 흐름도이다.

디스플레이 장치는 방송 수신 장치로부터 캡쳐된 영상 프레임을 수신한다(S1310). 캡쳐된 영상 프레임과 함께 방송 컨텐츠 정보를 함께 수신할 수도 있다. 디스플레이 장치는 검색 UI를 생성한다(S1320). 일 실시 예로서 검색 UI는 복수의 영상 프레임 중 하나를 디스플레이하는 제1 영역, 복수의 영상 프레임 중 나머지를 썸네일 형태로 디스플레이하는 제2 영역, 제1 영역 내에서 객체를 특정하기 위한 툴을 선택하기 위한 제3 영역, 검색에 이용할 부가 정보를 입력받기 위한 제4 영역을 포함할 수 있다.

디스플레이 장치는 영상 프레임 내의 객체에 대한 선택 명령을 입력받는다(S1330). 사용자는 다양한 입력 수단(예, 손가락, 펜 등)을 이용하여 영상 프레임 내 관심 객체의 영역을 선정(예, 외곽선 그리기, 객체 색칠하기 등)하여 검색할 객체를 특정할 수 있다. 검색 객체가 특정되면, 식별자 추출부는 선택된 객체 이미지 정보 및 방송 컨텐츠 정보로부터 식별자를 추출한다. 보다 정확한 검색을 위해 특정된 객체 이미지는 이미지 질의어(query)로 사용하고, 방송 컨텐츠 정보는 태그 질의어(query)로 사용하여 검색을 실시할 수 있다.

디스플레이 장치는 선택에 의해 특정된 객체에 대한 검색을 실시한다(S1340). 통신부는 추출된 식별자를 검색 서버로 전송하여 검색을 실시하고, 검색 결과를 수신한다. 수신된 검색 결과는 방송 수신 장치로 전송한다. 경우에 따라, 디스플레이 장치가 검색 결과를 디스플레이할 수도 있다.

도 14는 본 발명의 다른 실시예에 따른 방송 수신 장치에서의 검색 방법의 흐름도이다.

방송 수신 장치는 검색 명령을 입력받는다(S1410). 이미지 정보 및 방송 정보를 획득한다(S1420). 도 12에서 설명한 바와 동일하므로 여기에서는 생략하기로 한다.

방송 수신 장치는 시선 추적을 이용하여 객체를 특정한다(S1430). 촬상부는 사용자 시선 추적을 위해 사용자 영상을 촬상한다. 시선 추적부는 사용자 영상으로부터 실시간으로 시선 추적을 수행하며, 이를 바탕으로 기 정의된 시간 동안 누적된 시선 추적 결과를 갱신한다. 관심 객체 검출부는 사용자 검색 명령에 대응하여 캡쳐된 영상 프레임으로부터 적어도 하나의 객체를 검출하고 카테고리화한 후 누적 시선 추적 정보를 바탕으로 관심 객체를 검출한다.

방송 수신 장치는 특정된 객체에 대한 검색을 실시한다(S1440). 검색 결과를 수신하여 출력한다(S1450). 도 12 및 도 13에서 설명한 바와 동일하므로 여기에서는 생략하기로 한다.

도 15는 본 발명의 일 실시예에 따른 시스템에서의 객체 검색 방법을 설명하기 위한 타이밍도이다.

도 15의 타이밍도는 방송 수신 장치(100)와 디스플레이 장치(200)를 이용하여 검색하는 과정을 전체적으로 설명하는 도면이다.

방송 수신 장치(100)는 방송 컨텐츠를 수신한다(S1505). 방송 컨텐츠와 함께 방송 컨텐츠 정보도 함께 수신한다. 방송 컨텐츠를 처리하여 화면을 디스플레이한다(S1510). 사용자로부터 검색 명령을 입력받는다(S1515).

사용자의 검색 명령에 대응하여 방송 수신 장치(100)는 영상 프레임을 캡쳐한다(S1520). 기 설정된 개수의 이전 프레임 또는 기 설정된 시간 이내의 이전 프레임을 함께 캡쳐할 수 있다.

방송 수신 장치(100)는 디스플레이 장치(200)로 캡쳐한 영상 프레임을 전송한다(S1525). 복수의 영상 프레임을 전송할 수 있으며, 캡쳐한 영상 프레임과 함께 방송 컨텐츠 정보를 함께 전송할 수도 있다.

디스플레이 장치(200)는 검색 UI를 생성하여 디스플레이한다(S1530). 사용자로부터 영상 프레임 내 객체 선택 명령을 입력받는다(S1535). 사용자의 객체 선택 명령에 의해 검색하려는 객체가 특정된다. 디스플레이 장치는 추출된 식별자를 검색 서버에 전송하여 검색을 수행하고(S1540), 검색 결과를 전송받는다(S1545).

검색 결과는 디스플레이 장치(200)에서 디스플레이될 수 있고(S1550), 방송 수신 장치(100)로 전송될 수 있다(S1555). 방송 수신 장치(100)는 검색 결과를 디스플레이한다(S1560). 검색 결과의 표시는 방송 수신 장치(100) 및 디스플레이 장치(200)에서 동시에 또는 선택적으로 할 수 있다.

상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.

일 예로, 검색 명령을 입력받는 단계, 상기 검색 명령이 입력되면, 디스플레이되고 있는 영상 프레임을 캡쳐하는 단계, 상기 캡쳐된 영상 프레임을 타 디스플레이 장치로 전송하는 단계 및 상기 타 디스플레이 장치에서 상기 캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 전송하면, 상기 검색 결과를 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

100 : 방송 수신 장치
110 : 수신부 120 : 신호처리부
121 : 비디오 디코더 122 : 비디오 캡쳐부
123 : 디스플레이 처리부
130 : 디스플레이부 140 : 입력부
150 : 통신부 160 : 제어부
161 : 시선 추적부 162 : 관심 객체 검출부
163 : 식별자 추출부
170 : 촬상부
200 : 디스플레이 장치
210 : 통신부 220 : UI 생성부
230 : 디스플레이부 240 : 입력부

Claims

방송 신호를 수신하는 방송 수신 장치에 있어서,
방송 컨텐츠를 수신하는 수신부;
상기 방송 컨텐츠를 처리하는 신호 처리부;
상기 신호 처리부에서 처리된 상기 방송 컨텐츠를 디스플레이하는 디스플레이부;
검색 명령을 입력받기 위한 입력부;
상기 검색 명령이 입력되면, 상기 디스플레이부에 디스플레이되고 있는 영상 프레임을 캡쳐하도록 상기 신호 처리부를 제어하는 제어부; 및
상기 캡쳐된 영상 프레임을 타 디스플레이 장치로 전송하는 통신부;를 포함하며,
상기 제어부는,
상기 타 디스플레이 장치에서 상기 캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 전송하면, 상기 검색 결과를 상기 디스플레이부에 디스플레이하는, 방송 수신 장치.
제1항에 있어서,
상기 제어부는,
상기 검색 명령이 입력된 시점을 기준으로 기 설정된 시간 범위 이내에 디스플레이되었던 복수의 영상 프레임을 캡쳐하여 상기 타 디스플레이 장치로 전송하도록 상기 신호 처리부 및 상기 통신부를 제어하는 것을 특징으로 하는 방송 수신 장치.
제1항에 있어서,
상기 통신부는,
상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 타 디스플레이 장치로 전송하며,
상기 방송 컨텐츠 정보는,
EPG 정보, 방송 컨텐츠 제작 정보, 상기 방송 컨텐츠의 각 영상 프레임 별 객체 정보, 촬영 장소 정보, 등장 인물 정보, 영상 프레임 식별 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 방송 수신 장치.
방송 컨텐츠를 디스플레이하는 방송 수신 장치로부터 캡쳐된 영상 프레임을 수신하는 통신부;
상기 영상 프레임을 포함하는 검색 UI를 생성하는 UI 생성부;
상기 검색 UI를 디스플레이하는 디스플레이부;
상기 검색 UI에 표시된 상기 영상 프레임 내의 객체에 대한 사용자 선택을 입력받는 입력부; 및
상기 사용자 선택에 의해 객체가 특정되면, 웹 서버에 액세스하여 상기 특정된 객체에 대한 검색을 수행하는 제어부;를 포함하는 디스플레이 장치.
제4항에 있어서,
상기 제어부는,
상기 영상 프레임 내에서 사용자 선택이 이루어진 영역에 대한 위치 정보 및 이미지 영역 정보를 이용하여 상기 객체를 특정하고 특정된 상기 객체를 검색하기 위한 식별자를 추출하는 것을 특징으로 하는 디스플레이 장치.
제5항에 있어서,
상기 통신부는,
상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 방송 수신 장치로부터 수신하며,
상기 제어부는,
상기 추출된 식별자 및 상기 수신된 방송 컨텐츠 정보를 이용하여 상기 특정된 객체에 대한 검색을 수행하는 것을 특징으로 하는 디스플레이 장치.
제4항에 있어서,
상기 통신부는 복수의 영상 프레임을 상기 방송 수신 장치로부터 수신하며,
상기 검색 UI는,
상기 복수의 영상 프레임 중 하나를 디스플레이하는 제1 영역, 상기 복수의 영상 프레임 중 나머지를 썸네일 형태로 디스플레이하는 제2 영역, 상기 제1 영역 내에서 객체를 특정하기 위한 툴을 선택하기 위한 제3 영역, 검색에 이용할 부가 정보를 입력받기 위한 제4 영역을 포함하는 디스플레이 장치.
제4항에 있어서,
상기 제어부는,
상기 객체에 대한 검색 결과를 상기 방송 수신 장치로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
제4항에 있어서,
상기 제어부는,
상기 객체에 대한 검색 결과를 디스플레이하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 디스플레이 장치.
방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법에 있어서,
방송 컨텐츠를 수신하는 단계;
상기 방송 컨텐츠를 처리하는 단계;
처리된 상기 방송 컨텐츠를 디스플레이하는 단계;
검색 명령을 입력받는 단계;
상기 검색 명령이 입력되면, 디스플레이되고 있는 영상 프레임을 캡쳐하는 단계;
상기 캡쳐된 영상 프레임을 타 디스플레이 장치로 전송하는 단계; 및
상기 타 디스플레이 장치에서 상기 캡쳐된 영상 프레임에 표시된 객체에 대한 검색 결과를 전송하면, 상기 검색 결과를 디스플레이하는 단계;를 포함하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
제10항에 있어서,
상기 캡쳐하는 단계는,
상기 검색 명령이 입력된 시점을 기준으로 기 설정된 시간 범위 이내에 디스플레이되었던 복수의 영상 프레임을 캡쳐하는 것을 특징으로 하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
제10항에 있어서,
상기 전송하는 단계는,
상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 타 디스플레이 장치로 전송하며,
상기 방송 컨텐츠 정보는,
EPG 정보, 방송 컨텐츠 제작 정보, 상기 방송 컨텐츠의 각 영상 프레임 별 객체 정보, 촬영 장소 정보, 등장인물 정보, 영상 프레임 식별 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
방송 컨텐츠를 디스플레이하는 방송 수신 장치로부터 캡쳐된 영상 프레임을 수신하는 단계;
상기 영상 프레임을 포함하는 검색 UI를 생성하는 단계;
상기 검색 UI를 디스플레이하는 단계;
상기 검색 UI에 표시된 상기 영상 프레임 내의 객체에 대한 사용자 선택을 입력받는 단계; 및
상기 사용자 선택에 의해 객체가 특정되면, 웹 서버에 액세스하여 상기 특정된 객체에 대한 검색을 수행하는 단계;를 포함하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
제13항에 있어서,
상기 영상 프레임 내에서 사용자 선택이 이루어진 영역에 대한 위치 정보 및 이미지 영역 정보를 이용하여 상기 객체를 특정하고 특정된 상기 객체를 검색하기 위한 식별자를 추출하는 단계;를 더 포함하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
제14항에 있어서,
상기 캡쳐된 영상 프레임에 대응되는 방송 컨텐츠 정보를 상기 방송 수신 장치로부터 수신하는 단계;를 더 포함하며,
상기 검색을 수행하는 단계는,
상기 추출된 식별자 및 상기 수신된 방송 컨텐츠 정보를 이용하여 상기 특정된 객체에 대한 검색을 수행하는 것을 특징으로 하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
제13항에 있어서,
상기 객체에 대한 검색 결과를 상기 방송 수신 장치로 전송하는 단계;를 더 포함하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.
제13항에 있어서,
상기 객체에 대한 검색 결과를 디스플레이하는 단계;를 더 포함하는 방송 수신 장치 및 디스플레이 장치를 이용한 검색 방법.