KR20110100061A - 영상표시장치 및 그 동작 방법. - Google Patents

영상표시장치 및 그 동작 방법. Download PDF

Info

Publication number
KR20110100061A
KR20110100061A KR1020100019141A KR20100019141A KR20110100061A KR 20110100061 A KR20110100061 A KR 20110100061A KR 1020100019141 A KR1020100019141 A KR 1020100019141A KR 20100019141 A KR20100019141 A KR 20100019141A KR 20110100061 A KR20110100061 A KR 20110100061A
Authority
KR
South Korea
Prior art keywords
user
content
network
information
image
Prior art date
Application number
KR1020100019141A
Other languages
English (en)
Other versions
KR101708682B1 (ko
Inventor
강민구
강행준
박종순
박진영
김종철
박준호
황선중
서영재
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100019141A priority Critical patent/KR101708682B1/ko
Priority to US12/959,557 priority patent/US8704760B2/en
Publication of KR20110100061A publication Critical patent/KR20110100061A/ko
Application granted granted Critical
Publication of KR101708682B1 publication Critical patent/KR101708682B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

본 발명은 영상표시장치 및 그 동작 방법에 관한 것이다. 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 컨텐츠 리스트 또는 영상을 표시하는 단계와, 사용자의 감정 정보를 획득하는 단계와, 사용자의 감정 정보에 따라, 적어도 하나의 소정 컨텐츠를 추천하는 단계를 포함한다. 이에 의해, 사용자의 감정 정보에 따라 컨텐츠를 추천할 수 있게 된다.

Description

영상표시장치 및 그 동작 방법.{Apparatus for displaying image and and method for operationg the same}
본 발명은 영상표시장치 및 그 동작 방법에 관한 것이며, 더욱 상세하게는 사용자의 감정 정보에 따라 컨텐츠를 추천하는 영상표시장치 및 그 동작 방법에 관한 것이다.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 또한, 영상표시장치는 방송국에서 송출되는 방송 신호 중 사용자가 선택한 방송을 디스플레이에 표시할 수 있다. 현재 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
이러한 디지털 방송은 디지털 영상 및 음성 신호를 송출하여, 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송의 시행에 따라, 양방향 서비스가 가능해지고 있다. 이러한 디지털 방송 환경에서, 사용자의 편의를 증대하기 위한 다양한 노력이 시도되고 있다.
따라서, 본 발명의 목적은, 사용자의 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치 및 그 동작 방법을 제공함에 있다.
또한, 본 발명의 목적은, 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치 및 그 동작 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치의 동작 방법은, 컨텐츠 리스트 또는 영상을 표시하는 단계와, 사용자의 감정 정보를 획득하는 단계와, 사용자의 감정 정보에 따라, 적어도 하나의 소정 컨텐츠를 추천하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 컨텐츠 리스트 또는 영상을 표시하는 디스플레이와, 사용자의 감정 정보에 따라 적어도 하나의 소정 컨텐츠를 추천하도록 제어하는 제어부를 포함한다.
본 발명의 실시예에 따르면, 사용자의 감정 정보에 따라 컨텐츠를 사용자에게 추천할 수 있게 되어, 사용자의 이용 편의성이 증대된다.
또한, 네트워크 상의 다른 사용자에게 컨텐츠를 추천을 하거나 컨텐츠를 추천받을 수 있게 되어, 사용자 친화적인 다양한 서비스를 제공할 수 있게 된다.
또한, 사용자의 감정 정보 또는 네트워크 상의 다른 사용자의 감정 정보를 표시함으로써, 직관적으로 사용자의 또는 다른 사용자의 감정 상태를 인식할 수 있게 된다.
또한, 촬영된 영상, 녹음된 음성, 및 감지된 신체 신호 중 적어도 하나에 기초하여, 신뢰성 높은 감정 정보를 생성할 수 있게 된다. 이에 따라, 사용자 친화적인 다양한 서비스 제공이 가능하게 된다.
도 1은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치를 나타내는 블록도이다.
도 2는 도 1의 영상표시장치의 외관을 간략히 나타내는 도면이다.
도 3은 휴대 단말기의 외관을 간략히 나타내는 도면이다.
도 4는 도 1의 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이다.
도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 블록도이다.
도 6은 내지 도 13은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치의 설명에 참조되는 도면이다.
도 14는 본 발명의 실시예에 따른 영상표시장치의 동작 방법의 순서도이다.
도 15는 도 14의 감정 정보 획득의 일 예를 나타내는 순서도이다.
도 16 내지 도 17은 도 14의 영상표시장치의 동작 방법의의 설명에 참조되는 도면이다.
따라서, 본 발명의 목적은, 사용자 친화적인 서비스를 제공할 수 있는 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 감정 정보에 따라 영상을 재생하는 영상 표시 장치는, 디스플레이와, 영상을 촬영하는 영상 촬영부와, 음성을 녹음하는 음성 녹음부와, 신체 신호를 감지하는 신체 신호 감지부와, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성하며, 생성된 감정 정보 또는 기저장된 감정 정보에 따라 컨텐츠를 추천하도록 제어하는 제어부를 포함한다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치를 나타내는 블록도이며, 도 2는 도 1의 영상표시장치의 외관을 간략히 나타내는 도면이며, 도 3은 휴대 단말기의 외관을 간략히 나타내는 도면이고, 도 4는 도 1의 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이며, 도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 영상표시장치(100)는, 튜너(120), 외부신호입출력부(128), 복조부(130), 영상 촬영부(140), 음성 녹음부(135), 인터페이스부(150), 제어부(160), 저장부(175), 디스플레이(180), 및 오디오 출력부(185)를 포함할 수 있다. 또한, 네트워크 인터페이스부(165)를 더 포함할 수 있다.
튜너(120)는, 안테나를 통해 수신되는 RF (Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환한다. 튜너(120)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는, 바로 제어부(160)로 입력되는 것이 가능하다.
또한, 튜너(120)는, 후술하는 바와 같이, ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신하는 것도 가능하다.
영상 촬영부(125)는, 사용자의 신체의 적어도 일부를 촬영할 수 있다. 예를 들어, 사용자의 얼굴을 촬영할 수 있다. 특히, 얼굴 중에서도 특정 부위만을 측정하는 것도 가능하다. 예를 들어, 눈과 눈썹 부위를 촬영할 수 있다.
촬영된 영상은 제어부(160)로 전송된다. 영상 촬영부(125)는, 예를 들어, 카메라, 캠코더, 캠 등일 수 있다. 또한, 영상 촬영부(125)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200) 등에 부착되는 것이 가능하다. 촬영된 영상은, 정지 영상 또는 동영상일 수 있다.
음성 녹음부(135)는, 사용자의 음성을 녹음한다. 이를 위해, 음성 녹음부(135)는, 일예로, 마이크 등일 수 있다. 녹음된 음성은 제어부(160)에 전송된다. 음성 녹음부(135)는, 예를 들어, 마이크일 수 있다. 또한, 음성 녹음부(135)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 카메라, 캠코더 등에 부착되는 것이 가능하다.
신체 신호 감지부(145)는, 사용자의 신체 신호를 감지한다. 이를 위해, 신체 신호 감지부(145)는, 사용자의 신체에 부착될 수 있다. 예를 들어, 영상표시장치 등 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 손목 시계, 반지, 목걸이의 펜던트, 팔찌의 펜던트, 헤드셋, 이어폰, 각종 전자기기의 입력버튼 등에 부착되는 것이 가능하다. 즉, 사용자가 원격제어장치를 통해, 전자기기의 원격 제어를 수행하는 도중에 신체 신호를 감지할 수 있다. 또는 다른 기기가 신체에 부착되어 있는 동안에, 신체 신호를 감지할 수 있다. 감지된 신체 신호는 유선 또는 무선으로 네트워크 인터페이스부(165)를 통해 제어부(160)에 입력되게 된다. 한편, 도 4에 도시된 바와 같이, 휴대 음성 재생 장치의 헤드셋을 통해 뇌파를 측정할 수 있다.
예를 들어, 신체 신호 감지부(145)는, 전기피부반응(GSR), 피부온도(SKT), 심전도(ECG), 근전도(EMG), 뇌파, 호흡 등을 감지할 수 있다. 이를 통해, 긴장 상태, 집중도 등을 포함하는 감정 상태 정보를 감지할 수 있다.
전기피부반응(GSR)은, 자극에 대한 감정반응에 의해 일어나는 피부의 전기 전도 변화, 예를 들어 신체에 있는 땀샘의 활동을 반영하며, 피부온도(SKT)는, 체표면 온도 변화이며, 심전도(ECG)는, 심장의 극히 작은 전기적 활동을 포착하여 심전계를 통하여 증폭된 신호로써 추출되는 P, Q, R, S, T파의 패턴이며, 근전도(EMG)는, 근수축에 따른 신경근육활동을 전기신호로 나타낸 것이다. 한편, 뇌파는 α파, β파, 서파, 속파 등으로 나뉜다.
한편, 뇌파, 호흡의 빠르기 또는 깊이 등의 감지를 위해, 신체 신호 감지부(145)는, 헤드 마운트(HM) 타입일 수도 있다.
한편, 도 2 내지 도 4의 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 신체 신호는, 제어부(160)에 입력되는 것과 별개로, 네트워크 인터페이스부(165)를 통해, 외부 네트워크로 전송되는 것이 가능하다. 예를 들어, 외부 서버에 전송될 수 있다. 또한, 근방은 다른 전자 기기에 전송되는 것도 가능하다. 이 중 서버 역할을 하는 메인 전자기기에서, 이러한 신호를 처리하는 것도 가능하다.
외부신호입출력부(128)는, 외부 장치와의 신호 입력 등을 수행한다. 이를 위해 외부신호입출력부(128)는, A/V 입출력부(미도시) 등을 포함할 수 있다.
외부신호입출력부(128)는, DVD(Digital Versatile Disk) 플레이어, 블루레이(Blu ray) 플레이어, 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호, 및 외부 입력 데이터 신호를 영상표시장치(100) 내의 제어부(160)로 전달한다. 또한, 제어부(160) 내에서 처리된 영상 신호, 음성 신호, 및 데이터 신호를 다른 외부 장치로 출력할 수 있다.
복조부(130)는, 튜너(120)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
예를 들어, 튜너(120)에서 출력되는 디지털 IF 신호(DIF)가 ATSC 방식 또는 DVB 방식인 경우, 복조부(130)는, 8-VSB (1-Vestigal Side Band) 복조 또는 OFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(130)는, 채널 복호화를 수행할 수도 있다.
복조부(130)는, 복조 및 채널 복호화를 수행하고, 스트림 신호(TS)를 출력할 수 있다. 이때의 스트림 신호(TS)는, 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 또한, 본 발명의 실시예에 따라, 감정 상태 정보가 포함된 메타 데이터를 포함하는 신호일 수 있다.
예를 들어, 스트림 신호(TS)는, MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
인터페이스부(150)는, 사용자로부터의 입력 신호를 제어부(160)로 전달하거나, 제어부(160)로부터의 신호를 사용자에게 전달한다.
특히, 원격제어장치(200) 내에 구비되는 신체 신호 감지부(145)에서 감지된 신체 신호를 제어부(160)으로 전달한다.
제어부(160)는, 입력되는 스트림을 역다중화하고 역다중화된 신호들을 신호 처리하여, 영상 및 음성 출력을 위한 신호를 생성하여 출력할 수 있다. 그 외 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다.
도면에서는 도시하지 않았지만, 제어부(160)는, 역다중화부, 영상 처리부, 음성 처리부, OSD 생성부, 감정 정보 처리부 등을 포함할 수 있다.
또한, 제어부(160)는, 본 발명의 실시예와 관련하여, 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태를 판별할 수 있다. 바람직하게는, 적어도 두개에 기초하여 감정 상태를 판별할 수 있다.
먼저, 제어부(160)는, 촬영된 영상으로부터 얼굴 정보를 추출할 수 있다. 얼굴 정보를 추출하는 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다. 얼굴 추출 알고리즘으로는 다양한 방법이 사용될 수 있으며, 본 명세서에서는 그 예를 생략한다.
한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 촬영된 영상을 기준 영상과 비교하여, 감정 상태를 판별할 수 있다. 예를 들어, 기준 영상은, 저장부(175)에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다. 또한, 기준 영상은, 저장부가 아닌, 별도의 네트워크 상의 서버에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다.
제어부(160)는, 촬영된 영상 중 얼굴 영상을 추출하고, 추출된 얼굴 영상과, 기준 영상을 비교할 수 있다. 또는 추출된 얼굴 영상 내의 복수개의 포인트를 추출하고, 각 포인트 간의 상호 거리와, 기준 영상에서의 각 포인트 간의 상호 거리를 비교할 수 있다. 여기서, 복수개의 포인트는, 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부일 수 있다. 결국, 제어부(160)는, 촬영된 영상과 기준 영상을 비교하여, 가장 유사한 기준영상을 바탕으로, 다양한 감정 상태를 판별할 수 있다.
여기서, 감정 상태는, 사용자의 감정 상태는, 기쁨, 슬픔, 분노, 놀람, 공포, 혐오, 평상, 불안, 온화, 차가움, 흥분 등 으로 분류될 수 있다.
한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다.
예를 들어, 사용자의 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부가 이전 영상에 비해 그 크기, 위치, 형태, 색상, 움직임 등이 가변되는 경우, 이를 감지하고, 그에 따라 변화된 크기 정보, 위치 정보, 형태 정보, 색상 정보 등에 기초하여, 사용자의 감정 상태를 판별할 수도 있다.
한편, 제어부(160)는, 촬영된 영상이 얼굴 정면인 경우에만 유효할 수 있으므로, 복수의 영상 촬영부로부터 전송되는 영상을 촬영하거나, 녹음된 음성 또는 감지된 신호를 참조하여 감정 정보를 생성할 수 있다.
제어부(160)는, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 녹음된 음성을 기준 음성과 비교하여, 감정 상태를 판별할 수 있다. 또한, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다. 특히, 음성의 피치, 세기, 빠르기 등을 이용하여 감정 상태를 판별할 수 있다.
한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상과, 음성 녹음부(135)에서 녹음된 음성과 신체 신호 감지부(145)에서 감지된 신체 신호를 수신하여, 이를 종합적으로 고려하여 감정 상태를 판별할 수 있다.
특히, 복수 사용자인 경우, 음성 인식율이 떨어질 수 있으며, 사용자의 이동시에는 촬영된 영상 및 감지된 신체 신호의 정확성이 떨어질 수 있으므로, 제어부(160)는, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성할 수 있다.
예를 들어, 촬영된 영상 및 녹음된 음성을 바탕으로, 각각 감정 정보를 생성한 후, 이를 서로 비교할 수 있다. 그리고 이들의 비교에 의해, 공통의 감정 정보를 추출할 수 있다. 이렇게 함으로써, 생성되는 감정 정보의 정확성이 향상될 수 있게 된다.
그 외, 촬영된 영상 및 감지된 신호를 바탕으로 각각 감정 정보를 생성하여조합하거나, 녹음된 음성 및 감지된 신호를 각각 정보를 생성하여 조합할 수 있다.
한편, 촬영된 영상, 녹음된 음성 및 신체 신호 사이에는 각각 가중치가 할당되고, 할당된 가중치에 비례하여, 감정 정보를 생성할 수 있다.
예를 들어, 복수 사용자가 있는 경우, 녹음된 음성은 그 정확성이 떨어질 수 있으므로, 가중치를 촬영된 영상의 가중치 보다 낮게 설정할 수 있다.
그 외, 사용자가 이동 중인 경우, 녹음된 음성의 가중치가 다른 요소(영상 또는 신체 신호) 보다 가중치가 더 높을 수 있다. 이에 의해, 사용자의 상황을 고려하여, 정확한 감정 상태를 판별할 수 있게 된다.
한편, 복수의 사용자가 있는 경우, 각 사용자의 감정 상태를 생성하고, 이들의 조합에 의해, 대표 감정 상태를 산출할 수도 있다. 복수의 사용자가 있는 경우는, 주로 음성 보다는 촬영된 영상 또는 감지된 신체 신호를 통해, 각 개인의 감정 상태를 생성할 수 있다. 예를 들어, 각 개인의 감정 상태의 평균값을 대표 감정 상태로 산출할 수 있다.
또한, 소정 컨텐츠가 재생되는 상태에서, 복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것도 가능하다,
또한, 복수의 사용자가 있는 경우, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 설정된 가중치 및 획득된 정보에 기초하여, 사용자의 감정 정보를 생성할 수도 있다.
또한, 시간대 별로, 동일한 사용자의 감정 상태를 파악하고, 이를 평균화하여 대표 감정 상태로 산출하는 것도 가능하다. 즉, 특정 개인의 대표 감정 곡선(ECF)을 산출할 수도 있다.
이와 같이 생성된 감정 상태 정보를 바탕으로, 제어부(160)는, 사용자에게 컨텐츠를 추천하도록 제어할 수 있다.
예를 들어, 제어부(160)는, 재생하고자 하는 컨텐츠 리스트 중 사용자의 감정 상태 등을 고려하여, 소정 컨텐츠를 추천할 수 있다. 구체적으로, 사용자의 감정 상태가 우울한 감정으로 판별되면, 우울 모드로 기록된 컨텐츠를 추천할 수 있다. 여기서 추천되는 컨텐츠는 영상표시장치(100) 내의 저장부(175)에 저장된 컨텐츠이거나, 영상표시장치(100)에 접속되는 외부장치 내의 컨텐츠 일 수 있다. 또한, 네크워크 인터페이스부(165)를 통한, 외부 네트워크 상의 컨텐츠일 수 있다. 이를 위해, 각 컨텐츠는 감정 상태 정보가 메타 데이터 형태로 결합되던지 할 수 있다. 또는 리스트로 구성될 수도 있다.
한편, 제어부(160)는, 후술하는 도 9와 같이, 방송 시청 중 방송 프로그램 안내 정보인 EPG 정보가 표시되는 경우, 방송 프로그램 안내 정보 중 사용자의 감정 상태에 부합하는 방송 프로그램을 추천할 수도 있다.
또한, 제어부(160)는, 후술하는 도 8과 같이, 소정 영상 시청 중, 사용자의 감정 상태에 부합하는 영상을 썸네일 영상으로 픽쳐 인 픽쳐(Picture In Picture; PIP) 형태로 표시하도록 제어할 수도 있다.
또한, 제어부(160)는, 사용자의 감정 상태에 부합하는 다른 채널의 방송 영상을 추천하면서, 후술하는 도 10과 같이, 이를 썸네일 영상으로 표시하거나, 후술하는 도 11과 같이 썸네일 리스트로 표시할 수도 있다.
또한, 제어부(160)는, 후술하는 도 12와 도 13과 같이, 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어할 수 있다. 이때의 오브젝트는, 사용자의 감정 상태에 부합하는 아이콘 또는 아바타 등일 수 있다.
또한, 제어부(160)는, 후술하는 도 12와 도 13과 같이, 네트워크에 접속된 상태에서, 네트워크 또는 네트워크에 링크된 다른 네트워크의, 적어도 하나의 다른 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어할 수도 있다.
그리고, 제어부(160)는, 후술하는 도 12와 같이, 네트워크 또는 네트워크에 링크된 다른 네트워크의, 다른 사용자 또는 컨텐츠 제공자로부터 컨텐츠를 추천받고, 이를 표시하도록 제어할 수 있다.
또한, 제어부(160)는, 후술하는 도 13과 같이, 네트워크 또는 네트워크에 링크된 다른 네트워크의, 다른 사용자에게 컨텐츠를 추천하도록 제어할 수도 있다.
그 외, 제어부(160)는, 네트워크 상의 컨텐츠 제공자(CP)에게 현재 사용자의 감정 상태를 전송하고, 그에 따른 추천 컨텐츠를 제공받을 수도 있다.
그 외, 제어부(160)는, 현재 사용자의 감정 상태에 따라, 표시되는 영상 내의, 장소, 상품, 인물 등 중 추천 장소, 추천 상품, 추천 인물 등에 대한 정보를 디스플레이 상에 표시하도록 제어할 수도 있다.
한편, 제어부(160)는, 튜너(120)를 제어하여, 선택되는 채널 또는 기저장된 채널에 해당하는 RF 방송 신호를 선택(tuning)하도록 제어할 수 있다.
제어부(160)는, 입력되는 스트림 신호, 예를 들어 MPEG-2 TS 를 역다중화하여, 각각 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다. 여기서, 제어부(160)에 입력되는 스트림 신호는 복조부(130) 또는 외부 신호 입력부(128)로부터의 스트림 신호일 수 있다.
한편, 제어부(160)는, 생성된 사용자의 감정 상태를 나타내는 아이콘 또는 아바타를 생성하도록 제어하고, 해당 아이콘 또는 아바타를 디스플레이(180)에 표시하도록 제어할 수 있다.
또한, 제어부(160)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 이를 위해, MPEG-2 디코더, H.264 디코더, AVS 디코더를 통해 복호화될 수 있다.
또한, 제어부(160)는, 영상 신호의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등을 처리할 수 있다.
제어부(160)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 디스플레이 되게 된다. 또한, 외부 출력 장치와 연결된 외부 출력 단자로 입력되는 것도 가능하다.
또한, 제어부(160)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 예를 들어, 역다중화된 음성 신호가 부호화된 음성 신호인 경우, 이를 복호화할 수 있다. 또한, 제어부(160)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
제어부(160)에서 처리된 음성 신호는 오디오 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다.
또한, 제어부(160)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송 프로그램의 제목, 내용, 시작시간, 종료시간 등의 프로그램 정보를 포함하는 EPG(Electronic Program Guide) 정보일 수 있다. 예를 들어, EPG 정보는, ATSC방식인 경우, ATSC-PSIP(ATSC-Program and System Information Protocol) 정보일 수 있으며, DVB 방식인 경우, DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는, 상술한 스트림, 즉 MPEG-2 TS의 헤더(4 byte)에 포함되는 정보일 수 있다.
또한, 제어부(160)는, OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로, 제어부(160)는, 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 원격제어장치(200)로부터의 사용자 입력신호에 기초하여, 디스플레이(180) 상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 디스플레이하기 위한 신호를 생성할 수 있다. 생성된 신호는 영상 처리된 영상 신호 및 데이터 처리된 데이터 신호와 함께, 디스플레이(180)에 입력될 수 있다.
상술한, 그래픽 또는 텍스트 디스플레이를 위하여 생성된 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.
또한, 제어부(160)는, 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)를 입력받아, 신호 처리를 수행한다. 여기서, 제어부(160)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(120) 또는 외부 신호 입력부(128)로부터의 아날로그 베이스 밴드 영상/음성신호일 수 있다. 신호 처리된 영상 신호는 디스플레이(180)로 입력되어 디스플레이 되며, 신호 처리된 음성 신호는 오디오 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다.
또한, 제어부(160)는, 저장부(175)에 저장된 얼굴 정보 및 음성 정보와, 추출된 얼굴 정보 및 음성 정보를 비교하여, 시청 등급을 설정할 수 있다. 한편, 제어부(160)는, 사용자의 입력에 따라 시청 등급을 설정할 수도 있다. 또한, 시청 등급을 업데이트도 할 수 있다.
네트워크 인터페이스부(165)는, 유/무선 통신을 통해 데이터를 송신/수신할 수 있다. 예를 들어, 근거리의 다른 전자기기와의 데이터를 송신 또는 수신할 수 있으며, 인터넷 접속 등을 수행할 수도 있다. 특히, 본 발명의 실시예에 관련하여, 다른 전자 기기 또는 외부 서버 등의 네트워크를 통해 감정 상태 정보 등이 송/수신될 수 있다. 이러한 송신 및 수신 등은 제어부(160)의 제어 동작에 따라 수행될 수 있다.
네트워크 인터페이스부(165)는, 외부 서버와의 접속을 위해, 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
또한, 네트워크 인터페이스부(165)는, 다른 전자기기와 근거리 무선 통신을 위해, 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
저장부(175)는, 제어부(160) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다.
저장부(175)는 생성된 감정 상태를 저장한다. 예를 들어, 다양한 형태의 얼굴 정보, 다양한 형상의 음성 정보, 다양한 형태의 신체 감지 신호 등을 저장할 수 있다. 이러한, 기저장된 얼굴 정보, 음성 정보, 및 신체 감지 신호 정보 등은 제어부(160)에 전달되어, 사용자의 감정 상태 정보의 생성에 사용될 수 있다.
한편, 제어부(160)에서 생성된 감정 상태 정보는 저장부(175)에 저장될 수 있다. 생성된 감정 상태 정보는, 테이블화된 수치를 이용하여 저장될 수 있다.
이때, 사용자가 시청하는 컨텐츠의 제목, 종류, 시청 시간, 함께 시청한 시청자 수, 시청자의 연령대, 취향, 취미 등을 감정 상태와 함께 저장할 수 있다. 예를 들어, 컨텐츠에 메타 데이터(meta data) 형태로 함꼐 저장될 수 있다. 또는, 별도로 저장될 수도 있다.
도 5를 참조하면, 저장부(175)는, 감정 맵(emotional map)(500)을 포함할 수 있다. 감정 맵(500)은, 감정 종류 테이블(510)을 포함할 수 있다. 그 외, 사용자별 테이블(520), 장소별 테이블(530), 컨텐츠별 테이블(540), 상품별 테이블(550), 및 배우별 테이블(560) 등을 더 포함할 수 있다.
감정 종류 테이블(510)은, 사용자의 다양한 감정 상태를 데이터로 수치화한 것이다. 예를 들어, 각 수치는, 얼굴 정보, 음성 신호, 감지된 신체 신호를 종합적적으로 고려하여, 수치화된 값일 수 있다.
제어부(160)는, 기 저장된 감정 종류 테이블(510)을 호출하여, 생성된 감정 상태 정보를 수치화하고, 이를 저장부(175)에 저장되도록 할 수 있다.
한편, 저장부(175)는, 감정 종류 테이블(510)에 기초하여 생성된 감정 상태 정보와, 사용자 테이블(520)로부터의 사용자 정보, 장소별 테이블(530)로부터의 장소 정보, 컨텐츠별 테이블(540)로부터의 컨텐츠 정보, 상품별 테이블(550)로부터의 상품 정보, 배우별 테이블(560)로부터의 배우 정보 등 중 적어도 하나를 결합하여 저장할 수 있다. 또한, 컨텐츠 시청 중, 생성된 감정 상태 정보와 생성된 시간 등이 결합되어 저장될 수도 있다. 또한, 컨텐츠 별 대표 감정 정보가 저장될 수 있다. 또한, 사용자의 연령별, 성별, 지역별, 취미별 등 중 적어도 어느 하나가 결합되어 저장될 수도 있다. 또한, 복수의 사용자인 경우, 해당 연령의 평균 정보도 결합되어 저장될 수 있다. 이러한 결합 정보는, 컨텐츠 내에 포함되거나, 아니면 별도로 저장되는 것도 가능하다.
한편, 각 테이블은, 다른 전자기기와의 호환을 위해, 표준화된 테이블일 수 있다. 또한, 서로 다른 규격의 테이블일 경우, 이를 변환하는 것도 가능하다. 예를 들어, 네트워크 상으로부터 수신되는 테이블을 변환하여, 이를 저장부(175)에 저장하는 것도 가능하다.
한편, 저장부(175)는, 네트워크 인터페이스부(165)를 통해, 다른 전자기기 또는 네트워크를 통한 서버 등에, 저장된 감정 상태 정보 등을 전송하거나, 다른 전자기기 또는 서버 등으로부터 감정 상태 정보 등을 수신하여 저장할 수 있다. 예를 들어, 컨텐츠 제공자들은 해당 서버에, 컨텐츠 별로, 사용자 별로, 취향 별로, 사용자의 연령, 지역별, 성별 등으로, 해당 감정 상태 정보 등을 데이터 베이스화하여 저장할 수 있다.
이렇게 다른 전자 기기 또는 외부 서버 등에 공유함으로써, 컨텐츠 별 사용자의 감정 상태가 취합될 수 있다. 또한, 해당 컨텐츠의 대표 감정 상태가 확정될 수 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다양한 사용자의 감정 상태 업데이트를 통해, 수시로 변경될 수도 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다시 각 전자기기 별로 전송되어, 해당 컨텐츠를 시청하는 시청자에게 제공되거나, 비교 대상으로 사용될 수도 있다.
또한, 네트워크 인터페이스부(165)를 통해, 컨텐츠 제공자들은 상술한 감정 상태 정보 등을 수신할 수 있으며, 이와 같이, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태 정보를 생성하므로, 신뢰성 높은 감정 상태 정보를 생성할 수 있게 된다. 또한, 저장부(175)는, 채널 기억 기능을 통해 해당하는 방송 채널을 저장할 수 있다.
저장부(175)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도면에서는 저장부(175)가 제어부(160)와 별도로 마련되는 것으로 도시하나, 이에 한정되지 않으며, 제어부(160) 내에 포함되어 마련되는 것도 가능하다.
한편, 영상표시장치(100)는, 저장부(175) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수도 있다.
디스플레이(180)는, 제어부(160)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부신호입출력부(128)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다. 디스플레이(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display)등 다양한 형태로 구현되는 것이 가능하다. 또한, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 제어부(160)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 오디오 출력부(185)로는 다양한 형태의 스피커로 구현되는 것이 가능하다.
원격제어장치(200)는, 사용자 입력을 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.
또한, 원격제어장치(200)는, 상술한 바와 같이, 신체 신호 감지부(145)를 포함한다.
또한, 원격제어장치(200)는, 인터페이스부(150)로부터의 영상 신호, 음성 신호, 데이터 신호 등을 수신하여, 이를 출력할 수도 있다.
한편, 도면에서는 1개의 튜너를 도시하고 있으나, 복수개의 튜너를 사용하는 것이 가능하다.
상술한 영상표시장치(100)는, 고정형으로서 ATSC 방식(1-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송, DTMB-T 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있으며, 또한, 이동형으로서 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 케이블, 위성통신, IPTV 용 디지털 방송 수신기일 수도 있다.
한편, 본 명세서에서 기술되는 영상표시장치(100)는, TV 수상기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 휴대 음성 재생 장치(MP3 player) 등이 포함될 수 있다. 특히, 도 2 내지 도 4에 예시된 영상표시장치들 중 적어도 하나에는, 방송 신호 수신을 위한, 튜너, 및 복조부가 생략되는 것도 가능하다.
도 1에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 6은 내지 도 13은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치의 설명에 참조되는 도면이다.
먼저, 도 6은 영상표시장치(100)가 네트워크 상에서 다른 외부 장치(610,620 등)와 접속되는 것을 보여준다. 이에 따라, 영상표시장치(100)와 외부 장치(610,620) 간에, 서로 컨텐츠를 공유하거나, 컨텐츠를 추천할 수 있다. 이러한 외부 장치(610,620)는, 영상표시장치(100)와 근거리의 전자기기일 수 있으며, 또는 외부 서버 또는 컨텐츠 제공자일 수 있다.
다음, 도 7과 같이, 사용자가 원격제어장치(200)를 가지고, 원격 제어 동작을 수행하는 경우, 영상 촬영부(125), 음성 녹음부(135), 신체 신호 감지부(145)에서 각각 영상, 음성, 신체 신호를 감지하게 된다.
이에 따라 제어부(160)는 사용자의 감정 상태를 판별할 수 있게 된다.
그리고, 사용자가 컨텐츠 리스트(710)를 선택한 경우, 영상표시장치(100)는, 도 7(b)와 같이, 판별된 사용자의 감정 상태에 따라, 데이터를 추천할 지 여부를 나타내는 오브젝트를 화면에 표시할 수 있다.
사용자의 감정 상태가, 즐거운 감정 모드인 경우, 도 7(c)와 같이, “영화 1”을 추천하는 화면(730)이 표시될 수 있다. 이때, “영화 1”의 감정 상태 정보를 나타내는 아이콘이 함께 표시되는 것도 가능하다.
한편, 사용자의 현재 감정 상태에 따른 것이 아닌, 이전 컨텐츠 시청시 기록되었던 감정 상태에 따라, 컨텐츠 리스트 중 어느 하나를 추천하는 것도 가능하다. 예를 들어, 지난 컨텐츠 시청시 즐거운 감정 모드였던, 컨텐츠를 추천 컨텐츠로 표시하는 것도 가능하다. 즉, 현재 사용자의 감정에 관계없이, 이미 기록되었던 감정 상태 중 가장 좋은 감정 상태에 해당하는 컨텐츠를 추천하는 것도 가능하다.
한편, 도 7에서는 컨텐츠 목록으로, 영화, 드라마, 음악 등을 예시하나, 이외에, 텍스트 문서, 전자책 등의 컨텐츠도 이와 같이 적용될 수 있다.
이러한 컨텐츠들은, 저장부(175)에 저장되거나, 컨텐츠 제공자로부터 제공되거나, 영상표시장치(100)에 접속된 외부장치 내에 저장된 컨텐츠일 수 있다. 그리고 각각 컨텐츠에 대한 감정 상태 정보가 메타 데이터 형태로 부가된 것을 수 있다.
다음, 도 8은 해당 컨텐츠가 기 저장된 컨텐츠 등이 아닌 실시간으로 수신되는 채널(Ch11-1)의 방송 영상(810)이라는 점에서 그 차이가 있다. 이에 따라, 현재 사용자의 감정 상태에 따라, 실시간으로 해당 컨텐츠를 추천할 수 있다. 즉, 사용자의 감정 상태를 파악하고, 그에 따른 컨텐츠를 PIP 형태로 추천할 수 있다. 이때의 컨텐츠는 다른 채널의 영상 또는 저장된 컨텐츠일 수도 있다.
한편, 방송 영상의 경우, 감정 상태 정보는, 원 방송 신호에 메타 데이터 형태로 부가되거나, 외부 서버에서 다양한 사용자에 의해 실시간으로 수집되거나 할 수 있다. 도면에서는, 추천 컨텐츠를 방송 영상(820,830)으로 예시한다. 그리고 각각의 방송 영상에 대한 감정 상태 정보를 나타내는 아이콘도 함께 표시될 수 있다.
다음, 도 9는 방송 영상(910)이 표시된 상태에서, 방송 프로그램 안내 정보인 EPG 정보가 표시되는 경우, 방송 프로그램 안내 화면(920) 중 사용자의 감정 상태에 부합하는 방송 프로그램을 추천하는 것을 예시한다. 상술한 바와 같이, 방송 영상에 대한 감정 상태 정보는, 방송국에서 미리 제작하여 함께 송신할 수도 있고, 그 외 인테넛 상에서, 수 많은 시청자들의 시청시의 감정 상태를 취합한 정보일 수도 있다. 이러한 정보를 바탕으로, 사용자의 감정 상태에 부합하는 채널의 프로그램을 추천할 수 있다. 도면에서는, 즐거운 모드의 사용자에 맞추어, 즐거운 모드의 프로그램들이 추천(포커싱)되는 것을 예시한다. 이에 따라, 사용자는 직관적으로 해당 채널들을 선택할 수 있게 된다.
다음, 도 10 및 도 11은, 도 8과 유사하게, 방송 시청 중 사용자의 감정 상태(사용자의 감정 상태는, 영상 촬영부(125), 음성 녹음부(135), 및 신체 신호 감지부(145에 기초하여 파악함)에 부합하는 다른 방송 채널을 추천하는 것을 예시한다. 이를 위해, 디스플레이의 하단에, 썸네일 리스트가 표시될 수 있다. 썸네일 리스트는, 영상표시장치(100) 내의 별도의 채널 브라우징 처리부(미도시)에서 생성된 방송 영상의 썸네일 영상을 기반으로 작성될 수 있다. 즉, 수신되는 방송 영상을 포맷 변화시켜, 썸네일 영상을 생성할 수 있다. 이때, 감정 상태 정보도 함께, 썸네일 영상에 포함시킬 수 있다. 도 10에서는 사용자의 즐거운 감정 상태에 따라, 썸네일 리스트(1030) 중 제1 썸네일 영상(1040)과 제2 썸네일 영상(1050)이 추천되는 것을 예시한다.
한편, 도 11은 도 10과 유사하게, 사용자의 감정 상태에 따라, 썸네일 리스트 내(1130)의 추천 썸네일 영상(1140,1150)을 포커싱하는 것을 예시한다. 다만, 도 10과 달리 별도의 제2 디스플레이에 썸네일 리스트(1130)를 도시한다는 점에서 그 차이가 있다. 이에 의해 시청 중인 영상(1120)의 방해 없이 별도의 디스플레이를 통해 추천 컨텐츠 등이 표시될 수 있다. 한편, 별도의 디스플레이를 제어하는 제2 제어부가 더 구비되는 것도 가능하며, 이러한 제2 제어부는, 메인 제어부의 신호 처리 부담을 덜어줄 수 있게 된다.
다음, 도 12 및 도 13은, 사용자가 컨텐츠를 시청하는 도중 네트워크 상의 다른 사용자와 서로 컨텐츠를 추천하고 추천받는 것을 예시하는 도면이다.
컨텐츠 시청 중, 디스플레이(180)의 일부 화면(1220,1320)에는, 해당 컨텐츠를 시청하고 있는 다른 사용자가 표시될 수 있다. 접속 상태에 따라 다른 사용자를 나타내는 오브젝트, 예를 들어, 아이콘 또는 아바타의 형상, 색상 등이 가변할 수 있다. 이때, 사용자 본인이 시청 중인 컨텐츠의 감정 상태를 나타내는 오브젝트가 표시될 수 있다. 즉, 사용자 본인의 현재 감정 상태는 물론, 네트워크 상의 다른 사용자의 감정 상태도 함께 표시될 수 있다. 이를 바탕으로, 동일한 감정 상태의 사용자들은 동질감을 느낄 수 있게 된다. 그리고, 서로 관심 있어 하거나 감정 동조율이 높은 컨텐츠 또는 컨텐츠 내의 일부 장면들을 추천하는 것도 가능하다. 유사 감정을 느끼는 사용자들은 취미, 관심 분야 등이 유사할 수 있으므로, 이러한 사용자들끼리 친구 등록 리스트에 서로 포함되는 것도 가능하다.
도 12에서는 상대방 사용자로부터 추천된 컨텐츠가 있는 경우를 예시하며, 도 13에서는 사용자가 상대방 사용자에게, 자신이 선택한 컨텐츠(1340)를 추천하는 것을 예시한다. 추천 항목 이외에, 바로 상대방에게 전송하는 것도 가능하다.
도 12(b)에서는 다른 사용자가 추천한 컨텐츠를 저장 또는 재생할 지 여부를 나타내는 오브젝트(1230)가 디스플레이(180)에 표시되는 것을 예시하며, 도 13(b)에서는 다른 사용자에게 본인이 선택한 컨텐츠(1340)를 추천할 것인지를 나타내는 오브젝트(1330)가 디스플레이(180)에 표시되는 것을 예시한다.
이와 같이, 감정 상태가 유사한 다양한 사용자들끼리, 컨텐츠를 공유하는 것이 가능하게 된다.
한편, 네트워크 상의 컨텐츠 제공자(CP)에게 현재 사용자의 감정 상태를 전송하고, 그에 따른 추천 컨텐츠를 제공받을 수도 있다.
그 외, 현재 사용자의 감정 상태에 따라, 표시되는 영상 내의, 장소, 상품, 인물 등 중 사용자의 감정 상태에 부합하는 장소, 상품, 인물 등에 대한 정보를 추천하는 것도 가능하다.
예를 들어, 홈쇼핑 채널 또는 소정 채널의 광고의 경우, 사용자의 감정 상태를 기록하였다가, 이후 사용자가 관심 있어하는 물폼 등이 판매되는 경우, 추천할 수 있다. 이 경우, 사용자가 해당 채널을 시청하지 않더라도, EPG 등의 방송 정보를 이용하여, 자동적으로 도 8 이나, 도 10, 도 11과 같이 해당 채널의 방송 영상을 썸네일 영상으로 변환하여 디스플레이(180)의 하단에 표시할 수 있다. 또한, 사용자가 "관심 쇼핑하기" 메뉴에 진입하는 경우, 사용자가 관심을 보인 물품들에 대한 최신 업데이트 정보를 제공할 수도 있다.
이러한 관심 물품은, 다른 사용자의 감정 상태에 따라 추천하는 것도 가능하다. 도 13과 같이, 다른 사용자의 감정 상태 화면(1320)이 표시되는 경우, 본인과 감정 동조율이 높은 다른 사용자에게, 관심 물품을 추천하는 것도 가능하다.
또한, 컨텐츠 시청 중 좋은 감정을 사용자가 느끼는 경우, 그에 대한 회상을 할 수 있도록 배경 음악(back ground music)을 저장하고, 이후 추천하는 것도 가능하다. 이러한 추천은 다른 사용자에게 추천하는 것도 가능하다.
또한, 도 13에 예시된 바와 같이, 네트워크 상의 다른 사용자와 감정 동조율이 높은 장면을 영상으로 추출하고, 이를 상대방에게 전송하는 것도 가능하다.
또한, 도 13에 예시된 바와 같이, 네트워크 상의 감정 동조율이 높은 다른 사용자에게, 자동으로 현 사용자가 시청하고 있는 컨텐츠 정보를 전송하는 것도 가능하다.
이에 따라, 상술한 바에 따라, 컨텐츠를 추천함으로써, 사용자 친화적으로 컨텐츠를 시청할 할 수 있게 된다.
도 14는 본 발명의 실시예에 따른 영상표시장치의 동작 방법의 순서도이고, 도 15는 도 14의 감정 정보 획득의 일 예를 나타내는 순서도이며, 도 16 내지 도 17은 도 14의 영상표시장치의 동작 방법의의 설명에 참조되는 도면이다.
도면을 참조하여 설명하면, 먼저, 컨텐츠 리스트 또는 영상을 표시한다(S1405). 도 7(a)는 컨텐츠 리스트(710)의 일예를 예시한다. 컨텐츠 리스트는 영화, 드라마, 음악 등 다양한 컨텐츠를 포함할 수 있다. 도 8(a), 도 9(a), 도 10(a), 도 11(a) 등은 영상표시장치에 방송 영상(810,910,1010,1110)이 표시되는 것을 예시한다. 영상은 방송 영상 외에, 외부장치로부터 입력되는 외부 입력 영상 또는 저장부 내에 저장된 영상일 수 있다.
다음, 감정 정보 적용 모드인 지 여부를 판단한다(S1410). 감정 정보 적용 모드인 경우, 사용자의 감정 정보를 획득한다(S1415).
감정 정보 적용 모드는, 도 7(b)와 같이 사용자의 감정 정보에 따라 컨텐츠츠를 추천할 지 여부를 나타내는 오브젝트가 표시된 상태에서 사용자의 선택에 의해 진입할 수 있다.
또는, 자동으로 사용자의 감성 상태를 파악하다가, 평소와 다른 감정 상태를 보이는 경우, 사용자의 컨텐츠 리스트 보기시 또는 다른 방송 채널 검색시 또는 시청 중인 방송의 종료시 또는 새로운 외부 장치 연결시에, 자동으로 감정 정보 적용 모드로 진입하는 것도 가능하다.
감정 정보 획득은, 사용자의 현재 상태를 실시간으로 직접 파악하여 획득하거나, 인접 전자 기기 또는 네트워크 상의 서버로 부터 수신하거나 또는 저장부(175)에 기 저장된 감정 정보룰 호출하는 것도 가능하다.
도 15는 사용자의 감정 정보를 생성하는 것을 예시한다. 참조하여 설명하면, 먼저, 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 하나를 획득하고(S1510), 획득된 정보에 기초하여 사용자의 감정 정보를 생성하며(S1520), 생성된 감정 정보를 저장한다(S1530).
상술한 바와 같이, 사용자의 영상 정보는 영상 촬영부(125)로부터, 음성 정보는 음성 녹음부(135)로부터, 신체 정보는 신체 신호 감지부(145)로부터 획득할 수 있다. 이러한 정보는 제어부(160)에 입력되며, 제어부(160)는 이들의 조합에 의해 사용자의 감정 정보를 생성한다.
제어부(160)는, 감정 정보 생성시, 상술한 바와 같이, 영상 정보, 음성 정보 및 신체 정보의 가중치를 달리하여 생성할 수 있으며, 복수의 사용자가 있는 경우, 각각의 감정 정보를 생성하고, 이를 참조하여 대표 감정 정보를 산출할 수도 있다.
도 16은 복수의 사용자(1620,1630)가 방송 영상(1610)을 시청하는 것을 예시한다. 이때, 도 16(b)와 같이, 사용자의 감정 정보에 따라 컨텐츠를 추천할 지 여부를 나타내는 오브젝트가 표시된 상태에서, 사용자의 선택에 의해 감정 정보 적용 모드로 진입한 경우, 복수 사용자의 대표 감정 정보를 산출할 수 있다.
한편, 복수의 사용자는, 도 16과 같이 동일한 영상표시장치로부터의 방송 영상(1610)을 시청하는 것 외에, 다른 영상표시장치를 통해 동일한 방송 영상(1610)을 시청하는 사용자도 가능하다. 이러한 사용자들은 도 6에 예시된 네트워크 등을 통해, 각각의 감정 상태를 교환할 수 있으며, 이중 어느 특정 영상표시장치는 이를 취합하여, 대표 감정 상태를 생성할 수도 있다.
다음, 획득된 감정 정보에 따라, 컨텐츠를 추천한다(S1420).
추천되는 컨텐츠는 영화, 드라마, 스포츠, 다큐멘터리, 이미지 등의 영상 컨텐츠와, 음악 등의 다양한 음성 컨텐츠와, 문서 등의 텍스트 컨텐츠를 포함할 수 있다.
도 7(c)는 사용자의 감정에 따라, 컨텐츠 추천 리스트(180)가 디스플레이(730)에 표시되는 것을 예시한다. 도면에서는 하나의 컨텐츠 만을 추천하나, 이에 한정되지 않고 다양한 컨텐츠를 추천하는 것이 가능하다.
한편, 도 16(c)는 복수의 사용자의 대표 감정에 따라, 컨텐츠 추천 리스트(1650)가 디스플레이(180)에 표시되는 것을 예시한다.
한편, 컨텐츠의 추천은, 해당 컨텐츠를 썸네일 영상으로 표시하는 것도 가능하다. 도 8(b)는, 추천 컨텐츠, 즉 추천 방송 영상을 썸네일 영상(820,830)으로 표시하는 것을 예시한다. 한편, 도 10(d)와 같이, 추천 컨텐츠로, 썸네일 영상을 구비하는 썸네일 리스트(1030)를 표시하는 것도 가능하다.
한편, 컨텐츠의 추천은, 방송 프로그램 안내(EPG) 정보가 표시되는 경우, 방송 프로그램 안내 정보 중 사용자의 감정 정보에 따라, 소정 방송 프로그램을 추천하는 것도 가능하다. 도 9(b)는, 방송 프로그램 안내(EPG) 정보가 표시된 상태에서, 사용자의 감정 정보에 따라 소정 방송 프로그램들을 추천하는 것을 예시한다. 추천 방송들은 포커싱되어 표시될 수 있다.
이와 같이, 사용자의 감정 상태에 따라 적합한 컨텐츠를 추천함으로써, 사용자의 이용 편의성이 증대되게 된다.
다음, 추천 컨텐츠를 재생한다(S1425). 추천되는 컨텐츠가 영상인 경우, 해당 영상을 선택하여 이를 재생할 수 있다. 도 8(b), 도 10(b), 도 11(b)에는 해당 방송 영상을 나타내는 썸네일 영상들이 표시되며, 이 중 사용자의 선택에 의해, 선택된 썸네일 영상에 대응하는 방송 영상이 디스플레이(180)에 표시되게 된다.
한편, 재생되는 컨텐츠는, 영화, 드라마, 스포츠, 다큐멘터리, 이미지 등의 영상 컨텐츠외에, 음악 등의 다양한 음성 컨텐츠 또는 문서 등의 텍스트 컨텐츠 등도 가능하다.
이에 의해, 사용자는 간단하게, 사용자의 감정 상태에 적합한 컨텐츠를 취사 선택하여 시청하거나 청취할 수 있게 된다.
한편, 컨텐츠 재생시, 재생되는 컨텐츠의 제목, 종류, 재생 시간, 컨텐츠 내의 장소, 컨텐츠 내의 배우, 배우의 최근 뉴스, 컨텐츠 내의 상품 중 적어도 하나를 포함하는 컨텐츠 정보가 함께 표시될 수도 있다. 이러한 컨텐츠 정보는, 상술한 저장부 내의 감정 종류 테이블(510)을 이용하여 저장된 것으로서, 재생되는 컨텐츠가 관심 컨텐츠로 등록된 것인 경우에 표시될 수도 있다.
다음, 타 사용자 또는 주변 전자기기로의 추천 모드인 지 여부를 판단하고(S1430), 해당하는 경우, 타 사용자 또는 주변 전자 기기에 소정 컨텐츠를 추천한다(S1435).
영상표시장치(100)에서의 컨텐츠 추천 외에, 네트워크 또는 네트워크에 링크된 다른 사용자에게 컨텐츠 추천하는 것도 가능하다.
도 13(a)는 네트워크 상의 다른 사용자를 나타내는 오브젝트와, 각 사용자의 감정 상태를 나타내는 오브젝트가 디스플레이(180)에 표시되는 것을 예시한다. 이때, 본인의 감정 상태를 나타내는 오브젝트가 디스플레이(180)에 표시되는 것도 가능하다. 이에 따라, 다른 사용자와 본인과의 감정 상태의 일치 여부를 손쉽게 확인할 수 있으며, 본인이 선호하는 컨텐츠를 다른 사용자에게 추천시 이를 활용할 수 있게 된다.
도 13(b)는, 사용자 본인이 선택한 컨텐츠(1340)를 다른 사용자에게 추천하는 것을 예시한다. 추천의 예로는, 컨텐츠 항목을 다른 사용자에게 전송하거나, 아예 컨텐츠 자체를 전송하는 것도 가능하다.
한편, 도 12와 같이, 네트워크 상의 다른 사용자로부터 사용자 본인에게 소정 컨텐츠가 추천되는 것을 표시하는 것도 가능하다.
한편, 도 17은 영상표시장치의 주변 전자기기(예를 들어, 노트북 컴퓨터)에 소정 컨텐츠를 추천하는 것을 예시한다.
도 17(a)와 같이, 방송 영상(1710)이 표시된 상태에서, 영상표시장치 주변의 통신 가능한 주변 기기 목록(1720)이 표시될 수 있다.
도 17(b)와 같이, 사용자(1750)가 다양한 컨텐츠들 중 어느 하나의 컨텐츠(1740)를 선택하는 경우, 디스플레이(180)의 일부에, 어느 하나의 전자기기(1700)에 추천할 지 여부를 나타내는 오브젝트(1730)가 표시될 수 있다. 이에 의해, 사용자는 인접 전자기기에 컨텐츠 추천을 수행할 수 있다.
한편, 역으로 인접 전자기기(1700)로부터 영상표시장치로의 컨텐츠 추천도 가능하다.
이와 같이, 사용자의 감정 정보를 기반으로하여 컨텐츠의 추천이 가능함으로써, 다른 전자기기 또는 다른 사용자와의 상호 감정 기반의 교류가 가능할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있게 된다.
본 발명에 따른 영상표시장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (20)

  1. 컨텐츠 리스트 또는 영상을 표시하는 단계;
    사용자의 감정 정보를 획득하는 단계; 및
    상기 사용자의 감정 정보에 따라, 적어도 하나의 소정 컨텐츠를 추천하는 단계;를 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  2. 제1항에 있어서,
    상기 추천 단계는,
    상기 컨텐츠 리스트 또는 영상이 표시된 상태에서, 상기 사용자의 감정 정보에 따라 상기 적어도 하나의 컨텐츠를 썸네일 영상으로 표시하여 추천하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  3. 제1항에 있어서,
    소정 네트워크에 접속된 상태에서, 상기 접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자 또는 컨텐츠 제공자로부터 추천된 적어도 하나의 컨텐츠를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  4. 제1항에 있어서,
    소정 네트워크에 접속된 상태에서, 상기 접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자에게 적어도 하나의 컨텐츠를 추천하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  5. 제1항에 있어서,
    인접 전자기기로부터 상기 영상표시장치로 추천된 적어도 하나의 컨텐츠를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  6. 제1항에 있어서,
    상기 사용자의 감정 정보에 따른 상기 적어도 하나의 컨텐츠를 인접 전자기기로 추천하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  7. 제1항에 있어서,
    상기 추천된 적어도 하나의 컨텐츠를 선택하여 재생하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  8. 제1항에 있어서,
    사용자의 감정 정보를 나타내는 오브젝트를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  9. 제1항에 있어서,
    소정 네트워크에 접속된 상태에서, 상기 네트워크 또는 상기 네트워크에 링크된 다른 네트워크의, 적어도 하나의 다른 사용자의 감정 정보를 나타내는 오브젝트를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  10. 제1항에 있어서,
    상기 사용자의 감정 정보를 획득하는 단계는,
    상기 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 하나에 기초하여 감정 정보를 생성하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  11. 제1항에 있어서,
    상기 추천 단계는,
    방송 프로그램 안내 정보가 표시되는 경우, 방송 프로그램 안내 정보 중 상기 사용자의 감정 정보에 따라, 소정 방송 프로그램을 추천하는 것을 특징으로 하는 영상표시장치의 동작 방법.
  12. 컨텐츠 리스트 또는 영상을 표시하는 디스플레이; 및
    사용자의 감정 정보에 따라 적어도 하나의 소정 컨텐츠를 추천하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 영상표시장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 컨텐츠 리스트 또는 영상이 표시된 상태에서, 상기 사용자의 감정 정보에 따라 상기 적어도 하나의 컨텐츠를 썸네일 영상으로 표시하여 추천하도록 제어하는 것을 특징으로 하는 영상표시장치.
  14. 제12항에 있어서,
    네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
    상기 제어부는,
    접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자로부터 추천된 적어도 하나의 컨텐츠를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.
  15. 제12항에 있어서,
    네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
    상기 제어부는,
    상기 접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자에게 적어도 하나의 컨텐츠를 추천하도록 제어하는 것을 특징으로 하는 영상표시장치.
  16. 제12항에 있어서,
    상기 제어부는,
    인접 전자기기로부터 추천된 적어도 하나의 컨텐츠를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.
  17. 제12항에 있어서,
    상기 제어부는,
    상기 사용자의 감정 정보에 따른 상기 적어도 하나의 컨텐츠를 인접 전자기기로 추천하도록 제어하는 것을 특징으로 하는 영상표시장치.
  18. 제12항에 있어서,
    상기 제어부는,
    상기 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.
  19. 제12항에 있어서,
    네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
    상기 제어부는,
    네트워크에 접속된 상태에서, 상기 네트워크 또는 상기 네트워크에 링크된 다른 네트워크의, 적어도 하나의 다른 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.
  20. 제12항에 있어서,
    사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부;
    상기 사용자의 음성을 녹음하는 음성 녹음부;
    상기 사용자의 신체 신호를 감지하는 신체 신호 감지부;를 더 포함하며,
    상기 제어부는,
    사용자의 촬영된 영상으로부터의 영상 정보, 상기 녹음된 음성으로부터의 음성 정보, 상기 감지된 신체 신호로부터의 신체 정보 중 적어도 하나에 기초하여, 상기 사용자의 감정 정보를 생성하는 것 특징으로 하는 영상표시장치.
KR1020100019141A 2009-12-04 2010-03-03 영상표시장치 및 그 동작 방법. KR101708682B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100019141A KR101708682B1 (ko) 2010-03-03 2010-03-03 영상표시장치 및 그 동작 방법.
US12/959,557 US8704760B2 (en) 2009-12-04 2010-12-03 Image display apparatus capable of recommending contents according to emotional information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100019141A KR101708682B1 (ko) 2010-03-03 2010-03-03 영상표시장치 및 그 동작 방법.

Publications (2)

Publication Number Publication Date
KR20110100061A true KR20110100061A (ko) 2011-09-09
KR101708682B1 KR101708682B1 (ko) 2017-02-21

Family

ID=44081533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100019141A KR101708682B1 (ko) 2009-12-04 2010-03-03 영상표시장치 및 그 동작 방법.

Country Status (2)

Country Link
US (1) US8704760B2 (ko)
KR (1) KR101708682B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336338B1 (ko) * 2012-01-17 2013-12-06 주식회사 포키비언 촬영 장치로부터 입력된 영상을 기반으로 시청자의 시청 상태를 결정하는 영상 표시 단말 및 방법
KR20140089454A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
WO2014119900A1 (ko) * 2013-01-29 2014-08-07 Lee Jong Sik 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기 및 사용자 인터페이스 방법
KR20140140310A (ko) * 2013-05-29 2014-12-09 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2017078205A1 (ko) * 2015-11-04 2017-05-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20180062221A (ko) * 2016-11-30 2018-06-08 주식회사 트라이캐치미디어 게임플레이어의 얼굴 인식을 통한 게임운영 방법
KR101964438B1 (ko) * 2018-07-09 2019-04-01 넷마블 주식회사 컨텐츠 서비스 제공 방법 및 장치
KR20200019801A (ko) * 2018-08-14 2020-02-25 대진대학교 산학협력단 자율 주행 차량 공유 플랫폼을 활용한 브랜드 가치 및 경험 제공 시스템
KR20200020014A (ko) * 2012-01-10 2020-02-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 개인의 반응과 함께 콘텐츠를 소비하는 기법

Families Citing this family (161)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110279359A1 (en) * 2010-05-12 2011-11-17 Rovi Technologies Corporation Systems and methods for monitoring motion sensor signals and adjusting interaction modes
US20110283189A1 (en) * 2010-05-12 2011-11-17 Rovi Technologies Corporation Systems and methods for adjusting media guide interaction modes
WO2011148213A1 (en) * 2010-05-26 2011-12-01 Sony Ericsson Mobile Communications Ab Adaptive media object reproduction based on social context
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US20120124122A1 (en) * 2010-11-17 2012-05-17 El Kaliouby Rana Sharing affect across a social network
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US9046999B1 (en) * 2010-06-08 2015-06-02 Google Inc. Dynamic input at a touch-based interface based on pressure
CN103299330A (zh) * 2010-10-21 2013-09-11 圣脑私营有限责任公司 人类体验及购买行为的神经心理建模方法及装置
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US20140025385A1 (en) * 2010-12-30 2014-01-23 Nokia Corporation Method, Apparatus and Computer Program Product for Emotion Detection
US9201520B2 (en) 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
US20130013685A1 (en) * 2011-04-04 2013-01-10 Bagooba, Inc. Social Networking Environment with Representation of a Composite Emotional Condition for a User and/or Group of Users
US8845429B2 (en) * 2011-05-27 2014-09-30 Microsoft Corporation Interaction hint for interactive video presentations
US20120324491A1 (en) * 2011-06-17 2012-12-20 Microsoft Corporation Video highlight identification based on environmental sensing
US9015746B2 (en) * 2011-06-17 2015-04-21 Microsoft Technology Licensing, Llc Interest-based video streams
KR101839406B1 (ko) * 2011-09-27 2018-03-19 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP5857722B2 (ja) * 2011-12-20 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2014002415A1 (ja) * 2012-06-28 2014-01-03 パナソニック株式会社 撮像装置
KR101978743B1 (ko) * 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
KR101984590B1 (ko) * 2012-11-14 2019-05-31 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US10528135B2 (en) 2013-01-14 2020-01-07 Ctrl-Labs Corporation Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display
KR20140096935A (ko) * 2013-01-29 2014-08-06 이종식 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기 및 사용자 인터페이스 방법
CN105190578A (zh) 2013-02-22 2015-12-23 赛尔米克实验室公司 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备
US11483432B2 (en) 2013-03-06 2022-10-25 David A. Taylor Media sharing and communication system
US11831960B2 (en) 2013-03-06 2023-11-28 David A. Taylor Media sharing and communication system
US10694255B2 (en) * 2013-03-06 2020-06-23 David A. Taylor Media sharing and communication system
US11483624B2 (en) 2013-03-06 2022-10-25 David A. Taylor Media sharing and communication system
US11503378B2 (en) 2013-03-06 2022-11-15 David A. Taylor Media sharing and communication system
US11582526B2 (en) 2013-03-06 2023-02-14 David A. Taylor Media sharing and communication system
US11456982B2 (en) 2013-03-06 2022-09-27 David A. Taylor Media sharing and communication system
US11457284B2 (en) 2013-03-06 2022-09-27 David A. Taylor Media sharing and communication system
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US20150033258A1 (en) 2013-07-24 2015-01-29 United Video Properties, Inc. Methods and systems for media guidance applications configured to monitor brain activity
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
JP5787949B2 (ja) * 2013-08-28 2015-09-30 ヤフー株式会社 情報処理装置、特定方法および特定プログラム
CN105493477A (zh) * 2013-08-29 2016-04-13 索尼公司 腕带式信息处理装置、信息处理***、信息处理方法以及程序
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
US9372535B2 (en) * 2013-09-06 2016-06-21 Thalmic Labs Inc. Systems, articles, and methods for electromyography-based human-electronics interfaces
US9483123B2 (en) 2013-09-23 2016-11-01 Thalmic Labs Inc. Systems, articles, and methods for gesture identification in wearable electromyography devices
CN105814516B (zh) * 2013-10-11 2019-07-30 交互数字专利控股公司 注视驱动的增强现实
KR102268052B1 (ko) * 2013-11-11 2021-06-22 삼성전자주식회사 디스플레이 장치, 서버 장치 및 그 제어 방법
KR20150055528A (ko) * 2013-11-13 2015-05-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
GB201320485D0 (en) 2013-11-20 2014-01-01 Realeyes O Method of benchmarking media content based on viewer behaviour
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
JP6356963B2 (ja) * 2013-12-27 2018-07-11 株式会社ニコン 機械装置
JP2017509386A (ja) 2014-02-14 2017-04-06 サルミック ラブス インコーポレイテッド 弾性電気ケーブルのためのシステム、製品、及び方法、並びに、それを用いるウェアラブル電子デバイス
US9681166B2 (en) * 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
US20150271571A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Audio/video system with interest-based recommendations and methods for use therewith
US9449221B2 (en) * 2014-03-25 2016-09-20 Wipro Limited System and method for determining the characteristics of human personality and providing real-time recommendations
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US10368802B2 (en) 2014-03-31 2019-08-06 Rovi Guides, Inc. Methods and systems for selecting media guidance applications based on a position of a brain monitoring user device
CN105163139B (zh) * 2014-05-28 2018-06-01 青岛海尔电子有限公司 信息推送方法、信息推送服务器和智能电视
US9531708B2 (en) 2014-05-30 2016-12-27 Rovi Guides, Inc. Systems and methods for using wearable technology for biometric-based recommendations
US9870083B2 (en) * 2014-06-12 2018-01-16 Microsoft Technology Licensing, Llc Multi-device multi-user sensor correlation for pen and computing device interaction
US9727161B2 (en) 2014-06-12 2017-08-08 Microsoft Technology Licensing, Llc Sensor correlation for pen and touch-sensitive computing device interaction
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
KR20160004851A (ko) * 2014-07-04 2016-01-13 지유철 단말기로부터 제공되는 사용자의 상태정보를 활용하는 제어스테이션 및 이를 포함하는 제어시스템
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
KR20160065670A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 컨텐트를 제공하는 방법 및 디바이스
US10764424B2 (en) 2014-12-05 2020-09-01 Microsoft Technology Licensing, Llc Intelligent digital assistant alarm system for application collaboration with notification presentation
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
WO2016123777A1 (zh) 2015-02-05 2016-08-11 华为技术有限公司 一种基于生物特征的对象呈现、推荐方法和装置
US9852355B2 (en) * 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
KR20170025400A (ko) * 2015-08-28 2017-03-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR102136241B1 (ko) * 2015-09-29 2020-07-22 바이너리브이알, 인크. 표정 검출 성능을 갖는 머리-장착형 디스플레이
US10021459B2 (en) * 2015-10-07 2018-07-10 Oath Inc. Computerized system and method for determining media based on selected motion video inputs
CN105245957A (zh) * 2015-11-05 2016-01-13 京东方科技集团股份有限公司 视频推荐方法、装置和***
FR3048522B1 (fr) 2016-03-02 2018-03-16 Bull Sas Systeme de suggestion d'une liste d'actions a un utilisateur et procede associe
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10990174B2 (en) 2016-07-25 2021-04-27 Facebook Technologies, Llc Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
CN106484760B (zh) * 2016-08-10 2020-06-23 网易传媒科技（北京）有限公司 一种新闻推荐方法和设备
US11755172B2 (en) * 2016-09-20 2023-09-12 Twiin, Inc. Systems and methods of generating consciousness affects using one or more non-biological inputs
JPWO2018061346A1 (ja) * 2016-09-27 2019-07-04 ソニー株式会社 情報処理装置
KR102252298B1 (ko) * 2016-10-21 2021-05-14 삼성전자주식회사 표정 인식 방법 및 장치
US9866904B1 (en) * 2016-11-10 2018-01-09 Roku, Inc. Interaction recognition of a television content interaction device
JP6846606B2 (ja) * 2016-11-28 2021-03-24 パナソニックＩｐマネジメント株式会社 映像出力装置および映像出力方法
US10631029B1 (en) * 2017-01-26 2020-04-21 Cox Communications, Inc. Viewing recommendations based on sensor data
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
CN107193571A (zh) 2017-05-31 2017-09-22 广东欧珀移动通信有限公司 界面推送的方法、移动终端及存储介质
CN112040858A (zh) 2017-10-19 2020-12-04 脸谱科技有限责任公司 用于识别与神经肌肉源信号相关的生物结构的***和方法
US20190138095A1 (en) * 2017-11-03 2019-05-09 Qualcomm Incorporated Descriptive text-based input based on non-audible sensor data
US20190172458A1 (en) 2017-12-01 2019-06-06 Affectiva, Inc. Speech analysis for cross-language mental state identification
US10636419B2 (en) * 2017-12-06 2020-04-28 Sony Interactive Entertainment Inc. Automatic dialogue design
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11567573B2 (en) 2018-09-20 2023-01-31 Meta Platforms Technologies, Llc Neuromuscular text entry, writing and drawing in augmented reality systems
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
JP7134751B2 (ja) * 2018-07-04 2022-09-12 シャープ株式会社 通信端末、コンテンツサーバ、コンテンツ推薦システム、制御装置、および通信端末が実行する制御方法
CN112996430A (zh) 2018-08-31 2021-06-18 脸谱科技有限责任公司 神经肌肉信号的相机引导的解释
KR102579452B1 (ko) 2018-09-05 2023-09-15 삼성전자주식회사 영상 표시 장치 및 그 동작방법
US11097078B2 (en) 2018-09-26 2021-08-24 Cary Kochman Method and system for facilitating the transition between a conscious and unconscious state
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
CN109842813A (zh) * 2019-01-03 2019-06-04 百度在线网络技术（北京）有限公司 用户界面交互方法、装置、设备及存储介质
US20200275875A1 (en) * 2019-02-28 2020-09-03 Social Health Innovations, Inc. Method for deriving and storing emotional conditions of humans
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
FR3094856B1 (fr) * 2019-04-02 2021-04-30 Unique Entertainment Experience Procede de génération d’un element multimedia au cours de la lecture d’un media, terminal, systeme
CN112034977B (zh) * 2019-06-04 2022-07-19 陈涛 Mr智能眼镜内容交互、信息输入、应用推荐技术的方法
US11543884B2 (en) 2019-06-14 2023-01-03 Hewlett-Packard Development Company, L.P. Headset signals to determine emotional states
CN110353705B (zh) * 2019-08-01 2022-10-25 秒针信息技术有限公司 一种识别情绪的方法及装置
KR102192010B1 (ko) * 2019-12-27 2020-12-16 쿨클라우드(주) 추론 엔진 및 배포 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
WO2021193086A1 (ja) * 2020-03-25 2021-09-30 ソニーグループ株式会社 情報処理装置および方法、並びにプログラム
CN113806620B (zh) * 2020-05-30 2023-11-21 华为技术有限公司 内容推荐方法、设备、***及存储介质
US11641506B2 (en) 2020-11-11 2023-05-02 Rovi Guides, Inc. Systems and methods for providing media recommendations
US11849177B2 (en) * 2020-11-11 2023-12-19 Rovi Guides, Inc. Systems and methods for providing media recommendations
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US11831938B1 (en) * 2022-06-03 2023-11-28 Safran Passenger Innovations, Llc Systems and methods for recommending correlated and anti-correlated content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040042280A (ko) * 2002-11-13 2004-05-20 엘지.필립스 엘시디 주식회사 액정 표시 소자 기판의 합착 장비 및 이를 이용한 액정표시 소자의 제조 방법
US20090133064A1 (en) * 2007-11-19 2009-05-21 Tetsuo Maruyama Information providing device, information acquisition terminal, broadcast receiving terminal, information providing system, information providing method, and program
KR20090112535A (ko) * 2008-04-24 2009-10-28 삼성전자주식회사 미디어 컨텐츠 재생장치에서 방송 컨텐츠의 추천 방법과 그장치

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020085023A1 (en) * 2001-01-02 2002-07-04 Zustak Fred J. Display of ancillary data on local network appliance
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US20030063222A1 (en) * 2001-10-03 2003-04-03 Sony Corporation System and method for establishing TV setting based on viewer mood
US20030128389A1 (en) * 2001-12-26 2003-07-10 Eastman Kodak Company Method for creating and using affective information in a digital imaging system cross reference to related applications
US20040001616A1 (en) * 2002-06-27 2004-01-01 Srinivas Gutta Measurement of content ratings through vision and speech recognition
JP2006157697A (ja) * 2004-11-30 2006-06-15 Orion Denki Kk 録画再生装置
EP1984803A2 (en) * 2005-09-26 2008-10-29 Koninklijke Philips Electronics N.V. Method and apparatus for analysing an emotional state of a user being provided with content information
CA2634024A1 (en) * 2005-12-22 2007-06-28 Matsushita Electric Industrial Co. Ltd. Broadcast receiving apparatus, video storing apparatus, and multimedia delivering system
JP4085130B2 (ja) * 2006-06-23 2008-05-14 松下電器産業株式会社 感情認識装置
US20080294012A1 (en) * 2007-05-22 2008-11-27 Kurtz Andrew F Monitoring physiological conditions
US8327272B2 (en) * 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
CN102204225B (zh) * 2008-09-05 2013-12-11 Sk电信有限公司 传送振动信息的移动通信终端及其方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040042280A (ko) * 2002-11-13 2004-05-20 엘지.필립스 엘시디 주식회사 액정 표시 소자 기판의 합착 장비 및 이를 이용한 액정표시 소자의 제조 방법
US20090133064A1 (en) * 2007-11-19 2009-05-21 Tetsuo Maruyama Information providing device, information acquisition terminal, broadcast receiving terminal, information providing system, information providing method, and program
KR20090112535A (ko) * 2008-04-24 2009-10-28 삼성전자주식회사 미디어 컨텐츠 재생장치에서 방송 컨텐츠의 추천 방법과 그장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200020014A (ko) * 2012-01-10 2020-02-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 개인의 반응과 함께 콘텐츠를 소비하는 기법
KR101336338B1 (ko) * 2012-01-17 2013-12-06 주식회사 포키비언 촬영 장치로부터 입력된 영상을 기반으로 시청자의 시청 상태를 결정하는 영상 표시 단말 및 방법
KR20140089454A (ko) * 2013-01-04 2014-07-15 삼성전자주식회사 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
WO2014119900A1 (ko) * 2013-01-29 2014-08-07 Lee Jong Sik 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기 및 사용자 인터페이스 방법
KR20140140310A (ko) * 2013-05-29 2014-12-09 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
WO2017078205A1 (ko) * 2015-11-04 2017-05-11 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20180062221A (ko) * 2016-11-30 2018-06-08 주식회사 트라이캐치미디어 게임플레이어의 얼굴 인식을 통한 게임운영 방법
KR101964438B1 (ko) * 2018-07-09 2019-04-01 넷마블 주식회사 컨텐츠 서비스 제공 방법 및 장치
KR20200019801A (ko) * 2018-08-14 2020-02-25 대진대학교 산학협력단 자율 주행 차량 공유 플랫폼을 활용한 브랜드 가치 및 경험 제공 시스템

Also Published As

Publication number Publication date
US8704760B2 (en) 2014-04-22
KR101708682B1 (ko) 2017-02-21
US20110134026A1 (en) 2011-06-09

Similar Documents

Publication Publication Date Title
KR101708682B1 (ko) 영상표시장치 및 그 동작 방법.
US8634701B2 (en) Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics
US20200014979A1 (en) Methods and systems for providing relevant supplemental content to a user device
US9264770B2 (en) Systems and methods for generating media asset representations based on user emotional responses
KR102104355B1 (ko) 영상 표시 기기 및 그 동작 방법
KR101668246B1 (ko) 영상표시장치 및 그 동작 방법.
KR101268133B1 (ko) 프로그램 정보 표시 방법 및 그를 이용한 영상 표시 기기
US9538251B2 (en) Systems and methods for automatically enabling subtitles based on user activity
US9167188B2 (en) Display device and control method thereof
KR20140108928A (ko) 디지털 디스플레이 디바이스 및 그 제어 방법
CN104581413B (zh) Tv及其操作方法
US11758234B2 (en) Systems and methods for creating an asynchronous social watching experience among users
JP7305647B2 (ja) バイオメトリックデバイスを動的に有効化および無効化するためのシステムおよび方法
JP2012009957A (ja) 評価情報通知装置、コンテンツ提示装置、コンテンツ評価システム、評価情報通知装置の制御方法、評価情報通知装置の制御プログラムおよびコンピュータ読み取り可能な記録媒体
WO2011118836A1 (ja) 表示装置、テレビジョン受像機、表示装置の制御方法、遠隔操作装置、遠隔操作装置の制御方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US9099019B2 (en) Image display device, image display system, and method for analyzing the emotional state of a user
US9525918B2 (en) Systems and methods for automatically setting up user preferences for enabling subtitles
KR101649158B1 (ko) 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치
KR20140108927A (ko) 디지털 디스플레이 디바이스 및 그 제어 방법
US20150088908A1 (en) Information processing apparatus, information processing method, and program
KR20140094132A (ko) 영상표시장치 및 그 동작 방법
US20180330153A1 (en) Systems and methods for determining meaning of cultural gestures based on voice detection
KR20170045829A (ko) 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
KR102618748B1 (ko) 디스플레이 장치
US20230328319A1 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right