KR20160103557A - 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 - Google Patents
소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 Download PDFInfo
- Publication number
- KR20160103557A KR20160103557A KR1020167022923A KR20167022923A KR20160103557A KR 20160103557 A KR20160103557 A KR 20160103557A KR 1020167022923 A KR1020167022923 A KR 1020167022923A KR 20167022923 A KR20167022923 A KR 20167022923A KR 20160103557 A KR20160103557 A KR 20160103557A
- Authority
- KR
- South Korea
- Prior art keywords
- person
- video
- social networking
- display
- processor
- Prior art date
Links
- 230000006855 networking Effects 0.000 title claims description 22
- 230000003993 interaction Effects 0.000 title description 4
- 238000000034 method Methods 0.000 claims description 14
- 230000001052 transient effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 14
- 230000008921 facial expression Effects 0.000 description 8
- 238000012706 support-vector machine Methods 0.000 description 5
- 238000010195 expression analysis Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 206010021703 Indifference Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005308 sum rule Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Computing Systems (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
텔레비전을 시청하고 있는 사람 및 현재 프로그래밍에서 그 관심도를 판정하기 위해 비디오 분석이 사용될 수도 있다. 가장 좋아하는 프로그램들의 리스트들이 동일한 텔레비전 수신기 상의 프로그래밍의 복수의 시청자들 각각에 대해 도출될 수도 있다.
Description
본 발명은 일반적으로 텔레비전에 관한 것이고, 소셜 네트워킹 툴들과의 상호작용에 관한 것이다.
소셜 네트워킹 툴들은 다수의 사람들의 삶에 있어서 필수가 되었다. 소셜 네트워킹 툴들은 그 사용자로 하여금 그 친구들을 계속 파악하게 하고, 기존 친구들 및 새로운 친구들과의 부가적인 접촉들의 소스들을 발견하게 한다.
소셜 네트워킹의 하나의 이점은 유사한 관심사들을 갖는 친구들이 식별될 수 있다는 점이다. 하지만, 그들의 관심사들이 무엇인지를 결정하기 위해서는 일반적으로 다수의 사용자 입력을 요구한다. 예를 들어, 사용자는, 관심 영역을 나타내는 페이스북 페이지를 보유할 수도 있다. 사용자들의 관심사들, 호 불호의 충분한 설명을 제공하기 위해 걸리는 시간의 양 및 관련될 수도 있는 상상의 양 때문에, 제공될 수도 있는 정보의 양은 제한될 수도 있다.
도 1은 본 발명의 일 실시예의 개략 도시이다.
도 2는 본 발명의 일 실시예에 대한 플로우 차트이다.
도 3은 본 발명의 다른 실시예에 대한 플로우 차트이다.
도 2는 본 발명의 일 실시예에 대한 플로우 차트이다.
도 3은 본 발명의 다른 실시예에 대한 플로우 차트이다.
일부 실시예들에 따르면, 사용자의 텔레비전 경험에 관한 정보는 증가하는 소셜 상호작용을 위한 양태로서 소셜 네트워킹 툴들로 자동으로 전달될 수도 있다. 더욱이, 일부 실시예들은 사용자가 온라인상태인지뿐 아니라 사용자가 실제로 사용자의 텔레비전 디스플레이에 근접할지를 실제로 판정할 수도 있다. 일부 실시예들에 있어서, 사용자의 얼굴 표정들로부터, 사용자가 현재 디스플레이된 프로그래밍을 좋아하는지 또는 싫어하는지 여부가 판정될 수도 있다. 또한, 일부 실시예들에 있어서, 다양한 텔레비전 시청자들에 대한 가장 좋아하는 프로그램 리스트들이 자동화된 방식으로 컴파일될 수도 있다. 그 후, 이러한 정보는 소셜 네트워킹 툴들에 또는 소셜 상호작용을 위한 다른 방안들에 업로드될 수도 있다.
도 1을 참조하면, 일 실시예에 있어서, 텔레비전 디스플레이(18)에 텔레비전 카메라(16)가 장비될 수도 있다. 일부 실시예들에 있어서, 텔레비전 카메라가 텔레비전 디스플레이(18) 상에 탑재되거나 텔레비전 디스플레이와 통합될 수도 있지만, 카메라는, 물론, 텔레비전 디스플레이로부터 완전히 분리될 수 있다. 하지만, 카메라(16)는 텔레비전을 시청하는 사람들의 이미지들을 캡처할 수 있고 또한 그들의 얼굴 표정들을 캡처할 수 있는 방식으로 탑재되는 것이 유리하다. 따라서, 텔레비전(18)은 공중파 방송, 스트리밍 인터넷 정보, DVD 플레이어와 같은 저장 디바이스로부터의 디지털 영화, 인터넷을 통해 또는 디지털 미디어 플레이어를 사용하여 플레이되는 인터랙티브 게임일 수도 있는 비디오 소스를 수신할 수도 있다.
카메라(16)로부터의 출력은 프로세서 기반 시스템(10)에 접속될 수도 있다. 프로세서 기반 시스템(10)은, 몇몇 예들만을 말하자면, 랩탑 컴퓨터, 데스크탑 컴퓨터를 포함한 임의의 타입의 컴퓨터, 엔터테인먼트 디바이스, 또는 셀 폰일 수도 있다. 프로세서 기반 시스템(10)은 카메라(16)로부터 비디오를 수신하여 프로세서(12)에 의한 사용을 위해 적절한 포맷으로 변환하는 비디오 인터페이스(22)를 포함할 수도 있다. 비디오 인터페이스는 사용자 상태 모듈(24)에 대한 비디오를 제공할 수도 있다.
일 실시예에 따르면, 사용자 상태 모듈은 사용자가 실제로 온라인상태인지를 판정하고, 일부 실시예들에 있어서, 사용자가 실제로 텔레비전을 시청하고 있는지를 판정한다. 온라인 상태는, 예를 들어, 네트워크 인터페이스 제어기를 통한 입력들 및 출력들을 검출하는 것으로부터 판정될 수 있다. 사용자가 실제로 프로그램을 시청하고 있는지는, 예를 들어, 카메라(16) 비디오 피드의 비디오 분석으로부터 판정되어, 사용자가 텔레비전 스크린 앞에 존재하는지를 검출할 수 있다.
일부 실시예들에 있어서, 사용자 상태 모듈은 다수의 텔레비전 시청자들을 검출할 수도 있다. 그 시청자들 각각은 자동화된 얼굴 분석에 의해 식별될 수도 있다. 예를 들어, 셋업 모드에 있어서, 각각의 시청자는 사용자의 사진의 캡처에 대해 협력하도록 프롬프트될 수도 있다. 그 후, 시스템은 텔레비전 프로그램의 시청자들의 얼굴들의 이미지들을, 셋업 모드 동안 취해진 사전-레코딩된 비디오 클립들 또는 스틸 샷들과 비교하여 현재 액티브인 시청자들을 식별할 수 있다.
따라서, 일부 실시예들에 있어서, 사용자 상태 모듈(24)은 임의의 시청자가 텔레비전을 시청하고 있는지 여부를 나타낼 뿐 아니라 복수의 시청자들 중 어느 시청자들이 실제로 텔레비전 디스플레이(18)를 시청하고 있는지를 실제로 식별한다.
사용자 상태 모듈은, 비디오 인터페이스(22)로부터 비디오 피드를 또한 수신하는 사용자 관심 검출 모듈(26)에 결합될 수도 있다. 사용자 관심 검출 모듈(26)은 비디오 얼굴 표정 분석 툴들을 사용하여 사용자의 얼굴 표정들을 분석하여, 사용자가 프로그램에 관심이 있는지 또는 관심없는지를 판정할 수도 있다. 유사하게, 얼굴 표정 분석은 사용자가 프로그램을 좋아하는지 또는 프로그램을 싫어하는지를 판정하는데 사용될 수 있다. 사용자 관심 검출 모듈로부터의 정보는, 소셜 네트워킹 인터페이스(28)로의 정보의 제공을 위해 사용자 상태 모듈로부터의 결과들과 조합될 수도 있다. 일부 실시예들에 있어서, 사용자의 호 불호의 순간적인 비디오 얼굴 분석은 소셜 네트워킹 툴들로 전달될 수도 있다. 본 명세서에서 사용되는 바와 같은 "소셜 네트워킹 툴" 은, 사람들이 기존의 친구들 또는 동료들과 상호작용하는 것을 돕고/돕거나 사람들이 공유된 관심사들을 조명함으로써 새로운 친구들 또는 동료들을 발견하는 것을 돕는 웹 사이트와 같은 전자 통신 기술이다. 또한, 이메일들, 트윗들, 텍스트 메시지들 또는 다른 통신이 소셜 네트워킹 툴의 일부로서 제공되어, 사용자의 현재 활동 및 만족도를 나타낼 수도 있다.
일부 실시예들에 있어서, 텔레비전 프로그램으로부터의 비디오 클립들은 캡처되고, 사용자의 시청 상태 및 사용자의 현재 관심도의 표시와 함께 소셜 네트워킹 인터페이스(28)을 통한 배포를 위해 프로세서(12)에 전달될 수도 있다.
저장부(14)는 캡처된 비디오를 저장할 수도 있고, 또한, 본 발명의 실시예들을 구현하기 위한 프로그램들(30 및 50)을 저장할 수도 있다.
특히, 본 발명의 일부 실시예들에 있어서, 도 2 및 도 3 에 도시된 시퀀스는 하드웨어, 소프트웨어 및/또는 펌웨어에서 구현될 수도 있다. 소프트웨어 또는 펌웨어 구현식 실시예들에 있어서, 그 시퀀스들은 반도체, 자기 또는 광학 저장 디바이스와 같은 비-일시적인 저장 매체 상에 저장된 컴퓨터 실행식 명령어들에 의해 구현될 수도 있다.
도 2를 참조하면, 일 실시예에 있어서, 일 시퀀스는 도 1에 도시된 카메라(16)로부터 (블록 32에 나타낸 바와 같이)피드를 수신함으로써 시작할 수도 있다. 초기 단계(블록 34)는 사용자 인터페이스를 통한 패스워드 로그인 또는 얼굴 로그인을 포함할 수도 있으며, 여기서, 사용자는 카메라(16) 및 사용자 상태 모듈(24)을 사용하여 비디오 얼굴 분석을 받는다. 일단 사용자가 로그인 및/또는 얼굴 인식을 통해 그 자신 또는 그녀 자신을 식별하였으면, 사용자는 블록 36에 표시된 바와 같이 시청을 위한 비디오 프로그램을 선택할 수도 있다. 이러한 프로그램은, 전자 프로그래밍 가이드로부터의 정보를 캡처하는 것, 비디오, 오디오 또는 메타데이터 클립들을 캡처하는 것, 및 소셜 네트워킹 툴들을 통한 사용자의 친구들로부터의 또는 인터넷 또는 데이터베이스 이미지 또는 텍스트 탐색으로부터의 입력들을 사용하여 또는 임의의 다른 툴을 사용하여 이들을 분석하는 것을 포함하여 다양한 툴들을 사용하여 식별될 수도 있다. 그 후, 사용자의 온라인 상태가 블록 38에 표시된 바와 같이 비디오 얼굴 검출을 통해 판정될 수도 있다. 즉, 사용자는 카메라 피드(16)의 분석을 통해 식별되어, 사용자가 그 또는 그녀의 프로세서 기반 시스템(10)에 대해 액티브일 뿐 아니라 실제로 액티브 텔레비전 프로그램 앞에서 시청하고 있음을 판정할 수 있다.
다음으로, 사용자 관심도가 블록 40에 표시된 바와 같이 얼굴 표정 분석을 사용하여 판정될 수도 있다. 사용자가 비디오에서의 특정 시퀀스에 관심있는지 또는 관심없는지 또는 사용자가 그 특정 시퀀스를 좋아하는지 또는 싫어하는지를 판정하기 위한 널리 공지된 비디오 얼굴 분석 기술들이 사용될 수도 있다. 따라서, 실시간의 정보가, 사용자의 관심도 또는 무관심도 또는 호 불호의 정도가 변하였는지를 표시하기 위해 제공될 수도 있다. 이는, 예를 들어, 사용자의 관심도의 표시와 함께 시청되고 있는 현재 콘텐츠로부터의 캡처된 비디오 클립들을 제공하면서 그 콘텐츠와 시간의 관점에서 상관될 수도 있다.
비디오 얼굴 분석은 국부적으로 또는 원격적으로 수행될 수 있다. 원격 비디오 분석은, 예를 들어, 비디오를 네트워크 커넥션을 통해 원격 서버로 전송함으로써 달성될 수도 있다.
그 후, 얼굴 표정 분석으로부터 추론된 정보는 블록 42에 표시된 바와 같이 소셜 네트워킹 툴들을 사용하여 친구들에게 전달될 수도 있다. 일부 실시예들에 있어서, 소셜 네트워킹 메시지 배포에는, 블록 42에 표시된 바와 같이, 친구들인 사용자들, 동일한 텔레비전 프로그램을 좋아하는 친구들, 실제로 온라인상태인 친구들, 실제로 텔레비전을 시청하고 있는 친구들, 또는 이들 카테고리들의 일부 조합만이 스크리닝되거나 필터링될 수도 있다. 그 후, 친구들은, 예를 들어, 동일한 텔레비전 프로그램을 좋아하면 링크될 수 있다.
이러한 소셜 네트워킹 툴 상호작용은, 새로운 친구들과의 관계를 용이하게 하고 기존의 친구들과의 상호작용에 대한 리소스들을 생성할 수도 있는 사용자에 관한 정보를 제공하는 수단을 제공한다. 부가적으로, 그 정보는 콘텐츠 제공자들 및 광고주들에 의한 데모그래픽 수집을 위해 사용될 수도 있다. 특히, 콘텐츠 제공자들 또는 광고주들은 소정의 프로그램 또는 광고 동안 특정 시간들에서 사용자들이 무엇을 좋아했는지에 관한 매우 상세한 정보를 획득할 수도 있다.
일 예시적인 실시예로, 6개의 주요 단계들이 얼굴 속성 검출을 위해 사용될 수도 있다. 첫째, 얼굴 검출은 소정의 디지털 이미지 또는 비디오 프레임에 대한 얼굴 직사각형 영역을 위치지정하도록 구동될 수도 있다. 그 후, 얼굴 랜드마크 검출기는 각각의 검출된 얼굴 직사각형에서 눈 코너들 및 입 코너들과 같은 6개 포인트 랜드마크들을 찾도록 구동될 수도 있다. 다음으로, 얼굴 직사각형 이미지는 64×64(즉, 64 픽셀 폭×64 픽셀 길이)와 같은 미리 정의된 표준 사이즈에 대해 얼굴 랜드마크 포인트들에 따라 정렬 및 정규화될 수도 있다. 그 후, 정규화된 얼굴 이미지들의 미리 선택된 국부 영역들로부터 국부적인 이진 패턴들, 히스토그램들, 또는 배향된 구배들의 히스토그램들을 포함한 국부적인 특징들이 추출될 수도 있다. 그 후, 각각의 국부 영역은 예측을 위해 다층 인지 기반 연약 분류기에 제공된다. 각각의 국부 영역의 연약 분류자들로부터의 출력은 최종 검출 스코어로서 합계된다. 그 스코어는 0-1의 범위에 있을 수도 있으며, 스코어가 커질수록 얼굴 속성 검출 신뢰도가 더 높아진다. 얼굴 검출은 표준 Viola-Jones 부스팅 캐스케이드 프레임워크를 따를 수도 있다. Viola-Jones 검출기는 공개된 OpenCV 소프트웨어 패키지에서 발견될 수 있다. 얼굴 랜드마크들은 좌우측 눈들로부터의 눈 코너들 및 입 코너들을 포함한 6개의 얼굴 포인트들을 포함한다. 눈 코너들 및 입 코너들은 또한 Viola-Jones 기반 분류기들을 사용하여 검출될 수도 있다. 부가적으로, 기하학적 제약들이 그 기하학적 관계를 반영하기 위해 6개의 얼굴 포인트들에 통합될 수도 있다.
모든 검출된 얼굴들은 그레이 스케일로 변환되고, 64×64와 같은 미리 정의된 표준 사이즈로 정렬 및 정규화될 수도 있다. 정렬은 먼저, 눈 코너 라인들과 수평 라인 간의 회전 각도를 연산함으로써 수행될 수도 있다. 그 후, 이미지 각도는 눈 코너를 수평 라인에 평행하게 만들도록 회전된다. 다음으로, 2개의 눈 센터 거리들(w)이 연산되고 눈-입 거리(h)가 연산된다. 그 후, 2w×2h 직사각형은 얼굴 영역으로부터 크롭핑되어, 좌측 눈 센터를 0.5w,0.5h이게 하고, 우측 센터를 0.5w,0.5h이게 하고, 입 센터를 w,1.5h이게 한다. 크롭핑된 직사각형은 최종적으로 표준 사이즈로 스케일링된다. 이미지들 간의 조명 차이들을 경감시키기 위해, 스케일링 이미지는 히스토그램 등화될 수 있다.
정렬 및 정규화된 얼굴들의 국부 영역들에 대한 국부적인 특징들이 추출될 수도 있다. 국부적인 특징들은 국부적인 이진 패턴들, 히스토그램, 배향된 구배들의 히스토그램일 수 있다. 예를 들어, 추출된 국부적인 특징들은 상이한 얼굴 속성들에 대해 상이할 수도 있다. 예를 들어, 스마일 검출에 있어서, 국부적인 이진 패턴들은 다른 기술들보다 약간 더 양호하지만, 성별/연령 검출에 있어서, 배향된 구배의 히스토그램이 약간 더 양호하게 작동한다.
국부 영역은 쿼드러플(x,y,w,h)로서 정의되고, 여기서, (x,y)는 국부 영역의 상좌측 코너 포인트이고 (w,h)는 국부 영역의 직사각형의 폭 및 높이이다. 부스팅 알고리즘이 트레이닝 데이터세트로부터 얼굴 속성 검출을 위한 차별된 영역들을 선택하도록 사용될 수도 있다.
각각의 선택된 국부 영역에 대해, 분류기가 연약 분류를 수행하도록 트레이닝될 수도 있다. 기저 분류기는 서포트 벡터 머신들보다는 다층 인지들일 수도 있다. 다층 인지(MLP)는, 유사한 성능을 최신 서포트 벡터 머신 기반 알고리즘들에 제공할 수 있기 때문에 일부 실시예들에서 유리할 수도 있다. 또한, MLP의 모델 사이즈는 서포트 벡터 머신들(SVM)보다 훨씬 더 작은데, 왜냐하면, MLP는 네트워크 가중치들을 오직 모델들로서 저장하지만 SVM은 희박한 트레이닝 샘플들을 저장하기 때문이다. MLP의 예측은 오직 벡터 곱 연산들을 포함하기 때문에 상대적으로 빠르며, MLP는 오직 예측 신뢰도를 위해서만 확률 및 스코어 출력을 직접 제공한다.
MLP는 입력 계층, 출력 계층 및 하나의 은닉 계층을 포함할 수도 있다. 입력 계층에서 d개의 노드들이 존재한다고 가정하며, 여기서, d는 국부적인 특징들의 차원이며, 국부적인 이진 패턴 히스토그램들에 대해 59개, 스마일 검출을 위한 출력 계층에서의 2개의 노드들, 및 2개의 노드들은 스마일링 또는 비-스마일링에 대한 예측 확률을 나타내지만, 은닉 계층에서의 노드들의 수는 튜닝된 파라미터이고 트레이닝 절차에 의해 결정된다.
MLP에 있어서 뉴런들로서 알려진 모든 노드들은 유사할 수도 있다. MLP는 입력에 대한 이전 계층에서의 수개의 노드들로부터 출력 값들을 취하고 그 응답들을 다음 계층에서의 뉴런들로 전달할 수도 있다. 이전 계층으로부터 검색된 값들은 각각의 노드에 대한 트레이닝 가중치들 플러스 바이어스 항과 합산되고, 그 합산은 활성화 함수(f)를 사용하여 변환된다.
활성화 함수(f)는 일반적으로 와 같은 시그모이드 함수이다. 이 함수의 출력은 0 내지 1의 범위에 있다. 각각의 모드에서, 계산은 이전 계층으로부터의 입력 벡터와 가중 팩터 간의 벡터 곱: 이며, 여기서, w는 가중 팩터이고 x는 입력 벡터이다. 따라서, 그 계산들은 단일 명령어 다중 데이터 명령어들(SIMD) 또는 다른 가속기들에 의해 용이하게 가속화될 수 있다.
MLP는 각각의 국부 영역에 대한 연약 분류기로서 사용된다. 각각의 선택된 영역은 하나의 MLP 분류기와 연관된다. 최종 분류는 다음과 같은 단순 합계 룰에 기초한다. 소정의 테스트 샘플(x)에 대해, 각각의 선택된 국부 영역(k)에 있어서, 국부적인 특징들(xk)을 그 영역에서 추출한다. 그 후, 연약 MLP 분류기(Ck (xk))를 사용하여 예측을 수행한다. 최종 출력은 합계된 결과 이다.
다음으로 도 3을 참조하면, 카메라 피드가 블록 32에서 수신된다. 블록 52에서, 사람들 리스트 식별이 얼굴 검출 및 인식을 사용하여 모일 수도 있다. 즉, (텔레비전 프로그램과 같은) 콘텐츠를 시청하는 사람들 모두가 카메라(16)를 사용하여 레코딩될 수도 있다. 그 후, 비디오 콘텐츠 분석이 사용되어, 시청하고 있고 또한 그 비디오 스트림에서 나타내어진 시청자들을 식별할 수도 있다. 다시, 일 실시예에서, 얼굴들이 셋업 단계에서 식별자들로 레코딩될 수도 있다.
그 후, 블록 54에 표시된 바와 같이, 비디오 표현 분석이, 소정의 시간 순간에 프로그램을 시청하는 사용자들 중 어느 사용자들이 실제로 주어진 프로그램을 좋아하는지를 판정하도록 사용될 수도 있다. 블록 56에 표시된 바와 같이, 시간에 걸쳐, 각각의 비디오 식별된 시청자에 대한 가장 좋아하는 프로그램 리스트들이 전개될 수도 있다. 그 후, 블록 58에서, 사용자의 컴퓨터 검출된 얼굴 표정에 기초한 프로그램 추천들이, 예를 들어, 웹사이트들, 트윗들, 텍스트 메시지들 또는 이메일들을 포함한 소셜 네트워킹 툴들을 통해 친구들에게 푸시될 수도 있다.
"일 실시예" 또는 "실시예"에 대한 본 명세서 전반에 걸친 참조는 그 실시예와 관련하여 설명된 특정 특징, 구조, 또는 특성이 본 발명 내에 포함된 적어도 하나의 구현에 포함됨을 의미한다. 따라서, 어구 "일 실시예" 또는 "실시예에 있어서" 의 출현은 반드시 동일한 실시예를 지칭하는 것은 아니다. 더욱이, 특정 특징들, 구조들 또는 특성들은 예시된 특정 실시예 이외의 다른 적절한 형태들로 구성될 수도 있으며, 그러한 모든 형태들은 본 출원의 청구항들 내에 포함될 수도 있다.
본 발명이 한정된 수의 실시예들에 대하여 설명되었지만, 당업자는 그 다수의 수정들 및 변형들을 인식할 것이다. 첨부된 청구항들은 그러한 모든 수정들 및 변형들을, 이러한 본 발명의 진정한 사상 및 범위 내에 있는 것으로서 커버한다.
Claims (14)
- 사람이 전자 디스플레이에 근접한지를, 비디오 분석을 사용하여 전자적으로 판정하는 단계;
전자 얼굴 분석을 이용하여 상기 사람을 자동으로 식별하는 단계;
상기 식별된 사람의 친구들을 자동으로 식별하는 단계; 및
상기 사람이 전자 디스플레이에 근접한 때를 소셜 네트워킹 툴을 사용하여 사용자 입력 없이 상기 친구들에게 자동으로 표시하는 단계
를 포함하는 방법. - 제1항에 있어서,
상기 사람이 또한 온라인상태인지를 전자적으로 판정하는 단계를 더 포함하는 방법. - 제1항에 있어서,
사람이 텔레비전을 시청하고 있는지를 판정하기 위해 전자 비디오 분석을 사용하는 단계를 더 포함하는 방법. - 제1항에 있어서,
상기 사람이 상기 디스플레이 상에 현재 디스플레이되고 있는 텔레비전 콘텐츠를 좋아하는지를 자동으로 반복해서 전자적으로 평가하는 단계를 포함하는 방법. - 명령어들을 저장하는 비-일시적인 컴퓨터 판독가능 매체로서, 상기 명령어들은,
사람이 전자 디스플레이에 근접한지를, 비디오 분석을 사용하여 판정하고,
전자 얼굴 분석을 이용하여 상기 사람을 자동으로 식별하고,
상기 식별된 사람의 친구들을 자동으로 식별하고,
상기 사람이 전자 디스플레이에 근접한 때를 소셜 네트워킹 툴을 사용하여 사용자 입력 없이 상기 친구들에게 자동으로 표시하도록,
컴퓨터에 의해 실행되는, 비-일시적인 컴퓨터 판독가능 매체. - 제5항에 있어서,
상기 사람이 또한 온라인상태인지를 판정하고 상기 사람이 온라인상태라는 것을 소셜 네트워킹 툴에 표시하기 위한 명령어들을 더 저장하는 비-일시적인 컴퓨터 판독가능 매체. - 제6항에 있어서,
상기 사람이 상기 디스플레이 상에 있는 프로그램을 좋아하는지를 판정하고 상기 사람이 상기 프로그램을 좋아하는지를 소셜 네트워킹 툴에 보고하기 위한 명령어들을 더 저장하는 비-일시적인 컴퓨터 판독가능 매체. - 제7항에 있어서,
상기 사람이 상기 프로그램을 좋아하는지를 판정하기 위해 비디오 얼굴 분석을 사용하기 위한 명령어들을 더 저장하는 비-일시적인 컴퓨터 판독가능 매체. - 제5항에 있어서,
상기 디스플레이를 시청하는 복수의 사람들 각각을 식별하기 위해 비디오 분석을 사용하기 위한 명령어들을 더 저장하는 비-일시적인 컴퓨터 판독가능 매체. - 시스템으로서,
사람이 전자 디스플레이에 근접한지를, 비디오 분석을 사용함으로써 판정하고, 전자 얼굴 분석을 이용하여 상기 사람을 식별하고, 상기 사람이 현재 상기 디스플레이 상의 텔레비전 콘텐츠를 좋아하는지를 판정하고, 상기 식별된 사람의 친구들을 자동으로 식별하고, 상기 사람이 전자 디스플레이에 근접한 때를 소셜 네트워킹 툴을 사용하여 사용자 입력 없이 상기 친구들에게 자동으로 표시하는 프로세서; 및
상기 프로세서에 결합된 저장부
를 포함하는 시스템. - 제10항에 있어서,
상기 프로세서는 상기 사람이 또한 온라인상태인지를 판정하는 시스템. - 제10항에 있어서,
상기 프로세서에 결합된 비디오 카메라를 포함하고,
상기 프로세서는 상기 사람이 텔레비전 상의 프로그램을 좋아하는지를 판정하기 위해 비디오 얼굴 분석을 사용하는 시스템. - 제10항에 있어서,
상기 프로세서는 텔레비전을 시청하는 복수의 사람들을 식별하는 시스템. - 제13항에 있어서,
상기 프로세서는 상기 사람들 각각이 어떤 프로그램들을 좋아하는지를 판정하는 시스템.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/001544 WO2013037078A1 (en) | 2011-09-12 | 2011-09-12 | Facilitating television based interaction with social networking tools |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147008041A Division KR20140069044A (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177024236A Division KR101895846B1 (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20160103557A true KR20160103557A (ko) | 2016-09-01 |
Family
ID=47882502
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147008041A KR20140069044A (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
KR1020167022923A KR20160103557A (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
KR1020177024236A KR101895846B1 (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147008041A KR20140069044A (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020177024236A KR101895846B1 (ko) | 2011-09-12 | 2011-09-12 | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 |
Country Status (5)
Country | Link |
---|---|
US (3) | US20130276007A1 (ko) |
EP (2) | EP3285222A1 (ko) |
JP (1) | JP6048692B2 (ko) |
KR (3) | KR20140069044A (ko) |
WO (2) | WO2013037078A1 (ko) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013037078A1 (en) | 2011-09-12 | 2013-03-21 | Intel Corporation | Facilitating television based interaction with social networking tools |
EP2901410A4 (en) * | 2012-09-28 | 2016-05-25 | Intel Corp | DETERMINATION OF INCREASED REALITY INFORMATION |
EP2876847A1 (en) * | 2013-11-21 | 2015-05-27 | Nokia Corporation | Establishment of an association between an object and a mood media item |
WO2015101385A1 (en) * | 2013-12-30 | 2015-07-09 | Telecom Italia S.P.A. | Method and system for automatically selecting parts of a video and/or audio media content based on information obtained from social networks |
EP3183689A4 (en) * | 2014-08-22 | 2017-08-23 | Microsoft Technology Licensing, LLC | Face alignment with shape regression |
US20160192018A1 (en) * | 2014-12-29 | 2016-06-30 | Microsoft Technology Licensing, Llc | Previewing content available at local media sources |
US9953151B2 (en) | 2015-02-03 | 2018-04-24 | Chon Hock LEOW | System and method identifying a user to an associated device |
JP6212521B2 (ja) * | 2015-08-25 | 2017-10-11 | カルチュア・コンビニエンス・クラブ株式会社 | 複数の対象者のうちコンテンツを利用した利用者を推定する装置、方法、およびプログラム |
US10726245B2 (en) * | 2017-12-12 | 2020-07-28 | Black Sesame International Holding Limited | Secure facial authentication system using active infrared light source and RGB-IR sensor |
CN108733429B (zh) * | 2018-05-16 | 2020-01-21 | Oppo广东移动通信有限公司 | ***资源配置的调整方法、装置、存储介质及移动终端 |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5164992A (en) * | 1990-11-01 | 1992-11-17 | Massachusetts Institute Of Technology | Face recognition system |
US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
US6701526B1 (en) * | 1999-07-01 | 2004-03-02 | Koninklijke Philips Electronics N.V. | Method and apparatus for capturing broadcast EPG data for program title display |
US20020072952A1 (en) * | 2000-12-07 | 2002-06-13 | International Business Machines Corporation | Visual and audible consumer reaction collection |
US20030066071A1 (en) | 2001-10-03 | 2003-04-03 | Koninklijke Philips Electronics N.V. | Program recommendation method and system utilizing a viewing history of commercials |
US6585521B1 (en) | 2001-12-21 | 2003-07-01 | Hewlett-Packard Development Company, L.P. | Video indexing based on viewers' behavior and emotion feedback |
US20040223606A1 (en) * | 2003-03-03 | 2004-11-11 | Noel Enete | Host based video clips and transport mechanism |
US8196168B1 (en) * | 2003-12-10 | 2012-06-05 | Time Warner, Inc. | Method and apparatus for exchanging preferences for replaying a program on a personal video recorder |
US7975062B2 (en) * | 2004-06-07 | 2011-07-05 | Sling Media, Inc. | Capturing and sharing media content |
US20050289582A1 (en) * | 2004-06-24 | 2005-12-29 | Hitachi, Ltd. | System and method for capturing and using biometrics to review a product, service, creative work or thing |
CN1725822A (zh) * | 2004-07-22 | 2006-01-25 | 上海乐金广电电子有限公司 | 用户喜好节目设定装置及其使用方法 |
KR20060021544A (ko) * | 2004-09-03 | 2006-03-08 | (주) 엘지텔레콤 | 이동통신단말기 사용자의 표정인식을 이용한 방송 선호도조사방법 |
JP2006197001A (ja) * | 2005-01-11 | 2006-07-27 | Yamaha Corp | 端末装置 |
JP2006260275A (ja) * | 2005-03-17 | 2006-09-28 | Ricoh Co Ltd | コンテンツ管理システム、表示制御装置、表示制御方法、および表示制御プログラム |
JP2007116448A (ja) * | 2005-10-20 | 2007-05-10 | Funai Electric Co Ltd | 視聴システム |
US20070150916A1 (en) * | 2005-12-28 | 2007-06-28 | James Begole | Using sensors to provide feedback on the access of digital content |
US20080004951A1 (en) | 2006-06-29 | 2008-01-03 | Microsoft Corporation | Web-based targeted advertising in a brick-and-mortar retail establishment using online customer information |
KR20080048836A (ko) * | 2006-11-29 | 2008-06-03 | 삼성전자주식회사 | 블로그 정보 관리 장치 및 방법 |
JP5267062B2 (ja) * | 2007-11-16 | 2013-08-21 | ソニー株式会社 | 情報処理装置、情報処理方法、コンテンツ視聴装置、コンテンツ表示方法、プログラム及び情報共有システム |
JP4920571B2 (ja) * | 2007-12-19 | 2012-04-18 | ヤフー株式会社 | Tv番組視聴メンバー管理システム及びtv番組視聴メンバー管理方法 |
US8600120B2 (en) * | 2008-01-03 | 2013-12-03 | Apple Inc. | Personal computing device control using face detection and recognition |
US8806021B2 (en) | 2008-01-28 | 2014-08-12 | Sony Corporation | Methods, portable electronic devices, systems and computer program products for automatically creating social networking services (SNS) |
US8302120B2 (en) * | 2008-02-19 | 2012-10-30 | The Nielsen Company (Us), Llc | Methods and apparatus to monitor advertisement exposure |
EP2269376A2 (en) * | 2008-03-12 | 2011-01-05 | Echostar Technologies L.L.C. | Apparatus and methods for controlling an entertainment device using a mobile communication device |
CN201226568Y (zh) | 2008-03-25 | 2009-04-22 | 赵力 | 带有监控和信息检索的智能电视终端 |
GB2459707B (en) * | 2008-05-01 | 2010-08-11 | Sony Computer Entertainment Inc | Media recorder, audio visual entertainment system and method |
US9246613B2 (en) * | 2008-05-20 | 2016-01-26 | Verizon Patent And Licensing Inc. | Method and apparatus for providing online social networking for television viewing |
CN101286201B (zh) | 2008-05-30 | 2010-09-29 | 北京中星微电子有限公司 | 信息自动索取的控制方法和装置 |
US20090326970A1 (en) * | 2008-06-30 | 2009-12-31 | Microsoft Corporation | Awarding users for discoveries of content based on future popularity in a social network |
US20100057546A1 (en) * | 2008-08-30 | 2010-03-04 | Yahoo! Inc. | System and method for online advertising using user social information |
JP2010152477A (ja) * | 2008-12-24 | 2010-07-08 | Nec Corp | 情報処理システム、サーバ装置、コミュニティ提供方法、プログラム及び記録媒体 |
US9003447B2 (en) * | 2008-12-31 | 2015-04-07 | Google Technology Holdings LLC | System and method for customizing communication in a social television framework |
WO2010108171A1 (en) * | 2009-03-20 | 2010-09-23 | Zelfy, Inc. | Device-based control system |
US8761392B2 (en) | 2009-09-29 | 2014-06-24 | Motorola Mobility Llc | Digital rights management protection for content identified using a social TV service |
US20110153412A1 (en) * | 2009-12-23 | 2011-06-23 | Victor Novikov | Selection and Presentation of Related Social Networking System Content and Advertisements |
KR101157597B1 (ko) * | 2010-01-28 | 2012-06-19 | 주식회사 팬택 | 모바일 단말 및 모바일 단말을 이용한 인맥 형성방법 |
US8438590B2 (en) * | 2010-09-22 | 2013-05-07 | General Instrument Corporation | System and method for measuring audience reaction to media content |
US9332206B2 (en) * | 2010-10-13 | 2016-05-03 | Verizon Patent And Licensing Inc. | Frame sharing |
US8667519B2 (en) * | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US8848024B2 (en) * | 2011-03-08 | 2014-09-30 | CSC Holdings, LLC | Virtual communal television viewing |
US20120233633A1 (en) * | 2011-03-09 | 2012-09-13 | Sony Corporation | Using image of video viewer to establish emotion rank of viewed video |
US8806540B2 (en) * | 2011-05-10 | 2014-08-12 | Verizon Patent And Licensing Inc. | Interactive media content presentation systems and methods |
WO2013037078A1 (en) | 2011-09-12 | 2013-03-21 | Intel Corporation | Facilitating television based interaction with social networking tools |
CN103842992A (zh) | 2011-09-12 | 2014-06-04 | 英特尔公司 | 促进与社交联网工具的基于电视的交互 |
-
2011
- 2011-09-12 WO PCT/CN2011/001544 patent/WO2013037078A1/en active Application Filing
- 2011-09-12 KR KR1020147008041A patent/KR20140069044A/ko active Application Filing
- 2011-09-12 US US13/994,761 patent/US20130276007A1/en not_active Abandoned
- 2011-09-12 JP JP2014528817A patent/JP6048692B2/ja active Active
- 2011-09-12 EP EP17195153.6A patent/EP3285222A1/en not_active Withdrawn
- 2011-09-12 EP EP11872185.1A patent/EP2756473A4/en not_active Ceased
- 2011-09-12 KR KR1020167022923A patent/KR20160103557A/ko not_active Application Discontinuation
- 2011-09-12 KR KR1020177024236A patent/KR101895846B1/ko active IP Right Grant
-
2012
- 2012-06-15 WO PCT/CN2012/077002 patent/WO2013037226A1/en active Application Filing
-
2017
- 2017-08-07 US US15/670,024 patent/US10524005B2/en active Active
-
2019
- 2019-11-21 US US16/690,933 patent/US10939165B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR101895846B1 (ko) | 2018-09-07 |
US10524005B2 (en) | 2019-12-31 |
US20200236428A1 (en) | 2020-07-23 |
US20130276007A1 (en) | 2013-10-17 |
US20170347151A1 (en) | 2017-11-30 |
KR20170102570A (ko) | 2017-09-11 |
EP2756473A4 (en) | 2015-01-28 |
JP6048692B2 (ja) | 2016-12-21 |
JP2014529133A (ja) | 2014-10-30 |
EP3285222A1 (en) | 2018-02-21 |
KR20140069044A (ko) | 2014-06-09 |
WO2013037078A1 (en) | 2013-03-21 |
US10939165B2 (en) | 2021-03-02 |
EP2756473A1 (en) | 2014-07-23 |
WO2013037226A1 (en) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101895846B1 (ko) | 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화 | |
US11936720B2 (en) | Sharing digital media assets for presentation within an online social network | |
US10979761B2 (en) | Intelligent video interaction method | |
CN106576184B (zh) | 信息处理装置、显示装置、信息处理方法、程序和信息处理*** | |
US9503786B2 (en) | Video recommendation using affect | |
TWI605712B (zh) | 互動式媒體系統 | |
US20170068847A1 (en) | Video recommendation via affect | |
US20120072936A1 (en) | Automatic Customized Advertisement Generation System | |
US20170251262A1 (en) | System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations | |
US10795560B2 (en) | System and method for detection and visualization of anomalous media events | |
US20140007149A1 (en) | System, apparatus and method for multimedia evaluation | |
JP2016054490A (ja) | カメラ対応装置を用いた背景シーンにおけるビデオディスプレイからのビデオ信号の検出、インデックス作成、及び比較のための装置、システム、方法、及び媒体 | |
JPWO2013057882A1 (ja) | 表示制御装置、集積回路、表示制御方法およびプログラム | |
US10257569B2 (en) | Display apparatus and method for providing service thereof | |
JP2014139681A (ja) | 適応的なビデオ呈示のための方法および装置 | |
US20190297384A1 (en) | System and Method for Segment Relevance Detection for Digital Content Using Multimodal Correlations | |
US20140012792A1 (en) | Systems and methods for building a virtual social network | |
De Pessemier et al. | Enhancing recommender systems for TV by face recognition | |
CN115497156A (zh) | 动作识别方法和装置、电子设备及计算机可读存储介质 | |
JP7206741B2 (ja) | 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム | |
Kaiser et al. | The fascinate production scripting engine | |
Uribe et al. | New access services in HbbTV based on a deep learning approach for media content analysis | |
JP2014229092A (ja) | 画像処理装置、画像処理方法、および、そのプログラム | |
CN108574875A (zh) | 促进与社交联网工具的基于电视的交互 | |
Uribe et al. | New accessibility services in HbbTV based on a deep learning approach for media content analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
E601 | Decision to refuse application | ||
E801 | Decision on dismissal of amendment |