KR101585830B1 - 시청자 감정에 따른 스토리 전개 시스템 및 방법 - Google Patents

시청자 감정에 따른 스토리 전개 시스템 및 방법 Download PDF

Info

Publication number
KR101585830B1
KR101585830B1 KR1020150088670A KR20150088670A KR101585830B1 KR 101585830 B1 KR101585830 B1 KR 101585830B1 KR 1020150088670 A KR1020150088670 A KR 1020150088670A KR 20150088670 A KR20150088670 A KR 20150088670A KR 101585830 B1 KR101585830 B1 KR 101585830B1
Authority
KR
South Korea
Prior art keywords
pupil
unit
emotion
viewer
story
Prior art date
Application number
KR1020150088670A
Other languages
English (en)
Inventor
이호석
Original Assignee
이호석
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이호석 filed Critical 이호석
Priority to KR1020150088670A priority Critical patent/KR101585830B1/ko
Application granted granted Critical
Publication of KR101585830B1 publication Critical patent/KR101585830B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06F17/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00597—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 영화, 오디오 이야기 책 등과 같이 이야기를 전개하는 스토리 전개 시스템 및 방법에 관한 것으로, 보다 상세하게는 감정의 변화가 생길 수 있는 스토리 선택 포인트에서 감정에 따라 서로 다른 내용을 가지는 적어도 둘 이상의 시나리오들을 구비하는 스토리를 재생하고, 재생되는 이야기를 듣거나 보고 있는 시청자 눈의 눈동자의 움직임을 추적 및 분석하여 눈동자의 움직임에 따라 시청자의 감정을 판단하고, 스토리 선택 포인트에서 시청자의 감정에 대응하는 시나리오를 선택하여 이야기를 전개하는 시청자 감정에 따른 스토리 전개 시스템 및 방법에 관한 것이다.

Description

시청자 감정에 따른 스토리 전개 시스템 및 방법{Storytelling system and method according to emotion of audience}
본 발명은 영화, 오디오 이야기 책 등과 같이 시나리오를 가지고 이야기를 전개하는 콘텐츠를 제공하는 스토리 전개 시스템 및 방법에 관한 것으로, 보다 상세하게는 감정의 변화가 생길 수 있는 포인트(이하 "스토리 선택 포인트"라 함)에서 감정에 따라 서로 다른 내용을 가지는 적어도 둘 이상의 시나리오들을 구비하는 스토리를 재생하고, 재생되는 이야기를 듣거나 보고 있는 시청자 눈동자의 움직임을 추적 및 분석하여 눈동자의 변화에 따라 시청자의 감정을 판단하고, 시청자의 감정에 대응하는 시나리오를 선택하여 이야기를 전개하는 시청자 감정에 따른 스토리 전개 시스템 및 방법에 관한 것이다.
인터넷 통신 기술 및 스마트기기 기술이 발달함에 따라 전자책(e-book), 음악, 동영상 등과 같은 다양한 전자 콘텐츠들이 등장하고 있다.
일반적으로 전자책(e-book)은 도서로 간행되었거나 간행될 수 있는 저작물의 내용이 디지털 데이터를 이용해 전자 기록매체, 저장장치에 수록된 뒤, 유무선 정보통신망을 통해 컴퓨터나 휴대단말기로 그 내용을 읽고 보고 들을 수 있도록 한 디지털 도서를 총칭한다.
초기 전자책은 종이책에 대한 사람들의 관념을 바꾸지 않은 상태에서 제공환경까지 열약함에 따라 대중화되지 못하였다가 데이터 가공 기술, 인터넷 데이터 통신 기술 및 스마트기기 기술이 발전하면서 최근 급속도로 대중화되고 있다.
또한, 최근에는 데이터 가공 기술, 인터넷 데이터 통신 기술 및 스마트기기 기술이 발전함에 따라 텍스트뿐만 아니라, 텍스트에 음성이 결합된 오디오 서적, 텍스트에 영상이 결합된 영상 서적 및 동영상 등의 콘텐츠를 실시간으로 다운받을 수 있는 기술의 개발에 따라 정보제공사업자(ISP)의 서버로부터 각종 콘텐츠가 제공되고 있다.
통상, 이러한 콘텐츠는 하나의 시나리오만을 가지고 전개된다. 따라서 시청자들은 한 번 보거나 들으면 모든 내용을 알기 때문에 콘텐츠를 두 번 읽거나, 두 번 듣거나, 두 번 보는 경우는 거의 드물다.
또한, 이러한 콘텐츠는 하나의 시나리오만 가지기 때문에 특정한 동일 부분에서 어떤 사람은 자신의 취향 및 현재 감정에 맞아 재미있지만, 어떤 사람은 자신의 취향 및 현재의 감정에 맞지 않아 재미를 느끼지 못하고 지루하게 느낄 수도 있을 것이다.
특히, 분야를 확장하여 발달장애 아동들에게 디지털 콘텐츠를 보여주거나 들려주는 경우, 발달장애 아동들은 감정 기복이 심하여 이야기 도중 그 감정이 극심하게 변화하여 재생중인 디지털 콘텐츠를 끄고 다른 콘텐츠를 재생하여 주어야 하나 콘텐츠들의 시나리오가 일률적이어서 발달장애 아동들의 감정에 맞추기 어려운 문제점이 있었다.
종래 콘텐츠들은 일률적인 시나리오에 따른 스토리만을 제공함으로써 특정 시청자들만을 만족시킬 뿐 대다수의 시청자들을 만족할 수 없는 문제점이 있었으며, 시청자들의 만족도가 떨어질 수 있는 문제점이 있었다.
공개특허 제10-2008-0022364호(2008.03.11.)
따라서 본 발명의 목적은 감정의 변화가 생길 수 있는 포인트(이하 "스토리 선택 포인트"라 함)에서 감정에 따라 서로 다른 내용을 가지는 적어도 둘 이상의 시나리오들을 구비하는 스토리를 재생하고, 재생되는 이야기를 듣거나 보고 있는 시청자 눈동자의 움직임을 추적 및 분석하여 눈동자의 변화에 따라 시청자의 감정을 판단하고, 시청자의 감정에 대응하는 시나리오를 선택하여 이야기를 전개하는 시청자 감정에 따른 스토리 전개 시스템 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 시청자 감정에 따른 스토리 전개 시스템은: 스토리 전개 중 시청자의 감정에 변경을 줄 수 있는 적어도 둘 이상의 스토리 선택 포인트를 정의하고, 상기 각 스토리 선택 포인트에서 시청자의 감정에 따른 서로 다른 복수의 스토리를 가지는 복수의 시나리오들을 포함하는 다수의 콘텐츠를 저장하는 시나리오 DB 및 눈동자의 동공의 확대는 두려움, 놀람 및 흥분 중 하나, 동공의 축소는 불쾌함, 동공의 흔들림은 불안 및 긴장, 눈동자의 이동 방향에 따라 생각, 의심 및 지루함을 정의하고 있는 눈동자 감정 DB를 포함하는 저장부; 상기 콘텐츠를 출력하는 콘텐츠 출력부; 상기 콘텐츠를 시청하고 있는 시청자의 눈을 추적 및 촬영하여 눈을 포함하는 눈동자 영상데이터를 출력하는 눈동자 영상 획득부; 및 상기 저장된 콘텐츠들 중 시청자에 의해 선택된 콘텐츠를 상기 콘텐츠 출력부를 통해 출력하고, 상기 콘텐츠의 전개 중 상기 각 스토리 선택 포인트에서 상기 눈동자 영상 획득부를 통해 입력되는 눈동자 영상데이터를 분석하여 눈동자의 동공의 확대 및 축소, 동공의 흔들림 여부 및 눈동자의 이동방향에 따른 변화를 감지하고, 감지된 변화에 대응하는 시청자의 감정을 상기 눈동자 감정 DB에서 찾고, 찾아진 감정에 대응하는 시나리오를 선택하여 상기 콘텐츠 출력부를 통해 출력하는 제어부를 포함하는 것을 특징으로 한다.
상기 눈동자 영상 획득부는, 화각으로 들어오는 영상을 촬영하여 출력하는 카메라부; 상기 카메라부를 통해 입력되는 영상을 영상 처리하여 눈동자 영상데이터를 출력하는 영상처리부; 및 상기 제어부의 제어를 받아 상기 카메라의 촬영 방향을 조절하는 틸팅부를 포함하되, 상기 제어부는, 상기 영상데이터를 분석하여 눈을 검출하고, 상기 틸팅부를 제어하여 상기 눈이 지속적으로 촬영되도록 하는 것을 특징으로 한다.
눈동자 영상 획득부는, 화각으로 들어오는 영상을 촬영하여 출력하는 카메라부; 상기 카메라부를 통해 입력되는 영상을 영상 처리하여 눈동자 영상데이터를 출력하는 영상처리부; 상기 제어부의 제어를 받아 상기 카메라의 촬영 방향을 조절하는 틸팅부; 및 상기 눈동자 영상데이터를 분석하여 눈을 검출하고, 상기 눈이 지속적으로 촬영되도록 상기 틸팅부를 제어하는 아이 트랙킹부를 포함하는 것을 특징으로 한다.
상기 제어부는, 시청자로부터 콘텐츠를 선택받고 선택된 콘텐츠를 상기 콘텐츠 출력부를 통해 출력하고, 상기 콘텐츠의 전개 중 스토리 선택 포인트인지를 판단하여 스토리 선택 포인트이면 스토리 선택 포인트 통지 신호를 출력하는 스토리 선택부; 상기 눈동자 영상 데이터를 분석하여 눈동자의 변화를 감지하고, 변화에 따른 눈동자 변화 정보를 출력하는 눈동자 변화 감지부; 상기 스토리 선택 포인트 통지 신호 입력 시 상기 눈동자 감정 DB를 참조하여 눈동자의 변화에 따른 감정을 판단하고, 그 감정정보를 출력하는 감정 판단부; 및 상기 감정정보를 입력받고 시나리오 DB에서 상기 감정정보에 대응하는 시나리오를 선택하는 시나리오 결정부를 포함하는 것을 특징으로 한다.
상기 눈동자 변화 감지부는, 상기 눈동자 영상 데이터로부터 동공을 검출하고, 검출된 동공의 크기 변화를 측정하여 출력하는 동공 크기 측정부; 및 상기 눈동자 영상 데이터로부터 눈동자를 검출하고 검출된 눈동자가 움직이는 이동방향을 검출하는 눈동자 움직임 검출부를 포함하되, 상기 저장부의 눈동자 감정 DB는 동공의 크기 변화 및 눈동자의 움직임 방향 중 적어도 하나 이상에 따른 감정 정보를 저장하고, 상기 감정 판단부는, 상기 눈동자 감정 DB를 참조하여 상기 동공의 크기 변화 및 눈동자의 움직임 방향에 따라 시청자의 감정을 판단하는 것을 특징으로 한다.
상기 콘텐츠 출력부 및 눈동자 영상 획득부는, 시청자의 콘텐츠 디스플레이 장치에 구성되고, 상기 저장부 및 제어부는 상기 콘텐츠 디스플레이 장치와 인터넷망을 통해 연결되는 스토리 전개 서버부에 구성되는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 시청자 감정에 따른 스토리 전개 방법은: 스토리 선택부가 스토리 전개 중 시청자의 감정에 변경을 줄 수 있는 적어도 둘 이상의 스토리 선택 포인트를 정의하고, 상기 각 스토리 선택 포인트에서 시청자의 감정에 따른 서로 다른 복수의 스토리를 가지는 복수의 시나리오들을 포함하는 콘텐츠를 선택받고, 선택된 콘텐츠의 출력을 개시하는 콘텐츠 출력 개시 과정; 눈동자 변화 감지부가 눈동자 영상 획득부를 통해 시청자의 눈을 촬영하여 눈동자 영상 데이터를 획득하는 눈동자 영상 획득 과정; 눈동자 변화 감지부가 상기 콘텐츠의 개시 이후 스토리 전개에 따른 스토리 선택 포인트의 검출 시 상기 눈동자 영상 데이터를 분석하여 눈동자의 동공의 확대 및 축소, 동공의 흔들림 여부 및 눈동자의 이동방향에 따른 변화를 감지하는 눈동자 변화 감지 과정; 감정 판단부가 감지된 변화에 대응하는 시청자의 감정을 눈동자의 동공의 확대는 두려움, 놀람 및 흥분 중 하나, 동공의 축소는 불쾌함, 동공의 흔들림은 불안 및 긴장, 눈동자의 이동 방향에 따라 생각, 의심 및 지루함을 정의하고 있는 눈동자 감정 DB를 참조하여 판단하는 감정 판단 과정; 및 상기 스토리 선택 포인트에 대해 존재하는 시나리오들 중 판단된 감정에 대응하는 시나리오를 시나리오 DB에서 로드하여 연속적으로 재생하는 시나리오 선택 과정을 포함하는 것을 특징으로 한다.
상기 눈동자 영상 획득 과정은, 카메라부를 통해 콘텐츠를 시청하는 시청자를 촬영하는 촬영단계; 상기 촬영된 영상으로부터 시청자의 눈동자를 검출하고, 카메라부의 촬영방향을 조절하는 틸팅부를 제어하여 검출된 눈동자를 지속적으로 추적하여 촬영하도록 하는 눈동자 추적 단계; 및 시청자의 눈동자를 추적하면서 촬영된 영상에 대한 눈동자 영상데이터를 획득하여 출력하는 눈동자 영상 획득 단계를 포함하는 것을 특징으로 한다.
상기 감정 판단 과정은, 상기 눈동자 영상데이터를 분석하여 눈동자의 변화를 감지하고, 변화에 따른 눈동자 변화 정보를 출력하는 눈동자 변화 감지 단계; 및 상기 눈동자 변화 정보에 대응하는 감정을 눈동자 감정 DB에서 검색하여 감정을 판단하는 감정 판단 단계를 포함하는 것을 특징으로 한다.
상기 눈동자 변화 감지 과정은, 상기 눈동자 영상 데이터로부터 동공을 검출하고, 검출된 동공의 크기 변화를 측정하는 동공 크기 측정 단계; 및 상기 눈동자 영상 데이터로부터 눈동자를 검출하고 검출된 눈동자가 움직이는 이동방향을 검출하는 눈동자 움직임 검출 단계를 포함하되, 상기 감정 판단 과정에서 감정 판단부가, 눈동자 감정 DB를 참조하여 상기 동공의 크기 변화 및 눈동자의 움직임 방향에 따라 시청자의 감정을 판단하는 것을 특징으로 한다.
상기 스토리 선택부가 미리 획득된 시청자의 빅데이터를 참조하여 시청자가 선호하는 콘텐츠들을 검색한 후 시청자가 선택할 수 있도록 제공하는 시청자 선호 콘텐츠 리스트 제공 과정을 더 포함하는 것을 특징으로 한다.
본 발명은 기본적인 시나리오 내에서 스토리 선택 포인트별로 시청자 형태에 따른 감정별로 복수의 부분 전개 시나리오들을 구비하고, 시청자들의 감정을 자동 반영하여 감정에 따른 스토리 선택 포인트별 부분 전개 시나리오들을 선택하여 스토리를 전개함으로써 하나의 기본적인 시나리오에서 다양한 스토리들을 즐길 수 있으므로 시청자를 즐겁게 할 수 있고 만족시킬 수 있는 효과를 갖는다.
또한, 본 발명은 하나의 기본적인 시나리오에서 다양한 스토리들을 제공할 수 있으므로 시청자들이 두 번, 세 번을 보더라도 시청자의 감정에 따라 서로 다른 스토리 전개를 제공할 수 있으므로 콘텐츠에 대한 지루함을 없앨 수 있고, 이로 인한 콘텐츠의 수명을 늘릴 수 있는 효과를 갖는다.
또한, 본 발명은 시청자 형태를 발달장애 아동으로 설정하여 발달장애 아동들에게 제공하는 경우, 발달장애 아동들의 극심한 감정변화에 따라 시나리오를 제공함으로써 시나리오에 의한 교육을 효율적으로 제공할 수 있는 효과를 갖는다.
도 1은 본 발명의 제1실시예에 따른 시청자 감정에 따른 스토리 전개 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 눈동자의 움직임에 따른 감정 판단 일 예를 설명하기 위한 도면이다.
도 3은 본 발명에 따른 스토리 선택 포인트별 시나리오 진행 과정의 일 예를 설명하기 위한 도면이다.
도 4는 본 발명의 제2실시예에 따른 시청자 감정에 따른 스토리 전개 시스템의 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 시청자 감정에 따른 스토리 전개 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 시청자 감정에 따른 스토리 전개 시스템의 구성 및 동작을 설명한 후, 상기 시스템에서의 스토리 전개 방법을 설명한다.
도 1은 본 발명의 제1실시예에 따른 시청자 감정에 따른 스토리 전개 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명에 따른 눈동자의 움직임에 따른 감정 판단 일 예를 설명하기 위한 도면이며, 도 3은 본 발명에 따른 스토리 선택 포인트별 시나리오 진행 과정의 일 예를 설명하기 위한 도면이다. 이하 도 1 내지 도 3을 참조하여 설명한다.
본 발명에 따른 시청자 감정에 따른 스토리 전개 시스템은 눈동자 영상 획득부(10), 저장부(30), 콘텐츠 출력부(40), 입력부(50) 및 제어부(60)를 포함한다.
눈동자 영상 획득부(10)는 화각에 들어오는 영상을 촬영하는 카메라부(12) 및 상기 카메라부(12)가 촬영하는 방향을 상하좌우로 조절하는 틸팅부(13)를 포함하는 촬영부(11) 및 상기 촬영부(11)로부터 출력되는 영상을 영상처리하여 출력하는 영상처리부(14)를 포함한다. 여기서 영상 처리란 영상신호 및 영상 데이터를 미리 설정된 영상 데이터 포맷으로 변환하고, 영상의 화질을 개선, 즉 영상데이터로부터 눈, 눈동자, 동공 등을 용이하게 검출하기 위한 휘도, 채도, 명도 등의 모든 보정 처리를 포함한다.
저장부(30)는 본 발명에 따른 시청자 감정에 따른 스토리 전개 시스템의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램 영역과, 상기 제어프로그램의 수행 중에 발생되는 데이터를 일시 저장하는 임시 영역, 상기 제어프로그램이 사용할 데이터와, 상기 제어프로그램 및 사용자에 의해 생성되는 데이터를 저장하는 데이터 영역을 포함한다.
상기 데이터 영역에는 눈동자 감정 DB(31), 시나리오 DB(32) 및 빅데이터 DB(33)를 포함한다.
상기 눈동자 감정 DB(31)는 눈동자의 변화에 따른 감정 정보가 데이터베이스화되어 있다. 예를 들어, 눈동자의 동공이 확대되면 시청자의 감정은 두려움, 놀람, 흥분 중 하나를 나타내고, 축소되면 시청자의 감정은 불쾌함을 나타내고 도 2의 (바)와 같이 동공이 흔들리면 불안, 긴장 등을 나타내며, 도 2에서 나타낸 바와 같이 눈동자가 (가)와 같이 중앙에서 (라)와 같이 눈동자가 위로 이동하였을 때는 생각을 할 때이고, (마)와 같이 오른쪽 위 방향은 의심을 나타내며, 도면에는 나타내지 않았으나 아래로 이동하였을 때는 지루함을 나타낸다.
상기 감정정보는 시청자 형태별로 다르게 설정될 수 있을 것이다. 예를 들어, 시청자 형태는 10대, 20대, 30대, 40대 등과 같이 나이의 형태가 될 수도 있고, 남성 및 여성 등과 같이 성별 형태가 될 수도 있으며, 발달장애 아동 및 보통 아동 등의 형태가 될 수도 있으며, 상술한 형태들이 복합적으로 구성된 형태가 될 수도 있을 것이다.
시나리오 DB(32)는 다수의 콘텐츠들을 저장한다. 도 3을 참조하면 각 콘텐츠는 기본 시나리오를 가지며, 시청자의 감정이 시청자별로 변경될 수 있는 적어도 하나 이상의 스토리 선택 포인트(401, 411, 412, 413, 421, 422, 423, 424, 425, 426,...)를 가지며, 각 스토리 선택 포인트는 서로 다른 내용들을 가지는 복수의 시나리오들(501, 511, 512, 513. 521, 522,...)을 포함한다. 예를 들어, 설명하면 제5공화국이라는 기본 시나리오를 가지는 드라마 콘텐츠가 있을 때 드라마의 전개 과정 중 쿠데타를 일으켜야 할지 말아야 할지를 선택해야 하는 순간이 스토리 선택 포인트(411)가 될 수 있으며, 상기 스토리 선택 포인트(411)에서는 쿠테타를 일으키는 내용의 시나리오(521)와 쿠테타를 일으키지 않았을 때의 시나리오(522)가 있을 수 있을 것이다. 그리고 시청자는 쿠테타를 일으키고자 하는 감정을 가지고 있다면 흥분, 긴장 등의 감정 정보가 상기 쿠테타 시나리오와 매칭되어 있고, 평온 감정 등의 감정 정보가 쿠테타를 일으키지 않을 때의 시나리오와 매칭되어 있을 수 있을 것이다.
빅데이터 DB(33)는 시청자들의 쇼셜네트워크 상에서 수행된 행위들로부터 수집되거나, 시청자들이 이전에 시청한 콘텐츠들에 대한 정보와 같은 빅데이터들을 저장하여 관리한다.
콘텐츠 출력부(40)는 스피커 등을 포함하는 오디오 처리부(41) 및 디스플레이부(42)를 포함하여 제어부(10)의 제어를 받아 콘텐츠를 오디오 및 동영상 중 하나 이상으로 출력한다.
입력부(50)는 콘텐츠 선택, 선택된 콘텐츠의 제어를 위한 제어 신호를 발생하여 제어부(60)로 출력한다. 상기 입력부는 리모콘 및 리모콘 신호 수신기를 포함하는 리모콘 송수신장치가 될 수도 있고, 다수의 키들을 구비하고 눌린 키에 대한 키신호를 출력하는 키 입력장치가 될 수도 있을 것이다.
제어부(60)는 본 발명에 따른 스토리 전개 시스템의 전반적인 동작을 제어한다.
구체적으로 설명하면, 제어부(10)는 스토리 선택부(61), 눈동자 변화 감지부(63), 감정 판단부(66), 시나리오 결정부(67)를 포함하며, 실시예에 따라 아이 트랙킹부(62)를 포함한다.
스토리 선택부(61)는 시청자로부터 콘텐츠 요청 발생 시 시나리오 DB(32)에 저장되어 있는 콘텐츠들에 대한 콘텐츠 리스트를 디스플레이부(42)에 표시하고 입력부(50)를 통해 콘텐츠 리스트의 콘텐츠들 중 하나를 선택받고, 선택된 콘텐츠를 콘텐츠 출력부(40)를 통해 출력하며, 선택된 콘텐츠의 출력 중 스토리 선택 포인트가 존재하는지를 모니터링하고, 스토리 선택 포인트의 존재 시 시나리오 결정부(67)로 스토리 선택 포인트가 있음을 통지하는 스토리 선택 포인트 통지 신호를 출력한다. 또한, 시나리오 결정부(67)로부터 결정된 시나리오 정보를 입력받아 해당 시나리오를 콘텐츠 출력부(40)를 통해 출력한다.
아이 트랙킹부(62)는 눈동자 영상 획득부(10)의 영상 처리부(14)로부터 입력되는 눈동자 영상데이터를 분석하여 시청자의 눈을 검출하고, 검출된 눈이 화각의 중심부에서 지속적으로 촬영될 수 있도록 틸팅부(13)를 제어하여 카메라부(12)의 화각이 시청자의 눈 방향을 향하도록 제어한다.
아이 트랙킹부(62)는 도 1과 같이 제어부(60)에 구성될 수도 있고, 눈동자 영상 획득부(10)에 구성될 수도 있을 것이다.
눈동자 변화 감지부(63)는 상기 눈동자 영상데이터를 입력받고, 눈동자 영상데이터를 분석하여 눈동자의 변화를 감지한다.
구체적으로 설명하면 눈동자 변화 감지부(63)는 눈동자의 동공의 크기 변화를 감지하는 동공 크기 측정부(64) 및 눈동자의 이동 방향을 검출하는 눈동자 움직임 검출부(65)를 포함한다.
상기 동공 크기 측정부(64)에서 측정되어 출력되는 눈동자 변화 정보는 눈동자가 커졌는지 작아졌는지의 여부 및 커지거나 작아진 정도의 정보를 출력할 수 있을 것이다.
그리고 눈동자 움직임 검출부(65)에서 출력되는 눈동자 변화 정보는 눈동자가 이동 방향에 대한 정보, 예를 들어, 우측, 좌측, 상측, 하측, 우상측 등과 같은 정보가 될 수 있을 것이다.
감정 판단부(66)는 상기 눈동자 변화 감지부(63)로부터 출력되는 눈동자 변화 정보를 입력받고 눈동자 감정 DB(31)에서 눈동자 변화 정보에 대응하는 감정을 검색하고, 검색된 감정 정보를 시나리오 결정부(67)로 출력한다.
시나리오 결정부(67)는 감정 판단부(66)로부터 감정 정보가 입력되면 시나리오 DB(32)에서 상기 감정 정보에 대응하는 시나리오를 결정하여 스토리 선택부(61)로 통지한다.
도 4는 본 발명의 제2실시예에 따른 시청자 감정에 따른 스토리 전개 시스템의 구성을 나타낸 도면으로, 콘텐츠 출력부(40), 입력부(50) 및 눈동자 영상 획득부(10)가 시청자가 위치한 곳에 설치되는 콘텐츠 디스플레이 장치(100)에 구성되고, 저장부(30) 및 제어부(60)가 상기 콘텐츠 디스플레이 장치(100)와 인터넷망(미도시)을 통해 원격지에 구성되는 스토리 전개 서버부(200)에 구성되는 경우를 나타낸 것이다.
도 4를 참조하면, 스토리 전개 시스템은 콘텐츠 디스플레이 장치(100) 및 스토리 전개 서버부(200)를 포함한다.
콘텐츠 디스플레이 장치(100)는 인터넷망에 접속하여 스토리 전개 서버부(200)로부터 콘텐츠를 다운로드 받아 출력할 수 있는 스마트 텔레비전 등이 될 수 있을 것이다.
상술한 바와 같이 콘텐츠 디스플레이 장치(100)는 눈동자 영상 획득부(110), 콘텐츠 출력부(140) 및 입력부(150)를 포함하며, 콘텐츠 디스플레이 장치(100)의 동작을 제어하기 위한 단말 제어부(120) 및 인터넷망을 통해 스토리 전개 서버부(200)와 데이터 통신을 수행하기 위한 단말 통신부(130)를 포함한다.
상기 눈동자 영상 획득부(110), 콘텐츠 출력부(140) 및 입력부(150)의 구성 및 동작은 동일하므로 그 설명을 생략한다.
단말 제어부(120)는 다운로드 받은 콘텐츠가 콘텐츠 출력부(140)를 통해 출력되면 눈동자 영상 획득부(110)를 통해 획득되는 눈동자 영상데이터를 단말 통신부(130)를 통해 스토리 전개 서버부(200)로 전송하고, 스트리밍으로 수신되는 콘텐츠를 콘텐츠 출력부(140)를 통해 출력한다.
만일, 콘텐츠 디스플레이 장치(100)가 콘텐츠 전체를 다운로드 받아 출력하도록 구성되는 경우, 콘텐츠의 출력 중 스토리 선택 포인트의 검출 시 스토리 선택 포인트 정보를 스토리 전개 서버부(200)로 전송한다. 즉 도 1의 제1실시예와 대비하여 도 1의 스토리 선택부(61)가 단말 제어부(120)에 구성되어야 할 것이다.
도 5는 본 발명의 실시예에 따른 시청자 감정에 따른 스토리 전개 방법을 나타낸 흐름도이다. 도 5를 참조하여 설명하되 제1실시예를 기준으로 설명한다.
우선, 제어부(10)는 시청자의 요청에 의해 시나리오 DB(32)에 저장된 콘텐츠들에 대한 콘텐츠 리스트를 디스플레이부(42)에 표시한 후, 스토리가 선택되는지를 검사한다(S111).
스토리가 선택되면 제어부(10)는 도 4의 초기 시나리오(501)를 콘텐츠 출력부(40)를 통해 출력한다(S113).
초기 시나리오가 재생되면 제어부(10)는 눈동자 영상 획득부(10)를 통해 눈동자 움직임 추적을 개시하여 눈동자 영상데이터를 획득한다(S115).
눈동자 영상데이터가 생성되기 시작하면 제어부(10)는 스토리 선택 포인트(4XX)가 검출되는지를 검사한다(S117).
스토리 선택 포인트가 검출되면, 제어부(10)는 감정 판단부(66)를 통해 눈동자 변화에 따른 감정을 분석 및 판단한다(S119).
상기 눈동자 변화에 따른 감정이 분석 및 판단되면 제어부(10)는 시나리오 결정부(67)를 통해 변화된 감정에 대응하는 시나리오를 선택하여 콘텐츠 출력부(40)를 통해 출력한다(S123).
상기 시나리오의 재생 후 스토리가 종료되는지를 검사하고(S127), 스토리가 종료될 때까지 상술한 S115 이후의 과정을 반복 수행한다.
상기 설명에서는 감정이 분석 및 판단되면 판단된 감정에 대응하는 시나리오를 선택하도록 하였으나, 콘텐츠는 기본 시나리오(예를 들면, 시나리오(501), 시나리오(512), 시나리오(524)가 기본 시나리오로 정의)가 정의되고, 제어부(10)는 상기 감정 분석 및 판단 시 감정의 변화 여부를 판단하여(S121), 변화가 없으면 상기 기본 시나리오를 따라 스토리를 전개하도록 구성될 수도 있을 것이다(S125).
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
10, 110: 눈동자 영상 획득부 11, 111: 촬영부
12, 112: 카메라부 13, 113: 틸팅부
14, 114: 영상 처리부 30: 저장부
31: 눈동자 감정 DB 32: 시나리오 DB
33: 빅데이터 DB 40: 디스플레이부
50: 입력부 60: 제어부
61: 스토리 선택부 62: 시나리오 결정부
63: 동공크기 결정부 64: 눈동자 움직임 검출부
65: 감정 판단부 66: 시나리오 결정부
67: 빅데이터 수집부 100: 스마트 영상기기
115: 아이 트랙킹부 120: 단말 제어부
130: 단말 통신부 140: 단말 디스플레이부
150: 단말 입력부
200: 스토리 전개 서버부 210: 통신부

Claims (11)

  1. 스토리 전개 중 시청자의 감정에 변경을 줄 수 있는 적어도 둘 이상의 스토리 선택 포인트를 정의하고, 상기 각 스토리 선택 포인트에서 시청자의 감정에 따른 서로 다른 복수의 스토리를 가지는 복수의 시나리오들을 포함하는 다수의 콘텐츠를 저장하는 시나리오 DB 및 눈동자의 동공의 확대는 두려움, 놀람 및 흥분 중 하나, 동공의 축소는 불쾌함, 동공의 흔들림은 불안 및 긴장, 눈동자의 이동 방향에 따라 생각, 의심 및 지루함을 정의하고 있는 눈동자 감정 DB를 포함하는 저장부;
    상기 콘텐츠를 출력하는 콘텐츠 출력부;
    상기 콘텐츠를 시청하고 있는 시청자의 눈을 추적 및 촬영하여 눈을 포함하는 눈동자 영상데이터를 출력하는 눈동자 영상 획득부; 및
    상기 저장된 콘텐츠들 중 시청자에 의해 선택된 콘텐츠를 상기 콘텐츠 출력부를 통해 출력하고, 상기 콘텐츠의 전개 중 상기 각 스토리 선택 포인트에서 상기 눈동자 영상 획득부를 통해 입력되는 눈동자 영상데이터를 분석하여 눈동자의 동공의 확대 및 축소, 동공의 흔들림 여부 및 눈동자의 이동방향에 따른 변화를 감지하고, 감지된 변화에 대응하는 시청자의 감정을 상기 눈동자 감정 DB에서 찾고, 찾아진 감정에 대응하는 시나리오를 선택하여 상기 콘텐츠 출력부를 통해 출력하는 제어부를 포함하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 시스템
  2. 제1항에 있어서,
    상기 눈동자 영상 획득부는,
    화각으로 들어오는 영상을 촬영하여 출력하는 카메라부;
    상기 카메라부를 통해 입력되는 영상을 영상 처리하여 눈동자 영상데이터를 출력하는 영상처리부; 및
    상기 제어부의 제어를 받아 상기 카메라의 촬영 방향을 조절하는 틸팅부를 포함하되,
    상기 제어부는,
    상기 영상데이터를 분석하여 눈을 검출하고, 상기 틸팅부를 제어하여 상기 눈이 지속적으로 촬영되도록 하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 시스템.
  3. 제1항에 있어서,
    눈동자 영상 획득부는,
    화각으로 들어오는 영상을 촬영하여 출력하는 카메라부;
    상기 카메라부를 통해 입력되는 영상을 영상 처리하여 눈동자 영상데이터를 출력하는 영상처리부;
    상기 제어부의 제어를 받아 상기 카메라의 촬영 방향을 조절하는 틸팅부; 및
    상기 눈동자 영상데이터를 분석하여 눈을 검출하고, 상기 눈이 지속적으로 촬영되도록 상기 틸팅부를 제어하는 아이 트랙킹부를 포함하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 시스템.
  4. 제1항에 있어서,
    상기 제어부는,
    시청자로부터 콘텐츠를 선택받고 선택된 콘텐츠를 상기 콘텐츠 출력부를 통해 출력하고, 상기 콘텐츠의 전개 중 스토리 선택 포인트인지를 판단하여 스토리 선택 포인트이면 스토리 선택 포인트 통지 신호를 출력하는 스토리 선택부;
    상기 눈동자 영상 데이터를 분석하여 눈동자의 변화를 감지하고, 변화에 따른 눈동자 변화 정보를 출력하는 눈동자 변화 감지부; 및
    상기 스토리 선택 포인트 통지 신호 입력 시 상기 눈동자 감정 DB를 참조하여 눈동자의 변화에 따른 감정을 판단하고, 그 감정정보를 출력하는 감정 판단부;
    상기 감정정보를 입력받고 시나리오 DB에서 상기 감정정보에 대응하는 시나리오를 선택하는 시나리오 결정부를 포함하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 시스템.
  5. 제4항에 있어서,
    상기 눈동자 변화 감지부는,
    상기 눈동자 영상 데이터로부터 동공을 검출하고, 검출된 동공의 크기 변화를 측정하여 출력하는 동공 크기 측정부; 및
    상기 눈동자 영상 데이터로부터 눈동자를 검출하고 검출된 눈동자가 움직이는 이동방향을 검출하는 눈동자 움직임 검출부를 포함하되,
    상기 저장부의 눈동자 감정 DB는 동공의 크기 변화 및 눈동자의 움직임 방향 중 적어도 하나 이상에 따른 감정 정보를 저장하고,
    상기 감정 판단부는,
    상기 눈동자 감정 DB를 참조하여 상기 동공의 크기 변화 및 눈동자의 움직임 방향에 따라 시청자의 감정을 판단하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 시스템.
  6. 제1항에 있어서,
    상기 콘텐츠 출력부 및 눈동자 영상 획득부는,
    시청자의 콘텐츠 디스플레이 장치에 구성되고,
    상기 저장부 및 제어부는 상기 콘텐츠 디스플레이 장치와 인터넷망을 통해 연결되는 스토리 전개 서버부에 구성되는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 시스템.
  7. 스토리 선택부가 스토리 전개 중 시청자의 감정에 변경을 줄 수 있는 적어도 둘 이상의 스토리 선택 포인트를 정의하고, 상기 각 스토리 선택 포인트에서 시청자의 감정에 따른 서로 다른 복수의 스토리를 가지는 복수의 시나리오들을 포함하는 콘텐츠를 선택받고, 선택된 콘텐츠의 출력을 개시하는 콘텐츠 출력 개시 과정;
    눈동자 변화 감지부가 눈동자 영상 획득부를 통해 시청자의 눈을 촬영하여 눈동자 영상 데이터를 획득하는 눈동자 영상 획득 과정;
    눈동자 변화 감지부가 상기 콘텐츠의 개시 이후 스토리 전개에 따른 스토리 선택 포인트의 검출 시 상기 눈동자 영상 데이터를 분석하여 눈동자의 동공의 확대 및 축소, 동공의 흔들림 여부 및 눈동자의 이동방향에 따른 변화를 감지하는 눈동자 변화 감지 과정;
    감정 판단부가 감지된 변화에 대응하는 시청자의 감정을 눈동자의 동공의 확대는 두려움, 놀람 및 흥분 중 하나, 동공의 축소는 불쾌함, 동공의 흔들림은 불안 및 긴장, 눈동자의 이동 방향에 따라 생각, 의심 및 지루함을 정의하고 있는 눈동자 감정 DB를 참조하여 판단하는 감정 판단 과정; 및
    상기 스토리 선택 포인트에 대해 존재하는 시나리오들 중 판단된 감정에 대응하는 시나리오를 시나리오 DB에서 로드하여 연속적으로 재생하는 시나리오 선택 과정을 포함하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 방법.
  8. 제7항에 있어서,
    상기 눈동자 영상 획득 과정은,
    카메라부를 통해 콘텐츠를 시청하는 시청자를 촬영하는 촬영단계;
    상기 촬영된 영상으로부터 시청자의 눈동자를 검출하고, 카메라부의 촬영방향을 조절하는 틸팅부를 제어하여 검출된 눈동자를 지속적으로 추적하여 촬영하도록 하는 눈동자 추적 단계; 및
    시청자의 눈동자를 추적하면서 촬영된 영상에 대한 눈동자 영상데이터를 획득하여 출력하는 눈동자 영상 획득 단계를 포함하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 방법.
  9. 삭제
  10. 삭제
  11. 제7항에 있어서,
    상기 스토리 선택부가 미리 획득된 시청자의 빅데이터를 참조하여 시청자가 선호하는 콘텐츠들을 검색한 후 시청자가 선택할 수 있도록 제공하는 시청자 선호 콘텐츠 리스트 제공 과정을 더 포함하는 것을 특징으로 하는 시청자 감정에 따른 스토리 전개 방법.
KR1020150088670A 2015-06-22 2015-06-22 시청자 감정에 따른 스토리 전개 시스템 및 방법 KR101585830B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150088670A KR101585830B1 (ko) 2015-06-22 2015-06-22 시청자 감정에 따른 스토리 전개 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150088670A KR101585830B1 (ko) 2015-06-22 2015-06-22 시청자 감정에 따른 스토리 전개 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101585830B1 true KR101585830B1 (ko) 2016-01-15

Family

ID=55173530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150088670A KR101585830B1 (ko) 2015-06-22 2015-06-22 시청자 감정에 따른 스토리 전개 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101585830B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035196A1 (en) * 2016-08-16 2018-02-22 Visbit Inc. Interactive 360° vr video streaming
CN108269463A (zh) * 2018-02-11 2018-07-10 合肥市科技馆 一种科普用瞳孔心理展示展品
KR101974130B1 (ko) 2018-02-02 2019-04-30 동서대학교 산학협력단 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템
CN113553423A (zh) * 2021-07-05 2021-10-26 北京奇艺世纪科技有限公司 一种剧本信息处理方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080022364A (ko) 2006-09-06 2008-03-11 최익환 독자 선택에 따른 스토리 전개 방식의 카오스 북 제공시스템 및 방법
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー／エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
KR20110035585A (ko) * 2009-09-30 2011-04-06 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR20130110852A (ko) * 2012-03-30 2013-10-10 단국대학교 산학협력단 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법
JP2014053672A (ja) * 2012-09-05 2014-03-20 Nikon Corp 再生システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー／エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
KR20080022364A (ko) 2006-09-06 2008-03-11 최익환 독자 선택에 따른 스토리 전개 방식의 카오스 북 제공시스템 및 방법
KR20110035585A (ko) * 2009-09-30 2011-04-06 전자부품연구원 눈 영상을 통해 판단한 사용자 상태에 반응하는 게임기 및 그의 게임 제공방법
KR20130110852A (ko) * 2012-03-30 2013-10-10 단국대학교 산학협력단 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법
JP2014053672A (ja) * 2012-09-05 2014-03-20 Nikon Corp 再生システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035196A1 (en) * 2016-08-16 2018-02-22 Visbit Inc. Interactive 360° vr video streaming
KR101974130B1 (ko) 2018-02-02 2019-04-30 동서대학교 산학협력단 관객의 감정정보를 이용한 실시간 반응형 콘텐츠 제공 시스템
CN108269463A (zh) * 2018-02-11 2018-07-10 合肥市科技馆 一种科普用瞳孔心理展示展品
CN113553423A (zh) * 2021-07-05 2021-10-26 北京奇艺世纪科技有限公司 一种剧本信息处理方法、装置、电子设备及存储介质
CN113553423B (zh) * 2021-07-05 2023-10-10 北京奇艺世纪科技有限公司 一种剧本信息处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
KR102271854B1 (ko) 컨텐츠의 재생 제어 방법 및 이를 수행하기 위한 컨텐츠 재생 장치
US9786326B2 (en) Method and device of playing multimedia and medium
CN112602077A (zh) 交互式视频内容分发
US9818227B2 (en) Augmented reality presentations
US9288531B2 (en) Methods and systems for compensating for disabilities when presenting a media asset
US8726304B2 (en) Time varying evaluation of multimedia content
TWI581128B (zh) 基於媒體反應來***體節目的方法、系統及電腦可讀取儲存記憶體
US20120308209A1 (en) Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
JP4621758B2 (ja) コンテンツ情報再生装置、コンテンツ情報再生システム、および情報処理装置
US20160182955A1 (en) Methods and systems for recommending media assets
KR101585830B1 (ko) 시청자 감정에 따른 스토리 전개 시스템 및 방법
CN103460128A (zh) 借助智能电话和音频水印的多种语言同步电影配音
US9558784B1 (en) Intelligent video navigation techniques
JP2019208239A (ja) エッセンシャルビデオの生成方法、装置、機器及び記憶媒体
US9564177B1 (en) Intelligent video navigation techniques
CN112954390B (zh) 视频处理方法、装置、存储介质及设备
CN113852767B (zh) 视频编辑方法、装置、设备及介质
JP2006148939A (ja) 記録されたコンテンツと共に補足コンテンツを提示する方法、装置、およびプログラムプロダクト
JP5169239B2 (ja) 情報処理装置および方法、並びにプログラム
JP2008178090A (ja) 映像処理装置
CN114868186A (zh) 基于玩家年龄、国家、法律要求自动编辑播放的具有esrb评级的用户生成内容
JP6720575B2 (ja) 動画再生装置および動画処理装置
KR101748576B1 (ko) 이동통신 단말기에서 동영상 데이터를 세그먼팅하기 위한 장치 및 방법
FR3090256A1 (fr) Procédé de reproduction sur un terminal d’un contenu principal en restituant un contenu secondaire associé à un objet affiché, terminal, serveur, et programme d’ordinateur correspondants.
KR20160041038A (ko) 핫 씬 서비스 시스템, 핫 씬 서비스 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4