KR101926477B1 - 콘텐츠 재생 방법 및 장치 - Google Patents

콘텐츠 재생 방법 및 장치 Download PDF

Info

Publication number
KR101926477B1
KR101926477B1 KR1020110114883A KR20110114883A KR101926477B1 KR 101926477 B1 KR101926477 B1 KR 101926477B1 KR 1020110114883 A KR1020110114883 A KR 1020110114883A KR 20110114883 A KR20110114883 A KR 20110114883A KR 101926477 B1 KR101926477 B1 KR 101926477B1
Authority
KR
South Korea
Prior art keywords
user
content
unit
virtual
space
Prior art date
Application number
KR1020110114883A
Other languages
English (en)
Other versions
KR20130010424A (ko
Inventor
정상근
박현철
정문식
조경선
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201280035942.2A priority Critical patent/CN103703772A/zh
Priority to EP12814483.9A priority patent/EP2735164A4/en
Priority to PCT/KR2012/000375 priority patent/WO2013012146A1/en
Priority to US13/356,220 priority patent/US20130023342A1/en
Publication of KR20130010424A publication Critical patent/KR20130010424A/ko
Application granted granted Critical
Publication of KR101926477B1 publication Critical patent/KR101926477B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Acoustics & Sound (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자의 감각을 자극하는 콘텐츠를 실감나게 재생하도록 한 콘텐츠 재생 방법 및 장치를 제공하기 위한 것이다. 본 발명에 따른 콘텐츠 재생 방법 및 장치는 콘텐츠 재생 기능을 구비한 노트북 PC, 데스크탑 PC, 태블릿 PC, 스마트 폰, HDTV(High Definition TeleVision), 스마트 TV, 3D(3-Dimensional) TV, IPTV(Internet Protocol Television), 입체 음향 시스템, 극장 시스템, 홈시어터(home theater), 홈 네트워크 시스템 등에 적용될 수 있다. 콘텐츠를 실감나게 재생하기 위해 본 발명에 따른 콘텐츠 재생 방법은 사용자의 제 1 위치를 결정하는 단계; 상기 결정된 제 1 위치를 기준으로 상기 사용자가 존재하는 실제공간과 표시부를 통해 표시되는 콘텐츠 공간을 맵핑하는 단계; 상기 사용자의 제 2 위치에 대응되는 상기 콘텐츠 공간상에서의 가상 시점(virtual viewpoint)을 결정하는 단계; 및 상기 결정된 가상 시점에 대응되는 콘텐츠를 재생하는 단계를 포함하는 것을 특징으로 한다.

Description

콘텐츠 재생 방법 및 장치{CONTENTS PLAY METHOD AND APPARATUS}
본 발명은 콘텐츠 재생 방법 및 장치에 관한 것으로 특히, 사용자의 위치에 대응하여 콘텐츠를 재생하는 방법 및 장치에 관한 것이다.
최근 3차원 입체 영상에 대한 수요가 급증하고 있으며, 디지털 방송이 상용화된 이후 3D(3-Dimensional) TV 및 3D 정보 단말기 등의 분야에서 입체 영상에 대한 연구가 활발히 이루어지고 있다. 일반적으로 3차원으로 표현되는 입체 영상은 두 눈을 통한 스테레오(stereo) 시각의 원리에 의하여 이루어진다. 두 눈이 약 65mm 정도 떨어져서 있음으로 인해 나타나는 양안 시차는 깊이감의 중요한 요인으로 작용한다. 좌우의 눈은 서로 다른 입체 영상을 보게 되고, 두 입체 영상이 망막을 통해 뇌로 전달되면, 뇌는 이를 융합하여 입체 영상에 대해 깊이감을 느끼게 된다.
그러나, 3D TV의 경우, 사용자의 위치에 상관없이 항상 시점(viewpoint)이 고정된 3D 영상을 보여줄 뿐, TV 안에 들어와 있는 듯 실감나는 영상을 제공해주지 못하고 있는 실정이다.
본 발명은 사용자의 위치에 대응하여 사용자의 감각 중에서 적어도 시각을 자극하는 콘텐츠를 실감나게 재생하는 방법 및 장치를 제공함을 목적으로 한다.
상술한 해결하고자 하는 과제를 달성하기 위해 본 발명에 따른 콘텐츠 재생 방법은 사용자의 제 1 위치를 결정하는 단계; 상기 결정된 제 1 위치를 기준으로 상기 사용자가 존재하는 실제공간과 표시부를 통해 표시되는 콘텐츠 공간을 맵핑하는 단계; 상기 사용자의 제 2 위치에 대응되는 상기 콘텐츠 공간상에서의 가상 시점(virtual viewpoint)을 결정하는 단계; 및 상기 결정된 가상 시점에 대응되는 콘텐츠를 재생하는 단계를 포함하는 것을 특징으로 한다.
또한 본 발명에 따른 콘텐츠 재생 장치는 사용자의 감각을 자극하는 콘텐츠를 수집하는 콘텐츠 수집부; 상기 콘텐츠 수집부로부터 입력된 콘텐츠를 재생이 가능하도록 처리하는 콘텐츠 처리부; 상기 콘텐츠 처리부로부터 입력된 콘텐츠를 재생하는 콘텐츠 재생부; 상기 콘텐츠가 상기 사용자의 위치에 대응되게 재생되도록 상기 사용자의 위치와 관련된 정보를 수집하는 센서부; 및 상기 센서부로부터 수신된 정보를 기반으로 상기 사용자의 위치에 대응되는 가상의 콘텐츠 공간상에서의 가상 시점(virtual viewpoint)를 결정하고, 상기 결정된 가상 시점에 대응되는 콘텐츠가 재생되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
이상으로 본 발명에 따른 콘텐츠 재생 방법 및 장치에 따르면, 본 발명은 사용자의 감각을 자극하는 콘텐츠를 실감나게 재생할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 콘텐츠 재생 장치의 블록 구성도이다.
도 2는 본 발명에 따른 3D 공간을 표현하기 위한 3차원 좌표계를 도시한 것이다.
도 3a, 도 3b 및 도3c는 각각, 본 발명에 따른 실제 공간을 설명하기 위한 사시도, 상면도 및 측면도이다.
도 4a 및 도 4b는 각각, 본 발명에 따른 가상의 콘텐츠 공간을 설명하기 위한 사시도 및 상면도이다.
도 5는 본 발명의 일 실시예에 따른 실감형 재생부의 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따른 공간 맵핑 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 공간 맵핑 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 가상 시점 결정 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 가상 카메라의 앵글 조절 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 입체 영상 조절 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 입체 음향 조절 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따른 콘텐츠 재생 장치가 적용된 홈 네트워크 시스템의 네트워크 구성도이다.
도 13은 본 발명의 일 실시예에 따른 콘텐츠 재생 방법을 설명하기 위한 흐름도이다.
도 14는 본 발명의 다른 실시예에 따른 콘텐츠 재생 방법을 설명하기 위한 흐름도이다.
이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 콘텐츠 재생 방법 및 장치에 대해서 상세하게 설명한다. 단, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
아래 설명에서 콘텐츠는 사용자의 감각 즉, 시각, 청각, 촉각 등을 자극하는 것으로 정의된다. 예를 들어, 콘텐츠는 영상, 빛, 소리, 바람 등이 될 수 있다. 또한 실감형 재생은 사용자의 위치에 대응하여 콘텐츠를 재생하는 것으로 정의될 수 있다. 즉 사용자의 위치가 다르면 같은 속성의 콘텐츠라 하더라도 사용자의 느낌은 다를 수 있다. 예컨대 콘텐츠가 화면에 표시되는 자동차라고 가정하면 사용자의 위치에 따라 자동차의 정면이 보이거나 자동차의 측면이 보이는 것과 같다.
본 발명에 따른 콘텐츠 재생 방법 및 장치는 사용자의 감각을 자극하는 콘텐츠를 재생하는 기능을 구비한 전자 기기에 적용될 수 있다. 구체적으로 본 발명에 따른 콘텐츠 재생 방법 및 장치는 노트북 PC, 데스크탑 PC, 태블릿 PC, 스마트 폰, HDTV(High Definition TeleVision), 스마트 TV, 3D(3-Dimensional) TV, IPTV(Internet Protocol Television), 입체 음향 시스템, 극장 시스템, 홈시어터(home theater), 홈 네트워크 시스템 등에 적용될 수 있다.
본 발명에 따른 콘텐츠 재생 방법 및 장치는 사용자의 위치 변화를 추적(tracking)하는 기능과, 추적된 사용자의 위치에 대응하여 콘텐츠를 실감나게 재생하는 기능을 제공한다. 또한 본 발명에 따른 콘텐츠 재생 방법 및 장치는 유선 랜(LAN; Local Area Network), 무선 랜, 3G(3-Generation)나 4G(4-Generation) 등의 이동통신망, 케이블, 방송 위성, 방송국 등을 통해 콘텐츠 제공자로부터 콘텐츠 즉, 영상을 수신하고, 수신한 영상을 구비된 데이터베이스에 저장하고 실시간 재생할 수 있는 기능을 제공할 수 있다. 여기서, 영상은 입체 영상(stereoscopic image)을 포함할 수 있다. 또한 입체 영상은 3D 영화, 3D 애니메이션, 3D 컴퓨터 그래픽 등이 될 수 있다. 또한, 입체 영상은 입체 음향과 혼합된 멀티미디어일 수도 있다.
도 1은 본 발명의 일 실시예에 따른 콘텐츠 재생 장치의 블록 구성도이다. 도 1에 따른 콘텐츠 재생 장치는 콘텐츠를 화면과 사용자 사이의 3차원 공간상에 있는 것처럼 보이게 할 수 있는 3D TV로 가정하여 설명한다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 재생 장치(100)는
도 1을 참조하면, 본 발명의 일 실시예에 따른 콘텐츠 재생 장치는 입력부(110), 리모컨(120), 리모컨 수신부(125), 센서부(130), 콘텐츠 수집부(140), 콘텐츠 처리부(150), 음향 출력부(161), 영상 표시부(162), 저장부(170), 인터페이스부(180) 및 제어부(190)를 포함하여 이루어질 수 있다.
입력부(110)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함할 수 있다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 입력부(110)는 사용자 설정 및 콘텐츠 재생 장치(100)의 기능 제어와 관련한 키 이벤트를 생성하여 제어부(190)로 전달한다. 키 이벤트는 전원 온/오프 이벤트, 볼륨 조절 이벤트, 화면 온/오프 이벤트 등을 포함할 수 있다. 제어부(190)는 이러한 키 이벤트에 응답하여 상기한 구성들을 제어한다.
리모컨(120)은 콘텐츠 재생 장치(100)의 조작을 위한 다양한 키 이벤트를 발생하고, 발생된 키 이벤트를 무선 신호로 변환하여 리모컨 수신부(125)로 전송한다. 특히, 본 발명에서 리모컨(120)은 실감형 재생을 요청하는 개시 이벤트와, 실감형 재생을 종료하는 종료 이벤트를 발생할 수 있다. 여기서 실감형 재생은 상술한 바와 같이, 사용자의 위치에 대응하여 콘텐츠를 재생하는 것으로 정의될 수 있다. 리모컨 수신부(125)는 수신된 무선 신호를 원래의 키 이벤트로 변환하여 제어부(190)로 전달한다.
센서부(130)는 제어부(190)가 사용자의 위치를 추적할 수 있게 사용자 위치와 관련된 정보를 수집하여, 수집된 정보를 제어부(190)로 전달한다. 구체적으로, 센서부(130)는 이미지 센서, 적외선과 같은 특정 파장의 빛을 감지하는 광센서 등으로 구현될 수 있다. 또한, 센서부(130)는 감지된 물리량을 전기적인 신호로 변환하고, 변환된 전기 신호를 다시 데이터로 AD(Analog to Digital) 변환하여 제어부(190)로 전달한다.
콘텐츠 수집부(140)는 사용자의 감각을 자극하는 콘텐츠를 수집하는 기능을 수행한다. 특히 콘텐츠 수집부(140)는 네트워크 또는 외부기기로부터 영상 및 소리를 수집하는 기능을 수행한다. 즉 콘텐츠 수집부(140)는 방송 수신부(141)와 인터넷 통신부(142)를 포함하여 이루어질 수 있다. 구체적으로 방송 수신부(141)는 다수의 방송 채널에서 하나를 선택하고, 선택된 방송 채널의 방송 신호를 원래의 방송 콘텐츠로 복조한다. 인터넷 통신부(142)는 인터넷에서 제공하는 홈쇼핑, 홈뱅킹, 온라인 게임, MP3 등 다양한 메인 정보와 이에 대한 부가 정보를 수신하기 위한 유선 또는 무선 모뎀을 구비한다. 인터넷 통신부(142)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5(3.5-Generation)세대 이동통신모듈 또는 4(4-Generation)세대 이동통신모듈 등)과 근거리 통신 모듈(예컨대, 와이파이(Wi-Fi) 모듈)을 포함할 수 있다.
콘텐츠 처리부(150)는 제어부(190)의 제어 하에, 콘텐츠 수집부(140)로부터 입력된 콘텐츠를 재생이 가능하도록 처리하는 기능을 수행한다. 구체적으로 콘텐츠 처리부(150)는 입력된 콘텐츠를 입체 영상과 입체 음향으로 분류한다. 그리고 콘텐츠 처리부(150)는 분류된 입체 음향을 디코딩하여 음향 출력부(161)로 출력하는 음향 처리부(151)와, 분류된 입체 영상을 좌안 영상과 우안 영상으로 디코딩하여 영상 표시부(162)로 출력하는 영상 처리부(152)를 포함하여 이루어질 수 있다. 또한, 콘텐츠 처리부(150)는 제어부(190)의 제어 하에, 입력된 콘텐츠를 압축하여 제어부(190)로 전달할 수 있다. 이에 따라 제어부(190)는 압축된 콘텐츠를 저장부(170)에 전달한다. 특히, 본 발명에 따른 음향 처리부(150)는 사용자의 위치에 따라 입체 음향의 방향감이나 거리감 등을 조절할 수 있다. 다시 말해, 음향 처리부(150)는 사용자의 위치에 따라, 음향 출력부(161)에서 출력되는 음향의 종류를 다르게 하거나, 음향의 종류별로 그 음량을 다르게 할 수 있다. 또한, 본 발명에 따른 영상 처리부(160)는 사용자의 위치에 따라 입체 영상의 명암, 입체감, 깊이감 등을 조절할 수 있다.
콘텐츠 재생부(160)는 콘텐츠 처리부(150)에서 처리된 콘텐츠를 재생하는 기능을 수행한다. 이러한 콘텐츠 재생부(160)는 음향 출력부(161)와 영상 표시부(162)를 포함하여 이루어질 수 있다. 음향 출력부(161)는 디코딩된 입체 음향을 출력하는 것으로써, 다수의 스피커 예컨대, 5.1 채널 스피커를 포함하여 이루어질 수 있다. 영상 표시부(162)는 디코딩된 입체 영상을 표시한다. 또한, 영상 표시부(162)는 입체 영상이 사용자와 영상 표시부(162)의 화면 사이의 3차원 공간에 실제 있는 것처럼, 입체 영상을 깊이감이 있게 표시할 수 있다. 이를 위해, 영상 표시부(162)는 입체 영상을 표시하는 표시부와 표시되는 입체 영상에 대해 사용자가 깊이감을 느낄 수 있도록 하는 3D 구현부를 포함하여 이루어질 수 있다. 여기서 표시부는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 3D 구현부는 표시부와 적층된 형태로 형성되는 구성 요소로서, 사용자의 좌우 양안에 각기 다른 영상이 인식되게 한다. 이러한 3D 구현 방식은 주지되어 있는 바와 같이, 안경 방식과 무안경 방식으로 구분된다. 안경 방식은 색 필터 방식, 편광 필터 방식 및 셔터 글라스 방식 등이 있으며, 무안경 방식은 렌티큘러 렌즈(Lenticular Lens) 방식 및 패럴렉스 배리어(Parallax Barrier) 방식 등이 있다. 이러한 3D 구현 방식은 공지되어 있는 기술들이므로 구체적인 설명은 생략한다.
저장부(170)는 콘텐츠 재생 장치(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 저장부(170)는 휘발성(volatile) 저장 매체 또는 비휘발성(nonvolatile) 저장 매체로 구성될 수 있으며, 양 저장 매체의 조합(combination)으로 구성될 수도 있다. 휘발성 저장 매체로는 RAM, DRAM, SRAM과 같은 반도체 메모리(semiconductor memory)가 포함되며, 비휘발성 저장 매체로는 하드 디스크(hard disk)가 포함될 수 있다. 또한 저장부(170)는 데이터 영역과 프로그램 영역으로 구분될 수 있다. 구체적으로 저장부(170)의 데이터 영역은 콘텐츠 재생 장치(100)의 사용에 따라 제어부(160)에 의해 발생되는 데이터를 저장할 수 있다. 또한 데이터 영역은 제어부(160)로부터 전달받은, 소정의 포맷으로 압축된 콘텐츠를 저장할 수 있다. 저장부(140)의 프로그램 영역은 콘텐츠 재생 장치(100)의 부팅 및 상술한 각 구성의 운용을 위한 운영체제(OS, Operating System), 다양한 사용자 기능 예를 들면, 인터넷 서버에 접속하기 위한 웹 브라우저, 기타 음원을 재생하기 위한 MP3 사용자 기능, 사진 등을 재생하기 위한 이미지 출력 기능, 동영상 재생 기능 등을 각각 지원하기 위한 어플리케이션들을 저장할 수 있다. 특히 본 발명에서 프로그램 영역은 실감형 재생 프로그램을 저장할 수 있다. 이러한 실감형 재생 프로그램은 사용자의 초기 위치를 결정하는 루틴과, 초기 위치를 기준으로 실제 공간과 콘텐츠 공간을 맵핑(mapping)하는 루틴과, 위치 변화를 추적(tracking)하는 루틴과, 사용자의 위치에 대응되는 콘텐츠 공간에서의 가상 시점(virtual viewpoint)을 결정하는 루틴과, 콘텐츠 공간에서의 시점에 대응되는 콘텐츠를 재생하는 루틴 등을 포함할 수 있다. 여기서 초기 위치는 실제 공간과 콘텐츠 공간을 맵핑하기 위한 기준값으로 정의된다. 실제 공간은 사용자와 표시부가 존재하는 3D 공간이고, 콘텐츠 공간은 표시부를 통해 표시되는 콘텐츠가 존재하는 가상의 공간이다. 또한 가상 시점(virtual viewpoint)는 실제 공간에 맵핑된 콘텐츠 공간상에서의 사용자의 시점으로 정의된다.
인터페이스부(180)는 콘텐츠 재생 장치(100)를 유선 또는 무선으로 외부 기기와 연결하는 기능을 수행한다. 이러한 인터페이스부(180)는 지그비(Zigbee) 모듈, 와이파이(Wi-Fi) 모듈 또는 블루투스(Bluetooth) 모듈 등을 포함할 수 있다. 특히 본 발명에서 인터페이스부(180)는 실감형 재생을 위한 제어 신호를 제어부(190)로부터 수신하고, 이를 외부 기기로 전달할 수 있다. 즉 제어부(190)는 인터페이스부(180)를 통해 외부 기기를 제어할 수 있다. 여기서 외부 기기는 홈 네트워크 장치, 입체 음향 장치, 전등, 에어컨, 난방기 등이 될 수 있다. 다시 말해 제어부(190)는 외부 기기를 제어하여 사용자의 감각 예컨대, 촉각, 시각, 후각 등을 자극하는 콘텐츠를 재생하게 할 수 있다.
제어부(190)는 콘텐츠 재생 장치(100)의 전반적인 동작 및 콘텐츠 재생 장치(100)의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행할 수 있다. 그리고 제어부(190)는 배터리에서 내부 구성들로의 전원 공급을 제어할 수 있다. 또한 제어부(190)는 프로그램 영역에 저장된 각종 어플리케이션을 실행할 수 있다. 특히 본 발명에서 제어부(190)는 실감형 재생을 위한 개시 이벤트가 감지되면, 상술한 실감형 재생 프로그램을 실행할 수 있다. 즉 실감형 재생 프로그램이 실행되면 제어부(190)는 사용자의 초기 위치를 결정하고 사용자의 위치 변화를 추적한다. 그리고 제어부(190)는 초기 위치를 기준으로 실제 공간과 콘텐츠 공간을 맵핑하고, 추적된 위치에 대응되는 가상 시점(virtual viewpoint)을 결정하며, 가상 시점에 대응되는 콘텐츠를 재생하도록 콘텐츠 처리부(150)를 제어한다. 또한 제어부(190)는 인터페이스부(180)를 통해 외부 기기를 제어하여, 가상 시점에 대응되는 콘텐츠를 재생하게 할 수도 있다. 이와 같은 제어부(190)의 실감형 재생 기능은 아래에서 구체적으로 설명한다.
도 2는 본 발명에 따른 3D 공간을 표현하기 위한 3차원 좌표계를 도시한 것이다. 본 발명에서 3D 공간을 표현하는 방법은 도 2에 도시한 바와 같이, 3차원 좌표계를 사용할 수 있다. 도 2에서 실선은 양의 값을 표현하는 것이며, 점선은 음의 값을 표현하는 것이다. 또한, 실제 공간에서 시간 t일 때의 사용자의 좌표는 (xu,t, yu,t, zu,t)로 표현되고, 콘텐츠 공간에서 시간 t일 때의 카메라의 좌표는 (xc,t, yc,t, zc,t)로 표현된다.
도 3a, 도 3b 및 도3c는 각각, 본 발명에 따른 실제 공간을 설명하기 위한 사시도, 상면도 및 측면도이다. 도 3a를 참조하면, 실제 공간에서 표시부의 화면(301)의 중앙점(302)이 좌표계의 (0,0,0)으로 설정된다. 사용자(303)가 화면(301)을 바라보는 방향을 기준으로, 중앙점(302)에서 오른쪽 방향이 Xu축의 양의 방향이 되고 왼쪽 방향이 Xu축의 음의 방향이 된다. 중앙점(302)에서 위쪽 방향이 Yu축의 양의 방향이 되고 아래쪽 방향이 Yu축의 음의 방향이 된다. 또한, 화면(301)에서 사용자(303) 쪽으로의 방향이 Zu축의 양의 방향이 되고 그 반대가 Zu축의 음의 방향이 된다. 사용자의 위치는 (xu, yu, zu)로 나타낼 수 있다. 도 3b 및 3c를 참조하면, 화면(301)의 가로 길이는 DSW(Display Screen Width), 화면(301)의 세로 길이는 DSH(Display Screen Height), 화면(301)와 사용자(303)의 직선 거리는 WD(Watching Distance)로 나타낼 수 있다.
도 4a 및 도 4b는 각각, 본 발명에 따른 콘텐츠 공간을 설명하기 위한 사시도 및 상면도이다. 먼저 본 발명에서 가상 카메라는 실제 카메라는 아니며, 실제 공간상의 사용자에 대응되는 콘텐츠 공간상의 사용자로 정의된다. 도 4a를 참조하면, 콘텐츠 공간에서 초점면(401)의 초점(402)이 좌표계의 (0,0,0)으로 설정된다. 가상 카메라(403)가 초점면(401)을 바라보는 방향을 기준으로, 초점(402)에서 오른쪽 방향이 Xc축의 양의 방향이 되고 왼쪽 방향이 Xc축의 음의 방향이 된다. 초점(402)에서 위쪽 방향이 Yc축의 양의 방향이 되고 아래쪽 방향이 Yc축의 음의 방향이 된다. 또한, 초점면(401)에서 가상 카메라(403) 쪽으로의 방향이 Zc축의 양의 방향이 되고 그 반대가 Zc축의 음의 방향이 된다. 가상 카메라(403)의 위치는 (xc, yc, zc)로 나타낼 수 있다. 초점면(401)의 가로 길이는 FW(Focal Width), 초점면(401)의 세로 길이는 FH(Focal Height) 그리고 초점면(401)과 가상 카메라(403)의 직선 거리는 FL(Focal Length)로 나타낼 수 있다. 여기서, FL은 사용자에 의해 자유롭게 설정될 수 있다. 초점면(401)의 크기도 카메라 앵글을 조절함으로써 자유롭게 설정될 수 있다. 즉, 가상 카메라(403)는 가상이므로 초점 거리와 카메라 앵글을 자유롭게 설정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 실감형 재생부의 블록 구성도이다. 이러한 실감형 재생부는 제어부(190)의 내부에 구성될 수도 있고 별도로 구성될 수도 있다. 이하에서는 제어부(190) 내부에 구성되는 것으로 가정하여 설명한다. 도 5를 참조하면, 본 발명에 따른 실감형 재생부(500) 즉, 제어부(190)는 추적부(510), 초기화부(520), 공간 맵핑부(530), 가상 시점 결정부(540) 및 콘텐츠 처리 제어부(550)를 포함하여 이루어질 수 있다.
추적부(510)는 사용자(303)의 위치를 추적한다. 즉, 추적부(510)는 센서부(130)로부터 수신된 데이터를 이용하여 사용자(303)의 좌표(xu, yu, zu)를 추적한다. 구체적으로, 추적부(510)는 수신된 감지 정보에서 사용자(303)의 특징 정보 예를 들면, 얼굴을 검출하고, 검출된 얼굴의 중심점을 사용자(303)의 좌표(xu, yu, zu)로 결정한다. 여기서, zu 즉, WD는 검출된 얼굴의 크기 등의 값을 이용하여 산출될 수 있다.
초기화부(520)는 실제 공간과 콘텐츠 공간을 맵핑하기 위한 기준값이 되는 사용자(303)의 초기 위치를 결정한다. 즉, 초기화부(520)는 실감형 재생을 위한 개시 이벤트가 감지되면, 추적부(510)로부터 입력된 좌표를 사용자의 초기 위치로 결정한다. 구체적으로, 초기화부(520)는 콘텐츠에 대한 시청이 시작된 후 일정 시간 동안 사용자(303)의 위치가 미리 설정된 오차 범위 내에서 변함없으면, 그 위치를 초기 위치로 결정할 수 있다. 또한, 초기화부(520)는 리모컨(120)으로부터 특정 킷값이 입력되면, 입력된 그 시점에 사용자가 위치한 곳을 초기 위치로 결정할 수 있다. 또한, 초기화부(520)는 추적부(510)로부터 개시 이벤트가 입력되면, 입력된 그 시점에 사용자가 위치한 곳을 초기 위치로 결정할 수 있다. 이를 위해, 추적부(510)는 템플릿 매칭(template matching) 기법 등을 이용하여 사용자의 특정 제스처 예를 들면, 손을 들었다 놓는 행위를 검출할 수 있다. 추적부(510)는 이러한 특정 제스처가 검출되면, 초기화부(520)에 이를 알린다.
도 6은 본 발명의 일 실시예에 따른 공간 맵핑 방법을 설명하기 위한 도면이다. 수학식 1은 본 발명의 일 실시예에 따른 공간 맵핑 방법에 있어서, 실제 공간 좌표계와 콘텐츠 공간 좌표계의 상대적인 비율을 나타낸 것이다. 아래 수학식 1에서 t0은 초기화부(520)에 의해 초기 위치로 결정된 시점을 의미한다.
Figure 112011087326440-pat00001
공간 맵핑부(530)는 도 6에 도시한 바와 같이, 사용자(601)의 초기 위치를 기준으로, 실제 공간(602)과 콘텐츠 공간(603)을 맵핑한다. 즉, 공간 맵핑부(530)은 FW, FH 및 FL을 결정한 다음, 위 수학식 1에 나타낸 바와 같이, X_Ratio, Y_Ratio 및 Z_Ratio(at t0)을 산출한다.
도 7은 본 발명의 다른 실시예에 따른 공간 맵핑 방법을 설명하기 위한 도면이다. 수학식 2는 본 발명의 다른 실시예에 따른 공간 맵핑 방법에 있어서, 실제 공간 좌표계와 콘텐츠 공간 좌표계의 상대적인 비율을 나타낸 것이다.
Figure 112011087326440-pat00002
DSW, DSH 및 WD는 표시부의 크기와 실제 공간에 기인한 값들이다. 공간 맵핑부(530)는 수학식 2에 나타낸 바와 같이, 이러한 값들에 일정 조정값(Adjustment)을 더하거나 뺌으로써, 콘텐츠 공간에 맵핑되는 실제 공간을 확장하거나 축소할 수 있다. 다시 말해, 공간 맵핑부(530)는 이러한 조정값을 이용하여, 표시되는 콘텐츠의 크기를 조절할 수 있다. 공간 맵핑부(530)는 이러한 조정값을 어느 때든 즉, 실감형 재생의 개시 전이나 개시 중에 리모컨 수신부(125)를 통해 리모컨(120)으로부터 입력받을 수 있다.
도 8은 본 발명의 일 실시예에 따른 가상 시점 결정 방법을 설명하기 위한 도면이다. 수학식 3은 이러한 가상 시점 결정 방법의 계산 공식이다.
Figure 112011087326440-pat00003
도 8을 참조하면, 가상 시점 결정부(540)는 추적부(510)로부터 사용자(801)의 좌표(xu ,t+1, yu ,t+1, zu ,t+1)를 수신하고, 공간 맵핑부(530)로부터 좌표 변환값 즉, X_Ratio, Y_Ratio 및 Z_Ratio을 수신한다. 가상 시점 결정부(540)는 수학식 3에 나타낸 바와 같이, 이렇게 수신된 정보를 이용하여, 사용자(801)의 좌표에 맵핑되는 가상 카메라(702)의 좌표(xc,t+1, yc,t+1, zc,t+1)를 산출한다. 사용자의 위치는 가만히 서 있어도 미묘하게 움직이게 되고 또한, 센서 및 인식의 오류로 인해서 어느 정도 위치 변동이 생길 수 있다. 따라서, 이러한 위치 변동을 모두 고려하여, 표시되는 콘텐츠를 변형하게 되면, 사용자가 불편함을 느낄 수 있다. 본 발명에서는 카메라의 위치를 이동시키기 위한 최소 위치 변화량(MTT; Minimum Transition Threshold)이 미리 설정될 수 있다. 이러한 최소 위치 변화량은 사용자가 직접 설정 가능한 옵션(option) 사항일 수 있다. 가상 시점 결정부(540)는 사용자(801)의 위치 변화량 즉, △xu, △yu 또는 △zu 이 최소 위치 변화량(MTT)보다 큰 경우에, 가상 카메라(802)의 좌표를 산출할 수 있다. 여기서, 최소 위치 변화량은 X, Y, Z 축별로 다르게 설정될 수 있다. 예컨대, Z축에 대한 최소 위치 변화량을 가장 크게 설정할 수 있다. 예를 들어, 사용자가 앉아서 시청하다가 일어나는 경우에만, 가상 카메라(802)의 좌표를 산출할 수 있다.
도 9는 본 발명의 일 실시예에 따른 가상 카메라의 앵글 조절 방법을 설명하기 위한 도면이다. 도 9를 참조하면, 가상 시점 결정부(540)는 화면의 중심점(901)을 축으로 사용자(902)의 각도 변화량(θ(θX, θY, θZ))을 계산한다. 즉, 가상 시점 결정부(540)는 사용자(902)의 초기 위치를 기준으로 위치 변화량 △xu,0(=xu,t - xu,0), △yu,0(=yu,t - yu,0), △zu,0(=zu,t - zu,0)을 계산하고, 이렇게 계산된 위치 변화량들을 각각 삼각 함수에 적용하여 각도 변화량을 계산한다. 즉, 계산된 각도 변화량(θ)은 가상 카메라(903)의 각도 조절값으로 이용될 수 있다. 이러한 각도 변화량의 계산은 사용자가 직접 설정 가능한 옵션(option) 사항일 수 있다.
도 10은 본 발명의 일 실시예에 따른 입체 영상 조절 방법을 설명하기 위한 도면이다.
콘텐츠 처리 제어부(550)는 가상 시점 결정부(540)로부터 가상 시점 즉, 가상 카메라의 좌표(xc,t+1, yc,t+1, zc,t+1)를 수신한다. 또한, 콘텐츠 처리 제어부(550)는 가상 시점 결정부(540)로부터 가상 시점의 각도 조절값 즉, 가상 카메라의 앵글 조절값(θ)을 수신할 수 있다. 또한, 콘텐츠 처리 제어부(550)는 수신된 정보를 기반으로 콘텐츠 처리부(150)를 제어하여 입체 영상의 명암, 입체감, 깊이감 등을 조절하게 한다. 도 10를 참조하면, 사용자의 초기 위치(1001)가 결정되면, 콘텐츠 처리 제어부(550)는 가상 카메라가 초기 위치(902)에서 바라 본 오브젝트를 표시하도록 제어한다. 사용자가 1001 -> 1003 -> 1005로 위치 이동하게 되면, 실제 공간에 맵핑되어 있는 콘텐츠 공간상에서의 가상 카메라는 1002 -> 1004 -> 1006으로 위치 이동하게 된다. 따라서, 오브젝트는 가상 카메라의 위치 변동에 따라 다른 부위가 표시된다. 사용자가 1005에서 1007로 이동하게 되면, 카메라는 1007에서 1008로 이동하게 된다. 카메라가 1008에 위치할 때, 오브젝트는 가상 카메라의 앵글에서 벗어나므로 더 이상 표시되지 않게 된다. 단, 콘텐츠 처리 제어부(550)는 수신된 각도 조절값(θ) 만큼 카메라를 오브젝트(1009) 쪽으로 회전시켜 오브젝트(1009)가 계속적으로 표시되게 할 수 있다.
도 11은 본 발명의 일 실시예에 따른 입체 음향 조절 방법을 설명하기 위한 도면이다.
콘텐츠 처리 제어부(550)는 수신된 정보를 기반으로 콘텐츠 처리부(150)를 제어하여 입체 음향의 방향감이나 거리감 등을 조절하도록 제어할 수 있다. 도 11을 참조하면, 콘텐츠 처리 제어부(550)는 사용자가 1101에 위치할 때는, 자동차(1103)가 점점 다가오는 느낌이 들도록 자동차 소리를 점점 크게 하는 식으로 거리감을 조절할 수 있다. 또한, 콘텐츠 처리 제어부(550)는 사용자가 1102에 위치할 때는, 자동차(1103)가 점점 멀어지는 느낌이 들도록 자동차 소리를 점점 작게 할 수 있다. 또한, 콘텐츠 처리 제어부(550)는 사용자가 1101에 위치할 때는, 자동차 소리가 앞쪽 스피커(Front Speak and Centre Speaker)에서 나도록 하고 반면, 사용자가 1102에 위치할 때는, 자동차 소리가 뒤쪽 스피커(Rear Speak)에서 나도록 하여 입체 음향의 방향감을 조절하게 할 수 있다.
한편 본 발명에 따른 콘텐츠 재생 장치(100)는 그 제공 형태에 따라 카메라, 마이크 및 GPS 수신 모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 콘텐츠 재생 장치(100)에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 콘텐츠 재생 장치(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술 분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
도 12는 본 발명의 일 실시예에 따른 홈 네트워크 시스템의 네트워크 구성도이다. 도 12를 참조하면, 본 발명에 따른 홈 네트워크 시스템은 콘텐츠 재생 장치(1200), 홈 네트워크 서버(1210) 및 다수의 홈 네트워크 장치를 포함하여 이루어질 수 있다. 콘텐츠 재생 장치(1200)는 상기에서 언급한 구성들을 포함하여 이루어질 수 있다. 그리고 콘텐츠 재생 장치(1200)는 지그비(ZigBee), 블루투스(Bluetooth), 무선랜(Wireless LAN) 등의 통신 방식으로 홈 네트워크 서버(1210)와 통신할 수 있다. 콘텐츠 재생 장치(1200)는 실감형 재생을 위한 개시 이벤트를 감지하면, 실감형 재생 프로그램을 실행한다. 즉 콘텐츠 재생 장치(1200)는 사용자의 위치에 대응하여 콘텐츠를 재생하도록 홈 네트워크 장치를 제어할 수 있다. 홈 네트워크 서버(1210)는 홈 네트워크 장치들을 제어한다. 또한 홈 네트워크 서버(1210)는 콘텐츠 재생 장치(1200)의 제어 하에, 홈 네트워크 장치들을 구동할 수 있다. 홈 네트워크 장치들은 각각 고유의 주소를 가지며 이를 통해 홈 네트워크 서버(1210)에 의해 제어된다. 홈 네트워크 장치들은 콘텐츠 재생 장치(1200)의 제어 하에, 사용자의 감각을 자극하는 콘텐츠를 재생한다. 예컨대 홈 네트워크 장치들은 도시된 바와 같이, 에어컨(1220), 가습기(1230), 난방기(1240) 및 전등(1250) 등을 포함하여 이루어질 수 있다. 콘텐츠 재생 장치(1200)는 사용자의 위치 변화에 따라 에어컨(1220), 가습기(1230), 난방기(1240) 및 전등(1250) 등을 제어하여 바람의 세기, 외부의 밝기, 온도, 습도 등을 조절할 수 있다. 예컨대 도 11을 참조하면, 콘텐츠 재생 장치(1200)는 사용자가 1102에 위치할 때는, 달리는 자동차(1103)에 가까이 있는 느낌이 들도록 에어컨(1220)을 제어하여 바람의 세기를 강하게 할 수 있다. 즉 사용자는 촉각적으로 자극을 받게 되어 실제 콘텐츠 공간상에 들어와 있는 느낌을 받을 수 있다.
도 13은 본 발명의 일 실시예에 따른 콘텐츠 재생 방법을 설명하기 위한 흐름도이다. 도 1 내지 도 13을 참조하면, 먼저 제어부(190)는 대기 상태일 수 있다. 여기서 대기 상태는 실감형 재생 단계 전에 영상을 표시하는 상태로 정의할 수 있다. 이러한 대기 상태에서 사용자가 리모컨(120)을 조작하여 개시 이벤트를 발생시키면 제어부(190)는 실감형 재생을 위한 개시 이벤트를 감지한다. 이렇게 개시 이벤트가 감지되면 단계 1301에서 초기화부(520)는 추적부(510)로부터 입력된 좌표를 사용자의 초기 위치로 결정한다. 여기서 추적부(510)는 실감형 재생 단계 전에도 사용자의 위치를 추적할 수 있다.
단계 1302에서 공간 맵핑부(530)는 결정된 초기 위치를 기준으로, 실제 공간과 콘텐츠 공간을 맵핑한다. 단계 1303에서 가상 시점 결정부(540)는 사용자의 위치 변화량(△xu, △yu, △zu)을 산출한다. 다음으로, 단계 1304에서 가상 시점 결정부(540)는 계산된 사용자의 위치 변화량과 최소 위치 변화량(MTT)을 비교한다. 단계 1304에서의 비교 결과 계산된 사용자의 위치 변화량이 최소 위치 변화량보다 큰 경우에는 단계 1305로 진행한다. 단계 1305에서 가상 시점 결정부(540)는 상기한 수학식 3을 이용하여, 가상 카메라의 위치(xc,t+1, yc,t+1, zc,t+1) 즉, 가상 시점(virtual viewpoint)을 결정한 다음 이것을 콘텐츠 처리 제어부(550)로 전달한다.
단계 1306에서 콘텐츠 처리 제어부(550)는 수신된 가상 시점을 기반으로 콘텐츠 처리부(150)를 제어한다. 즉, 콘텐츠 처리 제어부(550)는 콘텐츠 처리부(150)를 제어하여, 수신된 가상 시점에 대응되는 콘텐츠를 재생하게 한다. 또한, 단계 1306에서 콘텐츠 처리 제어부(550)는 수신된 가상 시점을 기반으로 콘텐츠 처리부(150)를 제어하여 입체 음향의 방향감이나 거리감 등을 조절할 수 있다. 또한 콘텐츠 처리 제어부(550)는 수신된 가상 시점을 기반으로 외부 기기 즉, 홈 네트워크 장치들을 제어하여, 바람의 세기, 온도, 습도 또는 밝기 등을 조절할 수 있다.
다음으로, 단계 1307에서 콘텐츠 처리 제어부(550)는 실감형 재생의 종료 이벤트가 감지되는지 여부를 판단한다. 단계 1307에서의 판단 결과 종료 이벤트가 감지되면, 실감형 재생을 위한 프로세스는 종료된다. 반면, 종료 이벤트가 감지되지 않으면, 프로세스는 단계 1303으로 복귀된다.
도 14는 본 발명의 다른 실시예에 따른 콘텐츠 재생 방법을 설명하기 위한 흐름도이다. 도 14를 참조하면, 본 발명의 다른 실시예에 따른 콘텐츠 재생 방법은 크게 단계 1401 내지 단계 1407을 포함하여 이루어진다. 단계 1401, 1402, 1404, 1405 및 1407은 각각, 상기 설명한 단계 1301, 1302, 1304, 1305 및 1307에 대응되므로 설명을 생략한다. 단계 1403은, 가상 시점 결정부(540)가 사용자의 위치 변화량(△xu, △yu, △zu)과 함께 각도 변화량(θ; 도 9 참조)을 계산하는 단계이다. 단계 1406은 콘텐츠 처리 제어부(550)가 수신된 가상 시점에 대응되는 콘텐츠를 재생하게 하되, 계산된 각도 변화량(θ)만큼 가상 시점의 방향을 회전시키고, 회전된 가상 시점에 대응되는 콘텐츠를 재생하도록 하는 단계이다.
상술한 바와 같은 본 발명에 따른 콘텐츠 재생 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 판독 가능한 기록 매체에 기록될 수 있다. 이때, 상기 컴퓨터로 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 한편, 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터로 판독 가능한 기록매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기매체(Magnetic Media), CD-ROM, DVD와 같은 광기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
본 발명의 콘텐츠 재생 방법 및 장치는 전술한 실시 예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위에서 다양하게 변형하여 실시할 수가 있다.
100: 콘텐츠 재생 장치
110: 입력부 120: 리모컨
125: 리모컨 수신부 130: 센서부
140: 콘텐츠 수집부 141: 방송 수신부
142: 인터넷 통신부 150: 콘텐츠 처리부
151: 음향 처리부 152: 영상 처리부
160: 음향 출력부 170: 영상 표시부
180: 저장부 190: 인터페이스부
195: 제어부
500: 실감형 재생부
510: 추적부 520: 초기화부
530: 공간 맵핑부 540: 가상 시점 결정부
550: 콘텐츠 처리 제어부
1200: 콘텐츠 재생 장치 1210: 홈 네트워크 서버
1220: 에어컨 1230: 가습기
1240: 난방기 1250: 전등

Claims (27)

  1. 전자 장치의 콘텐츠 재생 방법에 있어서,
    사용자의 제 1 위치를 결정하는 단계;
    상기 결정된 제 1 위치를 기준으로 상기 사용자가 존재하는 실제공간의 좌표계와 표시부를 통해 표시되는 콘텐츠 공간의 좌표계 간의 좌표 변환값을 산출하는 단계;
    상기 좌표 변환 값을 이용하여 상기 사용자의 제 2 위치에 대응되는 상기 콘텐츠 공간상에서의 가상 시점(virtual viewpoint)을 결정하는 단계; 및
    상기 결정된 가상 시점에 대응되는 콘텐츠를 재생하는 단계를 포함하는 콘텐츠 재생 방법.
  2. 제 1 항에 있어서,
    상기 콘텐츠를 재생하는 단계는,
    상기 결정된 가상 시점을 기준으로 영상을 표시하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  3. 제 2 항에 있어서,
    상기 표시하는 단계는,
    상기 결정된 가상 시점을 기준으로 상기 영상의 명암, 입체감 및 깊이감 중에서 적어도 하나를 조절하여 상기 영상을 표시하는 것을 특징으로 하는 콘텐츠 재생 방법.
  4. 제 1 항에 있어서,
    상기 콘텐츠를 재생하는 단게는,
    상기 결정된 가상 시점을 기준으로 소리를 출력하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  5. 제 4 항에 있어서,
    상기 출력하는 단계는,
    상기 결정된 가상 시점을 기준으로 상기 소리의 방향감 및 거리감 중에서 적어도 하나를 조절하여 상기 소리를 출력하는 것을 특징으로 하는 콘텐츠 재생 방법.
  6. 제 1 항에 있어서,
    상기 재생되는 콘텐츠는 상기 사용자의 감각 중에서 적어도 시각 및 청각을 각각 자극하는 영상과 소리를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  7. 제 1 항에 있어서, 상기 가상 시점을 결정하는 단계는,
    상기 사용자의 위치 변화량을 산출하는 단계와,
    상기 산출된 위치 변화량이 설정된 최소 위치 변화량보다 크면, 상기 사용자의 변화된 위치에 대응되는 상기 가상 시점을 결정하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  8. 삭제
  9. 삭제
  10. 제 1 항에 있어서, 상기 산출하는 단계는,
    상기 표시부의 화면의 가로 길이(DSW), 상기 화면의 세로 길이(DSH) 및 상기 화면과 상기 사용자 간의 직선 거리(WD)를 이용하여 상기 실제 공간의 좌표계를 설정하는 단계와,
    초점면의 가로 길이(FW), 상기 초점면의 세로 길이(FH) 및 상기 초점면과 상기 가상 시점의 직선 거리(FL)를 이용하여 상기 콘텐츠 공간의 좌표계를 설정하는 단계와,
    상기 제 1 위치가 결정되면, 상기 제 1 위치를 이용하여 상기 좌표 변환값을 산출하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  11. 제 10 항에 있어서, 상기 실제 공간의 좌표계를 설정하는 단계는,
    상기 가로 길이(DSW), 상기 세로 길이(DSH) 및 상기 직선 거리(WD) 중에서 하나 이상에, 상기 실제 공간을 상기 가상의 공간에 축소 또는 확장하여 맵핑하기 위한 조정값을 더하거나 빼는 단계를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  12. 제 1 항에 있어서,
    상기 사용자의 제 1 위치를 기준으로 상기 사용자의 위치 변화량을 산출하는 단계와,
    상기 산출된 위치 변화량을 삼각 함수에 적용하여 각도 변화량을 산출하는 단계와,
    상기 산출된 각도 변화량만큼 상기 가상 시점의 방향을 회전하는 단계와,
    상기 방향이 회전된 가상 시점에 대응되는 콘텐츠를 재생하는 단계를 더 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  13. 제 1 항에 있어서,
    상기 결정하는 단계는,
    사용자의 위치를 추적하는 단계와,
    상기 추적 결과 미리 정해진 시간 동안 상기 사용자의 위치가 미리 설정된 오차 범위 내에서 고정되면, 상기 고정된 위치를 상기 산출을 위한 제 1 위치로 결정하는 단계를 포함하는 것을 특징으로 하는 콘텐츠 재생 방법.
  14. 제 1 항에 있어서,
    상기 결정하는 단계는,
    사용자의 위치를 추적하는 중에 실감형 재생을 위한 개시 이벤트가 감지되면 상기 추적된 위치를 상기 산출을 위한 제 1 위치로 결정하는 것을 특징으로 하는 콘텐츠 재생 방법.
  15. 제 1 항에 있어서,
    상기 결정하는 단계는,
    사용자의 위치를 추적하는 중에 미리 설정된 사용자의 특정 제스처가 감지되면, 상기 추적된 위치를 상기 산출을 위한 제 1 위치로 결정하는 것을 특징으로 하는 콘텐츠 재생 방법.
  16. 사용자의 감각을 자극하는 콘텐츠를 수집하는 콘텐츠 수집부;
    상기 콘텐츠 수집부로부터 입력된 콘텐츠를 재생이 가능하도록 처리하는 콘텐츠 처리부;
    상기 콘텐츠 처리부로부터 입력된 콘텐츠를 재생하는 콘텐츠 재생부;
    상기 콘텐츠가 상기 사용자의 위치에 대응되게 재생되도록 상기 사용자의 위치와 관련된 정보를 수집하는 센서부; 및
    상기 센서부로부터 수신된 정보를 기반으로 상기 사용자의 위치에 대응되는 가상의 콘텐츠 공간상에서의 가상 시점(virtual viewpoint)를 결정하고, 상기 결정된 가상 시점에 대응되는 콘텐츠가 재생되도록 제어하는 제어부를 포함하는 콘텐츠 재생 장치.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 센서부로부터 수신된 정보를 기반으로 상기 사용자의 제 1 위치를 결정하는 초기화부와,
    상기 결정된 제 1 위치를 기준으로 사용자가 존재하는 실제공간과 상기 콘텐츠 공간을 맵핑하는 공간 맵핑부와,
    상기 사용자의 제 2 위치에 대응되는 상기 콘텐츠 공간상에서의 가상 시점(virtual viewpoint)을 결정하는 가상 시점 결정부와,
    상기 결정된 가상 시점에 대응되는 콘텐츠를 재생하도록 상기 콘텐츠 처리부를 제어하는 콘텐츠 처리 제어부를 포함하는 것을 특징으로 하는 콘텐츠 재생 장치.
  18. 제 17 항에 있어서,
    상기 콘텐츠 재생부는,
    싱기 결정된 가상 시점을 기준으로 영상을 표시하는 영상 표시부를 포함하는 것을 특징으로 하는 콘텐츠 재생 장치.
  19. 제 18 항에 있어서,
    상기 영상 표시부는,
    상기 결정된 가상 시점을 기준으로 상기 영상의 명암, 입체감 및 깊이감 중에서 적어도 하나를 조절하여 상기 영상을 표시하는 것을 특징으로 하는 콘텐츠 재생 장치.
  20. 제 17 항에 있어서,
    상기 콘텐츠 재생부는,
    상기 결정된 가상 시점을 기준으로 소리를 출력하는 음향 출력부를 포함하는 것을 특징으로 하는 콘텐츠 재생 장치.
  21. 제 20 항에 있어서,
    상기 음향 출력부는,
    상기 결정된 가상 시점을 기준으로 상기 소리의 방향감 및 거리감 중에서 적어도 하나를 조절하여 상기 소리를 출력하는 것을 특징으로 하는 콘텐츠 재생 장치.
  22. 제 16 항에 있어서,
    상기 콘텐츠 재생부는,
    상기 사용자의 감각 중에서 적어도 시각 및 청각을 각각 자극하는 영상과 소리를 재생하는 것을 특징으로 하는 콘텐츠 재생 장치.
  23. 제 17 항에 있어서,
    상기 가상 시점 결정부는,
    상기 제 1 위치를 기준으로 상기 사용자의 위치 변화량을 산출하고, 상기 산출된 위치 변화량을 삼각 함수에 적용하여 각도 변화량을 산출하며, 상기 산출된 각도 변화량만큼 상기 가상 시점의 방향을 회전하며, 상기 방향이 회전된 가상 시점에 대응되는 콘텐츠를 재생하도록 제어하는 것을 특징으로 하는 콘텐츠 재생 장치.
  24. 제 17 항에 있어서,
    상기 제어부는 상기 센서부로부터 수신된 정보를 이용하여 상기 사용자의 위치를 추적하는 추적부를 더 구비하고,
    상기 초기화부는 상기 사용자의 위치 추적 중에 미리 정해진 시간 동안 상기 사용자의 위치가 미리 설정된 오차 범위 내에서 고정되면, 상기 고정된 위치를 상기 맵핑을 위한 제 1 위치로 결정하는 것을 특징으로 하는 콘텐츠 재생 장치.
  25. 제 17 항에 있어서,
    상기 제어부는 상기 센서부로부터 수신된 정보를 이용하여 상기 사용자의 위치를 추적하는 추적부를 더 구비하고,
    상기 초기화부는 상기 사용자의 위치 추적 중에 실감형 재생을 위한 개시 이벤트가 감지되면 상기 추적된 위치를 상기 맵핑을 위한 제 1 위치로 결정하는 것을 특징으로 하는 콘텐츠 재생 장치.
  26. 제 17 항에 있어서,
    상기 제어부는 상기 센서부로부터 수신된 정보를 이용하여 상기 사용자의 위치를 추적하는 추적부를 더 구비하고,
    상기 초기화부는 상기 사용자의 위치 추적 중에 미리 설정된 사용자의 특정 제스처가 감지되면, 상기 추적된 위치를 상기 맵핑을 위한 제 1 위치로 결정하는 것을 특징으로 하는 콘텐츠 재생 장치.
  27. 제 17 항에 있어서,
    콘텐츠 재생 기능을 구비한 외부 기기와 연결하는 인터페이스부를 더 포함하고,
    상기 콘텐츠 처리 제어부는 상기 인터페이스부를 통해 상기 외부 기기를 제어하여 상기 가상 시점에 대응되는 콘텐츠를 재생하도록 하는 것을 특징으로 하는 콘텐츠 재생 장치.


KR1020110114883A 2011-07-18 2011-11-07 콘텐츠 재생 방법 및 장치 KR101926477B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201280035942.2A CN103703772A (zh) 2011-07-18 2012-01-17 内容播放方法和装置
EP12814483.9A EP2735164A4 (en) 2011-07-18 2012-01-17 CONTENT PROCESS AND DEVICE
PCT/KR2012/000375 WO2013012146A1 (en) 2011-07-18 2012-01-17 Content playing method and apparatus
US13/356,220 US20130023342A1 (en) 2011-07-18 2012-01-23 Content playing method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110070959 2011-07-18
KR1020110070959 2011-07-18

Publications (2)

Publication Number Publication Date
KR20130010424A KR20130010424A (ko) 2013-01-28
KR101926477B1 true KR101926477B1 (ko) 2018-12-11

Family

ID=47839676

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110114883A KR101926477B1 (ko) 2011-07-18 2011-11-07 콘텐츠 재생 방법 및 장치

Country Status (5)

Country Link
US (1) US20130023342A1 (ko)
EP (1) EP2735164A4 (ko)
KR (1) KR101926477B1 (ko)
CN (1) CN103703772A (ko)
WO (1) WO2013012146A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9613461B2 (en) * 2012-12-10 2017-04-04 Sony Corporation Display control apparatus, display control method, and program
KR102019125B1 (ko) 2013-03-18 2019-09-06 엘지전자 주식회사 3d 디스플레이 디바이스 장치 및 제어 방법
KR101462021B1 (ko) * 2013-05-23 2014-11-18 하수호 음원 재생을 위한 그래픽 유저 인터페이스 제공방법 및 이를 위한 단말
KR101381396B1 (ko) * 2013-09-12 2014-04-04 하수호 입체음향 조절기를 내포한 멀티 뷰어 영상 및 3d 입체음향 플레이어 시스템 및 그 방법
US10937187B2 (en) 2013-10-07 2021-03-02 Apple Inc. Method and system for providing position or movement information for controlling at least one function of an environment
CN110223327B (zh) * 2013-10-07 2023-08-01 苹果公司 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和***
KR101669926B1 (ko) 2014-02-03 2016-11-09 (주)에프엑스기어 사용자 시점 연동형 영상 처리 장치 및 그 방법
CN105094299B (zh) * 2014-05-14 2018-06-01 三星电子（中国）研发中心 控制电子装置的方法和设备
CN104123003B (zh) * 2014-07-18 2017-08-01 北京智谷睿拓技术服务有限公司 内容分享方法和装置
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
EP3254455B1 (en) * 2015-02-03 2019-12-18 Dolby Laboratories Licensing Corporation Selective conference digest
CN104808946A (zh) * 2015-04-29 2015-07-29 天脉聚源(北京)传媒科技有限公司 图像播放控制方法及装置
JP6739907B2 (ja) * 2015-06-18 2020-08-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機器特定方法、機器特定装置及びプログラム
WO2017082078A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法
US9851435B2 (en) 2015-12-14 2017-12-26 Htc Corporation Electronic device and signal generating circuit
CN109963177A (zh) * 2017-12-26 2019-07-02 深圳Tcl新技术有限公司 一种电视机自动调整观看角度的方法、存储介质及电视机
KR102059114B1 (ko) * 2018-01-31 2019-12-24 옵티머스시스템 주식회사 가상 공간과 실공간의 매칭을 위한 영상 보정 장치 및 이를 이용한 영상 매칭 시스템
JP7140517B2 (ja) * 2018-03-09 2022-09-21 キヤノン株式会社 生成装置、生成装置が行う生成方法、及びプログラム
CN111681467B (zh) * 2020-06-01 2022-09-23 广东小天才科技有限公司 一种词汇学习方法及电子设备、存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186038A (ja) * 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
JP2006025281A (ja) * 2004-07-09 2006-01-26 Hitachi Ltd 情報源選択システム、および方法
US9030532B2 (en) * 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
JP4500632B2 (ja) * 2004-09-07 2010-07-14 キヤノン株式会社 仮想現実感提示装置および情報処理方法
WO2006096776A2 (en) * 2005-03-07 2006-09-14 The University Of Georgia Research Foundation,Inc. Teleportation systems and methods in a virtual environment
US8564532B2 (en) * 2005-12-06 2013-10-22 Naturalpoint, Inc. System and methods for using a movable object to control a computer
US20080252596A1 (en) * 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
US20090141905A1 (en) * 2007-12-03 2009-06-04 David Warhol Navigable audio-based virtual environment
US20090222838A1 (en) * 2008-02-29 2009-09-03 Palm, Inc. Techniques for dynamic contact information
US10187589B2 (en) * 2008-12-19 2019-01-22 Saab Ab System and method for mixing a scene with a virtual scenario
KR101324440B1 (ko) * 2009-02-11 2013-10-31 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
CN102045429B (zh) * 2009-10-13 2015-01-21 华为终端有限公司 一种调节显示内容的方法和设备
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
KR101046259B1 (ko) * 2010-10-04 2011-07-04 최규호 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치
US9644989B2 (en) * 2011-06-29 2017-05-09 Telenav, Inc. Navigation system with notification and method of operation thereof

Also Published As

Publication number Publication date
WO2013012146A1 (en) 2013-01-24
EP2735164A1 (en) 2014-05-28
US20130023342A1 (en) 2013-01-24
KR20130010424A (ko) 2013-01-28
EP2735164A4 (en) 2015-04-29
CN103703772A (zh) 2014-04-02

Similar Documents

Publication Publication Date Title
KR101926477B1 (ko) 콘텐츠 재생 방법 및 장치
US11024083B2 (en) Server, user terminal device, and control method therefor
US11128812B2 (en) Generating content for a virtual reality system
US10540753B2 (en) Systems, methods, and media for adjusting one or more images displayed to a viewer
US10834454B2 (en) Personalized presentation enhancement using augmented reality
US20180084283A1 (en) Behavioral Directional Encoding of Three-Dimensional Video
US20130260360A1 (en) Method and system of providing interactive information
CN102804169A (zh) 用于立体影院的以观看者为中心的用户界面
US11647354B2 (en) Method and apparatus for providing audio content in immersive reality
CN105657396A (zh) 一种播放视频的处理方法及装置
JP2019512177A (ja) 装置および関連する方法
WO2020206647A1 (zh) 跟随用户运动控制播放视频内容的方法和装置
CN109996060A (zh) 一种虚拟现实影院***及信息处理方法
CN110910508B (zh) 一种图像显示方法、装置和***
US20220036075A1 (en) A system for controlling audio-capable connected devices in mixed reality environments
CN109313823A (zh) 信息处理装置、信息处理方法和程序
KR101923640B1 (ko) 가상 현실 방송을 제공하는 방법 및 장치
CN117354567A (zh) 弹幕调整方法、装置、设备及介质
CN115485736A (zh) 用户选择虚拟相机位置以使用来自多个相机的合成输入制作视频
CN117615082A (zh) 图像数据处理方法、装置、电子设备及可读存储介质
KR20140119870A (ko) 멀티미디어 콘텐츠 제공장치 및 이의 위치 및 자세에 따른 콘텐츠 제공방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant