KR101654009B1 - 4d 데이터 재생 방법 및 시스템 - Google Patents
4d 데이터 재생 방법 및 시스템 Download PDFInfo
- Publication number
- KR101654009B1 KR101654009B1 KR1020140131006A KR20140131006A KR101654009B1 KR 101654009 B1 KR101654009 B1 KR 101654009B1 KR 1020140131006 A KR1020140131006 A KR 1020140131006A KR 20140131006 A KR20140131006 A KR 20140131006A KR 101654009 B1 KR101654009 B1 KR 101654009B1
- Authority
- KR
- South Korea
- Prior art keywords
- input
- data
- control command
- output
- sensor data
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
본 발명은 4D 데이터 재생 방법 및 시스템에 관한 것이다. 본 발명의 일 실시예에 따른 4D 데이터 재생 방법은, 4D 데이터를 입력 받는 단계와, 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출하는 단계와, 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터가 추출되는 동안의 제어 명령에 기초하여, 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성하는 단계 및 단위 시간 간격으로 생성되는 복수의 출력 영상 프레임을 재생하고, 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 단계를 포함하는 것을 특징으로 한다.
Description
본 발명은 4D 데이터 재생 방법 및 시스템에 관한 것으로, 보다 상세하게는 사용자의 의도에 따라 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 재생할 수 있는 4D 데이터 재생 방법 및 시스템에 관한 것이다.
4D 영상(4-Dimensional)(4차원 영상 또는 4D 입체 영상)이란 사람이 눈으로 보는 3D 영상(3차원 영상 또는 3D 입체 영상)에 영상 내 물리적 효과를 실제로 표현해 주는 영상으로서, 3D 영상을 관람하는 사람에게 현실감을 극대화하여 제공할 수 있다. 즉, 3D 영상이 점과 선, 면에 공간감을 추가한 것이라면, 4D 영상 기술은 여기에 보는 사람의 가상 체험을 추가한 기술이라고 볼 수 있다.
4D 영상의 가상 체험 기술이 가장 잘 반영된 환경으로 4D 영화를 상영하는 4D 극장을 예로 들 수 있으며, 3D 영화를 관람할 때에 물, 바람, 향기, 진동(동적 움직임) 등 30 여가지의 물리적 효과를 제공하여 영화 관람자의 가상 체험을 도와 준다.
이러한 4D 영상을 제작하기 위해서는 3D 영상과 진동(동적 움직임) 등 물리적 효과를 결합한 4D 데이터(4-Dimensional data)를 생성해야 하는데, 3D 영상과 같은 영상 컨텐츠의 개발은 활발히 이루어지는 반면, 물리적 효과를 정확하고 효과적으로 제어하는 기술은 상대적으로 미비한 실정이다.
일반적으로 4D 데이터를 생성할 때에는 3D 영상과 물리적 효과를 별도로 제작하며, 미리 제작된 3D 영상에 물리적 효과가 동기화되도록 별도의 데이터를 프로그래밍하여 입력하는 방법을 사용하는데, 이러한 방법으로 제작된 4D 영상은 사람이 관람하는 동안 실시간으로 변환하거나 편집할 수 없다는 문제점이 있다.
즉, 4D 영상을 관람하는 사람은 수동적인 입장에서 이미 제작된 4D 영상을 있는 그대로 받아들일 수 밖에 없는데, 관람자에 따라 이미 제작된 4D 영상을 받아들이는 느낌이 다른 경우, 일부 관람자는 3D 영상과 이에 따른 물리적 효과에 대해 원하는 가상 체험 효과를 얻을 수 없다는 문제점이 있다.
따라서, 사용자의 의도에 따라 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 재생할 수 있는 4D 데이터 재생 방법 및 시스템이 요구된다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 해결하고자 하는 과제는, 4D 데이터로부터 추출된 입력 영상 프레임, 입력 센서 데이터 및 입력 사운드 데이터를 사용자의 제어 명령에 따라 출력 영상 프레임, 출력 센서 데이터 및 출력 사운드 데이터로 생성하여 재생함으로써, 사용자의 의도에 따라 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 재생할 수 있는 4D 데이터 재생 방법 및 시스템을 제공하는 것이다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 제1 실시예에 따른 4D 데이터 재생 방법은, 4D 데이터를 입력 받는 단계와, 상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출하는 단계와, 상기 복수의 입력 영상 프레임 및 상기 복수의 입력 센서 데이터가 추출되는 동안의 상기 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성하는 단계 및 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하고, 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 단계를 포함하는 것을 특징으로 한다.
이 때, 상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며, 상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터를 포함하는 것을 특징으로 한다.
또한, 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임 및 상기 복수의 출력 센서 데이터를 생성하는 단계는, 상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도를 산출하는 단계와, 상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하는 단계와, 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하는 단계 및 상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
특히, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에서의 입력 영상 프레임이고, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 다른 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 상기 재생 속도에 따라 적어도 하나가 생성되는 것을 특징으로 한다.
이 때, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 빠른 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 세 개의 입력 영상 프레임 중 적어도 하나의 입력 영상 프레임을 삭제하여 생성되는 것을 특징으로 한다.
반면에, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 느린 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 생성되는 것을 특징으로 한다.
한편, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 출력 센서 데이터는 상기 제어 명령이 있는 순간에서의 입력 센서 데이터이고, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 다른 경우, 상기 제어 명령이 있는 순간에서의 출력 센서 데이터는 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 센서 데이터로부터 상기 재생 속도에 따라 적어도 하나가 생성되는 것을 특징으로 한다.
한편, 상기 과제를 달성하기 위하여, 본 발명의 제2 실시예에 따른 4D 데이터 재생 방법은, 4D 데이터를 입력 받는 단계와, 상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임, 복수의 입력 센서 데이터 및 복수의 입력 사운드 데이터를 추출하는 단계와, 상기 복수의 입력 영상 프레임, 상기 복수의 입력 센서 데이터 및 상기 복수의 입력 사운드 데이터가 추출되는 동안의 상기 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임, 복수의 출력 센서 데이터 및 복수의 출력 사운드 데이터를 생성하는 단계 및 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하고, 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하며, 상기 복수의 출력 사운드 데이터를 출력하는 단계를 포함하는 것을 특징으로 한다.
이 때, 상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며, 상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터 및 입력 사운드 데이터를 포함하는 것을 특징으로 한다.
또한, 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임, 상기 복수의 출력 센서 데이터 및 상기 복수의 출력 사운드 데이터를 생성하는 단계는, 상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도를 산출하는 단계와, 상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하는 단계와, 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하는 단계 및 상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터 및 상기 복수의 출력 사운드 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
한편, 상기 과제를 달성하기 위하여, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템은, 4D 데이터를 입력 받는 데이터 입력부와, 사용자로부터 제어 명령을 입력 받는 사용자 입력부와, 상기 데이터 입력부로부터 입력된 상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출하고, 상기 복수의 입력 영상 프레임 및 상기 복수의 입력 센서 데이터가 추출되는 동안의 상기 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성하는 제어부와, 상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하는 디스플레이부와, 상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 모션 구동부를 포함하는 것을 특징으로 한다.
이 때, 상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며, 상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도와, 상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하며, 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하고, 상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터를 생성하는 것을 특징으로 한다.
특히, 상기 제어부는, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 입력 영상 프레임을 그대로 상기 제어 명령이 있는 순간에서의 출력 영상 프레임으로 생성하고, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 다른 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 상기 재생 속도에 따라 상기 제어 명령이 있는 순간에서의 적어도 하나의 출력 영상 프레임을 생성하는 것을 특징으로 한다.
이 때, 상기 제어부는, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 빠른 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 세 개의 입력 영상 프레임 중 적어도 하나의 입력 영상 프레임을 삭제하여 상기 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성하는 것을 특징으로 한다.
반면에, 상기 제어부는, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 느린 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 상기 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성하는 것을 특징으로 한다.
한편, 상기 제어부는, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 입력 센서 데이터를 그대로 상기 제어 명령이 있는 순간에서의 출력 센서 데이터로 생성하고, 상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 다른 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 센서 데이터로부터 상기 재생 속도에 따라 상기 제어 명령이 있는 순간에서의 적어도 하나의 출력 센서 데이터를 생성하는 것을 특징으로 한다.
한편, 상기 과제를 달성하기 위하여, 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템은, 4D 데이터를 입력 받는 데이터 입력부와, 사용자로부터 제어 명령을 입력 받는 사용자 입력부와, 상기 데이터 입력부로부터 입력된 상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임, 복수의 입력 센서 데이터 및 복수의 입력 사운드 데이터를 추출하고, 상기 복수의 입력 영상 프레임, 상기 복수의 입력 센서 데이터 및 상기 복수의 입력 사운드 데이터가 추출되는 동안의 상기 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임, 복수의 출력 센서 데이터 및 복수의 출력 사운드 데이터를 생성하는 제어부와, 상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하는 디스플레이부와, 상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 모션 구동부와, 상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 사운드 데이터를 출력하는 오디오 출력부를 포함하는 것을 특징으로 한다.
이 때, 상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며, 상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터 및 입력 사운드 데이터를 포함하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도와, 상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하며, 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하고, 상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터 및 상기 복수의 출력 사운드 데이터를 생성하는 것을 특징으로 한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 따른 4D 데이터 재생 방법 및 시스템에 따르면, 4D 데이터로부터 추출된 입력 영상 프레임, 입력 센서 데이터 및 입력 사운드 데이터를 사용자의 제어 명령에 따라 출력 영상 프레임, 출력 센서 데이터 및 출력 사운드 데이터로 생성하여 재생함으로써, 사용자의 의도에 따라 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 재생할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 일 예를 나타내는 사시도이다.
도 3은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템에서 4D 데이터를 재생하는 과정을 나타내는 순서도이다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 데이터 입력부를 통해 입력되는 4D 데이터의 일 예를 나타내는 도면이다.
도 5는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 입력 영상 프레임 및 입력 센서 데이터로부터 출력 영상 프레임 및 출력 센서 데이터를 생성하는 과정을 나타내는 순서도이다.
도 6은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 입력 영상 프레임으로부터 출력 영상 프레임을 생성하는 과정의 일 예를 나타내는 순서도이다.
도 7 및 도 8은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 재생 속도와 입력 속도에 따라 입력 영상 프레임으로부터 출력 영상 프레임을 생성하는 과정의 일 예를 나타내는 도면이다.
도 9는 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 10은 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템에서 4D 데이터를 재생하는 과정을 나타내는 순서도이다.
도 2는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 일 예를 나타내는 사시도이다.
도 3은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템에서 4D 데이터를 재생하는 과정을 나타내는 순서도이다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 데이터 입력부를 통해 입력되는 4D 데이터의 일 예를 나타내는 도면이다.
도 5는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 입력 영상 프레임 및 입력 센서 데이터로부터 출력 영상 프레임 및 출력 센서 데이터를 생성하는 과정을 나타내는 순서도이다.
도 6은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 입력 영상 프레임으로부터 출력 영상 프레임을 생성하는 과정의 일 예를 나타내는 순서도이다.
도 7 및 도 8은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 재생 속도와 입력 속도에 따라 입력 영상 프레임으로부터 출력 영상 프레임을 생성하는 과정의 일 예를 나타내는 도면이다.
도 9는 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 10은 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템에서 4D 데이터를 재생하는 과정을 나타내는 순서도이다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
이하, 본 발명의 실시예들에 의하여 4D 데이터 재생 시스템(100) 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
먼저, 도 1 내지 도 8를 참조하여, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100) 및 방법에 대해서 설명하기로 한다.
도 1은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 구성을 개략적으로 나타내는 블록도이고, 도 2는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 일 예를 나타내는 사시도이다.
도 1에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은, 데이터 입력부(110), 사용자 입력부(120), 제어부(130), 디스플레이부(140) 및 모션 구동부(150)를 포함하여 구성될 수 있다.
데이터 입력부(110)는 4D 데이터를 입력 받을 수 있다. 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)의 경우, 4D 데이터는 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함할 수 있다. 여기서 복수의 단위 데이터 각각은 단위 시간 간격으로 저장된 입력 영상 프레임과, 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터를 포함할 수 있다. 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)에서 사용되는 4D 데이터의 일 예는 도 4a 및 도 4b를 참조하여 자세히 후술하기로 한다.
사용자 입력부(120)는 사용자로부터 제어 명령을 입력 받을 수 있다. 제어 명령은 4D 데이터 재생 시스템(100)을 구성하는 데이터 입력부(110), 사용자 입력부(120), 디스플레이부(140) 및 모션 구동부(150)의 동작을 제어하기 위한 명령을 의미한다. 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은 4D 데이터를 재생할 때에 사용자의 제어 명령에 따라 4D 데이터를 변환하여 재생할 수 있다. 특히, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은 사용자의 제어 명령에 따른 4D 데이터의 재생 속도에 따라 4D 데이터를 변환하여 재생할 수 있다.
제어부(130)는 4D 데이터 재생 시스템(100)을 구성하는 데이터 입력부(110), 사용자 입력부(120), 디스플레이부(140) 및 모션 구동부(150)의 동작을 제어하고, 데이터 입력부(110), 사용자 입력부(120), 디스플레이부(140) 및 모션 구동부(150)로부터 다양한 정보를 전달 받아 처리할 수 있다.
제어부(130)는 데이터 입력부(110)로부터 입력된 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출할 수 있다. 상술한 바와 같이, 4D 데이터는 단위 시간 간격으로 저장된 입력 영상 프레임과 입력 센서 데이터를 포함하므로, 제어부(130)는 4D 데이터로부터 단위 시간 간격으로 단위 데이터를 추출한 후, 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출할 수 있다.
입력 영상 프레임은 4D 데이터 중 영상 데이터를 이루는 기본 단위로서 한 장의 스틸 이미지를 의미한다. 이러한 입력 영상 프레임은 4D 데이터를 생성할 때에 이동체에 구비된 카메라 등의 영상 촬영부에서 실시간으로 촬영된 영상을 인코딩(Encoding)하여 생성될 수 있으며, 제어부(130)는 4D 데이터 중 영상 데이터를 디코딩(Decoding)하여 입력 영상 프레임을 추출할 수 있다. 디지털 형태의 영상 데이터를 디코딩하여 영상 프레임을 추출하는 방법에 대해서는 잘 알려져 있으므로, 본 발명에서 자세한 설명은 생략하기로 한다.
또한, 입력 센서 데이터는 4D 데이터를 생성할 때에 이동체에 구비된 다양한 종류의 센서부에서 실시간으로 측정되거나 생성되는 다양한 종류의 센서 값들 포함할 수 있다. 이동체에 구비되는 센서부는 GPS(Global Positioning System) 센서, 자이로 센서(Gyro sensor), 가속도 센서(Acceleration sensor), 중력 센서(Gravity sensor, G-Sensor), 고도 센서(Altitude sensor), 조도 센서(Illumination sensor), 방위 센서(Direction sensor), 풍향 센서(Wind direction sensor), 풍속 센서(Wind velocity sensor), 온도 센서(Temperature sensor), 습도 센서(Humidity sensor) 등이며, 이러한 센서부로부터 측정되거나 생성되는 센서 값들은 위치 정보, 방위 정보, 속도 정보, 가속도 정보, 기울기 정보(경사 정보), 풍향 정보, 풍속 정보, 온도 정보, 습도 정보, 밝기 정보 등을 포함할 수 있다.
또한, 제어부(130)는 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터가 추출되는 동안의 제어 명령에 기초하여, 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성할 수 있다. 여기서 출력 영상 프레임은 후술할 디스플레이부(140)에서 가상 현실에 필요한 화면을 재생할 때에 사용되는 영상 프레임을 의미하고, 출력 센서 데이터는 후술할 모션 구동부(150)에서 가상 현실에 필요한 모션을 구현할 때에 사용되는 센서 데이터를 의미한다. 이러한 출력 영상 프레임과 출력 센서 데이터는 제어 명령에 따른 재생 속도에 따라 입력 영상 프레임과 입력 센서 데이터로부터 생성될 수 있다.
바람직하게는, 제어부(130)는, 복수의 입력 영상 프레임 또는 복수의 입력 센서 데이터로부터 제어 명령이 있는 순간에서의 입력 속도와, 제어 명령에 기초하여 복수의 출력 영상 프레임의 재생 속도를 산출하고, 제어 명령이 있는 순간에서의 입력 속도와 재생 속도에 따라, 복수의 입력 영상 프레임으로부터 단위 시간 간격으로 복수의 출력 영상 프레임을 생성하고, 복수의 출력 영상 프레임에 동기화하여 복수의 입력 센서 데이터로부터 단위 시간 간격으로 복수의 출력 센서 데이터를 생성할 수 있다.
이 때, 제어부(130)는 재생 속도가 제어 명령이 있는 순간에서의 입력 속도와 동일한 경우, 제어 명령이 있는 순간에서의 입력 영상 프레임을 그대로 사용하여 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성할 수 있다.
반대로, 제어부(130)는 재생 속도가 제어 명령이 있는 순간에서의 입력 속도와 다른 경우, 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 재생 속도에 따라 제어 명령이 있는 순간에서의 적어도 하나의 출력 영상 프레임을 생성할 수 있다. 바람직하게는, 제어부(130)는 재생 속도가 제어 명령이 있는 순간에서의 입력 속도보다 빠른 경우, 제어 명령이 있는 순간에 서로 인접하는 적어도 세 개의 입력 영상 프레임 중 적어도 하나의 입력 영상 프레임을 삭제하여 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성할 수 있다. 반대로, 제어부(130)는 재생 속도가 제어 명령이 있는 순간에서의 입력 속도보다 느린 경우, 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성할 수 있다.
한편, 제어부(130)는, 재생 속도가 제어 명령이 있는 순간에서의 입력 속도와 동일한 경우, 제어 명령이 있는 순간에서의 입력 센서 데이터를 그대로 제어 명령이 있는 순간에서의 출력 센서 데이터로 생성하고, 재생 속도가 제어 명령이 있는 순간에서의 입력 속도와 다른 경우, 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 센서 데이터로부터 재생 속도에 따라 제어 명령이 있는 순간에서의 적어도 하나의 출력 센서 데이터를 생성할 수 있다.
제어부(130)가 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성하는 예는 도 5 내지 도 8을 참조하여 자세히 후술하기로 한다.
디스플레이부(140)는 제어부(130)에서 단위 시간 간격으로 생성되는 복수의 출력 영상 프레임을 재생할 수 있다. 이러한 디스플레이부(140)는 복수의 출력 영상 프레임은 물론, 4D 데이터 재생 시스템(100)의 동작에 따른 각종 정보를 사용자에게 표시할 수 있다. 이러한 디스플레이부(140)로는 LCD(Liquid Crystal Display)는 물론 입력 기능이 구현된 터치 스크린(Touch screen) 등을 사용할 수 있으며, 이에 한정되지 않는다.
모션 구동부(150)는 제어부(130)에서 단위 시간 간격으로 생성되는 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현할 수 있다.
한편, 비록 도시되지는 않았으나, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은 4D 데이터 재생 시스템(100)의 동작에 필요한 프로그램, 제어부(130)에서 처리한 각종 데이터를 저장하는 저장부를 더 포함할 수 있다. 이러한 저장부는 제어부(130)에서 처리하는 각종 데이터를 임시 저장하는 제1 메모리와, 제어부(130)에서 처리된 각종 데이터를 최종 저장하는 제2 메모리로 구성될 수 있다. 제1 메모리는 램(RAM)과 같은 휘발성 메모리를 사용하고, 제2 메모리는 SD 카드(Secure Digital Card)와 같은 비휘발성 메모리를 사용할 수 있으나, 이에 한정되지 않으며, 정보의 입출력 및 저장이 가능한 다양한 저장 매체를 사용할 수도 있다. 또한, 이러한 저장부는 4D 데이터 재생 시스템(100)의 내부에 장착된 상태이나, 필요에 따라 4D 데이터 재생 시스템(100)의 외부로 분리될 수도 있다.
한편, 비록 도시되지는 않았으나, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은 외부의 원격 서버 등으로부터 4D 데이터 등 각종 데이터, 4D 데이터 재생 시스템(100)에 필요한 제어 명령 등 각종 정보를 수신하거나, 제어부(130)에서 처리된 각종 데이터 등을 외부의 원격 서버로 전송하는 통신부를 더 포함할 수도 있다. 이러한 통신부는 데이터 입력부(110), 사용자 입력부(120), 제어부(130) 등과 연결되어 각종 데이터를 주고 받아 처리할 수 있다.
한편, 도 2에서는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)을 실제 구현한 예로서, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은 크게 4D 데이터와 관련된 각종 데이터를 처리하는 제1 모듈(10)과, 4D 데이터와 관련된 각종 데이터를 이용하여 실제 가상 현실을 구현하기 위한 제2 모듈(20)로 구분될 수 있다. 도 2에 도시된 바와 같이, 제1 모듈(10)은 데이터 입력부(110) 및 제어부(130)를 포함하고, 제2 모듈(2)은 사용자 입력부(120), 디스플레이부(140) 및 모션 구동부(150)를 포함하여 구성될 수 있다. 도 2에서는 4D 데이터 재생 시스템(100)이 의자(Chair) 형태로 구현되고, 의자의 일 측에 모션 구동부(150)가 구비되고 의자의 전면에 디스플레이부(140)가 구비된 예를 도시하고 있으나, 이에 한정되지 않으며, 당업자에 의해 얼마든지 변경 가능하다.
이상, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기와 같이 구성되는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)의 4D 데이터 재생 방법을 설명하면 다음과 같다.
본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)은, 데이터 입력부(110)가 4D 데이터를 입력 받은 후, 제어부(130)는 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출하고, 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터가 추출되는 동안의 제어 명령에 기초하여, 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성할 수 있다. 그리고, 디스플레이부(140)는 단위 시간 간격으로 생성되는 복수의 출력 영상 프레임을 재생하고, 모션 구동부(150)는 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현할 수 있다.
도 3은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템에서 4D 데이터를 재생하는 과정을 나타내는 순서도이다.
먼저, 도 3에 도시된 바와 같이, 데이터 입력부(110)는 4D 데이터를 입력 받을 수 있다(S210).
상술한 바와 같이, 4D 데이터는 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며, 복수의 단위 데이터 각각은 단위 시간 간격으로 저장된 입력 영상 프레임과, 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터를 포함할 수 있다.
도 4a 및 도 4b는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 데이터 입력부를 통해 입력되는 4D 데이터의 일 예를 나타내는 도면이다.
도 4a에 도시된 바와 같이, 데이터 입력부(110)를 통해 입력되는 4D 데이터 D1은 전체 시간 T1에 대해 단위 시간 간격 Δt으로 저장된 n 개의 단위 데이터 E1(t1) 내지 E1(tn)을 포함하며, 시간 t1(Δt)에서의 단위 데이터 E1(t1)는 입력 영상 프레임 F1(t1)과 입력 센서 데이터 S1(t1)으로 구성되고, 시간 t2(Δt × 2)에서의 단위 데이터 E1(t2)는 입력 영상 프레임 F1(t2)과 입력 센서 데이터 S1(t2)으로 구성되며, 시간 tn(Δt × n)에서의 단위 데이터 E1(tn)는 입력 영상 프레임 F1(tn)과 입력 센서 데이터 S1(tn)으로 구성될 수 있다.
한편, 도 4a에서는 단위 데이터 E1(t1) 내지 E1(tn)을 구성하는 입력 영상 프레임 F1(t1) 내지 F1(tn)과 입력 센서 데이터 S1(t1) 내지 S1(tn)이 각각 별도로 저장되는 예를 도시하고 있다.
이와 반대로, 도 7b에서는 단위 데이터 E1(t1) 내지 E1(tn)을 구성하는 입력 영상 프레임 F1(t1) 내지 F1(tn)과 입력 센서 데이터 S1(t1) 내지 S1(tn)이 별도로 저장되는 것이 아니라, 입력 센서 데이터 S1(t1) 내지 S1(tn)이 각각 입력 영상 프레임 F1(t1) 내지 F1(tn)의 헤더(Header)에 기록되어 저장되는 예를 도시하고 있다. 예를 들어, 입력 단위 데이터 E1(t1)을 구성하는 입력 센서 데이터 S1(t1)은 입력 영상 프레임 F1(t1)의 헤더에 저장될 수 있다. 바람직하게는, 이러한 입력 센서 데이터는 입력 영상 프레임의 EXIF(Exchangeable image file format) 정보로 저장될 수 있으나, 이에 한정되지는 않는다.
다시 도 3을 참조하면, 제어부(130)는 재생 시간을 초기화한 후(t = 0), 데이터 입력부(110)로부터 입력 받은 4D 데이터로부터 시간 t에서의 입력 영상 프레임 및 입력 센서 데이터를 추출할 수 있다(S220). 즉, 제어부(130)는 재생을 시작한 후 4D 데이터로부터 시간 t1(Δt)에서의 입력 영상 프레임 F1(t1)과 입력 센서 데이터 S1(t1)을 추출할 수 있다.
그리고, 제어부(130)는 시간 t에서 입력 영상 프레임 및 복수의 입력 센서 데이터가 추출되는 동안, 사용자 입력부(120)를 통해 제어 명령이 있는지 여부를 판단한 후, 사용자의 제어 명령에 기초하여, 시간 t에서의 출력 영상 프레임과 출력 센서 데이터를 생성할 수 있다(S230). 즉, 제어부(130)는 4D 데이터로부터 시간 t1(Δt)에서의 입력 영상 프레임 F1(t1)과 입력 센서 데이터 S1(t1)을 추출하는 순간에서의 사용자의 제어 명령에 기초하여, 시간 t1(Δt)에서 디스플레이부(140)를 통해 실제로 재생될 출력 영상 프레임 F2(t1)과 모션 구동부(150)를 통해 실제로 구현될 출력 센서 데이터 S2(t1)를 생성할 수 있다.
특히, 제어부(130)는 사용자의 제어 명령이 있는 순간 t1(Δt)에서의 재생 속도에 따라 출력 영상 프레임 F2(t1)과 출력 센서 데이터 S2(t1)를 생성할 수 있다. 제어부(130)가 사용자의 제어 명령에 기초하여, 시간 t1(Δt)에서의 출력 영상 프레임 F2(t1)과 출력 센서 데이터 S2(t1)를 생성하는 방법은 도 5 내지 도 8을 참조하여 자세히 후술하기로 한다.
그리고, 디스플레이부(140)는 시간 t에서의 출력 영상 프레임을 재생하고, 모션 구동부(150)는 시간 t에서의 출력 센서 데이터를 이용하여 모션(motion)을 구현할 수 있다(S240). 마지막으로, 제어부(130)는 4D 데이터의 재생이 완료되었는지 여부를 판단하여, 4D 데이터의 재생이 완료되지 않은 경우에는 단위 시간 간격 Δt으로 4D 데이터의 재생이 완료될 때까지 단계 S220 내지 단계 S240을 반복 수행할 수 있다.
한편, 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)의 제어부(130)는, 복수의 입력 영상 프레임 또는 복수의 입력 센서 데이터로부터 제어 명령이 있는 순간에서의 입력 속도와, 제어 명령에 기초하여 복수의 출력 영상 프레임의 재생 속도를 산출하고, 제어 명령이 있는 순간에서의 입력 속도와 재생 속도에 따라, 복수의 입력 영상 프레임으로부터 단위 시간 간격으로 복수의 출력 영상 프레임을 생성하고, 복수의 출력 영상 프레임에 동기화하여 복수의 입력 센서 데이터로부터 단위 시간 간격으로 복수의 출력 센서 데이터를 생성할 수 있다.
이하, 도 5 내지 도 8을 참조하여 제어부(130)가 시간 t에서의 사용자의 제어 명령에 기초하여 시간 t에서의 입력 영상 프레임 F1(t) 및 입력 센서 데이터 S1(t)로부터 시간 t에서의 출력 영상 프레임 F2(t) 및 출력 센서 데이터 S2(t)를 생성하는 방법을 구체적으로 설명하기로 한다.
도 5는 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 입력 영상 프레임 및 입력 센서 데이터로부터 출력 영상 프레임 및 출력 센서 데이터를 생성하는 과정을 나타내는 순서도이다.
도 5에 도시된 바와 같이, 먼저, 제어부(130)는 시간 t에서 입력 영상 프레임 F1(t) 및 입력 센서 데이터 S1(t)가 추출되는 동안, 사용자 입력부(120)를 통해 제어 명령이 있는지 여부를 판단할 수 있다(S231).
상기 판단 결과, 시간 t에서 사용자의 제어 명령이 있는 경우, 제어부(130)는 시간 t에서의 입력 영상 프레임 F1(t) 또는 입력 센서 데이터 S1(t)로부터 제어 명령이 있는 시간 t에서의 입력 속도 v1(t)를 산출할 수 있다(S232).
이 때, 입력 속도 v1(t)는 시간 t에서의 입력 영상 프레임 F1(t)와, 입력 영상 프레임 F1(t)와 인접하는 입력 영상 프레임(예를 들어, 단위 시간 간격 Δt 이전에서의 입력 영상 프레임 F1(t-Δt)), 단위 시간 간격 Δt 이후에서의 입력 영상 프레임 F1(t+Δt)) 등)을 이용하여 산출할 수 있다. 또는, 입력 속도 v1(t)는 시간 t에서의 입력 센서 데이터 S1(t)와, 입력 센서 데이터 S1(t)와 인접하는 입력 센서 데이터(예를 들어, 단위 시간 간격 Δt 이전에서의 입력 센서 데이터 S1(t-Δt)), 단위 시간 간격 Δt 이후에서의 입력 센서 데이터 S1(t+Δt)) 등)을 이용하여 산출할 수도 있다.
다시 도 5를 참조하면, 제어부(130)는 시간 t에서의 입력 속도 v1(t)를 산출한 후, 사용자 입력부(120)를 통해 입력 받은 시간 t에서의 제어 명령에 기초하여 출력 영상 프레임의 재생 속도 v2(t)를 산출할 수 있다(S233). 이 때, 재생 속도 v2(t)는 사용자 입력부(120)를 통해 사용자로부터 직접 입력 받을 수도 있고, 사용자의 조작에 의한 시간 t에서의 입력 영상 프레임 F1(t)의 변화량 등으로부터 산출될 수도 있다.
그리고, 제어부(130)는 제어 명령이 있는 시간 t에서의 입력 속도 v1(t)와 재생 속도 v2(t)에 따라, 시간 t에서의 출력 영상 프레임 F2(t)를 생성할 수 있다(S234).
이 때, 제어부(130)는 시간 t에서의 입력 속도 v1(t)와 재생 속도 v2(t)에 따라, 시간 t에서의 입력 영상 프레임 F1(t)와, 입력 영상 프레임 F1(t)와 인접하는 적어도 2 개의 입력 영상 프레임(예를 들어, 입력 영상 프레임 F1(t-Δt)), 입력 영상 프레임 F1(t+Δt)) 등)을 이용하여 시간 t에서의 적어도 하나의 출력 영상 프레임 F2(t)를 생성할 수 있다.
도 6은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 입력 영상 프레임으로부터 출력 영상 프레임을 생성하는 과정의 일 예를 나타내는 순서도이고, 도 7 및 도 8은 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템의 제어부에서 재생 속도와 입력 속도에 따라 입력 영상 프레임으로부터 출력 영상 프레임을 생성하는 과정의 일 예를 나타내는 도면이다.
도 6에 도시된 바와 같이, 제어부(130)는 시간 t에서의 입력 속도 v1(t) 및 재생 속도 v2(t)를 산출한 후, 재생 속도 v2(t)와 입력 속도 v1(t)가 동일한지 여부를 판단할 수 있다(S234-1).
상기 판단 결과, 시간 t에서의 재생 속도 v2(t)와 입력 속도 v1(t)가 동일한 경우에는, 시간 t에서의 출력 영상 프레임 F2(t)는 시간 t에서의 입력 영상 프레임 F1(t)를 그대로 사용할 수 있다(S234-2).
반면에, 단계 S234-1에서의 판단 결과, 시간 t에서의 재생 속도 v2(t)와 입력 속도 v1(t)가 다른 경우에는, 시간 t에서의 입력 영상 프레임 F1(t)와, 입력 영상 프레임 F1(t)와 인접하는 적어도 2 개의 입력 영상 프레임(예를 들어, 입력 영상 프레임 F1(t-Δt)), 입력 영상 프레임 F1(t+Δt)) 등)을 이용하여 시간 t에서의 적어도 하나의 출력 영상 프레임 F2(t)를 생성할 수 있다.
먼저, 제어부(130)는 시간 t에서의 재생 속도 v2(t)가 입력 속도 v1(t)보다 빠른지 여부를 판단하여, 재생 속도 v2(t)가 입력 속도 v1(t)보다 빠른 경우, 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 적어도 3 개의 입력 영상 프레임 중, 적어도 하나의 영상 프레임을 삭제하여 출력 영상 프레임 F1(t)를 생성할 수 있다(S234-3).
도 7에서는 시간 t에서의 재생 속도가 입력 속도보다 빠른 경우에 시간 t에서의 입력 영상 프레임 F1(t)으로부터 출력 영상 프레임 F2(t)를 생성하는 예를 도시하고 있다.
도 7에서는 제어 명령이 있는 시간 t에서의 재생 속도 v2(t)가 입력 속도 v1(t)보다 빠른 경우에, 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 3 개의 입력 영상 프레임, 입력 영상 프레임 F1(t-Δt)), 입력 영상 프레임 F1(t), 입력 영상 프레임 F1(t+Δt)) 중 입력 영상 프레임 F1(t)을 삭제하고 입력 영상 프레임 F1(t+Δt))을 출력 영상 프레임 F2(t)로 생성한 예를 나타내고 있다.
도 7에서는 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 3 개의 입력 영상 프레임 중 1 개의 입력 영상 프레임을 삭제하여 출력 영상 프레임 F2(t)을 생성하는 예를 들고 있으나, 이는 예시적인 것으로서, 이에 한정되지 않으며, 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 입력 영상 프레임의 개수, 이 중 삭제되는 입력 영상 프레임의 개수, 출력 영상 프레임 F2(t)으로 생성하는 입력 영상 프레임의 개수는 당업자에 의해 얼마든지 변경 가능하다.
반면에, 상기 판단 결과, 시간 t에서의 재생 속도 v2(t)가 입력 속도 v1(t)보다 느린 경우, 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 출력 영상 프레임 F1(t)를 생성할 수 있다(S234-4).
도 8에서는 시간 t에서의 재생 속도가 입력 속도보다 느린 경우에 시간 t에서의 입력 영상 프레임 F1(t)으로부터 출력 영상 프레임 F2(t)를 생성하는 예를 도시하고 있다.
도 8에서는 제어 명령이 있는 시간 t에서의 재생 속도 v2(t)가 입력 속도 v1(t)보다 느린 경우에, 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 2 개의 입력 영상 프레임, 입력 영상 프레임 F1(t-Δt)), 입력 영상 프레임 F1(t)으로부터 신규 입력 영상 프레임 F1(t-Δt/2)을 생성하고, 생성된 신규 입력 영상 프레임 F1(t-Δt/2)을 삽입하여 이를 출력 영상 프레임 F2(t)로 생성한 예를 나타내고 있다.
도 8에서는 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 2 개의 입력 영상 프레임으로부터 생성된 1 개의 신규 입력 영상 프레임을 삽입하여 출력 영상 프레임 F2(t)을 생성하는 예를 들고 있으나, 이는 예시적인 것으로서, 이에 한정되지 않으며, 시간 t에서의 입력 영상 프레임 F1(t)와 인접하는 입력 영상 프레임의 개수, 이로부터 생성되는 신규 입력 영상 프레임의 개수, 출력 영상 프레임 F2(t)으로 생성하는 입력 영상 프레임의 개수는 당업자에 의해 얼마든지 변경 가능하다.
다시 도 5를 참조하면, 마지막으로, 제어부(130)는 시간 t에서의 출력 영상 프레임 F2(t)에 동기화하여 시간 t에서의 출력 센서 데이터 S2(t)를 생성할 수 있다(S235).
이 때, 제어부(130)는 시간 t에서의 입력 속도 v1(t)와 재생 속도 v2(t)에 따라, 시간 t에서의 입력 센서 데이터 S1(t)와, 입력 센서 데이터 S1(t)와 인접하는 적어도 2 개의 입력 센서 데이터(예를 들어, 단위 시간 간격 Δt 이전에서의 입력 센서 데이터 S1(t-Δt)), 단위 시간 간격 Δt 이후에서의 입력 센서 데이터 S1(t+Δt)) 등)을 이용하여 시간 t에서의 출력 영상 프레임 F2(t)를 생성할 수 있다. 제어부(130)에서 시간 t에서의 입력 센서 데이터 S1(t)로부터 출력 센서 데이터 S2(t)를 생성하는 방법은 시간 t에서의 입력 영상 프레임 F1(t)로부터 출력 영상 프레임 F2(t)를 생성하는 방법과 유사하므로, 더 이상 자세한 설명은 생략하기로 한다.
반면에, 다시 도 5를 참조하면, 도 5의 단계 S231에서의 판단 결과, 시간 t에서 사용자의 제어 명령이 없는 경우에는, 시간 t에서의 출력 영상 프레임 F2(t)는 시간 t에서의 입력 영상 프레임 F1(t)를 그대로 사용하고(S236), 시간 t에서의 출력 영상 프레임 F2(t)는 시간 t에서의 입력 영상 프레임 F1(t)를 그대로 사용할 수 있다(S237).
이하, 도 9 내지 도 10을 참조하여, 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100) 및 방법에 대해서 설명하기로 한다. 설명의 편의상, 도 1 내지 도 8에 도시된 제1 실시예의 구성요소와 동일한 구성요소에 대한 설명은 생략하며, 이하 차이점을 위주로 설명한다.
도 9는 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 1에 도시된 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)과는 달리, 도 9에 도시된 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100)은 제어부(130)에서 4D 데이터 중 입력 사운드 데이터로부터 생성된 출력 사운드 데이터를 외부로 출력하는 오디오 출력부(160)를 더 포함할 수 있다.
즉, 도 9에 도시된 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100)의 제어부(130)는 데이터 입력부(110)로부터 입력된 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임, 복수의 입력 센서 데이터 및 복수의 입력 사운드 데이터를 추출하고, 복수의 입력 영상 프레임, 복수의 입력 센서 데이터 및 복수의 입력 사운드 데이터가 추출되는 동안의 제어 명령에 기초하여, 단위 시간 간격으로 복수의 출력 영상 프레임, 복수의 출력 센서 데이터 및 복수의 출력 사운드 데이터를 생성할 수 있다.
그리고, 디스플레이부(140)는 제어부(130)에서 단위 시간 간격으로 생성되는 복수의 출력 영상 프레임을 재생하고, 모션 구동부(150)는 제어부(130)에서 단위 시간 간격으로 생성되는 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하며, 오디오 출력부(160)는 제어부(130)에서 단위 시간 간격으로 생성되는 복수의 출력 사운드 데이터를 출력할 수 있다.
바람직하게는, 도 9에 도시된 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100)에 입력 되는 4D 데이터는 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며, 복수의 단위 데이터 각각은 단위 시간 간격으로 저장된 입력 영상 프레임과, 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터 및 입력 사운드 데이터를 포함할 수 있다.
본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100)의 제어부(130)는, 복수의 입력 영상 프레임 또는 복수의 입력 센서 데이터로부터 제어 명령이 있는 순간에서의 입력 속도와, 제어 명령에 기초하여 복수의 출력 영상 프레임의 재생 속도를 산출하며, 제어 명령이 있는 순간에서의 입력 속도와 재생 속도에 따라, 복수의 입력 영상 프레임으로부터 단위 시간 간격으로 복수의 출력 영상 프레임을 생성하고, 복수의 출력 영상 프레임에 동기화하여 복수의 입력 센서 데이터로부터 단위 시간 간격으로 복수의 출력 센서 데이터 및 복수의 출력 사운드 데이터를 생성할 수 있다.
상기와 같이 구성되는 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100)의 4D 데이터 재생 방법을 설명하면 다음과 같다.
도 10은 본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템에서 4D 데이터를 재생하는 과정을 나타내는 순서도이다.
도 10에 도시된 바와 같이, 먼저, 데이터 입력부(110)는 4D 데이터를 입력 받고(S310), 제어부(130)는 재생 시간을 초기화한 후(t = 0), 데이터 입력부(110)로부터 입력 받은 4D 데이터 D1으로부터 시간 t에서의 입력 영상 프레임 F1(t), 입력 센서 데이터 S1(t) 및 입력 사운드 데이터 A1(t)를 추출할 수 있다(S320).
그리고, 제어부(130)는 시간 t에서 입력 영상 프레임 F1(t), 입력 센서 데이터 S1(t) 및 입력 사운드 데이터 A1(t)가 추출되는 동안, 사용자 입력부(120)를 통해 제어 명령이 있는지 여부를 판단한 후, 사용자의 제어 명령에 기초하여, 시간 t에서의 출력 영상 프레임 F2(t), 출력 센서 데이터 S2(t) 및 출력 사운드 데이터 A2(t)를 생성할 수 있다(S330).
본 발명의 제2 실시예에 따른 4D 데이터 재생 시스템(100)에서 시간 t에서의 출력 영상 프레임 F2(t), 출력 센서 데이터 S2(t) 및 출력 사운드 데이터 A2(t)를 생성하는 방법은, 도 5 내지 도 8에 도시된 본 발명의 제1 실시예에 따른 4D 데이터 재생 시스템(100)의 출력 영상 프레임 F2(t) 및 출력 센서 데이터 S2(t)를 생성하는 방법과 유사하므로, 이하 자세한 설명은 생략하기로 한다.
다시 도 10을 참조하면, 제어부(130)가 시간 t에서의 출력 영상 프레임 F2(t), 출력 센서 데이터 S2(t) 및 출력 사운드 데이터 A2(t)를 생성한 후(S330), 디스플레이부(140)는 시간 t에서의 출력 영상 프레임 F2(t)를 재생하고, 모션 구동부(150)는 시간 t에서의 출력 센서 데이터 S2(t)를 이용하여 모션(motion)을 구현하며, 오디오 출력부(160)는 시간 t에서의 출력 사운드 데이터 A2(t)를 출력할 수 있다(S340). 마지막으로, 제어부(130)는 4D 데이터의 재생이 완료되었는지 여부를 판단하여, 4D 데이터의 재생이 완료되지 않은 경우에는 단위 시간 간격 Δt으로 4D 데이터의 재생이 완료될 때까지 단계 S320 내지 단계 S340을 반복 수행할 수 있다.
상술한 바와 같이, 본 발명의 실시예들에 따른 4D 데이터 재생 방법 및 시스템의 경우, 4D 데이터로부터 추출된 입력 영상 프레임, 입력 센서 데이터 및 입력 사운드 데이터를 사용자의 제어 명령에 따라 출력 영상 프레임, 출력 센서 데이터 및 출력 사운드 데이터로 생성하여 재생함으로써, 사용자의 의도에 따라 보다 정확하고 현실감 있는 가상 현실을 구현할 수 있도록 4D 데이터를 재생할 수 있다.
한편, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 4D 데이터 재생 시스템
110: 데이터 입력부 120: 사용자 입력부
130: 제어부 140: 디스플레이부
150: 모션 구동부 160: 오디오 출력부
100: 4D 데이터 재생 시스템
110: 데이터 입력부 120: 사용자 입력부
130: 제어부 140: 디스플레이부
150: 모션 구동부 160: 오디오 출력부
Claims (20)
- 4D 데이터를 입력 받는 단계;
상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출하는 단계;
상기 복수의 입력 영상 프레임 및 상기 복수의 입력 센서 데이터가 추출되는 동안의 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성하는 단계; 및
상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하고, 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 단계를 포함하고,
상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임 및 상기 복수의 출력 센서 데이터를 생성하는 단계는,
상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도를 산출하는 단계;
상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하는 단계;
상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하는 단계; 및
상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터를 생성하는 단계를 포함하며,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에서의 입력 영상 프레임이고,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 빠른 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 세 개의 입력 영상 프레임 중 적어도 하나의 입력 영상 프레임을 삭제하여 생성되며,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 느린 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 생성되는 것을 특징으로 하는 4D 데이터 재생 방법. - 제 1 항에 있어서,
상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며,
상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터를 포함하는 것을 특징으로 하는 4D 데이터 재생 방법. - 삭제
- 삭제
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 출력 센서 데이터는 상기 제어 명령이 있는 순간에서의 입력 센서 데이터이고,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 다른 경우, 상기 제어 명령이 있는 순간에서의 출력 센서 데이터는 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 센서 데이터로부터 상기 재생 속도에 따라 적어도 하나가 생성되는 것을 특징으로 하는 4D 데이터 재생 방법. - 4D 데이터를 입력 받는 단계;
상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임, 복수의 입력 센서 데이터 및 복수의 입력 사운드 데이터를 추출하는 단계;
상기 복수의 입력 영상 프레임, 상기 복수의 입력 센서 데이터 및 상기 복수의 입력 사운드 데이터가 추출되는 동안의 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임, 복수의 출력 센서 데이터 및 복수의 출력 사운드 데이터를 생성하는 단계; 및
상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하고, 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하며, 상기 복수의 출력 사운드 데이터를 출력하는 단계를 포함하고,
상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임, 상기 복수의 출력 센서 데이터 및 상기 복수의 출력 사운드 데이터를 생성하는 단계는,
상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도를 산출하는 단계;
상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하는 단계;
상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하는 단계; 및
상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터 및 상기 복수의 입력 사운드 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터 및 상기 복수의 출력 사운드 데이터를 생성하는 단계를 포함하며,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에서의 입력 영상 프레임이고,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 빠른 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 세 개의 입력 영상 프레임 중 적어도 하나의 입력 영상 프레임을 삭제하여 생성되며,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 느린 경우, 상기 제어 명령이 있는 순간에서의 출력 영상 프레임은 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 생성되는 것을 특징으로 하는 4D 데이터 재생 방법. - 제 8 항에 있어서,
상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며,
상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터 및 입력 사운드 데이터를 포함하는 것을 특징으로 하는 4D 데이터 재생 방법. - 삭제
- 4D 데이터를 입력 받는 데이터 입력부;
사용자로부터 제어 명령을 입력 받는 사용자 입력부;
상기 데이터 입력부로부터 입력된 상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임 및 복수의 입력 센서 데이터를 추출하고, 상기 복수의 입력 영상 프레임 및 상기 복수의 입력 센서 데이터가 추출되는 동안의 상기 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임과 복수의 출력 센서 데이터를 생성하는 제어부;
상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하는 디스플레이부; 및
상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 모션 구동부를 포함하고,
상기 제어부는,
상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도와, 상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하고, 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하며, 상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터를 생성하되,
상기 제어부는,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 입력 영상 프레임을 그대로 상기 제어 명령이 있는 순간에서의 출력 영상 프레임으로 생성하고,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 빠른 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 세 개의 입력 영상 프레임 중 적어도 하나의 입력 영상 프레임을 삭제하여 상기 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성하며,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도보다 느린 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 영상 프레임으로부터 생성된 적어도 하나의 신규 영상 프레임을 삽입하여 상기 제어 명령이 있는 순간에서의 출력 영상 프레임을 생성하는 것을 특징으로 하는 4D 데이터 재생 시스템. - 제 11 항에 있어서,
상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며,
상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터를 포함하는 것을 특징으로 하는 4D 데이터 재생 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 제 11 항에 있어서,
상기 제어부는,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 동일한 경우, 상기 제어 명령이 있는 순간에서의 입력 센서 데이터를 그대로 상기 제어 명령이 있는 순간에서의 출력 센서 데이터로 생성하고,
상기 재생 속도가 상기 제어 명령이 있는 순간에서의 상기 입력 속도와 다른 경우, 상기 제어 명령이 있는 순간에 서로 인접하는 적어도 두 개의 입력 센서 데이터로부터 상기 재생 속도에 따라 상기 제어 명령이 있는 순간에서의 적어도 하나의 출력 센서 데이터를 생성하는 것을 특징으로 하는 4D 데이터 재생 시스템. - 4D 데이터를 입력 받는 데이터 입력부;
사용자로부터 제어 명령을 입력 받는 사용자 입력부;
상기 데이터 입력부로부터 입력된 상기 4D 데이터로부터 미리 설정된 단위 시간 간격으로 복수의 입력 영상 프레임, 복수의 입력 센서 데이터 및 복수의 입력 사운드 데이터를 추출하고, 상기 복수의 입력 영상 프레임, 상기 복수의 입력 센서 데이터 및 상기 복수의 입력 사운드 데이터가 추출되는 동안의 상기 제어 명령에 기초하여, 상기 단위 시간 간격으로 복수의 출력 영상 프레임, 복수의 출력 센서 데이터 및 복수의 출력 사운드 데이터를 생성하는 제어부;
상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 영상 프레임을 재생하는 디스플레이부;
상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 센서 데이터를 이용하여 모션(motion)을 구현하는 모션 구동부; 및
상기 제어부에서 상기 단위 시간 간격으로 생성되는 상기 복수의 출력 사운드 데이터를 출력하는 오디오 출력부를 포함하는 것을 특징으로 하는 4D 데이터 재생 시스템. - 제 18 항에 있어서,
상기 4D 데이터는 상기 단위 시간 간격으로 저장된 복수의 단위 데이터를 포함하며,
상기 복수의 단위 데이터 각각은 상기 단위 시간 간격으로 저장된 입력 영상 프레임과, 상기 입력 영상 프레임의 저장 시간에 동기화하여 저장된 입력 센서 데이터 및 입력 사운드 데이터를 포함하는 것을 특징으로 하는 4D 데이터 재생 시스템. - 제 18 항에 있어서,
상기 제어부는,
상기 복수의 입력 영상 프레임 또는 상기 복수의 입력 센서 데이터로부터 상기 제어 명령이 있는 순간에서의 입력 속도와, 상기 제어 명령에 기초하여 상기 복수의 출력 영상 프레임의 재생 속도를 산출하며,
상기 제어 명령이 있는 순간에서의 상기 입력 속도와 상기 재생 속도에 따라, 상기 복수의 입력 영상 프레임으로부터 상기 단위 시간 간격으로 상기 복수의 출력 영상 프레임을 생성하고, 상기 복수의 출력 영상 프레임에 동기화하여 상기 복수의 입력 센서 데이터로부터 상기 단위 시간 간격으로 상기 복수의 출력 센서 데이터 및 상기 복수의 출력 사운드 데이터를 생성하는 것을 특징으로 하는 4D 데이터 재생 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140131006A KR101654009B1 (ko) | 2014-09-30 | 2014-09-30 | 4d 데이터 재생 방법 및 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140131006A KR101654009B1 (ko) | 2014-09-30 | 2014-09-30 | 4d 데이터 재생 방법 및 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160038958A KR20160038958A (ko) | 2016-04-08 |
| KR101654009B1 true KR101654009B1 (ko) | 2016-09-06 |
Family
ID=55907825
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140131006A KR101654009B1 (ko) | 2014-09-30 | 2014-09-30 | 4d 데이터 재생 방법 및 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101654009B1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102141596B1 (ko) * | 2018-11-07 | 2020-08-05 | 주식회사 인디고엔터테인먼트 | Vr 재생 장치 및 이를 모니터링하기 위한 통합 관리 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101075122B1 (ko) * | 2011-03-25 | 2011-10-19 | 주식회사 포리얼 | 특수 효과 동기 장치 및 4ｄ 상영 시스템 |
| KR101366150B1 (ko) * | 2013-06-21 | 2014-02-25 | (주)티비스톰 | 동영상 재생속도 제어 사용자 인터페이싱 방법 및 그 방법을 실행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101300467B1 (ko) * | 2011-03-16 | 2013-08-27 | 주식회사 레드로버 | 4ｄ관람요소 제어시스템 |
| KR101443427B1 (ko) * | 2011-11-14 | 2014-09-29 | 전주대학교 산학협력단 | 홈 미디어용 4ｄ 이펙트 구현 시스템 및 방법 |
-
2014
- 2014-09-30 KR KR1020140131006A patent/KR101654009B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101075122B1 (ko) * | 2011-03-25 | 2011-10-19 | 주식회사 포리얼 | 특수 효과 동기 장치 및 4ｄ 상영 시스템 |
| KR101366150B1 (ko) * | 2013-06-21 | 2014-02-25 | (주)티비스톰 | 동영상 재생속도 제어 사용자 인터페이싱 방법 및 그 방법을 실행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160038958A (ko) | 2016-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9930315B2 (en) | Stereoscopic 3D camera for virtual reality experience | |
| US20230402067A1 (en) | Integration of audio into a multi-view interactive digital media representation | |
| US10977864B2 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
| CN101964916B (zh) | 图像显示装置和方法 | |
| KR20200100765A (ko) | 가상, 증강 또는 혼합 현실 환경에서 3d 비디오들을 생성 및 디스플레이하기 위한 방법들 및 시스템 | |
| WO2010013382A1 (ja) | 映像符号化装置、映像符号化方法、映像再生装置、映像再生方法、映像記録媒体、及び映像データストリーム | |
| CN106296781B (zh) | 特效图像生成方法及电子设备 | |
| WO2016209167A1 (en) | Systems and methods for generating 360 degree mixed reality environments | |
| JP2002157607A (ja) | 画像生成システム、画像生成方法および記憶媒体 | |
| JP2015114716A (ja) | 画像データ再生装置および画像データ生成装置 | |
| JP2009187210A (ja) | 仮想移動表示装置 | |
| JP2013250470A (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
| US10244220B2 (en) | Multi-camera time slice system and method of generating integrated subject, foreground and background time slice images | |
| JP6727106B2 (ja) | 画像音響処理装置および画像音響処理方法、プログラム | |
| JP2006310936A (ja) | 任意視点映像生成システム | |
| KR101654009B1 (ko) | 4d 데이터 재생 방법 및 시스템 | |
| CN113382224A (zh) | 一种基于全息沙盘的交互手柄展示方法及装置 | |
| WO2019034804A2 (en) | THREE-DIMENSIONAL VIDEO PROCESSING | |
| JP2003323170A (ja) | 画像表示システムと画像処理装置及び画像表示方法 | |
| US10075693B2 (en) | Embedding calibration metadata into stereoscopic video files | |
| KR101694467B1 (ko) | 체감형 실내 운동 기구 제어 장치 및 그 방법 | |
| CN113376858A (zh) | 一种基于全息沙盘的全息展示方法及装置 | |
| TWI759351B (zh) | 投影系統、方法、伺服器和控制介面 | |
| KR101190020B1 (ko) | 프리젠테이션 동영상 제작 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체 및 그 프로그램이 저장된 서버 시스템 | |
| KR20160038957A (ko) | 4d 데이터 생성 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| R401 | Registration of restoration |