KR20060007845A - 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법 - Google Patents

비디오 신호를 이용한 동작 효과 제공 시스템 및 방법 Download PDF

Info

Publication number
KR20060007845A
KR20060007845A KR1020040057243A KR20040057243A KR20060007845A KR 20060007845 A KR20060007845 A KR 20060007845A KR 1020040057243 A KR1020040057243 A KR 1020040057243A KR 20040057243 A KR20040057243 A KR 20040057243A KR 20060007845 A KR20060007845 A KR 20060007845A
Authority
KR
South Korea
Prior art keywords
motion effect
video
data
motion
signal
Prior art date
Application number
KR1020040057243A
Other languages
English (en)
Inventor
장성훈
유승헌
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040057243A priority Critical patent/KR20060007845A/ko
Publication of KR20060007845A publication Critical patent/KR20060007845A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은 사용자에게 오디오/비디오(AV) 재생과 동기하여 물리적 진동이나 움직임을 제공하도록 구성된 동작 효과 제공 시스템 및 방법에 관한 것으로, 종래 동작 효과 제공 시스템 중 별도의 구동 수단을 특정 동작 효과 제어 신호로 제어하는 시스템은 AV 재생부가 제공하는 디지털 오디오 신호를 재생과 동작 효과를 동기화하기 위한 수단으로 이용하므로 이를 위한 처리가 복잡하여 재생 위치 변경시 지연이 발생하고, 오동작의 위험이 많으며 시스템 구현 비용이 대단히 높을 뿐만 아니라, 재생할 AV 매체의 디지털 오디오 신호를 샘플링한 동기화용 정보 및 동작 효과 정보가 각 AV 매체별로 마련되어야 하는 추가적인 부담이 지속되는 문제점이 있었다. 이와 같은 문제점을 감안한 본 발명은 비디오 신호에 동작 효과 정보를 삽입하고, 이를 재생하는 경우 상기 비디오 신호에 삽입된 동작 효과 정보를 추출하여 기 설정된 동작 효과들 중 상기 동작 효과 정보가 지시하는 동작 효과를 기반으로 하나 이상의 구동 수단을 제어함으로써, 별도의 동기화 절차나 복잡한 비교 절차 없이도 비디오 신호에 포함된 동작 효과 정보를 쉽게 추출하여 지연 없는 물리적 자극을 사용자에게 제공할 수 있으며, 하드웨어 구성을 단순화하여 저렴한 비용으로 높은 수준의 가상 현실감을 제공할 수 있는 효과가 있다.

Description

비디오 신호를 이용한 동작 효과 제공 시스템 및 방법{MOTION EFFECT PROVIDING SYSTEM THROUGH VIDEO SIGNAL AND METHOD THEREOF}
도 1은 단순 오디오 신호를 이용하는 종래의 동작 효과 제공 시스템을 보인 간단한 블록도.
도 2는 오디오 신호를 동기 신호로 사용하는 종래의 동작 효과 제공 시스템을 보인 간단한 블록도.
도 3은 본 발명 일 실시예의 개념도.
도 4는 본 발명 일 실시예의 블록도.
도 5는 본 발명 일 실시예의 동작 효과 목록 및 변형 예.
도 6은 본 발명 일 실시예의 동작 효과 지시 데이터 포멧.
도 7은 본 발명에 따른 동작 효과 지시 데이터가 포함된 비디오 신호의 일 실시예.
도 8은 일반적인 아날로그 비디오 신호의 구성.
도 9는 본 발명에 따른 동작 효과 지시 데이터가 포함된 비디오 신호의 다른 실시예.
도 10은 본 발명에 따른 동작 효과 지시 데이터가 포함된 비디오 신호의 또다른 실시예.
도 11은 도 8또는 도 9와 같은 비디오 신호로부터 동작 효과 지시 데이터를 추출하기 위한 구성을 보이는 블록도.
도 12는 본 발명에 따른 동작 효과 지시 데이터가 포함된 오디오/비디오 데이터를 생성하기 위한 퍼스널 컴퓨터용 어플리케이션의 예.
도 13은 본 발명 일 실시예에 따른 동작 효과 제공 시스템의 구동 절차를 보인 순서도.
*도면의 주요 부분에 대한 부호의 설명*
100: 실감 AV 디스크 200: AV 재생부
300: 표시부 및 음향 발생부 400: 동작 효과 제공 장치
410: 동작 효과 데이터 추출부 411: 동기 추출기
412: 카운터 413: ADC 및 데이터 추출부
420: 동작 효과 데이터베이스 430: 동작 효과 생성부
500: 구동부 제어 및 구동신호 생성부 550: 구동부
600: 동작 효과 지시 데이터 700: 동작효과 편집기
710: 비디오 스트림 표시 영역 720: 동작 효과 편집 영역
730: 동작 효과 선택 영역
본 발명은 사용자에게 오디오/비디오(이하, AV라 칭함) 재생과 동기하여 물 리적 진동이나 움직임을 제공하도록 구성된 동작 효과 제공 시스템 및 방법에 관한 것으로, 특히 비디오 데이터에 특정한 동작을 지시하는 동작 효과 지시 데이터를 사용자가 인지하지 못하도록 삽입한 후, 해당 비디오 데이터를 재생하는 경우 상기 동작 효과 지시 데이터를 추출하여 하나 이상의 구동부를 지시에 따라 구동시켜 사용자가 가상 현실감을 느낄 수 있도록 한 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법에 관한 것이다.
무성 영화가 첫선을 보인 후 한 세기가 지나는 동안 영상과 음향에 대한 기술은 눈부신 발전을 이루어왔다. 그에 따라 넓고 선명한 화면과 입체 음향을 제공하는 대단위 시스템에서 부터 홈시어터를 구성할 수 있는 개인용 시스템에 이르기까지 폭넓은 AV 재생 시스템들을 주위에서 쉽게 찾아볼 수 있다.
이는 여가 시간이 많아진 현대인들이 보다 높은 수준으로 영상물을 시청하고자 하는 욕구에 의한 것으로, 더 넓고 선명한 화면과 더 많은 채널의 서라운드 입체 음향에 대한 욕구는 보다 사실적인 영상과 음향을 즐기고 싶어하는 사람들의 성향을 잘 나타내고 있다.
따라서, 최근의 진보된 AV 기술들은 시청자가 시각과 청각외의 또다른 감각을 통해 사실감을 얻을 수 있도록하는 노력을 기울이고 있다. 즉, 촉각이나 평형감각을 자극할 수 있는 새로운 수단을 이용하여 AV 시청자가 실제 영상에서의 동작을 체감할 수 있도록 한 시스템들이 개발되고 있다.
이러한 실감 AV 시스템들은 AV 영상 내의 움직임에 따라 특정한 동작 효과 를 제공해주는 시스템이며, 놀이동산의 체감 놀이기구나 가상 현실 시스템에서의 체감 장치로서 사용되고 있다. 하지만, 이러한 체감 놀이 기구나 가상 현실 시스템에서의 체감 장치들은 전용 재생 수단과, 상기 전용 재생 수단과 특정한 통신 채널을 통해 동기화 정보를 획득한 후 재생 중인 AV에 동기화된 동작 효과를 전용 구동장치를 통해 제공하도록 구성된 동작 효과 제공 수단이 필요하게 되므로 전용 수단들을 모두 구비해야만 동작 효과를 경험할 수 있어 개인이 소장하기는 어렵다. 또한, 전용 AV 데이터를 통해서만 이러한 효과를 경험할 수 있으며, 표준 영상 포멧에 따른 AV 매체나 일반 영상들을 통해서는 이러한 동작 효과를 얻을 수 없다.
따라서, 일반 AV 매체나 영상을 재생하면서 촉감이나 평형 감각을 자극하여 현실감을 높여줄 수 있도록 하면서도 시스템 부피를 최소화한 개인이나 가족 단위의 체감 AV 시스템들도 개발되었다.
도 1은 종래의 가장 일반적인 동작 효과 제공 시스템의 구성 블록도로서, 도시한 바와 같이 단순한 오디오 신호를 이용하여 사용자에게 진동을 제공해 주는 구성을 가진다. 즉, 저음에서 스피커가 심한 진동을 일으킨다는 것에 착안하여 소리는 나지 않지만 진동은 더욱 크게 발생하도록 한 무음 진동 스피커(35)를 시청자 의 피부에 접촉시키거나 관람용 의자에 장착한 후, AV 재생에 따른 오디오 신호를 증폭부(30)를 통해 필터링 및 증폭하여 상기 무음 진동 스피커(35)를 진동시키도록 한 동작 효과 제공 수단을 구성한 것이다. 이를 일반적인 AV 재생부(10)와 표시부 및 음향 발생부(20)로 이루어진 AV 재생 환경에 부가하는 것 만으로 시청자는 저음이 발생되는 부분에서 물리적인 진동을 느낄 수 있게 된다.
이는 비교적 저렴하고 간단한 구성을 통해 시청자에게 촉감이 자극되는 경험 을 제공할 수 있지만, 단순히 오디오 신호에서 발생하는 저음에 반응하는 것이므로 화면상의 동작에 대응하지 않는 경우가 많고, 관람용 의자에 장착되는 경우 시청자가 느끼는 진동이 대단히 미약하여 현실감이 극히 낮은 문제점이 있다. 즉, 단순히 약간의 진동만 제공되는 신기함에 불과할 뿐, 동작의 제어등이 불가능하므로 시청자에게 현실감을 주지는 못한다.
도 2는 비교적 뛰어난 현실감을 제공하는 개인 또는 가족 단위 동작 효과 제공 시스템의 블록도로서, 하나 이상의 개별 제어 가능한 구동부들(75a~75d) 및 이를 정확하게 제어해 줄 수 있는 구동부 제어 및 구동신호 생성부(70)로 이루어진 구동 수단과, 상기 구동 수단에 특정한 동작 효과를 AV 데이터에 동기시켜 제공할 수 있는 동작 효과 제공 장치(60)를 포함하는 본격적인 실감 AV 시스템이다. 이 시스템의 특징은 일반적인 AV 재생부(10)와 표시부 및 음향 발생부(20)로 이루어진 AV 재생 환경에 부가하여 일반적인 AV 매체를 재생하면서 현실감 있는 동작 효과를 제공할 수 있도록 한 것이다. 이를 위해 일반 AV 매체의 재생 시점과 동작 효과의 동기가 중요한데, 이를 위해 오디오 신호를 이용한다는 것에 주목할 필요가 있다.
도시된 구조를 살펴보면, 일반 AV 디스크(DVD, BD 등)(41)를 일반 재생 수단인 AV 재생부(40)를 통해 재생하도록 하고, 이를 텔레비젼, 프로젝터 등과 같은 표시부 및 오디오 시스템 등의 음향 발생부로 이루어진 표시부 및 음향 발생부(50)로 시청하는 전형적인 재생 환경을 구현한다. 하지만, 여기에 사용되는 상기 AV 재생부(40)는 반드시 특정한 디지털 포멧에 따라 패킷화된 오디오 신호를 출력할 수 있어야 하는데, 그 이유는 다음에 언급한다.
여기서, 재생되는 AV 진행 상태에 따라 적절한 동작 효과를 상기 구동 수단으로 제공하는 동작 효과 제공 장치(60)의 구조를 보면, 상기 전형적인 재생 환경에서 얻어지는 오디오 신호를 디지털 데이터 패킷으로 디코딩하는 오디오 디코더(45)와, 재생할 일반 AV 디스크(41)를 미리 분석하여 특정한 동작 효과가 필요한 부분에 대한 오디오 신호들을 특정한 동작 효과를 지시하는 데이터와 함께 저장한 동기화 데이터베이스(63)와, 상기 오디오 디코더(45)로부터 받은 패킷 오디오 데이터를 상기 동기화 데이터베이스(63)에 저장된 오디오 신호들과 비교하여 해당하는 것이 있는 지를 판단하는 동기 분석부(61)와, 미리 만들어진 동작 효과 데이터들이 저장된 동작 효과 데이터베이스(64)와, 상기 동기 분석부(61)에 의해 재생 중인 부분과 일치하는 것으로 판단된 동기용 오디오 신호에 대응하는 동작 효과 지시 데이터를 상기 동기화 데이터베이스(63)로부터 받아 지시된 동작 효과 데이터를 상기 동작 효과 데이터베이스(64)로부터 획득한 후, 이를 기반으로 구동 수단을 제어할 동작 효과 신호를 구동 수단으로 제공하는 동작 효과 생성부(62)로 이루어진다.
여기서, 상기 동기화 데이터베이스(63)의 데이터는 재생할 일반 AV 매체의 오디오 데이터 중 원하는 위치의 오디오 데이터를 미리 추출한 것과, 해당 오디오 데이터가 재생되는 시점에서 실행되어야 할 동작 효과들을 정의해 둔 동작 효과 지시 데이터이며, 이는 재생할 AV 매체, 즉 일반 AV 디스크(41)가 교체된다면 저장된 동기화 데이터베이스(63)가 무용지물이 된다는 것을 의미한다.
따라서, 일반 AV 디스크(41)에 맞추어 개발사에서 동작 효과가 필요한 시점의 오디오 부분을 샘플링하고, 그에 따른 동작 효과 지시 데이터를 생성한 동기화 데이터베이스용 전용 디스크(대부분 디지털 데이터 컴팩트 디스크)(42)를 따로 만들어 판매하고 있으며, 이를 위해 상기 동작 효과 제공 장치(60)에는 상기 전용 디스크(42)를 재생하기 위한 매체 재생부(65)가 부가될 수 있다. 혹은 이 정보를 퍼스널 컴퓨터 등을 통해서 제공할 수도 있으므로 이를 위한 통신 수단이 부가될 수 있다. 그로인해, 상기 동기화 데이터베이스(63)는 내용 갱신이 가능한 하드 디스크로 이루어진다. 상기 하드 디스크에 여유 공간이 있다면 동작 효과 데이터베이스(64)에 저장되는 동작 효과 데이터 역시 특정한 파일들의 집합으로 구성하여 일정 영역에 저장될 수 있다.
즉, 오디오 신호를 이용하여 재생되는 일반 AV 매체의 진행 과정과 동작 효과를 동기화 시키기 위해서는 재생할 AV 매체의 오디오 신호를 미리 분석하여 샘플링한 자료들과 그에 따른 동작 효과 지시 데이터가 필요하므로 매번, 새로운 AV 매체를 구입할때 마다 이를 위해 제작된 동기화 데이터베이스용 데이터들을 전용디스크 상태나 정보 데이터 상태로 구해야 하며, AV 매체를 교체할때마다 동기화 데이터베이스에 해당하는 데이터가 존재하는 지를 파악하여 없다면 내용을 갱신해 주어야 한다.
또한, 오디오 신호를 이용하기 때문에 AV 내용 중 유사한 오디오 신호가 사용되는 부분이 존재한다면 판독 오류가 발생할 수 있고, 사용자가 AV 재생 위치를 변화시키는 경우 변화된 새로운 AV 진행 위치에 따른 동기화를 실시하기 위해 수초간의 검색 시간이 필요하게 되므로, 원하는 장면을 찾기 위해 조금씩 전진시키거나 후진시키는 경우에는 조작 지연이 많이 발생하는 문제점이 있다.
그리고, 여기서 사용되는 오디오 신호는 특정한 포멧에 맞추어진 디지털 오디오 신호로서, 디코더를 통해 패킷 단위로 구분될 수 있어야 한다는 제한이 있다. 만일, 일반적인 아날로그 오디오 신호를 동기화 데이터로 사용한다면, 정적인 시점이 아닌 소정 기간동안의 오디오 데이터들을 비교해야 하므로 어디에서 어디까지를 비교해야할지 모호하고, 비교 시간도 대단히 오래 걸리게 되므로 빠른 검색이 어려워 실제 적용이 어려운 문제점이 발생하게 된다.
비록 패킷으로 구분된 오디오 신호들을 획득하여 동기화 데이터베이스의 오디오 데이터들과 비교한다 할지라도 그 처리 시간을 가능한 줄여야 하므로 상기 동기 분석부는 고성능 디지털 신호 처리기로 이루어져야 하며, 하드디스크를 이용하기 때문에 데이터 입출력 제어를 실시하기 위해 별도의 제어부가 더 필요할 뿐만 아니라, 매체 재생부가 부가되는 경우라면 이를 제어하여 하드디스크에 데이터를 옮기는 작업도 실시해야 하므로 상기 제어부의 부담이 커지게 되는 문제점이 있다.
즉, 종래 동작 효과 제공 시스템은 가정용이나 소규모 인원이 가상 현실감을 느낄 수 있도록 설계된 것이지만, 그 설계 이념 상 디지털 오디오 신호를 동기화 수단으로 이용하므로 이를 위한 처리가 복잡하여 시스템 구현 비용이 대단히 높아지며, 상기한 바와 같이 매번 새로운 AV 디스크가 출시되면, 그보다 늦게 공급되는 전용 디스크나 데이터를 별도로 구입해야 하므로 추가되는 비용이 지속적으로 발생하는 문제점이 있다.
상기와 같은 문제점을 감안한 본 발명은 일반적인 비디오 신호에 사용자가 인식하지 못하도록 동작 효과 지시 데이터를 숨기고, 이를 재생하는 경우 상기 비디오 신호에 숨겨진 동작 효과 지시 데이터를 추출하여 기 설정된 동작 효과들 중 상기 동작 효과 지시 데이터에 지시된 동작 효과를 이용하여 하나 이상의 구동부들을 제어하는 구동부 제어 및 구동 신호 생성 수단을 제어함으로써 별도의 동기화 절차 없이도 지연 없는 물리적 자극을 사용자에게 제공할 수 있도록 한 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법을 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기위한 본 발명은, 동작 효과 정보가 비디오 신호에 삽입된 오디오/비디오 매체와; 상기 오디오/비디오 매체를 재생하는 매체 재생부와; 상기 매체 재생부의 비디오 신호를 획득하여 삽입된 동작 효과 정보를 추출하고, 이를 기반으로 비디오 신호에 동기된 동작 효과 제공을 위한 제어 신호를 출력하는 동작 효과 제공 장치와; 상기 동작 효과 제공 장치의 제어 신호에 의해 사용자에게 물리적 자극을 제공하는 구동수단을 포함하는 것을 특징으로 한다.
상기 동작 효과 제공 장치는 상기 매체 재생부의 비디오 신호를 분석하여 동작 효과 정보를 추출하는 동작효과 데이터 추출부와; 특정한 동작 효과 데이터들이 저장된 동작 효과 데이터베이스와; 상기 동작 효과 데이터 추출부가 획득한 동작 효과 정보를 이용하여 상기 동작 효과 데이터베이스로부터 적합한 동작 효과 데이터를 획득하고 이를 기반으로 상기 구동 수단을 제어하는 제어 신호를 생성하는 동작 효과 생성부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 오디오/비디오 재생 및 기록이 가능한 매체와; 오디오/비디 오 재생 및 기록이 가능한 매체 재생 및 기록 수단과; 상기 매체 재생에 따른 비디오 영상 확인이 가능한 표시 수단과; 사용자의 조작에 의해 상기 표시 수단에 표시되는 위치의 비디오 영상에 원하는 동작 효과 정보를 삽입한 후 상기 매체 재생 및 기록 수단을 제어하여 상기 동작 효과 정보가 삽입된 비디오 영상 데이터를 상기 매체에 저장하는 편집 수단을 포함하는 것을 특징으로 하는 특징으로 한다.
그리고, 본 발명은 동작 효과 정보가 삽입된 비디오 데이터를 생성하고 이를 소정의 매체에 저장하는 단계와; 상기 매체를 일반적인 재생 수단으로 재생하여 표준과 호환되는 비디오 신호를 출력하는 단계와; 상기 비디오 신호를 획득하여 동작 효과 정보를 추출한 후 해당 동작 효과 정보에 따른 구동부 제어 신호를 생성하는 단계와; 상기 생성된 구동부 제어 신호로 구동부를 제어하는 단계를 포함하는 것을 특징으로 한다.
상기 구성에 따른 본 발명의 실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.
도 3은 본 발명 일 실시예에 따른 시스템 구성 예를 보인 개념도로서, 도시한 바와 같이 일반 AV 매체와 동일한 포멧에 따르면서 비디오 데이터에 동작 효과 정보가 포함된 실감 AV 디스크(100)와, 상기 실감 AV 디스크(100)를 포함하는 표준 AV 디스크를 재생할 수 있는 일반 AV 재생부(200) 및 일반적인 표시부 및 음향 발생부(300)로 이루어진 기본적인 AV 관람 장치와, 상기 일반 AV 재생부(200)의 출력 비디오 신호로부터 동작 효과 정보를 추출하여 이를 기반으로 동작 효과 구현을 위한 구동 제어 신호를 출력하는 동작 효과 제공 장치(400)와, 상기 동작 효과 제공 장치(400)로부터 제공되는 구동 제어 신호를 이용하여 사용자에게 물리적 자극을 제공하는 복수의 구동부(550)를 적절히 구동시키는 구동부 제어 및 구동 신호 생성부(500)를 그 기본 구성으로 한다.
여기서, 사용자에게 물리적 자극을 제공해 줄 수 있는 구동 수단(500, 550)은 사용자가 AV를 시청하는 관람석에 적용되어 상기 관람석을 3차원적으로 움직여 줌으로써 현실감을 높일 수 있는 구성을 가질 수 있고, 이를 위해 상기 구동 수단(500, 550)은 관람석 및 관람석 지지부(다리들)에 장착될 수 있다. 비록, 동작 효과 제공 장치(400)를 관람석과 분리된 상태로 도시하였으나, 상기 동작 효과 제공 장치(400) 역시 상기 관람석 내부에 장착될 수도 있다.
상기 구성을 통해 사용자는 실감 AV 디스크(100)의 재생에 따른 비디오 영상과 음향을 시청하면서 비디오 영상의 움직임에 동기되어 3차원적인 동작 효과를 제공하는 관람석에서 뛰어난 가상 현실감을 느낄 수 있다.
도 4는 도 3에 도시한 동작 효과 제공 시스템의 구조를 보다 상세히 보인 블록도로서, 도시한 바와 같이 사용자에게 실감 AV 환경을 제공하기 위해 구동부 제어 및 구동 신호 생성부(500)와 복수의 구동부(550)로 이루어진 구동 수단에 구동용 제어 신호를 제공하는 상기 동작 효과 제공 장치(400)의 구조를 보면, 일반적인 AV 재생부(200) 출력 비디오 신호를 분석하여 해당 비디오 신호에 사용자가 인지하지 못하도록 삽입된 동작 효과 정보(즉, 동작 효과를 지시하는 데이터)의 유무를 검사하고, 해당 데이터를 추출하는 동작 효과 데이터 추출부(410)와, 실감 AV 비디오 신호 생성을 위해 표준으로 정의한 복수의 동작 효과 데이터들이 저장된 동작 효과 데이터베이스(420)와, 상기 동작 효과 데이터 추출부(410)에서 추출한 동작 효과 지시 데이터를 기반으로 상기 동작 효과 데이터베이스(420)로부터 지시된 동작 효과 데이터를 획득하여 변형한 구동 수단 제어 신호들을 출력하는 동작 효과 생성부(430)로 이루어져 있다.
여기서, 상기 동작 효과 데이터베이스(420)는 표준화된 동작 효과 데이터들이 저장되는 부분이므로 기본적으로 비휘발성 메모리를 이용하면 되고, 표준화된 동작 효과들을 추가하거나 버전업(Version up)하는 경우를 대비하고자 하는 경우라면 기록 가능한 비휘발성 메모리(예를 들어 플래시 메모리 등)를 이용하면 된다. 이러한 단순 데이터 획득을 위한 메모리는 저사양 제어기를 이용하더라도 빠른 속도로 데이터 획득이 가능하므로 상기 동작 효과 데이터 추출부(410)나 동작 효과 생성부(430) 중 하나 혹은 이들 모두에 포함될 수 있는 제어 수단의 부담을 줄일 수 있다.
상기 동작 효과 데이터 추출부(410)는 일반적인 비디오 신호(NTSC/PAL, SVHS), 혹은 디지털 비디오 신호(VGA, SVGA, XGA 등)로 제공되는 AV 재생부(200)의 비디오 출력을 받아들여 사용자가 인지하지 못하게 숨겨진 동작 효과 지시 데이터를 추출하는 동작을 실시하며, 이 부분은 동작 효과 지시 데이터를 일반적인 비디오 신호에 삽입하는 다양한 실시예들에 따라 크게 변화될 수 있는 부분이다. 즉, 복잡한 연산이 필요한 방법을 사용할 경우 디지털 신호 처리기를 포함하는 구성이 사용될 수 있으며, 비교적 간단한 방법이 사용될 경우 단순한 마이크로 콘트롤러 만으로도 모든 작업이 가능해진다.
그리고, 동작 효과 생성부(430)는 물리적으로 상기 동작 효과 데이터 추출부(410)에 포함되는 제어기에 수용될 수 있는 기능이며, 여기서는 상기 동작 효과 데이터베이스(420)로부터 소정의 번호로 나열된 동작 효과 데이터들 중 하나를 획득하여 이를 적절히 변형할 수 있는데, 그 예를 도 4에 도시하였다.
도 5는 동작 효과 데이터베이스(420)의 구성 및 상기 동작 효과 생성부(430)에서 이들 중 하나의 동작 효과 데이터를 획득하여 적절히 변형하는 경우를 보인 것이다.
도 5a와 같이 상기 각각의 동작 효과 데이터들은 소정의 파형을 나타내는 디지털 데이터들로 이루어지며, 간단하게는 단순 웨이브 파일(.WAV)로 간주할 수 도 있다. 즉 적절한 샘플링 주파수로 이루어진 연속 변위값들의 집합으로 이루어진 것으로, 그 길이나 진폭 및 샘플링 주파수는 설계자의 설계 의도 및 구동부의 동작 특성에 의해 결정될 수 있다.
도 5b 내지 도 5e는 이들 중 하나(3번 데이터)를 간단한 변위값들로 변형시킨 것으로, 길이를 조절하는 시간 비율값과 진폭을 조절하는 크기 비율값을 적절히 제시하는 것으로 결과로 나타나는 동작 효과는 큰 차이를 보이게 되며, 이는 보다 섬세하고 다양한 물리적 자극을 사용자에게 전달할 수 있다는 것을 의미한다.
도 6은 상기 설명한 본 발명의 구성에서 핵심적으로 사용되는 동작 효과 지시 데이터의 대략적인 구성 형태를 보인 것으로, 이는 설계자의 의도나 표준화 정책에 따라 대단히 다양한 포멧으로 결정될 수 있다는 것에 주의한다.
도 6a는 도 4에 도시한 본 발명의 구조에 적합한 간단한 형태의 동작 효과 지시 데이터 포멧(600)으로서, 동작 효과 지시 데이터임을 나타내는 인덱스 필드(610)와, 원하는 표준 동작 효과 데이터 종류 및 구동 수단의 종류를 나타내는 필드(620)와, 상기 표준 동작 효과 데이터를 조절하는 값들을 위한 필드(630) 및 오류를 보정하기 위한 패리티값이나 오류보정 코드(ECC)를 위한 필드(640)를 포함한다. 그 외에도 미세 조절을 위해 지연 시간이나 페이드 인(fade in), 페이드 아웃(fade out)등을 위한 지시값들도 넣을 수 있으며, 이들 중 필요하지 않은 데이터를 뺄 수도 있다. 또한, 복수의 구동 수단을 이용하는 경우 하나의 동작 효과 지시 데이터 포멧 안에 각각의 구동 수단을 위한 지시값들이 나열될 수도 있고, 엇갈린 동작을 위해 하나의 동작 효과 지시 데이터 포멧 안에는 하나의 구동 수단을 위한 데이터만 기록될 수도 있다.
도 6b는 동작 효과 지시 데이터 내부에 표준 동작 효과 데이터를 지정하지 않고 직접 동작 효과를 위한 파형 데이터 자체가 동작 데이터 필드(625)로 포함되는 경우를 보인 것이다. 이러한 동작 효과 지시 데이터를 사용하게 되면 표준 동작 효과 데이터를 저장한 데이터베이스의 필요성이 줄어들기는 하지만, 보다 효과적인 구동을 위해서는 특수한 경우(표준 동작 효과에 없는 사용자 정의 효과를 부가하기 위한 경우)에만 선택적으로 지원되는 포멧으로 사용되는 것이 바람직하다.
따라서, 상기와 같은 동작 효과 지시 데이터(600)를 기 설명한 동작 효과 제공 장치(400)를 통해 획득 및 해석하여 구동 수단을 제어하는 것이 본 발명의 기본 구동 원리 중 하나이다.
여기서 한가지 주목할 점은 상기 실시예의 구성을 통해 알 수 있듯이 비디오 신호에 동작 효과의 종류 및 제공 방법(표준 동작 효과를 제공할 시간이나 그 강도 등의 변형을 포함)을 지시하는 동작 효과 지시 데이터가 삽입되어 있다는 것으로, 재생될 AV 매체(예를 들어, 도시된 실감 AV 디스크(100))에 이러한 동작 효과 지시 데이터가 삽입된 비디오 데이터가 저장되어 있어야 하며, 이를 일반적인 AV 재생부(200)를 통해 정상적으로 재생할 수 있어야 한다는 점이다.
즉, 본 발명에서는 실감 AV 디스크(100)의 종류가 일반 CD(VCD)이건, DVD이건, BD이건 상관 없이 소정의 일반 AV 재생부(200)를 통해 재생되는 비디오 신호에 동작 효과 지시 데이터가 삽입되어 제공되어야 하며, 이를 시청자가 눈치채지 못하도록 하여 본 발명의 동작 효과 제공 장치와 무관하게 정상적인 재생이 가능해야 한다. 다시 말해서, 본 발명은 기존에 사용되고 있던 AV 재생부(200)를 그대로 수용할 수 있는 범용 시스템으로 동작하며, 이는 고가의 AV 재생부(200)들과 표시부 및 음향 발생부(300)로 홈 시어터를 구축하고 있는 사용자들을 포괄할 수 있는 큰 장점을 제공할 수 있다.
이를 위해, 본 발명에서는 사용자가 인지하지 못하도록 동작 효과 지시 데이터를 표준 비디오 규격 내에 포함시키는 여러 방법들을 제안한다.
도 7은 본 발명 일 실시예에 따른 실감 AV 매체 생성 방법으로서, 일반적인 영상 데이터에 동작 효과 지시 데이터를 사용자가 인지하지 못하도록 삽입하는 한가지 방법을 설명하는 개념도이다.
도 7a에 도시한 바와 같이 영상 데이터가 제공하는 수 많은 화면 이미지들 중 하나의 이미지에 워터마크를 삽입한 후, 워터마크가 삽입된 이미지로 원본 영상 데이터 이미지를 대체시키는 방법이다. 워터마크를 생성하는 다양한 알고리즘들이 존재하지만, 대부분 특정한 키(비밀키)값을 이용하여 저작권 관련 정보를 숨겨진 정보(hidden data)로 삽입하여 워터마크 된 이미지를 생성하고, 상기 특정한 키값을 이용하여 워터마크된 이미지로부터 상기 숨겨진 정보를 획득할 수 있도록 하는 것을 기본으로 한다. 이러한 워터마크된 이미지에 숨겨진 특정 정보는 관찰자가 인지할 수 없기 때문에 도 7b에 도시한 바와 같이 순간적으로 지나가는 하나의 화면 프레임에 워터마크된 이미지를 삽입하는 경우, 사용자는 이를 눈치챌 수 없다.
하지만, 동작 효과 제공 장치(400)의 동작 효과 데이터 추출부(410)는 순간적으로 지나가는 이미지가 워터마크된 이미지인지 확인해야 한다. 이를 위해, 상기 동작 효과 데이터 추출부(410)는 내부적으로 아날로그 이미지(NTSC/PAL, SVHS)등을 디지털 데이터로 변환하여 하나의 디지털 이미지 정보를 획득하고, 특정한 키 (비밀키)값을 이용하여 해당 이미지의 워터마크 여부를 판단하거나 숨겨진 데이터(즉, 동작 효과 지시 데이터)를 빠른 시간 내에 추출할 수 있는 디지털 신호 처리기가 필요할 수 있다. 일반적인 비디오 신호는 주사선 방식으로 된 이미지 신호들 및 수직 동기 신호들을 포함하고 있기 때문에 하나의 이미지 데이터를 모두 획득한 후, 다음 이미지가 얻어지기 까지에는 약간의 시간 여유가 있으며, 워터마크된 이미지에서 숨겨진 데이터를 추출하는 것이 아닌 단순히 워터마크 여부만을 검출할 수 있는 알고리즘이 별도로 존재하므로 이를 이용하는 경우 순간적으로 진행되는 프레임 이미지들에 동작 효과 지시 데이터가 삽입되었는 지를 지연없이 검출할 수 있다.
만일, 제공되는 비디오 신호가 디지털 비디오 신호라면, 상기와 같이 아날로 그 이미지를 디지털 데이터로 변환할 필요가 없기 때문에 수신되는 디지털 영상 데이터를 그대로 이용할 수 있다. 또한, 아날로그 비디오 신호와 디지털 비디오 신호는 비교적 간단한 소자를 통해 상호 전환이 가능하므로 제공되는 비디오 신호의 종류로 본 발명이 제한되지 않는다는데 주의한다.
상기 설명한 방식으로 비디오 신호를 감시하다가 워터마크된 이미지를 검출하면 워터마크된 이미지로부터 동작 효과 지시 데이터를 획득하여 그에 따른 동작 효과로 구동부를 구동시키면 된다.
도 8은 본 발명에서 제안하는 또다른 동작 효과 지시 데이터 삽입 방법을 설명하기 위해서 제시한 일반적인 아날로그 비디오 신호의 구성을 보인 것으로, 여기서는 NTSC 방식의 비디오 신호를 도시하였다. 하지만, PAL 방식의 경우에도 주사선의 숫자만 다를 뿐 대부분 유사한 방식으로 구성되며, SVHS 방식의 비디오 신호 역시 동기 신호와 색상신호를 분리하여 고화질을 꽤했을 뿐, 이를 쉽게 NTSC/PAL 신호로 바꿀 수 있으므로 도시한 NTSC 방식의 비디오 신호만을 설명하도록 한다.
도 8a는 화면에 표시되는 수평 주사선들의 실제 신호 모습을 보인 것으로, 도시된 한 주기의 신호(Hdata)가 하나의 수평라인 이미지 정보(Idata)를 가지고 있다. 이러한 한 주기의 신호(Hdata)에는 수평 라인 동기화를 위한 수평 동기 신호(Hsyn)와 해당 수평 라인에 대한 컬러 신호등이 부가되는 부분이 존재하며, 그 외에 도시되지는 않았지만 프론트 포치(front porch)와 백포치(back porch) 부분도 존재한다. 여기서, 실제 화면에 표시되는 한 라인의 이미지는 Idata 부분으로서, 일반적으로 약 52㎲의 길이를 가지며, 그 시간동안 한 라인에 대한 픽셀 데이터들 을 연속되는 아날로그 값으로 나타내고 있다. 이러한 신호는 컬러버스트 신호와의 상관관계를 제외하면 단순한 휘도값을 의미하게 되는데 더 큰값을 가질수록 밝은 이미지를 의미한다. 따라서, 52㎲의 시간을 화면의 가로축 좌표 지정의 범위로 간주한다면 소정의 시간에 따른 좌표 위치가 결정되게 되는데, 52㎲에 속하는 임의의 시점에 해당하는 아날로그 값을 강제로 흑색값에 해당하는 전압으로 바꾸거나 백색값에 해당하는 전압으로 바꾸면 화면 상에 해당 휘도의 점이 나타나게 된다. 이를 통해 특정한 레벨의 데이터를 실제 표시 화면 상에 나타낼 수 있고, 이러한 기법을 좀더 발전시킨 것이 온 스크린 디스플레이(OSD)이다.
따라서, 원하는 수평 라인의 이미지 대신에 원하는 데이터를 디지털-아날로그 변환 수단을 이용하여 적당한 시간 길이로 삽입할 수 있으므로 동작 효과 지시 데이터를 아날로그 신호로 변환하여 삽입할 수 있다. 이를 판독하는 경우를 보면, 특정한 수평라인 신호를 수평 동기 신호(Hsyn)의 숫자를 통해 판단한 후, 판독 시점을 해당 수평 동기 신호(Hsyn)를 기준으로 하여 원하는 데이터를 원하는 샘플링 시간 간격으로 샘플링한다면 한 주기의 수평라인 신호(Hdata)로부터 포함된 신호값을 읽어들여 이를 아날로그-디지털 변환 수단으로 변환하면 삽입한 동작 효과 지시 데이터를 획득할 수 있다.
도 8b는 홀수 프레임과 짝수 프레임 쌍으로 하나의 화면을 만드는 비디오 데이터 중에서 홀수/짝수 프레임 중 하나의 프레임에 대한 신호 구성을 보인 것으로, 도시된 바와 같이 수직 동기를 위한 일정 길이의 수직 동기 신호(Vsyn)와, 하나의 프레임 화면(Fdata) 구성을 위한 수평 신호들(Hdata)이 화면 상단에서 하단쪽 방향 으로 나열되어 있으며, 각 수평 신호들(Hdata)의 구성은 도 7a와 같다. 여기서 주목할 부분은 하나의 프레임 데이터(Fdata)가 모두 화면 상에 표시되지는 않는다는 점이다. 즉, 하나의 프레임 데이터(Fdata) 중에서 화면 상단의 일부 수평라인 데이터들(Inr1)과 화면 하단의 일부 수평라인 데이터들(Inr2)은 비디오 신호에 포함은 되지만 실제 화면상에 표시되지는 않는 부분들이다. 현재, 공중파 방송에서는 이러한 부분들에 시간 정보 등을 담고 있으며, 일부 캡션 비디오에서는 캡션 데이터를 담고 있다.
따라서, 앞서 언급한 바와 같이 화면의 이미지 영역 중 일부 영역에 데이터를 삽입하는 방법으로 동작 효과 지시 데이터를 삽입하는 경우, 실제 화면 상에 표시되는 영역의 수평 이미지 신호에 해당 데이터를 삽입하거나, 실제 화면 상에 표시되지 않는 영역의 수평 이미지 신호에 해당 데이터를 삽입할 수 있다는 것을 알 수 있다. 특히, 수십 바이트 이상의 데이터가 한줄의 수평라인 신호에 삽입될 수 있기 때문에 수십~수백 바이트 정도의 동작 효과 지시 데이터는 한두줄 정도의 수평라인 신호에 삽입될 수 있다.
도 9는 본 발명 다른 실시예에 따른 실감 AV 매체 생성 방법으로서, 일반적인 영상 데이터에 동작 효과 지시 데이터를 사용자가 인지하지 못하도록 삽입하기 위해 상기 도 8에 설명한 방법 중 하나를 이용하는 것이다.
즉, 도 9에 도시한 방법은 실제 수 많은 프레임들로 한 장면의 비디오 신호들이 구성됨에 따라, 이를 구성하는 한 프레임의 이미지에서 화면의 일부 영역, 특히 시청자가 의식하기 어려운 화면의 경계 부분에 동작 효과 지시 데이터를 삽입하 는 방법이다. 이를 통해 사용자가 거의 인지할 수 없는 시간동안에만 표시되는 화면의 일부 수평 신호에 동작 효과 지시 데이터를 삽입할 수 있다. 특히, 순간적으로 제공되는 동작 효과 지시 데이터 삽입 부분은 어떠한 의미를 가지지 않는 단순 노이즈(noise)이며, 사용자의 시선이 집중되지 않는 부분에서 순간적으로 나타나므로 사용자의 무의식에 영향을 주지는 않는다.
도 10은 상기 도 9와는 유사하지만, 일반 AV 재생부가 AV 매체를 재생하면서 매체의 비디오 데이터를 기반으로 화면 미표시 영역 신호를 포함하는 비디오 신호를 생성하여 출력하는 경우에 적용될 수 있는 방법이다.
즉, 도시된 바와 같이 하나의 화면을 나타내기 위한 홀수/짝수 필드의 구성 상 실제 비디오가 표시되는 영역의 상하부에 위치한 미표시 영역에 동작 효과 지시 데이터를 삽입하는 방법으로서, 화질의 저하 없이 원하는 데이터를 삽입할 수 있으며, 이미 공중파나 다른 표준에서 사용중인 영역을 벗어난 여유 영역을 이용할 수 있고, 필요한 경우라면 이러한 기존 표준을 무시하고 삽입될 수도 있는데, 이는 특정한 AV 감상용 매체를 이용하는 경우, 공중파나 다른 표준과 충돌할 가능성이 적기 때문이다.
도 11은 상기 도 9또는 도 10에 도시한 동작 효과 지시 데이터를 추출하기 위한 동작 효과 데이터 추출부의 간단한 구성 예를 보인 것으로, 이 경우 도시한 바와 같은 비교적 단순하고 저렴한 하드웨어 만으로도 동작 효과 지시 데이터를 비디오 신호로부터 추출할 수 있음을 알 수 있다.
먼저, 동기 추출기(411)는 일반 AV 재생부가 출력하는 비디오 신호를 분석하 여 수직 동기 신호와 수평 동기 신호 및 홀수/짝수 필드 구별 신호를 제공한다. 이는 이미 여러 목적으로 사용될 수 있도록 상용화된 범용 비디오 동기 추출기를 이용할 수 있다.
상기 추출된 동기 신호를 카운터(412)를 이용하여 카운트하면 원하는 위치의 수평 동기 신호의 시작 시점을 알 수 있게 된다. 따라서, 특정한 위치나 특정 위치 범위를 ADC 및 데이터 추출부(413)가 알 수 있게 되는 것이다.
상기 ADC 및 데이터 추출부(413)는 상기 카운터(412)의 신호에 따라 비디오 신호를 분석하여 아날로그 휘도 신호를 디지털 데이터로 변환하고, 이렇게 변환된디지털 데이터를 이용하여 동작 효과 지시 데이터임을 나타내는 인덱스 정보를 검출하며, 인덱스가 검출되면 기 설정된 포멧에 맞추어 후속하는 동작 효과 지시 데이터들을 모두 추출할 수 있다. 따라서, 상기 ADC 및 데이터 추출부(413)는 간단한 ADC 기능을 구비한 범용 마이크로 콘트롤러일 수 있으며, 상기 카운터(412) 기능도 포함하고 있을 수 있다.
도 12는 본 발명 일 실시예에 따른 실감 AV 매체를 생성하기 위한 퍼스널 컴퓨터용 동작 효과 편집기(700)를 보인 것이다. 도시된 사용자 인터페이스는 기본적인 편집을 위한 것으로, 더욱 세분화 되고 많은 기능들이 부가될 수 있으며, 편집의 개념도 다양할 수 있으나, 여기서는 단순히 화면 프레임을 통해 일정 시간 단위로 동작 효과를 편집할 수 있도록 한 것이다.
상기 동작 효과 편집기(700)는 일반 사용자나 AV 매체를 시판하는 업체에서 특정한 영상을 실감 AV 지원 매체로 만들기 위해 사용할 수 있는 것으로, 특정 영 상을 불러들이면 비디오 스트림 표시 영역(710)에 영상들이 프레임 별로 나타나게 되고, 사용자는 이를 조절하여 원하는 동작 효과 지시 데이터 삽입 위치를 결정한다.
이렇게 결정된 동작 효과 지시 데이터 삽입 프레임 위치를 기준으로 소정 시간 동안의 효과를 편집할 수 있도록 각 구동 수단(여기서는 4개의 개별 구동 수단) 별 편집 영역을 제공하는 동작 효과 편집 영역(720)에 하단부에 나열된 동작 효과들을 선택하여 붙인 후 크기와 길이를 조절하는 식으로 동작 효과를 편집할 수 있다.
상기 하단부의 동작 효과 선택 영역(730)에 제공되는 동작 효과들은 표준 동작 효과 데이터들을 시각적으로 나타낸 것이다.
상기와 같은 수단들을 이용하여 원하는 삽입 위치와, 원하는 동작 효과 및 동작 효과의 변형 정도값이 결정되면, 이를 상기 프레임 영상에 앞서 설명했던 방법들 중 하나를 이용하여 시청자가 인식하지 못하도록 삽입한다.
이런 과정을 모두 마친 후 상기 변형된 프레임들을 가지는 영상을 특정한 매체(예를 들어 VCD, DVD, BD 등)의 형식에 맞춘 전용 비디오 데이터로 저장한 다음 이를 해당 매체에 기록한다. 또한, 이렇게 편집한 내용을 동작 효과 지시 데이터와 삽입 위치 정보로 추출하여 별도의 파일로 관리할 수도 있다. 이렇게 생성된 AV 매체는 실감 AV를 지원함과 동시에 일반 AV 재생부를 통해서도 이상 없이 재생될 수 있다.
상기 실감 AV 매체의 생성은 AV 영상 매체 판매자 뿐만 아니라 특정 매체를 기록할 수 있는 수단(CD 기록기, DVD 기록기, BD 기록기 등)을 구비한 개인도 가능하며, 별도의 파일로 추출된 동작 효과 지시 데이터와 삽입 위치 정보는 여러 경로를 통해 공유될 수도 있다.
도 13은 전술한 과정을 통해 생성한 실감 AV 매체를 재생하는 경우 일반적인 재생 환경에 부가한 동작 효과 제공 장치 및 구동 수단의 동작 과정을 보인 순서도이다.
도시한 바와 같이 먼저, 일반적인 AV 재생부를 통해 실감 AV 매체를 재생하면, 일반적인 표시부로 감상할 수 있는 비디오 신호가 출력되며, 이를 동작 효과 제공 장치가 획득하여 내부 동작 효과 데이터 추출부에서 비디오 신호를 분석한다.
비디오 신호의 분석은 동작 효과 지시 데이터의 삽입 여부만을 우선적으로 판단하도록 하며, 동작 효과 지시 데이터의 삽입 여부가 판단되면, 그 기준이 되는 인덱스 정보에 후속하는 동작 효과 지시 데이터를 추출 및 분석하여 가용할 수 있는 데이터로 만들고, 해당 데이터로부터 표준 동작 효과를 지시하는 내용에 의해 상기 동작 효과 제공 장치에 구비된 동작 효과 데이터베이스를 검색하여 원하는 표준 동작 효과 데이터를 획득한다. 만일, 지정하는 동작 효과 데이터가 데이터베이스에 존재하지 않는 경우 해당 동작 효과 지시 데이터를 모두 무시한다.
상기 과정에서 원하는 동작 효과 데이터를 획득하면 이를 상기 동작 효과 지시 데이터에 포함된 변경값들로 변형하면서 그 신호를 시간에 따라 구동 수단에 제어 신호로 제공함으로서 구동부를 동작시킨다.
상기 과정은 해당하는 실감 AV 매체의 재생이 완료될때까지 반복되며, 그 완 료 여부는 비디오 신호를 분석하여 유효한 비디오 신호의 여부(각종 동기 신호들)를 확인하는 것을 알 수 있다.
전술한 바와 같이 본 발명은 동작 효과가 제공된 AV 영상 자체에 동작 효과를 지시하는 데이터를 시청자가 인식할 수 없도록 삽입하도록 하고 있으므로, 별도의 동기화 과정이 필요 없으며, 비교적 간단한 하드웨어 만으로 영상에 삽입된 동작 효과 지시 데이터를 획득하여 사용자에게 지연 없는 물리적 자극을 제공할 수 있다. 또한, 본 발명에서 제공하는 가상 현실감 체험을 위해 이미 사용 중인 AV 재생 시스템을 바꿀 필요가 없으며, AV 재생 시스템의 종류에도 둔감하므로 그 적용 범위가 대단히 넓어 광범위한 사용자층을 확보할 수 있을 것으로 기대된다.
상기한 바와 같이 본 발명 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법은 비디오 신호에 동작 효과 정보를 삽입하고, 이를 재생하는 경우 상기 비디오 신호에 삽입된 동작 효과 정보를 추출하여 기 설정된 동작 효과들 중 상기 동작 효과 정보가 지시하는 동작 효과를 기반으로 하나 이상의 구동 수단을 제어함으로써, 별도의 동기화 절차나 복잡한 비교 절차 없이도 비디오 신호에 포함된 동작 효과 정보를 쉽게 추출하여 지연 없는 물리적 자극을 사용자에게 제공할 수 있으며, 하드웨어 구성을 단순화하여 저렴한 비용으로 높은 수준의 가상 현실감을 제공할 수 있는 효과가 있다.

Claims (22)

  1. 동작 효과 정보가 비디오 신호에 삽입된 오디오/비디오 매체와;
    상기 오디오/비디오 매체를 재생하는 매체 재생부와;
    상기 매체 재생부의 비디오 신호를 획득하여 삽입된 동작 효과 정보를 추출하고, 이를 기반으로 비디오 신호에 동기된 동작 효과 제공을 위한 제어 신호를 출력하는 동작 효과 제공 장치와;
    상기 동작 효과 제공 장치의 제어 신호에 의해 사용자에게 물리적 자극을 제공하는 구동수단을 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  2. 제 1항에 있어서, 상기 사용자에게 물리적 자극을 제공하는 구동 수단은 관람용 좌석을 3차원적으로 움직일 수 있도록 구성된 복수의 구동부 및 이를 제어하는 구동 제어부를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  3. 제 1항에 있어서, 상기 동작 효과 제공 장치는 상기 매체 재생부의 비디오 신호를 분석하여 동작 효과 정보를 추출하는 동작효과 데이터 추출부와;
    특정한 동작 효과 데이터들이 저장된 동작 효과 데이터베이스와;
    상기 동작 효과 데이터 추출부가 획득한 동작 효과 정보를 이용하여 상기 동 작 효과 데이터베이스로부터 적합한 동작 효과 데이터를 획득하고 이를 기반으로 상기 구동 수단을 제어하기 위한 제어 신호를 생성하는 동작 효과 생성부를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  4. 제 1항에 있어서, 상기 비디오 신호에 삽입된 동작 효과 정보는 동작 효과 정보임을 나타내는 필드와, 원하는 동작 효과 데이터 종류 및 구동 수단의 종류를 나타내는 필드와, 상기 동작 효과 데이터를 변형하기 위한 값들을 위한 필드를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  5. 제 1항에 있어서, 상기 동작 효과 제공 장치에 제공되는 매체 재생부 출력 비디오 신호는 아날로그 비디오 신호인 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  6. 제 1항에 있어서, 상기 동작 효과 제공 장치에 제공되는 매체 재생부 출력 비디오 신호는 디지털 비디오 신호인 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  7. 제 1항에 있어서, 상기 오디오/비디오 매체는 동작 효과가 필요한 부분의 영상을 동작 효과 정보가 워터마크 기법으로 삽입된 영상으로 대체한 비디오 데이터가 저장된 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  8. 제 7항에 있어서, 상기 동작효과 데이터 추출부는 입력되는 비디오 신호를 개별 디지털 화면 이미지들로 변환하면서 비디오 신호에 워터마크로 삽입된 동작 효과 지시 데이터를 검출 및 추출하며, 이를 위해 워터마크 디코딩 수단을 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  9. 제 1항에 있어서, 상기 오디오/비디오 매체는 동작 효과가 필요한 시점에서 표시될 화면 중 사용자의 집중도가 낮은 일부 영역에 영상 정보 대신 동작 효과 정보를 삽입한 표준 규격 비디오 데이터가 저장된 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  10. 제 9항에 있어서, 상기 사용자의 집중도가 낮은 일부 영역은 화면의 중심 영역을 기준으로 영상의 상하좌우 외부 경계 영역인 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  11. 제 1항에 있어서, 상기 오디오/비디오 매체는 동작 효과가 필요한 시점에서 표시될 비디오 데이터 중에서 전송은 되지만 표시부에는 표시되지 않는 영역에 동작 효과 정보를 삽입한 표준 규격 비디오 데이터가 저장된 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  12. 제 11항에 있어서, 상기 전송은 되지만 표시부에 표시되지 않는 영역은 하나의 화면 프레임 신호 중 수직 동기 신호 영역 다음부터 실제 화면 표시가 시작될때 까지의 비표시 수평 신호 영역과, 실제 화면 표시가 완료된 후 다음번 수직 동기 신호가 시작될때 까지의 비표시 수평 신호 영역인 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  13. 제 9항 내지 제 12항 중 어느 한항에 있어서, 상기 동작 효과 데이터 추출부는 표시부에 표시할 비디오 데이터의 수직 및 수평 동기 신호를 다수의 클럭 신호들로 추출하는 동기 추출기와;
    상기 추출된 동기 신호들을 카운트 하는 카운터와;
    상기 카운터의 출력을 통해 원하는 화면의 수직 위치를 판단하여 원하는 위치에서 입력되는 비디오 데이터의 아날로그 신호를 받아들여 디지털 신호로 변환한 후 그 디지털 신호를 기반으로 동작 효과 정보를 추출하는 데이터 추출부를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  14. 오디오/비디오 재생 및 기록이 가능한 매체와;
    오디오/비디오 재생 및 기록이 가능한 매체를 재생하거나 해당 매체에 소정의 데이터를 기록할 수 있는 매체 재생 및 기록 수단과;
    상기 매체 재생에 따른 비디오 영상 확인이 가능한 표시 수단과;
    사용자의 조작에 의해 상기 표시 수단에 표시되는 위치의 비디오 영상에 원 하는 동작 효과 정보를 삽입한 후 상기 매체 재생 및 기록 수단을 제어하여 상기 동작 효과 정보가 삽입된 비디오 영상 데이터를 상기 매체에 저장하는 편집 수단을 포함하는 것을 특징으로 하는 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  15. 제 14항에 있어서, 상기 편집 수단은 상기 매체 재생 및 기록 수단과 표시 수단을 제어하면서 동작 효과 정보를 영상 정보에 삽입하는 수단을 가진 개인용 컴퓨터 혹은 영상 편집 장치인 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  16. 제 14항에 있어서, 상기 편집 수단은 비디오 영상에 동작 효과 정보를 삽입하는 반복 과정이 완료된 후에 동작 효과 정보가 삽입된 비디오 영상 데이터를 상기 매체에 저장하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  17. 제 14항에 있어서, 상기 편집 수단은 매체에 이미 기록된 비디오 영상에 동작 효과 정보가 삽입될때마다 기록된 비디오 영상 데이터를 동작 효과 정보가 삽입된 비디오 영상 데이터로 갱신하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  18. 제 14항에 있어서, 상기 편집 수단은 동작 효과 정보와 상기 동작 효과 정보가 삽입될 비디오 신호의 위치 정보를 별도의 편집 파일로 저장하고, 소정의 편집 파일을 읽어들여 해당 파일이 대상으로 하는 원본 비디오 신호에 적용하면 동작 효과 정보가 삽입되는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  19. 제 14항에 있어서, 상기 매체는 CD(Compact Disk), DVD(Digital Versatile Disk) 또는 BD(Blue-ray Disk)인 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 시스템.
  20. 동작 효과 정보가 삽입된 비디오 데이터를 생성하고 이를 소정의 매체에 저장하는 단계와;
    상기 매체를 일반적인 재생 수단으로 재생하여 표준과 호환되는 비디오 신호를 출력하는 단계와;
    상기 비디오 신호를 획득하여 동작 효과 정보를 추출한 후 해당 동작 효과 정보에 따른 구동부 제어 신호를 생성하는 단계와;
    상기 생성된 구동부 제어 신호로 구동부를 제어하는 단계를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 방법.
  21. 제 20항에 있어서, 상기 동작 효과 정보가 삽입된 비디오 데이터를 생성하는 단계는 일반적인 비디오 데이터의 개별 프레임 영상들 중 동작 효과가 필요한 시점의 영상을 검출하는 단계와;
    상기 영상을 기준으로 소정의 시간 동안 동작할 동작 효과 종류, 해당 동작이 실시될 구동부 종류 및 동작 효과의 변형을 지시하는 동작 효과 정보를 생성하는 단계와;
    상기 생성된 동작 효과 정보를 상기 기준 영상의 일부에 삽입하는 단계와;
    상기 단계들을 반복하여 원하는 전체 비디오에 대한 동작 효과 정보 삽입이 완료되면 해당 데이터를 사용자가 원하는 비디오 포멧으로 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 방법.
  22. 제 20항에 있어서, 상기 생성된 동작 효과 정보를 상기 기준 영상 일부에 삽입하는 단계는 상기 기준 영상 이미지에 동작 효과 정보를 워터마크 기법으로 삽입하거나, 상기 기준 영상 이미지의 일부 화면 표시 영역에 이미지 정보 대신 동작 효과 정보를 삽입하거나, 상기 기준 영상 신호가 최종 변환될 경우 표시 화면에 나타나지 않는 신호 영역에 동작 효과 정보를 삽입하는 단계들 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 신호를 이용한 동작 효과 제공 방법.
KR1020040057243A 2004-07-22 2004-07-22 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법 KR20060007845A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040057243A KR20060007845A (ko) 2004-07-22 2004-07-22 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040057243A KR20060007845A (ko) 2004-07-22 2004-07-22 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20060007845A true KR20060007845A (ko) 2006-01-26

Family

ID=37119025

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040057243A KR20060007845A (ko) 2004-07-22 2004-07-22 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20060007845A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101017578B1 (ko) * 2008-04-30 2011-02-28 리 조나단 게임용 시뮬레이션 시스템 및 시뮬레이션 게임 시스템
KR101300467B1 (ko) * 2011-03-16 2013-08-27 주식회사 레드로버 4d관람요소 제어시스템
WO2014185658A1 (en) * 2013-05-15 2014-11-20 Cj 4Dplex Co., Ltd. Method and system for providing 4d content production service and content production apparatus therefor

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101017578B1 (ko) * 2008-04-30 2011-02-28 리 조나단 게임용 시뮬레이션 시스템 및 시뮬레이션 게임 시스템
KR101300467B1 (ko) * 2011-03-16 2013-08-27 주식회사 레드로버 4d관람요소 제어시스템
WO2014185658A1 (en) * 2013-05-15 2014-11-20 Cj 4Dplex Co., Ltd. Method and system for providing 4d content production service and content production apparatus therefor
US9830949B2 (en) 2013-05-15 2017-11-28 Cj 4Dplex Co., Ltd. Method and system for providing 4D content production service and content production apparatus therefor

Similar Documents

Publication Publication Date Title
CN100562084C (zh) 同步地使用音频视频数据的设备和方法
JP5620116B2 (ja) テキストデータとダウンロードフォントとを利用した多国語支援用サブタイトルデータが記録された情報保存媒体に保存されたデータを再生する再生装置及びデータ記録及び/または再生装置その装置
US20090162036A1 (en) Playback apparatus and playback method
JP5517598B2 (ja) 映像再生装置及びその制御方法
JP2007295519A (ja) マルチメディアコンテンツの複数の映像角度を表示装置で同時に再生するシステム及び方法
KR20100046584A (ko) 영상 디코딩 방법, 영상 출력 방법, 영상 처리 방법 및 그 장치
JP2008147838A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4823688B2 (ja) テキストデータとダウンロードフォントとを利用した多国語支援用サブタイトルデータが記録された情報保存媒体及びその装置
KR100604831B1 (ko) 오디오에 부가 영상과 문자를 동기시켜 재생하는오디오/비디오 재생 장치 및 그 방법
KR20160044981A (ko) 동영상 처리 장치 및 방법
CN100518238C (zh) 利用视频信号的动作效果提供***及其方法
CN105763923A (zh) 一种影音、影音模板编辑方法及其装置
JP2006135808A (ja) 再生装置及びその方法
KR100716215B1 (ko) 디지털 비디오 재생장치의 재생위치 이동 시스템
KR20060007845A (ko) 비디오 신호를 이용한 동작 효과 제공 시스템 및 방법
KR100758304B1 (ko) 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른콘텐츠의 재생방법
KR101000924B1 (ko) 캡션 표시 방법 및 장치
KR101183601B1 (ko) 화면비 결정방법 및 이를 적용한 영상기기
KR100585678B1 (ko) 비디오 신호를 이용한 동작 효과 제공 및 편집 시스템과그 방법
KR20050116916A (ko) 환경 정보를 포함하는 콘텐츠를 생성하고 재생하는 방법과그 재생 장치
JP3556311B2 (ja) 記録媒体再生装置
KR100425305B1 (ko) 고 화질 정지화 재생이 가능한 광 디스크 재생 시스템 및정지화 재생방법
KR20080078414A (ko) 부화면 영상 데이터를 포함하는 동영상 데이터를 재생하는방법 및 장치
Fuhrhop et al. Interactive 360° Narrative for TV use
JP2006157108A (ja) 映像記録再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20060821

Effective date: 20070529