KR20060025518A - 디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치 - Google Patents

디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치 Download PDF

Info

Publication number
KR20060025518A
KR20060025518A KR1020057012407A KR20057012407A KR20060025518A KR 20060025518 A KR20060025518 A KR 20060025518A KR 1020057012407 A KR1020057012407 A KR 1020057012407A KR 20057012407 A KR20057012407 A KR 20057012407A KR 20060025518 A KR20060025518 A KR 20060025518A
Authority
KR
South Korea
Prior art keywords
traversal
visual data
data
record
video
Prior art date
Application number
KR1020057012407A
Other languages
English (en)
Inventor
로이 페아
마이클 밀스
죠셉 로젠
Original Assignee
더 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티 filed Critical 더 보드 오브 트러스티스 오브 더 리랜드 스탠포드 주니어 유니버시티
Publication of KR20060025518A publication Critical patent/KR20060025518A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디지털 비디오 컨텐트를 대화방식으로 저작, 공유 및 분석하기 위한 전자적인 방법 및 장치를 제공한다. 저작 방법은 비주얼 데이터를 디스플레이하는 단계, 각각의 트래버설을 시간에 근거한 프레임 시퀀스로 정하는 단계, 및 트래버설의 레코드 및 그의 연관된 오디오 레코드에 주석을 달고 저장하는 단계를 포함한다. 트래버설을 정하는 상기 단계는 비주얼 데이터에 관해 오버레이 윈도우를 위치시킴으로써 비주얼 데이터를 대화방식으로 패닝하는 단계 및 오버레이 윈도우의 크기를 다시 정함으로써 줌인 또는 줌아웃시키는 단계를 포함한다. 대안적인 실시예에서, 비주얼 데이터는 직사각형 레이아웃 또는 원통형 레이아웃 내에 디스플레이될 수 있다. 본 방법은 통합된 그래픽 인터페이스를 사용하여 실행되는데, 상기 그래픽 인터페이스는 비주얼 데이터를 디스플레이하는 오버뷰 영역, 오버레이 윈도우 내에 현재 데이터를 디스플레이하는 디테일 영역, 및 사전에 저장되어진 주석된 트래버설 레코들의 리스트를 디스플레이하는 워크시트 영역을 포함한다. 다른 양상에서는, 주석된 트래버설 레코드의 워크시트 영역 리스트가 표준 HTML 브라우저를 사용하여 네트워크를 통해서 액세스가능한 웹 문헌에서 공개되고, 다른 주석들이 네트워크 사용자 단체에 의해서 추가될 수 있다. 트래버설 레코드에 상응하는 데이터 마커가 대화방식의 요약 맵에 대해 플롯됨으로써 사용자로 하여금 비디오 레코드를 조사하는데 있어 요약 레벨들 사이에서 이동할 수 있게 하는 분석 방법이 또한 제공된다.

Description

디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기 위한 방법 및 장치{METHODS AND APPARATUS FOR INTERACTIVE POINT-OF-VIEW AUTHORING OF DIGITAL VIDEO CONTENT}
본 발명은 디지털 비디오 컨텐트를 대화방식으로 저작, 공유 및 분석하기 위한 전자 방법들 및 시스템들에 관한 것이다.
다양한 시스템들은 파노라마 디지털 영상의 캡쳐 및 대화방식 네비게이션용으로 기술되고 설계된다. 예를들어, IEEE International Conference on Multimedia and Expo, vol.Ⅲ, 1419-1422(2000년 8월)에서 진행된 "FlyCam: Practical Panoramic Video"; 낼와(Nalwa)에 의한 "Icon-Referenced Panoramic Image Display"인 미국특허번호 6,285,365; 및 테오도시오(Teodosio) 등에 의한 "Navigable Viewing System"인 미국특허번호 6,121,966을 참조한다.
별개로, 시스템들은 종래 비디오 "클립(clip)" 또는 요약에 주석을 달고 공유하기 위하여 제공된다. "VideoNoter: A Tool for Exploratory Video Analysis," Roschelle, Pea, & Trigg, Institute for Research on Learning, Technical Report 17 번(1990)을 참조한다.
그러나, "관점" 시각 매체 트래버설(traversal)의 불변 레코드들을 생성, 주 석, 저장 및 공유함으로써 다중매체 컨텐트의 개인 해석들을 저작하고 공유하기 위하여 함께 배치되거나 분포된 사용자 단체의 필요성(및 기회)에 대한 관심이 거의 없었다. 상기 레코드들은 특정 매체 컨텐트를 관찰시(예를들어, 저자의 관찰 경험의 시점 및 공간적 초점을 레코딩하는 것) 저자의 독특한 관점을 신뢰적으로 캡쳐하여야 할뿐 아니라, 코멘트, 카테고리화 및 다른 주석들의 기호 형태를 통하여 매체 컨텐트의 그 또는 그녀의 해석을 표현하기 위하여 저자에게 전달 수단을 제공하여야 한다. 이런 필요성을 처리하는 효과적인 해결책은 강력하게 표현할 수 있지만 기술 전문가가 아닌 저작자에게 적당한 잘 통합된 대화방식 장치들을 제공하는 것이다. 게다가, 솔루션은 저작자들이 네트워크화된 사용자 단체와 해석을 공유 하게 하고, 단체 참가자들이 특정 매체 컨텐트에 응답하여 자신의 코멘트들 및 뷰들을 표명하게 한다. 게다가, 목표된 해결책은 공유될 매체 컨텐트 및 코멘트의 중요성을 조사하고 정량화하기 위하여 사용자가 이용할 수 있는 분석 툴을 지원하여야 한다.
요약하여, 본 발명은 디지털 비디오 컨텐트를 대화방식으로 저작, 공유 및 분석하기 위한 전자 방법들 및 장치들을 제공한다.
일측면에서, 본 발명은 비주얼 데이터를 디스플레이하고, 시간에 근거한 프레임들의 시퀀스로서 각각의 트래버설을 정의하고, 트래버설의 레코드에 주석을 달고 저장함으로써 주석달린 트래버설의 대화방식인 전자 방법을 제공한다. 반복적으로 수행될때 상기 방법은 여러 가지 비주얼 소스들로부터 잠재적으로 다수의 저장된 트래버설을 생성한다. 비주얼 데이터는 바람직하게 동화상, 정지, 시뮬레이트/주석달기, 파노라마 및/또는 라이브 영상을 포함한다. 파노라마 영상은 바람직하게 트래버설이 사용자 조정 가능 3D 관점을 반영할 수 있도록 고정된 포인트(또는 하나의 주변에서 안쪽)로부터 외부쪽으로 마주하는 다수의 카메라들을 사용하여 캡쳐된 영상을 포함한다. 주석달기 바람직하게 텍스트 코멘트들, 그래프 심볼, 분류 코드, 메타데이터 및/또는 오디오 묘사를 포함한다. 분류 코드들은 사용자 정의 가능 코드 템플릿들로부터 대화방식으로 선택된다. 다른 측면에서, 저장된 트래버설 레코드는 압축된 영상 데이터 형태이거나 트래버설을 정의하는 위치 좌표들의 세트로서 트래버스된 비주얼 데이터를 인코딩할 수 있다.
트래버설 정의는 바람직하게 비주얼 데이터에 관련하여 오버레이 윈도우를 배치하고, 오버레이 윈도우의 크기를 다시 정함으로써 줌인 또는 줌아웃하고, 트래버설 레코드를 저장함으로써, 데이터를 대화방식으로 계획하는 것을 포함한다. 비주얼 데이터는 직사각형 레이아웃에서 디스플레이되거나; 또는 선택적으로 원통형 레이아웃에서 디스플레이하고, 오버레이의 위치는 원통형부에 중심을 둔 가상 카메라에 의해 정의된다. 게다가, 오버레이 윈도우를 배치하는 것은 오버레이 윈도우가 고정되어 유지되는 동안 비주얼 데이터를 이동시키는 것; 또는 선택적으로 비주얼 데이터가 고정되어 유지되는 동안 오버레이 윈도우를 이동시키는 것을 포함한다. 오버레이 윈도우는 바람직하게 사용자가 선택할 수 있는 기하학적인 형태를 가진다. 본 발명의 다른 측면은 다수의 독립적으로 배치된 오버레이 윈도우를 가지고 비주얼 데이터를 동시에 계획하는 것이다.
본 발명의 다른 측면에서, 상기 방법은 바람직하게 통합된 그래픽 인터페이스를 사용하여 실시된다. 그래픽 사용자 인터페이스는 바람직하게 데이터를 디스플레이하는 오버뷰 영역, 오버레이 윈도우내의 현재 데이터를 디스플레이하는 디테일 영역 및 다수의 저장된 주석된 트래버설 레코드들의 리스트를 디스플레이하는 워크시트 영역을 포함하는 다수의 컴퓨터 디스플레이 영역들을 포함한다. 디테일 영역은 오버뷰 영역보다 높은 배율 또는 해상도로 데이터를 디스플레이한다. 상기 배율 또는 해상도는 사용자 대역폭 접속성 또는 다른 성능 관련 매트릭에 응답하는 웹 서비스에 의해 인에이블되거나 사용자에 의해 제어될 수 있다. 디테일 영역에서 선택된 저장 레코드의 재생은 워크시트로부터 디테일 영역상으로 선택된 레코드에 대응하는 그래픽 엘리먼트를 드래그 및 드롭핑함으로써 트래버설 레코드들 중 하나를 대화방식으로 선택하는 것에 의해 시작된다. 본 발명의 다른 측면들은 다수의 저장된 트래버설 레코드들의 결합인 혼합 트래버설 레코드를 나타내는 것이다. 혼합 트래버설 레코드를 재생하는 것은 결합된 트래버설 레코드들의 컨텐트들을 바로 디스플레이하는 것을 포함한다. 결합된 트래버설 레코드들로부터의 오디오 컨트리뷰션은 하나의 소스 레코드를 선택하고, 모든 오디오를 턴오프하고, 및/또는 각각의 레코드에 대한 상대적 오디오 컨트리뷰션을 지정하는 것에 의해 지정될 수 있다. 다른 측면에서, 주석달린 트래버설 레코드들의 워크시트 영역 리스트는 표준 HTML 브라우저를 사용하여 네트워크를 통하여 액세스할 수 있는 문헌에 공개된다.
일실시예에서, 본 발명은 비주얼 데이터를 통하여 주석달린 트래버설들을 대화방식으로 저작하는 원격으로 제어된 디지털 전자 장치를 사용하여 실시된다. 상기 장치는 비주얼 데이터를 디스플레이하는 제 1 디스플레이 장치, 및 제 1 장치와 통신하는 휴대용 원격 제어 장치를 포함한다. 원격 제어기는 디스플레이된 가상 데이터의 트래버설을 정의하는 그래픽 상호작용, 및 주석달린 트래버설의 시간에 근거한 레코더의 주석달기 및 저장을 제어하도록 구성된다. 트래버설을 정의하는 것은 디스플레이 비주얼 데이터에 관련하여 오버레이 윈도우를 배치하여 비주얼 데이터를 계획하고, 오버레이 윈도우 크기의 재설정에 의한 줌을 포함한다.
본 발명은 비주얼 데이터 및 연관된 공간 오디오 데이터를 통하여 트래버설들을 저장하는 대화방식의 전자 방법을 추가로 제공한다. 상기 방법은 비주얼 데이터를 디스플레이하고, 비주얼 데이터의 공간 서브세트를 각각 포함하는 시간에 근거한 프레임 시퀀스인 데이터의 트래버설을 대화방식으로 정의하고, 각각의 프레임의 비주얼 데이터와 연관된 공간 오디오 데이터를 포함하는 트래버설 레코드를 저장하는 것을 포함한다. 비주얼 데이터 및 오디오 데이터는 바람직하게 장면의 오디오비주얼 레코딩을 포함한다. 비주얼 데이터는 위치, 및 상기 위치로부터의 사운드 레코드인 오디오 데이터의 묘사를 포함한다. 예를들어, 비주얼 데이터는 콘서트홀 또는 회의실을 묘사할 수 있고, 공간 오디오는 콘서트 홀의 음악 또는 회의실에서의 대화를 레코딩하는 것을 포함할 수 있다. 다른 측면은 레코드에 포함된 공간 오디오 데이터의 묘사를 가진 트래버설 레코드에 주석을 다는 것을 포함한다.
다른 실시예에서, 본 발명은 웹 페이지처럼, 트래버설 레코드들 및 주석달기의 리스팅을 공개함으로써 비주얼 데이터에 대한 사용자 관점을 공유하는 시스템 및 방법을 제공한다. 인터넷 또는 개인 인트라넷상에 공개된 웹 페이지는 바람직하게 선택된 트래버설들을 디스플레이하는 영역을 제공한다. 공개된 페이지를 브라우징하거나 액세스하는 사용자들은 재생을 위하여 대화방식으로 트래버설들을 선택하고, 대화방식으로 다른 사람이 볼 수 있도록 페이지에 주석을 부가할 수 있다. 각각의 주석은 저자를 나타내기 위하여 코드화될 수 있다(예를들어, 컬러 또는 음영뿐 아니라, 이름). 추가적인 특징에서, 리스트된 트래버설 레코드들은 적어도 하나의 혼합 트래버설 레코드(트래버설들의 혼합을 나타냄)를 포함하고; 이런 특징에 따라, 재생은 바람직하게 나란한 팬들 또는 윈도우 내의 윈도우 포맷으로 대응하는 다수의 트래버설들의 컨텐트를 곧바로 재생하는 것을 포함한다. 다른 특징에서, 주석의 인덱스는 웹 브라우저를 통하여 탐색할 수 있게 공개된다. 상기 인덱스는 주석 달린 매체 아이템에 대한 프록시(proxy)로서 사용하는 섬네일 영상들 또는 동적 영상 표현들을 제공할 수 있다. 이런 특징은 탐색시 지정된 주석들과 연관된 트래버설 레코드들을 리스트하는 웹 페이지의 탐색 및 액세스를 허용한다.
다른 측면에서, 본 발명은 다수의 트래버설 레코드들을 사용하여 비주얼 데이터의 대화방식으로 조사하여 분석하기 위한 전자 방법을 제공한다. 상기 방법은 요약 맵을 디스플레이하고; 상기 맵상에 대응하는 다수의 위치들에서 각각 트래버설 레코딩에 대응하는 다수의 마커들을 플롯하고; 마커의 선택에 응답하여 트래버설을 재생하는 것을 포함한다. 요약 맵은 예를들어 에지 검출 알고리즘을 사용하여 자동으로 생성된 비주얼 데이터로부터의 장면의 윤곽을 나타내고, 상기 경우 마커들은 각각의 대응 트래버설 레코딩에서 캡쳐된 영상의 공간 위치를 바탕으로 논리적으로 도시될 수 있다. 선택적으로, 요약 맵은 저장된 레코드들을 위하여 지정된 하나 이상의 주석 데이터 값들을 측정하는 축들을 가진 그래프를 제공하고, 상기 경우 마커들은 각각 대응하는 트래버설 레코딩을 위하여 지정된 특정 주석 값들을 바탕으로 논리적으로 도시된다. 본 발명의 다른 측면에서, 상기 방법은 트래버설 레코드들의 리스트 및 연관된 주석들을 가진 워크시트 영역을 포함하는 그래프 사용자 인터페이스를 사용하여 수행된다. 이 측면에서, 상기 방법은 요약 맵(슬라이더 바에 의한 것과 같음)내의 공간 영역을 대화방식으로 선택하는 것을 추가로 고려하고, 작업계획을 디스플레이하는 것에 응답하여, 트래버설 레코드들의 필터된 리스트는 관심있는 공간 영역내에 배치된 마커들에 대응한다.
도 1은 본 발명의 바람직한 실시예에 다른 비주얼 데이터의 주석달린 "관점" 트래버설을 저작하는 방법을 도시하는 흐름도이다.
도 2A는 직사각형 실시예에 따른 관점 트래버설들을 정의하는 그래픽 사용자 인터페이스를 도시한다.
도 2B는 원통형 실시예에 따라 관점 트래버설들을 정의하는 그래픽 사용자 인터페이스를 도시한다.
도 3은 혼합 트래버설 레코드들을 관찰하는 그래픽 사용자 인터페이스를 도시한다.
도 4는 트래버설 레코드에 분류 코드 주석들을 할당하는 그래픽 선택 템플릿 을 도시한다.
도 5는 네트워크 단체의 멤버들과 비주얼 데이터의 주석달린 "관점" 트래버설을 공개하고 공유하는 방법을 도시하는 흐름도이다.
도 6은 데이터 맵들을 사용하여 비주얼 데이터를 조사하고 분석하는 방법을 도시하는 흐름도이다.
도 7은 비주얼 데이터 트래버설들을 조사하고 분석하기 위하여 데이터 맵들을 사용하여 그래픽 사용자 인터페이스의 일실시예를 도시한다.
도 8은 비주얼 데이터 트래버설들을 조사하고 분석하기 위하여 데이터 맵들을 사용하여 그래픽 사용자 인터페이스의 다른 실시예를 도시한다.
도 9는 비주얼 데이터 트래버설들을 조사하고 분석하기 위하여 데이터 맵들을 사용하여 그래픽 사용자 인터페이스의 다른 실시예를 도시한다.
도 10은 상세 표현으로부터 요약 표현으로 진행하는 비주얼 데이터 트래버설들을 조사하고 분석하기 위한 정보 워크시트를 도시한다.
도 11은 여기에 기술된 바람직한 실시예를 실행하기 위한 디지털 전자 장치들의 네트워크를 도시한다.
도 12는 "컨텐트 사이클링"을 통하여 "메타컨텐트" 패킷들을 전송하는 종래 기술을 도시한다.
본 발명의 바람직한 실시예들은 도면들을 참조하여 상세히 기술될 것이다. 제공된 목적을 위하여, 비주얼 데이터는 일반적으로 첨부 오디오 채널을 모두 가지 거나 가지지 않고, 동화상, 정지영상, 시뮬레이트되거나 주석달린 영상, 파노라마식 영상, 및 라이브 영상을 포함하는 임의의 방식의 디지털 영상 데이터를 포함한다.
A. 저작
도 1은 본 발명의 바람직한 실시예에 따른 비주얼 데이터의 주석달린 "관점" 트래버설들을 저작하는 방법을 도시하는 흐름도이다. 도 2A는 직사각형 실시예에 따른 관점 트래버설들을 형성하기 위한 그래픽 사용자 인터페이스를 도시한다. 넓게, 저작 과정은 비주얼 데이터로부터 한 세트의 크롭(crop) 공간 및 시간 선택을 대화방식으로 선택하고, 워크스페이스에 이들을 마킹하는 것으로 구성된다. 우리는 트래버설로서 대화방식의 선택을 참조한다.
단계(100)에서, 비주얼 데이터는 오버뷰 윈도우(210)에 디스플레이되고, 전체 장면의 오버뷰를 제공한다. 오버뷰(210)는 표준 비디오 스트림, 정지영상, 또는 애니메이션과 연관될 수 있거나, 비디오 장면의 파노라마식 360도 표현을 사용할 수 있다. 선형 비디오에서, 오버뷰(210)는 본래 비디오 레코딩으로부터 형성된 표준 4:3 종횡비 비디오 스트림을 도시하고, 여기서 장면상 직사각형 오버레이(200)는 특정 장면 영역에서 바라보는 가상 카메라의 그롭 공간 시야 영역에 대응한다. 도시된 바와 같은 파노라마 비디오에 대하여, 오버뷰(210)(소위 "파노라마 오버뷰"라 함)는 본래 원통형 비디오 레코드로부터 생성된 필(peel) 백 영상을 도시한다. 파노라마상 직사각형 오버레이(200)는 특정 장면 영역에서 바라보는 가상 카메라의 시야에 대응한다. 어느 경우에서나, 디테일 윈도우(220)는 오버뷰(210) 내의 직사각형 오버레이(200)의 경계에 의해 한정된 고해상도 영상인 "카메라 뷰"를 제공한다. 상기 보다 높은 해상도는 사용자에 의해 조절될 수 있거나, 사용자 대역폭 접속성 및/또는 다른 성능 관련 매트릭에 응답하는 웹 서비스들에 의해 이루어지고 조절될 수 있다. 작업 공간(230)은 이하에 추가로 논의될 바와 같이, 장면으로부터 발췌된 비디오 및 오디오 트래버설들에 주석을 달고 구성하기 위한 융통성있는 환경을 제공한다.
단계(110)에서, 오버레이 윈도우(200)는 윈도우(210)에 디스플레이되는 가상 데이터의 설계된 공간 서브세트상에 대화방식으로 배치된다. 단계(120)에서, 오버레이 윈도우는 선택된 비주얼 데이터상에 "줌" 인 또는 "줌" 아웃하기 위하여 사용자에 의해 대화방식으로 크기가 다시 정해진다. 단계들(100 및 120)은 사용자에 의해 목표된 시간에 따라 반복적으로 수행되어, 단계(100)의 비주얼 데이터는 연속적으로 디스플레이된다. 이에 따라 사용자는 비주얼 데이터의 목표된 공간 및 시간적 서브세트를 트래버스한다. 예를들어, 만약 비주얼 데이터가 비디오 데이터를 포함하면, 사용자는 각각의 현재 비디오 프레임내의 특정 관심 컨텐트에 관련하여 오버레이 윈도우(200)를 배치하고 크기 설정함으로써 "영화속의 영화"를 효과적으로 형성한다. 우리는 때때로 비주얼 데이터상에서 저자/사용자의 유일하고 개별적인 시각적 관점이 각각의 트래버설에 반영되기 때문에 "관점" 저작으로서 상기 트래버설의 정의를 참조한다.
파노라마 비주얼 데이터의 경우, 네비게이션을 위한 효과적인 인터페이스들을 생성하는 것은 컴퓨터 영상 및 사용자 인터페이스 설계에 대한 도전 및 기회를 제공한다. 한편, 전방향 카메라들은 전체 실생활 공간(단일 노드 포인트로부터)의 360도 표현을 사용자에게 제공한다. 다른 한편, 파노라마 오버뷰를 형성하기 위하여 사용된 렌즈들은 특히 사용자가 공간 레이아웃 및 위치들에 관한 정확한 정보 및 장면에서 사람들의 몸 방향을 추출하기 위하여 필요한 경우 정보 영상(예를들어, Foote & Kimber 2000)로서 유용성이 제한되는 영상의 투영 왜곡(뒤틀림)을 도입한다. 예를들어, 파노라마 오버뷰를 참조하여 다음 질문들을 대답이 어렵다는 것을 고려한다 : 장면의 공간 레이아웃은 무엇이고? 어느 방향이 뒤고 앞이며 좌측이고 우측이고? 배우들이 서로 얼마나 멀리 떨어져 있는가. 다른 한편, 오버뷰의 공간 왜곡들이 정보 추출을 방해하지 않게 하는 다른 종류의 임무들이 있을 수 있다. 예를들어, 파노라마 오버뷰는 대부분은 사용자가 다음과 같은 질문을 대답할 수 있게 한다 : 상기 무언가는 누구인가 그들이 그것을 말할 때는 언제인가 그들이 말할 때 어떠했는가(말을 사용하지 않는 제스쳐들에 관한 정보, 얼굴 표현, 몸의 위치, 음성 억양). 흥미롭게 파노라마 오버뷰들을 생성하는 현재 방법들은 공간적으로 갈피를 못 잡을 수 있고, 사람들은 그 임무가 공간적으로 정확한 정보를 추출하는 것을 포함하든 안하든 사람들이 그것에 신경쓰지 않는다.
공간 방향의 관심으로 인해, 도 2B는 본 발명에 따른 파노라마 데이터를 뷰잉하고 트래버스하기 위한 특정 값을 가진 다른 실시예를 도시한다. 우리는 "스피닝 캔" 뷰 처럼 이 실시예를 참조한다. 필링 백하는 대신 원통형 파노라마는 그 컨텐츠를 검사하기 위하여 사용자에 의해 수직 및 수평 축 둘레를 회전할 수 있는 원통형 또는 드럼(210)상에 영상을 맵핑한다. 예를들어, 드럼(210)의 중심에 카메 라 아이콘(260)을 디스플레이하고, 오버레이 윈도우(270)를 정의하기 위하여 카메라(260)의 시야를 사용하는 것은 오버뷰 영상이 어떻게 형성되고 장면의 어떤 부분에 카메라 포커스되는지를 사용자가 명확하게 알 수 있게 한다. 카메라 또는 상기 카메라 둘레 드럼을 스피닝하는 것은 디테일 윈도우(220)(추후 도 2B에서 도시되지 않음)에 수정된 부분 영상(270)을 디스플레이할 수 있다. 이런 인터페이스는 정면/후면 및 좌측/우측 방향뿐 아니라 장면에서 객체들의 상대적 위치들을 사용자가 쉽게 이해할 수 있게 한다.
바람직한 실시예에서, 비주얼 데이터는 장면을 둘러싸서 안쪽과 면하는 다수의 카메라들을 사용하여 캡쳐된 파노라마 장면 데이터를 포함한다. 당업자들이 인식할 바와 같이, 이것은 네비게이션이 여러가지 중에서 특정 카메라 관점으로부터 차단되어 보이지 않는 객체들을 보여지도록 트래버설들이 사용자 조절 3D 관점을 반영시킨다.
단계(130)에서, 사용자는 자유로운 텍스트 코멘트들(250(a)) 및 분류 코드들(250(c))을 포함하는 주석들을 부가하기 위하여 도 2A의 그래픽 사용자 인터페이스를 사용하여 바람직하게 트래버설에 주석을 단다. 도 4에 도시된 바와같이, 분류 코드들(250(c))은 코딩 템플릿 메뉴(400)로부터 선택된 미리 결정된 태그들이다. 이런 특징은 사용자가 추후 데이터 분석(예를들어 도 6-10과 관련하여 하기된 바와같이)을 지원하는 균일한 분류법을 바탕으로 트래버설들을 빠르게 분류하게 한다. 바람직하게, 템플릿(400)을 인코딩하는 분류 라벨들은 사용자 한정 가능하다. 다른 실시예들에서, 트래버설 주석들은 바람직하게 각각의 트래버설(만약 전자적으로 이용 가능하지 않다면, 종래 속도 인식 기술을 사용하여 자동으로 생성될 수 있음)에 레코딩된 비디오에 대응하는 오디오(250(b))의 묘사들뿐 아니라; 예를들어 문자들, 장면 이름, 시간/날짜 등의 (제한없이) 트래버설 세그먼트를 나타내는 "메타 데이터"(250(d))를 포함한다.
단계(140)에서, 주석달린 트래버설의 불변의 레코딩은 미래 참조를 위하여 저장되고 네트워크 공개 및 분석(도 5-10과 관련하여 하기에 상세히 논의됨)을 연구한다. 많은 종사자들 및 애플리케이션들에 대하여, 도 1의 방법은 반복적으로 수행되어, 다수의 주석달린 트래버설 레코드들을 생성한다. 도 2A의 워크시트 영역(230)은 상기 레코드들의 대화방식 리스팅을 디스플레이한다. 따라서, 컬럼(240)은 대표적인 약술 영상을 가진 각각의 트래버설을 식별하고, 컬럼(250(a)-(d))은 연관된 주석들을 디스플레이한다. 비디오 섬네일은 예를들어 정지 영상들, 파노라마 섬네일, 또는 움직임 프리뷰를 포함할 수 있다.
도 2A 및 도 2B의 실시예에 대하여, 오버뷰 윈도우(210)의 비주얼 데이터는 오버레이 윈도우(200)를 상대적으로 배치하고, 고정된 오버레이(200)를 홀딩하고 오버뷰(210)를 이동시키거나, 고정된 오버뷰(210)를 홀딩하고 오버레이(200)를 이동시킴으로써 트래버스된다는 것을 주시하자. 양자의 기술들은 동일하고, 본 발명의 사상과 범주내에 있으며, 당업자는 특정 애플리케이션들의 특정사항들에 따라 방법을 선택할 수 있다.
단계(150) 내지 단계(170)에서, 사용자는 레코딩된 트래버설 컨텐츠들을 재생할 수 있다. 단계(150)에서, 사용자는 워크시트 영역(230)에 디스플레이되는 리 스트에서 저장된 트래버설을 대화방식으로(interactive) 선택한다. 바람직한 실시예에서, 이용가능한 선택 메커니즘들은 디테일 윈도우(220)로의 원하는 트래버설 레코드에 상응하는 칼럼(240)으로부터 섬네일 영상을 "드래그 및 드롭"하는 마우스 또는 다른 커서 제어 장치의 이용을 포함한다. 바람직하게는, 이는 오버뷰 윈도우(overview window)(210) 뿐만 아니라 디테일 윈도우(detail window)(220)를 선택된 트래버설 시퀀스의 시작시 적정 프레임으로 리셋시킨다. 스크린 영상 제어 영역(215)상에서 "플레이" 버튼을 클릭하면, 윈도우들(210, 220)에서 트래버설의 재생(170)을 초기화시키는 것이 바람직하다.
상기 선택된 트래버설이 혼합 트래버설이면, 즉 예를 들어 도 3에 도시된 혼합 트래버설(320)과 같이 하나 이상의 저장된 트래버설의 사용자-지정 혼합물이면, 재생(170)은 나란한 펜들(side-by-side pane) 또는 윈도우 내 윈도우(window-within-window)와 같은 다수의 트래버설 레코드들을 동시에 인접하여 재생하는 것을 포함하는 것이 바람직하다. 혼합 트래버설들이 오디오 채널들을 포함하면, 단계(160)에서 적절한 오디오 혼합이 재생(170)에서 구현된다. 상기 혼합은 바람직하게 뮤트된(muted) 다른 오디오들을 들을 수 있도록 하는 하나의 트래버설의 사용자 선택; 모든 오디오를 뮤트시키는 선택; 또는 다른 오디오들을 완전히 뮤트시키지 않으면서 혼합 트래버설들 중 원하는 복합 트래버설에서 나타나는 사용자-선택 상대적 페이딩(fading)(구체적으로 예를 들면, 온-스크린 슬라이더 바의 이용)일 수 있다.
부가적으로 도 3의 변형예에서, 디테일 윈도우(220)는 도 2A 및 도 2B에서 처럼 오버레이 윈도우(210)에 인접한 고정 영역이 아니라, 워크시트 영역(230)을 오버래핑하는 "팝-업" 윈도우로서 나타난다는 것을 주시하자. 당업자가 용이하게 인식하는 것처럼, 특정 애플리케이션들의 요구와 기호에 따라 이러한 변형예 및 유사한 특성의 다른 변형예들이 가능할 수 있으며, 본 발명의 사상과 범주내에 있다.
몇몇 애플리케이션들에서 단일 워크시트 영역(230)은 하나 이상의 소스로부터 비주얼 데이터의 트래버설들을 분류 및 조직화하는데 사용될 수 있다. 예를 들어, 상기 단일 워크시트 영역은 서로 상이한 영화들에서 유사한 장면들을 비교 및 대조하거나, 다양한 장면들 및 영상들에서 단일 배우 또는 개별 배우의 작업을 비교 및 대조하는데 유용할 수 있다.
몇몇 애플리케이션들의 바람직한 실시예에서, 공간 오디오 데이터를 포함하는 오디오 채널은 트래버설되는 비주얼 데이터와 연관된다. 예를 들어, 트래버설되는 데이터는 장면의 오디오비주얼(audiovisual) 레코드를 포함할 수 있으며, 선택적으로 상기 오디오비주얼 데이터는 콘서트 홀, 회의실 또는 강의실과 같은 장소의 묘사를 포함할 수 있고, 상기 연관되는 오디오 데이터는 콘서트 홀에서의 음악 레코딩, 회의실에서의 대화 레코딩, 또는 강의실에서의 프레젠테이션 레코딩을 포함한다.
관련 기술의 당업자에게 공지된 것처럼, 공간 오디오는 통상적으로 예를 들어, 다수의 마이크로폰들로 상기 장소를 레코딩하고 최종 스테레오 데이터상에 적절한 신호 처리를 수행함으로써 캡쳐된다.
본 발명의 장점 중 하나로서, 공간 오디오 데이터를 포함하는 실시예들은 전 체 장면내에서 사용자에 의해 트래버설되는 공간적 영역과 연관되는 오디오 데이터를 바람직하게는 각각의 트래버설 레코드과 함께 저장한다. 예를 들어, 바람직한 실시예로서 오버뷰 윈도우(210)내에 "가상 마이크로폰" 아이콘들(미도시)을 그래픽적으로 배치시킴으로써, 사용자들이 다수의 개별 공간 음성 영역들을 대화방식으로 규정할 수 있도록 한다. 그 다음, 특정 트래버설에 저장되는 오디오 데이터에는 트래버설의 각 프레임에서 특정 프레임의 위치와 연관되는 음성 영역내에서 들을 수 있는 적절한 음성들이 반영된다. 본 발명에 의해 가능한 추가적인 특징으로서, 트래버설 레코드에 포함되는 공간 오디오 데이터의 전사가 트래버설 레코드에 부가될 수 있다(도 1과 연계하여 전술한 바와 같은 작업(130) 및 그래픽 인터페이스 영역(250b)). 공간적으로 적절한 오디오만을 전사함으로써 부적절한 전체 노이즈를 필터링하고 몇가지 장점들을 제공할 수 있다. 예를 들어, 다른 섹터들로부터의 과도한 노이즈가 필터링되기 때문에, 자동 음성 인식의 정확성이 개선된다. 마찬가지로, 전사가 생성되면, 단지 적절한 공간내의 소리들에 집중되는 탐색가능한 텍스트 데이터를 포함하게 되므로, 보다 효율적이고 효과적인 텍스츄얼 검색을 달성할 수 있다.
B. 공유 및 협력(Sharing and Collaboration)
1. 웹 공개
도 5는 비주얼 데이터의 부연되는 "포인트-오브-뷰(point-of-view)" 트래버설들을 네트워크 단체의 회원들과 공개 및 공유하기 위한 방법을 도시하는 흐름도이다. 단계(500)에서, 부연되는 트래버설 레코드들의 리스트가 시작된다. 상기 리스트는 예를 들어, 도 1-4와 연계하여 본 발명에서 기술된 방법들 및 장치를 이용하여 특히, 워크시트 영역(230)에서 생성되는 컨텐츠를 이용하여 생성될 수 있다. 단계(510)에서, 이러한 리스트는 웹 문서 또는 웹 페이지로서 공개되고, 바람직하게는 사용자들을 위해 이러한 처리를 용이하게 하거나 자동화하기 위해 다른 환경들에서 통상의 당업자에게 공지된 것처럼, 내보내기(exporting) 유틸리티들이 제공된다. 웹 페이지는 애플리케이션의 속성에 따라 인터넷과 같은 공용 네트워크, 또는 사기업 인트라넷상에서 공개되는 것이 바람직하다. 단계(515)에서, 웹 페이지는 바람직하게는 표준 웹 브라우저를 이용하여 네트워크를 통해 다른 사용자들에 의해 액세스된다. 단계(520)에서, 웹 페이지에 액세스하는 사용자는 예를 들어 관심있는 것을 "클릭"함으로써, 디스플레이되는 리스트에서 해당 트래버설 레코드를 대화방식으로 선택한다. 응답시, 단계(530)에서 선택된 레코드에 해당하는 트래버설 데이터가 통상 웹 페이지의 지정 영역 또는 팝-업 플레이어 윈도우에서 선택적으로 사용자에게 재생된다.
트래버설을 본 이후, 네트워크 사용자는 트래버설 컨텐츠에 대해 그 자신의 주석(annotation)들을 추가하고자 할 수 있다. 이 경우, 단계(540)에서, 네트워크 사용자는 새로운 주석을 대화방식으로 기입하고, 단계(550)에서 네트워크를 통해 상기 웹 페이지를 호스팅하는 서버에 새로운 주석을 보낸다. 상기 웹 페이지는 다른 환경들에서 당업자들에게 공지된 방식으로, 새로운 주석들을 캡쳐하기 위해 대화방식의 온라인 폼 기술을 이용하는 것이 바람직하다. 단계(560)에서, 새로운 주석은 서버에 의해 상기 공개된 웹 페이지에 부가되고, 순차적으로 상기 페이지에 액세스하는 모든 네트워크 사용자들에게 상기 페이지의 부분으로서 디스플레이된다.
본 발명의 바람직한 실시예들과 애플리케이션들에서, 네트워크 사용자들은 공통의 관심사들을 반영하는 단체들과 서브-단체들을 추가로 형성할 수 있다. (주의: 본 발명의 실시예로서, Digital Interactive Video Exploration and Reflection 기술을 대표하여 DIVERTM 시스템, 및 DIVETM 워크시트로서 저장된 트래버설들의 워크시트 리스팅(230)으로 본 명세서에서 언급됨.) 예를 들어, 본 발명에 따른 바람직한 시스템은 가장 유명한 DIVES(Most Popular DIVES), 최근에 공시된 DIVES(Recently Posted DIVES), 최근 방문자(Who Has Visited Recently), 현재 DIVING하는 사람(Who is DIVING Now)과 같은 공통 관심사의 가용 데이터를 파악하여 네트워크 사용자들에게 공개할 수 있다. 바람직하게는, 사용자들은 새롭게 공개된 DIVES 또는 DIVE 업데이트들의 이메일 공지를 신청할 수 있으며, 단계(515)에서 이메일 메시지의 링크가 선택될 때(페이지내의 HTML 앵커들을 이용하여) 특정 공개된 워크시트(230)내의 지정 또는 강조 창으로 직접 브라우징할 수 있다.
바람직한 네트워크 실시예들의 추가적인 특징들은 이하와 같은 참고자료 타입들로의 직접적인 하이퍼링크를 위해 상기 공개된 웹 페이지에서 워크시트(230) 엔트리들을 허용하는 "HyperDiving" 특성을 포함한다:
· 현존하는 비디오 DIVE;
· 다른 공개된 DIVE 워크시트;
· 웹 URL(즉, 웹 페이지 또는 웹 문서 참조)
· 업로드된 문서(각각의 경우에 상기 링크를 생성하는 사용자에게 사용자의 로컬 디렉토리를 브라우징하는 인터페이스가 제공되고, 사용자는 파일을 선택하여 서버에 업로드하며, 그 후 상기 파일은 하이퍼링크와 연동됨).
협력 네트워크 애플리케이션들의 바람직한 실시예들에서, 사용자들은 "Public"(모든 등록 및 미등록 사용자들), "All Registered"(모든 등록된 사용자들), 및 개별 및 총 규정된 사용자들과 그룹들의 특정 조합들과 같은 액세스 방법들을 이용하여, DIVES에 대한 액세스 제어들을 설정할 수 있다. 서로 상이한 부류(class)의 DIVER 사용자들에게 "Full Rights"(사용자가 DIVES를 생성 및 수정할 수 있음), "View and Annotate Rights"(사용자가 DIVES를 보고 주석만 달 수 있음), 및 "View Only"(사용자가 DIVE와 그 코멘트들을 보기만 할 수 있음, 즉 사용자들은 코멘트들을 부가할 수 없음)를 포함하는 적정 부류의 권한 및 특권이 할당될 수 있다. 예를 들어, 미등록 사용자들은 모두 "View Only"일 수 있다.
2. 네트워크 비디오 분배 문제들
종래기술에서 공지된 몇몇 관점에서 인터넷을 통해 디지털 비디오를 전송하는 것은 용이하지만, 일정한 고성능을 달성하는 것이 문제일 수 있다. 파일들이 크고, 뷰어들이 고품질 및 고성능을 위해 차별화되고 있으며, 실시간 요구조건들이 요구되고, 파이프들은 여전히 협소하여, 인터넷은 종종 신뢰할 수 없게 정체되어 느려진다. 신뢰할 수 있는 프로토콜들(즉, FTP, HTTP 및 TCP)은 전송을 보장하지만, 허용할 수 없는 레벨의 대기 및 지연시간(latency and delay)을 받을 수 있어 서 시기적절한 데이터 전송을 보장하지 않는다. 신뢰할 수 없는 프로토콜(UDP 또는 RTSP와 같은)은 더 빠른 성능을 제공하지만 데이터 손실을 받을 수 있고, 그 결과 수신자 측에서 컨텐츠에 대한 무결성(integrity)이 결여될 수 있다. 비디오 압축 알고리즘들은 대역폭을 감소시키지만 이에 상응하게 품질을 저하시킨다. 인증, 공유, 협력, 및 특별화된 상호작용(interaction)을 포함하여 단지 재생 이상으로 디지털 비디오을 처리하는 것은 매우 중요한 문제이며, 종래의 선형 비디오 컨텐츠에 충분히 중요한 이러한 복잡한 문제들에 대하여, 인증, 상호작용, 협력 및 전송을 위한 파노라마식 초 고대역폭의 작업시 훨씬 더 중요시된다.
다행히도, 인터넷상에서 디지털 비디오를 처리하기 위한 매우 다양한 방법들이 있으며 그 전망은 급속히 발전하고 있다. 비디오를 관리하기 위한 정말 새로운 수단들은 대단히 신속히 이러한 기술에 나타나고 있으며, 새로운 비디오 혁신들을 이루기 위한 기회들이 정기적으로 생기고 있다. 본 발명의 많은 애플리케이션들과 실시예들은 인터넷을 통한 디지털 비디오 컨텐츠의 고성능 전송의 장점을 가질 수 있기 때문에, 본 섹션에서 당업자들이 이러한 환경에서 고려할 현존하는 몇몇 기술 옵션들을 검토해본다:
(a) 스트리밍 비디오 알고리즘들. 본 발명의 고유한 특징들을 기초로 비디오를 전송하는데 적절할 수 있는 특정 알고리즘들을 포함하는 비디오 스트리밍 알고리즘들과 프로토콜들에 대한 새로운 방법들.
(b) 비디오 파일 전송 프로토콜들. 이러한 솔루션 카테고리는 일대일 및 멀티캐스트(종종 본래 국적이 없음)와 같은 고속 인터넷 파일 전송에 사용되는 "차세 대 프로토콜들"의 리뷰를 포함하는 소프트웨어 기반의 파일 전송 프로토콜들을 사용하는 기술 방법들을 포함한다.
(c) 미디어 분배 방법들. 컨텐츠 캐싱 및 복사와 같은 향상된 성능을 제공하는데 사용될 수 있는 미디어의 연산, 저장 및 분배, 연합된 서버들과 데이터베이스들, 그리드 컴퓨팅, 및 특수 초고속 네트워크 등을 위한 방법들이 있다.
(d) 비디오 압축 알고리즘들. 이러한 솔루션 카테고리는 비디오 압축 알고리즘들을 포함한다. 비디오 압축 알고리즘 리뷰는 MPEG2 월드와이드 비디오 압축 표준의 선택적 발전 경로들을 고찰한다.
주의: 종종 이하의 본 발명의 실시예에서 (Digital Interactive Video Exploration and Reflection 기술을 대표하여) DIVERTM 기술, 및 DIVETM 워크시트로서 저장된 트래버설들의 워크시트 리스팅(230)으로 언급된다.
(a) 스트리밍 비디오 알고리즘들
디지털 비디오 분야에서 공지된 다양한 스트리밍 미디어 기술들이 있다. 그러나, 상기 스트리밍 알고리즘들은 본 발명의 고유한 요구사항들을 충족시키도록 설계되어 있지 않는다. 이러한 문서를 위해, 본 발명의 특정 요구사항들을 충족시키도록 설계된 새로운 부류의 스트리밍 알고리즘들은 "DIVERstreams"로 지칭된다. DIVERstreams을 처리하기 위해, 스트리밍 알고리즘들은 미디어의 매우 고대역폭 특성, 동시적인 스트림 표현(오버뷰 및 가상 카메라), 선형 및/또는 파노라마식 비디오 특성들, 공간 및 시간을 통해 장면 디스플레이를 줌(zooming) 및 패닝(panning) 할 수 있도록 가상 카메라로의 공간-시간 랜덤 액세스를 제공하는 요구사항을 해결할 수 있는 것이 바람직하다. 많은 후보 방법들을 이하에 나타낸다.
(i) 적응성 멀티-해상도(Adaptive Muti-Resolution)
이용가능한 네트워크 대역폭과 CPU 성능들로 스트림이 제공되는 DIVERstreams을 처리하기 위해 적응성 멀티-해상도 저장 및 네트워킹 액세스 방법이 제안된다. 적절한 해상도의 오버뷰 영상과 더 고해상도의 가상 카메라 비디오를 갖는 무비들의 "Base-Pair"가 사용된다. 고해상도 "Base-Pair"로부터 유도되는 부가적인 무비들은 본질적으로 다양한 해상도들(Ramella 2001)에서 "Image Pyramid", 영상들의 스택을 형성하며 현저하게 더 낮은 해상도들로 저장된다. 이러한 수단은 재생에 사용되는 해상도 레벨을 결정하기 위해 이용가능한 대역폭과 CPU 성능들(피드백 메커니즘을 이용함)에 제공된다. 네트워크 대역폭의 실시간 모니터링과 데스크탑 CPU 성능 측정들을 기초로 "피라미드 해상도 스위칭"을 이용하는 것이 제안된다.
(ⅱ) 압축 데이터 서브샘플링(Compressed Data Subsampling)
플라이 압축 및 공간-시간 크로핑된(cropped) 가상 카메라 데이터 스트림들상에 형성되는 압축 고해상도 가상 카메라 무비로의 공간-시간 램덤 액세스를 허용하기 위해 압축 데이터 서브샘플링 수단이 제안된다. 비디오 압축은 저장 및 네트워크 비용을 감소시키지만, 데이터가 처리 이전에 압축해제되어야 하기 때문에 처리 요구사항들을 증가시킨다. 압축해제 비용은 매우 고가이다: 압축 알고리즘들(JPEG 또는 MPEG와 같은)은 처리되는 비디오 품질의 각 NTSC 초 동안 27억개 명령 어들에 상당하는 픽셀당 150 내지 300개의 압축해제 명령어들을 요구한다. 데이터는 처리 이후에 압축되어야 하고 이는 비용을 상당히 더 증가시킨다. 압축해제 이후의 비디오 처리는 "공간 영역 처리(spatial domain processing)"라 불리고, 이는 가장 대중적으로 사용되는 방법이다. 상기한 문제들을 없애는 방법은 압축된 형태로 직접 비디오 데이터를 처리하는 것(Smith 1993, Arman 1993)이며, 이러한 방법은 복잡하고 시간 소모적인 압축 및 압축해제 사이클을 감소시킬 뿐만 아니라 처리를 위해 필요한 데이터량을 감소시킨다. 이러한 방법은 "압축 영역 처리(compressed domain processing)"라 불리고, 공간 영역 처리를 주파수 영역 처리로 변환한다. 압축 데이터는 주파수 영역에서 미약한 벡터 데이터를 복구하도록 압축 비트 스트림을 디코딩하고, 압축 영역 오퍼레이터(들)를 제공하며, 그 결과를 양자화 및 압축하는 엔트로피에 의해 처리된다. 압축 영역 처리는 주파수 공간 또는 선택적 코딩 표시들로 압축 데이터의 포맷상에서 수행될 수 있다.
압축 영역에서 처리 및 비디오 장면 서브샘플링을 지원하는 DIVER 비디오의 압축 표시는 상기 제안된 수단에서 사용되는 것이다. 이것은 인터프레임 또는 인트라프레임 비디오 알고리즘들에 사용될 수 있다. 서버에 적용될 때 상기 방법은 압축 데이터 스트림내에서 관심사의 크로핑된 공간-시간 비디오 스트림 영역을 선택하고 압축 오버뷰 무비와 함께 가상 카메라 경로를 위한 해당 압축 스트림만을 전송한다. 더 넓은 범위로 클라이언트를 이용하는 선택적 방법은 가상 카메라 경로를 규정하는 직사각형의 공간-시간 좌표들을 따라 압축된 전체 해상도 가상 카메라 비디오를 전송한 다음, 클라이언트 측에서 상기 비디오의 적정 영역을 선택 및 압축해제하는 것이다. 상기 서버측 방법이 보다 가능성이 있는 것으로서 제안되지만, 많은 서버 처리를 필요로 한다.
(ⅲ) 프로그래시브 조정(Progressive Refinement)
사용자가 DIVE와 상호작용함에 따라 시간에 대해 보다 현저한 고해상도 DIVER 비디오 영상을 나타내기 위해 프로그래시브 조정(Progressive Refinement)이 제안된다. 프로그래시브 조정 컨셉(Cohen 1988)은 라디오시티법(radiosity algorithm)들을 이용하는 복합 3D 장면들의 프로그래시브 및 급속 랜더링을 위한 컴퓨터 그래픽 영역에서 기원되었다. DIVER의 경우, 프로그래시브 조정은 아날로그식 메커니즘을 이용하여 디지털 영상 스트림들에 대신 적용된다. 이러한 방법은 위에서 설명한 다중-해상도 알고리즘과 연계하여 실행된다. 이러한 경우에 있어서, 영상 피라미드의 최저 레벨 또는 더 낮은 레벨이 먼저 전송되고, 이후에 피라미드의 다음 레벨들이 전송된다. 필요하다면, 중간 피라미드 레벨들을 생성하기 위해 표준 보간 알고리즘들이 하나의 피라미드 레벨이 다음번 레벨에 추가되도록 이용된다. 최저 해상도 버전의 장면이 초기에 시작 포인트로써 송신되고, 오버뷰 무비 및 가상 카메라를 생성하기 위해 이용된다. 시간 경과와 함께 이용자가 상기 무비와 상호작용함에 따라, 연속적으로 고 해상도의 비디오가 클라이언트에게 전송된다. 더 고 화질의 비디오가 상영될수록 이용자는 특정 비디오(DIVE)와 더 상호작용한다.
(ⅳ) 서버 측 재압축
서버 측 재압축 방식은 실행중인 크롭된 공간-시간 가상 카메라 무비의 실시 간 압축 버전을 생성하도록 제안한다. 이러한 방법으로, 고-대역의 고-해상도 가상 카메라 오리지널은 서버 상에서 압축 해제된다. 영상 크기 감소 및 필터링 처리는 해상도를 감소시키고 압축되지 않은 비디오를 서버 측에서 생성하기 위해 이용된다. 압축되지 않은 비디오는 더 낮은 해상도로 재압축되어 압축 형태로 전송된다. 이러한 방식은 오버뷰 및 가상 카메라에 대해 이용될 수 있다. 이러한 모델은 요구시에(on-demand) 기능을 하고, 이용자들이 다수의 DIVE들을 보고 있을 때 다수의 동시 재압축을 처리할 필요가 있을 것이다. 이러한 방법은, 매우 고-성능의 분산 및 병렬 처리 어레이들이 서버 레벨에서 비디오 변화 코딩(압축 해제 및 재압축)에 대해 이용 가능한 경우에서만 이용될 수 있다.
(ⅴ) 시각 디스플레이(Foveal Display)
"Foveal Point"의 개념(Chang 및 Yap 1997)은 가상 카메라의 오버뷰 무비들의 관심 영역에 고-해상도를 제공하도록 제안된다. Foveal Point 개념은 육안의 특성을 모방했다. 시각화는 기본적으로 "정신적-생리적 현상"이다. 이러한 사실은 시각화 연구의 현재 문제점들을 해결하여 이용될 수 있다. 생물학적 시각의 핵심적 사실은 "시각화된 영상들(fovealed images)"의 사용에 있고, 주변에서보다 그 망막와(fovea)에서 상당한 고 해상도를 갖는다. 이러한 영상 등급들은 표준 영상들과 비교하여 상당한 최소 데이터 밀도를 갖는다. 균일 해상도의 부족분을 조정하기 위해, 뷰어에게 새로운 등급의 "능동 제어"를 제공해야만 한다(Chang, Yap 및 Yen 1997). DIVER에 대해 제안된 시나리오에서, 조잡한 입도의 "큰 그림(big picture)"와 겹쳐진 관심 영역(노출되는 간격-시간 영역)에 대해 하나의 고-해상도 의 포커싱된 가상 카메라 영상일 존재할 수 있다(개선된 구현에서, 이러한 개념은 관심 영역에 기초한 해상도를 육안으로 정확하게 제공하기 위해 육안 추적과 결합하여 이용될 수 있음).
(b) 파일 전송 프로토콜들
(ⅰ) 표준 프로토콜들
HTTP, HTTPS, FTP, WebDAV - 이러한 프로토콜들은 파일들의 전송 및 공유를 위해 현재 이용되는 인터넷 상의 다수의 표준 프로토콜들이다. 이러한 프로토콜들 및 시스템들 각각은 또한 대량 매체 파일들의 전송, 공유 및 배포를 위해 이용될 수 있다. 이러한 프로토콜들의 최대 장점은 동시 이용성이고, 최대 단점은 풍부한 매체 컨텐츠의 고-성능 전달에 대한 특정 지원이 부족하다는 데에 있다.
(ⅱ) 차세대 프로토콜들
FTP("파일 전송 프로토콜")은 인터넷을 통해 파일들을 전송하기 위한 프로토콜 메커니즘으로써 1970년대 초반에 개발되었다. 이러한 표준은 클라이언트와 서버 사이의 세션을 설정하고, 이때 데이터는 정보 파슬들로 분리되고 작은 네트워크 패킷들로 전송된다. 전형적 패킷 손실 및 라운트 트립 타임(RTT) 하에서, FTP는 전형적으로 밀집되고 지연되는 환경에서 작동한다. 네트워크 손실 및 지연이 일단 특정 한계치에 도달하면, 증가하는 대역폭은 상당한 고-속도 링크들 상에서도 데이터 전송에 대해 최소 장점을 갖거나 아예 장점을 갖지 않을 수 있고, 데이터율은 상당히 낮은 임계치를 초과할 수 없으므로 위와 같은 링크들 상에서는 극도로 비효율적이다. FTP는 상당한 동시 사용성을 갖는다는 점에서는 유용하지만, FTP는 인 터넷에 대해 현재 필요한 대능력 파일 크기 전송 유형들에 대해 이용될 때 패킷 손실이 발생하는 효율에 대해서는 제한될 수 있다.
혁신적 솔루션은 다수의 상이하고 고유한 방법들을 이용하는 FTP 프로토콜 비효율성과 관련되는 기본적인 근본 원인을 처리하도록 최근 나타났다. 새로운 프로토콜들의 세트가 현재 이용가능한데, 이는 "UDP의 속도로 TCP의 신뢰성을 제공한다"고 하고; 이러한 방식들은 FTP보다 5배 내지 10배 또는 그 이상의 범위의 수량화된 속도 상승을 갖는 상당한 개선책들을 제공할 수 있다.
하나의 특정한 흥미로운 접근법은, 컨텐츠가 순서에 무관한 형태로 전송되는 메타 컨텐트(MetaContent)(Digital Fountain 2002)이고, 이는 본 명세서에서 컨텐츠 사이클링으로써 언급된다. 도 12에 도시된 바와 같이, Digital Fountain에 대한 데이터 분산 기술은 기본적으로 기존의 파일 서버 또는 전송 프로토콜의 기술과는 다른 것이다. 구조는 Digital Fountain 서버, Digital Fountain 클라이언트, 및 "메타 컨텐트(MetaContent)"라 불리는 특허 개념으로 구성되는데, 수학적 "은유" 방식이 수신측에서 데이터를 재구성하도록 이용된다. 데이터는 멀티캐스트 비디오 스트림과 유사하게 "순서에 무관"한 정보 스트림으로써 메타 컨텐트에 의해 수신된다. 독립적으로 생성된 메타-컨텐트를 포함하는 패킷들은 완전하게 교환가능하고, 수신자는 언제든지 데이터의 "fountain"으로 탭핑할 수도 있다. Fountain Client가 어떤 메타-컨텐트를 어떤 순서로 수신하는지는 중요하지 않다. 수신되는 독립적으로 생성된 메타-컨텐트의 량만이 본래 컨텐츠가 재구성될 수 있는 시기를 결정한다. 그러므로, 만일 메타-컨텐트를 포함하는 패킷들이 전송중 손실되었다 면, 이후에 수신된 패킷들에 포함되는 동일한 량의 메타-컨텐트만이 본래 컨텐츠를 재구성하기 위해서 유용하다. 이러한 경우에 있어서, 대부분의 전송 프로토콜들에 의해 수행되는 엄격한 순차적 데이터 전달보다는, 이용되는 순환적 반복 데이터 방식이 존재한다.
전송 속도에 있어서 급격한 개선은 FTP와 같은 표준 프로토콜들과 비교할 때 Digital Fountain을 들 수 있다. FTP와 비교한 전송에 있어 개선은 전형적 경우에 있어서는 2.5배 내지 5배 또는 그 이상이고, 두개 내지 세개 순서의 크기만큼 클 수 있다. 게다가, 특정 경우에 있어서, Digital Fountain은 95% 만큼의 링크 이용을 제공할 수 있다. 밀집도 흐름 제어는 다른 네트워크 통화량에 대해 공평성을 보장하고, 그 방식은 작은(메가바이트 배수) 메모리 푸트프린트를 이용한다. Digital Fountain은 서버 측 상의 Transporter Fountain 뿐만 아니라 모든 수신측들에 대한 소유 클라이언트-측 소프트웨어를 요구한다. 서버 라이센스는 Transporter Fountain 플랫폼의 이용을 위해 구입되어야만 한다. Digital Fountain은 UDP 프로토콜을 이용하고, 이는 매체 이용자들의 네트워크부 또는 IT로부터 방화벽 구성 작업을 요구한다. Digital Fountain의 장점들이 훌륭할 지라도, 그 장점들은 네트워크 속도, 지연 시간 및 홉의 개수에 기초하여 상당히 컨텍스트-의존적이고; 종사자들은 적절한 상황에서만 사용됨을 보장하기 위해 이러한 능력의 잠재적 애플리케이션을 주의 깊게 검토해야 한다.
(c) 매체 분산
(ｉ) 컨텐츠 캐싱
DIVER 프로젝트는 말단 이용자들을 위한 비디오 성능을 개선시키기 위해 다양한 컨텐츠 캐싱법을 고려할 수 있다. DIVER 그룹은 자신의 개발 자원들을 이용하는 하나의 세트를 개발할 수 있다. 이는 액세스된 비디오 DIVE 컨텐츠를 분산된 로컬 DIVER 서버들의 네트워크로 자주 배포하기 위한 동기화 알고리즘을 이용하여 중앙 DIVER 서버로부터 지역적 DIVER 서버들로 비디오 컨텐츠를 복제하기 위한 고유 메커니즘을 포함할 수도 있다. 이용자가 컨텐츠를 요청할 때, 규정된 기준(즉, 최소 통화량, 최소 부하, 최근접 위치 또는 이러한 매트릭스들의 결합)을 만족하는 최근접 DIVER 서버로 재전달시킬 수 있다. 다른 옵션은 상업적 컨텐츠 캐싱 제품들(Vichare 2002)을 들 수 있다. 추가적 옵션은 상업적 캐싱 제품들을 내부 개발된 캐싱 모델과 결합할 수 있다.
컨텐츠 네트워크 제품들(Inktomi, Akamai, CacheFlow, Cisco 및 Network appliance와 같은 제품들)은 인트라넷 또는 인터넷 상에서 말단 이용자들에 의해 리치 컨텐츠의 뷰잉 및 상호 작용 성능을 개선시키도록 전개되고 있다. 이러한 제품들은 정적 또는 스트리밍 또는 동적 컨텐츠를 조정 가능하고 신뢰할만하며 안전한 방법으로 전달하기 위한 제반 구조를 제공한다. 캐싱 엘리먼트들은 성능을 개선시키고 업스트립 대역폭을 최소화하기 위해 말단 이용자에게 가까운 네트워크 에지에 저장되는 컨텐츠; 최적의 데이터 센터로 요청들을 라우팅하거나 최근접 컨텐츠를 제공하기 위해 디렉토리를 이용하여 컨텐츠 위치들 및 네트워크와 서버의 부하 디렉토리를 생성하기 위핸 컨텐츠를 라우팅하는 컨텐츠 라우팅; 및 임의의 오리지널 지점에서 네트워크 에지로 정적 컨텐츠, 동적 컨텐츠 및 스트리밍 컨텐츠의 사전의 지능적 배포인 컨텐츠 배포 및 관리를 포함한다. 캐싱 장치는 네트워크 상에서 손쉬운 액세스를 위한 웹 데이터를 지능적이고 신속하게 선택하고 저장한다. 더 자주 요청된 컨텐츠가 네트워크 상에 저장되면 웹 서버들 및 방화벽들에 대해 상당히 부담이 덜해진다. 결과적으로, 네트워크는 좀 더 신속하게 웹 페이지들 및 리치 매체 컨텐츠에 대한 요청을 충족시킬 수 있다. 캐싱 장치들은 세 개의 서로 다른 시나리오들로 전개된다: 서버 부하를 감소시키고 사이트 성능을 개선시키기 위해 웹 서버들의 앞단에 "역방향 캐시"로 둘 수 있다; WAN 상의 통화량을 감소시키기 위해 엔터프라이즈 LAN이 WAN 과 접하는 곳에 "순방향 캐시"로 둘 수 있다; 전달 루트를 따른 통화량을 감소시키기 위해 ISP 또는 캐리어들의 백본을 따라 다양한 "분산된 캐시"를 둘 수 있다.
종사자들은 분산 환경에서 DIVER 컨텐츠로의 액세스를 최적화하는데 이용가능한 다양한 컨텐츠 캐싱 옵션들을 평가할 수 있다.
(ⅱ) 연합 서버들 및 데이터베이스들
연합 서버들 및 데이터베이스들은 종사자들에게는 DIVER에 대한 고려로써 잠재적으로 흥미로운 기술들이다. 바람직한 애플리케이션들은 비디오 협력연구(Video Collaboratory)의 분산 네트워크에 대해 복제된 DIVER 환경을 개발하는 단계를 포함한다; 그러한 애플리케이션들에 대해서는 매체들이 분산 데이터베이스들에 대해 저장되는 것을 허용하는 시스템을 갖는 것이 유리하다. 이는 개별적 DIVER 센터들이 각각 자신의 DIVER 서버들 및 컨텐츠를 유지하는 것을 허용하지만, 여전히 모든 DIVER 사이트들에 대해 범용적으로 컨텐츠 및 메타 데이터를 공유할 수 있다.
연합 시스템은 특별한 유형의 분산 데이터베이스 관리 시스템(DBMS)(Rutledge 2001). 연합된 시스템은 다른 DBMS들(예를 들어, 오라클, 사이베이스, 마이크로소프트 SQL 서버, 또는 mySQL과 같은 오픈 소스 데이터베이스들) 상에 위치된 데이터를 쿼리하거나 조회하는 것을 허용한다. SQL 문은 단일 문으로 다중 DBMS 또는 개별 데이터베이스로 언급될 수 있다. 예를 들어, 오라클 테이블, 마이크로소프트 SQL 서버 및 mySQL 뷰로 위치된 데이터를 조인할 수 있다. 연합 데이터베이스 환경에서, 단일의 동기화된 뷰는 다중 이종 데이터 소스들에서 나타난다. 연합 시스템 모델은 적절한 트랜잭션 및 성능 요구사항을 갖는 작은 매체성 애플리케이션들에 대해 적절한 구조이다.
연합 시스템은 연합 데이터베이스(Database 인스턴스) 및 하나 이상의 데이터 "소스들"로서의 역할을 할 데이터베이스로 구성된다. 데이터 소스 및 그 특성들을 식별하는 카탈로그 엔트리들은 연합 데이터베이스를 포함한다. DBMS 및 데이터는 데이터 소스를 포함한다. "닉네임"은 데이터 소스들에 위치된 테이블들 및 뷰들을 참조하기 위해 이용될 수 있다. 애플리케이션들은 연합 데이터베이스를 임의의 다른 데이터베이스처럼 연결하고 마치 하나의 통합된 데이터베이스인 것처럼 컨텐츠를 이용할 수 있게 된다.
연합 시스템이 셋업된 이후에, 데이터 소스들의 정보는 마치 하나의 대능력 데이터베이스인것처럼 액세스될 수 있다. 이용자들 및 애플리케이션들은 하나의 연합 데이터베이스로 질의를 보내고, 상기 데이터베이스는 데이터 소스들로부터 데 이터를 조회한다. 연합 시스템은 특정 제한 사항하에서 동작할 수 있는데, 예를 들어 분산 요청들이 판독 동작만으로 제한된다.
(ⅲ) 그리드 컴퓨팅
지난 수년 동안 다양한 개발들이 대능력 분산 컴퓨팅 작업들에 대한 개연성의 솔루션으로 그리드 컴퓨팅(Foster 2001, Chen 2002) 영역을 촉진시켜 왔다. 과학적 시각화, 영상 렌더링, 우주 산업 컴퓨팅, 및 멀티-플레이어 멀티미디어 게임(Massively Multiplayer Gaming(MMG) 및 Butterfl.Net에 대한 IBM 주도의 코어)과 같은 상업적 애플리케이션들에 대한 연구 애플리케이션들에 초기 초점을 두어왔다. 만일 DIVER 이용이 Digital Video Collaboratory 네트워크에 대해 광범위하게 이용된다면, 분산 이용자 베이스에 대한 대능력 파일 크기의 파노라마식의 기존 비디오를 처리할 광범위한 필요가 있고, 그리드 컴퓨팅은 고려시 매우 흥미로운 솔루션일 수 있다. 그리드 컴퓨팅은 상당히 흥미로운데, 컴퓨팅 자원들을 매우 효율적으로 사용하게 하여주는(컴퓨팅 비용을 상당히 절감하여주는) 질량 스케일 상의 아이들 CPU 사이클들을 캡쳐링하도록 하여준다. 컴퓨팅 작업이 그리드 컴퓨팅 솔루션에 맵핑하는지를 결정하는 체크리스트는 Dyck 2002에서 알 수 있다. 전형적인 그리드-컴퓨팅 "체크리스트"는 컴퓨팅이 다음의 기준을 만족시킬 필요가 있는지를 결정하는 단계를 포함한다.
- 분산적 관리 구조
- 요구되는 고레벨의 컴퓨팅
- 컴퓨팅은 컴포넌트 패키지들로 분산될 수 있음
- 데이터는 이미 다수의 위치들에 대해 분산됨
- 신속하거나 예측 가능한 응답 시간이 요구됨
- 컴퓨팅은 소프트웨어 및 하드웨어 고장에 유연함
특정 애플리케이션에서의 비디오 처리를 위한 DIVER의 필요성은 그리드 컴퓨팅 법과의 잠재적 매칭이 존재하는지를 결정하는 것을 종사자들에 의해 검토되어야만 한다. 예를 들어, 그리드 컴퓨팅의 DIVER에 대한 값은 아래와 같은 디지털 비디오 분석 작업들을 구현하는 애플리케이션들에서 향상될 수 있다.
- 검색 가능한 인덱싱된 텍스트로의 오디오의 자동 녹음
- 파노라마식 디-워핑(de-warping)
- 특성적 카테고리들 및 통계적 분석으로 비디오 "코딩"
- 낮은 비트율 및 비디오 스트리밍 형식으로 비디오를 트랜스코딩
특정하게는 이러한 능력은 복잡해지므로 점점 더 컴퓨팅이 요구되고 있다.
Globus Project(http://www.globus.org)는 그리드 컴퓨팅에 대한 오픈 소스 개발, 연구 및 프로토타입을 관리하는 기관이다. Globus Toolkit 2.0은 현재 생산 목적으로 이용 가능하고; Globus Toolkit 3.0은 오픈 그리드 서비스 구조(OGSA:Open Grid Services Architecture)에 대해 초점이 맞추어진다 - 그리드 컴퓨팅과 웹 서비스 프레임워크와의 통합.
(ⅳ) 피어-투- 피어
엔터프라이즈에 디지털 매체의 보안, 전달 및 추적의 공개를 제공하는 애플리케이션들의 세트는 Kontiki(http://www.kontiki.com) Delivery Management System(도 13에 도시된 구조)에서 이용가능하다. 이러한 기술은 피어-투-피어 파일 공유 및 대능력 파일 분산 모델을 이용하고, 이때 일단 컨텐츠가 노드에서 액세스되었다면 데이터는 광역 및 근거리 망 노드들에 대해 분산 방식으로 캐싱된다. 증가하는 이용자 수에 의해 데이터가 더 자주 액세스됨에 따라, 데이터는 더 많은 노드들로 분산되고 컨텐츠에 대한 액세스는 좀더 빨라지게 된다. 상기 기술은 대능력 피어-투-피어 파일 공유 능력과 유사하지만, 리치 매체의 좀더 신뢰성있고 안전적인 엔터프라이즈 전달에 초점을 둔다. Kontiki 솔루션은 소유 클라이언트 및 서버 모듈을 요청한다.
상기 기술은 대역폭 하비스트(Bandwidth Harvesting)(Kontiki가 파일을 처리하는 각 컴퓨터의 응답 시간 및 이용가능한 대역폭을 모니터링하고, 최고의 처리량을 제공하는 컴퓨터들에서 더 많은 데이터를 요청하는 Adaptive Rate MultiServing를 포함함), 캐싱 컨텐츠(외부 네트워크 에지들에서), 및 시간 시프팅(Kontiki의 네트워크 디렉토리는 입력되는 일회성 전달들 및 진행하는 전달들(주간 뉴스 정리와 같은 것)을 예정해온 매체 이용자들의 리스트들을 생성함), 디지털 권리 관리(Digital Right Management) 및 보안 분산 네트워크 관리 프로토콜에 기초한다.
이러한 접근방식의 속도상의 장점들은 고려할만하고, Digital Fountain과 유사하게도 그 결과는 다중 인자들 또는 순서들의 속도 증가 또는 크기의 증가(즉, 매체 파일이 로컬망 상에서 가까운 데스크탑 기계 상에서 로컬 캐싱될 때)에 의해 다양한 시나리오들에서 실제적일 수 있다.
(V) 핸드헬드 및 이동 비디오
헨드헬드 및 이동 장치의 영역은 새로운 핸드헬드 모델들 및 컬러 스크린들, 더 높은 용량의 메모리, 대역폭, 및 저장장치를 제공하는 셀룰러 전화기들과 함께 극적으로 진보하고 있다. 상기 장치들의 사용을 미디어를 분산시키기 위한 기반으로 고려하는 것은 논리적이다. 예를 들어, 컴팩트 플래시, 스마트미디어 등등과 같은 데이터 저장 카드들은 메가바이트 부터 기가 바이트의 1/4 또는 그이상 까지의 범위의 데이터 저장을 제공한다. 상기 저장 레벨은 이상적으로는 압축된 디지털 비디오 파일들을 처리하는데 적합하다. 높은 데이터 저장이 인에이블되는 새로운 종류의 장치들에 선형 또는 파노라마 비디오 컨텐트를 사용하는 것을 생각할 수 있다. 휴대용 장치에 고품질 디지털 비디오를 디스플레이하는 적절한 해결책은 Kinoma(http://www.kinoma.com)에 의해 공개되었다. Kinoma는 입력 소스 무비를 선택하여 이를 휴대용 장치에서 재생 및 대화하기에 적절한 특정 포맷으로 변환하도록 하는 저작 환경을 제공한다.
비디오 DIVES를 핸드헬드에 배치하기 위해, 다양한 비디오 코딩 옵션들을 고려하는 것이 바람직하다. 예를 들어, DIVE를 위한 비디오는 "측정가능한" 방식으로 표시될 수 있으며, 따라서, 저급(low-end) 장치들에 적합한 비트율을 포함하는 다양한 비트율들로 컨텐트가 발생된다. 선택적으로, 비디오는 핸드헬드에서 낮은 비트율의 비디오를 위해 설계된 새로운 포맷으로 트랜스코딩될 수 있다. 결국, 비디오에 대한 "스마트" 표시는 사용가능한 계산 능력, 스크린 크기 등등을 자동으로 측정할 수 있는 것을 표시하는데 사용될 수 있다.
(d) 비디오 압축
(i) 오버뷰
비디오 압축 알고리즘들은 전체 비디오 전송 화상의 임계 부분이다. 사용된 알고리즘들은 파일 크기, 전송 시간, 화상 품질, 편집 능력 및 산업 표준들과의 유연성을 결정할 때 핵심 역할을 수행할 것이다. 파일 크기 및 화상 품질과 관련하여 다수의 판매자들에 의해 요구되는 다수의 요구사항들을 가지는 비디오 압축 분야에서 새롭고 혁신적인 개발들의 일정한 흐름이 제공된다. 상기 분야에서 새로운 압축 알고리즘은 실질적인 시간 및 자원 투자 및 그 실행을 필요로 하기 때문에 주의하여야 한다. 임의의 새로운 압축 알고리즘은 기본적인 설계 파라미터들 - 압축 비율, 파일 크기, 전송 시간, 표준과의 유연성, 화상 품질, 개방성 등과 관련하여 평가되어야만 한다. 다수의 공급자들은 그들의 비디오 압축 파일 크기 및 비율 정보만을 강조할 뿐이나, 상기 정보는 평가에는 부적절하다. 새로운 코덱을 위한 임계 결정 요소는 화상 품질이다. 어느것도 정해지지 않으며, 화상 품질을 측정하는 양적인 메트릭 공통으로 제공된다(그러나, 신호 대 잡음비와 같은 메트릭을 사용하여 수행될 수 있다). 양적인 데이터가 부족할 때, 화상 품질이 수용가능한 품질의 비디오를 위한 필요성을 만족하는지의 여부를 확인하기 위해 목표 사용자 단체에 테스트가 수행되어야 한다.
(ii) 표준들
MPEG-4는 MPEG(동영상 전문가 그룹)에 의해 개발된 ISO/IEC 표준이며, 상기 위원회는 MPEG-1(비디오 CD, PC 재생, MP3에서 생성) 및 MPEG-2(현재 DVD 및 디지털 텔레비전에서 사용)로 공지된 월드와이드 표준을 개발하였다. 예를 들어, http://mpeg.telecomitailialab.com/standards/mpeg-4/mpeg-4/htm을 참조하라. MPEG-4는 전세계적으로 수백명의 연구원들 및 엔지니어들을 필요로 하는 국제적인 성과의 결과물이다. MPEG-4는 3가지 분야들(디지털 텔레비전; 대화식 그래픽 애플리케이션; 합성 컨텐트) 및 대화식 멀티미디어(월드와이드 웹, 컨텐트의 분배 및 컨텐트로의 액세스)에서 성과를 증명하고 있다. MPEG-4는 상기 3가지 분야들의 제작, 분배 및 컨텐트 액세스 활용예의 통합을 인에이블하는 표준화된 기술 엘리먼트들을 제공한다. 관련된 표준들 MPEG-7(컨텐트 설명을 위한 표준) 및 MPEG-21(멀티미디어 프레임워크)은 현재 개발중이며, MPEG-4와 연관될 것이다.
MPEG-4는 비디오 표준에 기초한 오브젝트이며, 그 스트리밍은 MPEG-2와 동일한 품질의 비디오 스트리밍을 전송하지만, 현재의 산업 표준은 MPEG-2의 비트율의 1/3만을 사용한다. 동일한 품질 레벨에서의 상기 비트율의 감소는 상당히 현실적이며, 이로 인해 전송 시간에서 상당한 속도 증가가 발생한다. MPEG-4 비디오는 높은 비트율 광대역까지의 셀룰러 전화기로부터의 대역폭 스펙트럼에서 매우 높은 품질을 제공하며, 오늘날 사용할 수 있는 최고의 압축 알고리즘과 경쟁한다.
애플 컴퓨터사는 전적으로 MPEG-4를 지원한다. 예컨데, http://www.apple.com/mpeg4/를 참조하라. MPEG-4는 quickTime 6의 통합 엘리먼트가 될 것이며, 실제 네트워크들은 전적으로 상기 표준을 사용한다. 그러나, 주목할만한 것은, 마이크로소프트사는 아직 상기 표준을 채택하고 있지 않으며, 이른바 "코로나"(Window Media 9)라는 선택적인 방식을 제공하고 있다. http://www.microsoft.com/windows/windowsmedia/thirdgen/default.asp를 참조하 라.
(iii) 오픈 소스(코덱들)
VP3(www.vp3.com)은 "오픈 소스" 비디오 코덱이다. 상기 코덱은 옵션들을 사용하여 비디오 코덱 소스 코드 기반에 액세스하는 오픈 소스 단체가 비디오 프로세싱 코드를 향상 및 확장시키도록 한다. VP3는 높은 품질의 비디오와 높은 압축 레벨 및 PC와 매킨토시 컴퓨터에서의 신속한 압축 해제를 목표로한다. 컨텐트는 웹을 통해 전송될 수 있는 로컬 디스크 드라이브, CD 또는 DVD에서 중지될 수 있다.
VP3는 현재 QuickTime에서 지원되며, 비디오 컨텐트에 대한 인코딩(QuickTime 5.x Pro) 및 디코딩(QuickTime 5.x 표준)을 지원한다. 인코딩된 비디오 파일들은 QuickTime 스트림 서버로부터 전송되거나 점진적인 다운로드동안 웹서버가 중단된다. VP3는 Mac 및 PC의 QuickTime와 호환가능하며, QuickTime Pro 또는 임의의 다른 QuickTime 호환 인코딩 애플리케이션을 사용하여 인코딩을 수행할 수 있다.
VP3 파일들은 윈도우 미디어 플레이어(파일들은 윈도우 기반들에 대한 Direct X 및 Video 모두와 호환가능하다)로 재생될 수 있다. 윈도우를 위한 VP3는 윈도우를 따르는 인코더들(Asobe Premiere 및 Cleaner와 같은)을 위한 비디오를 사용하여 VP3 비디오내에서의 인코딩을 허용한다. 코덱의 디코더 부분은 윈도우들 및 DirectShow 모두를 따르는 비디오이다.
VP3가 오픈 소스 소프트웨어이기 때문에, 코덱 소스들은 자유롭게 사용가능 하고 주문형 애플리케이션에 통합될 수 있다. 비디오 캡처 및 인코딩을 위해, 산업내에서 VP3에 대한 지원은 제한되지만, 비디오 캡처 및 인코딩 능력들은 On2 기술들, 즉, 비디오에 대한 오픈 소스 코덱의 창설자로부터 사용가능하다.
이른바 "Ogg Vorbis"라 불리는 오픈 소스 오디오 코덱이 제공되고, 상기 Ogg Vorbis는 소유권이 없고, 개방되며, 특허 및 로열티가 무료인 오디오 포맷이며, 미디어에 대한 코덱은 고품질 오디오에서 인터넷을 통한 전송 동안 고정 및 가변 비트레이트이다.
(iv) 오픈 소스(서버들)
Real Networks사는 제 1의 주요 오픈 소스 스트리밍 미디어 서버 - "Helix" 범용 서버를 발표하였으며, 이는 http://www.realnetworks.com/info/helix/index.html을 참조하며, 다양한 미디어 코덱들(즉, QuickTime, MPEG-2, MPEG-4, Windows Mwdia, Real Media 등)을 지원하고 미디어 서버를 개선 및 확장시키기 위해 오픈 소스 코드 기반으로의 액세스를 제공한다. 상기 새로운 서버는 새로운 종류의 미디어 스트리밍 알고리즘들 및 상기 밑줄 부분에서의 DIVER스트림들과 같은 프로토콜들을 구현할 때, 개업자들에게 매우 유용할 수 있다. 또한, 주문형 Helix 인코더들 및 DIVER를 위한 클라이언트측 플레이어(이른바 "Helix DNA 플레이어)를 제작하는데 유용할 수 있다.
테이블 1은 개업자들에게 유용한 추가의 참조를 위해 상기 섹션에서 언급된 디지털 형상의 처리 및 분배시 기술적인 참조 문헌들의 리스트를 제공한다.
테이블 1 - 참조문헌들
Figure 112005035410855-PCT00001
C. 분석 및 조사
도 6 및 10은 우리가 대화형 파노라마 비디오 맵을 호출하는 개념을 설명하며, 즉, 사용자를 돕는 대화형의 변환 가능한 표시는 비디오 데이터에서 더 많은 요약 패턴들 및 관계들을 조사 및 분석하기 위해 이벤트 - 제 1 오디오-비디오 레코드 - 의 표면 구조를 경험한다. 우리는 상기 파노라마 오버뷰들을 종래의 맵 형성 및 맵 해석과의 유사성을 강조하기 위한 맵들로 참조한다. 종래의 맵에서와 같이, 파노라마 비디오 맵은 나타내고자 하는 실제의 공간-시간 이벤트보다 더 추상적인 이미지이다. 종래의 맵과 유사하게, 파노라마 비디오 맵은 분석 작업에 즉시 사용할 수 있는 원래의 동적 이벤트의 특징들을 강조하면서 외부로부터의 세부사항을 필터링한다. 그러나, 종래의 페이퍼 맵에서와 다르게, 파노라마 비디오 맵의 중요한 특징들은 대화방식이라는 것이며, 이는 사용자가 즉시 작업에 적절한 화면 요약 레벨을 선택할 수 있도록 한다.
대화방식 파노라마 맵 오버뷰들의 시나리오
대화방식의 파노라마 맵 오버뷰들의 개념을 명확히 하기 위하여, 4개의 사용자 시나리오들이 본 발명의 애플리케이션들로서 사용될 수 있는 방법을 제공한다. 상기 시나리오들은 개업자들이 평가하는 것과 같이 철저한 것은 아니지만, 본 발명을 사용하여 유리하게 처리될 수 있는 인간과 컴퓨터간의 대화에 대한 도전들 및 기회들의 의미를 제공하도록 확장된다.
시나리오 1. 파노라마 개요 맵내의 주석 "핫 스폿"에 대한 트래버설
워크 스페이스 영역(230)은 사용자가 'DIVE' - 파노라마 비디오 이벤트에 대한 사용자의 특정 시각을 포함하는 트래버설들을 해석하고, 조직하며, 분석할 수 있는 공간이다. 앞서 도 2A 및 2B에서 설명된 실시예에서, 워크시트(230)는 패널들 세트로 구성되고, 각각의 패널은 특히 무비를 해석하기 위한 무비 섬네일(240), 시간 코드(250;d) 및 텍스트 박스(250;a)을 포함한다. 학생들과 교사들 사이의 비언어적 대화에 관심을 가지는 조사원이 교실의 파노라마 비디오로부터 선별된 수백개의 해석된 트래서벌들을 포함하는 DIVER 워크시트를 생성한다고 가정하자. 또한, 상기 조사원은 주석 "핫 스폿들"이 비디오 내에 위치된 장소의 오버뷰를 획득하기를 원한다고 가정하자. 다시말해서, 이벤트내에서 특정 시간 및 공간 포인트들에 대한 주석들이 집중적으로 발생하는가? 비디오 시간선에 따른 주석들의 주파수를 도시하는 히스토그램은 상기 핫 스폿들을 관찰하는 종래의 방법이 될 것이다. 그러나, 종래의 히스토그램은 주석들이 발견되는 시점만을 도시할 뿐, 위치는 도시하지 않는다. 도 7은 해석된 트래버설들(710)의 섬네일 미리보기(730)가 에지-검출된 파노라마 오버뷰(720)상에 오버레이되는 인터페이스 판넬을 도시한다.
파노라마 오버뷰(720)는 트래버설 섬네일(730)의 공간적인 위치를 우선적으로 나타내기 위해 에지-검출되고(개업자들에게 공지된 이미지 프로세싱 방법으로) 소거된다. 트래버설 섬네일(730)의 2D 맵(720)으로의 디스플레이는 2D 파노라마 내의 비디오 트래버설 세그먼트들의 x-y 위치가 주석을 위해 표시되는 시간에 자동적으로 로깅되기 때문에 가능하다. 슬라이더(740)의 시간 범위를 변경시킴으로서, 사용자는 주석 작용이 화면 내에서 공간적으로 분표하는 방법을 동적으로 관찰할 수 있다. 하기의 예에서, 교사의 다수의 해석된 트래버설들이 그녀의 시범 워크테이블에 상기 시간 단편들 동안 나타난다. 더 세부적인 사항을 획득하기 위해, 주 석 슬라이드바(740)는 파노라마 화면을 통해 드래그될 수 있고, 상기 슬라이드바를 드래그함으로써 DIVER 워크시트를 필터링하여 슬라이드바가 교차하는 디스플레이내의 해석된 트래버설들만을 도시한다. 결국, 사용자는 섬네일(730;n)을 클릭하여 도 1-3에서 설명된 것과 같이 세부적인 플레이어 윈도우내에서 해당하는 오디오-클립(710;n)을 재생함으로써 더 세부적으로 수행할 수 있다.
시나리오 2. 데이터 오버레이를 위한 파노라마 비디오 맵의 사용
파노라마 오버뷰는 정보 명시를 위해 사용될 수 있고, 특히 물리적인 세팅 규칙에 관한 가설들 및 그 작용 효과를 조사하기 위해 사용될 수 있다. 조사자가 통찰력을 개선하고 분석 카테고리를 생성하는 것을 시작하기 위해 실제 교실 교육 섹션의 파노라마 비디오를 조사할 때 DIVER를 사용하는 것으로 가정된다. 예를 들어, 조사자는 대화형 프로파일을 개발하고 교사가 착수했던 대화의 종류가 무엇인지와 얼마나 오래걸리는지에 대하여 비디오(도 4에서와 같은 분류 코드 주석들을 사용하여)를 코딩하기 위해 DIVER를 사용한다. DIVER 코딩 시트내에서의 분석 결과들을 트래버설 리스트로서 판단하는 것은 대화 모드와 물리적인 세팅간의 관계에 대한 토찰력을 제공하지 못한다. 그러나, 시스템 오버레이 및 에지 검출된 파노라마 오버뷰 - 일종의 공간의 카운터맵 - 로 코딩된 데이터를 구비함으로써, 조사자는 서로다른 방의 공간 영역들내에 밀집된 대화방식 모드들 - 각각의 대화 스타일은 바람직하게 컬러 도트에 의해 코딩됨 - 의 분배를 용이하게 관찰할 수 있다. 도 8은 에지-검출된 파노라마 화면(810)에 대하여 플롯화된 인덱스 데이터 포인트들(820)을 도시하는 디스플레이를 도시한다. (상기 예는 특정 애플리케이션들을 위한 선택적인 실시예들 2A 및 2B의 특징을 도시한다. 여기에서, 예를 들어, 파노라마 오버뷰가 공간적으로 직관적이거나 정확하지 않으면, 명시 맵으로서의 유용성이 제한될 수 있다.) 상기 개념이 본 발명의 사상내에서 더 확장될 수 있는 방법을 보이는 것은 용이하다. 예를 들어, 파노라마나 비디오 맵은 동일한 물리 공간이 서로 다른 교사들 또는 서로 다른 주체들에 의해 사용되는 방법을 검사하는데 사용될 수 있다. 비디오-내시경의 파노라마 버전을 사용하는 의료 교육에 대한 또다른 애플리케이션은 동일한 신체 조직이 서로 다른 레벨의 전문적인 시각 및 능력들을 가지는 학생들에 의해 수술되는 방법의 검사를 인에이블한다.
시나리오 3. 파노라마 비디오 데이터의 동적 조회
부가적으로, 정보의 시각화 기술들은 파노라마 스트림으로부터 선별된 데이터내의 패턴들 및 관계들을 사용자가 발견하도록 지원할 수 있다. 예컨데, 학생-교사간 대화를 연구하는데 관심이 있는 교육 조사자들은 서로 다른 레벨들의 얼굴 표정, 손 움직임, 질문하는 학생의 주파수, 발언 시간 등등과 같은 카테고리들과 관련하여 큰 비디오 트래버설 세트를 코딩하기 위해 DIVER 분류 코드 주석들을 사용하는 것이 가정된다. 또한, 조사자는 학생 이름, 나이, 학년, 평균 테스트 점수, 평균 점수 등등과 관련하여 각각의 클립을 코딩할 수 있는 것으로 가정하자. 도 9에서의 대화는 동적 질문 기술들이 조사자가 데이터 내의 패턴들을 조사하는 것을 지원하기 위해 사용될 수 있는 방법을 도시한다. 도 9는 요구되는 질문들의 평균 개수와 평균 테스트 스코어간의 관계를 도시하는 스캐터 플롯(920)을 도시한다. 무비 섬네일(930)이 데이터 포인트들을 표시하기 위해서 사용된다. 좌측 상 에서, 사용자는 풀다운 메뉴들(910)로부터 x 및 y 축에 대한 변수들을 선택할 수 있다. 예에서, 조사자는 평균 테스트 스코어에 대해 요청된 평균적인 수의 질문들을 플롯하도록 선택한다.
스케터 플롯은 학생들이 질문한 문제를 갖는 주파수와 그들의 테스트 스코어간의 선형적인 관계를 조사자가 보여주는데 도움을 준다. 플롯은 또한 사용자 통보 예외자(930(a)), 즉 평균 스코어가 높은 학생이 많은 질문을 받지 않도록 하는데 도움을 준다. 무비 섬네일(930)을 데이터 포인트로서 사용하는 것은 조사자가 데이터를 맥락화함으로써 특정 학생이 추가적인 질의를 트리거할 수 있다는 것을 나타낼 때 동떨어진 데이터 포인트를 인식할 수 있도록 하는데 도움을 준다. 예컨대, 무비 섬네일을 클릭함으로써, 조사자는 디테일 윈도우(950)에서 이러한 특정 데이터 포인트에 의해 표시되는 비디오 트래버설을 재생할 수 있을 뿐만 아니라 상기 비디오 트래버설을 그것의 본래 공간 및 파노라마식 오버뷰(940)의 일시적인 컨텍스트에서 확인할 수도 있다. 이러한 방식으로, 인터페이스는 조사자(또한 데이터를 보고 있을 수 있는 다른 사람들)가 (도 10에 도시된 바와 같은) 요약의 스케일을 빠르게 끌어올리고 끌어내릴 수 있도록 함으로써 이와 관련해서 사람의 신속한 행동에 대한 세부사항을 조사하도록 주 비디오 레코드를 쉽게 링크하도록 한다. 마지막으로, 도 3과 관련하여 앞서 설명한 바와 같이, 인터페이스는 조사자가 공간적으로 복합된 트래버설들의 세트 - 새로운 합성 무비 - 를 생성할 수 있게 하여 그로 하여금 자세한 프레임마다의 분석을 수행하고 질문하는 남자들의 트래버설을 질문하는 여자들의 트래버설에 비교하도록 하여 더욱 미세한 레벨들의 분석을 가능 하게 한다.
일반적으로는 도 10에 도시된 바와 같이, 사용자의 분석 작업이 요약의 스케일을 따라 존재하는 것으로 생각할 수 있다. 스케일은 이벤트(1010)의 직접적인 감지 경험으로부터 생각 및 발견(1030)의 더욱 반영적인 모드들까지 이른다. 그리고, 스케일의 각 레벨에 대해서, 사용자가 특정 레벨의 요약에서 이벤트를 조사하는 것을 돕는 기능을 하는 상응하는 리프리젠테이션(1020, 1040)이 존재할 것이다. 실제로, 그러한 개념의 능력은 정확하게는 조사자가 파노라마 비디오 레코드에 몰두할 때 요약의 스케일을 따라 어느 한 방향으로 쉽게 이동할 수 있게 하는 능력이다. 따라서, 본 발명의 바람직한 실시예에서는, 파라노라 비디오 맵은 사용자로 하여금 파노라마 비디오 레코드를 조사하는데 있어 요약 레벨들 사이를 쉽게 이동하도록 하는 변환가능한 리프리젠테이션이다.
도 6은 도 7 내지 도 10에서 제시된 바와 같이 비디오 데이터 맵을 사용하여 비주얼 데이터 트래버설을 조사 및 분석하기 위한 방법을 도시하는 흐름도이다. 단계(600)에서는, 분석되는 비주얼 데이터의 요약 맵이 디스플레이된다. 막 설명된 시나리오에 있어서, 요약 맵은 파노라마 오버뷰(720)(도 7), 에지-검출된 장면(810)(도 8), 또는 스케터 플롯(920)(도 9)을 각각 포함할 것이다. 단계(610)에서는, 마커가 분석되는 트래버설 레코드들 각각과 연관된다. 또한, 막 설명된 시나리오에서는, 마커들이 트래버설 섬네일 이미지들(730 및 930)(도 7 및 도 9) 또는 분류 코드 도트들(820)(도 8)을 포함할 것이다. 단계(620)에서는, 마커들이 요약 맵을 따라 적절한 장소에 플롯된다. 단계(630)에서는, 사용자가 해당 마커를 대화 방식으로 선택하고, 단계(640)에서는 그에 상응하는 트래버설 레코드를 재생하며, 따라서 도 10에 도시된 바와 같이 비디오 레코드를 조사하기 위해서 상이한 레벨의 요약들을 링크시키거나 그것들 사이에서 이동한다.
시나리오 4. 파노라마 비디오 이벤트들의 집합적인 가시화
따라서, 시나리오는 동작에 대한 파노라마 비디오 레코드를 분석하는 단일 사용자를 또한 포함한다. 교실 이벤트의 파노라마 비디오가 네트워크화된 조사자들 단체의 일부로서 이용가능하다고 가정하자. 시간이 지나면서, 상이한 백그라운드 및 관점을 갖는 많은 조사자들은 파노라마 이벤트에 관한 DIVER 및 분석을 생성할 수 있다. 분석들을 공유하기 위한 DIVER의 기본 메커니즘은 도 5와 연관되어 위에서 설명된 바와 같이 웹 상에 공개되어 있는 DIVER 워크시트 상에 처리된 논의를 보여주는 것이다. 파노라마 비디오 맵은, 도 6 내지 도 10을 참조하여 설명된 바와 같이, 수 백 또는 수 천 명의 사용자들의 집합인 사용자가 장면 상의 가시화 및 데이터 오버레이를 볼 수 있게 함으로써 이러한 아이디어로의 강력한 확장을 제공하는데, 상기 사용자들 각각은 장면 상에서 그들 고유의 견지를 갖는다. 본 명세서의 교시를 통해 당업자들에게 자명해질 바와 같이, 다이내믹한 질의 및 정보 가시화의 원리들은 사용자들로 하여금 장면 상에서의 주석 오버레이들, 예컨대 특정 컬러나 특징적인 형태로 코딩되는 각각의 인류학자에 의한 주석의 공간-시간 클러스터링을 나타내는 데이터 오버레이로서 견지의 집합을 볼 수 있도록 적용될 수 있다. 다른 예에서는 웹사이트를 통해 액세스가능한 동화상 비디오 레코드의 트래버설들을 생성하는 서로 다른 나이 그룹의 어린이들(또는 다른 측정가능 디멘션들 을 따라 상이한 프로파일들의 어린이들)의 주석에 대한 공간-시간 클러스터링의 대조적인 패턴들을 나타낼 것이다.
비록 위의 네트워크화된 단체 시나리오는 영상에 관한 비동기적인 DIVE들 및 분석을 필요로 하지만, 다른 시나리오는 동화상과 같은 엔터테인먼트 이벤트나 강당에서와 같이 비디오나 다른 영상에 관한 DIVES들을 동기적으로 생성할 수 있는 여러 사람들을 포함한다.
도 11은 본 명세서에서 설명된 바람직한 실시예들을 실행하기 위한 디지털 전자 장치들의 네트워크를 도시한다. 워크스테이션(1100), 일반적인 개인용 컴퓨터를 저작하는 것은 프로세서 및 저장부(1130), 디스플레이(1110) 및 입력 장치(1120)를 포함하며, 도 1의 저작 방법을 실행하기 위해 사용되고 도 2 내지 도 4의 그래픽 인터페이스 디스플레이들을 생성한다.
변형에 있어서, 원격 제어 장치(1140)는 워크스테이션(1100)에 무선으로 접속되는 것이 바람직하고, 그로인해 대화방식 세션들의 편리한 핸드헬드 제어를 가능하게 한다. 일부 실시예들에서는, 장치(1140)가 논리부를 완전히 제어하고 도 1 내지 도 4의 대화방식 디스플레이를 생성하기 위해 충분한 처리 전력 및 저장부를 포함할 수 있는데, 이 경우에 장치(1100)는 대체로 전자 디스플레이일 수 있으며 독립적인 계산 처리 전력(1130)을 반드시 필요로하지 않을 수 있다.
여하튼, 장치들(1130/1140)은 사용자 장치들(1160(a)-(n))과 네트워크(1150)(예컨대, 인터넷 또는 전용 인트라넷)를 통해서 접속되는 것이 바람직하고, 상기 사용자 장치는 일반적인 웹-브라우징 클라이언트 성능을 구비하는 것이 바람 직하다. 도 5에 대한 주석된 트래버설을 공개하고 공유하는 것은 이러한 네트워크 장치들 단체에 의해 수행된다. 요약 비디오 맵을 사용하여 트래버설을 분석하는 것은, 도 6 내지 도 10에서와 같이, 상기 도면들과 연계하여 설명되고 논의되어진 기능을 구현하는 소프트웨어 루틴들을 매핑하고 플롯하기에 충분한 처리 전력 및 저장부를 장착하고 있는 임의의 장치들(1130/1140 또는 1160(a)-(n))에 의해서 독립적으로 수행될 수 있다.
본 발명의 범위는 제시된 실시예에 의해 결정되지 않고 첨부된 청구항들 및 그들의 법적인 등가물에 의해 결정되어야 한다.

Claims (35)

  1. 비주얼 데이터(visual data)를 통해서 주석된 트래버설(annotated traversal)을 저작하기 위한 대화방식의 전자 방법으로서,
    상기 비주얼 데이터를 디스플레이하는 단계;
    상기 디스플레이되는 비주얼 데이터에 관하여 오버레이 윈도우를 위치시킴으로써 상기 디스플레이되는 비주얼 데이터의 트래버설을 대화방식으로 정하는 단계 - 상기 트래버설은 시간에 근거한 프레임 시퀀스를 규정하고, 상기 프레임들 각각은 상기 오버레이 윈도우에 의해서 묘사되는 상기 비주얼 데이터를 포함함 -;
    상기 트래버설에 주석을 다는 단계; 및
    상기 주석된 트래버설의 영속적인 레코드를 저장하는 단계를 포함하는 저작 방법.
  2. 제 1항에 있어서, 상기 방법을 반복해서 수행함으로써 다수의 저장되어 있는 주석된 트래버설들을 생성하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  3. 제 2항에 있어서, 상기 트래버설들 중 적어도 두 개는 상이한 비주얼 데이터 소스들에 대해서 생성되는 것을 특징으로 하는 저작 방법.
  4. 제 1항에 있어서, 상기 비주얼 데이터는 적어도 부분적으로 동화상, 정지 영 상, 시뮬레이팅 영상, 애니메이션 영상, 파노라마 영상, 라이브 영상과 같은 카테고리들 중 하나 이상의 카테고리로부터 선택된 데이터를 포함하는 것을 특징으로 하는 저작 방법.
  5. 제 4항에 있어서, 상기 파노라마 영상은 장면의 주변에서 안쪽으로 향하여 있는 다수의 카메라들을 사용하여 포착된 영상들을 포함하고, 상기 트래버설은 사용자-조정 3D-시각을 반영하는 것을 특징으로 하는 저작 방법.
  6. 제 1항에 있어서, 트래버설을 정하는 상기 단계는 상기 디스플레이된 비주얼 데이터에 관하여 상기 오버레이 윈도우를 위치시킴으로써 상기 비주얼 데이터를 패닝하는(panning) 단계 및 상기 오버레이 윈도우 크기를 다시 정함으로써 대화방식으로 줌시키는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  7. 제 1항에 있어서, 비주얼 데이터를 디스플레이하는 상기 단계는 비주얼 데이터를 직사각형 레이아웃 내에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 저작 방법.
  8. 제 1항에 있어서, 비주얼 데이터를 디스플레이하는 상기 단계는 비주얼 데이터를 원통형 레이아웃 내에 디스플레이하는 단계를 포함하고, 오버레이 윈도우를 위치시키는 상기 단계는 상기 원통형 레이아웃에 중심을 두고 위치된 가상 카메라 의 시야에 의해서 정해지는 것을 특징으로 하는 저작 방법.
  9. 제 1항에 있어서, 오버레이 윈도우를 위치시키는 상기 단계는 상기 가상 데이터를 이동시키는 단계를 포함하고, 반면에 상기 오버레이 윈도우는 고정적인 것을 특징으로 하는 저작 방법.
  10. 제 1항에 있어서, 오버레이 윈도우를 위치시키는 상기 단계는 상기 오버레이 윈도우를 이동시키는 단계를 포함하고, 반면에 상기 디스플레이되는 비주얼 데이터는 고정적인 것을 특징으로 하는 저작 방법.
  11. 제 1항에 있어서, 상기 오버레이 윈도우는 사용자가 선택가능한 기하학적인 형태를 갖는 것을 특징으로 하는 저작 방법.
  12. 제 1항에 있어서, 독립적으로 위치된 다수의 오버레이 윈도우들을 사용하여 다수의 트래버설을 동시에 정하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  13. 제 1항에 있어서, 상기 주석은 적어도 부분적으로는 텍스츄얼 코멘트, 그래픽 심볼, 분류 코드, 메타-데이터, 오디오 전사(audio transcription)와 같은 카테고리들 중 하나 이상으로부터 선택되는 데이터를 포함하는 것을 특징으로 하는 저 작 방법.
  14. 제 13항에 있어서, 상기 분류 코드는 사용자가 정할 수 있는 코드 템플릿으로부터 대화방식으로 선택되는 것을 특징으로 하는 저작 방법.
  15. 제 1항에 있어서, 상기 저장된 트래버설 레코드는 상기 비주얼 데이터의 압축된 일부분을 포함하는 것을 특징으로 하는 저작 방법.
  16. 제 1항에 있어서, 상기 저장된 트래버설 레코드는 상기 트래버설을 정하는 위치 좌표 세트를 포함하는 것을 특징으로 하는 저작 방법.
  17. 제 2항에 있어서,
    상기 방법을 수행하기 위해 통합된 그래픽 사용자 인터페이스를 사용하는 단계를 더 포함하고,
    상기 그래픽 사용자 인터페이스는 다수의 컴퓨터 디스플레이 영역들을 포함하며,
    상기 영역들은,
    상기 비주얼 데이터를 디스플레이하는 오버뷰 영역;
    상기 오버레이 윈도우 내에 현재 데이터를 디스플레이하는 디테일 영역; 및
    상기 다수의 저장되어 있는 주석된 트래버설 레코들의 리스트를 디스플레이하는 워크시트 영역을 포함하는 것을 특징으로 하는 저작 방법.
  18. 제 17항에 있어서, 상기 디테일 영역은 높은 배율 또는 해상도로 데이터를 디스플레이하고, 상기 높은 배율 또는 해상도는 사용자 요청, 네트워크 대역폭, 다른 네트워크 조건들을 포함하는 그룹으로부터 선택되어진 하나 이상의 팩터들에 적어도 부분적으로 기초하는 것을 특징으로 하는 저작 방법.
  19. 제 17항에 있어서, 상기 리스트된 트래버설 레코들 중 원하는 트래버설 레코드를 대화방식으로 선택함으로써 선택되는 저장된 레코드의 재생을 상기 디테일 영역에서 적어도 부분적으로 개시하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  20. 제 19항에 있어서, 원하는 트래버설 레코드를 대화방식으로 선택하는 상기 단계는 상기 선택된 레코드에 상응하는 그래픽 엘리먼트를 상기 디테일 영역 상에서 상기 워크시트 영역으로부터 드래그 및 드롭시키는 단계를 포함하는 것을 특징으로 하는 저작 방법.
  21. 제 1항에 있어서, 상기 다수의 저장된 트래버설 레코드들의 결합인 혼합 트래버설 레코드를 지정하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  22. 제 21항에 있어서, 상기 다수의 트래버설 레코드들 각각의 컨텐츠를 서로 인접하여 디스플레이함으로써 상기 혼합 트래버설 레코드를 재생하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  23. 제 21항에 있어서, 상기 다수의 트래버설 레코드들 각각으로부터 오디오 컨트리뷰션(audio contribution)을 지정하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  24. 제 23항에 있어서, 상기 오디오 컨트리뷰션은 하나의 소스 레코드를 선택하는 모드, 모든 오디오를 턴오프하는 모드, 각각의 레코드에 대한 상대적인 오디오 컨트리뷰션을 정하는 모드 중 하나 이상의 모드로부터 선택되는 선택 모드를 사용하여 정해지는 것을 특징으로 하는 저작 방법.
  25. 제 17항에 있어서, 표준 HTML 브라우저를 사용하여 네트워크를 통해서 액세스가능한 문헌에 상기 주석된 트래버설 레코드들의 워크시트 영역 리스트를 공개하는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
  26. 비주얼 데이터를 통해 주석된 트래버설을 저작하기 위한 대화방식의 전자적인 장치로서,
    상기 비주얼 데이터를 디스플레이하기 위한 수단;
    상기 디스플레이되는 비주얼 데이터에 관하여 오버레이 윈도우를 위치시킴으로써 상기 디스플레이되는 비주얼 데이터의 트래버설을 대화방식으로 정하기 위한 수단 - 상기 트래버설은 시간에 근거한 프레임 시퀀스를 규정하고, 상기 프레임들 각각은 상기 오버레이 윈도우에 의해서 묘사되는 상기 비주얼 데이터를 포함함 -;
    상기 트래버설에 주석을 달기 위한 수단; 및
    상기 주석된 트래버설의 영속적인 레코드를 저장하기 위한 수단을 포함하는 저작 장치.
  27. 비주얼 데이터를 통해 주석된 트래버설을 대화방식으로 저작하기 위한 디지털 전자 장치로서,
    상기 비주얼 데이터를 디스플레이하기 위한 제 1 디스플레이 장치; 및
    상기 제 1 디스플레이 장치와 통신하고, 다음의 단계들을 포함하는 상기 제 1 디스플레이 장치 상의 그래픽 상호작용을 제어하도록 구성되는 핸드헬드 원격 제어 장치를 포함하고,
    상기 단계들은,
    상기 디스플레이되는 비주얼 데이터의 트래버설을 정하는 단계 - 상기 트래버설은 시간에 근거한 프레임 시퀀스를 포함하고, 상기 프레임 각각은 상기 비주얼 데이터의 공간 서브세트를 포함함 -,
    상기 트래버설에 주석을 다는 단계, 및
    상기 주석된 트래버설의 영속적인 레코드를 저장하는 단계를 포함하는 저작 장치.
  28. 제 27항에 있어서, 상기 원격 제어 장치는 트래버설을 정하는 상기 단계가 디스플레이되는 비주얼 데이터에 관해 오버레이 윈도우를 위치시킴으로써 상기 비주얼 데이터를 패닝하는 단계 및 상기 오버레이 윈도우의 크기를 다시 정함으로써 상기 비주얼 데이터를 줌시키는 단계를 포함하도록 또한 구성되는 것을 특징으로 하는 저작 장치.
  29. 비주얼 데이터 및 연관된 공간 오디오 데이터를 통해 트래버설을 저작하기 위한 대화방식의 전자 방법으로서,
    상기 비주얼 데이터를 디스플레이하는 단계;
    상기 디스플레이되는 비주얼 데이터를 대화방식으로 정하는 단계 - 상기 트래버설은 시간에 근거한 프레임 시퀀스를 포함하고, 상기 프레임 각각은 상기 비주얼 데이터의 공간 서브세트를 포함함 -; 및
    상기 프레임 각각에 상기 비주얼 데이터의 공간 서브세트와 연관되는 공간 오디오 데이터를 포함하는 트래버설의 레코드를 저장하는 단계를 포함하는 저작 방법.
  30. 제 29항에 있어서, 상기 비주얼 데이터 및 상기 연관된 오디오 데이터는 장 면의 오디오비주얼 레코딩을 포함하는 것을 특징으로 하는 저작 방법.
  31. 제 29항에 있어서, 상기 비주얼 데이터는 위치의 시각적인 묘사를 포함하고, 상기 오디오 데이터는 상기 위치로부터 사운드의 레코딩을 포함하는 것을 특징으로 하는 저작 방법.
  32. 제 31항에 있어서, 상기 시각적인 묘사는 요약(abtract)인 것을 특징으로 하는 저작 방법.
  33. 제 31항에 있어서, 상기 장면은 콘서트 홀이고, 상기 오디오 데이터는 상기 콘서트 홀에서 연주되는 음악의 레코딩을 포함하는 것을 특징으로 하는 저작 방법.
  34. 제 31항에 있어서, 상기 장면은 회의실이고, 상기 오디오 데이터는 상기 회의실에서 레코딩되는 대화를 포함하는 것을 특징으로 하는 저작 방법.
  35. 제 29항에 있어서, 상기 레코드에 포함되는 연관된 공간 오디오 데이터의 전사를 갖는 상기 트래버설 레코드에 주석을 다는 단계를 더 포함하는 것을 특징으로 하는 저작 방법.
KR1020057012407A 2002-12-30 2003-12-22 디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치 KR20060025518A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/334,162 US7823058B2 (en) 2002-12-30 2002-12-30 Methods and apparatus for interactive point-of-view authoring of digital video content
US10/334,162 2002-12-30

Publications (1)

Publication Number Publication Date
KR20060025518A true KR20060025518A (ko) 2006-03-21

Family

ID=32654951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057012407A KR20060025518A (ko) 2002-12-30 2003-12-22 디지털 비디오 컨텐트를 대화방식의 관점에서 저작하기위한 방법 및 장치

Country Status (7)

Country Link
US (2) US7823058B2 (ko)
EP (1) EP1584037A2 (ko)
JP (1) JP2006512859A (ko)
KR (1) KR20060025518A (ko)
CN (1) CN1754160A (ko)
AU (1) AU2003303537A1 (ko)
WO (1) WO2004062260A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779215B1 (ko) * 2006-09-29 2007-11-26 한국전자통신연구원 작업 데이터 자동 이동 방법 및 이를 위한 장치
KR20170030422A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6803925B2 (en) 2001-09-06 2004-10-12 Microsoft Corporation Assembling verbal narration for digital display images
US7120293B2 (en) * 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7882258B1 (en) * 2003-02-05 2011-02-01 Silver Screen Tele-Reality, Inc. System, method, and computer readable medium for creating a video clip
US7139764B2 (en) * 2003-06-25 2006-11-21 Lee Shih-Jong J Dynamic learning and knowledge representation for data mining
KR20050041367A (ko) * 2003-10-30 2005-05-04 주식회사 팬택앤큐리텔 무선 인터넷을 통해 동영상 서비스 이용 시 사용자에 의한동영상 검색이 가능한 이동통신단말기와 그 방법
US7676739B2 (en) * 2003-11-26 2010-03-09 International Business Machines Corporation Methods and apparatus for knowledge base assisted annotation
US7400351B2 (en) 2004-10-06 2008-07-15 Microsoft Corporation Creation of image based video using step-images
US7945535B2 (en) * 2004-12-13 2011-05-17 Microsoft Corporation Automatic publishing of digital content
JP4494196B2 (ja) * 2004-12-27 2010-06-30 京セラ株式会社 画像表示装置
US7290482B2 (en) * 2005-02-11 2007-11-06 Lc Premiums, Ltd. Toaster with removable imaging plates
US7805679B2 (en) * 2005-02-24 2010-09-28 Fujifilm Corporation Apparatus and method for generating slide show and program therefor
US7372536B2 (en) 2005-03-08 2008-05-13 Microsoft Corporation Photostory 3—automated motion generation
US10271097B2 (en) * 2005-04-15 2019-04-23 Autodesk, Inc. Dynamic resolution determination
US20070024706A1 (en) * 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
US7953846B1 (en) * 2005-11-15 2011-05-31 At&T Intellectual Property Ii, Lp Internet security updates via mobile phone videos
KR100789783B1 (ko) * 2005-12-08 2007-12-28 한국전자통신연구원 지상파 ｄｍｂ용 대화형 콘텐츠 제공 시스템
US8392821B2 (en) * 2006-03-17 2013-03-05 Viddler, Inc. Methods and systems for displaying videos with overlays and tags
US20070233732A1 (en) * 2006-04-04 2007-10-04 Mozes Incorporated Content request, storage and/or configuration systems and methods
US7954049B2 (en) * 2006-05-15 2011-05-31 Microsoft Corporation Annotating multimedia files along a timeline
US20070271331A1 (en) * 2006-05-17 2007-11-22 Steve Muth System of archiving and repurposing a complex group conversation referencing networked media
US7627562B2 (en) * 2006-06-13 2009-12-01 Microsoft Corporation Obfuscating document stylometry
US8122341B1 (en) * 2006-06-17 2012-02-21 Google Inc. Sharing geographical information between users
US8301999B2 (en) * 2006-09-25 2012-10-30 Disney Enterprises, Inc. Methods, systems, and computer program products for navigating content
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US8819556B1 (en) * 2007-02-02 2014-08-26 Adobe Systems Incorporated Methods and systems for displaying format properties of crop areas
US7831901B1 (en) 2007-02-16 2010-11-09 Adobe Systems Incorporated Systems and methods employing multiple crop areas
US9424587B2 (en) 2007-04-11 2016-08-23 Comcast Cable Communications, Llc Advertisement supported video download
CA2722300C (en) 2007-04-25 2016-06-28 Miovision Technologies Incorporated Method and system for analyzing multimedia content
US20080313541A1 (en) * 2007-06-14 2008-12-18 Yahoo! Inc. Method and system for personalized segmentation and indexing of media
US8605133B2 (en) * 2007-06-27 2013-12-10 University Of Florida Research Foundation, Inc. Display-based interactive simulation with dynamic panorama
US8631358B2 (en) * 2007-10-10 2014-01-14 Apple Inc. Variable device graphical user interface
US20090172547A1 (en) * 2007-12-31 2009-07-02 Sparr Michael J System and method for dynamically publishing multiple photos in slideshow format on a mobile device
US20110191809A1 (en) 2008-01-30 2011-08-04 Cinsay, Llc Viral Syndicated Interactive Product System and Method Therefor
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
US11227315B2 (en) 2008-01-30 2022-01-18 Aibuy, Inc. Interactive product placement system and method therefor
US8112702B2 (en) * 2008-02-19 2012-02-07 Google Inc. Annotating video intervals
US8151179B1 (en) * 2008-05-23 2012-04-03 Google Inc. Method and system for providing linked video and slides from a presentation
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
JP5449859B2 (ja) * 2009-05-18 2014-03-19 任天堂株式会社 ゲームプログラム，ゲーム装置およびゲームシステム
US8606848B2 (en) 2009-09-10 2013-12-10 Opentv, Inc. Method and system for sharing digital media content
US8108541B2 (en) * 2009-11-19 2012-01-31 Alcatel Lucent Method and apparatus for providing collaborative interactive video streaming
US10553001B2 (en) * 2009-11-20 2020-02-04 Adobe Inc. Master page overlay
US20110279224A1 (en) * 2010-05-14 2011-11-17 Koreafirstec Co., Ltd. Remote control method and apparatus using smartphone
KR101663321B1 (ko) 2010-07-30 2016-10-17 삼성전자주식회사 파노라마 사진 촬영 방법
US8797315B1 (en) * 2010-09-29 2014-08-05 Google Inc. Segmented editor for tours of a geographic information system, and applications thereof
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
BR112013016874A2 (pt) 2010-12-28 2019-09-24 Google Inc direcionamento com base em atulizações sociais
US20120179983A1 (en) * 2011-01-07 2012-07-12 Martin Lemire Three-dimensional virtual environment website
US8595761B2 (en) 2011-06-17 2013-11-26 International Business Machines Corporation Streaming video with enhanced overlay positioning
US9204175B2 (en) 2011-08-03 2015-12-01 Microsoft Technology Licensing, Llc Providing partial file stream for generating thumbnail
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US9501856B2 (en) 2012-02-13 2016-11-22 Nokia Technologies Oy Method and apparatus for generating panoramic maps with elements of subtle movement
WO2013130478A1 (en) 2012-02-29 2013-09-06 Dolby Laboratories Licensing Corporation Image metadata creation for improved image processing and content delivery
US20130254259A1 (en) * 2012-03-20 2013-09-26 Fast Track Technologies Limited Method and system for publication and sharing of files via the internet
US10191624B2 (en) * 2012-05-21 2019-01-29 Oath Inc. System and method for authoring interactive media assets
JP6124517B2 (ja) * 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP6006536B2 (ja) 2012-06-01 2016-10-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP5975739B2 (ja) * 2012-06-01 2016-08-23 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US9529785B2 (en) 2012-11-27 2016-12-27 Google Inc. Detecting relationships between edits and acting on a subset of edits
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
JP6167703B2 (ja) * 2013-07-08 2017-07-26 株式会社リコー 表示制御装置、プログラム及び記録媒体
US9971752B2 (en) 2013-08-19 2018-05-15 Google Llc Systems and methods for resolving privileged edits within suggested edits
US9348803B2 (en) 2013-10-22 2016-05-24 Google Inc. Systems and methods for providing just-in-time preview of suggestion resolutions
US9489119B1 (en) 2013-10-25 2016-11-08 Theodore Root Smith, Jr. Associative data management system utilizing metadata
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US20160191796A1 (en) * 2014-12-30 2016-06-30 Nokia Corporation Methods And Apparatuses For Directional View In Panoramic Content
DE102015105363A1 (de) * 2015-04-09 2016-10-13 Airbus Ds Optronics Gmbh Verfahren zur Darstellung eines Panoramabildes und Panoramabilddarstellungsvorrichtung
US10542961B2 (en) 2015-06-15 2020-01-28 The Research Foundation For The State University Of New York System and method for infrasonic cardiac monitoring
EP3112985A1 (en) * 2015-06-30 2017-01-04 Nokia Technologies Oy An apparatus for video output and associated methods
US20230046864A1 (en) * 2015-07-16 2023-02-16 Promethean Limited Multi-network computing device integration systems and methods
US20170019473A1 (en) * 2015-07-16 2017-01-19 Promethean Limited Multi-network mirroring systems and methods
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
US10419788B2 (en) * 2015-09-30 2019-09-17 Nathan Dhilan Arimilli Creation of virtual cameras for viewing real-time events
US11257171B2 (en) 2016-06-10 2022-02-22 Understory, LLC Data processing system for managing activities linked to multimedia content
US10102593B2 (en) 2016-06-10 2018-10-16 Understory, LLC Data processing system for managing activities linked to multimedia content when the multimedia content is changed
US10691749B2 (en) 2016-06-10 2020-06-23 Understory, LLC Data processing system for managing activities linked to multimedia content
US20170358035A1 (en) 2016-06-10 2017-12-14 Understory, LLC Data processing system for managing activities linked to multimedia content
JPWO2018020769A1 (ja) * 2016-07-28 2019-05-09 パナソニックＩｐマネジメント株式会社 映像システム装置
CN106294798B (zh) * 2016-08-15 2020-01-17 华为技术有限公司 一种基于缩略图的图像分享方法和终端
FR3066672B1 (fr) 2017-05-19 2020-05-22 Sagemcom Broadband Sas Procede de communication d'une video immersive
WO2019191481A1 (en) * 2018-03-29 2019-10-03 Understory, LLC Data processing system for managing activities linked to multimedia content when the multimedia content is changed
CN110110248B (zh) * 2019-05-20 2021-04-13 徐书诚 一种实现电子地图沿线展示全景图像的计算机***
CN111046199B (zh) * 2019-11-29 2024-03-19 鹏城实验室 一种为图像加旁白的方法以及电子设备
US20220141384A1 (en) * 2020-10-30 2022-05-05 Flir Surveillance, Inc. Situational awareness-based image annotation systems and methods

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6121966A (en) 1992-11-02 2000-09-19 Apple Computer, Inc. Navigable viewing system
US5600775A (en) 1994-08-26 1997-02-04 Emotion, Inc. Method and apparatus for annotating full motion video and other indexed data structures
US5579462A (en) * 1994-11-03 1996-11-26 Bio-Rad Laboratories User interface for spectrometer
US5717468A (en) * 1994-12-02 1998-02-10 International Business Machines Corporation System and method for dynamically recording and displaying comments for a video movie
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5920317A (en) 1996-06-11 1999-07-06 Vmi Technologies Incorporated System and method for storing and displaying ultrasound images
US6331869B1 (en) 1998-08-07 2001-12-18 Be Here Corporation Method and apparatus for electronically distributing motion panoramic images
US5890172A (en) 1996-10-08 1999-03-30 Tenretni Dynamics, Inc. Method and apparatus for retrieving data from a network using location identifiers
US6006241A (en) * 1997-03-14 1999-12-21 Microsoft Corporation Production of a video stream with synchronized annotations over a computer network
US6449653B2 (en) 1997-03-25 2002-09-10 Microsoft Corporation Interleaved multiple multimedia stream for synchronized transmission over a computer network
US6624846B1 (en) * 1997-07-18 2003-09-23 Interval Research Corporation Visual user interface for use in controlling the interaction of a device with a spatial region
US6028584A (en) * 1997-08-29 2000-02-22 Industrial Technology Research Institute Real-time player for panoramic imaged-based virtual worlds
US8432414B2 (en) * 1997-09-05 2013-04-30 Ecole Polytechnique Federale De Lausanne Automated annotation of a view
US6400378B1 (en) * 1997-09-26 2002-06-04 Sony Corporation Home movie maker
US6243091B1 (en) 1997-11-21 2001-06-05 International Business Machines Corporation Global history view
US6085226A (en) 1998-01-15 2000-07-04 Microsoft Corporation Method and apparatus for utility-directed prefetching of web pages into local cache using continual computation and user models
US6285365B1 (en) 1998-08-28 2001-09-04 Fullview, Inc. Icon referenced panoramic image display
US6369818B1 (en) 1998-11-25 2002-04-09 Be Here Corporation Method, apparatus and computer program product for generating perspective corrected data from warped information
US6538665B2 (en) * 1999-04-15 2003-03-25 Apple Computer, Inc. User interface for presenting media information
US6842190B1 (en) 1999-07-06 2005-01-11 Intel Corporation Video bit stream extension with supplementary content information to aid in subsequent video processing
EP1087618A3 (en) 1999-09-27 2003-12-17 Be Here Corporation Opinion feedback in presentation imagery
AU2001288469A1 (en) 2000-08-28 2002-03-13 Emotion, Inc. Method and apparatus for digital media management, retrieval, and collaboration
US7480864B2 (en) * 2001-10-12 2009-01-20 Canon Kabushiki Kaisha Zoom editor
US7900158B2 (en) * 2005-08-04 2011-03-01 Microsoft Corporation Virtual magnifying glass with intuitive use enhancements
US7823068B2 (en) * 2006-02-28 2010-10-26 Mark Anthony Ogle Cowtan Internet-based, dual-paned virtual tour presentation system with orientational capabilities and versatile tabbed menu-driven area for multi-media content delivery
US9361943B2 (en) * 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
US7559017B2 (en) * 2006-12-22 2009-07-07 Google Inc. Annotation framework for video
US8515207B2 (en) * 2007-05-25 2013-08-20 Google Inc. Annotations in panoramic images, and applications thereof
US7961980B2 (en) * 2007-08-06 2011-06-14 Imay Software Co., Ltd. Method for providing output image in either cylindrical mode or perspective mode

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100779215B1 (ko) * 2006-09-29 2007-11-26 한국전자통신연구원 작업 데이터 자동 이동 방법 및 이를 위한 장치
US7987153B2 (en) 2006-09-29 2011-07-26 Electronics And Telecommunications Research Institute Apparatus and method for automatically migrating user's working data
KR20170030422A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR20170030419A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
KR20170030420A (ko) * 2015-09-09 2017-03-17 주식회사 아이티엑스엠투엠 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
US9967446B2 (en) 2015-09-09 2018-05-08 Itx-M2M Co., Ltd. Personalized shopping mall system using virtual camera

Also Published As

Publication number Publication date
EP1584037A2 (en) 2005-10-12
WO2004062260A2 (en) 2004-07-22
US20110096144A1 (en) 2011-04-28
US20040125148A1 (en) 2004-07-01
CN1754160A (zh) 2006-03-29
US8972861B2 (en) 2015-03-03
US7823058B2 (en) 2010-10-26
AU2003303537A8 (en) 2004-07-29
AU2003303537A1 (en) 2004-07-29
JP2006512859A (ja) 2006-04-13
WO2004062260A3 (en) 2004-12-09

Similar Documents

Publication Publication Date Title
US8645832B2 (en) Methods and apparatus for interactive map-based analysis of digital video content
US8972861B2 (en) Interactive point-of-view authoring of digital video content using a resizable overlay window and a cylindrical layout
US8307273B2 (en) Methods and apparatus for interactive network sharing of digital video content
Li et al. Fundamentals of multimedia
Rowe et al. ACM SIGMM retreat report on future directions in multimedia research
KR100995839B1 (ko) 멀티미디어 디지털 콘텐츠의 축약정보 추출시스템과 축약 정보를 활용한 다중 멀티미디어 콘텐츠 디스플레이 시스템 및 그 방법
JP2011030159A (ja) 画像編集装置、画像編集方法及びプログラム
JP2013171373A (ja) 情報処理装置、システムおよび情報処理方法
US20180077362A1 (en) Method, System, and Apparatus for Operating a Kinetic Typography Service
US20180077460A1 (en) Method, System, and Apparatus for Providing Video Content Recommendations
Gutwin et al. Improving early navigation in time-lapse video with spread-frame loading
JP4269980B2 (ja) コンテンツ処理システム及びコンテンツ処理方法、並びにコンピュータ・プログラム
Mate et al. Automatic video remixing systems
KR100997130B1 (ko) 멀티미디어 디지털 콘텐츠의 축약 정보 및 그 활용 방법
CN112584084B (zh) 一种视频播放方法、装置、计算机设备和存储介质
Sawada Recast: an interactive platform for personal media curation and distribution
Meessen et al. Content browsing and semantic context viewing through JPEG 2000-based scalable video summary
Gutwin et al. Improving Early Navigation in Time-Lapse Video with Spread Loading
Yu et al. AVPUC: Automatic video production with user customization
Falchuk et al. An Interactive Multimedia News Service over an ATM Network
DTO et al. Deliverable D6.
Macq et al. FascinatE D1. 1.1 End user, production and hardware and networking requirements
Bin et al. binyu, klaraGuiuc. edu

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid