KR100865269B1 - 사용자 공급의 비주얼 데이터를 선재 뮤직 비디오에삽입함으로써 새로운 뮤직 비디오의 생성 - Google Patents

사용자 공급의 비주얼 데이터를 선재 뮤직 비디오에삽입함으로써 새로운 뮤직 비디오의 생성 Download PDF

Info

Publication number
KR100865269B1
KR100865269B1 KR1020070001531A KR20070001531A KR100865269B1 KR 100865269 B1 KR100865269 B1 KR 100865269B1 KR 1020070001531 A KR1020070001531 A KR 1020070001531A KR 20070001531 A KR20070001531 A KR 20070001531A KR 100865269 B1 KR100865269 B1 KR 100865269B1
Authority
KR
South Korea
Prior art keywords
music video
video
existing
existing music
visual
Prior art date
Application number
KR1020070001531A
Other languages
English (en)
Other versions
KR20080007073A (ko
Inventor
제럴드 토마스 뷰레가드
스리쿠마 카라이쿠디 수브라마니언
피터 로완 켈락
Original Assignee
뮤비 테크놀로지스 피티이 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뮤비 테크놀로지스 피티이 엘티디. filed Critical 뮤비 테크놀로지스 피티이 엘티디.
Publication of KR20080007073A publication Critical patent/KR20080007073A/ko
Application granted granted Critical
Publication of KR100865269B1 publication Critical patent/KR100865269B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 선재 뮤직 비디오(전문적으로 생성된 뮤직 비디오일 수 있음)에 최종 사용자 자신의 추가 비주얼 데이터(화상 또는 비디오)를 삽입하는 방법을 제안한다. 제 1 단계에서는 다수의 시간 영역이 선재 뮤직 비디오에 규정되어 있다. 비전문적인 최종 사용자에 의해 수행될 수 있는 제 2 단계에서는 최종 사용자에 의해 지정된 비디오 데이터가 시간 영역에 따라 선재 뮤직 비디오에 삽입된다.
뮤직 비디오, 비주얼 데이터, 시간 영역

Description

사용자 공급의 비주얼 데이터를 선재 뮤직 비디오에 삽입함으로써 새로운 뮤직 비디오의 생성{CREATING A NEW MUSIC VIDEO BY INTERCUTTING USER-SUPPLIED VISUAL DATA WITH A PRE-EXISTING MUSIC VIDEO}
도 1은 선재 뮤직 비디오와 추가 비주얼 데이터로부터 새로운 뮤직 비디오를 생성하기 위한 본 발명의 실시예인 방법의 단계를 요약한 플로우차트이다.
도 2는 선재 뮤직 비디오에 대한 시간 영역을 자동으로 결정하기 위한, 도 1의 일 단계의 가능한 트랜지션의 단계를 나타내는 플로우차트이다.
도 3은 음악과 비디오 설명 데이터가 시간 영역을 위한 위치 데이터를 얻기 위해서 도 2의 일 단계에서 어떻게 사용될 수 있는지를 예시한다.
도 4는 가능한 수정이 지정되는 시간 영역의 서브세트를 얻기 위한 도 2의 단계의 서브스텝의 플로우차트이다.
도 5는 각각의 시간 영역을 위한 우선순위를 변화시킴으로써 고정 수정 타입을 지정하기 위해서, 도 1의 다른 단계의 가능한 트랜지션을 나타내는 플로우차트이다.
도 6은 우선순위를 사용하여 대체하는 시간 영역의 정해진 서브세트를 선택하기 위해서, 도 1의 다른 단계의 가능한 트랜지션을 나타내는 플로우차트이다.
도 7은 실시예의 동작의 개략도이다.
본 발명은 일반적으로 데이터 제품의 컴퓨터 생성에 관한 것이다. 특히, 본 발명은 사용자 공급의 비주얼 데이터(즉, 비디오 또는 이미지 데이터)를 삽입함으로써 선재 뮤직 비디오의 자동 편집에 관한 것이다.
현재, 소비자에 의해 사용되는 미디어 형태는 비디오, 이미지, 뮤직이든 간에 주로 디지털이다. 컴퓨팅 자원의 감소 비용은 캐주얼 미디어 제품의 시장을 출현시켰다. 캐주얼 사용자 생성 비디오 제품은 특히 본 발명에 적절하다.
사용자 생성 비디오 제품의 주요 매력은 사용자 자신의 컨텐트를 다룬다는 것이다. 사람들은 본래 그들이 개인적으로 알고 있는 사람들, 또는 그들이 가본 적 있는 장소와 사건을 보여주는 비디오를 보는 것에 흥미를 가진다.
캐주얼 비디오 제품의 증가로, 텔레비전에서 보여지는 것과 같은, 전문적으로 편집된 비디오에 대한 큰 수요가 여전히 있다.
뮤직 비디오는 전문적으로 편집된 비디오 컨텐트의 인기있는 한 형태이다. 아메리칸 헤리티지 딕셔내리(온라인 에디션)에 따르면, 뮤직 비디오는 "종종 노래를 부르는 음악가를 표현하거나 가사를 연출하는 비주얼 이미지를 포함하는 레코드 노래의 필름화 또는 비디오테이프화된 연출"이다.
뮤직 비디오는 인기를 끌기 쉬운 음악, 아티스트의 인기, 및 훌륭한 제품 품질 때문에 매우 환대된다. 제품 과정의 한 주요 양상은 비주얼 요소가 음악 - 트랜 지션, 효과, 및 물론 그 자체의 피트 길이에 일치된다는 것이다(음악의 비트에 맞게 노래하고 춤추는데 일치된 입술의 움직임).
몇몇의 캐주얼 비디오 프로듀서들은 전문적으로 편집된 뮤직 비디오에 사용된 몇몇의 기술들을 모방한다. 연속성을 제공하고 그들의 제품을 위한 분위기를 세팅하기 위해서, 많은 캐주얼 비디오 프로듀서들은 오디오 배경으로 인기있는 뮤직 레코딩을 사용하고, 음악의 강한 비트로 비디오에 트랜지션 & 효과를 일치시키려 한다.
최근에 "비디오 매시업(mashup)"의 증가가 또한 예견되어 왔다. "비디오 매시업"은 전체적으로 새로운 제품을 제작하기 위해서 종종 관련없는 다양한 비디오의 부분을 결합한 비디오 제품이다.
비디오 매시업은 종종 기초로서 선재 뮤직 비디오를 사용하고, 그것으로 추가 비디오 자료를 "삽입한다". 종래의 비디오 편집 툴을 사용하여 비디오 매시업을 만드는 것은 상당한 재능과 노력을 필요로 한다.
많은 발명들은 자동적 방법에 기초한 컴퓨터를 사용하여 캐주얼 비디오 제품의 문제를 처리하려고 시도되어 왔다.
선행 기술의 몇몇 발명은 아웃풋 프로덕션(output production)의 구조와 구성을 결정하기 위해서 "템플릿"을 사용하는데 초점을 맞춘다. 국제공개 특허 제0039997호(Dekel Elan, Earthnoise Inc.)는 영화를 제작하는데 시간의 계층을 설명하는 "템플릿"으로부터 자동적 또는 반자동으로 "비디오 영화"를 제작하는 방법을 기술한다. 템플릿의 슬롯은 키워드를 연상시키고 슬롯에 채워진 자료는 비디오 데 이터베이스의 키워드를 조사함으로써 얻어진다.
미국 특허출원 제2005084232A1호(Tilman et al, Magix AG)는 어떤 종류의 자료가 슬롯의 목적에 적합해 지도록 사용자를 안내하는 주석이 달린 슬롯과 함께 "주제별 템플릿"을 표시하는 방법과 사용자 인터페이스를 기술한다. 예컨대, 생일 템플릿은 파티 준비, 방문객, 어떤 케익과 양초, 양초를 불어서 끄기, 및 파티 끝내기에 대한 슬롯을 가질 수 있다. 사용자는 이 슬롯을 채우기 위한 비디오와 화상을 보내며 이 발명은 사용자의 비주얼 데이터를 그래픽, 사운드 효과 및 템플릿의 특징적인 요소와 결합하고 아웃풋 프로덕션을 만든다. 템플릿을 사용하여 편집을 간단히 하는 시스템은 일반적으로 앞서 논의된 발명의 특징들을 가진다.
미국 특허 제6,243,087호(Mark Davis et al, Interval Research Corp.)는 입력과 출력 미디어의 일부분 사이의 관계를 설명하는 "기능 종속성 네트워크"(FDN)에 의해 현존하는 미디어로부터 비롯된 제품을 제작하는 것이다. 입력 미디어는 컨텐트 표시를 발생하기 위해서 분석된다. FDN은 입력 미디어, 컨텐트 표시 및 다른 기능들을 통합하기 위해서 확립된다. 그 다음, FDN은 아웃풋 프로덕션을 만들기 위해서 실행된다. 이 경우, FDN은 템플릿과 동등하게 간주되지만, "템플릿"이 상술한 두 발명에 사용된 센스는 FDN보다 더 정적이다.
영국 특허 제2380599호(Kellock Peter Rowan, muvee Technologies Pte. Ltd.)는 비디오, 화상 및 음악을 포함하는 입력 미디어로부터 자동적 또는 반자동으로 출력 미디어 제품을 제작하는 것이다. 입력 미디어는 입력 미디어를 설명하고 입력 미디어로부터 비롯된 한 세트의 미디어 디스크립터에 의해 주석이 달아지거 나, 분석된다. 편집 스타일은 사용자에 의해 통상 지정된 스타일 데이터를 사용하여 조절된다. 이 때, 스타일 데이터와 디스크립터는 수행될 때, 아웃풋 프로덕션을 만드는 입력 데이터에 한 세트의 동작을 발생시키기 위해서 사용된다. 이 단계는 편집, 효과, 변화가 입력 음악 트랙에 시간 맞춰진 제품을 발생한 인간 뮤직 비디오 편집 감각을 매혹하기 위해서 취할 수 있는 기술을 통합한다. 입력 미디어에 중요한 제한이 없고 컴퓨터 수단에 의해 대부분의 지루한 동작들이 자동화되기 때문에, 그것은 즐거운 스타일리쉬 제품을 만들기 위해서 평균 캠코더/카메라 사용자를 위한 적은 노력 경로를 제공한다. Muvee autoProducer™이라 불리는 뮤비 테크놀로지스의 상업적 제품은 상술한 발명에 기초한다.
본 발명의 목적은 시청각 아웃풋 프로덕션의 자동 생성을 위한 새롭고 유용한 기술, 시스템 및 소프트웨어를 제공하는 것이다.
개괄적인 말로, 본 발명은 선재 뮤직 비디오(전문적으로 만들어진 뮤직 비디오가 될 수 있는)가 사용자 자신의 추가 비주얼 데이터(화상 또는 비디오)에 삽입되는 것을 제안한다. 제 1 양상에서는 다수의 시간 영역이 선재 뮤직 비디오에 규정된다. 비전문적인 최종 사용자에 의해 수행될 수 있는 제 2 양상에서는 최종 사용자에 의해 특정된 비디오 미디어가 시간 영역에 따라 선재 뮤직 비디오에 삽입된다.
명의 바람직한 실시예는 비디오 열광자들이 종래의 비디오 편집 툴을 사용하 려는 것보다 훨씬 적은 노력으로 그들 자신의 비디오 매시업이나 "개인화된 뮤직 비디오"를 제작하는 것을 가능하게 한다.
본 발명은 선재 뮤직 비디오 구성에 기초하여 새로운 뮤직 비디오를 만드는 것에 관한 것임을 유념하자. 이 문서에 나타낸 방법에 따라 선재 뮤직 비디오와 결합하여 사용될 때의 사용자 자신의 비디오와 화상은 사용자의 자료가 원래의 작업을 만든 과정의 통합 부분이 되었다는 환상을 주는 제품을 발생시킬 수 있다. 용어 "삽입"은 상기 결합 과정을 설명하는데 사용된다.
사용자의 비디오와 화상을 선재 뮤직 비디오와 결합하는 것은 위에 참조된 다른 특허로부터 본 발명을 결정적으로 차별화하는 새로운 방법을 요구한다. "템플릿"(국제공개 특허 제0039997호, 미국 특허출원 제2005084232A1호)을 사용한 선행 기술은 출력을 입력 뮤직 비디오의 뮤직 트랙으로 자동으로 생성하고, 사용자의 자료가 뮤직비디오의 비주얼 부분의 특성뿐 아니라 음악의 특성에 따라 선재 뮤직 비디오와 결합되는 방법을 제공하지 못한다. 본 발명은, 템플릿에 기초한 발명과 다르게, 사용자의 미디어가 위치되는 고정 "슬롯"을 필요로 하지 않는다. 게다가, 템플릿은 출력의 구조와 스타일을 완전히 특정하지 않는데 반하여, 본 발명은 출력의 근원적인 구조로서 입력 뮤직 비디오를 사용하는 제한이 주어질지라도 중요한 변동을 발생시킬 수 있는 방법을 제공한다. 그러므로, 본 발명은 그것들이 필요로 하는 템플릿과 상당히 다르다.
본 발명과 영국 특허 제2380599호 사이의 하나의 주요한 차이점은 후자가 아웃풋 프로덕션에 사용된 입력 비디오의 부분과 이 부분이 입력 비디오에 일치된 뮤 직 트랙 사이에서 일치의 유지를 제공하지 못한다는 것이다.
미국 특허 제6243087호에 관하여, 본 발명의 방법은 입력 뮤직 비디오와 사용자 미디어를 통합하는 "기능 종속성 네트워크"의 부분으로 생각될 수 있다. 그러나, 입력 클래스로부터 출력 클래스를 발생시키는 방법에 기초한 컴퓨터는 FDN 디스크립터와 일반적으로 등가이므로, 너무 일반적인 디스크립터이다. 그러한 일반적 FDN들은 또한 음악 구성을 위한 "맥스" 그래픽 환경과 같은 다른 시스템에서 발견될 수 있다. 입력 뮤직 비디오를 사용하는 더 구체적인 정황에서, 본 발명의 방법은 미국 특허 제6243087호에서 기술되어 있고 청구된 것과 새롭게 비교된다.
선택적으로, 추가 스타일 데이터를 사용함으로써, 선재 뮤직 비디오의 출현과 느낌은 동일한 자료에 기초한 다른 제품을 제작하기 위해서 다양한 방법으로 극적으로 변화될 수 있다. 따라서, 원래의 작업은 사용자 자신의 미디어와 스타일의 선택을 사용하여 개인화된다.
명명법
본 발명의 목적을 위해서, 이 기술에 사용된 다양한 용어나 명명법은 다음과 같이 규정된다:
용어 "뮤직 비디오"는 여기서 오디오 파트가 하나의 음악을 구성되고 비주얼 데이터의 편집이 그 음악에 일치되는 상식적인 일상의 센스, 즉 시청각 제품에 사용된다. 일반적으로, 뮤직 비디오는 "종종 노래를 부르는 음악가를 표현하거나 가사를 연출하는 비주얼적 이미지를 포함하는 레코드 노래의 필름화 또는 비디오테이프화 된 연출"이다(아메리칸 헤리티지 딕셔내리).
용어 "선재 뮤직 비디오"는 본 발명에 입력의 하나로서 사용된 이전에 제작된 뮤직 비디오를 언급한다. 대부분의 경우에 선재 뮤직 비디오는 전문적으로 제작된 뮤직 비디오일 것이다.
용어 "새로운 뮤직 비디오"는 이 특허에 기재된 방법을 사용한 결과로서 발생된 뮤직 비디오를 언급한다. 우리는 또한 이것을 "아웃풋 프로덕션"으로 언급한다.
용어 "추가 비주얼 데이터"는 최종 사용자에 의해 시스템에 공급된 화상 및/또는 비디오 파일을 언급한다.
용어 "입력 미디어"는 아웃풋 프로덕션이 생성되는 미디어 파일의 전체 컬렉션(collection)을 언급한다. 이것은 사용자에 의해 공급된, 선재 뮤직 비디오와 추가 비주얼 데이터를 포함한다.
용어 "시간 영역"은 시간 범위로 규정된 비디오의 특정 부분을 언급한다. 시간 영역은 일반적으로 0보다 더 긴 지속 시간을 갖고(즉, 종료 시간이 시작 시간보다 더 길다), 비디오 파트의 지속 시간보다 더 짧은 시간을 갖는다. 0과 같은 지속 시간을 갖거나 비디오의 전체 지속 시간과 같은 지속 시간을 갖는 시간 영역은 유효하지만, 사소한 극도의 예이다. 시간 영역은 일반적으로 0보다 더 긴 지속 시간을 갖고(즉, 종료 시간이 시작 시간보다 더 길다), 비디오 파트의 지속 시간보다 더 짧은 지속 시간을 갖는다.
용어 "위치 데이터"는 하나 이상의 시간 영역에 대한 시간 경계(즉, 시작 및종료 시간)를 언급한다.
용어 "수정가능한 영역"은 주석 양상 동안 규정된 선재 뮤직 비디오에서의 시간 영역을 언급하고, 이에 대해서는 하나 이상의 수정 타입이 지정되어 있다.
용어 "수정 타입"은 비디오 영역이 추가 비주얼 데이터를 사용하여 수정될 수 있는 특별한 방법을 언급한다. 가장 간단한 수정은 대체이며, 즉 선재 뮤직 비디오의 시간 영역이 추가 비주얼 데이터에 의해 대체되지만, 선재 뮤직 비디오와 지정된 추가 비주얼 데이터를 사용한 다른 수정 타입들이 있다.
용어 "세그먼트"는 연속적인, 즉 트랜지션이 개입되지 않는 비디오의 시간 영역을 언급한다.
용어 "트랜지션"은 제품에서 연속적인 세그먼트들 사이의 시간 경계에서의 작용을 언급한다. 하나의 세그먼트에서 다른 세그먼트로의 즉각적인 제로-지속 시간 트랜지션은 "컷"으로 알려져 있다. 연속적인 세그먼트가 시간의 오버랩을 가지는데 사용된, 논 제로 지속 시간의 트랜지션은 당업자에게 잘 알려진 디졸브(dissolve), 와이프(wipe) 및 수많은 다른 트랜지션을 포함한다.
용어 "스타일"은 다른 강연들과 함께 Muvee autoProducer 및 영국 특허 제2380599호에 사용된 의미에 있어서 비디오 편집 스타일을 언급한다. 이 스타일은 아웃풋 프로덕션을 제작하기 위해서 입력 미디어에 대하여 수행될 수 있고, 또한 그 선재 비디오를 위한 선재 뮤직 비디오(또는 그것에 대한 참조)와 주석 정보를 포함할 수 있는 편집 동작의 종류들을 설명한다.
용어 "스타일 작가"는 선재 뮤직 비디오에 주석을 달기 위한 역할을 하는 사람을 언급하고, 이 경우에 그러한 주석은 손으로 또는 반자동으로 행해진다.
용어 "편집 결정 리스트"(EDL)는 데이터 구조나, 파일의 등가 표시를 언급하고, 그것은 아웃풋 프로덕션에서 정해진 순간에 플레이되는 어떤 미디어뿐만 아니라 사용되어야 하는 효과와 트랜지션을 지정한다.
용어 컴퓨터 시스템을 "동작시키는"은 물리적으로 사용자에 근접한 컴퓨터 시스템을 동작시키고, 예컨대, 인터넷을 통해 명령을 전달함으로써 컴퓨터 시스템을 원격으로 동작시키는 사용자를 포함한다. 예컨대, 최종 사용자에 의해 동작된 컴퓨터 시스템은 개개의 아웃풋 프로덕션을 제품하기 위해서 많은 개개의 최종 사용자에 의해 동작되는 서버 시스템일 수 있다.
이제, 본 발명의 바람직한 특징들은 이하의 도면을 참조하여, 예시만을 위해서 기술될 것이다.
도 1은 선재 뮤직 비디오와 추가 비주얼 데이터로부터 새로운 뮤직 비디오를 생성하기 위해서 본 발명의 실시예인 방법의 단계를 요약한 플로우차트이다. 이 방법은 두 단계, 즉 각각 몇 개의 단계를 포함하는 주석 달기(110)와 생성(120)을 가진다.
제 1 단계(110)에서, 선재 뮤직 비디오는 제 2 단계에 새로운 뮤직 비디오의 생성을 안내할 정보에 주석이 달려진다. 일반적으로, 제 1 단계는 하나 이상의 제 1 사용자(예컨대, 뮤직 비디오를 공급하는 상업적 조직과 연합된)에 의해 수행되고, 제 2 단계는 최종 사용자에 의해 수행된다.
주석 달기 단계는 두 단계를 갖는다. 제 1 단계(111)에서, 시간 영역은 선재 뮤직 비디오에 규정된다. 이 시간 영역은 생성 단계(120)에서 제 1 사용자에 의해 공급되는 추가적 비주얼 데이터로 수정될 수 있다. 시간 영역은 선재 뮤직 비디오의 전체 지속 시간이나 그의 일부분을 커버할 수 있다. (대부분의 경우에, 시간 영역은 오버랩되지 않을 것이다; 선재 뮤직 비디오를 생성하는데 사용되는 EDL(Edit Decision List)이 사용될 수 있지만, 시간 영역이 선재 뮤직 비디오의 세그먼트에 대응된다면, 시간 영역은 트랜지션에서 오버랩될 것이다.)
주석 달기 단계의 제 2 단계(112)에서는 각 시간 영역에 적용되는 하나 이상의 수정 타입이 지정된다. 수정 타입은 시간 영역을 사용자 미디어로 대체하는 만큼 간단하게 될 수 있거나, 더 복잡해질 수 있다(예컨대, 추가 비주얼 데이터가 선재 뮤직 비디오를 보여주는 프레임 내의 직사각형에 표시된 "픽처 인 픽처" 수정).
생성(120)의 제 2 단계에서, 새로운 뮤직 비디오는 제 1 단계에서 생성된 주석 달기를 고려하는 최종 사용자에 의해 공급된 추가 비주얼 데이터를 사용하여 생성된다. 그 생성 단계는 몇 단계를 가진다.
단계(121)에서, 최종 사용자는 추가 비주얼 데이터의 컬렉션을 나타낸다. 예컨대, 이 방법이 개인용 컴퓨터에서 트랜지션된다면, 최종 사용자는 파일 선택 다이얼로그 박스를 통해서 하나 이상의 비디오 파일 및/또는 화상 파일을 선택할 수 있다. 단계(122)에서, 추가 비주얼 데이터의 요소들은 단계(111)에 규정된 시간 영역을 수정하는데 사용하기 위해서 선택된다. 추가 비주얼 데이터는 모든 시간 영역을 위해서 반드시 선택되는 것은 아니다; 추가 비주얼 데이터의 요소들이 시간 영역의 서브세트만을 위해서 선택된다. 예컨대, 선택 단계는 추가 비주얼 데이터가 결코 되풀이되지 않도록 할 수 있고, 이 경우에 추가 비주얼 데이터의 풀(pool)이 제한되는 경우에, 모든 세그먼트에 추가 비주얼 데이터를 선택하는 것은 불가능할 수 있다.
단계(123)에서, 추가 미디어의 요소들이 단계(122)에 선택된 각 시간 영역에 대해서, 단계(112)에서 지정된 영역에 대한 지정된 수정 타입의 하나 이상이 실제로 수행된다. 가능한 하나 이상의 수정 타입이 단계(112)에서 지정된 시간 영역에 대해서, 모든 수정이 수행될 필요는 없다. 예컨대, 2개의 가능한 수정들이 지정된다면, 단계(123)는 지정된 미디어의 특성에 의존하여 그들 중 하나만을 사용할 수 있고, 예컨대, 그것이 하이 모션을 가지면, 단계(123)는 수정 A를 사용할 수 있는데 반하여, 그것이 로우 모션을 가지면, 단계(123)는 수정 B를 사용할 수 있다.
단계(124)에서, 수정된 영역은 새로운 뮤직 비디오를 형성하기 위해서 선재 뮤직 비디오의 다른 영역과 선재 뮤직 비디오의 음악 트랙과 결합된다. 이 결합은 일반적으로 사용되어야 하는 효과와 이행 트랜지션뿐만 아니라 아웃풋 프로덕션에서 지정된 순간에 어떤 미디어가 역할을 하는지를 지정하는 EDL(Edit Decision List)을 구성함으로써 행해질 것이다.
수동, 자동 또는 반자동 주석 달기
생성 단계(120)는 최종 사용자가 추가 시간 데이터의 컬렉션을 나타내는 단계(121)와 관계없이 자동적이다. 그러나, 주석 달기 단계(110)는 완전 수동적, 완전 자동적이거나, 반자동적일 수 있다.
단계(110)에서의 주석 달기가 수동적이거나 반자동으로 된 경우에 대해서, 주석 달기를 수행한 사용자는 지금부터 생성 단계(120)에서 추가 비주얼 데이터를 공급하는 사용자로부터 그 또는 그녀를 구별할 수 있는 "스타일 작가"로 불려질 것이다. "스타일 작가"는 생성 단계(120)에서 사용자와 동일한 사람일 수 있지만, 반드시 동일한 사람일 필요는 없다. 게다가, 스타일 작가에 의해 수행된 일은 실제로 몇몇 사람들 사이에서 분배될 수 있다. 간편성을 위해서, 다음의 설명서에서, "스타일 작가"는 주석 단계(110)의 어떤 수동적 단계에 포함된 한 명 이상의 사람들을 의미하도록 된다.
어떤 수동 주석 달기 단계는 선재 뮤직 비디오의 생성 동안 일어날 수 있다. 초기에 언급된 바와 같이, 단계(111)에 규정된 시간 영역은 EDL에 규정된 것처럼, 선재 뮤직 비디오 내의 세그먼트에 대응할 수 있다. 선재 뮤직 비디오의 편집자 또는 프로듀서는 추가적으로 이하의 지정하는 정보를 생성할 수 있다:
● 어떤 시간 영역이 수정될 수 있고, 없는 것;
● 수정 우선순위;
● 사용될 수 있는 수정 타입(즉 대체, 픽처 인 픽처); 및
● 최종 사용자 비주얼 데이터에 적용되어야 하는 추가 효과(예컨대, 선재 뮤직 비디오의 생성에 사용된 최종 사용자의 비주얼 데이터 매치 효과를 이루는 전자채색 효과)
뮤직 비디오를 생성하는데 사용된 편집 툴에 따라, 그런 추가 정보는 EDL 그 자체에 임베드되거나, 개별 데이터 파일로 저장될 수 있다.
효과 & 트랜지션
EDL은 선재 뮤직 비디오에서의 효과 이외에 추가 효과를 포함할 수 있다. 추 가 효과가 이용될 수 있는 몇 가지 방법이 있다:
● 효과는 최종 사용자 공급의 추가 비주얼 데이터의 선택된 일부분에 적용될 수 있어서 수정하거나 대체한 선재 뮤직 비디오의 영역을 더 양호하게 매치한다. 예컨대, 선재 뮤직 비디오가 "스크래치 올드 필름" 효과를 가진다면, 유사한 효과가 최종 사용자 공급의 추가 비주얼 데이터에 적용될 수 있다.
● 단일 효과는 선재 뮤직 비디오와 최종 사용자 공급의 추가 비주얼 데이터의 일부분에 유사한 룩(look)을 주기 위해서 새로운 뮤직 비디오의 전체 지속 시간에 걸쳐 적용될 수 있다. 예컨대, 선재 뮤직 비디오와 최종 사용자 공급의 추가 비주얼 데이터는 둘다 풀 칼라일 수 있지만, 그럼에도 불구하고 그것을 보내는 조명의 특성 때문에 용이하게 구별된다. 출력을 그레이 스케일로 트랜지션한 효과를 적용함으로써, 그러한 컬러링의 차이가 사라진다.
● 추가 뮤직 드라이브 효과는 예컨대, 음악에 강한 비트로 트리거된 화이트 플래시나 퀵 줌인에 적용될 수 있다.
● 슬로우 모션 효과는 선재 뮤직 비디오에 사용된 어떤 슬로우 모션 효과를 매치되도록 변화하는 단계에 적용될 수 있다. (같은 경로가 패스트 모션 효과에 적용될 수 있다.)
그러한 효과에 대한 파라미터는 수동적으로나 자동으로 결정될 수 있다. 슬로우 모션 효과에 대해서는, 예컨대, 최종 사용자 공급의 추가 비주얼 데이터의 선택된 일부분에 적용된 슬로우 모션의 정도는 하나 이상의 다음의 방법으로 결정될 수 있다:
● 스타일 작가가 선재 뮤직 비디오의 수정가능한 시간 영역을 수동적으로 규정한다면, 그 또는 그녀는 또한 이 영역에 대한 슬로우 모션의 정도를 유념할 것이다;
● 선재 뮤직 비디오에 대한 EDL이 사용 가능하다면, 슬로우 모션의 정도는 그 EDL로부터 직접 판독될 수 있다;
● 슬로우 모션의 정도는 예컨대, 프레임 투 프레임으로부터 모션의 전체 양을 평가함으로써, 선재 뮤직 비디오의 자동적 분석에 의해 평가될 수 있다.
● 뮤직 비디오에서, 슬로우 모션은 통상 음악이 조용할 때 더 사용되고, 음악이 클 때 덜 사용된다. 그러므로, 적용한 슬로우 모션의 단계는 수정될 시간 영역 동안 음악의 소리의 세기를 찾기 위해서 뮤직 트랙을 분석함으로써, 및 슬로우 모션의 단계에 대한 소리의 세기를 맵핑함으로써 결정될 수 있다.
EDL은 선재 뮤직 비디오에 제공되지 않은 컷이 아닌(그들이 컷을 포함하고 있을 지라도) 추가 트랜지션을 포함할 수 있다:
● 선재 뮤직 비디오의 시간 영역이 추가 비주얼 데이터의 하나 이상의 부분으로 대체된다면, 컷이 아닌 트랜지션은 이 부분들 사이에서 사용될 수 있다.
● 컷 이외의 트랜지션은 추가 비주얼 데이터의 선택된 부분과 선재 뮤직 비디오의 수정되지 않은 영역 사이에서 사용될 수 있다.
가장 간단한 경우에, 모든 트랜지션은 컷이 될 것이지만, 어떤 다른 타입의 트랜지션은 비디오 편집에 친숙한 것으로 알려진 와이프, 디졸브, 및 다른 트랜지션 타입에 사용될 수 있다.
멀티플 트랜지션 타입이 단일 제품에 사용된다면, 이 타입은 예컨대, 영국 특허 제2380599호에 기술된 "값 사이클"을 사용하여 가능한 트랜지션의 리스트로부터 주기적으로 선택될 수 있다.
트랜지션 지속 시간은 고정되거나, 변화될 수 있다. 트랜지션 지속 시간이 변화될 수 있는 경우에, 트랜지션 지속 시간을 음악 소리의 세기의 함수로서 갖는 것이 종종 바람직하다: 음악이 조용하면, 트랜지션은 더 길고; 음악이 크면, 트랜지션은 더 짧다. 간단한 실행에서, 소리의 세기의 디스크립터가 0 내지 1의 범위에서 정규값이면, 개개의 트랜지션을 위한 지속 시간은 노래에서 그 포인트의 소리의 세기에 기초하여 다음과 같이 산출될 수 있다:
TransDur = MaxTransDur - (MaxTransDur - MinTransDur)× Loudness
여기서, MaxTransDur은 음악이 가장 조용할 때(예컨대, 소리의 세기 = 0) 사용되는 최대 트랜지션 지속 시간이고; MinTransDur은 음악이 가장 클 때(예컨대, 소리의 크기 = 1) 사용되는 최소 트랜지션 지속 시간이고; TransDur은 특정 트랜지션에 대한 지속 시간이다.
동기화 유지
바람직하게도, 새로운 뮤직 비디오에 사용되는 선재 뮤직 비디오의 영역들은 그것들이 선재 뮤직 비디오에서 한 것처럼 뮤직 트랙에 관하여 동일한 타이밍을 갖는다. 환언하면, 무엇이든지 선재 뮤직 비디오의 음악에 일치되고 - 예컨대, 가수 가 노래하고 춤추는 것에 따라 입과 몸 - 새로운 뮤직 비디오의 음악에도 일치된다.
저장 & 공유
EDL은 비디오 파일, 가능한 압축 형태로 될 수 있다. 한번 비디오 파일로 되면, 새로운 뮤직 비디오는 다양한 방법으로 분배되고 사용될 수 있다. 예컨대, 비디오 파일은 다른 컴퓨터로 이메일이나 "인스턴트 메신저" 애플리캐이션을 통해 전송될 수 있다. 비디오 파일은 웹 사이트의 방문객에 의한 뷰잉 및/또는 다운로드딩을 위해서 그 웹 사이트에서 사용될 수 있다. 비디오 파일은 Apple iPod나 Sony PSP등의 휴대용 비디오 재생 장치로 전송될 수 있거나(플레이스테이션 휴대용), 비디오 링톤(ringtone)으로 사용되는 이동 전화로 전송될 수 있다. 비디오 파일은 그런 미디어를 플레이할 수 있는 장치에서 나중의 재생을 위해서 VCD(비디오 CD)나 DVD와 같은 다른 물리적 미디어로 전송될 수도 있다.
대안으로, EDL은 그것이 생성된 컴퓨터에서 즉시 재생을 위해서 실시간으로 제공될 수 있다. 언급한 EDL과 미디어 파일(또는 그 부분)은 실시간 재생이나 비디오 파일로 저장하기 위해 제공되는 다른 컴퓨터나 장치로 전송될 수 있다.
다른 파티에 의한 주석 달기와 생성
주석 달기 단계(110)에서, "편집"은 일어나지 않는 것이 중요하다. 어떤 추가 비주얼 데이터도 도입되지 않고, 선재 뮤직 비디오는 어떤 실제 수정을 수행하지 않는다. 주석 달기는 발생할 수 있는 편집 동작의 타입만을 그리고 적용될 수 있는 일시적인 범위를 지정하지만, 실제로 이 동작을 수행하지 않는다.
통상 비디오 편집으로 생각되는 모든 동작은 제 2 단계에서 생성(120)을 일으킨다. 전체 제 1 단계(110)는 추가 비주얼 데이터에 관한 무엇이든지 어떠한 지식없이 실제로 수행될 수 있다. 이것은 두 단계 110과 120이 다소 독립적인 것을 의미한다.
두 단계가 하나의 컴퓨터에서, 한 명의 사용자와, 하나의 비교적 짧은 세션에서 모두 수행될 수 있지만(예컨대, 몇 초나 몇 분의 스팬 내에), 이것은 요구 사항이 아니다. 두 단계 110과 120이 다른 컴퓨터에서 수행될 수 있다; 수동 조정을 요구하는 두 단계의 어떤 단계는 다른 사용자들을 포함할 수 있다; 그리고 두 단계는 주석 단계(110)가 항상 생성 단계(120)에 앞선다면, 매우 다른 시간에, 심지어 몇년 떨어져 있어도 수행될 수 있다. 다른 컴퓨터는 또한 서브스텝 중 어느 하나 를 위해 사용될 수 있다. 예컨대, 주석 달기 단계가 미디어의 분석을 포함하면, 아래 설명된 바와 같이, 그 분석은 프로세스의 다른 단계로부터 다른 컴퓨터에서 수행될 수 있다.
바람직한 실시예에서, 제 1 단계(110)는 숙련된 비디오 편집자의 보조에 의해 시간 보다 빨리, 통상 수동으로 또는 반자동으로 수행될 수 있다. 선재 뮤직 비디오의 결합과 주석 달기는 "스타일"에 패키지될 수 있다. 스타일은 새로운 뮤직 비디오가 어떻게 생성되는 것인지를 결정하는 다른 정보와 세팅을 예컨대 후술하는 방법에 따라 적용되는 추가 효과나 트랜지션의 상술을 포함할 수도 있다.
최종 사용자는 이때 새로운 뮤직 비디오 - "개인화된 뮤직 비디오"나 "비디오 매시업"을 생성하기 위해서 생성 단계(120)를 트랜지션하는 컴퓨터 프로그램에 의해 "스타일"과 그 자신의 추가 비주얼 데이터를 사용한다. 그러한 컴퓨터 프로그램은 주어진 제품을 위해서 많은 다른 스타일 중 하나를 선택하는 수단을 포함한다. 다른 스타일을 선택함으로써, 최종 사용자는 추가 비주얼 데이터의 동일한 세트로부터 많은 다른 스타일의 많은 다른 새로운 뮤직 비디오를 제작할 수 있다.
주어진 선재 뮤직 비디오를 위해서, 주석 달기 단계(110)는 즉시 수행될 수 있지만, 결과적인 스타일은 많은 새로운 뮤직 비디오를 제작하기 위해 많은 최종 사용자에 의해 생성 단계(120)에서 사용될 수 있다.
시간 영역의 수동 결정
상술한 바와 같이, 단계(111)에서 시간 영역은 선재 뮤직 비디오 내에 규정된다. 이것은 완전히 수동으로, 완전히 자동으로나 반자동으로 수행될 수 있다.
완전 수동의 경우에, 스타일 작가는 선재 뮤직 비디오를 비디오 재생 프로그램이나 장치로 보고, 수동적으로 대체될 수 있는 선재 뮤직 비디오의 시간 영역의 시작 및 종료 타임을 유념한다.
일반적으로 스타일 작가는 선재 뮤직 비디오의 세그먼트 사이에서 경계에 해당하는 시간 영역의 경계를 선택한다. 환언하면, 시간 영역의 시작 및 종료 타임은 선재 뮤직 비디오의 트랜지션에 해당한다.
규정된 시간 영역의 세트에 포함하지 않는 선재 뮤직 비디오의 어떤 부분은 단계에서 추가 최종 사용자 공급의 비주얼 데이터와의 결합(가장 간단한 경우에, 대체)을 통해 수정되지 않을 것이다. 수정가능한 영역의 세트에 포함되지 않는 것에 의한 그런 부분들은 "잠긴" 효과로 생각될 수 있다. 선재 뮤직 비디오의 그런 잠긴 부분은 스타일 작가에 의해 뮤직 비디오의 스토리와 나래이션에 중요한 선재 뮤직 비디오의 어떤 부분이 새로운 뮤직 비디오에 남아있거나, 특히 아티스트의 아이콘적이거나 현저한 샷이 항상 나타나는 것을 보장하기 위해서 사용될 수 있다. 그런 잠김은 선재 뮤직 비디오의 어느 부분이 특히 중요할 것 같은 것에 관한 어떤 경험적 지식에 기초하여 어느 범위까지 자동으로 행해질 수 있다.
선재 뮤직 비디오를 생성하는데 사용되는 EDL이 사용가능한 경우에, 시간 영역에 대한 적절한 경계를 선택하는 일은, 트랜지션 시간이 EDL파일로부터 직접 판독될 수 있기 때문에, 상당히 쉽다. (EDL 형태가 독점적이거나 인간 판독이 아니면, 시간은 그것을 발생시키는 비디오 애플리케이션을 사용하는 EDL 파일을 오픈하고, 그 애플리케이션의 사용자 인터페이스에 트랜지션 시간을 수동적으로 판독함으로써 결정될 수 있다.)
선재 뮤직 비디오의 트랜지션으로 시간 영역의 시작 및 종료 타임을 정렬하는 것은 절대적인 필요 사항은 아니다. 시간 영역은, 예컨대, 선재 뮤직 비디오의 멀티플 세그먼트를 스팬하거나, 선재 뮤직 비디오의 세그먼트의 부분만을 커버할 수 있다.
분석을 사용한 시간 영역의 자동 결정
시간 영역은 선재 뮤직 비디오의 비디오 및/또는 오디오 구성을 분석함으로 얻어진 디스크립터 데이터에 기초하여 완전히 자동으로 결정될 수도 있다.
시간 영역을 자동으로 결정하는 바람직한 방법은 도 2의 플로우차트에 도시된다; 그것은 도 1의 단계(111)의 하나의 가능한 확장으로 생각될 수 있다. 도 2의 세부사항은 도 3에 더 예시되어 있다. 도 3의 상부 두 행은 각각 뮤직 트랙(진폭 그래프에 의해 도식적으로 예시됨)과, 관련한 비주얼 트랙을 도시한다. 도시된 바와 같이, 비주얼 트랙은 그것을 만드는데 사용되는 EDL에 의해 규정된 많은 다른 선재 영역을 가진다.
단계(201)에서, 선재 뮤직 비디오의 음악과 비주얼 트랙은 행 (311, 312 및 313)에 각각 지시된 디스크립터(310)를 발생시키기 위해서 분석된다. 바람직한 실시예를 위해서, 가장 중요한 디스크립터는, 비디오 트랙 특히 샷 경계(311)에서의 트랜지션 타임; 뮤직 트랙(312)의 주요 비트 타임; 및 시간(313)의 함수로서 뮤직 트랙의 소리의 세기이다. 그런 디스크립터를 결정하는 기술은 당업자에게 잘 알려져 있다.
단계(202)에서, 선재 뮤직 비디오는 디스크립터의 정보에 기초하여, 시간 영역으로 분할된다. 이것은 321과 322으로 라벨링된 행으로 도시된 시간 영역의 두 적절한 정의와 함께, 320으로 라벨링된 행에서 시작하는 도 3의 일부분에 의해 설명된다. 특히 트랜지션이 선재 뮤직 비디오의 샷 경계(311)(즉, 컷)이면, 시간 영역의 가장 본래의 경계는 선행 뮤직 비디오의 세그먼트 사이의 트랜지션 동안이다. 분석을 통해 임의의 트랜지션을 검출하는 것은 꽤 어렵고 신뢰할 수 없지만, 검출한 트랜지션 타임을 도시하는 비디오 디스크립터(311)는 모든 실제 트랜지션 타임을 나타낼 수 없다. 그러므로, 검출한 트랜지션 시간에 의해 결정된 시간 영역(321)은 이상적인 것보다 더 길어질 수 있다.
시간 영역이 너무 길다면, 우리는 시간 영역(321)을 소망하는 지속 시간에 더 가까운 서브 섹션으로 세분하기 위해서 뮤직 데이터 디스크립터(312)를 "컷 힌트"로서 사용할 수 있다. 지속 시간이 스레스홀드 시간을 초과하는 어떤 시간 영역에 대해서, 우리는 행(322)으로 도시된 바와 같이, 시간 영역의 중간 시간 근처에서 발생하는 가장 강한 컷 힌트를 사용하여 시간 영역을 세분한다. 이 세분은 모든 시간 영역의 지속 시간이 스레스홀드 시간 이하가 될 때까지 반복된다.
이 기술의 바람직한 실시예에서, 지속 시간 스레스홀드는 음악 소리의 세기(313)에 따라 변한다. 전문적으로 생산된 뮤직 비디오에서 편집의 페이싱(pacing)은 통상 음악 소리의 세기에 따라 변한다; 특히, 세그먼트는 음악이 클 때 더 짧아지고, 음악이 조용할 때 더 길어진다. 선재 뮤직 비디오로부터 가장 미적으로 즐거운 새로운 뮤직 비디오를 제작하기 위해서, 지속 시간이 음악 소리의 세기에 따라 변화하는 시간 영역을 가지는 것이 바람직하다. 상술한 세분 과정에서, 각 시간 영역에 대하여, 우리는 그 지속 시간을 시간 영역의 경로를 따라 평균 소리의 세기의 기능인 스레스홀드 지속 시간과 비교함으로써 세분이 필요한 지를 확인한다.
예컨대, 음악 디스크립터가 즉각적인 소리의 세기의 측정을 포함한다고 가정하면, 범위 [0,1]로 정규화되며, 즉, 음악의 조용한 부분은 0의 소리의 세기값을 가지는데 반하여, 음악의 가장 큰 부분은 1.0의 소리의 세기값을 가진다. 음악의 가장 크고 가장 조용한 부분의 지속 시간 스레스홀드는 minDurTHresh와 maxDurTHresh이다; 중간 소리의 세기를 갖는 음악의 일부분은 0과 1 사이의 어딘가의 소리의 세기값을 가진다.
주어진 시간 영역이 세분되어야 하는지를 결정하는 지속 시간 스레스홀드는 다음과 같이 계산된다:
DurThresh = MinDurThresh + (MaxDurThresh - MinDurThesh)(1 - AvgSectionLoudness)
(대부분의 경우, 시간 영역은 오버랩되지 않을 것이다; 만약 선재 뮤직 비디오에 대한 EDL이 사용 가능하지만, 시간 영역이 선재 뮤직 비디오의 세그먼트에 해당하다면, 시간 영역은 트랜지션에서 오버랩될 것이다.)
우리가 선재 뮤직 비디오의 전체 지속 시간을 커버하는 시간 영역을 가진다면, 우리는 단계(203)의 영역의 서브세트를 선택할 수 있다. 이 서브세트에 포함되지 않은 시간 영역은 수정되지 않을 것이다. 다양한 경험적 지식은 시간 영역의 적절한 서브세트를 선택하는데 사용될 수 있다.
시간 영역의 서브세트를 선택
도 4는 수동으로 또는 자동으로 수행될 수 있는 시간 영역의 서브세트를 선택하기 위한 경험적 지식 방법의 바람직한 실시예에 대한 스텝을 설명하는 플로우차트이다. 그것은 도 2에서의 스텝(203)의 하나의 가능한 확장이다. 뮤직 비디오에서, 처음과 마지막 세그먼트는, 도시된 아티스트와 밴드의 처음 & 마지막의 글림프스(glimpse)를 제공하므로, 특히 중요하다. 개인화된 뮤직 비디오에서는 개인화된 뮤직 비디오를 기초된 선행 뮤직 비디오에 확실히 관련시키기 위해서 이 세그먼트 를 포함하는 것이 바람직하다. 그러므로, 단계(401)에서, 우리는 수정가능한 영역의 리스트로부터 처음과 마지막 시간 영역을 배제하므로; 이 영역들은 추가 최종 사용자 공급의 비주얼 데이터와의 결합을 통해 수정되지 않을 것이다. 개인화된 뮤직 비디오의 나머지를 위해서, 선재 뮤직 비디오와 사용자에 의해 지정된 추가 비주얼 데이터 사이에 교체하는 것이 바람직하다. 이것을 보장하기 위한 간단한 방법은 단계(402)에서처럼 수정가능한 영역의 리스트로부터 모든 제 2(더 일반적으로, 모든 n차) 시간 영역을 배제하는 것이다. 반대로, 하나는 모든 n차 시간 영역을 포함할 수 있다.
시간 영역의 결과 리스트는 수정될 수 있는 시간 영역을 지정한다. 그것에서 보기 위한 다른 방법은 이 리스트에서 시간 영역에 의해 커버되지 않은 선재 뮤직 비디오에서 어떤 시간 범위가 "잠긴"효과에 있다는 것이다. - 그것들은 어떤 나중 단계에서 최종 사용자 공급의 추가 비주얼 데이터를 사용하여 어떤 상황 하에서 수정되지 않을 것이다.
다른 경험적 지식도 사용될 수 있다. 예컨대, 시간 영역의 랜덤 서브세트는 시간 영역의 풀 세트로부터 랜덤하게 간단히 선택될 수 있고, 서브세트에 포함된 시간 영역의 퍼센티지가 어떤 미리 규정된 범위에 있는 조건에 종속된다; 또는 대안으로, 서브세트의 시간 영역의 지속 시간의 합이 선재 뮤직 비디오의 전체 지속 시간의 일부분을 설명하는 조건에 종속된다.
시간 영역의 서브세트는 자동으로 선재 뮤직 비디오의 비디오 및/또는 음악의 분석을 통해 얻어진 디스크립터에 기초하여 선택될 수도 있다. 분석을 통해 자 동으로 그것을 얻은 그런 디스크립터와 기술은 당업자에게 잘 알려져 있다. 시간 영역이 선택된 디스크립터 정보가 영향을 줄 수 있는 방법은
● 특히 어두운 선재 뮤직 비디오의 가능한 수정 시간 영역에 대해 규정하는 것
● 음악이 특히 큰 선재 뮤직 비디오의 가능한 수정 시간 영역에 대해 규정하는 것
● 얼굴의 클로즈업이 검출되지 않는 선재 뮤직 비디오의 가능한 수정 시간 영역에 대해 규정하는 것을 포함한다.
시간 영역의 반자동적 결정
반자동적인 경우에, 선재 뮤직 비디오의 비디오 및/또는 뮤직 트랙은 시간 영역에 대해 제의된 시작과 종료 시간의 리스트를 발생시키기 위해서 자동으로 분석될 것이다. 스타일 작가는 리스트로부터 택한 시작/종료 시간으로 시간 영역을 생성할 수 있거나 스타일 작가의 믿음이 더 적절한 어떤 다른 시간을 사용할 수 있다.
대안으로, 완전히 자동적인 방법은 시간 영역의 세트를 제안하는데 사용될 수 있고, 스타일 작가는 간단히 제안된 세트를 확인하거나 거절할 수 있다. 시간 영역의 세트를 발생시키는 자동적인 방법이 얼마의 랜덤 요소를 가진다면, 스타일 작가는 시간 영역의 특별히 좋은 세트가 발생되기까지 자동적 발생을 되풀이할 수 있다. (시간 영역의 "좋은" 세트를 구성하는 것은 미적 판단이고, 아마도 완전히 정량화될 수 없다; 완전히 정량화될 수 있다면, 시간 영역을 결정하는 수동이나 반 자동적인 방법을 고려할 필요가 없을 것이다.)
주석 달기 단계는 어떤 편집 동작이 수행되어야 한다는 설명을 할 수 있을 지라도, 이것은 절대적 요구사항은 아니다. 예컨대, 주석 달기는 시간 영역의 서브세트만이 수정되는 것을 허용할 수 있고, 추가 비주얼 데이터의 양에 따른 그 서브세트의 세기는 제 2 단계(120)에서 가능할 것이다.
수정 타입
시간 영역의 몇 가지 수정 타입이 가능하며 이하를 포함한다:
● 대체하기: 선재 뮤직 비디오의 영역은 선택된 추가 비주얼 데이터로 대체된다. 이것은 가장 간단한 수정 타입이다.
● 차단하기: 선재 뮤직 비디오의 영역은 선택된 추가 비주얼 데이터에 의해 완전히 커버된다. 비주얼 결과는 대체하기 경우와 동일하지만, EDL 구조는 다를 것이다.
● 픽처 인 픽처: 선재 뮤직 비디오의 영역 사이에, 선택된 추가 비주얼 데이터는 프레임의 작은 직사각형으로 디스플레이된다. 반대도 역시 가능하다: 선택된 추가 비주얼 데이터는 프레임으로 도시되고, 선재 뮤직 비디오는 그 프레임 내에서 작은 직사각형으로 디스플레이된다.
● 분리 스크린, 예컨대, 추가 비주얼 데이터는 프레임의 왼쪽-하프에 도시되고, 선재 뮤직 비디오는 오른쪽-하프에 도시된다.
● 다면의 3D 물체, 예컨대, 회전 6면체. 선재 뮤직 비디오는 회전 6면체의 하나 이상의 면에, 지정된 추가 비주얼 데이터는 하나 이상의 다른 면에 도시된다.
픽처 인 픽처, 분리 스크린, 및 다면의 3D 물체는 사용자 공급의 추가 비주얼 데이터와 함께 선재 뮤직 비디오를 공간적으로 결합시킨 예로 생각되어질 수 있다.
수정 타입과 우선순위의 지정
도 5는 선재 뮤직 비디오의 시간 영역에 대한 수정을 지정하는 단계를 예시한 플로우차트이다. 그것은 주석 달기 단계가 수동으로 수행될 때의 경우에, 도 1의 단계(112)에 대한 바람직한 실시예이다.
단계(501)에서, 모든 시간 영역에 대한 수정 타입은 "대체"로 세팅된다. 상술한 바와 같이, 선재 뮤직 비디오의 시간 영역이 선택된 추가 비주얼 데이터를 사용하여 수정될 수 있는 다양한 방법이 있다. 대체는 이 가능한 수정 타입의 가장 간단하고 가장 직접적인 것이다. 하나는 대체적으로 "픽처 인 픽처", "분리 스크린", 또는 다른 수정을 사용할 수 있다. 수정 타입이 모든 시간 영역에 대해 동일할 필요는 없다; 다른 영역이 "대체", "픽처 인 픽처", "분리 스크린", 또는 단일 제품의 다른 수정 타입을 사용할 수 있다.
단계 502와 503에서는 상기 영역의 대체 우선 순위가 정해진다. 우선 순위가 0 내지 1의 범위의 수에 의해 표현될 수 있으며, 1은 "대체해야만 함"을 나타내고, 0은 "대체하지 않아야 함"을 나타내며, 및 그 사이의 값은 "선택적인 대체"를 나타낸다(즉 사용가능한 많은 추가 비주얼 데이터의 양에 의존함)
단계(502)에서, 대체되어야 하는 시간 영역에 대한 우선순위는 가능한 가장 큰 값으로 정해진다. 단계(503)에서는, 잔여 시간 영역의 우선순위가 정해진다. 원 하는 우선순위가 분명하다면, 높은 우선순위 세그먼트에 더 높은 값, 및 낮은 우선순위 세그먼트에 대한 더 낮은 값으로 각각 시간 영역의 우선순위는 신중하고 명쾌하게 정해질 수 있다. 매우 분명한 순서가 없다면, 우선순위는 고정된 0보다 더 큰 값과 1보다 더 작은 값(예컨대, 0.5)으로 모두 정해지거나, 그 범위의 수도-랜덤 값으로 정해질 수 있다.
시간 영역에 대한 수정 타입과 우선순위의 설명은 다양한 경험 지식을 사용하고, 선택적으로 선재 뮤직 비디오의 자동적 분석을 통해 얻어진 디스크립터를 사용하여 또한 자동으로 수행될 수 있다.
예컨대, 단계(111)에서 우리는 선재 뮤직 비디오의 전체 시간이 50%를 예기하는 시간 영역의 합의 시간을 규정해왔다. 우리는 이의 적어도 50%가 "대체해야만 함" 영역이 됨을 요구할 것이다; 이것은 새로운 뮤직 비디오에서, 선재 뮤직 비디오의 적어도 25%가 최종 사용자 공급의 추가 미디어로 수정됨을 보장할 것이다. 그 25%가 전체적으로 새로운 뮤직 비디오의 처음 부분이나 마지막 부분에 있는 것을 바라지 않을 것이다; 그 가능성을 피하기 위해서, 우리는 "대체해야만 함" 영역이 수정될 시작과 끝에 클럼프업되기보다는 오히려 영역의 세트의 도처에 균일하게 분배되는 것을 보장할 수 있다.
수정 우선순위의 결정은 또한 선재 뮤직 비디오의 비주얼이나 오디오의 분석에 기초하여 자동으로 행해질 것이다. 예컨대:
● 비디오 분석을 통해, 선재 뮤직 비디오의 시간 영역이 얼굴의 클로즈업을 덜 포함하는 것이 가능하다. 그런 영역은 최종 사용자 공급의 추가 비주얼 데이터 로 대체하기 위한 더 나은 후보로 생각될 것이고, 따라서 대체를 위한 더 높은 우선순위가 자동으로 주어질 것이다. 이것은 선재 뮤직 비디오의 클로즈업이 그 뮤직 비디오의 특징된 아티스트가 될 것 같은 추측에 있으며, 그 최종 사용자는 그들이 만든 개인화된 뮤직 비디오의 아티스트를 보기를 원할 것이다.
● 오디오 분석을 통해, 영역이 가수의 목소리를 포함할 것 같고, 영역이 순전히 수단이 됨을 측정하는 것이 가능하다. 가수의 목소리를 더 포함할 것 같은 영역은 가수가 그/그녀가 노래를 부르는 영역에 보여질 것 같은 가정으로 대체에 대한 더 낮은 우선순위가 주어질 것이고, 최종 사용자는 그들이 만든 개인화된 뮤직 비디오의 가수를 보기를 원할 것이다.
선재 뮤직 비디오의 분석은 또한 수정 타입을 결정할 것이다. 예컨대:
● 선재 뮤직 비디오의 수단이 된 영역 동안(즉 노래부르기가 없는 곳), 수정 타입은 "대체"로 정해질 것이지만, 노래부르기가 있는 영역 사이에, "픽처 인 픽처" 수정이 사용되어 선재 뮤직 비디오가 사용자 공급의 비주얼 데이터에 부가된 작은 직사각형에서 계속 보여지게 된다.
최종 사용자가 공급한 추가 비주얼 데이터의 지정
도 6은 도 1의 단계(122)의 바람직한 실시예를 설명하는 플로우차트, 즉 시간 영역의 하나 이상의 시간 영역에 대한 추가 비주얼 데이터를 선택하는 스텝이다.
단계 601에서, 시간 영역은 대체 우선순위의 감소하는 순서로 분류된다. 이것은 대체를 위해 가장 높은 우선순위의 영역(즉 "대체해야만 함")이 리스트의 시 작에 있고, 가장 낮은 우선순위의 영역이 끝에 있는 분류된 리스트를 만든다. 단계(602)에서, 주어진 우선순위 스레스홀드에 있거나 아래에 있는 영역의 우선순위는 배제되며, 즉 리스트로부터 제거된다. 이 단계가 주어져 대체되는 영역의 수는 예컨대, 최종 사용자 공급의 추가 비주얼 데이터로 구성될 제품의 일부분 대 선재 뮤직 비디오로부터의 영역으로 구성된 일부분 사이에 밸런스를 정하는 사용자 컨트롤에 기초하여 하나의 제품에서 다른 제품까지 변할 수 있다.
높은 우선순위 영역을 시작하면서, 대체될 영역과 사용하지 않은 최종 사용자 공급의 추가 미디어가 있는 한, 단계(604)에서 그 비주얼 데이터의 영역은 다음 영역(우선 순위의 내림 차순)을 대체하기 위해서 선택되고, 최종 사용자 공급의 비주어 데이터의 지정된 일부분은 단계(605)에서 "사용된"으로 표시된다. 만약 더이상 사용되지 않은 최종 사용자 공급의 미디어가 있고, 미디어가 반복한다면, 단계(606)에서 최종 사용자 공급의 추가 비주얼 데이터의 요구되고 미리 사용된 부분은 사용되지 않음으로 표시되어서, 최종 사용자 공급의 추가 비주얼 데이터의 반복적으로 지정한 부분의 루프는 계속될 수 있다. 사용자 미디어가 반복될 수 없다면, 현재의 영역과 모든 다음의 영역(우선 순위의 내림 차순)은 대체 단계(603)로부터 배제된다.
디스크립터 매칭
바람직한 실시예에서, 단계(604)는 사용자 미디어가 지정되어 그것이 어떤 타켓 디스크립터 값에 가장 가까운 특징을 가지는 "디스크립터 매칭"을 사용할 것이다. 어떤 디스크립터는 "광범위한", 즉 아마도 특별한 스타일이나 특별한 제품을 위한 것이고, 수정가능한 영역의 본래의 컨텐트에 상관없이 우리는 페이스를 강조하는 것을 원한다. 다른 경우에, 지정한 미디어의 특징은 세그먼트로부터 세그먼트까지 변화할 것이다.
- 스타일 작가는 수동으로 대체될 세그먼트를 위한 타겟 디스크립터를 지정할 수 있다.
- 수정가능한 세그먼트를 위한 타겟 디스크립터는 본래의 음악의 그 포인트에서 발생하는 뮤직 비디오의 일부분의 분석에 자동으로 기초하여 유도될 것이다.
- 타겟 디스크립터는 그 포인트에서 음악이 일어나는 것에 기초할 것이다. 즉 음악이 큰 곳은 밝은 비디오나 화상을 선택하고, 음악이 약한 곳은 어두운 비디오나 화상을 선택한다.
- 최종 사용자 공급의 추가 미디어는 비디오를 포함하고, 우리는 셧 경계 시간을 결정하기 위한 그 비디오를 분석해왔으며, 단계(604)에서 주어진 수정가능한 영역에 대해 우리는 우선적으로 최종 사용자 공급의 미디어의 일부분을 선택할 수 있다. 이 방법으로, 새로운 뮤직 비디오는 음악의 비트와 관계가 없는 셧 경계를 덜 가질 것 같다.
디스크립터 매칭에 기초한 미디어를 선택하는 다른 방법은 선행 기술, 예컨대, 영국 특허 제2380599호에서 기재되어 있다.
최종 사용자가 새로운 비주얼 데이터의 컬렉션을 규명한 단계(121)에서, 사용자 인터페이스는 사용자가 사용자 미디어 부분에 대한 선호 레벨을 지정할 수 있는 조절을 포함하며, 따라서 그 또는 그녀가 새로운 비주얼 데이터의 다양한 부분 이 포함되는 것이 얼마나 중요한지 명시한다. 예컨대, 새로운 비주얼 데이터가 비디오를 포함한다면, 최종 사용자가 "하이라이트", 그 또는 그녀가 매우 새로운 뮤직 비디오에서 보고 싶은 비디오의 부분이나, "제외", 새로운 뮤직 비디오에서 나타나지 말아야 할 비디오의 부분을 지정할 것이다.
사용자 미디어에 대한 최종 사용자의 선호에 대한 그런 정보가 사용 가능하다면, 그것은 단계(604)에서 설명될 수 있다. 영역을 대체하기 위한 사용가능한 사용자 미디어의 부분을 지정할 때, 제 1 우선순위는 사용자가 "하이라이트"로 나타낸 부분으로 갈 것이고, "배제"는 전체적으로 피하게 될 것이다.
사용자 미디어를 선택하는 상술한 다양한 기준들은 매번 충돌될 수 있다. 예컨대, 사용자는 대체되어야만 하는 어느 영역보다 더 짧은 샷에 있는 그 또는 그녀의 뮤직 비디오의 부분을 강조할 것이다. 그런 반대의 기준에도 불구하고 지정된 미디어에 가능한 접근은 기준의 각각이 선택 결정에 그것의 영향을 결정하는 주어진 웨이트(weight)를 가지는 것에 의하여 스코어링 모델을 사용하는 것이다. 우리는, 예컨대, 웨이트를 정할 수 있어서 최종 사용자 공급의 미디어의 강조된 부분을 항상 새로운 뮤직 비디오로 보낼 수 있지만, 이것은 샷 경계를 포함하는 사용자 미디어로 대체되어 얻은 어떤 시간 영역을 발생시킨다.
상술한 설명에서, 최종 사용자 공급의 미디어의 부분의 선택은 한번에 하나의 시간 영역에 대해 행해진다. 각 시간 영역을 위해서, 우리는, 이것이 다음의 시간 영역에 대해 미디어의 영역에 영향을 얼마나 미치는지에 대해 고려함 없이, 최종 사용자 공급의 미디어의 최고의 부분을 찾는다. 영역의 주어진 세트가 사용자 비디오의 샷 경계를 잘 피하는지, 및 모든 사용자 지정의 하이라이트를 포함하는지의, 디스크립터 매치에 얼마나 잘 기초되어 얼마나 좋은 것을 규정하는 몇 기록 모델에 따라, 대안적 접근은 모든 시간 영역의 동시에 대한 사용자 영역의 전체적으로 최상의(또는 거의 최상의) 세트를 찾는 알고리즘을 사용하는 것이다. 전체 최적 문제를 해결하기 위한 모의 실험의 가열 냉각, 동적 프로그래밍, 및 발생론적 알고리즘을 포함하여, 많은 프로그래밍 기술은 문헌에서 설명된다.
수정 타입의 지연된 결정
각각의 시간 영역을 사용하기 위해서 수정 타입은 주석 달기 단계 동안 전체적으로 각각의 시간 영역이 결정되는 것보다 부분적으로나 전체적으로 제 2 단계로 지연될 것이다.
예컨대, 주석 달기 단계 동안, 각 시간 영역을 위한 가능한 수정 타입의 리스트는 각 세그먼트를 위해서, 각각의 수정 타입과 연관된 조건으로 상술될 것이다. 예컨대, 주어진 시간 영역을 위해서, 수정 타입은 선택된 사용자 비주얼 데이터만이 하이 모션 비디오라면 "대체될" 수 있다; 선택된 사용자 비주얼 데이터가 여전히 이미지이거나 로우 모션 비디오라면, 수정 타입은 선재 뮤직 비디오에 부가된 사각형 안에 나타난 사용자 비주얼 데이터와 함께, 픽처 인 픽처가 될 것이다.
세그먼트 대체 예
도 7은 뮤직과 비디오의 분석을 사용한 선재 뮤직 비디오에서 세그먼트 대체를 위한 실시예의 전체 동작을 설명한다. 여기서의 가정은 선재 뮤직 비디오를 위한 "편집 결정 리스트"(EDL)가 이용가능하지 않고, 어떤 수동적 마크업도 아니어 서, 적절히 수정가능한 시간 영역이 뮤직 비디오의 분석을 통해 결정되어야 한다.
선재 뮤직 비디오(710)는 뮤직 구성(711)과 비디오 구성(712)로 구성된다. 비디오 구성은 mvSeg7을 통해 mvSeg의 세그먼트 시리즈로 구성된다; 접두어 "mv"는 "뮤직 비디오"의 줄임말이다. 세그먼트는 컷(714), 및 와이프(715)와 디졸브(713)와 같은 트랜지션에 의해 분리된다.
선재 뮤직 비디오의 뮤직 구성(711)과 비디오 구성(712)을 분석하고, 결과적인 디스크립터를 결합함으로써, 우리는 수정가능한 영역을 위한 적절한 시간 경계를 규명할 수 있다. 이 예에서, 4개의 수정가능한 영역이 있고, 그 시간 영역은 선재 뮤직 비디오의 샷에 대응한다.
선재 뮤직 비디오의 제 1과 제 3 수정 영역은 수정을 위해서 지정된다. 이 경우에, 컷에 의한 대체가 사용된다: 아웃풋 프로덕션에서, 선택된 수정가능한 영역은 사용자 미디어로 대체된다.
사용자 입력 미디어는 두 비디오 파일로 구성되고, "사용자 비디오 1"과 "사용자 비디오 2"로 라벨이 붙여진다. 아웃풋 프로덕션에서, 제 1 수정가능한 영역은 사용자 자료 sSeg1(741)과 sSeg2로 대체된다. 아웃풋 프로덕션에서, 세그먼트는 오버랩되고, 그들(731) 사이의 디졸브 트랜지션은 시간에 맞춰져서 그것이 컷 힌트에서 시작된다. 제 3 수정가능한 영역(733)은 "사용자 비디오 2"로부터 자료 sSeg3으로 대체된다. 어떤 사용자 비디오는 아웃풋 프로덕션(741)에 나타나지 않는다.
선재 뮤직 비디오의 부분이나 멀티플 선재 뮤직 비디오의 사용
간단함을 위해, 상술한 설명에서 새로운 뮤직 비디오는 그것이 유도된 단일 선재 뮤직 비디오와 같이 동일한 지속 시간이 되는 것이 추측된다. 보다 일반적으로, 그러나, 직접적인 수정으로, 상술한 방법은 선재 비디오의 부분으로부터 새로운 뮤직 비디오를 제작할 수 있다.
사용자가 선재 뮤직 비디오로부터 휴대 전화에 대한 비디오 링톤을 만드는 것이 특히 적절하다. 인기 있는 노래에 기초한 링톤 - 비디오 링톤을 포함한 - 은 일반적으로 노래의 엑섭트(excerpt)를 사용한다. 일반적으로 가장 적합한 엑섭트는 가장 인기있거나 인식할 수 있는 노래의 부분이고, 대부분 "코러스"이다. 그러므로, 선재 뮤직 비디오에 기초한, 예컨대 코러스, 새로운 뮤직 비디오를 제작하는 상술한 방법을 사용하는 것이 아주 바람직하다.
상술한 방법은, 직접적인 수정으로, 몇몇의 선재 뮤직 비디오의 연속, 또는 그것에 의한 엑섭트의 연속으로부터 새로운 뮤직 비디오의 생성을 하도록 또한 연장될 수 있다.
컴퓨터의 타입과 멀티플 컴퓨터 사이의 일의 분담
상술한 방법은 단일 컴퓨터에 수행된 모든 스텝이나, 다른 컴퓨터에 수행된 다른 스텝들과 함께, 컴퓨터의 다양한 타입으로 이행될 수 있다. 다음은 어떠한 스텝의 몇가지 예들이 몇개의 컴퓨터 사이에서 분리될 수 있는지의 예이다.
아래 설명된 모든 시나리오에서, 스타일 작가는 처음으로 선재 뮤직 비디오를 사용하여 스타일을 만든다. 만드는 것은 먼저 설명한 선재 뮤직 비디오의 주석달기, 수정가능한 시간 영역을 위한 수정의 기술, 추가 효과 & 트랜지션 등의 기술과 같은 다양한 단계를 포함한다. 일반적인 경우에, 스타일 작가는 프로세스를 만 드는 것을 돕기 위해서 개인용 컴퓨터(데스크 탑이나 랩 탑)에서 되는 툴을 사용할 것이다. 만들어진 스타일은 몇가지 방법중에 하나로 배치된다.
● 개인용 컴퓨터. 그것을 사용하는 스타일, 및 소프트웨어 프로그램은 개인용 컴퓨터에 설치된다. 그 소프트웨어에서 사용자 인터페이스를 통해, 사용자는 컴퓨터의 하드 드라이브나 다른 대중 저장 장치상에서 미디어 파일을 선택하고, 스타일을 선택하며, 및 새로운 뮤직 비디오를 만드는 스텝을 시작한다. 다음에 프로그램은 새로운 뮤직 비디오를 위해서 EDL을 만든다. 그 EDL은 실시간 미리보기로 비디오 프레임의 시리즈를 보이기 위해서 실시간으로 재생되거나, 비디오 파일로 될 수 있다.
● 휴대 장치. 그것을 사용하는 스타일, 및 소프트웨어 프로그램은 모바일 폰, 개인용 디지탈 보조장치, 디지털 카메라나, 아이팟과 같은 휴대용 뮤직 재생 장치와 같은 휴대 장치를 포함하며, 다양한 다른 컴퓨터 장치에 설치될 수 있다. 소프트웨어는 상술한 개인용 컴퓨터에서 처럼 동일한 방법으로 기능할 수 있다.
● 서버 기초의 시나리오. 스타일은 컴퓨터 네트워크, 예컨대 인터넷을 통해 접근가능한 서비스를 만드는 뮤직 비디오를 트랜지션하는 서버에 배치된다. 최종 사용자는 그 또는 그녀의 컴퓨터 장치(개인용 컴퓨터, 모바일 폰, PDA, 등)로부터 일반적으로 마이크로소프트 인터넷 익스플로어와 같은 웹 브라우저 애플리케이션을 사용하여 나타내진 웹 페이지에 사용자 인터페이스를 통해 서버로 비주얼 데이터를 업로드한다. 그 또는 그녀는 스타일을 선택하고(서버로부터 선택된 하나 이상의 스타일이 있다), 새로운 뮤직 비디오를 만드는 과정을 시작한다. 서버에서 실행되는 소프트웨어는 상술한 스텝을 실행하고 사용자의 미디어를 통합하는 새로운 뮤직 비디오를 위한 EDL을 만든다. 서버는 압축된 비디오 파일로 EDL을 주고, 최종 사용자는 그 또는 그녀의 컴퓨터 장치에 다운로드하여 본다.
● 최소의 미디어 전송으로 서버 기초한 서비스. 서버에 기초한 시나리오의 변화에, 최종 사용자의 미디어는 그 또는 그녀의 컴퓨터에 분석된다. 미디어를 위한 디스크립터만이 서버로 업로드되고, 실제 미디어 파일은 업로드되지 않는다. 서버에서 실행되는 소프트웨어는 새로운 뮤직 비디오를 위해서 EDL을 발생하는 스타일에 추가하여 사용자 미디어 디스크립터를 사용한다. 언급한 선재 뮤직 비디오의 추가 부분, EDL은 최종 사용자 컴퓨터로 다운로드된다. 최종 사용자 컴퓨터에 소프트웨어는 EDL을 재생하고, 비디오 프레임의 시리즈를 발생하기 위해서 실시간으로 EDL에 편집 명령을 실행한다. 이 접근의 장점은 서버와 최종 사용자의 컴퓨터 사이로 전송된 데이터의 양이 극적으로 감소된다. 특히, 최종 사용자의 미디어는 서버로 업로드되지 않는다.
선재 뮤직 비디오 없는 스타일
주석 달기 단계가 완전히 자동화되면, 특별한 선재 뮤직 비디오에 얽매이지 않는 스타일을 만들 수 있다. 스타일은 선재 뮤직 비디오를 주석 달기 위한 방법과 파라미터를 상술하지만, 추가 효과와 트랜지션을 적용하기 위한 규칙에 따른 주석 갈기 그 자체는 하지 않는다.
그것을 사용하는 그런 스타일과 소프트웨어로, 최종 사용자는 어떤 선재 뮤직 비디오를 가질 수 있고(웹사이트를 공유하는 비디오나 레코드 회사 웹사이트로 부터 다운로드가 가능함), 그 또는 그녀 자신의 추가 비주얼 데이터를 지정하고, 새로운 뮤직 비디오를 제작할 수 있다. 그러한 시나리오에서, 실제의 주석 달기 단계(110)와 생성 단계(120)는 최종 사용자 컴퓨터에서 전체적으로 실행될 것이다.
다른 대안은, 최종 사용자가, 선재 뮤직 비디오와, 사용하기 위한 어떤 수정의 타입이나 어떤 추가 효과가 아닌, 수정될 시간 영역을 상술하는 주석 정보를 받는 것이다. 소프트웨어 프로그램에서, 사용자는 선재 뮤직 비디오와 주석 정보를 지정할 수 있고, 또한 사용하기 위한 수정 타입과 그가 공급한 추가 비주얼 데이터의 선택 기준을 상술할 수 있다. 상기 기재된 방법에 따라, 소프트웨어 프로그램은 새로운 뮤직 비디오를 만들 것이다.
비록 본 발명의 단일 실시예가 위에서 설명되었을 지라도, 많은 변경은 청구항에 의해 규정된 바와 같이 본 발명의 범위 내에서 가능하다.
본 발명은 시청각 아웃풋 프로덕션의 자동 생성을 위한 새롭고 유용한 기술, 시스템 및 소프트웨어를 제공한다.

Claims (36)

  1. 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법으로서, 상기 새로운 뮤직 비디오와 선재 뮤직 비디오가 뮤직 트랙과 비주얼 트랙을 포함하며, 상기 방법은:
    a) 상기 선재 뮤직 비디오가 제 1 사용자에 의해 주석이 달려져서 상기 선재 뮤직 비디오 내에서 다수의 시간 영역의 위치를 규정하는 위치 데이터를 얻는 제 1 단계; 및
    b) 상기 새로운 뮤직 비디오가,
    (ⅰ) 제 2 사용자가 추가 비주얼 데이터의 컬렉션을 표시하는 스텝,
    (ⅱ) 상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 하나 이상을 위해서, 상기 표시된 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 개별 요소를 자동으로 선택하는 스텝,
    (ⅲ) 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소를 사용하여 상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 하나 이상의 비주얼 트랙을 자동으로 수정하여 하나 이상의 수정된 비주얼 트랙 영역을 형성하는 스텝; 및
    (ⅳ) 상기 하나 이상의 수정된 비주얼 트랙 영역을, 상기 선재 뮤직 비디오의 비주얼 트랙의 다른 영역 및 상기 선재 뮤직 비디오의 뮤직 트랙과 자동으로 결합시켜 새로운 뮤직 비디오를 형성하는 스텝에 의해 생성되는 제 2 단계를 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  2. 제 1 항에 있어서,
    상기 방법의 상기 제 1 단계는 제 1 사용자가, 상기 선재 뮤직 비디오의 하나 이상의 상기 시간 영역을 위해서, 각 시간 영역에 대해 이루어진 수정 타입을 표시하는 수정 데이터의 각 세트를 유도하는 스텝을 더 포함하고,
    상기 방법의 상기 제 2 단계에서, 상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 하나 이상의 비주얼 트랙을 자동으로 수정하는 스텝은 수정 데이터의 각 세트에 따라 수행되는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 1 단계에서 상기 제 1 사용자가 제 1 컴퓨터 시스템을 동작시키고, 상기 제 2 단계에서 상기 제 2 사용자가 상기 제 1 컴퓨터 시스템으로부터 독립적으로 사용가능한 제 2 컴퓨터 시스템을 동작시키며, 상기 위치 데이터는 상기 제 1 단계 후에 제 1 컴퓨터 시스템과 제 2 컴퓨터 시스템 사이에서 전송되는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  4. 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법으로서, 상기 새로운 뮤직 비디오와 선재 뮤직 비디오가 뮤직 트랙과 비주얼 트랙을 포함하며, 상기 방법은:
    a) 상기 선재 뮤직 비디오가,
    (i) 선재 뮤직 비디오 내에서 다수의 시간 영역의 위치를 규정하는 위치 데이터를 얻는 스텝, 및
    (ii) 상기 선재 뮤직 비디오의 하나 이상의 상기 시간 영역을 위해서, 각 시간 영역에 대해 이루어진 수정 타입을 표시하는 수정 데이터의 각 세트를 유도하는 스텝에 의해 주석이 달려지는 제 1 단계; 및
    b) 상기 새로운 뮤직 비디오가,
    (i) 사용자가 추가 비주얼 데이터의 컬렉션을 표시하는 스텝,
    (ii) 상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 각 요소를 자동으로 선택하는 스텝,
    (iii) 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소를 사용하여 수정 데이터의 각 세트에 따라서 상기 선재 뮤직 비디오의 상기 하나 이상의 시간 영역의 비주얼 트랙을 자동으로 수정하여 하나 이상의 수정된 비주얼 트랙 영역을 형성하는 스텝; 및
    (iv) 상기 하나 이상의 수정된 비주얼 트랙 영역을, 상기 선재 뮤직 비디오의 비주얼 트랙의 다른 영역 및 상기 선재 뮤직 비디오의 뮤직 트랙과 자동으로 결합시켜 새로운 뮤직 비디오를 형성하는 스텝에 의해 생성되는 제 2 단계를 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  5. 제 2 항 또는 제 4 항에 있어서,
    상기 수정 데이터의 세트는 상기 선재 뮤직 비디오의 상기 뮤직 트랙의 자동 분석을 포함하는 프로세스에 의해 얻어지는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  6. 제 2 항 또는 제 4 항에 있어서,
    상기 방법의 상기 제 1 단계에서, 상기 수정 데이터의 각 세트는 선재 뮤직 비디오의 상기 시간 영역 각각과 다수의 스타일 파라미터 값 각각을 위해서 유도되고,
    상기 방법의 상기 제 2 단계는
    상기 스타일 파라미터에 대한 값을 선택하는 스텝, 및
    상기 스타일 파라미터의 선택된 값과 관련된 수정 데이터의 각 세트에 따라 상기 선재 뮤직 비디오의 상기 하나 이상의 시간 영역을 수정하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  7. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 제 2 단계는 추가 비주얼 데이터 컬렉션의 선택된 각 요소를 분석하는 스텝을 포함하고, 상기 선재 뮤직 비디오의 하나 이상의 시간 영역 각각을 수정하는 스텝은 분석 결과에 따라 수행되는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  8. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 위치 데이터의 세트는 선재 뮤직 비디오를 설명하는 편집 결정 리스트를 사용하여 얻어지는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  9. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 위치 데이터를 얻는 스텝은 선재 뮤직 비디오의 뮤직 트랙 및 비디오 트랙 중 하나 이상의 자동 분석을 수행하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  10. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 단계는 각 수정 우선순위 값을 상기 다수 시간 영역의 각각과 관련시키는 스텝을 포함하고, 상기 제 2 단계는 상기 시간 영역의 각 수정 우선순위 값에 기초하여 상기 다수의 시간 영역의 상기 하나 이상을 선택하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  11. 제 10 항에 있어서,
    하나 이상의 상기 수정 우선순위 값은 각 시간 영역이 상기 다수의 시간 영역의 상기 하나 이상 사이에 포함되어야 하는 것을 지정하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  12. 제 10 항에 있어서,
    하나 이상의 상기 수정 우선순위 값은 각 시간 영역이 상기 다수의 시간 영역의 상기 하나 이상 사이에 포함되지 않아야 하는 것을 지정하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  13. 제 10 항에 있어서,
    상기 다수의 시간 영역의 각각을 위한 상기 수정 우선순위 값은 상기 선재 뮤직 비디오의 자동 분석에 의해 얻어지는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  14. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 상기 하나 이상의 비주얼 트랙을 자동으로 수정하는 스텝은, 상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 상기 하나 이상의 비주얼 트랙을 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소로 대체하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  15. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 상기 하나 이상의 비주얼 트랙을 자동으로 수정하는 스텝은, 상기 선재 뮤직 비디오의 상기 다수의 시간 영역의 상기 하나 이상의 비주얼 트랙을 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소와 결합시키는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  16. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 상기 표시된 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 요소 각각을 자동으로 선택하는 스텝은:
    (i) 상기 표시된 추가 비주얼 데이터의 컬렉션에서 샷 경계를 결정하는 스텝, 및
    (ii) 상기 샷 경계에 기초하여 상기 표시된 추가 비주얼 데이터의 컬렉션으로부터 상기 요소를 선택하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  17. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 상기 표시된 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 요소 각각을 자동으로 선택하는 스텝은:
    (i) 상기 표시된 추가 비주얼 데이터의 컬렉션에 대한 하나 이상의 디스크립터 값을 유도하는 스텝, 및
    (ii) 상기 하나 이상의 디스크립터 값에 기초하여 상기 표시된 추가 비주얼 데이터의 컬렉션으로부터 상기 요소를 선택하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  18. 제 17 항에 있어서,
    상기 요소는 상기 하나 이상의 유도된 디스크립터 값과 상기 선재 뮤직 비디오의 각 시간 영역의 비주얼 트랙에 대한 하나 이상의 각각의 디스크립터 값 사이의 유사 기준에 따라 선택되는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  19. 제 17 항에 있어서,
    상기 요소는 상기 유도된 디스크립터 값과 상기 제 1 단계에서 유도된 각각의 시간 영역의 하나 이상의 디스크립터 값 타겟 사이의 유사 기준에 따라 선택되는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  20. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 수정된 비주얼 트랙 영역은 상기 선재 뮤직 비디오의 비주얼 트랙의 각 영역에 속하는 하나 이상의 비주얼 효과를 통합하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  21. 제 20 항에 있어서,
    상기 비주얼 효과는 슬로우 모션 또는 패스트 모션 효과인 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  22. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    상기 제 1 단계는 상기 시간 영역의 하나 이상에 대해서 각 속도값을 지정하는 스텝을 포함하고, 상기 수정된 비주얼 트랙 영역 각각은 각각 지정된 속도값에 따라 슬로우 모션 또는 패스트 모션을 가지는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  23. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    비주얼 효과는 실질적으로 새로운 뮤직 비디오의 전체에 적용되는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  24. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    새로운 뮤직 비디오는 뮤직 트랙의 특징에 따라 결정된 새로운 뮤직 비디오의 위치에 하나 이상의 비주얼 효과를 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  25. 제 1 항, 제 2 항 또는 제 4 항 중 어느 한 항에 있어서,
    새로운 뮤직 비디오를 비디오 링톤으로 사용하기 위해서 휴대 전화에 전송하는 스텝을 더 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  26. 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법으로서, 새로운 뮤직 비디오와 선재 뮤직 비디오가 뮤직 트랙과 비주얼 트랙을 포함하며, 상기 방법은:
    (a) 선재 뮤직 비디오, 및 (b) 상기 선재 뮤직 비디오 내에서 다수의 시간 영역의 위치를 규정하는 선재 위치 데이터에 접근하는 컴퓨터 시스템에 의해 수행되고;
    (i) 사용자에 의한 추가 비주얼 데이터의 컬렉션의 표시를 수신하는 스텝;
    (ii) 상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 각 요소를 자동으로 선택하는 스텝;
    (iii) 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소를 사용하여 상기 선재 뮤직 비디오의 상기 하나 이상의 시간 영역의 비주얼 트랙을 자동으로 수정하여 하나 이상의 수정된 비주얼 트랙 영역을 형성하는 스텝; 및
    (iv) 상기 하나 이상의 수정된 비주얼 트랙 영역을, 상기 선재 뮤직 비디오의 비주얼 트랙의 다른 영역 및 상기 선재 뮤직 비디오의 뮤직 트랙과 자동으로 결합시켜 새로운 뮤직 비디오를 형성하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  27. 제 26 항에 있어서,
    상기 컴퓨터 시스템은 컴퓨터 네트워크를 통해서 사용자와 통신하는 서버인 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  28. 제 27 항에 있어서,
    상기 컴퓨터 네트워크는 인터넷인 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  29. (a) 선재 뮤직 비디오, 및 (b) 상기 선재 뮤직 비디오 내에서 다수의 시간 영역의 위치를 규정하는 위치 데이터를 수신하는 인터페이스;
    추가 비주얼 데이터의 컬렉션의 표시를 사용자로부터 수신하는 데이터 입력 수단; 및
    (i) 상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 각 요소를 자동으로 선택하며,
    (ii) 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소를 사용하여 상기 선재 뮤직 비디오의 상기 하나 이상의 시간 영역의 비주얼 트랙을 자동으로 수정하여 하나 이상의 수정된 비주얼 트랙 영역을 형성하고,
    (iii) 상기 하나 이상의 수정된 비주얼 트랙 영역을, 상기 선재 뮤직 비디오의 비주얼 트랙의 다른 영역 및 상기 선재 뮤직 비디오의 뮤직 트랙과 자동으로 결합시켜 새로운 뮤직 비디오를 형성하도록 배열된 프로세서를 포함하는 것을 특징으로 하는 장치.
  30. 제 29 항에 있어서,
    가전제품의 휴대용 기기인 것을 특징으로 하는 장치.
  31. 제 30 항에 있어서,
    핸드폰, 디지털 스틸 카메라, 비디오 캠코더, 또는 PDA인 것을 특징으로 하는 장치.
  32. 컴퓨터 시스템에 의해 판독가능한 소프트웨어 프로그램을 기록한 기록 매체로서:
    상기 프로그램은,
    (i) 뮤직 트랙과 비주얼 트랙을 포함하는 선재 뮤직 비디오, 및 상기 뮤직 비디오의 하나 이상의 시간 영역을 지정하는 위치 데이터를 수신하는 스텝;
    (ii) 오디오 비주얼 데이터 컬렉션의 표시를 사용자로부터 수신하는 스텝;
    (iii) 상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 각 요소를 자동으로 선택하는 스텝;
    (iv) 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소를 사용하여 상기 선재 뮤직 비디오의 하나 이상의 시간 영역의 상기 비주얼 트랙을 자동으로 수정하여 하나 이상의 수정된 비주얼 트랙 영역을 형성하는 스텝; 및
    (v) 상기 하나 이상의 수정된 비주얼 트랙 영역을, 상기 선재 뮤직 비디오의 비주얼 트랙의 다른 영역 및 상기 선재 뮤직 비디오의 뮤직 트랙과 자동으로 결합시켜 새로운 뮤직 비디오를 형성하는 스텝의 방법을, 상기 컴퓨터 시스템이 실행하도록 하는 것을 특징으로 하는 컴퓨터 시스템에 의해 판독가능한 소프트웨어 프로그램을 기록한 기록 매체.
  33. 선재 뮤직 비디오에 주석을 달기 위해 컴퓨터 시스템에 의해 수행되는 방법으로서:
    (i) 상기 선재 뮤직 비디오 내에서 다수의 시간 영역의 위치를 규정하는 위치 데이터를 얻는 스텝;
    (ii) 상기 선재 뮤직 비디오의 하나 이상의 상기 시간 영역을 위해서, 각각의 상기 시간 영역에 대해 이루어진 수정의 타입을 표시하는 수정 데이터의 각 세트를 유도하는 스텝; 및
    (iii) 상기 컴퓨터 시스템으로부터 상기 위치 데이터와 수정 데이터를 전송하는 스텝을 포함하는 것을 특징으로 하는 컴퓨터 시스템에 의해 수행되는 방법.
  34. 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위한 데이터를 기록한 컴퓨터로 판독가능한 기록 매체로서, 상기 데이터는,
    뮤직 트랙과 비주얼 트랙을 포함하는 선재 뮤직 비디오;
    상기 선재 뮤직 비디오의 하나 이상의 시간 영역을 지정하는 위치 데이터; 및
    상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 상기 컴퓨터가 상기 각 시간 영역에서의 상기 선재 뮤직 비디오의 비주얼 트랙을 상기 컴퓨터에 접근가능한 추가 비주얼 데이터 컬렉션으로부터의 하나 이상의 요소로 수정하여 새로운 비주얼 트랙을 형성하도록 지시하는, 주석달기 데이터의 각 세트를 포함하는 데이터 구조를 구비하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위한 데이터를 기록한 컴퓨터로 판독가능한 기록 매체.
  35. 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법으로서, 새로운 뮤직 비디오와 선재 뮤직 비디오가 뮤직 트랙과 비주얼 트랙을 포함하며, 상기 방법은:
    a) 주석 달기 기준의 세트를 선택하는 스텝;
    b) 상기 선재 뮤직 비디오 내에서 다수의 시간 영역의 위치를 규정하는 위치 데이터를 얻는 스텝을 포함하는, 주석 달기 기준의 선택된 세트에 따라 선재 뮤직 비디오에 주석을 다는 스텝; 및
    c) (i) 추가 비주얼 데이터의 컬렉션을 표시하는 스텝,
    (ii) 상기 선재 뮤직 비디오의 상기 시간 영역의 하나 이상을 위해서, 상기 추가 비주얼 데이터의 컬렉션으로부터 하나 이상의 각 요소를 자동으로 선택하는 스텝,
    (iii) 상기 추가 비주얼 데이터의 컬렉션으로부터 선택된 하나 이상의 각 요소를 사용하여 선재 뮤직 비디오의 상기 하나 이상의 시간 영역의 비주얼 트랙을 자동으로 수정하여 하나 이상의 수정된 비주얼 트랙 영역을 형성하는 스텝; 및
    (iv) 상기 하나 이상의 수정된 비주얼 트랙 영역을, 상기 선재 뮤직 비디오의 비주얼 트랙의 다른 영역 및 상기 선재 뮤직 비디오의 뮤직 트랙과 자동으로 결합시켜 새로운 뮤직 비디오를 형성하는 스텝을 포함하는 프로세스에 의해 새로운 뮤직 비디오를 생성하는 스텝을 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위해 컴퓨터 시스템에 의해 수행되는 방법.
  36. 제 34 항에 있어서,
    상기 주석 달기 데이터는, 상기 선재 뮤직 비디오의 비주얼 트랙의 각 시간 영역에 대하여 이루어진 수정의 타입을 표시하는, 상기 하나 이상의 시간 영역에 대한 수정 데이터를 더 포함하는 것을 특징으로 하는 새로운 뮤직 비디오를 선재 뮤직 비디오로부터 제작하기 위한 데이터를 기록한 컴퓨터로 판독가능한 기록 매체.
KR1020070001531A 2006-07-14 2007-01-05 사용자 공급의 비주얼 데이터를 선재 뮤직 비디오에삽입함으로써 새로운 뮤직 비디오의 생성 KR100865269B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/486,985 US7716572B2 (en) 2006-07-14 2006-07-14 Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
US11/486,985 2006-07-14

Publications (2)

Publication Number Publication Date
KR20080007073A KR20080007073A (ko) 2008-01-17
KR100865269B1 true KR100865269B1 (ko) 2008-10-24

Family

ID=37672350

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070001531A KR100865269B1 (ko) 2006-07-14 2007-01-05 사용자 공급의 비주얼 데이터를 선재 뮤직 비디오에삽입함으로써 새로운 뮤직 비디오의 생성

Country Status (5)

Country Link
US (1) US7716572B2 (ko)
EP (1) EP1879195A1 (ko)
JP (1) JP4461149B2 (ko)
KR (1) KR100865269B1 (ko)
WO (1) WO2008008043A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
JP2007280485A (ja) 2006-04-05 2007-10-25 Sony Corp 記録装置、再生装置、記録再生装置、記録方法、再生方法および記録再生方法並びに記録媒体
GB0702603D0 (en) 2006-05-05 2007-03-21 Omnifone Ltd Pc client
JP5259075B2 (ja) * 2006-11-28 2013-08-07 ソニー株式会社 マッシュアップ装置およびコンテンツの作成方法
US20080193100A1 (en) * 2007-02-12 2008-08-14 Geoffrey King Baum Methods and apparatus for processing edits to online video
JP4367662B2 (ja) * 2007-03-23 2009-11-18 ソニー株式会社 情報処理システム、端末装置、情報処理方法、プログラム
JP4933932B2 (ja) * 2007-03-23 2012-05-16 ソニー株式会社 情報処理システム、情報処理装置、情報処理方法、プログラム
US8233772B1 (en) * 2007-04-16 2012-07-31 Adobe Systems Incorporated Generating transitions for remapping video playback time
US8170396B2 (en) * 2007-04-16 2012-05-01 Adobe Systems Incorporated Changing video playback rate
US8295687B1 (en) 2007-04-16 2012-10-23 Adobe Systems Incorporated Indicating different video playback rates
EP2173444A2 (en) 2007-06-14 2010-04-14 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8678896B2 (en) 2007-06-14 2014-03-25 Harmonix Music Systems, Inc. Systems and methods for asynchronous band interaction in a rhythm action game
US10269388B2 (en) 2007-08-21 2019-04-23 Adobe Inc. Clip-specific asset configuration
US8381086B2 (en) * 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
JP4404130B2 (ja) 2007-10-22 2010-01-27 ソニー株式会社 情報処理端末装置、情報処理装置、情報処理方法、プログラム
JP4424410B2 (ja) 2007-11-07 2010-03-03 ソニー株式会社 情報処理システム、情報処理方法
US8340492B2 (en) * 2007-12-17 2012-12-25 General Instrument Corporation Method and system for sharing annotations in a communication network
EP2099198A1 (en) * 2008-03-05 2009-09-09 Sony Corporation Method and device for personalizing a multimedia application
US20100040349A1 (en) * 2008-05-01 2010-02-18 Elliott Landy System and method for real-time synchronization of a video resource and different audio resources
JP2009294777A (ja) * 2008-06-03 2009-12-17 Sony Corp コンテンツ再生装置、コンテンツ再生方法、プログラム、コンテンツ再生システム
JP4596043B2 (ja) * 2008-06-03 2010-12-08 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP4596044B2 (ja) * 2008-06-03 2010-12-08 ソニー株式会社 情報処理システム、情報処理方法
JP4600521B2 (ja) * 2008-06-03 2010-12-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム
US20090307227A1 (en) * 2008-06-06 2009-12-10 Disney Enterprises, Inc. Methods and apparatuses for combining and distributing user enhanced video/audio content
US8663013B2 (en) 2008-07-08 2014-03-04 Harmonix Music Systems, Inc. Systems and methods for simulating a rock band experience
US8200540B2 (en) * 2008-08-26 2012-06-12 International Business Machines Corporation Interactive product maps
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
US8554056B2 (en) 2008-09-30 2013-10-08 Cyberlink Corp. Systems and methods for integrating interactive features into multiple media content sources
BRPI0920461A2 (pt) * 2008-10-08 2015-12-22 Jérémie Salvatore De Villiers sistema e método para a personalização de mídia de áudio e vídeo
WO2010068175A2 (en) * 2008-12-10 2010-06-17 Muvee Technologies Pte Ltd Creating a new video production by intercutting between multiple video clips
US9865302B1 (en) * 2008-12-15 2018-01-09 Tata Communications (America) Inc. Virtual video editing
CN101453474B (zh) * 2008-12-30 2011-12-07 中兴通讯股份有限公司 一种终端、资讯插播***及方法
US8639086B2 (en) 2009-01-06 2014-01-28 Adobe Systems Incorporated Rendering of video based on overlaying of bitmapped images
US8860865B2 (en) * 2009-03-02 2014-10-14 Burning Moon, Llc Assisted video creation utilizing a camera
US8341241B2 (en) * 2009-04-14 2012-12-25 At&T Intellectual Property I, L.P. Method and apparatus for presenting media content
US8465366B2 (en) 2009-05-29 2013-06-18 Harmonix Music Systems, Inc. Biasing a musical performance input to a part
US8449360B2 (en) 2009-05-29 2013-05-28 Harmonix Music Systems, Inc. Displaying song lyrics and vocal cues
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) * 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US20110145240A1 (en) * 2009-12-15 2011-06-16 International Business Machines Corporation Organizing Annotations
US8636572B2 (en) 2010-03-16 2014-01-28 Harmonix Music Systems, Inc. Simulating musical instruments
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US20110306397A1 (en) 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Audio and animation blending
US8562403B2 (en) 2010-06-11 2013-10-22 Harmonix Music Systems, Inc. Prompting a player of a dance game
US9024166B2 (en) 2010-09-09 2015-05-05 Harmonix Music Systems, Inc. Preventing subtractive track separation
WO2013187796A1 (ru) * 2011-12-15 2013-12-19 Didenko Alexandr Sergeevich Способ автоматического монтажа цифровых видеофайлов
CN102780850A (zh) * 2012-05-31 2012-11-14 新奥特（北京）视频技术有限公司 一种实现立方体转场特效的方法
US8745259B2 (en) 2012-08-02 2014-06-03 Ujam Inc. Interactive media streaming
WO2014100893A1 (en) * 2012-12-28 2014-07-03 Jérémie Salvatore De Villiers System and method for the automated customization of audio and video media
US10585546B2 (en) 2013-03-19 2020-03-10 Arris Enterprises Llc Interactive method and apparatus for mixed media narrative presentation
US10775877B2 (en) 2013-03-19 2020-09-15 Arris Enterprises Llc System to generate a mixed media experience
US9495608B2 (en) * 2013-07-02 2016-11-15 Sony Corporation Smart feeling sensing tag for pictures
US10592926B2 (en) * 2014-12-18 2020-03-17 Nbcuniversal Media, Llc System and method for multimedia content composition
US20160295264A1 (en) * 2015-03-02 2016-10-06 Steven Yanovsky System and Method for Generating and Sharing Compilations of Video Streams
CN105069827B (zh) * 2015-08-19 2018-08-10 北京中科大洋科技发展股份有限公司 一种采用三维模型处理视频转场的方法
US10019415B1 (en) * 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US10455257B1 (en) 2015-09-24 2019-10-22 Tribune Broadcasting Company, Llc System and corresponding method for facilitating application of a digital video-effect to a temporal portion of a video segment
US9883212B2 (en) * 2015-09-24 2018-01-30 Tribune Broadcasting Company, Llc Video-broadcast system with DVE-related alert feature
US9715870B2 (en) 2015-10-12 2017-07-25 International Business Machines Corporation Cognitive music engine using unsupervised learning
US10381041B2 (en) 2016-02-16 2019-08-13 Shimmeo, Inc. System and method for automated video editing
CN105791938B (zh) 2016-03-14 2019-06-21 腾讯科技（深圳）有限公司 多媒体文件的拼接方法和装置
CN107071502B (zh) * 2017-01-24 2020-04-07 百度在线网络技术（北京）有限公司 视频播放方法和装置
US10127943B1 (en) * 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US11097078B2 (en) 2018-09-26 2021-08-24 Cary Kochman Method and system for facilitating the transition between a conscious and unconscious state
EP3874384A4 (en) * 2018-10-29 2022-08-10 Artrendex, Inc. SYSTEM AND METHOD GENERATING A SYNCHRONIZED REACTIVE VIDEO STREAM FROM AN AUDITORY INPUT
US10915566B2 (en) 2019-03-01 2021-02-09 Soundtrack Game LLC System and method for automatic synchronization of video with music, and gaming applications related thereto
US11183219B2 (en) * 2019-05-01 2021-11-23 Sony Interactive Entertainment Inc. Movies with user defined alternate endings
US11720933B2 (en) * 2019-08-30 2023-08-08 Soclip! Automatic adaptive video editing
CN112822563A (zh) * 2019-11-15 2021-05-18 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读介质
CN111163274B (zh) * 2020-01-21 2022-04-22 海信视像科技股份有限公司 一种视频录制方法及显示设备
CN113934886B (zh) 2020-06-29 2023-08-22 抖音视界有限公司 转场类型确定方法及装置、电子设备和存储介质
US11183160B1 (en) * 2021-02-16 2021-11-23 Wonder Inventions, Llc Musical composition file generation and management system
US11581019B2 (en) 2021-03-12 2023-02-14 Snap Inc. Automated video editing
US11227637B1 (en) 2021-03-31 2022-01-18 Snap Inc. Synchronizing multiple images or videos to an audio track

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990046291A (ko) 1999-02-03 1999-07-05 박의수 뮤직비디오제작시스템
KR20030039210A (ko) 2001-11-12 2003-05-17 이스타뱅크(주) 사용자 이미지 합성 기능을 갖는 뮤직 비디오 시스템
KR20030070856A (ko) 2002-02-26 2003-09-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 합성 및 편집 방법
KR20060008897A (ko) 2003-04-14 2006-01-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트 분석을 사용하여 뮤직 비디오를 요약하기 위한 방법및 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5969716A (en) * 1996-08-06 1999-10-19 Interval Research Corporation Time-based media processing system
US6072537A (en) 1997-01-06 2000-06-06 U-R Star Ltd. Systems for producing personalized video clips
US6067126A (en) * 1998-01-05 2000-05-23 Intel Corporation Method and apparatus for editing a video recording with audio selections
AU2217700A (en) 1998-12-30 2000-07-31 Earthnoise.Com Inc. Creating and editing digital video movies
WO2001018655A1 (en) 1999-09-03 2001-03-15 Interactive Music (Usa) Inc. Method and system for music video generation
US6392133B1 (en) * 2000-10-17 2002-05-21 Dbtech Sarl Automatic soundtrack generator
US7188088B2 (en) * 1999-12-07 2007-03-06 Matsushita Electric Industrial Co., Ltd. Video editing apparatus, video editing method, and recording medium
EP1354318A1 (en) 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
US6636786B2 (en) * 2001-10-18 2003-10-21 The Boeing Company Aircraft energy systems management method
US7027124B2 (en) * 2002-02-28 2006-04-11 Fuji Xerox Co., Ltd. Method for automatically producing music videos
US6998527B2 (en) * 2002-06-20 2006-02-14 Koninklijke Philips Electronics N.V. System and method for indexing and summarizing music videos
US7336890B2 (en) * 2003-02-19 2008-02-26 Microsoft Corporation Automatic detection and segmentation of music videos in an audio/video stream
WO2004081940A1 (en) * 2003-03-11 2004-09-23 Koninklijke Philips Electronics N.V. A method and apparatus for generating an output video sequence
US7352952B2 (en) * 2003-10-16 2008-04-01 Magix Ag System and method for improved video editing
US8290334B2 (en) * 2004-01-09 2012-10-16 Cyberlink Corp. Apparatus and method for automated video editing
WO2006065223A1 (en) * 2004-12-13 2006-06-22 Muvee Technologies Pte Ltd A method of automatically editing media recordings
US20060215829A1 (en) * 2005-03-23 2006-09-28 Schwartz Paul M Method and system for selectable call termination attempt notification and blocking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990046291A (ko) 1999-02-03 1999-07-05 박의수 뮤직비디오제작시스템
KR20030039210A (ko) 2001-11-12 2003-05-17 이스타뱅크(주) 사용자 이미지 합성 기능을 갖는 뮤직 비디오 시스템
KR20030070856A (ko) 2002-02-26 2003-09-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 합성 및 편집 방법
KR20060008897A (ko) 2003-04-14 2006-01-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 콘텐트 분석을 사용하여 뮤직 비디오를 요약하기 위한 방법및 장치

Also Published As

Publication number Publication date
US7716572B2 (en) 2010-05-11
EP1879195A1 (en) 2008-01-16
US20080016114A1 (en) 2008-01-17
WO2008008043A1 (en) 2008-01-17
JP4461149B2 (ja) 2010-05-12
KR20080007073A (ko) 2008-01-17
JP2008022519A (ja) 2008-01-31

Similar Documents

Publication Publication Date Title
KR100865269B1 (ko) 사용자 공급의 비주얼 데이터를 선재 뮤직 비디오에삽입함으로써 새로운 뮤직 비디오의 생성
US8006186B2 (en) System and method for media production
US11854519B2 (en) Music context system audio track structure and method of real-time synchronization of musical content
US6954894B1 (en) Method and apparatus for multimedia editing
US7754959B2 (en) System and method of automatically creating an emotional controlled soundtrack
US20100094441A1 (en) Image selection apparatus, image selection method and program
US20130330062A1 (en) Automatic creation of movie with images synchronized to music
JP4373467B2 (ja) 編集方法
US20090273712A1 (en) System and method for real-time synchronization of a video resource and different audio resources
KR20110094010A (ko) 여러 개 비디오 클립을 인터커팅하여 새로운 비디오 제작 생성기
JP7088878B2 (ja) 相互作用視聴覚映画を再生する装置、方法およびコンピュータ読み取り可能な記録媒体
KR20080047847A (ko) 동적 영상물 재생 장치 및 방법
US20100054692A1 (en) Electronic apparatus, method of changing a moving image data section, and program
JP2009284513A (ja) 記録された媒体の編集
US8744242B2 (en) Time stamp creation and evaluation in media effect template
CN102047680B (zh) 用于将视听内容的认知复杂度调整到观看者注意力水平的设备和方法
WO2004081940A1 (en) A method and apparatus for generating an output video sequence
Hua et al. Interactive video authoring and sharing based on two-layer templates
GB2440181A (en) Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
Costello Non-Linear Editing
Campanella et al. Edit while watching: home video editing made easy
JP5941867B2 (ja) 画像再生システム
AU744386B2 (en) Method and apparatus for multimedia editing
JP2011181103A (ja) 表示制御装置、表示制御方法およびプログラム
Hua et al. Automatic home video editing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121009

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141006

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150918

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee