KR100934460B1 - 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치 - Google Patents

제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR100934460B1
KR100934460B1 KR1020057014822A KR20057014822A KR100934460B1 KR 100934460 B1 KR100934460 B1 KR 100934460B1 KR 1020057014822 A KR1020057014822 A KR 1020057014822A KR 20057014822 A KR20057014822 A KR 20057014822A KR 100934460 B1 KR100934460 B1 KR 100934460B1
Authority
KR
South Korea
Prior art keywords
media service
audio
playback
media
matching
Prior art date
Application number
KR1020057014822A
Other languages
English (en)
Other versions
KR20050105210A (ko
Inventor
칼 춘-후이 후
제임스 알랜 스트로쓰만
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20050105210A publication Critical patent/KR20050105210A/ko
Application granted granted Critical
Publication of KR100934460B1 publication Critical patent/KR100934460B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

제 1 미디어 서비스(400)와 제 2 미디어 서비스(450) 사이의 재생을 자동으로 동기화하기 위한 방법이 제공되며, 이들 두 서비스는 동일한 미디어 콘텐츠 소스에 대응한다. 제 1 미디어 서비스(400)와 제 2 미디어 서비스(450)에서의 공통 오디오 이벤트(499)가 매칭된다. 제 1 미디어 서비스(400)와 제 2 미디어 서비스(450) 중 적어도 하나의 재생 타이밍은, 제 1 미디어 서비스(400)와 제 2 미디어 서비스(450) 사이의 재생을 자동으로 동기화하기 위해 상기 매칭 단계의 결과를 기반으로 해서 조정된다.

Description

제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치{METHOD AND APPARATUS FOR AUTOMATICALLY SYNCHRONIZING PLAYBACK BETWEEN A FIRST MEDIA SERVICE AND A SECOND MEDIA SERVICE}
본 발명은 일반적으로 미디어 서비스(예컨대, 오디오 및/또는 비디오)를 사용자에게 표시하는 분야에 관한 것이며, 좀더 상세하게는 미디어 서비스에 삽입되어 있을 수 있는 시간 표시자(time marker)에 상관없이 오디오 및 비디오 기반 미디어 서비스의 재생을 동기화하는 분야에 관한 것이다.
동일한 미디어 콘텐츠(예컨대, 스포츠 경기)를 표시하는 서로 다른 미디어 서비스를 이용 가능하게 됨에 따라, 멀티미디어 사용자는 제 2 저작 소스로부터의 오디오 기반 미디어 서비스를 청취하면서 하나의 저작 소스로부터의 비디오 기반 미디어 서비스를 시청하기 원할 수 있다. 비디오 기반 미디어 서비스는 전국에 텔레비전 방송중인 스포츠 경기를 나타내고, 오디오 기반 미디어 서비스는 그러한 스포츠 경기의 지방 라디오 방송을 나타낸다. 각 미디어 서비스의 각 방송 스케줄(timelines)에 차이(예컨대, 미디어 서비스의 생성이나 방송에서 초래된 서로 다른 지연으로 인한)가 있기 때문에 두 미디어 서비스의 재생 사이에 감지할 만한 지연이 있을 수 있다.
"립-싱크(Lip-synching)"는 유사한 동기화 문제로부터 초래되는 현상이지만, 동일한 저작 및 콘텐츠 소스로부터의 미디어 서비스 재생을 다룬다. 전통적인 해법은 아날로그나 디지털일 수 있는 미디어 콘텐츠를 나타내는 오디오 및 비디오 미디어 서비스 내에 정보를 삽입하는 것과, 표시를 위해 미디어 서비스를 정렬하기 위해 시간 표시자를 제공하는 것을 수반한다. 그러면, 전문 수신 장비가 공급된 시간 표시자를 기반으로 해서 오디오 및 비디오 미디어 서비스를 동기화하고, 립-싱크 현상을 최소화한다. 그러나, 많은 미디어 서비스는 립-싱크 현상을 감소하는데 이용될 수 있는 시간 표시자를 갖지 않는다.
그에 따라, 공급된 시간 표시자를 처리하기 위해 시간 표시자 및 전문 장비에 의존하지 않도록 동일한 또는 서로 다른 저작 소스로부터의 미디어 서비스(예컨대, 방송 및/또는 스트리밍)를 동기화하기 위한 방법 및 장치를 갖는 것이 유리할 수 있다.
본 발명의 양상에 따라, 동일한 미디어 콘텐츠에 대응하지만 서로 다른 저작 소스로부터 유래되는 비디오 미디어 서비스와 오디오 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법이 제공된다. 비디오 미디어 서비스 및 오디오 미디어 서비스에 대응하는 오디오의 파형에서의 공통 특징은 매칭된다. 비디오 미디어 서비스와 오디오 미디어 서비스 사이의 재생을 자동으로 동기화하기 위해, 매칭 단계의 결과를 기초로 해서, 비디오 미디어 서비스와 오디오 미디어 서비스 중 적어도 하나의 재생 타이밍이 조정된다.
본 발명의 또 다른 양상에 따라, 동일한 미디어 콘텐츠에 대응하지만 서로 다른 저작 소스로부터 유래되는 비디오 미디어 서비스와 오디오 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 장치가 제공된다. 사운드-매칭 디바이스는 비디오 미디어 서비스와 오디오 미디어 서비스 각각에 대응하는 오디오 파형에서의 공통 오디오 특징을 매칭시킨다. 비디오 미디어 서비스와 오디오 미디어 서비스 사이의 재생을 자동으로 동기화하기 위해, 가변 지연기(variable delayer)는, 사운드-매칭 디바이스의 출력을 기반으로 해서, 비디오 미디어 서비스와 오디오 미디어 서비스 중 적어도 하나의 재생 타이밍을 조정한다.
본 발명의 이들 및 다른 양상, 특성, 및 장점은 수반하는 도면과 연계하여 읽을 수 있는 바람직한 실시예에 대한 다음의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 본 발명의 예시적인 실시예에 따라 미디어 서비스의 자동 동기화를 구현하기 위한 컴퓨터 처리 시스템(100)을 예시한 블록도.
도 2는 본 발명의 예시적인 실시예에 따라 본 발명이 적용될 수 있는 방송 기반 저작 소스(200)와 스트리밍 기반 콘텐츠 저작 소스(250)를 예시한 블록도.
도 3은 본 발명의 예시적인 실시예에 따라 동일한 미디어 콘텐츠의 미디어 서비스를 동기화하기 위한 동기화 장치(300)를 예시한 블록도.
도 4는 본 발명의 예시적인 실시예에 따라 동일한 미디어 콘텐츠에 모두 대응하는 방송 오디오 스트림(400)과 스트리밍 오디오 스트림(450)의 스펙트럼 에너 지를 예시하는 도면.
도 5는 본 발명의 예시적인 실시예에 따라 동기화 이후 도 4의 방송 오디오 스트림(400) 및 스트리밍 오디오 스트림(450)의 스펙트럼 에너지를 예시한 도면.
도 6은 본 발명의 예시적인 실시예에 따라 동일한 미디어 콘텐츠에 대응하지만 서로 다른 저작 소스로부터 유래되는 비디오 미디어 서비스와 오디오 미디어 서비스 사이의 재생을 동기화하기 위한 방법을 예시한 흐름도.
본 발명은 삽입된 시간 표시자에 상관없이 서로 다른 저작 소스(예컨대, 방송된 미디어, 스트리밍된 미디어 등)로부터의 미디어 서비스를 동기화하기 위한 방법 및 장치에 관한 것이다. 본 발명은 동일한 저작 소스로부터의 두 미디어 서비스의 경우에 단지 방송 콘텐츠만 또는 단지 스트리밍 콘텐츠만을 동기화하기 위해 쉽게 또한 사용될 수 있다는 점을 이해해야 한다. 게다가, 본 발명은 당업자에 의해 쉽게 결정된 다른 유형의 미디어 서비스를 동기화하기 위해 사용될 수 있다. 본 발명의 바람직한 실시예에서, 본 발명은 텔레비전 방송으로부터의 비디오 미디어 서비스를 위성 오디오 방송으로부터의 오디오 미디어 서비스와 동기화하기 위해 사용될 수 있으며, 이들 두 미디어 서비스는 동일한 미디어 콘텐츠로부터 유도된다.
본 명세서에서 사용된 바와 같이, 용어 "미디어 서비스"는 오디오, 비디오, 텍스트, 방송된 프로그램, 멀티미디어 데이터 파일, 및 스트리밍 미디어를 포함한다. 오디오 기반 미디어 서비스는 대응하는 오디오 신호를 가지며, 비디오 기반 미디어 서비스는 대응하는 비디오 신호를 갖는다. 방송된 프로그램은 라디오, 텔레비 전 세트, 또는 방송된 미디어를 수신할 수 있는 다른 유형의 디바이스를 통해 렌더링될 수 있는 서비스를 포함한다. 이러한 서비스는 전형적으로 텔레비전이나 라디오 방송국으로부터 무선으로 방송되고, 케이블, 위성, 안테나, 및 라디오/텔레비전 프로그래밍을 전달할 수 있는 임의의 다른 종류의 통신 미디어로의 연결부를 거쳐서 수신된다. 프로그래밍은 또한 REALONE(등록상표)나 MICROSOFT MEDIA PLAYER(등록상표)와 같은 미디어 브라우저나 플레이어로 알려진 프로그램에 의해 미디어 서비스를 렌더링하는 인터넷과 같은 통신 네트워크를 거쳐서 송신될 수 있다.
멀티미디어 파일은 텍스트, 이미지, 비디오, 및 오디오 데이터의 임의의 조합을 포함한다. 단지 비디오나 오디오 데이터로 구성된 파일이 또한 멀티미디어 파일로서 한정될 수 있음을 주목해야 한다. 스트리밍 미디어는, 인터넷이나 다른 통신 네트워크 환경을 통해서 사용자의 컴퓨터에 전달되고 전체 파일의 전달이 완료되기 이전에 사용자의 컴퓨터/디바이스 상에서 재생되는 오디오, 비디오, 멀티미디어, 텍스트, 및 상호동작 데이터 파일을 포함한다. 스트리밍 미디어의 하나의 장점은, 스트리밍 미디어 파일이 전체 파일이 다운로드되기 이전에 재생되기 시작하고, 사용자는 전체 파일을 다운로딩하는 것과 전형적으로는 관련된 긴 대기시간을 절약할 수 있다. 디지털 방식으로 레코딩된 음악, 영화, 예고편, 뉴스 리포트, 라디오 방송 및 생방송은 이용 가능한 스트리밍 콘텐츠의 증가에 모두 기여하였다.
스트리밍 미디어는 예컨대, REALAUDIO(등록상표), REALVIDEO(등록상표), REALMEDIA(등록상표), APPLE QUICKTIME(등록상표), MICROSOFT WINDOWS(등록상표) MEDIA FORMAT, QUICKTIME(등록상표), MPEG-2 LAYER III AUDIO, 및 MP3(등록상표)를 포함하는 여러 포맷으로 인코딩된다. 전형적으로, 미디어 파일은 특정한 포맷과의 호환성을 지시하는 확장자{서픽스(suffixes)}가 지정되어 있다. 예컨대, 확장자, .ram, .rm, .rpm 중 하나로 끝나는 미디어 파일(예컨대, 오디오 및 비디오 파일)은 REALMEDIA(등록상표) 포맷과 호환성이 있다. 파일 확장자 및 그 호환 가능한 포맷의 몇몇 예가 다음의 표에 나열되어 있다. 미디어 유형, 확장자 및 호환 가능한 포맷의 좀더 상세한 목록은 http://www.bowers.cc/extensions2.htm에서 볼 수 있다.
용어 "저작 소스"는 미디어 서비스를 생성하였던 소스를 지칭한다. 방송국을 통해서 생성된 미디어 서비스는 방송 기반 저작 소스를 갖는다. 이것은, 미디어 서비스가 무선, 위성, 케이블 등을 통해 송신하기 위해 (텔레비전 방송국이나 라디오 방송국과 같은) 방송국에 의해 생성되었다는 점을 의미한다. 유사하게, 스트리밍된 미디어 서비스는 스트리밍 기반 저작 소스를 갖는다. 스트리밍된 미디어 서비스는 또한 무선, 위성, 케이블이나 인터넷을 통해 수신될 수 있지만, 전형적으로 스트리밍된 파일은 스트리밍 미디어 플레이어를 통해서 재생된다. 본 발명의 원리에 따라, 텔레비전 세트, 컴퓨터 등과 같은 재생 디바이스는 적절한 렌더링 소프트웨어/하드웨어를 통해 방송으로 생성된 미디어 서비스와 스트리밍된 미디어 서비스 모두를 수신할 수 있는 성능을 가질 수 있다. 미디어 서비스의 소스는 미디어 서비스의 재생을 제한하지 않는다. 선택적으로, 저작 소스는 방송국, 위치, 및 미디어 서비스를 송신하기 위해 사용된 포맷에 의해 분석된다. 예컨대, 방송 기반 저작 소스는 방송된 텔레비전 프로그래밍인 미디어 서비스에 대해 ABC, NBC, FOX, CBS 및 UPN을 포함한다.
미디어 콘텐츠는 미디어 서비스가 유도되는 콘텐츠를 지칭한다. 미디어 콘텐츠의 예는 노래, 정치적 연설, 뉴스 방송, 영화 예고편, 생방송, 라디오 방송, 파이낸셜 컨퍼런스 콜(financial conference calls), 라이브 콘서트, 스포츠 경기, 영화, 텔레비전, 케이블 프로그래밍, 웹-캠 푸티지(web-cam footage) 등을 포함한다. 전형적으로, 여러 서로 다른 미디어 서비스가 미디어 콘텐츠의 동일한 소스로부터 유도된다. 예컨대, 대학 풋볼 경기는 전국적으로 방송되는 텔레비전 프로그램을 나타내는 오디오 및 비디오 미디어 서비스를 가질 수 있다. 동일한 대학 풋볼 경기는 또한 한 대학의 공공 액세스 채널에 대응하는 오디오 및 비디오 미디어 서비스로서 송신될 수 있다. 전국 방송 및 공공 액세스 채널로부터의 미디어 서비스는, 비록 이들이 동일한 미디어 저작 소스로부터 유래한 것일지라도, 서로 다를 것이다. 미디어 콘텐츠의 다른 예는 본 발명의 원리와 부합하도록 사용될 수 있다.
본 발명이 하드웨어, 소프트웨어, 펌웨어, 특수용도 프로세서, 또는 이들의 조합의 여러 형태로 구현될 수 있다는 점을 이해해야 한다. 바람직하게, 본 발명은 하드웨어 및 소프트웨어의 조합으로서 구현된다. 게다가, 소프트웨어는 바람직하게는 프로그램 저장 디바이스 상에서 명백하게 실현된 애플리케이션 프로그램으로서 구현된다. 애플리케이션 프로그램은 임의의 적절한 아키택쳐를 포함하는 머신에 업로드되고 머신에 의해 수행될 수 있다. 바람직하게, 머신은 하나 이상의 중앙처리장치(CPU), 랜덤 액세스 메모리(RAM), 및 입력/출력(I/O) 인터페이스(들)와 같은 하드웨어를 갖는 컴퓨터 플랫폼 상에서 구현된다. 컴퓨터 플랫폼은 또한 운영체계 및 미세지령 코드(microinstruction code)를 포함한다. 본 명세서에서 기술된 여러 프로세스 및 기능은 미세지령 코드의 일부분이나 운영체계를 통해 수행되는 애플리케이션 프로그램의 일부분(또는 이들의 조합)일 수 있다. 게다가, 여러 다른 주변 디바이스는 추가적인 데이터 저장 디바이스와 인쇄 디바이스와 같은 컴퓨터 플랫폼에 연결될 수 있다.
수반하는 도면에서 도시된 구성 시스템 구성요소 및 방법 단계 중 일부는 바람직하게는 소프트웨어로 구현되기 때문에, 시스템 구성요소(또는 프로세스 단계) 사이의 실제 연결은 본 발명이 프로그램된 방식에 따라 다를 수 있다는 점을 추가로 이해해야 한다. 본 명세서의 가르침이 주어진다면, 당업자는 본 발명의 이들 및 유사한 구현이나 구성을 생각할 수 있을 것이다.
도 1은 본 발명의 예시적인 실시예에 따라 미디어 서비스의 자동 동기화를 구현하기 위한 컴퓨터 처리 시스템(100)을 예시한 블록도이다. 컴퓨터 처리 시스템(100)이나 이러한 시스템의 응용 요소는 이후의 방송 저작 소스(200) 및 스트리밍 저작 소스(250)에 이미 존재하거나, 본 발명의 원리에 따라 추가될 수 있다. 컴퓨터 처리 시스템(100)은 또한 본 명세서에서 "사운드-매칭 디바이스"로서 상호교환 가능하게 지칭될 수 있음을 이해해야 한다.
컴퓨터 처리 시스템(100)은 시스템 버스(104)를 통해 다른 구성요소에 동작 가능하게 연결된 적어도 하나의 프로세서(CPU)(102)를 포함한다. 판독 전용 메모리(ROM)(106), 랜덤 액세스 메모리(RAM)(108), 판독 전용 메모리(ROM)(199), 디스플레이 어댑터(110), I/O 어댑터(112), 및 사용자 인터페이스 어댑터(114)가 시스템 버스(104)에 동작 가능하게 연결된다.
디스플레이 디바이스(116)는 디스플레이 어댑터(110)를 통해 시스템 버스(104)에 동작 가능하게 연결된다. 저장 디바이스(예컨대, 자기, 광, 및/또는 다른 유형의 저장 디바이스)(118)는 I/O 어댑터(112)에 의해 시스템 버스(104)에 동작 가능하게 연결된다.
입력 디바이스(120)는 사용자 인터페이스 어댑터(114)에 의해 시스템 버스(104)에 동작 가능하게 연결된다. 입력 디바이스(120)는 정보를 시스템(100) 내외로 입력 및 출력하는데 사용되며, 키보드, 키패드, 마우스, 스위치, 버튼 등을 포함하고 이들로 제한되지 않는다.
디코더(130)는 시스템 버스(104)에 동작 가능하게 연결된다. 디코더(130)는 예컨대 방송 신호 및 스트리밍 신호와 같은 처리용(예컨대, 동기화) 입력 신호를 수신한다. 디코더(130)는 아날로그-디지털 변환 및 디지털-아날로그 변환을 포함하고 이들로 제한되지 않는 기능을 실행할 수 있다. 당업자에 의해 쉽게 결정될 바와 같은 다른 기능은 또한 디코더(130)에 의해 실행될 수 있다. 디지털 사운드 프로세서(DSP)는 또한 당업자에게 알려져 있는 바와 같은 컴퓨터 처리 시스템(100) 대신에 사용될 수 있음을 이해해야 한다.
도 2는 본 발명의 예시적인 실시예에 따라 본 발명이 적용될 수 있는 방송 기반 저작 소스(200)와 스트리밍 기반 저작 소스(250)를 예시한 블록도이다. 방송 저작 소스(200)는 방송국(205)과 텔레비전(210)을 포함한다. 스트리밍 저작 소스(250)는 오디오 시스템(255)과 모뎀(260)을 포함하고, 모뎀은 인터넷 서비스 제공자(ISP)(265)에 연결되고, 이러한 ISP는 다시 인터넷(270)에 연결된다. 텔레비전 (210) 및 오디오 시스템(255)은 또한 "출력 디바이스"로서 본 명세서에서 지칭된다.
각 시스템은 각 시스템과 관련된 사용자 제어를 갖는다. 전형적으로, 온스크린 인터페이스를 갖는 원격 제어가 비디오 출력 디바이스{예컨대, 텔레비전(210)}와 관련되고, 디스플레이 및 원격 제어를 갖는 키보드는 오디오 출력 디바이스{예컨대, 오디오 시스템(255)}와 관련된다.
본 발명은 선행하는 방송 및 스트리밍 저작 소스의 정확한 구성으로 제한되지 않으며, 그에 따라 이러한 시스템( 및 다른 유형의 시스템)의 다른 구성이 또한 본 발명에 따라 사용될 수 있다는 점을 이해해야 한다. 당업자에게 분명할 바와 같이, 본 발명과 함께 사용될 방송 및/또는 스트리밍 저작 소스는 수신기, 디코더, 및 출력 디바이스를 포함한다. 수신기는 콘텐츠를 수신한다. 디코더는 콘텐츠를 디코딩한다. 출력 디바이스는 디코딩된 콘텐츠를 사용자에게 제공한다. 둘 이상의 서로 다른 유형의 콘텐츠{예컨대, 방송 및 스트리밍(예컨대 IP) 콘텐츠}를 수신, 디코딩 및 출력할 수 있는 단일 시스템을 갖는 것이 또한 가능하다. 결합된 시스템의 예는 인터넷 텔레비전일 수 있다.
본 발명의 예시적인 실시예에 따라, 사용자는 텔레비전에서 방송되는 스포츠 경기를 시청하고 있고, 라이브 인터넷 스트리밍 방송으로부터 이러한 스포츠 경기에 대한 오디오 해설을 청취하고 있다. 방송된 스포츠 경기는 미디어 콘텐츠를 나타낸다. 텔레비전 상에서 방송중인 스포츠 경기는 비디오 미디어 서비스를 나타내며, 이때 방송 저작 소스는 텔레비전 방송의 오디오를 나타내는 대응하는 오디오 파형을 갖는다. 인터넷으로부터의 오디오 해설은 스트리밍된 저작 소스로부터의 오디오 기반 미디어 서비스이다.
두 미디어 서비스의 송신 및 처리에서의 지연으로 인해, 두 시나리오, 즉 두 미디어 서비스의 동기화는 원활한 시청/청취 경험을 제공하도록 조정될 필요가 있다. 사용자는 허용 가능한 매칭을 제공하기 위해 두 프로그램의 상대적인 타이밍을 조정할 수 있을 것이다. 이러한 조정은 사용자에 의해 수동으로 실행되거나, 자동으로 실행되거나 또는 이들을 조합하여 실행될 수 있다. 예컨대, 마지막 경우에, 본 발명은 사용자가 자동 동기화의 결과를 미세튜닝하게 하면서 미디어 서비스의 자동 동기화를 실행하는데 사용될 수 있다. 시스템/디바이스는, 미디어 서비스가 변경될 때까지 결정된 지연을 유지할 것이다.
도 3은 본 발명의 예시적인 실시예에 따라, 미디어 서비스를 동기화하기 위한 동기화 장치(300)를 예시한 블록도이다. 동기화 장치(300)는 사용자 및/또는 자동 제어에 응답하는 조정 가능한 지연 라인(305)을 포함한다. 자동 제어는 도 1에 도시된 컴퓨터 처리 시스템(100)에 의해 제공된다. 자동 제어가 사용되지 않은 본 발명의 실시예에서, 컴퓨터 처리 시스템(100)은 동기화 장치(300)로부터 삭제될 수 있다. 본 명세서에서 제공된 본 발명의 가르침을 전제로, 당업자는 동기화 장치(300)의 이들 및 여러 다른 구성을 생각할 수 있을 것이다.
조정 가능한 지연 라인(305)은 방송 저작 소스(200)와 스트리밍 저작 소스(250) 중 어느 하나나 둘 모두에 삽입된다. 지연 라인(305)은 0에서 수 초(또는 그 이상)에 이르는 지연을 삽입할 수 있어야 한다. 버퍼가 이미 사용되는 저작 소스에 서, 콘텐츠의 적절한 시간 기간을 연장하기 위해 버퍼의 크기를 증가시키고, 지연을 조정하기 위한 메커니즘을 추가할 수 있다.
사용자 및/또는 자동 제어는 상대적인 지연을 증가 또는 감소시킬 수 있다. 본 발명은 각 지연 라인의 개별 제어를 사용하거나, 하나의 지연 라인을 동시에 증가시키고 다른 지연을 감소시키는 공통 제어를 사용한다.
본 발명의 예시적인 실시예에 따라, 이제 수동 사용자 제어에 대해 추가로 설명할 것이다. 본 발명의 한 예시적인 실시예에서, 사용자에게는 각 출력 디바이스{예컨대, 텔레비전(210)과 오디오 시스템(255)}의 출력의 지연을 조정하기 위해 이 디바이스 상에 제어가 제공된다. 제어를 수동으로 튜닝함으로써, 사용자는 미디어 서비스 사이의 허용 가능한 동기화를 달성할 수 있다. 비록 지연은 이 예에서 두 출력 디바이스 상에서 존재하는 것으로 기술되어 있더라도, 본 발명의 다른 실시예에서, 지연 제어는 임의의 다른 디바이스 상에 존재할 수 있다. 본 발명의 또 다른 예시적인 실시예에서, 방송 소스로부터 미디어 서비스를 수신할 수 있고, 스트리밍 소스(예컨대, 인터넷 텔레비전)로부터 미디어 서비스를 수신할 수 있는 디바이스의 경우에, 사용자 제어는 하나의 미디어 서비스를 진행시키고 동시에 이 미디어 서비스를 지연시킬 것이다. 사용자 제어는 (미디어 서비스 A 최대 진행, 미디어 서비스 B 최대 지연)에서 (미디어 서비스 A 최대 지연, 미디어 서비스 B 최대 진행)에 이르는 제어 범위를 가질 수 있다. 본 발명은 수동 사용자 제어에 관한 이전의 구현으로 제한되지 않으며, 그에 따라, 본 발명의 사상과 범주를 유지하면서도 다른 구현이 본 발명에 따라 쉽게 사용될 수 있다는 점을 이해해야 한다.
본 발명의 예시적인 실시예에 따라 자동 사용자 제어를 이제 추가로 설명할 것이다. 본 발명의 하나의 예시적인 실시예, 즉 두 유형의 콘텐츠(방송 및 스트리밍)를 모두 수신하는 시스템에서, 사용자는 동기화 메커니즘을 활성화한다. 이 경우에 사용자 제어는 "동기화/디폴트로의 복귀" 버튼일 수 있다. "동기화/디폴트로의 복귀" 버튼이 활성화될 때, 자동 동기화 메커니즘은 콘텐츠를 동기화한다. 물론, 당업자에 의해 쉽게 생각될 수 있는 바와 같이 다른 구성이 가능하다.
후술될 바와 같이, 자동 동기화는 잡음 포락선(envelope) 매칭, 오디오 핑거프린트(fingerprint) 매칭, 및 삽입된 메타 데이터 태그를 기초로 할 수 있으며, 이들로 제한되지는 않는다.
잡음 포락선 매칭 접근법에서, 오디오 기반 미디어 서비스의 오디오 파형의 처리된 전체 잡음 포락선은 매칭된다. 동작 원리는 디지털 처리 기술을 통한 각 파형의 명백한 오디오 특징의 매칭 업(matching up)에 중점을 두고 있다. 예컨대, 한 이벤트의 각 오디오 스트림(이후, 용어 오디오 스트림이나 스트림은 미디어 서비스의 오디오나 미디어 서비스에 대응하는 오디오 파형을 지칭함)에서의 크라우드 잡음(crowd noise)은 동기화를 달성하는데 사용된다. 광대역 배경 오디오 특징은 두 스트림 모두에서 분석된다. 오디오 스트림 사이의 상대적인 지연을 결정하기 위해 상관 프로세스가 시간 영역에서 실행된다. 지연이 결정된 이후, 오디오/비디오의 표시에 대해 조정(들)이 이뤄진다.
주파수, 이득, 파형 진폭, 크기, 등과 같은 오디오 파형의 물리적인 속성을 한정하는데 사용되는 오디오 파라미터로서 오디오 특징이 한정될 것이다. 당업자는 오디오 미디어 서비스의 매칭을 위해 분석될 오디오 파형의 오디오 특징을 한정하기 위한 하나 이상의 기준을 선택할 수 있다. 파형은 디지털 신호 처리 기술을 사용하여 오디오 특징을 추가로 한정하기 위해 필터링될 수 있다.
대학 농구 경기에 관계된 다음의 예를 생각해보자. 도 4는 본 발명의 예시적인 실시예에 따라 방송된 텔레비전 프로그램(400) 및 스트리밍된 오디오 미디어 서비스(450)로부터의 오디오 스트림의 스펙트럼 에너지를 예시한 도면이며, 이들 둘은 동일한 프로그램에 대응한다. 도 5는 본 발명의 예시적인 실시예에 따라 동기화 이후의 도 4의 오디오 스트림(400) 및 스트리밍된 오디오 미디어 서비스(450)의 스펙트럼 에너지를 예시한 도면이다. 스펙트럼 에너지는 그래프로 표시되고, 각 그래프에서 시간은 수평축에 의해 표시되고, 진폭은 수직축에 의해 표시된다.
시청자는 이 경기의 라디오 방송{오디오 미디어 서비스(450)로서}을 청취하는 것을 보다 더 좋아할 수 있다. 메인 음성의 오디오 스펙트럼 콘텐츠는 서로 다를 것이다. 각 아나운서는 세미-랜덤한 시간에 서로 다른 경기에 대해 해설할 것이다. 방송 사이의 공통 정보는 배경 잡음일 것이며, 이러한 잡음은 (크라우드 잡음을 나타내는) 오디오 파형의 진폭의 급격한 변동으로 인해 아나운서와 구별된다. 두 아나운서가 동일한 경기(미디어 콘텐츠)에 있다고 가정함으로써, 경기가 크라우드 응답을 일으킴에 따라, 배경의 크라우드 잡음은 시간에 걸쳐서 상대적인 전력에서 변할 것이다. 시간 윈도우는 각 오디오 파형에서 크라우드 응답을 비교하기 위해 선택된다. 시간 윈도우의 선택은 오디오 스트림 및 오디오 미디어 서비스로부터 오디오 파형을 샘플링하는데 사용되는 최악의 경우에 예상된 지연 차이를 기반으로 할 수 있다. 시간에 대한 스펙트럼 전력 밀도 곡선은 오디오 파형의 샘플링으로부터 생성된다. 샘플링 시스템의 처리 부하에 따라서, 스펙트럼 전력 밀도 곡선의 생성은 바람직하게는 가능한 자주 실행된다. 그러나, 이러한 생성은 또한 가능한 최대치보다 더 작은 미리 한정된 또는 기타 회수로 실행될 수 있다.
두 개의 오디오 파형 사이의 스펙트럼 에너지는 진폭이 다를 수 있지만, 형태 및 상대 에너지는 서로 닮아야 한다(유사한 오디오 포락선을 가져야 함). 본 예에서, 피크 부분은 크라우드 치어(crowd cheers)(499)와 같은 핑크 잡음 이벤트이고, 방송 오디오 스트림(400)은 스트리밍된 오디오 미디어 서비스(450)보다 지체된다(lag). 해법은, 두 개의 스펙트럼 차트 사이의 상관 에러가 주어진 샘플링 윈도우에 걸쳐서 최소화될 때까지 오디오 미디어 서비스(450)를 지연하는 것이다.
메타데이터 태그를 삽입한 스트림의 경우, 이들 태그 내의 정보가 동기화를 달성하는데 사용될 수 있다. 예컨대, 만약 두 개의 미디어 서비스가 그 내부에 이벤트 코드를 삽입하고 있다면(예컨대, DVD의 경우, 챕터 브레이크가 사용될 수 있으며, 당업자에 의해 쉽게 결정될 바와 같이, 이것은 많은 이벤트 코드 중 단지 하나의 타입이다), 이러한 메타데이터는 추출될 것이며, 동기화를 달성하기 위해 지연 라인을 조정하는데 사용된다. 선택적으로, 만약 미디어 서비스가 그 내부에 시간 코드를 삽입하고 있다면, 시간 코드 정보가 (메타데이터로서) 추출될 것이며, 동기화를 달성하기 위해 지연 라인을 조정하는데 사용될 것이다.
자동 동기화의 또 다른 예로서, 오디오 파형의 알려진 사운드의 오디오 핑거프린트{예컨대, 경기장의 "차지(charge)" 사운드, 득점(scoring) 사운드, 응원가 등}는 미디어 서비스, 스트림 등을 정렬하는데 사용될 수 있다. 인입 오디오 파형은 "핑거프린트" 데이터베이스에 대해 연속해서 매칭된다. 이러한 핑거프린트 데이터베이스는 예컨대 저장 디바이스(118)에 포함될 수 있다. 핑거프린트 데이터베이스에 저장된 오디오 핑거프린트와 인입 스트림 사이의 매칭이 발견될 때, 태그가 이 태그를 식별케 하는 버퍼(또는 다른 메모리 디바이스)에 삽입된다. 그러면, 상관 기능이 동기화를 달성하기 위해 태그를 기반으로 해서 두 미디어 서비스 사이에서 수행될 것이다. 동기화는 상관 에러를 최소화하면 발생된 것으로 생각될 것이다. 게다가, 앞선 절차가 자동으로 실행되는 동안에, 사용자는 자동 동기화를 수동으로 미세튜닝하게 될 수 있다. 당업자에 의해 쉽게 결정된 바와 같이, 오디오 핑거프린트가 핑거프린트 데이터베이스에 쉽게 추가되고 및/또는 이러한 데이터베이스로부터 삭제될 수 있음을 이해해야 한다. 대안적으로, 각 미디어 서비스에 대응하는 오디오에서의 핑거프린트 사운드 사이의 시간의 길이가 결정되며, 이때, 미디어 서비스 중 하나의 재생은 계산된 시간 길이만큼 지연된다.
도 6은 본 발명의 예시적인 실시예에 따라 동일한 프로그램에 대응하지만 서로 다른 저작 소스로부터 유래되는 제 1 미디어 서비스 및 제 2 미디어 서비스 사이의 재생을 동기화하기 위한 방법을 예시한 흐름도이다. 제 1 미디어 서비스와 제 2 미디어 서비스는 방송 콘텐츠, 스트리밍 콘텐츠, 이들의 조합, 및 본 발명에 따른 동기화가 적용될 수 있는 임의의 다른 유형의 콘텐츠를 포함할 수 있다.
제 1 미디어 서비스와 제 2 미디어 서비스에서의 공통 오디오 이벤트(특징)가 매칭된다{단계(610)}.
제 1 미디어 서비스 및/또는 제 2 미디어 서비스의 재생 타이밍이, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위해 매칭 단계의 결과를 기반으로 해서 조정된다{단계(620)}.
게다가, 제 1 미디어 서비스 및/또는 제 2 미디어 서비스의 재생 타이밍은 사용자 입력을 기반으로 해서 추가로 조정될 수 있다{단계(630)}. 사용자 입력은 제 1 미디어 서비스 및/또는 제 2 미디어 서비스의 재생 타이밍에서 삽입된 지연을 증가시키는 것 및/또는 감소시키는 것에 대응하다.
단계(610)는 이후에 단계(610a, 610b, 및/또는 610c) 중 임의의 하나를 포함할 수 있음을 이해해야 한다.
단계(610a)에서, 잡음 포락선 매칭을 기반으로 해서 매칭이 실행된다. 단계(610a)는 단계(610a1 내지 610a4)를 포함할 수 있다. 단계(610a1)에서, 시간 윈도우가 제 1 미디어 서비스와 제 2 미디어 서비스를 샘플링하기 위해 선택된다. 이러한 선택은 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 최악의 경우에 예상된 지연 차이를 기반으로 할 수 있다. 단계(610a2)에서, 스펙트럼 전력 밀도 곡선은 제 1 미디어 서비스와 제 2 미디어 서비스에 대해 생성된다. 단계(610a3)에서, 스펙트럼 전력 밀도 곡선에서 발생하고 있는 배경 오디오 이벤트는 제 1 미디어 서비스와 제 2 미디어 서비스에 대해 상관된다. 단계(610a4)에서, 제 1 미디어 서비스와 제 2 미디어 서비스에 대응하는 스펙트럼 전력 밀도 곡선 사이의 상관 에러가 최소화된다.
단계(610b)에서, 메타데이터 태그에 삽입된 이벤트 코드를 기반으로 해서 매 칭이 실행되며, 이러한 메타데이터 태그는 다시 제 1 미디어 서비스와 제 2 미디어 서비스에 삽입된다. 단계(610b)는 단계(610b1 내지 610b2)를 포함할 수 있다. 단계(610b1)에서, 메타 태그는 제 1 미디어 서비스와 제 2 미디어 서비스에서 식별되고, 이벤트 코드가 메타 태그에서 식별된다. 단계(610b2)에서, 이벤트 코드는 상관된다.
단계(610c)에서, 알려진 사운드의 오디오 핑거프린트를 기반으로 해서 매칭이 실행된다. 단계(610c)는 단계(610c1 내지 610c2)를 포함할 수 있다. 단계(610c1)에서, (오디오 핑거프린트의 데이터베이스에 저장될 수 있는) 알려진 사운드의 오디오 핑거프린트는 제 1 미디어 서비스와 제 2 미디어 서비스에서의 사운드와 비교된다. 단계(610c2)에서, 오디오 핑거프린트와 매칭하고, 제 1 미디어 서비스 및 제 2 미디어 서비스에서 발생하는 사운드는 상관된다.
본 발명의 대안으로서, 미디어 서비스에 대응하는 오디오 파형은 오디오 미디어 서비스를 비디오 기반 미디어 서비스에 대응하는 오디오 파형에 대해 매칭시키는데 사용될 것이며, 이들 두 미디어 서비스는 동일한 콘텐츠 소스이다. 그러면, 비디오 기반 미디어 서비스는 앞서 기술된 프로세스를 사용하여 오디오 기반 미디어 서비스와 동기화될 것이다.
본 발명의 여러 예시적인 실시예에 따라 본 발명의 여러 구현 시나리오를 이제 설명할 것이다.
ATSC/DBS 수신기 상에서, 지연 라인은 MPEG 버퍼가 가변 크기가 되게 함으로써 구현될 수 있다. 사용자 제어는 예컨대 원격 제어 상에서 버튼 쌍이나 로커 버 튼으로서 구현될 것이다. 지연의 상대적인 설정에 대한 시각적 지시가 온스크린 그래픽이나 문숫자식 표시로서 나타날 것이다. 사용자는 버튼 중 하나를 누름으로서 지연을 증가시키고, 다른 버튼을 누름으로써 지연을 감소시킨다. 온스크린 그래픽은 삽입된 지연의 현재 양에 따라 증가하거나 감소하는 막대형 그래프일 수 있다.
인터넷 스트리밍 오디오 수신기 상에서, 지연 라인은 오디오 버퍼를 가변 크기가 되게 함으로써 구현될 수 있다. 사용자 제어는 제어 패널이나 원격 유닛 상의 추가적인 제어로서 구현될 것이다. 지연의 상대적인 설정에 대한 시각적 지시는 디스플레이 유닛 상에 그래픽이나 문숫자로서 나타날 것이다.
(브라우저를 통해 스트리밍 콘텐츠를 수신하는 성능을 갖는) ATSC/DBS/브라우저 가능한 텔레비전 상에서, 조정 가능한 지연 라인은 MPEG 버퍼를 가변 크기가 되게 하고 스트리밍 오디오 버퍼를 가변 크기가 되게 하는 것 중 어느 하나 또는 둘 모두가 되게 함으로써 구현될 수 있다. 시스템에서 단지 하나의 지연 라인만 있다면, 사용자 제어는 이 지연의 길이를 제어하지만, 두 개의 지연 라인이 있다면, 하나의 지연을 증가시키고, 다른 하나의 지연을 감소시킨다. 어느 시나리오에서도, 사용자 제어는 원격 제어 상의 두 개의 버튼이나 로커 버튼 및 두 개의 프로그램 사이의 상대적인 지연을 지시하는 온스크린 그래픽이나 문숫자값에 의해 구현될 수 있다.
비록 예시적인 실시예가 본 명세서에서 수반하는 도면을 참조하여 기술되었을 지라도, 본 발명은 바로 이러한 실시예로 제한되지 않으며, 여러 다른 변화 및 변경이 본 발명의 사상과 범주에서 벗어나지 않고도 당업자에 의해 그러한 실시예 에서 이루어질 수 있음을 이해해야 한다. 모든 이러한 변화 및 변경은 첨부된 청구항에 의해 한정된 본 발명의 범주 내에서 포함될 것이다.
상술한 바와 같이, 본 발명은, 미디어 서비스(예컨대, 오디오 및/또는 비디오)를 사용자에게 표시하는 분야, 구체적으로는 미디어 서비스에 삽입되어 있을 수 있는 시간 표시자에 상관없이 오디오 및 비디오 기반 미디어 서비스의 재생을 동기화하는 분야에 이용된다.

Claims (25)

  1. 동일한 미디어 콘텐츠에 대응하는 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법으로서,
    상기 제 1 미디어 서비스의 오디오 신호와, 상기 제 2 미디어 서비스에 대응하는 오디오 파형에서의 공통 오디오 특징을 매칭시키는 단계와;
    상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스의 재생을 자동으로 동기화하기 위해, 상기 매칭 단계의 결과를 기반으로 해서, 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나의 재생 타이밍을 조정하는 단계를,
    포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  2. 제 1항에 있어서, 상기 매칭 단계는 잡음 포락선 매칭을 사용하여 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에서의 상기 공통 오디오 특징을 매칭시키는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  3. 제 1항에 있어서, 상기 매칭 단계는 알려진 사운드의 오디오 핑거프린트(fingerprint)를 사용하여 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에서의 상기 공통 오디오 특징을 매칭시키는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  4. 제 3항에 있어서, 상기 알려진 사운드는 경기장 차지(charge) 사운드, 득점(scoring) 사운드, 및 노래 중 적어도 하나를 포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  5. 제 1항에 있어서, 상기 매칭 단계는, 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 사이의 최악의 경우에 예상된 지연 차이를 기반으로 해서, 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 제 2 미디어 서비스에 대응하는 상기 오디오 파형을 샘플링하기 위한 시간 윈도우를 선택하는 단계를 포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  6. 제 1항에 있어서, 상기 매칭 단계는, 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형 모두에 대한 스펙트럼 전력 밀도 곡선을 생성하는 단계를 포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  7. 제 1항에 있어서, 상기 공통 오디오 특징은 배경 오디오 이벤트이고, 상기 매칭 단계는 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에서 발생하는 상기 배경 오디오 이벤트를 상관시키는 단계를 포함하는, 제 1 미디어 서 비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  8. 제 1항에 있어서, 상기 매칭 단계는 상기 제 1 미디어 서비스의 상기 오디오 신호 및 상기 오디오 파형에 대응하는 스펙트럼 전력 밀도 곡선 사이의 상관 에러를 최소화하는 단계를 포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  9. 제 1항에 있어서, 상기 매칭 단계는:
    상기 제 1 미디어 서비스의 상기 오디오 신호와, 상기 제 2 미디어 서비스에 대응하는 오디오 파형을 샘플링하기 위한 시간 윈도우를 선택하는 단계와;
    상기 오디오 신호와 상기 오디오 파형에 대한 스펙트럼 전력 밀도 곡선을 생성하는 단계와;
    상기 오디오 신호와 상기 오디오 파형에 대한 상기 스펙트럼 전력 밀도 곡선에서 발생하는 배경 오디오 이벤트를 상관시키는 단계와;
    상기 오디오 신호와 상기 오디오 파형에 대응하는 상기 스펙트럼 전력 밀도 곡선 사이의 상관 에러를 최소화하는 단계를 포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  10. 제 1항에 있어서, 상기 조정 단계는 사용자 입력을 기반으로 해서 상기 재생 타이밍을 더 조정하며, 상기 사용자 입력은 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나의 재생 타이밍에 삽입된 지연을 변화시키는 것에 대응하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  11. 제 10항에 있어서, 상기 사용자 입력은 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나의 상기 재생 타이밍에서 삽입된 지연을 증가시키는 것과, 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 또 다른 하나의 상기 재생 타이밍에서 삽입된 지연을 감소시키는 것 모두에 대응하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  12. 제 1항에 있어서, 상기 매칭 단계는 메타데이터 태그에 삽입된 이벤트 코드를 사용하여 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에서의 공통 오디오 이벤트를 매칭시키며, 상기 메타데이터 태그는 다시 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나에 삽입되는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  13. 제 1항에 있어서, 상기 매칭 단계는:
    알려진 사운드의 오디오 핑거프린트를, 상기 제 1 미디어 서비스의 오디오 신호와 상기 제 2 미디어 서비스에 대응하는 상기 오디오 파형에서의 사운드에 비교하는 단계와;
    오디오 핑거프린트를 매칭시키고, 상기 오디오 신호와 상기 오디오 파형 모두에서 발생하는 사운드를 상관시키는 단계를 포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 방법.
  14. 동일한 미디어 콘텐츠에 대응하는 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 장치로서,
    상기 제 1 미디어 서비스의 오디오 신호와 상기 제 2 미디어 서비스에 대응하는 오디오 파형에서의 공통 오디오 특징을 매칭하기 위한 사운드-매칭 디바이스(100)와;
    상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위해, 상기 사운드-매칭 디바이스의 출력을 기반으로 해서, 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나의 재생 타이밍을 조정하기 위한 가변 지연기(305)를,
    포함하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  15. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 잡음 포락선(envelope) 매칭을 사용하여 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에서의 상기 공통 오디오 이벤트를 매칭하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  16. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 알려진 사운드의 오디오 핑거프린트를 사용하여 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형의 상기 공통 오디오 이벤트를 매칭시키는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  17. 제 14항에 있어서, 상기 사운드-매칭 디바이스는, 상기 오디오 신호와 상기 오디오 파형 사이의 최악의 경우에 예상된 지연 차이를 기반으로 해서, 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형을 샘플링하기 위한 시간 윈도우를 선택하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  18. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형 모두에 대한 스펙트럼 전력 밀도 곡선을 생성하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  19. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에 대응하는 스펙트럼 전력 밀도 곡선 사이의 상관 에러를 최소화하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  20. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 제 2 미디어 서비스에 대응하는 상기 오디오 파형을 샘플링하기 위한 시간 윈도우를 선택하고, 상기 오디오 신호와 상기 오디오 파형에 대한 스펙트럼 전력 밀도 곡선을 생성하고, 상기 오디오 신호와 상기 오디오 파형에 대한 상기 스펙트럼 전력 밀도 곡선에서 발생하는 배경 오디오 이벤트를 상관시키며, 상기 오디오 신호와 상기 오디오 파형에 대응하는 상기 스펙트럼 전력 밀도 곡선 사이의 상관 에러를 최소화하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  21. 제 14항에 있어서, 상기 가변 지연기는 사용자 입력을 기반으로 해서 상기 재생 타이밍을 더 조정하고, 상기 사용자 입력은 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나의 재생에서 삽입된 지연을 변경하는 것에 대응하는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  22. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 메타데이터 태그에서 삽입된 이벤트 코드를 사용하여 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스에서의 공통 오디오 특징을 매칭시키며, 상기 메타 데이터 태그는 상기 제 1 미디어 서비스와 상기 제 2 미디어 서비스 중 적어도 하나에서 삽입되는, 제 1 미디어 서 비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  23. 제 14항에 있어서, 상기 사운드-매칭 디바이스는 알려진 사운드의 오디오 핑거프린트를 상기 제 1 미디어 서비스의 상기 오디오 신호와 상기 오디오 파형에서의 오디오 특징과 비교하고, 오디오 핑거프린트와 매칭시키고, 상기 오디오 신호 및 상기 오디오 파형 모두에 발생하는 사운드를 상관시키는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  24. 제 14항에 있어서, 상기 제 1 미디어 콘텐츠는 제 1 저작 소스로부터 유래되고, 상기 제 2 미디어 콘텐츠는 제 2 저작 소스로부터 유래되는, 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생의 자동 동기화 장치.
  25. 비디오 기반 미디어 서비스와 오디오 기반 미디어 서비스 사이의 재생을, 대응하는 오디오 파형을 갖는 상기 비디오 기반 미디어 서비스에 자동으로 동기화하기 위한 방법으로서,
    상기 오디오 기반 미디어 서비스의 오디오 신호와 상기 오디오 파형을 샘플링하는 단계와;
    상기 오디오 신호와 오디오 파형 각각에서의 오디오 특징을 결정하는 단계와;
    상기 오디오 신호와 상기 오디오 파형 각각의 상기 오디오 특징을 매칭시키 는 단계로서, 상기 매칭 단계는 어느 하나의 미디어 서비스에 대한 재생을 지연하기 위한 지연을 결정하는, 매칭 단계와;
    두 미디어 서비스 모두의 상기 재생을 동기화하는 단계로서, 어느 하나의 미디어 서비스는 상기 매칭시키는 단계에서 결정된 상기 계산된 지연만큼 지연되는, 동기화 단계를 포함하고,
    상기 매칭 단계는 상기 오디오 신호와 오디오 파형에 대응하는 스펙트럼 전력 밀도 곡선을 매칭하는 단계와, 잡음 포락선 매칭하는 단계와, 상기 오디오 신호와 상기 오디오 파형에서의 공통 사운드 사이의 시간 길이를 결정함으로써 상기 지연을 식별하고 계산하기 위한 오디오 핑거프린트를 사용하는 단계 중 적어도 하나의 단계를 포함하는 그룹으로부터 선택되는 기술을 사용하는,
    비디오 기반 미디어 서비스와 오디오 기반 미디어 서비스 사이의 재생의 자동 동기화 방법.
KR1020057014822A 2003-02-14 2003-02-14 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치 KR100934460B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2003/004527 WO2004075565A1 (en) 2003-02-14 2003-02-14 Automatic synchronization of audio and video based media services of media content

Publications (2)

Publication Number Publication Date
KR20050105210A KR20050105210A (ko) 2005-11-03
KR100934460B1 true KR100934460B1 (ko) 2009-12-30

Family

ID=32907013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057014822A KR100934460B1 (ko) 2003-02-14 2003-02-14 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US9628851B2 (ko)
EP (1) EP1593272B1 (ko)
JP (1) JP4456004B2 (ko)
KR (1) KR100934460B1 (ko)
CN (1) CN1742492B (ko)
AU (1) AU2003211073A1 (ko)
WO (1) WO2004075565A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140147096A (ko) * 2012-04-05 2014-12-29 톰슨 라이센싱 멀티미디어 스트림들의 동기화

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263503B1 (en) 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
US8266657B2 (en) 2001-03-15 2012-09-11 Sling Media Inc. Method for effectively implementing a multi-room television system
US7142250B1 (en) 2003-04-05 2006-11-28 Apple Computer, Inc. Method and apparatus for synchronizing audio and video streams
KR20060037403A (ko) * 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US8327411B2 (en) * 2003-12-01 2012-12-04 Sharp Laboratories Of America, Inc. Low-latency random access to compressed video
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US9998802B2 (en) 2004-06-07 2018-06-12 Sling Media LLC Systems and methods for creating variable length clips from a media stream
US7769756B2 (en) * 2004-06-07 2010-08-03 Sling Media, Inc. Selection and presentation of context-relevant supplemental content and advertising
KR100916274B1 (ko) 2004-06-07 2009-09-10 슬링 미디어 인코퍼레이티드 퍼스널 미디어 브로드캐스팅 시스템
US7917932B2 (en) 2005-06-07 2011-03-29 Sling Media, Inc. Personal video recorder functionality for placeshifting systems
US7975062B2 (en) 2004-06-07 2011-07-05 Sling Media, Inc. Capturing and sharing media content
DE102004046746B4 (de) 2004-09-27 2007-03-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten
US20060184960A1 (en) * 2005-02-14 2006-08-17 Universal Music Group, Inc. Method and system for enabling commerce from broadcast content
DE102005045628B3 (de) * 2005-06-22 2007-01-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln einer Stelle in einem Film, der in einer zeitlichen Folge aufgebrachte Filminformationen aufweist
DE102005045627A1 (de) * 2005-06-22 2007-01-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Durchführen einer Korrelation zwischen einem Testtonsignal, das mit variabler Geschwindigkeit abspielbar ist, und einem Referenztonsignal
TWI331309B (en) * 2006-12-01 2010-10-01 Ind Tech Res Inst Method and system for executing correlative services
US7953118B2 (en) * 2006-12-08 2011-05-31 Microsoft Corporation Synchronizing media streams across multiple devices
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
US20100131464A1 (en) * 2007-03-21 2010-05-27 Koninklijke Philips Electronics N.V. Method and apparatus for enabling simultaneous reproduction of a first media item and a second media item
US20080263450A1 (en) * 2007-04-14 2008-10-23 James Jacob Hodges System and method to conform separately edited sequences
US20080256136A1 (en) * 2007-04-14 2008-10-16 Jerremy Holland Techniques and tools for managing attributes of media content
US8751022B2 (en) 2007-04-14 2014-06-10 Apple Inc. Multi-take compositing of digital media assets
US8381086B2 (en) * 2007-09-18 2013-02-19 Microsoft Corporation Synchronizing slide show events with audio
US9936143B2 (en) 2007-10-31 2018-04-03 Google Technology Holdings LLC Imager module with electronic shutter
WO2009076723A1 (en) * 2007-12-19 2009-06-25 Colin Simon Device and method for synchronisation of digital video and audio streams to media presentation devices
JP5283914B2 (ja) 2008-01-29 2013-09-04 キヤノン株式会社 表示制御装置及び表示制御方法
US8140641B2 (en) 2008-11-14 2012-03-20 Microsoft Corporation Managing media synchronization
CN101763848B (zh) * 2008-12-23 2013-06-12 王宏宇 一种用于音频内容识别的同步方法
US9185445B2 (en) * 2009-09-24 2015-11-10 At&T Intellectual Property I, L.P. Transmitting a prioritized audio stream along with multimedia content
US10080061B1 (en) * 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
US8739225B2 (en) 2010-07-19 2014-05-27 Thomson Licensing Alternative audio delivery for television viewing
US9131256B2 (en) * 2010-09-30 2015-09-08 Verizon Patent And Licensing Inc. Method and apparatus for synchronizing content playback
US8862254B2 (en) 2011-01-13 2014-10-14 Apple Inc. Background audio processing
US8842842B2 (en) 2011-02-01 2014-09-23 Apple Inc. Detection of audio channel configuration
US8621355B2 (en) 2011-02-02 2013-12-31 Apple Inc. Automatic synchronization of media clips
EP2501127B1 (en) * 2011-03-14 2017-06-14 EchoStar Technologies L.L.C. Timing uninterruptible processes
US8965774B2 (en) 2011-08-23 2015-02-24 Apple Inc. Automatic detection of audio compression parameters
US9792955B2 (en) 2011-11-14 2017-10-17 Apple Inc. Automatic generation of multi-camera media clips
EP2611051B1 (en) * 2011-12-29 2014-06-04 Thomson Licensing Method for synchronizing media services
US9392322B2 (en) 2012-05-10 2016-07-12 Google Technology Holdings LLC Method of visually synchronizing differing camera feeds with common subject
EP2670157B1 (en) 2012-06-01 2019-10-02 Koninklijke KPN N.V. Fingerprint-based inter-destination media synchronization
US9226011B2 (en) 2012-09-11 2015-12-29 Comcast Cable Communications, Llc Synchronizing program presentation
US20140114919A1 (en) * 2012-10-19 2014-04-24 United Video Properties, Inc. Systems and methods for providing synchronized media content
US9032301B2 (en) * 2012-11-05 2015-05-12 LiveCrowds, Inc. Crowd-sync technology for participant-sharing of a crowd experience
US9742825B2 (en) 2013-03-13 2017-08-22 Comcast Cable Communications, Llc Systems and methods for configuring devices
US9773058B2 (en) * 2013-03-15 2017-09-26 Shazam Investments Ltd. Methods and systems for arranging and searching a database of media content recordings
JP6344383B2 (ja) * 2013-04-26 2018-06-20 日本電気株式会社 行動解析装置、行動解析方法および行動解析プログラム
EP2822287A1 (en) * 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
US10694264B2 (en) 2013-09-20 2020-06-23 Koninklijke Kpn N.V. Correlating timeline information between media streams
US9860581B2 (en) * 2013-09-20 2018-01-02 Koninklijke Kpn N.V. Correlating timeline information between media streams
US9426336B2 (en) * 2013-10-02 2016-08-23 Fansmit, LLC System and method for tying audio and video watermarks of live and recorded events for simulcasting alternative audio commentary to an audio channel or second screen
EP2876890A1 (en) 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
EP3100458B1 (en) 2014-01-31 2018-08-15 Thomson Licensing Method and apparatus for synchronizing the playback of two electronic devices
US9357127B2 (en) 2014-03-18 2016-05-31 Google Technology Holdings LLC System for auto-HDR capture decision making
US9971319B2 (en) * 2014-04-22 2018-05-15 At&T Intellectual Property I, Lp Providing audio and alternate audio simultaneously during a shared multimedia presentation
US10250799B2 (en) 2014-05-21 2019-04-02 Google Technology Holdings LLC Enhanced image capture
US9813611B2 (en) 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US9729784B2 (en) 2014-05-21 2017-08-08 Google Technology Holdings LLC Enhanced image capture
US9774779B2 (en) 2014-05-21 2017-09-26 Google Technology Holdings LLC Enhanced image capture
CN105448312B (zh) * 2014-06-12 2019-02-19 华为技术有限公司 音频同步播放方法、装置及***
US9413947B2 (en) 2014-07-31 2016-08-09 Google Technology Holdings LLC Capturing images of active subjects according to activity profiles
US9654700B2 (en) 2014-09-16 2017-05-16 Google Technology Holdings LLC Computational camera using fusion of image sensors
CN105989846B (zh) * 2015-06-12 2020-01-17 乐融致新电子科技(天津)有限公司 一种多通道语音信号同步方法及装置
US10057651B1 (en) * 2015-10-05 2018-08-21 Twitter, Inc. Video clip creation using social media
US9979997B2 (en) 2015-10-14 2018-05-22 International Business Machines Corporation Synchronization of live audio and video data streams
EP3371978B1 (en) * 2015-11-06 2021-06-30 Koninklijke KPN N.V. Contiguous streaming of media stream
CN105827997A (zh) * 2016-04-26 2016-08-03 厦门幻世网络科技有限公司 一种为视听化数字媒体配音的方法及装置
CN110741435B (zh) * 2017-06-27 2021-04-27 杜比国际公司 音频信号处理的方法、***和介质
CN109525873B (zh) * 2017-09-18 2022-03-15 炬芯科技股份有限公司 一种音频播放同步方法及装置
TW201931863A (zh) * 2018-01-12 2019-08-01 圓剛科技股份有限公司 多媒體訊號的同步設備及其同步方法
KR101988157B1 (ko) * 2018-01-26 2019-06-11 건국대학교 산학협력단 소리 파형을 이용한 다수 동영상 간 시간축 동기화 방법 및 장치
JP2019165386A (ja) * 2018-03-20 2019-09-26 ヤマハ株式会社 信号解析方法および信号解析装置
CN108682436B (zh) * 2018-05-11 2020-06-23 北京海天瑞声科技股份有限公司 语音对齐方法及装置
CN109587542B (zh) * 2018-12-27 2020-11-27 北京奇艺世纪科技有限公司 音视频数据同步设备、方法、数据处理设备、介质
CN112447185B (zh) * 2019-08-30 2024-02-09 广州虎牙科技有限公司 音频同步误差测试方法、装置、服务器及可读存储介质
CN111131917B (zh) * 2019-12-26 2021-12-28 国微集团(深圳)有限公司 音频频谱实时同步方法、播放装置
US11451855B1 (en) 2020-09-10 2022-09-20 Joseph F. Kirley Voice interaction with digital signage using mobile device
US11831943B2 (en) 2021-10-26 2023-11-28 Apple Inc. Synchronized playback of media content
US11968417B2 (en) * 2021-12-30 2024-04-23 Comcast Cable Communications, Llc Systems, methods, and apparatuses for buffer management
US20230353813A1 (en) * 2022-04-29 2023-11-02 MIXHalo Corp. Synchronized audio streams for live broadcasts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950020649A (ko) * 1993-12-31 1995-07-24 이헌조 디지탈오디오신호의 복조장치
KR20020059667A (ko) * 1999-11-02 2002-07-13 윌리암 네이버즈 다중 채널 오디오 환경 내에 대화형 오디오를 제공하기위한 시스템 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5537141A (en) * 1994-04-15 1996-07-16 Actv, Inc. Distance learning system providing individual television participation, audio responses and memory for every student
BR9709751A (pt) * 1996-04-29 1999-08-10 Princeton Video Image Inc Inserção eletrônica intensificada de áudio de sinais em víde
US5912701A (en) * 1997-05-09 1999-06-15 At&T Corp. Arrangement for measuring and controlling temporal relationships between channels of a multimedia communication system
US6429902B1 (en) * 1999-12-07 2002-08-06 Lsi Logic Corporation Method and apparatus for audio and video end-to-end synchronization
US6630963B1 (en) 2001-01-23 2003-10-07 Digeo, Inc. Synchronizing a video program from a television broadcast with a secondary audio program
TW582022B (en) * 2001-03-14 2004-04-01 Ibm A method and system for the automatic detection of similar or identical segments in audio recordings
JP4212253B2 (ja) 2001-03-30 2009-01-21 三洋電機株式会社 話速変換装置
US20030028796A1 (en) * 2001-07-31 2003-02-06 Gracenote, Inc. Multiple step identification of recordings
US20030066089A1 (en) * 2001-09-28 2003-04-03 David Andersen Trigger mechanism for sync-to-broadcast web content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950020649A (ko) * 1993-12-31 1995-07-24 이헌조 디지탈오디오신호의 복조장치
KR20020059667A (ko) * 1999-11-02 2002-07-13 윌리암 네이버즈 다중 채널 오디오 환경 내에 대화형 오디오를 제공하기위한 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140147096A (ko) * 2012-04-05 2014-12-29 톰슨 라이센싱 멀티미디어 스트림들의 동기화
KR102043088B1 (ko) * 2012-04-05 2019-11-11 인터디지탈 매디슨 페이튼트 홀딩스 멀티미디어 스트림들의 동기화

Also Published As

Publication number Publication date
JP4456004B2 (ja) 2010-04-28
EP1593272A1 (en) 2005-11-09
CN1742492B (zh) 2011-07-20
EP1593272B1 (en) 2017-08-30
WO2004075565A1 (en) 2004-09-02
JP2006514329A (ja) 2006-04-27
KR20050105210A (ko) 2005-11-03
US20060156374A1 (en) 2006-07-13
AU2003211073A1 (en) 2004-09-09
CN1742492A (zh) 2006-03-01
EP1593272A4 (en) 2008-12-24
US9628851B2 (en) 2017-04-18

Similar Documents

Publication Publication Date Title
KR100934460B1 (ko) 제 1 미디어 서비스와 제 2 미디어 서비스 사이의 재생을 자동으로 동기화하기 위한 방법 및 장치
JP6721510B2 (ja) ２つの電子デバイスにおいて再生を同期させるための方法及び装置
US7907212B2 (en) Multiple path audio video synchronization
US8204366B2 (en) Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data
US20070100904A1 (en) Creation and transmission of rich content media
KR102156467B1 (ko) ２ 개의 전자 디바이스들에서의 재생들을 동기화하기 위한 방법 및 장치
US7006976B2 (en) Apparatus and method for inserting data effects into a digital data stream
EP2086241A2 (en) Display control apparatus and display control method
JP2002271823A (ja) 視聴率評価システム
US11551722B2 (en) Method and apparatus for interactive reassignment of character names in a video device
CN102088625A (zh) 媒体内容的基于音频和视频的媒体服务的自动同步
KR101559170B1 (ko) 영상표시장치 및 그 제어방법
KR100499032B1 (ko) 텔레비젼 수신기를 기반으로 하는 오디오 및 비디오 합성편집장치
JP6440314B2 (ja) 受信装置、受信方法、及びプログラム
JP2022058012A (ja) Ｃｍデータ特定装置、システム、方法、及びプログラム
JP4385710B2 (ja) 音声信号処理装置及び音声信号処理方法
Tanton et al. R&D White Paper
KR20090074629A (ko) 음향 모드 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121119

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131119

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20171117

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 11