KR20180119243A - 젠락 기능을 가진 멀티미디어 송수신 장치 - Google Patents

젠락 기능을 가진 멀티미디어 송수신 장치 Download PDF

Info

Publication number
KR20180119243A
KR20180119243A KR1020170052714A KR20170052714A KR20180119243A KR 20180119243 A KR20180119243 A KR 20180119243A KR 1020170052714 A KR1020170052714 A KR 1020170052714A KR 20170052714 A KR20170052714 A KR 20170052714A KR 20180119243 A KR20180119243 A KR 20180119243A
Authority
KR
South Korea
Prior art keywords
signal
clock
rtp packet
time stamp
receiving
Prior art date
Application number
KR1020170052714A
Other languages
English (en)
Other versions
KR101924183B1 (ko
Inventor
조성배
이제환
Original Assignee
주식회사 님버스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 님버스 filed Critical 주식회사 님버스
Priority to KR1020170052714A priority Critical patent/KR101924183B1/ko
Publication of KR20180119243A publication Critical patent/KR20180119243A/ko
Application granted granted Critical
Publication of KR101924183B1 publication Critical patent/KR101924183B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Abstract

본 발명은 원격 송신 장치가 원격 사이트에 위치하여 로컬 사이트에 위치하는 로컬 송신 장치와의 영상 동기화를 위한 젠락신호를 발생하고, 수신 장치가 오디오 동기클럭과 비디오 동기클럭으로 동기화된 음성신호와 영상신호를 출력하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치를 개시한다.

Description

젠락 기능을 가진 멀티미디어 송수신 장치{MULTIMEDIA TRANSMISSION APPARATUS HAVING GENLOCK FUNCTION}
본 발명은 멀티미디어 송수신 장치에 관한 것으로서, 더욱 상세하게는 젠락 동기화 기능을 가진 멀티미디어 송수신 장치에 관한 것이다.
멀티디미디어 송수신 장치는 다수의 송신 장치 및 수신 장치를 포함한다. 송신 장치는 수신 장치로 영상신호원을 송신하고, 수신 장치는 다수의 송신 장치로부터 영상신호원을 수신하여 영상처리를 수행한다.
특허문헌은 MPEG-2 압축 비디오를 편집하는 방법에 관한 것으로서, 다수의 영상신호원들을 편집한다.
송신 장치는 스튜디오와 같은 로컬 사이트에 위치하는 영상 카메라, 비디오 카세트 레코드(VCR: Video Cassette Recorder) 또는 비디오 서버로 이루어진 로컬 송신 장치 및 원격 사이트에 위치하는 원격 카메라 또는 원격 비디오 카세트 레코드로 이루어진 원격 송신 장치를 포함한다.
멀티미디어 송수신 장치는 수신 장치에서 다수의 영상신호원을 영상처리하기 위한 젠락신호를 생성하고, 로컬 송신 장치로 젠락신호를 제공하는 동기신호 발생장치를 더 포함한다.
동기신호 발생장치는 각각의 로컬 송신 장치의 영상신호들 간의 동기를 일치시키기 위해 로컬 송신 장치로 젠락신호를 제공하고, 로컬 송신 장치는 젠락신호를 사용하여 영상신호원을 동기화시킨다.
원격 송신 장치는 원격 사이트에 위치하여 동기신호 발생장치의 젠락신호를 제공받을 수 없다. 수신 장치는 로컬 송신 장치로부터 동기화된 영상신호원과 원격 송신 장치로부터 동기화되지 않은 영상신호원을 수신하는 경우, 영상신호원들 간의 동기가 일치하지 않아 영상처리하기 어려운 문제점이 있다.
상기 문제점을 해결하기 위하여 종래에는 원격 송신 장치와 수신 장치 사이에 배치되는 프레임 동기장치를 사용하였다. 젠락 동기가 되어있는 프레임 동기장치는 원격 송신 장치로부터 영상신호원을 수신하고, 입력 영상신호를 비디오 프레임 버퍼에 저장하고, 출력 클럭과 수평 및 수직동기신호에 따라 영상신호를 출력한다.
그러나 프레임 동기장치는 입출력 클럭이 동기화되지 않는 서로 다른 클럭을 사용하기 때문에 비디오 프레임 버퍼가 입출력 클럭 오실레이터의 오차와 지터에 의해 오버플로우 또는 언더플로우 현상이 발생할 수 있고, 오버플로우에 의한 스킵 또는 언더플로우에 의한 프레임 중복이 발생하여 저더링(juddering) 현상이 발생할 수 있는 문제점이 있다.
한국공개특허 제10-2005-0085827
상기와 같은 문제점을 해결하기 위해 본 발명은 원거리 전송에서 사용하는 영상 코덱과 패킷화 과정에 젠락신호를 이용한 영상 동기화 기능이 구현되는 젠락 기능을 가진 멀티미디어 송수신 장치를 제공한다.
본 발명은 샘플링 클럭과 주기가 설정된 추가 타임스탬프를 포함하는 RTP 패킷을 생성하여 단위 시간당 동기 타임스탬프의 수를 보완하는 젠락 기능을 가진 멀티미디어 송수신 장치를 제공한다.
상기의 해결하고자 하는 과제를 위한 본 발명에 따른 젠락 기능을 가진 멀티미디어 송수신 장치는, 음성신호와 영상신호 기반의 A/V ES(Element Stream)을 포함하여 RTP 패킷을 생성하는 송신 장치 및 RTP 패킷을 수신하는 수신 장치를 포함한다. 상기 송신 장치는 원격 사이트에 위치하는 원격 송신 장치와 로컬 사이트에 위치하는 로컬 수신 장치를 포함하고, 상기 원격 송신 장치는 젠락신호와 영상신호의 클럭을 선택하여 동기클럭을 생성하고, 동기클럭 기반의 동기 타임스탬프를 더 포함하여 RTP 패킷을 생성하며, 상기 수신 장치는 RTP 패킷을 A/V ES와 동기 타임스탬프의 제어신호로 변환하고, 제어신호를 입력받아 동기클럭을 출력하며, 상기 원격 송신 장치가 로컬 송신 장치와의 영상 동기화를 위한 젠락신호를 발생하고, 수신 장치가 오디오 동기클럭과 비디오 동기클럭으로 동기화된 음성신호와 영상신호를 출력하는 것을 특징으로 한다.
상기 원격 송신 장치는 음성신호와 영상신호를 압축하여 A/V ES(Element Stream)으로 인코딩하는 인코더; 상기 젠락신호를 발생하는 젠락신호 발생부; 상기 젠락신호와 영상신호의 클럭을 선택하여 동기클럭을 생성하는 송신 PLL부; 상기 A/V ES 와 동기클럭 기반의 동기 타임스탬프를 포함하여 RTP 패킷을 생성하는 RTP 패킷 생성부 및 유무선 IP 데이터망을 통하여 RTP 패킷을 수신 장치로 송신하는 송신부를 포함하는 것을 특징으로 할 수 있다.
상기 RTP 패킷 생성부는 헤더확장과 유료부하 부분이 제거되고, 샘플링 클럭과 주기가 설정된 추가 타임스탬프를 포함하는 RTP 패킷을 생성하고, 상기 수신 장치는 동기 타임스탬프의 전송지연이 발생하면 추가 타임스탬프를 동기클럭으로 사용하는 것을 특징으로 할 수 있다.
상기 RTP 패킷 생성부는 영상신호에 대한 동기 타임스탬프의 클럭과 동일하게 추가 타임스탬프의 클럭을 설정하는 것을 특징으로 할 수 있다.
상기 RTP 패킷화부는 영상 프레임율, 전송 에러율 및 수신 PLL부의 상태 중 하나 이상을 고려하여 추가 타임스탬프의 주기를 설정하는 것을 특징으로 할 수 있다.
상기 수신 장치는 상기 RTP 패킷을 수신하는 수신부; 상기 RTP 패킷을 A/V ES와 동기 타임스탬프의 제어신호로 변환하는 RTP 패킷 캡슐제거부; 상기 제어신호를 입력받아 동기클럭을 출력하는 수신 PLL부; 상기 A/V ES와 동기클럭을 통하여 버스트 음성신호와 버스트 영상신호로 변환하는 디코더 및 상기 버스트 음성신호와 버스트 영상신호를 프레임 단위로 저장하고, 동기클럭을 사용하여 연속적으로 동기화된 음성신호와 영상신호를 출력하는 출력 프레임 버퍼를 포함하는 것을 특징으로 할 수 있다.
본 발명은 영상 코덱과 패킷화 과정에 젠락신호를 이용한 영상 동기화 기능이 구현되어 부가적인 프레임 동기장치가 불필요하고, 프레임 동기장치에서 입출력 클럭의 차이에 의해 발생하는 저더링을 제거할 수 있다.
본 발명은 전송오류로 인한 전송지연이 발생하면 추가 타임스탬프를 동기클럭으로 사용하여 전송오류로 인한 지터 발생을 감소시킬 수 있다.
도 1은 본 발명의 젠락 기능을 가진 멀티미디어 송수신 장치를 도시한 블록도이다.
도 2는 본 발명의 송신 장치를 도시한 블록도이다.
도 3은 도 2의 송신 PLL부를 도시한 블록도이다.
도 4는 동기 타임스탬프를 포함하는 RTP 패킷의 구조를 도시한 것이다.
도 5는 추가 타임스탬프를 포함하는 RTP 패킷의 구조를 도시한 것이다.
도 6은 동기 타임스탬프와 추가 타임스탬프의 샘플링 클럭 및 주기가 설정되는 예를 도시한 것이다.
도 7은 추가 타임스탬프의 전송에러가 발생하는 예를 도시한 것이다.
도 8은 비디오 타임스탬프와 추가 타임스탬프의 전송에러가 발생하는 예를 도시한 것이다.
도 9는 본 발명의 수신 장치를 도시한 블록도이다.
도 10은 수신 장치에서 스위칭 영상처리를 수행하는 예를 도시한 것이다.
도 11은 도 9의 수신 PLL부를 도시한 블록도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
도 1은 본 발명의 젠락 기능을 가진 멀티미디어 송수신 장치를 도시한 블록도로서, 송신 장치(100) 및 수신 장치(200)를 포함한다.
송신 장치(100)는 로컬 사이트에 위치하는 로컬 송신 장치(100a) 및 원격 사이트에 위치하는 원격 송신 장치(100b)를 포함한다.
멀티미디어 송수신 장치는 수신 장치(200)에서 다수의 영상신호원을 영상처리하기 위한 젠락신호를 생성하는 동기신호 발생장치(10)를 더 포함한다.
동기신호 발생장치(10)는 각각의 로컬 송신 장치(100a)의 영상신호들 간의 동기를 일치시키기 위해 로컬 송신 장치(100a)로 젠락신호를 제공하고, 로컬 송신 장치(100a)는 젠락신호를 사용하여 영상신호원을 동기화시킨다.
원격 송신 장치(100b)는 원격 사이트에 위치하여 동기신호 발생장치(10)의 젠락신호를 제공받을 수 없으므로, 영상 코덱과 패킷화 과정에서 젠락신호를 이용한 영상 동기화 기능이 구현되는 것을 특징으로 한다.
도 2는 본 발명의 송신 장치를 도시한 블록도로서, 송신 장치(100)는 원격 카메라로부터 음성신호와 영상신호를 입력받거나, 원격 카메라를 포함하는 원격 송신 장치(100b)이다.
송신 장치(100)는 음성신호와 영상신호 기반의 A/V ES(Element Stream)을 포함하여 RTP 패킷을 생성하고, 수신 장치(200)는 RTP 패킷을 수신한다.
송신 장치(100)는 인코더(110), 젠락신호 발생부(120), 송신 PLL부(130), RTP 패킷 생성부(140) 및 송신부(150)를 포함한다.
인코더(110)는 음성신호와 영상신호를 압축하여 A/V ES으로 인코딩하는 것으로서, 영상신호를 압축하여 비디오 ES로 인코딩하는 비디오 인코더(111) 및 음성신호를 압축하여 오디오 ES로 인코딩하는 오디오 인코더(112)를 포함한다.
젠락신호 발생부(120)는 GPS 수신기(미도시)로부터 10MHz의 클럭을 제공받아 젠락신호를 발생한다.
젠락(genlock) 신호는 여러 종류의 영상신호원들을 동시에 취급할 때 영상신호원들을 프레임 단위로 처리하기 위해 영상신호원들을 동기화하는데 사용되는 신호로서, 영상신호의 동기와 관련된 H_sync, V_sync, F_sync 및 Pix_clk를 포함하고, 음성신호의 동기와 관련된 M_clk 및 W_sig를 포함한다. 젠락신호 발생부(120)는 각각의 동기신호를 분리하기 위한 클럭신호 분리기(미도시)를 포함한다.
도 3은 도 2의 송신 PLL부를 도시한 블록도이다. 송신 PLL부(130)는 2개 신호의 위상을 비교하여 위상차에 비례하는 전압을 출력하는 회로로서, 젠락신호와 영상신호의 클럭을 선택하여 동기클럭을 생성한다. 송신 PLL부(130)는 위상 검출기(131), 루프 필터(132), 오실레이터(133), N 분주기(134), R 분주기(136) 및 계수기(137)를 포함한다.
위상 검출기(131)는 입력신호와 출력신호 간의 위상차를 검출하고, 루프 필터(132)는 위상 검출기(131)로부터 입력되는 에러신호를 걸러내고, 피드백 루프를 보상하기 위해 사용되는 필터이다.
오실레이터(133)는 VCXO(Voltage Controlled Cristal oscillator)로서 위상차에 비례하는 전압을 출력하고, N 분주기(134)는 오실레이터(133)의 출력신호를 N배 분주하는 기능을 수행한다. N값은 젠락 클럭신호 또는 영상 클럭신호의 클럭 주파수값과 오실레이터(133)의 발진 중심 주파수값에 따라 결정된다.
R 분주기(136)는 오실레이터(133)의 출력신호를 R배 분주하는 기능을 수행하고, 계수기(137)는 32bit 카운터로서 입력클럭에 대응하여 1씩 증가하는 기능을 수행한다.
도 4는 동기 타임스탬프를 포함하는 RTP 패킷의 구조를 도시한 것으로서, RTP 패킷 생성부(140)는 A/V ES 와 동기클럭 기반의 동기 타임스탬프를 포함하여 RTP 패킷을 생성한다.
RTP 패킷은 동기 타임스탬프를 포함하는 RTP 헤더 및 A/V ES를 포함하는 유료부하로 구성된다. RTP 헤더는 Version(V), Padding(p), Extension(X), CSRC Count(CC), Marker(M), Payload Type(PT), Sequence Number(SN), 동기 타임스탬프, 동기발신식별자(Synchronization Source(SSRC) Identifier), 기여발신식별자(Contributing Source(CSRC) Identifier) 및 헤더확장 필드 중 하나 이상을 포함한다.
Version은 2비트 필드로서 RTP의 버전을 의미하는 영역이다. Padding은 1비트 필드로서 1값을 가지면 패킷에 하나 이상의 채워넣기 바이트가 포함되어 있음을 나타내고, 마지막 채워넣기 바이트에 현재 패킷에서 무시되어야 하는 채워넣기 바이트의 수를 나타낸다.
Extension은 1비트 필드로서 1값을 가지면 고정헤더 이후에 정화히 하나의 헤더확장이 등장함을 의미하고, CSRC Count는 4비트 필드로서 고정헤더 이후에 나열되는 동기발신식별자의 수를 의미한다.
Marker는 1비트 필드로서 프로파일에 의해 필드 해석이 결정되고, 패킷 스트림 내에서 프레임 경계와 같은 이벤트들을 표시하는데 이용된다. 프로파일은 추가 표시비트들을 정의하거나, Payload Type을 확장하여 표시비트를 제거할 수도 있다.
Payload Type은 7비트 필드로서 RTP 페이로드의 타입을 의미하고, Sequence Number는 16비트 필드로서 송신되는 각 RTP 패킷에 대해 1씩 증가하는 값을 가진다. 수신 장치(200)는 패킷 분실을 검출하거나, 패킷의 순서를 맞추는데 이용된다. Sequence Number의 초기값은 보안을 위해 무작위로 설정된다.
동기 타임스탬프는 32비트 필드로서 RTP 패킷의 첫 번째 바이트의 샘플링 순간을 나타내고, 클럭 주파수가 Payload Type의 형식에 종속되며, 초기값이 보안을 위해 무작위로 설정된다.
동기발신식별자는 32비트 필드로서 동기화 소스를 의미하고, 같은 RTP 세션 내에서 같은 SSRC를 가진 동기화 소스가 2개 이상의 값이 나타나지 않도록 무작위로 선택된다.
기여발신식별자는 0에서 15목록까지 포함될 수 있고, 각 목록은 32비트를 차지한다. CSRC는 현재 패킷에 포함된 페이로드에 기여한 제공 소스들을 나타낸다. 기여발신식별자는 제공 소스가 15개 이상이여도 15개의 제공 소스만 기록된다.
송신부(150)는 유선통신을 제공하기 위한 이더넷 어댑터(151)와 무선통신을 제공하기 위한 와이파이 어댑터(152)를 포함하고, 유무선 IP 데이터망(20)을 통하여 RTP 패킷을 수신 장치(200)로 송신한다.
RTP 패킷은 영상 프레임율 속도로 타임스탬프가 전송되도록 RFC1889에 규정되어 있고, 방송에서 사용하는 SDI(Serial Digital Interface) 인터페이스는 높은 신뢰성을 위해 상대적으로 높은 지터 성능 규격을 가지고 있다. 24frame/sec 영상 프레임율의 신호인 경우, RTP 패킷의 동기 타임스탬프는 90KHz의 클럭을 사용하고, 41.7msec(1/24sec) 주기가 설정된다.
그러나 멀티미디어 송수신 장치는 와이파이 어댑터(152)를 이용하여 RTP 패킷을 전송하는 경우, 채널에서 전송오류가 발생하면 재전송 과정이 뒤따르고, 재전송에 따른 전송지연이 발생함에 따라 RTP 패킷의 동기 타임스탬프의 값을 사용할 수 없게 되어 수신 장치(200)의 동기클럭을 발생하는 회로 부분인 수신 PLL부(230)에서 상대적으로 큰 지터의 발생할 수 있다. 즉 수신 PLL부(230)는 낮은 영상 프레임율과 잦은 전송에러에 따른 재전송 동기 타임스탬프를 제외하면 사용할 수 있는 단위 시간당 동기 타임스탬프의 수가 적어 상대적으로 규모가 있는 지터가 발생할 수 있다.
본 발명은 타임스템프 값으로 만 구성된 짧은 길이의 RTP 패킷을 주기적으로 추가하여 전송오류로 인한 지터 발생을 줄이고자 한다.
도 5는 추가 타임스탬프를 포함하는 RTP 패킷의 구조를 도시한 것으로서, RTP 패킷은 헤더확장과 유료부하 부분이 제거되고, 샘플링 클럭과 주기가 설정된 추가 타임스탬프를 포함하여 전송효율을 향상시킬 수 있고, 타임스탬프의 호환성을 유지시킬 수 있다.
수신 장치(200)는 동기 타임스탬프의 전송지연이 발생하면 추가 타임스탬프를 동기클럭으로 사용하여 동기클럭을 발생하는 회로의 지터 발생을 감소시킬 수 있다.
도 6은 동기 타임스탬프와 추가 타임스탬프의 샘플링 클럭 및 주기가 설정되는 예를 도시한 것으로서, RTP 패킷 생성부(140)는 영상신호에 대한 동기 타임스탬프의 클럭과 동일하게 추가 타임스탬프의 클럭을 설정하고, 영상 프레임율, 전송 에러율 및 수신 PLL부(230)의 상태 중 하나 이상을 고려하여 추가 타임스탬프의 주기를 설정한다.
동기 타임스탬프는 오디오 타임스탬프 및 비디오 타임스탬프를 포함한다. 오디오 타임스탬프는 20msec 간격으로 샘플링 클럭이 8KHz로 설정되고, 주기가 160(20msec/0.125msec)이다. 비디오 타임스탬프는 24프레임이 사용되면 41.7msec 간격으로 샘플링 클럭이 90KHz로 설정되고, 주기가 3750(41.7msec/0.011msec)이다.
추가 타임스탬프는 15msec 간격으로 샘플링 클럭이 비디오 타임스탬프의 클럭과 동일하고, 주기가 1350(15msec/0.011msec)이다.
도 7은 추가 타임스탬프의 전송에러가 발생하는 예를 도시한 것이다. 추가 타임스탬프 2700값을 갖는 RTP 패킷이 전송 중에 에러가 발생하여 재전송 과정을 수행하면, 추가 타임스탬프 2700값을 갖는 RTP 패킷을 제외한 모든 RTP 패킷은 지연시간 T를 갖고, 추가 타임스탬프 2700값을 갖는 RTP 패킷은 재전송에 따른 추가 지연시간 rT가 추가되어 T+rT를 갖는다.
수신 장치(200)는 수신 PLL부(230)에서 계수기의 값의 크기가 일정값 크기 이상으로 나타나기 때문에 재전송 RTP 패킷을 구별할 수 있고, 수신 PLL부(230)의 지터를 감소시키기 위해 재전송 RTP 패킷을 사용하지 않는다.
도 8은 비디오 타임스탬프와 추가 타임스탬프의 전송에러가 발생하는 예를 도시한 것이다. 추가 타임스탬프가 없고 비디오 타임스탬프 3750값을 갖는 RTP 패킷이 전송 중에 에러가 발생하면, 수신 PLL부(230)는 비디오 타임스탬프 7500 및 11250값만을 이용하여 동기클럭을 발생한다.
추가 타임스탬프가 있다면, 수신 PLL부(230)는 비디오 타임스탬프 7500 및 11250값뿐만 아니라 전송에러가 발생하지 않은 추가 타임스탬프값을 이용할 수 있고, 더욱 정확한 동작을 수행할 수 있다.
도 9는 본 발명의 수신 장치를 도시한 블록도로서, 수신 장치(200)는 다수의 송신 장치(100)로부터 영상신호원을 수신하여 영상처리를 수행한다.
송신 장치(100)는 로컬 사이트에 위치하는 로컬 송신 장치(100a) 및 원격 사이트에 위치하는 원격 송신 장치(100b)를 포함한다.
도 10은 수신 장치에서 스위칭 영상처리를 수행하는 예를 도시한 것으로서, 수신 장치(200)는 원격 사이트 또는 로컬 사이트에 위치하는 다수의 송신 장치(100)로부터 영상신호원을 수신하고, 다수의 영상신호원을 프레임 단위로 스위칭(switching), 편집(editing), 키잉(keying), 페이딩(fading) 또는 디졸빙(dissolving) 영상처리를 수행하여 실시간, 중계 및 인터넷 방송 중 하나를 위한 멀티미디어를 생성한다.
수신 장치(200)는 로컬 송신 장치(100a)로부터 동기화된 영상신호원과 원격 송신 장치(100b)로부터 동기화되지 않은 영상신호원을 수신하는 경우, 영상신호원들 간의 동기가 일치하지 않아 영상처리하기 어려운 문제점이 있으므로, 영상처리 이전에 원격 송신 장치(100b)로부터 수신된 RTP 패킷 기반의 영상신호원을 동기화시켜야 한다.
수신 장치(200)는 수신부(210), RTP 패킷 캡슐제거부(220), 수신 PLL부(230), 디코더(240) 및 출력 프레임 버퍼(250)를 포함한다.
수신부(210)는 원격 송신 장치(100b)로부터 RTP 패킷을 수신하고, RTP 패킷 캡슐제거부(220)는 RTP 패킷을 A/V ES와 동기 타임스탬프의 제어신호로 변환하며, 수신 PLL부(230)는 상기 제어신호를 입력받아 동기클럭을 출력한다. 동기클럭은 비디오 동기클럭 및 오디오 동기클럭으로 구분되고, 수신 PLL부(230)는 비디오 수신 PLL부(미도시) 및 오디오 수신 PLL부(미도시)로 구분된다. 비디오 수신 PLL부와 오디오 수신 PLL부의 동작 방법은 동일하다.
수신부(210)는 추가 타임스탬프를 포함하는 RTP 패킷을 수신할 수 있고, RTP 패킷 캡슐제거부(220)는 RTP 패킷을 추가 타임스탬프의 제어신호로 변환할 수 있다.
수신 PLL부(230)는 계수기의 값의 크기에 따라 재전송 RTP 패킷을 구별하고, 재전송 RTP 패킷을 제외한 동기 타임스탬프 또는 추가 타임스탬프의 제어신호를 입력받아 동기클럭을 출력한다.
도 11은 도 9의 수신 PLL부를 도시한 블록도로서, 수신 PLL부(230)는 위상 검출기(231), DSP(232), DAC(233), 오실레이터(234), L 분주기(235) 및 계수기를 포함한다. 위상 검출기(231)는 입력 타임스탬프값과 계수기(236)의 출력값의 위상차를 검출하고, DSP(232)는 위상 검출기(231)의 출력값에서 재전송에 의해 발생하는 에러값을 제외한 나머지값들에 대한 루프 필터 기능을 수행하며, DAC(233)는 디지털-아날로그 변환 기능을 수행한다.
오실레이터(234)는 DAC(233)의 출력신호 전압에 비례하는 발진 신호를 발생시키고, L 분주기(235)는 L배 분주하여 출력클럭을 90KHz로 맞추는 기능을 수행하며, 계수기(236)는 32bit 카운터로서 입력클럭에 대응하여 1씩 증가하는 기능을 수행한다.
디코더(240)는 A/V ES와 동기클럭을 통하여 버스트 음성신호와 버스트 영상신호로 변환하고, 비디오 디코더(241)와 오디오 디코더(242)로 구분된다.
출력 프레임 버퍼(250)는 버스트 음성신호와 버스트 영상신호를 프레임 단위로 저장하고, 동기클럭을 사용하여 연속적으로 동기화된 음성신호와 영상신호를 출력하며, 비디오 출력 프레임 버퍼(251)와 오디오 출력 프레임 버퍼(252)로 구분된다.
수신 PLL부(230)는 동기클럭을 발생시켜 디코딩과정에서 립싱크를 맞출 수 있고, 출력 프레임 버퍼(250)의 오버플로우 또는 언더플로우 현상에 따른 저더링을 방지할 수 있으며, 로컬 사이트의 스튜디오 신호와 동기를 유지시킬 수 있다.
10: 동기신호 발생장치 20: 유무선 IP 데이터망
100: 송신 장치 110: 인코더
120: 젠락신호 발생부 130: 송신 PLL부
140: RTP 패킷 생성부 150: 송신부
200: 수신 장치 210: 수신부
220: RTP 패킷 캡슐제거부 230: 수신 PLL부
240: 디코더 250: 출력 프레임 버퍼

Claims (6)

  1. 음성신호와 영상신호 기반의 A/V ES(Element Stream)을 포함하여 RTP 패킷을 생성하는 송신 장치 및 RTP 패킷을 수신하는 수신 장치를 포함하는 멀티미디어 송수신 장치에 있어서,
    상기 송신 장치는 원격 사이트에 위치하는 원격 송신 장치와 로컬 사이트에 위치하는 로컬 수신 장치를 포함하고,
    상기 원격 송신 장치는 젠락신호와 영상신호의 클럭을 선택하여 동기클럭을 생성하고, 동기클럭 기반의 동기 타임스탬프를 더 포함하여 RTP 패킷을 생성하며,
    상기 수신 장치는 RTP 패킷을 A/V ES와 동기 타임스탬프의 제어신호로 변환하고, 제어신호를 입력받아 동기클럭을 출력하며,
    상기 원격 송신 장치가 로컬 송신 장치와의 영상 동기화를 위한 젠락신호를 발생하고, 수신 장치가 오디오 동기클럭과 비디오 동기클럭으로 동기화된 음성신호와 영상신호를 출력하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치.
  2. 제1항에 있어서,
    상기 원격 송신 장치는,
    음성신호와 영상신호를 압축하여 A/V ES(Element Stream)으로 인코딩하는 인코더;
    상기 젠락신호를 발생하는 젠락신호 발생부;
    상기 젠락신호와 영상신호의 클럭을 선택하여 동기클럭을 생성하는 송신 PLL부;
    상기 A/V ES 와 동기클럭 기반의 동기 타임스탬프를 포함하여 RTP 패킷을 생성하는 RTP 패킷 생성부 및
    유무선 IP 데이터망을 통하여 RTP 패킷을 수신 장치로 송신하는 송신부를 포함하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치.
  3. 제2항에 있어서,
    상기 RTP 패킷 생성부는 헤더확장과 유료부하 부분이 제거되고, 샘플링 클럭과 주기가 설정된 추가 타임스탬프를 포함하는 RTP 패킷을 생성하고,
    상기 수신 장치는 동기 타임스탬프의 전송지연이 발생하면 추가 타임스탬프를 동기클럭으로 사용하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치.
  4. 제3항에 있어서,
    상기 RTP 패킷 생성부는 영상신호에 대한 동기 타임스탬프의 클럭과 동일하게 추가 타임스탬프의 클럭을 설정하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치.
  5. 제3항에 있어서,
    상기 RTP 패킷화부는 영상 프레임율, 전송 에러율 및 수신 PLL부의 상태 중 하나 이상을 고려하여 추가 타임스탬프의 주기를 설정하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치.
  6. 제1항에 있어서,
    상기 수신 장치는,
    상기 RTP 패킷을 수신하는 수신부;
    상기 RTP 패킷을 A/V ES와 동기 타임스탬프의 제어신호로 변환하는 RTP 패킷 캡슐제거부;
    상기 제어신호를 입력받아 동기클럭을 출력하는 수신 PLL부;
    상기 A/V ES와 동기클럭을 통하여 버스트 음성신호와 버스트 영상신호로 변환하는 디코더 및
    상기 버스트 음성신호와 버스트 영상신호를 프레임 단위로 저장하고, 동기클럭을 사용하여 연속적으로 동기화된 음성신호와 영상신호를 출력하는 출력 프레임 버퍼를 포함하는 것을 특징으로 하는 젠락 기능을 가진 멀티미디어 송수신 장치.
KR1020170052714A 2017-04-25 2017-04-25 젠락 기능을 가진 멀티미디어 송수신 장치 KR101924183B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170052714A KR101924183B1 (ko) 2017-04-25 2017-04-25 젠락 기능을 가진 멀티미디어 송수신 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170052714A KR101924183B1 (ko) 2017-04-25 2017-04-25 젠락 기능을 가진 멀티미디어 송수신 장치

Publications (2)

Publication Number Publication Date
KR20180119243A true KR20180119243A (ko) 2018-11-02
KR101924183B1 KR101924183B1 (ko) 2018-11-30

Family

ID=64328862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170052714A KR101924183B1 (ko) 2017-04-25 2017-04-25 젠락 기능을 가진 멀티미디어 송수신 장치

Country Status (1)

Country Link
KR (1) KR101924183B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050023A (zh) * 2019-12-17 2020-04-21 深圳追一科技有限公司 视频检测方法、装置、终端设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5672840B2 (ja) * 2010-08-12 2015-02-18 ソニー株式会社 情報処理装置および方法、並びにプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111050023A (zh) * 2019-12-17 2020-04-21 深圳追一科技有限公司 视频检测方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
KR101924183B1 (ko) 2018-11-30

Similar Documents

Publication Publication Date Title
JP4979039B2 (ja) 圧縮されたビデオ・データを送信する方法
JP3976759B2 (ja) 音声信号と映像信号を同期させる装置
JP3479518B2 (ja) 同期装置および同期方法
US8149883B2 (en) Data receiving device, data receiving method, and computer product
EP1762078B1 (en) Method for transmitting packets in a transmission system
US10419766B2 (en) Network video clock decoupling
WO2007003701A1 (en) Audio and video synchronization
KR20140104969A (ko) 비동기 네트워크를 통해 멀티미디어 콘텐츠를 동기 전송하는 장치 및 방법
EP2114053A1 (en) Delivery delay compensation on synchronised communication devices in a packet switched network
CN101202613A (zh) 一种用于时钟同步的终端
KR101924183B1 (ko) 젠락 기능을 가진 멀티미디어 송수신 장치
CN101202918B (zh) 一种终端校正时钟的方法
JP7120399B2 (ja) 送信方法
JP2010028642A (ja) 画像伝送システム
JPH114433A (ja) 画像受信装置
JP2019146188A (ja) 送信装置、送信方法、受信装置および受信方法
JP2018129844A (ja) 送信装置、送信方法、受信装置および受信方法
CN1996829A (zh) 一种利用移动网络实现时钟同步的方法
JP2009071378A (ja) 再生装置および再生方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant