KR100831213B1 - Apparatus and method for synchronizing video data with audio data - Google Patents

Apparatus and method for synchronizing video data with audio data Download PDF

Info

Publication number
KR100831213B1
KR100831213B1 KR1020010057290A KR20010057290A KR100831213B1 KR 100831213 B1 KR100831213 B1 KR 100831213B1 KR 1020010057290 A KR1020010057290 A KR 1020010057290A KR 20010057290 A KR20010057290 A KR 20010057290A KR 100831213 B1 KR100831213 B1 KR 100831213B1
Authority
KR
South Korea
Prior art keywords
data
audio
timetable
time
video
Prior art date
Application number
KR1020010057290A
Other languages
Korean (ko)
Other versions
KR20030024236A (en
Inventor
박재민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020010057290A priority Critical patent/KR100831213B1/en
Publication of KR20030024236A publication Critical patent/KR20030024236A/en
Application granted granted Critical
Publication of KR100831213B1 publication Critical patent/KR100831213B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 음성 데이터와 영상 데이터의 재생 속도를 동기화하는 장치 및 방법에 관한 것으로, 특히 음성 데이터와 영상 데이터의 재생될 시점의 시간 정보를 갖고 있는 시간표를 사용하여 음성 데이터의 재생 시점에 대응한 영상 데이터의 재생 간격을 조절하는 것을 목적으로 한다. 이를 위해 본 발명은 음성 데이터와 영상 데이터의 재생될 시점의 시간 정보에 대응한 시간표를 제공하는 시간표발생단계와; 상기 시간표를 이용하여 음성 데이터의 재생 시점에 일치시키기 위해 영상 데이터의 재생 간격을 조절하는 간격조절단계로 이루어진 것을 특징으로 한다. 따라서, 음성 데이터와 영상 데이터의 재생 속도를 동기화시키는 방법이 간단하여 휴대용 정보 단말기와 같은 소형 기기의 동영상 재생 방법에 적용이 간단한 효과가 있다.The present invention relates to an apparatus and a method for synchronizing the playback speed of audio data and video data, and more particularly, to an image corresponding to the playback time of audio data using a timetable having time information of the time at which audio data and video data are reproduced. The purpose is to adjust the reproduction interval of data. To this end, the present invention provides a timetable generation step of providing a timetable corresponding to time information of a time point at which audio data and video data are reproduced; Characterized in that the interval adjustment step of adjusting the reproduction interval of the image data to match the reproduction time of the audio data using the timetable. Therefore, the method of synchronizing the playback speed of the audio data and the video data is simple, so that the application to the video playback method of a small device such as a portable information terminal is simple.

Description

음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법{APPARATUS AND METHOD FOR SYNCHRONIZING VIDEO DATA WITH AUDIO DATA}Apparatus and method for synchronizing playback of audio and video data {APPARATUS AND METHOD FOR SYNCHRONIZING VIDEO DATA WITH AUDIO DATA}

도 1은 음성 데이터와 영상 데이터를 다중화시킨 데이터 형태를 보인 예시도.1 is an exemplary view showing a data form in which audio data and video data are multiplexed.

도 2는 본 발명 음성 데이터와 영상 데이터의 재생 동기화 장치를 보인 블록도.2 is a block diagram showing an apparatus for synchronizing reproduction of audio data and video data of the present invention.

도 3은 본 발명 음성 데이터와 영상 데이터의 재생 동기화 방법을 보인 순서도.3 is a flowchart illustrating a method of synchronizing reproduction of audio data and video data of the present invention.

도 4는 도 2 내지 도 3의 장치 및 방법을 설명하기 위해 예시한 음성 데이터, 영상 데이터 및 그에 대응한 재생 시점의 시간 정보를 나타내는 시간표를 보인 예시도.FIG. 4 is an exemplary view showing a timetable indicating audio data, video data, and time information of a playback time corresponding to the apparatus and method illustrated in FIGS. 2 and 3.

도 5는 음성 데이터와 영상 데이터의 재생 속도간 특성이 다른 두 경우를 보인 예시도.5 is an exemplary view showing two cases in which characteristics between a playback speed of audio data and video data are different.

** 도면의 주요부분에 대한 부호의 설명 **** Explanation of symbols for main parts of drawings **

10 : 음성 파일 20 : 영상 파일10: audio file 20: video file

30 : 서버 40 : 클라이언트30: server 40: client

50 : 음성재생기 60 : 영상재생기50: voice player 60: video player

본 발명은 음성 데이터와 영상 데이터의 재생 속도를 동기화시키는 방법에 관한 것으로, 특히 음성 데이터와 영상 데이터의 재생 시점을 나타내는 시간표를 이용하여 음성 데이터의 재생 시점에 따라 영상 데이터의 재생 간격을 조절함으로써 두 데이터의 재생 동기화를 간단하게 구현한 음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법에 관한 것이다.The present invention relates to a method of synchronizing the playback speed of audio data and video data, and more particularly, by adjusting the playback interval of video data according to the playback time of audio data using a timetable representing the playback time of audio data and video data. The present invention relates to an apparatus and method for synchronizing the reproduction of audio data and video data by simply implementing the reproduction synchronization of data.

최근 인터넷의 급속한 발전으로 인터넷에서 사용자에게 동영상을 제공하는 것이 매우 보편화되어 있다.With the recent rapid development of the Internet, it is very common to provide video to users on the Internet.

상기 동영상의 제공은 인터넷의 데이터 전송속도가 빨라지고 개인용 컴퓨터의 성능이 매우 향상되었기 때문에 가능할 수 있었다.The provision of the video could be possible because the data transmission speed of the Internet is faster and the performance of the personal computer is greatly improved.

그리고 휴대 전화나 피디에이(PDA : Personal Digital Assistance)와 같은 휴대용 정보단말기는 무선통신기능이 추가되어 시간과 장소에 구애받지 않고 인터넷에 접속될 수 있을 뿐만 아니라 이를 통해 다양한 서비스를 제공하고 있다.In addition, portable information terminals such as mobile phones and personal digital assistants (PDAs) are provided with a wireless communication function so that they can be connected to the Internet regardless of time and place and provide various services.

또한, 현재 휴대용 정보단말기에서 동영상을 재생시킬 수 있는 기술이 개발되고 있다.In addition, a technology for playing a video in a portable information terminal is currently being developed.

그러나, 휴대용 정보단말기는 개인용 컴퓨터에 비해 데이터 처리 성능이 떨어지고 네트워크와의 데이터 전송속도 또한 느리기 때문에 상기 휴대용 정보단말기에 종래의 개인용 컴퓨터에 적용된 동영상전송기술과 재생기술의 적용이 어려운 문 제점이 있다.However, the portable information terminal has a problem that it is difficult to apply the video transmission technology and playback technology applied to the conventional personal computer in the portable information terminal because the data processing performance is lower than the personal computer and the data transmission speed with the network is also slow.

또한, 동영상은 음성 데이터와 영상 데이터로 구성되어 있고, 이 동영상을 재생할 때에는 두 데이터간에 동기가 정확하게 맞아야 한다.In addition, a moving picture is composed of audio data and video data, and when the moving picture is reproduced, synchronization between the two data must be precisely matched.

상기 두 데이터간에 동기를 맞추기 위해서 대부분의 동영상 재생 기술은 도 1에 도시한 바와 같이, 음성 데이터와 영상 데이터를 다중화시킨 데이터 형태를 사용한다.In order to synchronize the two data, most video reproducing techniques use a data format in which audio data and video data are multiplexed as shown in FIG.

그러나, 상기와 같은 종래 기술에 있어서, 음성 데이터와 영상 데이터를 각각 여러가지 압축방법을 이용해서 전송할 경우 음성 데이터와 영상 데이터의 재생 시점을 나타내는 시간 정보에 맞게 두 데이터의 동기를 맞추어 다중화하기 어려운 문제점이 있다.However, in the prior art as described above, when the audio data and the video data are transmitted using various compression methods, it is difficult to multiplex the two data in synchronization with the time information indicating the reproduction time of the audio data and the video data. have.

따라서, 본 발명은 상기와 같은 문제점을 감안하여 창안한 것으로, 음성 데이터와 영상 데이터를 서버로부터 수신받아 재생시 상기 음성 데이터와 영상 데이터의 시간 정보를 나타내는 시간표를 이용하여 두 데이터간의 재생 동기를 맞추는 음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법을 제공함에 그 목적이 있다.Accordingly, the present invention has been made in view of the above-mentioned problems, and when the audio data and video data are received from a server and reproduced, the synchronization between the two data is synchronized using a time table representing time information of the audio data and video data. It is an object of the present invention to provide an apparatus and method for synchronizing reproduction of audio data and video data.

상기와 같은 목적을 달성하기 위한 본 발명은, 음성파일과 영상파일을 코딩하여 음성 데이터, 영상 데이터 및 상기 두 데이터의 재생 시점을 나타내는 음성시간표와 영상시간표를 출력하는 시간표발생기와; 상기 시간표발생기로부터 출력된 데이터를 입력받아 음성 데이터의 재생 속도에 따라 영상 데이터의 재생 간격을 조절하여 두 데이터의 동기를 맞추어 재생하는 복원기로 구성한 것을 특징으로 한다.The present invention for achieving the above object is a timetable generator for coding a voice file and a video file and outputs the audio data, video data and the audio timetable and the video timetable indicating the playback time of the two data; And a restorer configured to receive the data output from the timetable generator and adjust the reproduction interval of the image data according to the reproduction speed of the audio data so as to synchronize and reproduce the two data.

또한, 재생되는 각각의 음성 데이터에 대응한 음성시간표가 갱신되었는지를 판단하는 제1단계와; 상기 음성시간표가 갱신되면 재생되는 영상 데이터에 대응한 영상시간표와 그 음성시간표간의 시간차를 구해 이 시간차에 따라 영상 데이터의 현재재생시간을 줄이거나 늘리는 제2단계와; 기준 시간을 제공하는 타이머의 시간이 상기 현재재생시간에 도달하면 영상 데이터를 영상 재생 함수에 의해 복원하여 재생하는 제3단계로 동작하는 것을 특징으로 한다.A first step of determining whether a voice timetable corresponding to each voice data to be reproduced has been updated; Obtaining a time difference between the video timetable corresponding to the video data to be played back and the audio timetable when the audio timetable is updated, and reducing or increasing the current playback time of the video data according to the time difference; When the time of the timer providing the reference time reaches the current playback time, the operation is performed in a third step of restoring and playing back the video data by the video playback function.

이하, 본 발명에 따른 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.Hereinafter, an embodiment according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명 음성 데이터와 영상 데이터의 재생 동기화 장치에 대한 구성을 보인 블록도로서, 이에 도시한 바와 같이 음성 파일(10)과 영상 파일(20)을 디지털 처리하여 음성 데이터와 영상 데이터로 코딩하고 상기 두 데이터의 재생 시점을 나타내는 음성시간표와 영상시간표를 계산하여 출력하는 서버(30)와; 상기 서버(30)로부터 출력된 데이터를 입력받아 음성 데이터와 영상 데이터를 재생하면서 음성시간표가 변화하면 영상시간표와 음성시간표의 시간차를 계산하여 이 시간차에 따라 영상 데이터의 현재재생시간을 가변하여 영상 데이터의 재생 속도를 변화시키는 클라이언트(40)로 구성한다.FIG. 2 is a block diagram showing a configuration of an apparatus for synchronizing reproduction of audio data and video data according to the present invention. As shown in FIG. 2, the audio file 10 and the video file 20 are digitally processed and encoded into audio data and video data. A server 30 for calculating and outputting an audio time table and a video time table indicating the reproduction time of the two data; If the audio timetable changes while receiving the data output from the server 30 and playing the audio data and the video data, the time difference between the video timetable and the audio timetable is calculated, and the current playback time of the video data is varied according to the time difference. The client 40 is configured to change the playback speed.

또한, 도 3은 본 발명 음성 데이터와 영상 데이터의 재생 동기화 방법에 대한 동작 흐름도로서, 이에 도시한 바와 같이 버퍼에 저장된 음성데이터를 복원하여 재생하며 음성시간표의 갱신을 설정하는 제1단계(S1)와; 상기 음성시간표가 갱신되면 영상시간표와 음성시간표의 시간차를 계산하여 이 시간차에 따라 현재재생시간을 증가시키거나 감소시키는 제2단계(S2~S6)와; 기준 시간을 제공하는 타이머의 시간이 상기 현재재생시간에 도달하면 영상 데이터를 영상 재생 함수에 의해 복원하는 제3단계(S7~S9)로 이루어진 것으로 본 발명의 일실시예를 설명한다.3 is a flowchart illustrating a method for synchronizing the reproduction of the audio data and the image data according to the present invention. As shown in FIG. 3, a first step (S1) of restoring and reproducing the audio data stored in the buffer and setting the update of the audio timetable is shown. Wow; A second step (S2 to S6) of calculating a time difference between the video time table and the audio time table when the audio time table is updated and increasing or decreasing the current playback time according to the time difference; An embodiment of the present invention will be described as a third step S7 to S9 of restoring image data by an image reproducing function when the time of the timer providing the reference time reaches the current reproduction time.

서버(30)는 음성 파일(10)과 영상 파일(20)을 입력받아 각각 음성 데이터와 영상 데이터로 코딩하여 클라이언트(40)로 전송한다.The server 30 receives the audio file 10 and the image file 20, codes them into audio data and image data, and transmits them to the client 40.

이때, 서버(30)는 음성 데이터와 영상 데이터의 재생 시점을 가리키는 시간 정보를 갖고 있는 시간표를 더해 클라이언트(40)로 전송한다.At this time, the server 30 adds a timetable having time information indicating the reproduction time of the audio data and the video data, and transmits the timetable to the client 40.

상기 시간표를 생성하는 방법을 예를 들어 설명하면, 도 4에 도시된 바와 같이 영상 데이터는 초당 7.5프레임이 전송되고 재생되어야 하므로 프레임 사이의 간격은 약 133㎳가 된다.Referring to the method of generating the timetable as an example, as shown in FIG. 4, since the image data has to be transmitted and reproduced at 7.5 frames per second, the interval between the frames is about 133 ms.

따라서, 영상 데이터의 시간표는 133㎳씩 증가하면서 영상 데이터의 각 프레임과 함께 전송된다.Therefore, the timetable of the image data is transmitted with each frame of the image data in increments of 133 ms.

또한, 음성 데이터는 한 프레임 당 30㎳의 음성 정보를 담고 있으므로 프레임 사이의 간격은 30㎳가 된다.In addition, since the voice data contains voice information of 30 ms per frame, the interval between the frames is 30 ms.

그러나, 음성 데이터의 전송 효율을 높이고자 12프레임의 음성 데이터를 한 번에 전송하기 때문에 360㎳간격으로 음성 데이터의 시간표가 증가된다.However, since 12 frames of voice data are transmitted at once in order to increase the transmission efficiency of the voice data, the timetable of the voice data is increased at intervals of 360 ms.

여기서, 음성 데이터의 시간표는 음성시간표라 가정하고, 영상 데이터의 시간표는 영상시간표라 가정한다.Here, it is assumed that the timetable of the audio data is an audio timetable, and the timetable of the video data is an image timetable.

클라이언트(40)는 서버(30)로부터 수신받은 데이터를 음성시간표와 영상시간표를 이용하여 재생한다.The client 40 reproduces the data received from the server 30 using the audio timetable and the video timetable.

음성 데이터는 재생시 연속성의 보장을 위해 서버(30)로부터 수신되어 음성출력버퍼에 저장된다. 상기 음성출력버퍼에 저장된 음성 데이터는 음성 재생 드라이버에 의해 복원되어 연속적으로 재생된다.Voice data is received from the server 30 and stored in the voice output buffer to ensure continuity at the time of reproduction. The voice data stored in the voice output buffer is restored by the voice reproducing driver and reproduced continuously.

이와는 반대로 영상 데이터는 초당 프레임 재생 횟수에 맞추어 복원되어야 하지만 상기 영상 데이터의 복원에 소요되는 시간이 음성 데이터에 비해 상대적으로 길기 때문에 음성 데이터의 재생과 영상 데이터의 재생간의 동기가 맞지 않게 되는 경우가 발생한다.On the contrary, video data should be reconstructed according to the number of frames played per second. However, since the time required for reconstructing the video data is relatively longer than that of the audio data, there is a case where the synchronization between the reproduction of the audio data and the reproduction of the image data does not match. do.

이를 도시하면 도 5의 (a)는 재생된 음성 프레임수가 재생된 영상 프레임수보다 큰 상태를 도시한 것으로 상대적으로 음성시간표가 영상시간표보다 크다는 것을 알 수 있다.5 (a) shows a state in which the number of reproduced audio frames is larger than the number of reproduced video frames, and it can be seen that the audio timetable is larger than the video timetable.

따라서, 영상 데이터의 재생 간격을 줄여 음성 데이터와 동기를 맞출 필요가 있다.Therefore, it is necessary to reduce the reproduction interval of the video data to synchronize with the audio data.

또한, 도 5의 (b)는 재생된 음성 프레임수가 재생된 영상 프레임수보다 작은 상태를 도시한 것으로 상대적으로 음성시간표가 영상시간표보다 작다는 것을 알 수 있다.5B shows a state in which the number of reproduced audio frames is smaller than the number of reproduced video frames, and it can be seen that the audio timetable is relatively smaller than the video timetable.

따라서, 영상 데이터의 재생 간격을 늘려 음성 데이터와 동기를 맞출 필요가 있다.Therefore, it is necessary to increase the reproduction interval of the video data to synchronize with the audio data.

여기서, 위의 내용을 상기하며 본 발명 음성 데이터와 영상 데이터의 재생 동기화 방법에 대해 상세히 설명하면 다음과 같다.Herein, the above contents will be described in detail with reference to the present invention.

먼저, 클라이언트(40)에 수신된 음성 데이터는 음성 출력 버퍼에 저장되어 끊김이 없이 연속적으로 재생된다. 이때, 음성 데이터에 대응한 음성시간표는 메모리에 저장되며 시간이 흐름에 따라 그 음성시간표는 갱신된다.First, the voice data received by the client 40 is stored in the voice output buffer and continuously reproduced without interruption. At this time, the voice timetable corresponding to the voice data is stored in the memory and the voice timetable is updated as time passes.

또한, 영상 데이터는 시스템의 시간(일반적으로 타이머에 의해 계산되는 시간)이 현재재생시간에 도달하면 영상 재생 함수에 의해 재생된다.Also, the image data is reproduced by the image reproducing function when the time of the system (generally the time calculated by the timer) reaches the current reproduction time.

따라서, 상기 현재재생시간의 조절은 음성 데이터와 영상 데이터의 동기를 맞추는 역할을 한다.Therefore, the adjustment of the current playback time serves to synchronize the audio data with the video data.

상기 음성시간표가 갱신되지 않으면 클라이언트(40)는 영상 데이터의 프레임 간격마다 영상 데이터를 복원해서 시스템의 시간이 현재재생시간에 도달하면 영상 재생 함수에 의해 재생한다.If the audio timetable is not updated, the client 40 restores the video data at every frame interval of the video data, and plays back the video data by the video playback function when the system time reaches the current playback time.

다른 경우로, 상기 음성시간표가 갱신되면 클라이언트(40)는 영상시간표와 음성시간표의 차를 구하고 이 시간차가 양이면(영상 데이터의 재생 속도가 빠르므로) 현재재생시간에 상기 시간차와 시스템변위를 더하여 영상 데이터의 재생 간격을 늘리게 된다.In another case, when the audio timetable is updated, the client 40 obtains the difference between the video timetable and the audio timetable, and if this time difference is positive (since the playback speed of the video data is fast), the time difference and system displacement are added to the current playback time. The playback interval of the video data is increased.

여기서, 시스템변위는 영상 데이터를 재생하는 시스템마다의 재생하는데 소요되는 시간이 다르므로, 각각의 시스템에 적당한 값으로 설정된다.The system displacement is set to a value suitable for each system because the time required for reproduction of each system for reproducing video data is different.

또 다른 경우로, 상기 시간차가 음이면(음성 데이터의 재생 속도가 빠르므로) 클라이언트(40)는 현재재생시간에 이 시간차를 프레임수로 나눈 시간변위를 매번 영상 데이터 재생시마다 빼주어 음성데이터와 영상 데이터의 재생 속도를 일치 시킨다.In another case, if the time difference is negative (because the playback speed of the audio data is fast), the client 40 subtracts the time displacement obtained by dividing the time difference by the number of frames at the current playback time each time the video data is played. Match the playback speed of the data.

여기서, 프레임수는 음성 데이터의 음성 시간표의 갱신 간격동안 복원된 영상 데이터의 프레임수를 나타내는 것이며, 시간변위는 음의 값을 가지므로 앞으로 재생되는 영상 데이터의 재생간격을 줄여주는 역할을 한다.Here, the number of frames represents the number of frames of the image data reconstructed during the update interval of the audio time table of the audio data, and the time displacement has a negative value, thereby reducing the reproduction interval of the image data to be reproduced in the future.

이상에서 상세히 설명한 바와 같이, 본 발명은 서버로부터 클라이언트로의 음성 데이터와 영상 데이터의 전송 채널이 다른 경우 각각의 데이터를 버퍼에 임시 저장한 후 음성시간표와 영상시간표를 이용하여 음성 데이터와 영상 데이터의 재생 속도를 맞출 수 있는 효과가 있다.As described in detail above, when the transmission channel of the audio data and the video data from the server to the client is different, the present invention temporarily stores each data in a buffer and then uses the audio timetable and the video timetable to It has the effect of matching the playback speed.

또한, 동기화 알고리즘이 간단하여 사용자에게 동영상 서비스를 하는 휴대 전화나 개인용 정보 단말기 등 휴대용 정보단말기의 동영상 재생에 적용이 용이한 효과가 있다.In addition, since the synchronization algorithm is simple, it is easy to apply to video playback of a portable information terminal such as a mobile phone or a personal information terminal that provides a video service to the user.

Claims (6)

음성파일과 영상파일을 코딩하여 음성 데이터 및 영상 데이터를 출력함과 아울러, 초당 음성 데이터의 프레임을 재생할 시간 간격을 상기 음성 데이터의 재생 시점을 가리키는 시간 정보로 설정한 음성시간표 및 초당 영상 데이터의 프레임을 재생할 시간 간격을 상기 영상 데이터의 재생 시점을 가리키는 시간 정보로 설정한 영상시간표를 출력하는 시간표발생기와; 상기 시간표발생기로부터 출력된 데이터를 입력받아 음성 데이터와 영상 데이터를 재생하면서 음성시간표가 변화하면 음성시간표와 영상시간표간의 시간차에 따라 두 데이터의 재생 동기에 맞게 복원하여 재생하는 복원기로 구성된 것을 특징으로 하는 음성 데이터와 영상 데이터의 재생 동기화 장치.The audio time table and the video data frame per second are set by outputting audio data and video data by coding an audio file and an image file, and setting a time interval for reproducing the frames of audio data per second to time information indicating the playback time point of the audio data. A timetable generator for outputting a video timetable in which time intervals for reproducing the video data are set as time information indicating a reproduction time point of the video data; When the audio timetable changes while receiving the data output from the timetable generator and playing the audio data and the image data, the restorer is configured to restore and reproduce the data according to the synchronization of the two data according to the time difference between the audio timetable and the video timetable. Device for synchronizing playback of audio data and video data. 삭제delete 제1항에 있어서, 상기 복원기에서 영상 데이터와 음성 데이터의 복원은 영상시간표와 음성시간표의 시간차를 구해 이 시간차가 양이면 영상 데이터의 재생 속도를 늘리고, 음이면 영상 데이터의 재생 속도를 줄이게 구성된 것을 특징으로 하는 음성 데이터와 영상 데이터의 재생 동기화 장치.The method of claim 1, wherein the restoration of the video data and the audio data in the restorer is performed by obtaining a time difference between the video timetable and the audio timetable and increasing the reproduction speed of the image data if the time difference is positive, and decreasing the reproduction speed of the image data if the sound is negative. And a reproduction synchronization device for audio data and video data. 제3항에 있어서, 상기 영상 데이터의 재생 속도 가변은 영상 데이터의 현재재생시간에 영상시간표와 음성시간표의 시간차와 시스템의 영상데이터 재생 속도 특성에 따른 시스템변위를 더해 영상 데이터의 재생 간격을 늘리고, 상기 영상 데이터의 현재재생시간에서 시간차를 음성시간차의 갱신 간격동안 복원된 영상 데이터의 프레임 수로 나눈 시간변위를 빼서 영상 데이터의 재생 간격을 줄이게 구성된 것을 특징으로 하는 음성 데이터와 영상 데이터의 재생 동기화 장치.The method of claim 3, wherein the variable playback speed of the video data increases the playback interval of the video data by adding the system displacement according to the video data playback speed characteristics of the video timetable and the audio timetable to the current playback time of the video data, And reproducing the reproducing interval of the image data by subtracting a time displacement divided by the number of frames of the reconstructed image data during the update interval of the audio time difference from the current reproduction time of the image data. 재생되는 음성 데이터에 대응한 음성시간표가 갱신되었는지를 판단하는 제1단계와; 상기 음성시간표가 갱신되면 복원되는 영상 데이터에 대응한 영상시간표와 그 음성시간표의 시간차를 구해 이 시간차에 따라 영상 데이터의 현재재생시간을 줄이거나 늘리는 제2단계와; 기준 시간을 제공하는 타이머의 시간이 상기 현재재생시간에 도달하면 영상 데이터를 영상 재생 함수에 의해 복원하여 재생하는 제3단계로 이루어진 것을 특징으로 하는 음성 데이터와 영상 데이터의 재생 동기화 방법.Determining whether a voice timetable corresponding to the reproduced voice data is updated; Obtaining a time difference between the video timetable corresponding to the restored video data and the audio timetable when the audio timetable is updated, and reducing or increasing the current playback time of the video data according to the time difference; And reproducing and reproducing the image data by the image reproducing function when the time of the timer providing the reference time reaches the current reproduction time. 제5항에 있어서, 상기 제2단계에서 현재재생시간의 가변은 영상시간표와 음성시간표의 시간차가 양이면 현재재생시간에 상기 시간차와 영상데이터의 재생 특성에 따른 시스템변위를 더해 현재재생시간을 증가시키고, 음이면 현재재생시간에 시간차를 음성시간차의 갱신 간격동안 복원된 영상 데이터의 프레임수로 나눈 시간변위를 빼서 현재재생시간을 감소시키게 이루어진 것을 특징으로 하는 음성 데이터 와 영상 데이터의 재생 동기화 방법.6. The method of claim 5, wherein, in the second step, the current playback time is variable if the time difference between the video timetable and the audio timetable is positive. And the current playback time is reduced by subtracting the time difference divided by the number of frames of the image data restored during the update interval of the audio time difference, if it is negative.
KR1020010057290A 2001-09-17 2001-09-17 Apparatus and method for synchronizing video data with audio data KR100831213B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020010057290A KR100831213B1 (en) 2001-09-17 2001-09-17 Apparatus and method for synchronizing video data with audio data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020010057290A KR100831213B1 (en) 2001-09-17 2001-09-17 Apparatus and method for synchronizing video data with audio data

Publications (2)

Publication Number Publication Date
KR20030024236A KR20030024236A (en) 2003-03-26
KR100831213B1 true KR100831213B1 (en) 2008-05-21

Family

ID=27724328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010057290A KR100831213B1 (en) 2001-09-17 2001-09-17 Apparatus and method for synchronizing video data with audio data

Country Status (1)

Country Link
KR (1) KR100831213B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1961374A (en) * 2004-04-29 2007-05-09 蔡锦忠 Media system capable of being positioned and played back synchronistically
KR100782261B1 (en) * 2006-05-18 2007-12-04 엘지전자 주식회사 Video syncronization based on reproducing audio signal slow or fast
KR100748370B1 (en) * 2006-05-25 2007-08-10 (주)엠씨에스로직 Method and moving picture reproducing apparatus for synchronizing video and audio data
CN115497499A (en) * 2022-08-30 2022-12-20 阿里巴巴（中国）有限公司 Method for synchronizing voice and action time

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950010508A (en) * 1993-09-30 1995-04-28 에릭 피. 헤르만 Method and apparatus for synchronizing audio / video signals in digital transmission system
KR19980028980U (en) * 1996-11-26 1998-08-05 배순훈 Video Synchronization Compensator
KR20000060245A (en) * 1999-03-12 2000-10-16 구자홍 Method for manufacturing Stream File in Internet Streaming Service

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950010508A (en) * 1993-09-30 1995-04-28 에릭 피. 헤르만 Method and apparatus for synchronizing audio / video signals in digital transmission system
KR19980028980U (en) * 1996-11-26 1998-08-05 배순훈 Video Synchronization Compensator
KR20000060245A (en) * 1999-03-12 2000-10-16 구자홍 Method for manufacturing Stream File in Internet Streaming Service

Also Published As

Publication number Publication date
KR20030024236A (en) 2003-03-26

Similar Documents

Publication Publication Date Title
KR100968928B1 (en) Apparatus and method for synchronization of audio and video streams
JP5026167B2 (en) Stream transmission server and stream transmission system
JP4949591B2 (en) Video error recovery method
JP4001091B2 (en) Performance system and music video playback device
JP2004007140A (en) Voice reproducing device and voice reproduction control method to be used for the same device
JPH10512736A (en) Multimedia communication with system-dependent adaptive delay
KR100565333B1 (en) A method and a apparatus of synchronization video signal with audio signal for mobile phone
JP2000137494A (en) Synchronism reconstruction method and device for audio data and animation data
US20060140591A1 (en) Systems and methods for load balancing audio/video streams
US20070008984A1 (en) Buffer management system, digital audio receiver, headphones, loudspeaker, method of buffer management
WO2010116588A1 (en) Digital television broadcasting reproduction device and reproduction method therefor
JP2001344905A (en) Data reproducing device, its method and recording medium
KR100831213B1 (en) Apparatus and method for synchronizing video data with audio data
JP3844485B2 (en) Internet live broadcast system for mobile phone, Internet live broadcast method for mobile phone, streaming data creation and distribution program, and recording medium
JPWO2002058053A1 (en) Digital audio data encoding and decoding methods
JP5284652B2 (en) DATA PROCESSING DEVICE, DATA PROCESSING METHOD, AND ELECTRONIC DEVICE
JPH1169330A (en) Image communication equipment provided with automatic answering function
JP2000059471A (en) Method and device for internet telephone communication and recording medium with its program relorded therein
KR20080089721A (en) Lip-synchronize method
JP4254297B2 (en) Image processing apparatus and method, and image processing system and program using the same
JP2003309829A (en) Mobile moving picture phone
JP2000308065A (en) Animation transmitting device
US20070248170A1 (en) Transmitting Apparatus, Receiving Apparatus, and Reproducing Apparatus
US20040090554A1 (en) Picture coding method
KR100723679B1 (en) Method for Delivering Audio Bitstream in Ring Back Tone Section by Using Voice Slot Data Structure of Code Division Multiple Access Mobile Communication Network

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110328

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee